南昌大学信息工程学院成像与视觉表示课题组近年来面向江西省电子信息产业高质量发展要求，紧紧围绕生成式人工智能前沿，对智能算法、光电器件、应用系统进行融合创新，在傅里叶单像素成像、相干衍射成像、透过散射介质成像、三维全息显示等智能成像与显示领域进行深入探索，部分相关研究成果分别在APL、OE上发表。
基于扩散模型的极低采样率傅里叶单像素成像重建
傅里叶单像素成像（FSPI）一直面临着成像效率和成像质量之间的权衡问题。为了实现高分辨率成像，必须增加测量次数，从而降低了成像效率。本工作提出了一种基于扩散模型的FSPI高质量重建方法。基于分数的扩散模型被用于学习数据分布的先验信息。目标的真实采样的低频傅里叶频谱作为一致性项，与学习到的先验信息一起约束模型地迭代生成，实现在极低采样率下的高分辨率重建。仿真和实验结果表明，与传统的FSPI方法和U-Net方法相比，所提出的方法取得了卓越的质量。特别是在1%极低采样率下，对于硬币实验，所提方法与传统的FSPI方法相比在基于边缘强度的分数上实现了约241%的提高。
基于扩散模型的高分辨率迭代重建流程
扩散模型迭代过程(上)硬币真实实验重建结果(下)
相关研究成果以“High-resolution iterative reconstruction at extremely low sampling rate for Fourier single-pixel imaging via diffusion model”为题发表于Optics Express。课题组成员宋贤林副教授、硕士研究生刘轩以及本科生罗周旭为共同第一作者，刘且根教授为通讯作者。
论文链接:https://doi.org/10.1364/OE.510692
代码链接:https://github.com/yqx7150/FSPI-DM
基于均值回归扩散模型的时间压缩相干衍射成像
时间压缩相干衍射成像(TC-CDI)是一种能够捕捉快速运动的小目标的无透镜成像技术，然而该方法在频率域稀疏采样，导致频谱图信息丢失，进而限制重建图像的准确性和成像帧率。为了实现高空间分辨率和高时间帧率的相干衍射成像，本工作提出了一种双域均值回归扩散模型增强的时间压缩相干衍射成像（DMDTC）算法。该算法利用均值回归扩散模型，学习频率域和空间域图像的先验信息分布；在重建时，采用频率域先验信息恢复频谱图丢失的信息，之后利用混合输入输出算法重建空间域图像，最后利用空间域先验信息对图像进行再次去噪和恢复。实验验证表明DMDTC重建图像的结构相似度和峰值信噪比均优于传统方法。此外，泛化性实验表明DMDTC在不同数据集上的重建效果保持稳定，显示出算法的鲁棒性。
DMDTC算法流程图
图像重建效果。(a)原始图像，(b)TC-CDI重建图像，(c)DMDTC重建图像，(d)剖线图
相关研究成果以“Dual-domain mean-reverting diffusion model-enhanced temporal compressive coherent diffraction imaging”为题发表于Optics Express。本科生李浩和许锦伟为共同第一作者，万文博老师和刘且根教授为共同通讯作者。
论文链接：https://doi.org/10.1364/OE.517567
代码链接：https://github.com/yqx7150/DMDTC
基于生成式扩散模型的透过散射介质成像技术
目标发出的光经过散射介质后会被打乱成散斑图案，导致目标图像产生显著恶化。传统的迭代式图像重建算法图像重建质量较差，而基于有监督学习的方法泛化能力有限。为实现高质量目标图像重建，本工作提出了一种使用生成式扩散模型透过散射介质成像方法。该方法使用评分函数对目标图像的梯度分布先验信息进行建模，通过交替执行随机微分方程求解器和基于物理模型的数据一致性步骤来生成高质量的目标图像。仿真和实验验证表明该方法比传统方法在保证泛化能力的同时，实现了更好的图像重建质量。
基于扩散模型的透过散射介质成像重建流程
图像重建结果
(a)目标图像，(b)散斑测量数据，(c)LR方法，(d)HIO方法，(e)TC方法，(f)本文方法
相关研究成果以“Imaging through scattering media via generative diffusion model”为题发表于Applied Physics Letters。课题组成员硕士研究生陈召运为第一作者，万文博老师和刘且根教授为共同通讯作者。
论文链接：https://doi.org/10.1063/5.0180176
代码链接：https://github.com/yqx7150/ISDM
基于真实场景的实时智能三维全息摄影
三维显示相较于二维显示可以提供更加丰富的信息，对真实世界环境进行实时三维重建作为元宇宙和物联网领域的关键技术有着广阔的应用前景。全息三维显示被认为是一种理想的三维显示方案，提升三维全息图的计算速度和重建质量可以为实时三维重建提供坚实的支持。本工作提出了一种实时的真实三维场景采集与全息三维重建系统。真实场景的三维信息由深度相机获取并被层析法分为30层，使用一个卷积神经网络建立强度图和深度图到全息图的映射。利用角谱算法的可微性实现网络的自监督训练，使用复合损失函数计算重建图像与目标图像的损失以优化网络参数。训练好的网络可以在14.5 ms内生成1024×1024分辨率的全息图，所提出的系统以每秒约22帧的速度运行，并成功重建出运动场景的三维视频。该系统在智能制造、异地办公、远程教育等领域有着巨大的应用潜力。
所提系统的原理图和实物图
所提系统对运动人体的三维信息采集与全息三维重建结果
相关研究成果以“Real-time intelligent 3D holographic photography for real-world scenarios”为题发表于Optics Express。课题组成员副教授宋贤林和硕士研究生董嘉庆为共同第一作者，刘且根教授为通讯作者。
论文链接：https://doi.org/10.1364/OE.529107；
代码链接：https://github.com/yqx7150/Intelligent-3D-holo
