通过复杂的生物组织样本成像在医学成像等众多科学研究领域有着重要应用。然而,由于散射介质的复杂性,只有少量的光子能够不受介质的影响,直接通过散射介质被收集。而对于强散射介质,这些光子传播距离极短(比如,通过人体组织的深度大约只有1mm),无法满足当前人们对于生物医学,极端恶劣天气条件下成像的要求。其次,目前通过散射介质成像的技术对于散射介质的模型误差十分敏感,散射介质十分微小的变化(比如活体生物样本的微小移动),会导致建立的散射介质模型快速失效,从而不得不进行新的测量与建模。 近些年,日本东京大学的Ryoichi Horisaki团队(Opt. Express 2016),麻省理工大学的George Barbastathis团队(Optica 2018)提出利用基于数据驱动的机器学习方法来实现通过散射介质成像,通过利用数据的统计特性,避免对散射介质的精确建模。
2018年,美国波士顿大学田磊课题组首先提出利用大数据以及深度学习模型解决散射成像的敏感性问题。为此,提出了一种基于数据统计的 “一对多” 深度学习技术(Optica 2018)。 具体来说,采集一组通过不同的散射片的散斑图,之后用该组图片对神经网络进行训练。利用神经网络的统计学习特性,学习到包含在不同散斑图中的统计信息。当训练完成,在完全替换散射片的条件下,仍然能够高质量的恢复重建物体图像。这项工作为实现高度可扩展的散射成像方法铺平了道路。然而,所提出的方法虽然能够实现通过不同散射介质成像,但与“一对一”训练相比,重建精度上仍然有一定程度的降低。 动态合成网络 鉴于此,近期,田磊课题组首次证明了一种全新的神经网络结构—动态合成网络,来实现复杂多变散射条件下的三维粒子成像。有别于之前“一对多”,增加训练样本的多样性从而实现透过不同散射介质成像的深度学习方法,新提出的网络根据不同的散射条件(比如散射粒子的折射率,大小,密度等),利用了多个子网络的动态合成实现在复杂多变散射条件下的成像。 该成果以 Adaptive 3D descattering with a dynamic synthesis network 为题发表在 Light: Science & Applications。 ![]() 本文展示了动态合成网络在复杂多变散射条件下成像的优越性,为解决散射成像中介质模型敏感性问题提供了一种全新的方向。同时,这种新的自适应深度学习框架可以进一步适应于许多其他成像应用,包括图像去噪、动态散射成像,非视距成像 、深度散射组织成像和计算荧光显微镜等。从而,该动态合成框架为设计高度自适应的基于深度学习的计算光学成像开辟了新的路径。 论文信息 Tahir, W., Wang, H. & Tian, L. Adaptive 3D descattering with a dynamic synthesis network. Light Sci Appl 11, 42 (2022). https://doi.org/10.1038/s41377-022-00730-x 如下数据来自Web of Science,Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前: https://doi.org/10.1038/lsa.2014.42 https://doi.org/10.1038/lsa.2016.17 https://doi.org/10.1038/lsa.2015.67 https://doi.org/10.1038/lsa.2013.6 https://doi.org/10.1038/lsa.2015.97 https://doi.org/10.1038/lsa.2012.1 https://doi.org/10.1038/lsa.2017.168 https://doi.org/10.1038/lsa.2014.60 https://doi.org/10.1038/s41377-019-0194-2 https://doi.org/10.1038/lsa.2014.46 https://doi.org/10.1038/lsa.2016.76 https://doi.org/10.1038/lsa.2015.137 https://doi.org/10.1038/lsa.2014.22 超过50次引用的文章有352篇 |