光学喵-光学课堂 首页 资讯 查看内容

动态合成网络:“不受约束”的散射成像

2022-3-2 13:33| 发布者:Davis| 查看:1190| 评论:0|原作者: 中国光学

摘要:本文介绍了动态合成网络在复杂多变散射条件下实现高质量三维粒子成像的方法。该方法基于数据统计和深度学习,避免对散射介质的精确建模,优越性得到了实验证明。此外,该自适应深度学习框架还可以适用于其他成像应用。

  散射成像  

通过复杂的生物组织样本成像在医学成像等众多科学研究领域有着重要应用。然而,由于散射介质的复杂性,只有少量的光子能够不受介质的影响,直接通过散射介质被收集。而对于强散射介质,这些光子传播距离极短(比如,通过人体组织的深度大约只有1mm),无法满足当前人们对于生物医学,极端恶劣天气条件下成像的要求。其次,目前通过散射介质成像的技术对于散射介质的模型误差十分敏感,散射介质十分微小的变化(比如活体生物样本的微小移动),会导致建立的散射介质模型快速失效,从而不得不进行新的测量与建模。


近些年,日本东京大学的Ryoichi Horisaki团队(Opt. Express 2016),麻省理工大学的George Barbastathis团队(Optica 2018)提出利用基于数据驱动的机器学习方法来实现通过散射介质成像,通过利用数据的统计特性,避免对散射介质的精确建模。

 

2018年,美国波士顿大学田磊课题组首先提出利用大数据以及深度学习模型解决散射成像的敏感性问题。为此,提出了一种基于数据统计的 “一对多” 深度学习技术Optica 2018)


具体来说,采集一组通过不同的散射片的散斑图,之后用该组图片对神经网络进行训练。利用神经网络的统计学习特性,学习到包含在不同散斑图中的统计信息。当训练完成,在完全替换散射片的条件下,仍然能够高质量的恢复重建物体图像。这项工作为实现高度可扩展的散射成像方法铺平了道路。然而,所提出的方法虽然能够实现通过不同散射介质成像,但与“一对一”训练相比,重建精度上仍然有一定程度的降低。


  动态合成网络  

鉴于此,近期,田磊课题组首次证明了一种全新的神经网络结构—动态合成网络,来实现复杂多变散射条件下的三维粒子成像。有别于之前“一对多”,增加训练样本的多样性从而实现透过不同散射介质成像的深度学习方法,新提出的网络根据不同的散射条件(比如散射粒子的折射率,大小,密度等),利用了多个子网络的动态合成实现在复杂多变散射条件下的成像。


该成果以 Adaptive 3D descattering with a dynamic synthesis network 为题发表在 Light: Science & Applications


如图1所示,利用三个编码,解码子网络对输入散射物体的特征进行提取,动态组合以及解码重建。动态合成子网络的权重由门控网络通过提取三维散射样本所对应的二维散斑图提供。由于在不同的散射条件下,对应的散斑图会有不同的性质(比如散斑图的对比度,散斑图样等),门控网络能够根据不同的散斑图特性提供不同的权重参数,从而能够自适应的动态合成相应网络以实现最佳的散射重建成像效果。

图1:动态合成网络结构示意图

有别于传统的网络结构,本文根本区别在于提出动态合成概念。如图2所示,不同的子网络提取不同的特征,门控网络根据不同的散射条件,动态的合成提取出的特征,从而能够更好的适应在不同的散射条件下的成像重建,如图3所示。

2:动态合成示意图

3:动态合成网络在不同粒子密度(ρ)下成像实验结果图

本文展示了动态合成网络在复杂多变散射条件下成像的优越性,为解决散射成像中介质模型敏感性问题提供了一种全新的方向。同时,这种新的自适应深度学习框架可以进一步适应于许多其他成像应用,包括图像去噪、动态散射成像,非视距成像 、深度散射组织成像和计算荧光显微镜等。从而,该动态合成框架为设计高度自适应的基于深度学习的计算光学成像开辟了新的路径。


  论文信息  

Tahir, W., Wang, H. & Tian, L. Adaptive 3D descattering with a dynamic synthesis network. Light Sci Appl 11, 42 (2022).

https://doi.org/10.1038/s41377-022-00730-x


高被引文章统计

如下数据来自Web of Science,Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前:


超过1200次引用的文章有1
https://doi.org/10.1038/lsa.2014.99
超过700次引用的文章有2
https://doi.org/10.1038/lsa.2014.30
超过500次引用的文章有5
https://doi.org/10.1038/lsa.2013.28
https://doi.org/10.1038/lsa.2016.133
https://doi.org/10.1038/lsa.2014.48
超过400次引用的文章有7
https://doi.org/10.1038/lsa.2013.26
https://doi.org/10.1038/lsa.2017.141
超过300次引用的文章有20

https://doi.org/10.1038/lsa.2014.42

https://doi.org/10.1038/lsa.2016.17

https://doi.org/10.1038/lsa.2015.67

https://doi.org/10.1038/lsa.2013.6

https://doi.org/10.1038/lsa.2015.97

https://doi.org/10.1038/lsa.2012.1

https://doi.org/10.1038/lsa.2017.168

https://doi.org/10.1038/lsa.2014.60

‍https://doi.org/10.1038/s41377-019-0194-2‍

https://doi.org/10.1038‍/lsa.2014.46

https://doi.org/10.1038/lsa.2016.76

https://doi.org/10.1038/lsa.2015.137‍

https://doi.org/10.1038/lsa.2014.‍22

超过200次引用的文章有53
超过100次引用的文章有151

超过50次引用的文章有352





路过

雷人

握手

鲜花

鸡蛋

最新评论

联系客服 关注微信 访问手机版 返回顶部