› 首页 ›资讯 › 查看内容

大咖50谈 | 移动终端摄像头成像技术的创新应用

2022-2-18 19:03| 发布者：Davis| 查看：832| 评论：0|原作者: 光电资讯

摘要：本文主要介绍了移动终端摄像头成像技术的创新应用，从单摄到多摄，从二维到三维的算法扩展，以及不可见光与频谱的扩展等多个方向进行了探讨，为读者提供了更多对光电行业发展的新角度和思路。其中包括了HDR算法、夜景拍照、美颜算法、双摄、摄像头切换效果、PMK全景拼接、ToF深度相机、SLAM算法、彩色数码相机、红外光和多光谱相机等内容。

2021年中国国际光电高峰论坛同期80余场主题论坛汇聚了超550位演讲嘉宾，吸引了超9000名专业听众，议题涵盖信息通信、精密光学、激光与红外、智能传感等光电板块，围绕学术、产业、应用等多个方向，全面深入探讨光电领域的新技术和研究方向，为光电企业布局未来提供了一个得天独厚的交流平台和更多强有力的可持续发展支撑。

【大咖50谈】专题栏目，旨在邀请多位政府、科研院所、高校老师、行业技术领导者等各领域大咖分享他们对光电行业发展趋势以及政策解读的独到见解，为我们探索光电发展提供更多新角度，新思路。

本期，我们将分享虹软产品经理王富民带来的《移动终端摄像头成像技术的创新应用》主题报告。

纵观这十年的手机相机发展史，可以清晰看到相机相关的硬件迭代，都会对图像算法提出新的需求。接下来我将会从三个维度给大家分享一下相机硬件跟图像算法之间的正向循环：第一个方向是摄像头的个数变化，从单摄到多摄；第二个是信息记录空间维度的变化，从二维、三维到更高维；后一个是频谱维度的变化，从之前的黑白相机到彩色相机，再从红外相机扩展到多光谱相机。

一、单摄升级提升影像功能

在普通的后摄拍照时遇到落日、晚霞场景，由于摄像头传感器本身的动态范围不足，导致整个画面的局部过曝，但还有一些地方比较暗。为了弥补硬件上的不足，我们有很好的HDR算法进行改善，把整个景色风光完美记录下来。

夜景拍照的同时，受到硬件感光度不足的影响，画面的细节和噪声是比较难调和的，这个情况下我们给出超级夜景解决方案，不仅可以提高画面亮度，而且可以把噪声去除，使夜景的画面明亮又干净。

上面讲的两种是后置的，接下来讲讲前置的。前置主要源自于人们对美颜的追求。我们为了前置拍照好看，做了大量调研工作，结合终端用户调研做了很多细节调教，使每一张照片看起来更自然和舒服。这是我们的大光圈虚化算法，搭配双摄做到模拟单反的人物虚化效果。虹软公司是早布局双摄应用的算法公司，在持续给终端客户进行交付的同时也不断地进行效果提升。在发丝边缘我们做了比较好的处理，发丝没有被误虚化。

双摄多用于人物拍照，三摄配置多数应用于风光拍照，但三个摄像头的摆放必然存在空间错位，导致切换时有明显的跳动。虹软为了实现摄像头之间画面切换的平滑过渡，联合相关硬件厂商做了不少的针对性优化，尽可能做到类似单反变焦镜头一样的切换效果。

二、二维到三维的算法扩展

手机为了便携，大部分摄像头视场角总是有限的，单张照片的画幅也基本是固定的。为了让用户可以拍摄更广的角度，同时记录在一张照片里，我们推出了PMK（全景拼接）解决方案。这个算法已经针对长焦、广角、超广角都做过适配，是能与摄像头硬件友好兼容的算法产品。

除了二维画面的扩展，我们还利用计算机图形优势算法，重构了画面人像立体信息，进行摄影棚打光效果的模拟。基于一张图片做出来的效果，模拟光源在人脸上的图像效果，除了做在图片上，还可以直接做在视频上。另外，我们利用ToF深度相机来采集到的空间立体信息，然后用SLAM算法对空间进行建模。同样，我们还可以对人体进行3D建模，形成一个Avatar卡通人物。这个卡通人物可以在我们建模的虚拟世界里进行一些物理的交互，像攀爬、跳跃、碰撞等。

三、不可见光与频谱的扩展

大家都知道数码相机在被发明之初仅仅能记录光强的信息，所以出来的是一张张黑白画面。直到柯达的工程师Bayer（拜尔）发明了RGB排列，彩色数码相机才得到普及，目前这个Bayer彩色阵列排序仍然是主流。各手机厂商也不局限于可见光的探索，他们对不可见光还有频谱的扩展也有浓厚的兴趣。更多不同频谱的图像信息有助于人们对不可见光世界的探索和理解。

红外光方面，虹软基于人脸图像信息，开发了一系列针对人脸识别的配套算法。目前这套算法能够非常高效的进行人脸识别，还能适配当中场景和人脸遮挡的情况，戴着口罩也可以进行人脸识别。我们还可以利用多光谱相机的信息来计算出整个画面的准确色温，做好精准的颜色还原。

四、趋势与展望

硬件的变化引入了很多图像效果优化的需求，虹软也紧紧把握机会，快速推出我们相应的解决方案。目前有三个方向。

一段时间全面屏都是各家手机厂商希望攻克的一个难题，从刘海屏、水滴屏、到挖孔屏，大家在提高屏占比上做了很大的努力，全面屏已经成为IT设计的趋势，但这个趋势对前摄的拍照和视频质量带来不小的挑战，主要有分辨率下降、动态范围不足、人脸细节减少、画面雾蒙感、眩光等。

针对屏下自拍，虹软不断跟客户交流，配合客户的设计提出我们的解决方案。另外，还有一个技术方向是前置屏下人脸3D解锁，目前已经有些厂商提出他们的硬件方案，虹软跟他们建立相关项目开始对接。

第二个是多光谱相机。目前实现多光谱信息收集的方法有很多，但能够做到小型化的还比较少。当前实现成像光谱的硬件方向大致有这几类，调制解调滤光、微纳表面窄带滤光等等。多光谱信息的加入，可以对原本的画质进行改善，也可以单独用于对物质的分类和识别，还可以做一些健康管理方面的应用。

在得到各种空间维度、光谱维度的信息后，可以利用这些信息来进行扩展现实的构建，这是我们提到的第三个方向。其中，扩展现实里的SLAM技术非常依赖于各种传感器的深度融合，所以要做好扩展现实，不单单仅依靠软件算法就能得以实现，还需要非常多的硬件来配合，才能使效果更上一层楼。

刚才提到的三个方向：屏下、多光谱、扩展现实，刚好对应计算摄影三个方向。屏下属于计算光学，利用计算机对光路进行还原，得到更好的画质。多光谱属于计算机视觉，利用多光谱的信息来扩展人眼的视觉范围。扩展现实更多是利用计算机图形技术，来构建虚拟和现实的交互桥梁。

计算机摄影无疑是建立在光学硬件的基础之上，尤其是每次的光学硬件更新迭代，总会衍生出各种各样的影像技术和功能的需求。可以明确的说，光学成像系统跟计算机摄影的有机结合将会是未来趋势，我们虹软希望跟业界和学术界一同携手，追赶趋势，超越潮流。

路过

雷人

握手

鲜花

鸡蛋

收藏邀请

大咖50谈 | 移动终端摄像头成像技术的创新应用

最新评论

相关分类

图文热点

通过可生产性调控实现光学设计流程的动态优

Pea Puffer非球面：周长优化的非球面CCP抛

热门推荐