光场是计算光学成像的灵魂，升维则是计算光学成像的引擎。

作为下一代光电成像技术，计算光学成像肩负着突破传统光电成像极限的使命，其本质是对光场的获取和解译。突破传统光电成像极限的前提是获取和解译光场的维度提升，如果没有升维，那么就不可能突破极限。这一点，从热力学第一定律就应该认识到。热力学第一定律告诉我们能量守恒，也就意味着信息不可能无中生有。要获取更多的信息，那么一定要“做功”，这个“做功”的引擎，在计算光学成像中就是“升维”，也就是通过维度提升，构建并解译出高维度光场信息，从而达到突破极限的目的。

很多人要问：为什么说升维是计算光学成像的引擎？如何升维？是不是提升的维度越高越好？我们是不是要设计更复杂的光场？解译也算是升维的手段吗？

要回答这些问题，我们还得寻根溯源，找到真问题，才能达到我们的目的。计算光学成像的目标是“更远（作用距离）、更高（分辨率）、更广（视场、光谱）、更小（SWaP，体积、重量和功耗等）、更强（环境适应能力）”，围绕着这五个“更”，从根源上来分析约束传统光电成像的因素有哪些，产生极限的原因是什么；然后看我们能够实现光场升维的元素有哪些；如何将空间、时间、相位、偏振、光谱等多维物理量，作为设计计算成像模型的参数量，通过“升维”这个引擎，架起通向五个“更”的桥梁，生成预先设计的高维度光场，通过光场解译，突破传统极限。本文将按照这个线索展开论述。

 

1.光电成像的极限

光电成像的极限是什么？回答这一“模糊”的问题，首先要看问的是哪个极限，产生这个极限的边界条件是什么？离开了这些前提，全是空谈。当然，还有另一个触及灵魂的问题：什么是极限？很显然，当我们突破了某一个所谓的极限的同时，又构建了一个产生新极限的边界条件，于是又有了新的极限。

对于成像而言，我们更多关注的是作用距离、分辨率、视场的大小、系统的尺寸、环境适应能力等问题，也就是五个“更”的问题。这五个“更”都会涉及到极限的问题。

1.1 更远

首先，我们来看看更远的作用距离。在“天下无雾：我们能不能透过那道雾霾？”一文中，详细地讲述了影响作用距离的因素。首先，能量衰减与距离的平方成反比，距离越远，能量越衰减越严重。

不同信噪比下红外成像示意图

其次是光在介质中传播的吸收和散射等引起的衰减，通常用大气透过率之类的统计参数简单描述，这当然是不得已而为之；然后是光学系统的透过率和探测器的探测灵敏度，决定着成像的质量；最后是算法的能力，也就是在几个dB下能探测出目标。除此之外，我们还要看目标特性，找出最佳的探测手段。这整个链路上，我们要想办法节省每一个dB，从全链路的系统角度看问题，有助于提升作用距离。

很显然，以能量探测为手段的前提下，提升作用距离的唯一办法是节省每一个dB。在对抗情况下，我们面临的情况会更糟，图像信噪比急剧下降，甚至失去探测能力。

从上面的分析看，探测器的探测能力和环境的干扰程度是影响作用距离的决定性因素，升维要重点考虑哪些元素对提升作用距离更有效。

1.2 更高

从物理的角度看，衍射极限限制了光学成像的分辨率，而光学系统的有效口径决定衍射极限；从信号处理的角度看，超分辨率重建也提升了分辨率，尤其是以数据驱动为代表的深度学习带来的超分辨率重建，更是给人带来了耳目一新的感受；从探测器的角度看，超采样算不算超分辨率呢？在不同专业的人眼里，他们对分辨率都有着自己的观点；出现这种情况的原因其实是对分辨率的定义不同。

更高采样频率带来的空间分辨率提升

在很多人的眼里，（空间）分辨率多代表的是像素的多寡，比如高清的1920*1024、4K、8K，其实代表的是采样频率。典型的案例就是手机摄影，动辄是吓人的上亿像素，可是手机摄影里暗藏的玄机很多人并不清楚，比如大多数时候你得到的图像其实并不是最高分辨率，而是中间分辨率的妥协，原因当然是存储和计算成像耗费的时间等。这是因为手机的高像素多采用小像元，适用的环境多是光线极佳的静止状态，动平台往往不适用。因为在动平台下，有速高比在约束着，也就是说，当航空相机对地拍摄时，拍摄目标相对于航空相机系统的前节点存在运动而导致图像在像面上运动，图像运动补偿量与相机的曝光时间、速高比与相机焦距均成正比。

成像中运动模糊

在光学人的眼里，分辨率就应该是衍射极限在那儿管着！有效口径不可能做到无限大，即使做到几米也难度很大；光学合成孔径的路线探索了很多年，但进展不大，被动宽光谱的光学合成孔径更是难上加难，尽管，很多这样的项目在20多年前就立项了，甚至结论都是达到了某某指标要求，国际/国内领先，而实际情况呢，呵呵……

1.3 更广

我们对成像的要求是既要有高分辨率，还要有更宽广的视场。可是空间带宽积告诉我们分辨率和视场存在着矛盾，那就意味着要兼顾二者，只能拓宽空间带宽积，这当然需要升维。

在这里，我们还有必要把更宽广的光谱范围纳入到“更广”之中。对于“见所未见”而言，扩宽光谱范围是理所当然的，探测器的压力更大。

更宽的成像视场及光谱分辨

1.4 更小

光电成像系统SWaP的迫切需求让我们想尽了办法，不仅涉及到光学系统，而且还有探测器。探测器的小像元设计给我们带来了体积的减小，典型的是非制冷红外探测器由原先的20多微米变成了12微米，甚至更小的8微米、5微米，带来的直接结果就是与之匹配的镜头焦距变短，缩小了体积；另一个典型案例是手机摄像头，小到1微米甚至以下的像元尺寸，使得空间分辨率一下子变得很高，而镜头却很小，以至于现在的手机恨不得把背面全装上摄像头来表明手机不是用来打电话的一样。

更小的像元尺寸及靶面尺寸

我们的眼睛只有一个晶状体，而我们用的镜头却是由多片玻璃组成的。简化光学系统设计是目前很热的一个话题，尤其是微纳光学的兴起，让超透镜火红了半边天，无Meta不简化似乎成了行业规律。但是，很不幸的是，Metalens与衍射元件有相同的限制，那就是窄光谱设计。

传统透镜与超透镜对比

那么，我们是不是也应该从升维的角度来看，如何简化光学系统设计？

1.5 更强

更强的环境适应能力是光电成像梦寐以求的奢侈品，因为光电经常是看天吃饭的，考核的指标动不动是能见度10km情况下，如何如何。我们的这些系统即使在满足指标的条件下，也不能保证在烟尘、云雾和强对抗环境下的成像要求，于是，经常地在很多情况下出现不得不用却很不好用的问题。比如，在火箭发射时，我们想看到壮观的点火瞬间，产生的巨大推力将火箭推向天空，可是，我们拍摄的场景往往是看到一团火却不见火焰，要么是见到清晰的火焰却看不到火箭，尤其是在水雾明显的天气下，那团火瞬间照亮了每个水滴微粒，形成了一道“佛光”影子笼罩在火箭周围。类似的情况在水下成像也会出现，照亮目标的同时也产生了强烈的散射。当然，还有更复杂的情况是，当有强光对抗的情况下，还能不能成像？

云雾缭绕与火箭发射尾焰“佛光”

很显然，传统的去雾、增强等等算法统统失效，不依靠物理过程肯定不行；我们必须要借助于更多的信息来破局，于是，就产生了升维。

 

2.光场与光电成像能力的雷达图

计算成像的本质：利用物理光场投影信息去解译更多光场信息。全光场的信息一般很难同时测量获得，在计算成像的应用中，更多的是将光场的某几维信息进行组合，实现更高分辨率、更远成像距离、更广成像视场、更小光学系统及更强适应性的目标。

那么，我们来摸摸底，看看有哪些素材能支撑升维。在第二篇“光场，计算成像的灵魂”中，我们详细地论述了光场中的基本要素：时间、空间、强度、相位、偏振、光谱和轨道角动量等。那么好，有了这些素材，根据五个“更”的需求，就可以画出一个计算成像引擎的雷达图。

物理光场多维度及计算成像引擎升维概念图

传统的光电成像中，我们往往依靠的是单一的强度信息，从雷达图上很容易看出成像的能力很弱。这当然是因为受探测手段的限制，理论上讲，相位与时间、空间都是平等等价的，但是我们的探测器只能探测强度，其他信息多要依靠强度进行反演。当探测器仅接收强度信息时，我们观测的世界是灰度的，当引入相位信息时，我们就可以看到原先“透明”的目标；当再加入偏振信息时，我们又可以实现更有挑战性的事情，比如说透雾霾成像，偏振三维成像等等；随着引入分光元件获取光谱信息后，世界变得缤纷多彩。当把轨道角动量引入时，我们会发现探测能力好像得到了提升；当增加了时间维度后，探测能力进一步增强。随着探测维度的增加，系统获取的信息量逐渐提升，有效利用这些信息可以帮助我们提升系统成像能力。当我们可以获取光场多维度信息时，就可以实现更加复杂的事情，包括光学操控、显微、传感测量、天文、非线性光学、量子科学和光通信等等。

从这个雷达图上很明显能看到的是随着维度的提升，光场可调谐的信息就越多，支撑五个“更”需求的能力就越强！

 

3.升维的几个例子

升维是什么？升维其实就像炒菜，不是把一堆食材和作料伴在一起就行了，而是需要烹饪的过程和技巧。比如做一个葱爆海参，必备的食材海参、大葱、酱、盐、糖等原料是必须要具备的，但要做好这道菜需要考验厨师的水平，比如糖放油里烧多久才能放海参，海参要炒多久才能保证又入味还有咬头；葱什么时候放，要加酱烧多久才能出锅，这些都是考验厨师的基本要求。而光场的升维跟做菜异曲同工，讲究的是维度元素如何有机地与应用结合起来，“烹调”出满足某一“菜谱”的高维度光场信息，从而实现解译出更多光场信息的目的。

下面，我们举几个升维的例子。

3.1 偏振三维成像

人类生活的客观世界是包含了“长、宽、高”的三维空间，而传统光电成像是对空间信息在强度维做投影，丢失了客观世界的深度信息，极大降低了对场景的感知能力，就像炒菜过程中忘放了盐巴，可以果腹但是难以称之美味。科学家在努力“烹饪”场景三维信息的过程中发现，偏振是一个有效的“调料”，通过偏振信息的加入，再辅之以相应的处理方法和技巧，能够实现被动、高效的场景三维重构，实现场景高维度信息的解译。

对于加入光场的偏振维度实现场景三维重构的过程简单来说，通过引入场景的偏振特征信息，能够求解出图像中每个像素的法向量，逐点遍历即可重建出整个三维场景，而其中最考验“厨师”技巧的过程莫过于对不同复杂场景下像素点法向量的奇异性矫正，这就需要充分利用、整合升维后的光场信息，实现法向量的唯一性求解，确保三维场景重建的准确性，“第十篇偏振为什么能三维成像？”一文中，有详细的论述。

偏振三维成像原理图

当然除了偏振，还有诸如多视角、条纹投影、干涉全息，以及飞行时间等等信息升维的方式，在不同应用背景下实现场景光学三维的重构。

缤纷多彩的三维成像技术

3.2 结构光照明超分辨率成像

在第七篇专栏文章“计算照明，你是计算成像的金箍棒！”中谈到过，计算照明还有一个非常重要的功能，那就是提升光场维度。结构光照明是一个很直观的例子，它有两个显著的优点，其一是实现了从二维图像到三维空间的升维过程，即结构光三维成像。它的原理就像我们小时候玩的立体拼图一样，利用投影技术，将调制后的周期性光场信号投影到物体表面，反射的光场信号会因形貌变化而发生相位的变化，从中解译出高度信息，从而重建出物体表面的形状信息，实现三维成像。

结构光照明成像示意图

结构光照明的另一个优点是可以让我们看到更加清晰的图像，即结构光照明超分辨率成像。它的原理可以简单理解为莫尔条纹现象，莫尔条纹是两条线或两个物体之间以恒定的角度和频率发生干涉时产生的视觉结果。两个空间频率相近的周期性光栅纹样重叠后，产生有别于原图形的第三种可见花纹，这种光学现象中的花纹就是莫尔条纹。根据莫尔条纹的原理，将照明光改造成周期性的结构光场，在成像过程中，照明光场与被照明物体组合成莫尔条纹，将原本不可见的高频信息显示出来，再利用特定的算法，解译出待测物的高频信息，实现超分辨率成像。

传统成像与结构光成像对比图

从升维的角度来看，结构光照明就是构建高维度光场信息的过程，将原来只包含强度信息的平面光提升为携带相位、偏振等高维度信息的结构光场，结构光场与物体相互作用完成信息的调制，再利用数学运算解译出物体的隐藏信息。结构光照明实现了从二维图像到三维空间的升维过程，并通过投射更高频率的光图案，进一步提高了空间分辨率，实现了超分辨率成像。

3.3全息成像

强度和相位作为光场的两个基础维度，在成像过程中发挥着重要作用。传统成像过程中，由于探测器或其他感光物质只能对强度响应，导致相位信息在成像过程中丢失。如何在成像过程中同时记录强度和相位信息，把传统单一强度成像升维到“强度+相位”这样一个模式,“调味料”的选择必不可少。全息成像巧妙的利用了“干涉”这个像白胡椒一样的调味料，将光场中的强度和相位信息都“勾”了出来，实现了强度和相位信息的同时记录。

离轴数字全息图记录光路及成像模型图

全息成像利用物光波和参考光波干涉，将相位信息编码到干涉条纹中并被探测器或干板等感光器件记录。通过对干涉条纹的数值或光学解译后，就能够获取到光场的强度和相位信息，实现从“强度”维到“强度+相位”的二维光场。目前，全息成像被广泛应用于宽场、非接触、无损的相位成像中，如生物组织、细胞的三维成像、MEMS表面形貌的三维变化、流场的实时监测等。

全息成像结果

 

3.4 宽光谱散射成像

为了有效利用超宽带光源成像及提升弱光条件下的散射成像能力，利用宽谱照明实现透过散射介质成像是一个绕不开的话题。传统的散斑相关成像技术高度依赖于获取散斑的对比度，仅在照明光源的谱宽较窄时(约30nm)表现良好。由于宽谱散斑的低对比度，在强度域中难以实现宽谱散射成像。针对连续宽谱散斑中的弱相关及解译性差等问题，综合考虑多波长散斑的自相关项贡献与不同波长散斑互相关项贡献，将散斑变换至倒谱域中，实现目标信息与宽谱点扩展函数之间的线性分离。提出了基于谱纯化的单帧非侵入式宽谱散射成像技术，以及基于凸优化的单帧侵入式宽谱散射成像技术。充分利用计算成像技术的优势，将光学复杂度用计算复杂度来替代。两种技术均可实现覆盖可见光波段的Δλ = 280nm宽谱散斑的高分辨率散射成像解译。

基于谱纯化的非侵入及侵入式宽谱散射成像模型

除了对散斑进行变换域分析外，同时考虑散斑场的强度及偏振维度也可以实现宽谱散射成像。基于不同偏振方位角调制的散斑光场强度的自相关函数差异性,进行函数拟合，可有效获取散斑场中含有的目标信息与干扰信息占优的两幅图像，利用偏振共模抑制特性，抑制由光源谱宽展开引起的干扰信息项，使得散斑场强度的自相关信息与目标的自相关信息近似相等，再结合相位恢复算法,即可从散射光场中重建出高对比度、高信噪比的目标图像。

偏振共模抑制宽谱散射成像实验光路、实验结果及结果对比

3.5 数据驱动的增强成像

现有的光电成像技术能够被调制、评价的参数因子有限，并且相互独立，无法建立起统一的全局优化成像方式和系统，就像把龙虾、鲍鱼和牛肉等最顶级的食材一起下锅，没有考虑不同材料最佳的烹饪时间，造成最终“菜品”甚至达不到1+1=2的效果。

计算成像过程涉及到光源、目标特性、介质、光学系统、探测器等多个子系统，各个子系统中又包含有不同的参数因子，因此需要将成像全过程因子统一考虑，设计基于计算成像的广泛自由度评价系统，并获取大量真实的图像数据，对不同的复杂成像环境实现基于数据驱动的系统标定与优化，实现不同场景下的更强的光场信息解译。

全链路数据驱动增强成像概念图

3.6 逆光成像

传统成像点对点、一一映射的线性成像模型决定了最终成像结果还是完全依赖于探测器的性能。以工业相机为例，当数字图像输出通道为8位深，也就是我们所谓的256级的灰度响应的情况下，即便完全利用探测器的能力，其成像动态范围(20﹡log₁₀(I_max/I_min)也就大约在48dB的水平。但拍摄现实场景时，其亮度变换范围是极为宽广的，因此成像时往往对明亮的地区可能曝光过度，而黑暗的区域可能曝光不足。就像是找了一位五星级酒店大厨做了一桌山珍海味，但供给一位丧失了味觉的食客品尝，再精妙的细节调味也不会得到任何反馈。实际上，像夜间对向车辆开着刺眼远光等视场中存在逆光的情况比比皆是，动态范围不足引起的弊端更为突出。

典型逆光成像场景：曝光过度与不足、夜间的刺眼远光

那么，这种逆光成像的问题有没有可能通过升维来解决呢？答案是肯定的。传统点对点成像的单一强度信息感知解决不了的逆光问题，那我们就在别的维度处理。把时间维度引入其中，用时变的角度观测逆光场景，从而把弱目标与强逆光源分离开，不就可以实现逆光成像了吗？时间上能升维，空间上同样也可以升维！不再依赖点对点线性映射的成像方式，而是在空间上进行调制、分布上进行升维，同样也能实现一样的效果。

逆光成像结果

 

4.升维的终极是计算探测器

从上面的这些例子中，我们很容易发现一个问题：所有的升维都离不开探测器的强度探测，而正是这种单一探测手段，使得升维的问题变得更加复杂；同时，探测器的平面设计也给光场设计带来很多限制，尤其是与视场有关的因素。因为探测器是决定高维度光场映射的最关键因素，如何将探测器设计成高维度光场投影最优，是升维的终极目标。这也就意味着，有了专用的计算探测器，实现升维就变得更加简单。我们期待那一天的到来！