1、大学食堂

中午12:00，壮壮同学端着刚从“抖勺专家”——食堂打饭阿姨手里接过叉烧饭，找了个座位坐了下来，眼见着几块诱人的叉烧从阿姨抖动频率超过帕金森综合征的手中无声落下，心中不悦。打开手机，无意中刷到了周星驰《食神》中比赛的那个片段。

食神在比赛中做了一道平淡无奇却超级好吃的蛋炒饭，名曰“黯然销魂饭”。这道菜的食材极为普通：大米、猪肉、鸡蛋、青菜和洋葱，却让女评委吃了一口叉烧后情不自禁飘了起来，连叫“好吃”，味道超越了唐牛用料十足的极品“佛跳墙”；当女评委情不自禁留下眼泪时，大声问：“我为什么会流泪？”食神说：“因为我加了洋葱。”

食神说：人人都是食神！

壮壮望着盘中的叉烧饭，嘴里嚼了一块咬不烂的叉烧，顿时五味杂陈，眼角不禁有些湿润。不，那不是洋葱的味道！叉烧饭里的洋葱已经糊了。

同样的食材，同样都叫叉烧饭，一个黯然销魂，一个黯然流泪……

2、导师办公室

14：00，壮壮如约来到导师办公室，导师赠送了他一本签名版的《未来视界：计算光学带来的成像革命》，让他认真读，仔细琢磨，并让他继续跟踪作者写的第二季科普系列文章，尤其要关注光场和升维部分，希望他能够通过具体的一些实例深入领悟。

壮壮很激动，思忖如何能成为一名计算成像高手？冥冥中，似有人言：“人人都是计算光学成像高手！”壮壮一怔，难道是食神？抑或是……

 

1.光场的“五味”

1.1 烹饪中的五味

五味其实是味蕾的感觉。经常地，我们会闪过“酸甜苦辣咸”，但这是错的，正确答案是“辛酸甘苦咸”，取代“辣”的是“辛”，“辛”的经常性代表是葱姜蒜，这些也是我们经常说的“荤”。如果你身边有素食者，他们不仅不吃鱼鸭鸡肉为代表的“腥”，而且不吃葱姜蒜诸类的“荤”。“辣”实际上是一种“痛”感，而不是味蕾感受到的味道，尽管“辣”早已成了现代餐饮中的常客，“无辣不欢”已成为不少食客的标签。

“辛酸甘苦咸”

五味在烹饪中非常重要，一句话就足以说明这个问题：“好厨子，一把盐。”油盐酱醋糖等佐料构成了味觉的基本元素，加上好的食材和烹饪，就能做出一道又一道大餐。

1.2光场中的“五味”

计算光学成像的灵魂是光场。光场当然没有“辛酸甘苦咸”，却又类似“五味”的元素存在，那就是强度、相位、偏振、光谱、时间和空间等基本元素的体系，只是没有烹饪中的“五味”特征那么明显。如果说明显，那么颜色与光谱是直接相关的。但这些不重要，重要的这些基本元素都能干什么。

光场的“五味”

强度，是光波函数幅值的平方，把一个复数值直接降维成一个实数。在成像中最离不开的物理量，直接变成了探测单元响应，经常被量化为灰度值。光强的变化构成了图像的不同层次，但过强会导致饱和，而过弱则会造成信噪比太低。

相位，一个天生与波动分不开的量，在光学成像中扮演的角色很多，与三维、分辨率、畸变、合成孔径等关系紧密，我在“相位到底是个啥？”那篇文章里已有详细论述。

强度图像和相位图像

偏振，一个与矢量光场分不开的词，明明白白地告诉我们，它是光场调控中离不开的那款“调味品”，我在之前的文章里也多次讲过。这里特别要强调的是偏振不能只考虑偏振度而忽视偏振角，恰恰经常被忽视的偏振角会给你带来意想不到的惊喜。其实道理很简单，一个矢量被阉割成一个标量值，本来想升维的，无意中自己做了降维处理。

光波的偏振

光谱，其属性与频率相关，代表光波的“颜色”，也被称之为物质的指纹，虽然经常被按偏。在光学成像中，光谱是一个让人又爱又恨的家伙，既能给我们带来五彩缤纷的色彩，还能让我们看到红外、紫外的世界；可是，为了消色差，我们不得不一块又一块的将玻璃加进镜头中，使得镜头变得又大又重，成本还降不下来；在做光学合成孔径时，它简直就是一条凶狠的拦路虎。

光谱

时间和空间其实是光场中的辅料，因为光场经常会因为时空发生变化，同时，时间和空间还参与到了探测器的工作，与积分时间和空间分辨率都有关系。

正如前文所述，成像与烹饪很相似，都是利用“五味”做出符合“口味”（即目标）的“大餐”（即任务）。计算成像瞄准更高（分辨率）、更远（作用距离）、更广（视场）、更小（SWaP）和更强（环境适应能力）的目标发展，这就是我们要的“口味”，而“大餐”正是我们要的成像方法。

那么，如何利用光场的“五味”调出味美的“大餐”呢？

 

 

2.计算成像中的光场“烹饪”准则——信息最大化传递

计算成像的引擎是升维，升维就意味着需要获取更多的信息，那首要任务就是保证有足够的光学信道容量。这自然就带来一个问题：光学系统重量体积不增加的前提下，如何保障信息量更多地通过系统？这看起来似乎是个悖论，恰如水管就那么粗，怎么可能超出其流量极限呢？这个怀疑似乎很合理，却忽略一个问题：水的流量计算只有一个物理量，而光的物理性质不同，这些“五味”（除了时间和空间）属于其内在属性，只是在探测时有意无意地只选择了某些量而已，就像偏振特性无处不在，但大多数成像中缺少偏振探测手段使得其无法获得。当然，你要是抬杠，说可见光镜头无法通过中长波红外，反证上述说法不正确，我只能说那是光学设计问题，不必较真。

但其他问题马上来了：你说的都是关于维度提升的问题，光学镜头与水管不一样的是：光学口径决定信息进入的截止频率，口径定了，那么信息容量就决定了，你也没办法再提升了。这个说法似乎是对的，但我们马上就能找出一个例子：光通过散射镜头后，从截止频率的角度看，其等效口径比实际口径要大，因为光线不再走传统透镜的直线模式，而是经过多次曲折的反射路线后，原先根本无法到达像面的光线（高频信息）竟然走到了像面。这说明的问题是：传统的透镜遵循的线性传递模式，也就是说傅里叶光学其实讲的是线性系统，如果加入了诸如散射编码模式，信息已不再是线性传递。更通俗一点讲：在传统成像中，信息是按照频率从低到高线性方式通过光学系统，而计算成像则会打破这一模式，通过信息编码的方式对光的频率进行选择，在保持总信息容量（口径）不变的情况，让更高的频率可以通过。

传统透镜与散射透镜

传统成像要求的是整齐划一，而计算成像则是允许不同态的共存，这恰恰也是升维的内在表现形式。整齐划一需要足够的资源才能完成，而允许不同态存在则对资源的需求并不高，这恰恰是符合计算成像的气质。

传统成像与计算成像的“不同态”

当然，我们这一篇重点要讲的还不是这个问题，而是在升维模式下，信息的最优选择、最大化投影和恢复，这才是范式设计的核心问题。

 

 

 

 

3.计算成像的范式设计

犹如做菜一般，光有食材和佐料不行，还得会烹饪技术。同样的叉烧饭，相同的程式，不同厨师做出来的味道却有差异，原因当然在于火候、食材和佐料添加的量和时间不同，甚至与食材的处理方法都有关。做好菜既需要经验总结，更需要大胆创新。计算成像范式也是如此，得根据目标任务设计选择用光场的哪些元素、怎么用、达到什么效果，“五味”调和好了，才能做出计算成像的“大餐”。

具体的，我们来看下面这幅图。首先，五个“更”的成像需求是约束范式设计的前提条件；然后在传统成像不满足要求时，考虑升维的模式，根据光场“五味”特性，选取其中的几味；受限于探测器的限制，根据信息量获取最大最优原则，建立光场“五味”的投影关系；最后经过信息重建，达到预期目标。

计算成像的范式

于是，这就产生了另外几个问题：

1、光场信息是如何传递的？

2、如何设计投影关系？

3、选择什么样的非线性模型？

问题1已在前文中讲过，不再赘述，这里最关键的其实是问题2，其本质是如何在信息通量一定的前提下，经过投影后的信息还得满足信息量的最大最优化原则。于是，我们得考虑正交这个问题了。

正交通常表示两个向量相互独立。如果光场在强度、相位、偏振、光谱等维度上的投影相互独立、相关度为零且无信息冗余，则表示光场的各个分量相互正交，此时光场信息的利用率最高。

光场的“正交”

光场的正交可分为三类：

1）不同物理维度之间相互正交：偏振、相位、光强、光谱等。这类问题相对简单，因为这些物理量相互间本身就满足正交，研究的人也多，比较容易理解。

2）同一物理维度的不同物理量或不同量值间相互正交：偏振中的偏振角和偏振度、光谱中的不同谱段等。这一类问题比较复杂，对偏振度和偏振角而言，它们同属于偏振维度的两个分量，自身就是正交的；对于光谱而言，这个问题就复杂多了。典型的例子是颜色，我们可以用RGB三基色来描述，但对于红外波段来说，是否也存在这样的“三基色”、“四基色”呢？在上一篇文章中，我们已经初步探讨过这些问题，在这里不展开，留在后续的计算探测器单元中再做论述。

3）不同物理维度变换域中的正交。这个问题就更复杂了，目前几乎还很难找出一个强有力的案例，如果硬要拿出一个案例，我只能拿色度学中的Lab色彩空间来说明了，它是一个变换域的正交，L代表的是亮度，有其物理意义，而a和b都是经过变换得到的两个没有物理意义却很好用的量。恰恰是因为这个问题复杂，才有更大的发展空间值得我们去开拓。从透散射介质成像到现在流行的光场调控，其实都可以考虑如何在变换域中设计正交方法。

Lab色彩空间

最后，我们再来看一看棘手的问题3：非线性模型。相信大多数做计算成像的人都意识到非线性这一问题，但受限于现有的知识体系，突破的不多；一旦有点小的突破，可能就能解决大问题，比如逆光成像。

 

4.牛刀小试：举例

“全”光场信息是在引入强度、相位、光谱、偏振等物理属性的基础上，加上传播方向、空间坐标等几何属性。那么如何设计投影关系才能实现光场信息的利用率最高，达到“五个更”的成像目标。光场的“五味”投影可以是单一维度的一维投影，例如强度投影、偏振投影以及光谱投影。也可以是多维正交投影，即同时探测多维光场信息，也可以理解为光场信息在多个维度的投影。

4.1 一维投影

对于一维投影来讲，强度投影描述了光场的亮度或能量分布，告诉我们在空间不同位置上光的强度是多少；偏振投影指出了光场的振动方向，告诉我们光场在不同偏振方向上的振动状态是什么样的；光谱投影则是指出了光场在不同波长或频率上的相对光强分布。

（1）强度投影

将目标光场信息向单一的强度维方向进行投影时，利用探测器获取目标光强信息，即强度图像，该图像可以显示出目标的大致轮廓。然而，这种方式所能探测到的光场信息量过于有限，仅凭强度信息有时会出现视觉差的情况，对真实场景产生误判。

（a）光场信息向强度维方向投影示意图（b）可见光波段强度图

（c）红外波段强度图（d）视觉差现象

（2）偏振投影

将目标光场信息向单一的偏振维方向进行投影时，利用探测器能获取目标在某个偏振态下的强度图像，即偏振图。与传统的可见光波段强度图相比，偏振图增加了目标的偏振特性，利用该特性可实现去雾清晰成像、目标检测与识别、工业产品质量检测与疾病诊断等。

（a）光场信息向偏振维方向投影示意图；（b）强度图；（c）偏振图

（3）光谱投影

将目标光场信息向单一的光谱维方向进行投影时，利用探测器能获取目标在任意波长下的强度图像，即光谱投影图。根据人类视觉的特殊性，可建立RGB颜色空间，该空间可以理解为是光谱的无穷维空间经过非线性变换形成的三维空间的第一象限的一部分。而对于同一场景，由于人和其他动物感知的颜色世界完全不同，所产生的光谱图也截然不同。

（a）光场信息向光谱维方向投影示意图（b）人类视觉（c）狮子视觉（d）老虎视觉

4.2多维正交投影

对于多维正交投影来讲，更多维度的投影可以突破更多传统成像的制约，获取更多的光场信息，实现探测性能的进一步提升。

（1）强度+相位投影

我们先来看看强度+相位的正交投影实例。强度和相位作为光场的两个基础维度，在成像过程中发挥着重要作用。传统光电成像由于探测器只能对强度响应，导致相位信息在成像过程中丢失。如何在成像过程中同时记录强度和相位信息，把传统单一强度投影升维到“强度+相位”的正交投影模式,“调味料”的选择必不可少。在全息成像中，当光波经目标表面调制后，由于携带了目标表面信息，该光波强度和相位信息会发生变化。因此利用物光波和参考光波干涉将相位信息编码到干涉条纹中，通过对干涉条纹的数值或光学解译后，就能够获取到光场的强度和相位信息，实现从单一“强度”投影到“强度+相位”的二维光场投影。全息成像通过引入相位信息，可以观测到原先“强度透明”的相位目标。在此基础上利用相位与光程差之间的关系，可获取目标表面的高度差，实现目标表面形貌的精确测量，三维形貌测量不管是在工业应用还是科学研究中都发挥着重要作用。

全息成像及三维形貌测量结果

傅里叶叠层成像的本质是合成孔径，只是这个合成孔径是利用多角度照明来实现相位调制。光与物质之间会发生相互作用（瑞利散射，米氏散射等），当改变照射样品的光线角度时，相机可以采集到样品不同频率的散射光（对应样品出射光波的不同空间频率，也就是样品频谱的不同成分）。因此原本超出物镜衍射极限的高频信息因为多角度的照明被移到系统的通带内，被相机记录下来。这项技术利用光场在强度和相位两个维度的投影，进行了频谱延拓，实现了超物理口径衍射极限的高分辨率成像。

傅里叶叠层成像实现频谱延拓

在散射成像中，原有基于散斑相关的成像方法只探测散射光场的单一强度投影信息，通过迭代相位恢复算法虽然可以获取目标的二维图像，但是无法精确感知目标的姿态等空间信息。通过多帧散射光场复原技术，求解目标光场的复振幅信息，同时获取目标散射光场的强度+相位投影，可以实现对目标位姿及空间深度信息的精确复原。

多帧散射光场复原技术

（2）强度+相位+光谱投影

我们再来看看强度+相位+光谱的三个维度光场投影的实例。在散射成像中，传统散斑相关成像技术在窄带光源照明时表现良好，在宽带光源照明时由于宽谱散斑的弱相关性以及解译性差的问题散射成像能力较差。通过频谱纯化技术同时探测强度+相位+光谱维度的投影信息，可以实现目标信息与宽谱点扩展函数之间的线性分离，将光学复杂度用计算复杂度来替代，实现覆盖可见光波段的280nm宽谱散斑的高分辨率散射成像解译。

宽谱散斑的高分辨率散射成像

（3）强度+偏振投影

光波的偏振信息在之前的文章中已经多次介绍，它是非常有效且好用的一个维度的光波特性信息。利用强度和偏振的投影，我们能够实现对场景三维立体信息的重建。具体来说，目标反射光的偏振信息携带了物体轮廓立体变化的参量，通过求解偏振特征信息，能够实现对每个像素点对应的微面元法线方向的求解，具有被动、高精度、远距离探测等优势，但是任何事情有利就有弊，对于偏振三维来说由于特征信息求解过程存在函数的周期性变化，因此存在的多值性问题会造成重建的畸变。而强度和偏振信息投影，可以充分利用两种信息在目标三维立体估计中的特征参量，对偏振三维重建中的多值性问题进行约束，实现自然场景下被动的高精度三维成像。

偏振三维成像

（4）光场调制投影

光场调制投影是光学元件对光场的光强和相位等信息进行精密调控，以在观察平面上产生更高分辨率、更加真实的图像。这种技术可以用于各种应用，包括虚拟现实、增强现实、3D显示等领域，对于创造沉浸式的视觉体验以及创新的显示应用具有重要意义。

光学调制投影应用于汽车产业

利用光场调制投影技术，构建大动态条件下目标信息非线性散射变换模型，实现非线性散射变换机理研究，可实现强光干扰下的逆光成像。以工业相机为例，当数字图像输出通道为8位深，也就是我们所谓的256级的灰度响应的情况下，即便完全利用探测器的能力，其成像动态范围(20﹡log10(Imax/Imin)也就大约在48dB的水平。但拍摄现实场景时，其亮度变换范围是极为宽广的，因此成像时往往对明亮的地区可能曝光过度，而黑暗的区域可能曝光不足。利用光场调制投影技术，在空间上进行调制、分布上进行升维，我们实现了在仅使用普通工业相机的前提下扩展动态范围，对120dB大动态范围的场景成像，即一幅图像中最亮与最暗光强比为1000000倍。

逆光成像(a)70dB动态范围手机拍摄图(b)调制后直接探测图(c)复杂目标(d)解译结果

4.3多维投影信息探测（计算探测器）

既然已经知道要利用光场的投影去解译目标信息，那么这些投影信息应该如何探测到呢？传统的点对点探测、端对端探测、强度探测等方式忽略了光场的物理特性，信息丢失严重。如何提升信息捕获率，突破传统探测模式成了首要问题。计算探测器摒弃传统只探测强度的方式，根据五个“更”的成像需求，联合材料、微电子、集成电路、数学和信息这些学科的知识，将计算成像非线性模型和光场映射方法融合到探测器中，设计出具有多维信息感知的探测元件，最终实现对空间、时间和物理多维度投影功能的探测。例如：非均匀采样探测器通过改变采样程度对感兴趣的区域密集采样进行高分辨描述，对周边区域稀疏采样进行粗略表达，使得要处理的数据量得到压缩，选择性的获取感兴趣的信息；超表面计算探测器通过改变感光材料或者感光元件的阵列结构、信息编码方式、空间位置等，实现对光场波前振幅、相位以及偏振态的灵活调控，超表面作为微型镜头阵列，可以显著提高系统的集成度，并且具有更多种的偏振和光谱的控制能力；感光计算探测器通过将神经网络算法集成到感光元件上，对单独传感像素的响应进行控制，这样传感器阵列兼具图像感知和处理的功能，在探测的同时进行计算，减小了能耗和时延。这些探测器的问世已经向探索计算探测器的道路迈向了一大步，但是仍存在分辨精度、传输能耗、制造工艺等诸多问题，计算探测器作为目标探测和成像系统的核心器件，其探测性能、探测维度又是光学系统优劣的关键。在探测目标信号非常微弱，或者背景辐射比所探测目标的信号强度一般高出几个数量级的情况下，探测器能否打破现有单一维度探测的局限，甚至成为了某些特定环境探测器突破性能极限的瓶颈，未来还需要从多维度信息获取、基础架构、算法系统等多个层面协同创新，才能开发高能效的新型计算成像探测系统。

计算探测器

 

5.范式设计的核心

计算成像的范式设计其实就是创新“菜谱”，根据客户“口味”（任务）选择光场“五味”做出“大餐”，其目的当然是要解决传统成像难以实现的问题，其核心就是在升维模式下，满足信息最大最优投影和恢复的原则，设计出全新的成像模型。这是一片广阔的天地，抓住机会，相信你写的论文一定可以达到《Advanced Imaging》的水平。

傍晚，壮壮在食堂要了一份油泼面，还在思考范式的问题：原来黯然流泪饭与黯然销魂饭的差异出在范式设计上了，相同的食材，烹饪手段不同，结果当然不一样。计算光学成像的范式也是如此，同样都是偏振成像，但结果差异迥然，与信息投影方式和恢复方法都有关。顺手划了一下，猛然刷到一个头发稀疏的老者鬼画符般伏案疾书，洋洋自得，对买书的人说：“人人都是计算成像高手……”