“光场：计算光学的灵魂｜邵晓鹏专栏”

计算光学的本质是光场的获取与解译，无疑，光场扮演着非常重要的角色。随着研究的深入，我们发现：光场是作为计算成像的灵魂存在的。光场的本质是光的物理属性在空间和时间维度上的分布特性。“光场”到底应该怎么描述？光场的形式是什么？在计算光学中扮演的角色是什么？我们该怎么利用光场？这就是本期要讲的内容。

1.什么是光场？

我们先看看什么是光场？

大多数人一看到“光场”这个词，很自然就联想起“光场相机”。这里需要说明一下：计算成像中的“光场”也是Computer Science领域的学者定义的“Light Field”，是指除了包含原图像矩阵中的空间坐标（x，y）和强度I外，还有光线入射的角度信息（θ，ψ）。

这段历史其实可以追溯到1991年，MIT的Edward H. Adelson教授和James R.Bergen教授指出基础视觉可以认为是沿着单一函数的一个或多个方向的局部变化，描述了光照射到观察面的信息结构。一旦定义了这个函数，各种潜在的视觉属性(如运动、颜色和方向)的测量就能够自动分离出来。这个函数被称为全光函数，表示为：L（x，y，z，θ，ψ，λ，t），其中（x，y，z）为空间位置，（θ，ψ）是光线入射角度，λ代表颜色，t 为时间，这就是著名的“七维光场”，光场相机的那个“光场”其实是“四维光场”。

光场传输示意图

我们要注意，E.H.Adelson教授是Computer Science视觉领域专家，光学界的专家后知后觉地发现“光场”的地桩已经被别人打过了。于是，很多人开始琢磨创新：这个模型里没有偏振信息，应该引入偏振P这个物理量，变成“八维光场”；再后来，出现了涡旋光的潮流，又有人说轨道角动量也是光的属性，可以拓展为“九维光场“。可想而知，如果哪天可以探测光子自旋了，那光子自旋之类的物理量应该、也必须应该加入到光场函数中。那就表示，光场函数到底有多少维，似乎变成了玄学问题。

2. 从物理学的角度看光场

从以上的论述可以看出，其实“光场”这个概念在Computer Vision中描述的是空间中（x，y，z）、运动的（t）、颜色的(λ)、具有深度信息（θ，ψ）的物体，这恰好是机器视觉需要的，不过，这种描述很不“物理”，比如：λ是指颜色，而不是光谱！

那么，物理上应该怎么去描述光场？我们已经知道，强度（I）、相位（ψ）、光谱（λ）、偏振P（DoP，AoP）等都是光的物理属性，加上空间坐标（x，y，z），这些量就构成了整个光场信息。可是，（θ，ψ）哪里去了？这两个量其实是从光场相机引出来的，指光场相机里由两个面（x，y）和（u，v）计算出来的夹角描述“光线”的方向，从而计算出景深（Depth of View），获得z这个深度信息。现在应该清楚了，空间坐标（x，y，z）中的z就代表了（θ，ψ）。实际上是一个问题从不同角度看而已。

光场相机成像过程示意图光场还随着时间的变化而变化，在机器视觉的应用中其表现形式就是视频。因此，光场的特点是：光的物理属性在空间和时间维度上的分布特性，即，光场实际上有三个维度集——物理维度集、空间维度集和时间维度集。其中，物理维度集是最复杂的，包含强度、相位、光谱、偏振、量子信息等，且这些物理量在很多时候没办法同时测量、甚至很多量是间接测量的。所以，测量“全”光场信息很难很难，同时，“全”光场信息在实际应用中没有意义。因为我们关注的往往是光场信息在若干维度上的投影，例如：图像就是强度（色彩）信息在平面上的投影，视频是强度（色彩）信息在时间维度和平面上的投影，偏振成像是强度（色彩）、偏振度、偏振角在平面上的投影，光场相机是做强度（色彩）在三维空间上的投影。来看一个例子：当一个小球进入到“纯净”的空间背景时，光场会随之发生变化，运动中的小球各种状态都体现在光场的变化中。好比一潭静水，一滴水滴入后打破了原先的平静，荡起了涟漪，引起了水波的变化。正如我们可以从水波的变化中还原水滴滴入的全过程一样，光场的“涟漪”也能够很好地还原小球在空间的运动状态。

当小球的运动速度特别快时，如果快门速度跟不上，就会因运动模糊而产生拖尾。同时，我们还发现尽管可以用视频记录小球的运动状态，却不能做空间定位。目前，成熟的解决方案是交会摄影，用两个以上的相机进行交会测量，其精度与相机间的距离（基线）有关，核心是利用三角几何关系解方程。

左图为光电经纬仪，右图光电经纬仪交会摄影示意图（计算机与数字工程，46（8））

能不能换一个思路考虑呢？如果我们把小球运动的光场信息记录下来，就能从光场信息中解译小球的位置、运动速度。而且，一旦有了光场信息，离焦、运动模糊这些常见的问题，将在计算光学中迎刃而解，因为我们记录了相位信息。

小球运动左：强度直接成像（模糊明显）右：光场成像（无模糊拖尾）

再举一个例子，能否用一台相机实现3D成像？机器视觉中获取三维信息必须要有两台以上的相机交会摄影才能完成，3D电影也是这样拍摄出来的。那么一台相机能否实现呢？答案是肯定的。按照传统的方法，几乎不可能实现。答案肯定依然是光场起了决定性的作用。现在，行业里很多人都知道偏振3D成像已经日趋成熟，这正是在传统的几何成像基础上引入了偏振信息的结果。在光场中引入偏振角信息，可以获取法线方向，从而实现偏振3D成像。我们团队已经研制了一台偏振3D成像的卫星载荷，计划今年发射。另外一种方法是结构光三维成像，技术成熟度更高，通常以条纹形状的结构光投射到物体表面,单相机拍摄后通过结构光偏移距离求解相位，得到物体的三维信息，这也是在光场中间接引入了相位信息。

偏振三维成像载荷工作示意图

补充一点：光场相机是基于几何光学的，最核心的原理是初中物理课上我们学的透镜成像公式：

 ，

精度上只能做到10^-2到10^-3，超出5米成像范围后精度就会变差，几乎不可用，后面的序列中我还会详细讲。另外，最早的光场相机其实是相机阵列的，之后是编码孔径的，现在多为微透镜阵列的。

Jason Yang于2002年在MIT搭建的近实时相机阵列及成像结果

编码孔径相机及其成像结果

3. “全”光场的意义是什么？

既然“全”光场在应用上没有意义，为什么还要去研究“全”光场？请注意，我这里说的应用上没有意义，并不等于在研究层面上没有意义，恰好相反，在理论研究方面，“全”光场意义重大，因为我们研究的各种成像方式，其本质都是“全”光场在若干维度上的投影，也就是说，当我们获得了“全”光场的信息，就可以在物理维度集、空间维度集和时间维度做各种投影，就可以实现偏振成像、三维成像、光谱成像等等；而如果我们把物理量、空间和时间做某些变换，再做光场在这些变换域上的投影，就是新的计算光学成像方式，这就成了计算成像的活力源泉。

光谱扫描正所谓“有用的最没用，没用的最有用。”因为我们对传统的成像模式太熟悉，需要解决什么问题，就开始从直接从哪个量、哪个维度入手。比如光谱成像，既然需要光谱，我们就用分光元件把宽谱光分解成光谱，再通过扫描、探测器分区域等部分获得光谱图像，因为平面探测器的原因，要么牺牲时间换空间，要么牺牲空间换时间。如果我们从数学的角度看问题，把这些量统一作为最优化的输入输出，做相应的变换，会获得更优的成像维度，得到新的成像方法。这就像色度学里的色彩空间常见的有RGB、HSI、CMYK和Lab，前三个色彩空间每个量都有其物理意义，而Lab这个只有L有其亮度的物理意义，a和b都是变换量，没有物理意义，但我们知道，Lab的色域覆盖范围是最广的。从这个例子上，我们能得到一个启示：在计算光学中，我们也可以做类似的变换域，在变换域中解决问题，可能会获得更多更好的结果。

常见的色彩空间既然光场那么重要，我们就需要多了解光场，深入研究光场从光源到介质、光学系统、探测器各个链路上的分布变化，更能够凝练出光场的传播规律，发展计算光学。从这个层面来看，光场就是作为计算光学的灵魂而存在的。

一方面，我们可以从理论上分析光场的分布，另一方面，可以从实验中获取光场数据。物理光场的仿真研究很多，但多为部分物理量的仿真，覆盖“全”光场的理论仿真我没有见到，也不作为我们这篇文章的重点，这里我们重点讲述光场如何测量的问题。

4. 如何测量“全”光场？

既然“全”光场那么重要，那么，有没有测量“全”光场的仪器呢？答案是没有！如此一来，研制一台“全”光场测量的科学仪器就非常重要了，尽管很难。

研制多维物理光场特性的精密测量仪器旨在对复杂条件全光场信息进行测量，通过在自然环境中主动、被动光源及云雾、烟尘、生物组织等复杂环境中光场传输物理仿真及光学传输特性测量，将不同维度的光学特性信息进行采样与融合，可打破传统光学探测手段的局限性，提高光学成像手段的探测精度，更全面地揭示了光在复杂环境中的信息传播机理，对于全天候、自适应、普适性、远距离成像的民用及商用发展有着深远意义。

左图为有雾时直接强度成像（无法对目标清晰成像） ，右图为光场成像可“穿云透雾”，实现雾后目标直接再现

目前的光学成像手段通常利用的是光场信息在某个或某几个维度的投影信息，且光场受信息采样、量化的关系很大。例如基于光电效应的探测方式导致获取目标信息的同时伴随多维度信息的丢失：空间三维物体被投影为二维成像、振幅、偏振、相位、光谱等多物理维度信息变为单一强度信息；物理上连续的光场信息经采样和量化后变为离散信息，引起信息数据量变化。

研制这样的仪器，就是为了揭示光场信息传递、解译的物理规律，通过在多种状态下光场物理信息参量的高精度测量，完善成像“全”光场信息模型，分析光场信息解译的边界条件，为计算光学成像技术提供基础数据，建立非线性成像模型，开拓计算光学的领域。从这个角度看，“全”光场的测量仪器太重要了！

该仪器主要由五部分组成：光源、介质、光学系统、多维度探测和信息存储与处理，这几部分都是可调控的，具有很高的自由度，涵盖了相干光、非相干光、光谱、偏振等多种信息调控，实现对光场的振幅、相位、偏振、光谱、相关等多维度特征参数测量。利用这个设备，我们通过改变光源、更换介质和光学系统等等，都会引起光场的变化，借助于这些变化，就能够分析出由一些已知条件中推演出照明、介质、光学系统等引起的光场变化特性，从而总结光场规律。

“全”光场测量示意图

5.光场对计算光学的推动

为什么说光场是计算光学的灵魂？

在利用散斑自相关的透过散射介质成像实验中，宽光谱一直是非常难以克服的问题。针对宽光谱的问题，我们用Shift and Add算法做过拓宽光谱范围，也得到了一些比较好的结果，但也会受到一些条件的限制，当光谱太宽时，重建效果就会变差，甚至不再适用。后来，我们把偏振信息引入进来，结果发现：偏振能够建立起宽光谱与散斑自相关的桥梁，再宽光谱都不成问题。

偏振成像架起宽光谱与散斑自相关的桥梁

从以上例子可以看出，由于引入了偏振信息，光场信息的维度提升，使得在低维度空间难以解释的现象在高维度空间变得很简单。这就和量子纠缠令人费解一样。如果我们考虑一把由两个圆环构成的椅子，当光照到椅子之后，在地面上会看到两个圆；在三维空间中旋转椅子时，你会发现地面上的一个圆在动，另外一个圆也会同时在动。如果单纯从地面上看两个圆的必然运动，很难发现其在高维空间中其实是椅子在旋转。这种现象就像量子纠缠，纠缠双光子一个发生变化，另外一个必然发生变化，其在高维空间是什么样，目前我们还不清楚。

气和水等介质对光电成像影响其实也是其对光场的作用，按照传统的光电成像方法只接收能量，维度单一，自然就会造成“看不远、看不清”的问题，同样，生物组织亦是如此。现有的光学系统都是像差约束的，而未来的计算光学系统将是以信息为传递的光场形式出现；计算探测器也将不再是单一的强度探测模式，相位、偏振、光谱、甚至探测器的空间分布（形状与采样模式）都会有相应的形式出现。

作者简介

邵晓鹏，教授，博士生导师，西安电子科技大学光电工程学院院长。

西安市计算成像重点实验室主任，西安电子科技大学杭州研究院先进光电成像与器件实验室主任，西安电子科技大学光学工程学科带头人。

陕西省创新人才推进计划中青年科技创新领军人才，陕西省新体制光电成像与感知科技创新团队带头人，中国光学工程学会常务理事，中国光学学会理事，陕西省光学学会副理事长，西安市激光红外学会副理事长，中国宇航学会光电委员会常务委员，中国兵器光电子专业委员会委员，华为媒体技术实验室技术咨询委员会委员，美国光学学会（OPTICA）会员，国际光学工程学会（SPIE）会员。

国防工业光电信息控制和安全技术重点实验室学术委员会委员、中科院航空光学成像与测量重点实验室学术委员会委员、中科院光谱成像技术重点实验室学术委员会委员、中科院空间精密测量技术重点实验室学术委员会委员、中国红外探测器技术航空科技重点实验室学术委员会委员、陕西省先进光学技术国际联合研究中心学术委员会委员、陕西省光信息技术重点实验室学术委员会委员；《Ultrafast Science》副主编，《激光与光电子学进展》《光学 精密工程》《光子学报》《应用光学》《光电技术应用》《数据采集》《西安电子科技大学学报》《西安邮电大学学报》等期刊编委。

作为国内最早开展计算成像研究的人员之一，在新体制光电成像与感知领域攻坚前沿基础研究并促进技术工程应用，率先在国内开展散射成像研究。发表论文100余篇、发明专利80余项，获省部级奖励5项，主持国家自然科学基金、JKW前沿创新、863专项、GF预研基金、GF重点实验室基金等项目60余项，年经费保持在1000万元以上，获JD科技进步奖、GF科学技术进步奖、航天科技进步奖、信息产业部科学技术进步奖等多项重要奖项，入选全球前2%顶尖科学家榜单。倡导举办4届全国“计算成像技术与应用”专题研讨会，提高了计算成像在光学领域的影响力。带领团队成员研制了广域相机、高性能低成本小型化红外导引头、偏振相机、激光陀螺仪光损耗测试仪、辐射计量辐射光源稳定功率系统等，成果和样机用于国内多家科研院所，促进了新体制成像技术的装备应用。

刘飞，教授，博士生导师，西安电子科技大学计算成像研究所主任。

西安电子科技大学华山菁英人才计划入选者。现任西安电子科技大学先进光学成像交叉前沿研究中心副主任，西安市计算成像重点实验室副主任，陕西省先进光电成像专委会常务副主任，美国光学学会(OPTICA)西电分会指导教师，中国科学院长春光机所应用光学国家重点实验室客座研究人员，光电信息控制与安全技术GF重点实验室客座教授， Journal of Nanophotonics期刊副主编，Cells期刊Computational imaging for Biophotonics and Biomedicine主题Guest Editor，OPTICA Travel Lecture（全球巡讲讲师）；中国感光学会青年理事，《激光与光电子学进展》、《光子学报》等期刊青年编委，Optics Letters, Optics Express，Applied Optics，JOSA A等多个国际期刊审稿人。

自2012年开始进行计算偏振成像技术的研究，累计主持国家自然科学基金青年、面上等项目，国家博士后科学基金面上项目，陕西省自然科学基金等科研项目二十余项，年均到款经费超过300万元，并在Optics Letters， Optics Express，等国际知名期刊发表学术论文40余篇，累计引用超过700余次，申请国家发明专利20余项，产学研转化2项。受邀参加首届JKW“四季青”青年论坛、CVPR等国内外学术交流会议进行成果汇报，并连续获得最受欢迎报告奖、最佳论文奖西安市自然科学论文一等奖等多项荣誉。

席特立，西安电子科技大学菁英副教授，西安电子科技大学计算成像研究所副主任。

主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究，近年来主持或参与了包括国家自然科学基金、JKW预研基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等国内外重要学术期刊共发表SCI论文20余篇，并多次在国际及国内学术会议上做口头报告。曾获2020年陕西省科技工作者创新创意大赛三等奖（第五获奖者）等奖项。

刘金鹏，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。

主要研究方向为计算图像处理、全息成像。近年来参与了包括国家自然科学基金面上项目研究、863项目课题研究、航天飞行器研究所委托项目等多项国家自然科学基金项目及省部级基金项目研究，取得了多项具有重要学术意义和应用价值的研究成果。多次参加相关领域的国内外学术交流活动，并报告最新的研究成果，注重与行业内专家、学者的交流、对话与合作，充分把握和跟进该领域的前沿研究动态。经过多年的研究积累，在全息记录与重建、光场分析、光场调控等方面开展过深入研究，发表多篇SCI国际期刊论文，主要成果以第一作者身份发表在Optics Express，Applied Optics等本领域权威国际期刊上，得到了国内外同行的认可，在全息光存储领域内具有一定影响力。

相萌，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。

主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究，具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等；任中国科学院西安光学精密机械研究所客座研究人员。