智能时代下计算光学成像的走向如何？|邵晓鹏专栏第三季

公元21世纪乃智能时代也。凡世之人，几无不知智能者；操智能，已成乎技矣，此犹流行于工科之人群。若不能操此技者，似将为时代所淘汰，终不为人重视也。智能凡所能“智”处，无不喷洒“智能”之药，药到之处，“智能”之疗效即显，曰：吾已“智能”矣！然则，其真“智能”乎？其“智”何也？为何“智”耶？其极限为何？皆不能答。辩曰：疗效甚好，所谓“智”也！呜呼，盖其只知“智”其所然，而不知“智”其所以然也！

序言 

科研工作者一向都是赶时髦的，所谓的研究新动向，其实就是赶时髦的代名词；“不跟上XX步伐，就会被XX时代淘汰”，似乎成了一条金律，时刻印在他们的大脑。可是，在芸芸科研队伍中，做出卓越成就的人却寥寥无几，跟随的人却成了那些赶时髦的大多数。

于是，我们经常会看到一群从事人工智能研究的人常年有着一种强烈的心理紧迫感，他们的习惯是每天早上起来刷新论文，有如“一天不学习，赶不上达芬奇”般的感觉，陷入到了每天追论文、追顶会的无限循环中，欲罢不能，直呼太“卷”，生怕跟不上，然则结果却是一直没跟上。

当这股“人工智能”之风刮入计算成像领域的窗户时，很多人就奋然操起“智能”之大刀，凡能“深度学习”的，绝不放过，于是，东西半球，大江南北，凡有成像之处，无不弥漫“智能”之风。不信，你看：深度学习能透过毛玻璃成像、让人隔墙视物、能穿云透雾、能提高分辨率、能相位恢复、能去模糊、能提高识别能力……几乎无所不能。但是，到底能提升多少，似乎谁都难以说清楚，显得很神秘。一个显而易见的现象是：只要用了深度学习，成像效果都能或多或少地提升，但是怎么提升的，还能提升多少，该怎么“合理”地运用人工智能这个工具，似乎也没有很好的答案；如果去问偏物理一点的学者，他会说：把这个工具用在物理模型上，才是最好的，至于该怎么用，他也难以回答。

那么，面对人工智能大潮，计算光学成像该怎么应对呢？它的走向如何呢？

一、智能时代

首先，我们粗略捋一下人类的发展史。

人类社会从旧石器时代到新石器时代，历时上百万年；从新石器时代到青铜时代，历时几千年；从铁器时代到工业蒸汽机时代经历了约2000年；从工业时代到信息时代，经历了上百年，而从信息时代步入智能时代，经历了仅仅几十年。当然，智能时代可以认为是信息时代的一个阶段，因为它的本质还是信息处理。人工智能的概念最早出现在20世纪50年代，但因为计算机技术发展相对滞后，一直处于发展缓慢阶段。直到80年代第五代计算机概念提出，计算能力的高速发展，于是，1991年诞生了人工神经网络，2007年出现了深度学习，2018年出现了大语言模型……然后，人工智能的发展如日中天，尤其到了2023、2024年，各种大模型涌现，从语言到视频，从办公到自动驾驶，无不被人工智能占领，英伟达(NVIDIA)的股票猛涨，全球电力告急，各行各业都渗透着“智能”危机，颇有不“智能”便会被淘汰之虞。在电子信息领域，如果你的研究没有涉及到“人工智能”，出门了你都不好意思跟人家打招呼。

接下来，我们再看看光学成像，从公元前400年墨子的小孔成像到19世纪初真正意义的光学镜头成像，历时约2200年。到了计算成像时代，这个以信息为传递的成像方法，遇上了人工智能，自然不能脱俗，于是，人工智能便泛滥于各种成像方法中，然后就有人提出了“智能成像”的概念。当然，你较真地去问他什么是智能成像，他大概只能含糊其辞，显然，只是炒了个概念而已。

小孔成像到单反相机

凡“智能”过处，“疗效”骤显。你看看那些运用到计算成像中的智能算法，无不体现着“智能”的强大功效，此时，你不应该怀疑“人工智能”在计算成像中的功效，而应该去思考人工智能在计算成像中该如何应用，该如何发展，这才是理性的行为。当然，如果能分析出“智能”在计算成像中的模型解释性，那才是上品。

二、妙手回春

自深度学习诞生始，凡智能过处，便翩若惊鸿，大有化腐朽为神奇，似有妙手回春之术。在成像领域中，凡善吃螃蟹者，都成为了“先富起来”的人。你在搜索引擎里输入“深度学习”+“成像”或“毛玻璃”等词搜一下，铺天盖地的新闻和论文就涌现眼前，挑上几个读一读，其中玄妙便略晓一二，于是，“神奇”和“理性”这两个词可能就会涌上心头。

首先是“神奇”。

为何？因为人工智能发展到深度学习和大模型阶段后，其威力变得强大无比，典型的表现就是原先不敢想象的事儿应用了深度学习之后，由不可能变成了可能，甚至超乎人的想象。就拿毛玻璃成像来说，如果说用传输矩阵和散斑自相关方法的话，门槛还是比较高的，毕竟涉及到物理模型还是比较烧脑的；但人工智能来了之后形势大变，无需物理模型，只需要用深度学习这个黑盒子做训练即可，到了一定的训练量之后，这块毛玻璃就变得“智能”了，把之前做过训练的图案输入进去之后，经过神经网络运算马上就能输出正确结果，简直“神了”！更神奇的是，大家都知道水下成像难度很大，但用了深度学习之后，你会惊奇地发现，这潭深水似乎变得灵性了，原先“看”不到的，经过深度学习训练后，变得“聪明”起来，“看”得清清楚楚！ 

然后是“理性”。对，就是理性。

当你陶醉在强大深度学习加持之下的成像中时，不经意间却发现这个东东有bug，那就是这个模型只能输出学习过的东西，没有学习过的似乎不灵，就像《国产凌凌漆》中达文西同志发明的手电筒一般：那就是如果没有光照它时绝对不亮！于是，你就开始产生了怀疑：原来它只会归纳，而不能演绎。说白了，目前阶段的深度学习，只能输出学习过的东西，属于数据严重依赖型的，而且还是要吃得特别多、产出却很少的那种。这其实对成像来说，其打击性是致命的，因为，这个世界是无穷的，但靠有穷的数据集是不可能推衍出无穷世界的。这是原因其一。

其二，它是个黑盒子，很黑很黑，以至于我们只知道它似如灵丹妙药般，不管什么疑难杂症，吃了后都会疗效显著，而至于它为何能治病，却说不清楚，换句话说，那就是黑盒模型的解释性太差了。深度学习解释性差的原因主要有以下几个方面：

1、结构复杂：模型通常由大量的参数和复杂的网络结构组成；在训练过程中通过自动学习来确定参数和模式，其内部的复杂性使得很难直观地理解模型是如何进行预测和决策的。

2、缺乏可解释性：预测结果通常只能通过输入和输出之间的关联来解释，而无法提供具体的解释或推理过程。

3、非线性关系：模型往往是非线性的，它们可以建模复杂的非线性关系。然而，非线性模型的决策边界往往更难理解和解释，因为它们可能在高维空间中呈现出非常复杂的形状和结构。

此时，需要我们在懵圈的过程中慢慢地冷静下来，开始转向理性的思考，那就是这个人工智能本质上是一种工具，到底该怎么用才能在计算成像中发挥更大的作用。于是，那就要深入分析一下在计算成像的哪些环节中可以使用人工智能，在哪些地方能更好地发挥它的作用。

三、取法乎上

取法乎上，得法乎中。要发挥好人工智能的效能，还得从计算成像的链路说起。

计算光学成像的链路构成有：光源、目标、介质、光学系统、探测器、信号处理和显示，而人工智能最早、最多的应用端是在信号处理部分。这当然很容易理解，因为人工智能的本质就是信号处理的工具，从信号处理入手最简单、最容易，疗效也直接了断，一看，嘿，真比其他方法好！于是，一批又一批打着智能成像旗号实际是将深度学习用于计算成像的方法登陆各大期刊，培养起了一批智能时代弄潮儿。

但是，我们可以非常直接肯定地判断：把人工智能只用在信号处理端确实简单粗暴，真正能发挥更大作用的一定不会是在信号处理端，因为，这最多算得上取法乎下者也。因此，那就很值得去捋一捋计算成像的链路，看看这个人工智能到底怎样用才更好使。

光源一般出现在主动成像中，它在计算成像中经常被称之为“计算照明”，其本质就是编码，于是，人工智能当然可以用在此处，只是目前所见，还很少人这么做。

目标其实就是成像的对象，主要是目标特性，我在“基因、光场与信息密码”一文中已讲过，最好的目标特性描述方式是按照类似基因密码子式的表达形式，这里当然需要做很多归纳性的工作，那么，人工智能肯定会发挥非常大的作用。而且，可以预见的是：一旦把目标特性的研究转向密码子表示形式，人工智能的介入将很快把历来为人所诟病的目标特性难以描述的问题解决，为目标检测识别带来佳音。

介质在成像中的作用可谓重要至极，你看看多少年难以解决的大气扰动、雾霾、水下成像等问题，这几年随着散射成像技术的发展和人工智能技术的强力介入，攻克8、9个衰减长度成像已不成问题。被称之为“计算介质”的主角，怎么可能会离开人工智能呢？当然，目前很多人工智能的很多用法依然比较初级，效能发挥尚显不足。

光学系统在计算成像时代是以信息传递为准则设计的，它已不再是单纯追求物象共轭的低像差设计，而是步入了计算光学系统设计时代，它会面临着非线性、低噪声等多重技术考验，而人工智能恰恰在这些领域中最容易发挥作用，而且威力不寻常。

探测器在计算成像时代也不再是单一强度维度探测模式，多物理量、非均匀采样、自由曲面等已成为计算探测器的标签，如何设计新型探测器、如何极低信噪比探测、如何高效信息解译都是计算探测器面临的难题，这些难题无一例外地都涉及到了非线性、低信噪比等问题，把人工智能用好，一定会带来惊喜。

信号处理就不用再说了，它天生与人工智能是结缘的，而且是人工智能牛刀小试的第一站。

显示当然也与智能分不开，它涉及到数据源的优化和显示单元的视频混叠问题，人工智能当然可以大显身手。尤其需要注意的是：显示是大脑直接参与的活动，会与人的神经元直接发生作用，利用人眼的双目视觉，不仅可以提升显示效果，而且可以实现超分辨率。有意思的是，这个超分辨率是双目视觉形成的影像在大脑的合成时实现的，是真正的人脑超分辨率“算法”，因此，它的数据源优化问题就显得尤其重要了。

计算成像典型特点之一是全链路优化设计，把成像链路结合到一起考虑，你就会发现前面分立考虑的链路单元将面临着严峻的考验，原先链路单元中成立的优化设计在全链路中已不再成立，而且，把这么多链路单元合并到一起，物理模型将变得非常复杂，尤其是非线性的问题，将变得难以描述；此时，我们只能呼唤人工智能。到目前为止，我还没有看到一个真正意义上的全链路优化设计的案例，相信随着人工智能技术的发展，随着计算成像模型的研究日益完善，随着我们对人工智能技术的认知深入，全新、惊艳、强大的计算成像方法一定会呈现在世人面前，在信息和人工智能的双重加持下，治愈光电成像的“难言之隐”、突破光电成像原有的极限将指日可待。

四、“难言之隐”

下面，我们换个角度审视这个问题：从计算成像的“难言之隐”出发，研究人工智能如何能在计算成像中做个“主角”，也许会更有深度。

那么，计算成像的“难言之隐”有哪些呢？

“看得见”、“看得清”、“看得准”，这几个口头禅般的需求几乎成了套在光电成像头上的魔咒一般，谁都能念叨几句；可是，谁都清楚，这看到的仅仅是光电成像的表象，而我们更应该看到的是其本质，那就是：非线性和信噪比，当然还有一个更深层次的计算成像范式设计。

对比一下深度学习的黑盒子特点：结构复杂、缺乏可解释性和非线性关系，显然，计算成像与深度学习的契合度极高，天生的绝配，如命中注定一般。也许，你会质疑：它们俩怎么就契合度高了呢？下面，我们就好好分析一下。

最直接的当然是非线性，计算成像中的非线性无处不在，从散射到极简光学系统设计，从介质到探测器，从信号处理到物理量的采样和量化，到处都会遇到非线性的问题。在深度学习诞生之前，我们对待非线性问题要么是线性简化，要么做分段函数拟合，这种方法在处理点扩散函数PSF时经常使用，做过散射自相关成像和简化光学系统设计的人都有此经历。当有了深度学习后，即使采用端对端的黑盒处理，也会得到惊艳无比的结果，让人惊叹。其实，这并不惊奇，因为深度学习天生就是非线性模型，它最擅长做的事情，就是能够凭着数据积累总结“经验”，实现了非线性输出。你要知道，这种经验的东西，我们更多看到的是把它写成线性形式，最多是写成诸如点扩散函数那种多个分段的线性形式，而深度学习给出来的结果之所以让人惊讶，那是它给出的非线性结果确实前所未有，虽然它给不出一个明确的非线性函数表达形式。这当然是与它的结构复杂有关，目前就把它当成隐性非线性复杂函数好了，只是它需要喂食大量的数据。

然后，我们再来看看这个信噪比问题。我在“信噪比：计算成像的‘拦路虎’”一文中已经多次强调：计算成像能走多远很大程度上取决于信噪比，甚至可以毫不夸张地讲：信噪比决定着计算成像的命运！如果能解决成像更低信噪比的边界条件，那么，“看得见”、“看得清”、“看得准”这几个口头禅就不再是问题了。而解决信噪比非常有效的方法就是人工智能，尤其是有了Transformer和扩散模型，人工智能在解决低信噪比问题的表现可谓得心应手。于是，我们捋一捋计算成像中关于信噪比的边界问题，套上一个人工智能模型，你等着惊喜吧。

最后，我们再看看计算成像的范式设计问题。范式设计的本质是高维度光场的低维度投影映射问题，光场解译则是低维到高维的反演问题。光场中光强、相位、光谱、偏振等物理元素如何在时间、空间和信息维度上做投影变换，以保障信息通量的最大化和投影映射的正交性，这些都是范式设计需要探索的问题。而这样的问题，恰恰如同病理诊断、基因编辑一般，人工智能已经能在这些领域中大显身手，甚至强大到可以让一些专业人士下岗的地步。目前，尚未见到人工智能模型参与到计算成像的范式设计的报道，现有的范式设计多限于物理推演方法，犹如当年的预测蛋白质结构一般，不仅速度慢，而且疗效不好。可以预见的是，一旦有人工智能模型应用到计算成像范式设计中，其结果就一定会像人工智能模型Alpha Fold做蛋白质解构一样，原先需要数年时间的工作，现在只需要几分钟，而且成本大幅降低，甚至会淘汰一部分专业人士，你看看Google的DeepMind就能略晓一二。当然，这需要计算成像研究人员投入大量的时间和精力去研究人工智能模型，尤其是需要将物理信息融入到神经网络之中，做纯正的物理深度学习大模型，这才是取法乎上。

同时，我们还应该看到的一个严重问题是：目前，我们对高维度光场的认知尚停留在比较低的阶段，导致的最直接结果就是有了好工具不会用，于是我们就经常会遇到这样的一些尴尬场景：当你去推销偏振高光谱相机时，不假思索的一句质疑就是“它能干什么用？”，最后的结果往往是你的滔滔不绝换来了一眼迷惑。其实道理很简单，因为你也没有实际搞清楚它到底能干什么。很显然，再给光场提升一个维度，你会更加迷惑。我们当然可以认为这是因为光场具有复杂性和解释性差的原因，那么，你把这个问题丢给人工智能去试试吧，相信它一定能干得很起色。也许，它能帮你打开高维度光场认知的大门。以后，什么三维成像、什么超分辨率、什么对焦困难、什么合成孔径等等疑难杂症，都可以从这些光场基本元素中找到根源，用深度学习去探索规律，构建计算成像新范式。

五、旧时王谢堂前燕

卡夫卡说：“无论规则多么离奇、荒谬、不合逻辑，大多数人都会毫不犹豫的遵守。因为遵守它，事后才会付出代价；不遵守它，立刻就会付出代价。”如果我们把智能时代看做是那个规则，那么，我们应该遵守它，拥抱它，何况它不存在什么“离奇、荒谬、不合逻辑”，它是合理的存在，而且它发挥出来的作用足以颠覆人类的认知。你看看特斯拉FSD 12.3版的L5级别完全自动驾驶功能，仅仅依靠单纯的视觉，有了强大的人工智能加持，就可以完全碾压那些装了激光雷达也仅仅勉强做到L3级别辅助驾驶的那些号称“遥遥领先”的车型。

前几年频频曝光于各大名刊的深度学习成像方法，现如今已然飞入寻常百姓家。但是，我们也要看到，“取法乎上”的人工智能计算成像之术少之又少，难觅其迹，我们见到更多的是一些重复工作，甚至有的就是学术垃圾，很多号称智能成像的研究也多是穿了一身华丽的人工智能外衣而已。要做金字塔尖上的研究工作，必须要沉下心来，抓住问题的本质，潜心研究，敢吃螃蟹。

人工智能是一件非常好的工具，它的不俗表现已颠覆人类认知。随着技术的发展，更强大、更好用的人工智能模型一定会出现。对于计算成像来说，人工智能的应用尚处于“取法乎下”阶段，很多金矿在等待着我们去发掘。在智能时代，我们要抓住两条主线——成像的全链路和痛点问题（“难言之隐”），从本质入手，如打蛇七寸一般，抓住重点，以探索普遍规律为上的原则，多去研究成像范式问题，拓展计算成像的边界条件，然后把这些技术应用到航天、航空、工业和消费电子等领域，相信这些颠覆性研究一定会让你受益匪浅。

希望这些“旧时王谢堂前燕”飞入寻常百姓家时，依然是以更高格调的出现，而不是仅仅做题模式。