引子
1、场景一
西北小镇某机场，雷达一圈一圈地扫着，突然在屏幕上显示出一个亮点，值班的小王随即发指令给光电经纬仪，10秒左右时间，随着扫视视场在屏幕中快速闪动停下后，图像画面呈现出了一架闯入禁飞区的无人机。就在小王将情况汇报上级时，雷达屏幕上又出现了多个跳动的亮点，而且还处在不同的区域，小王快速操作光电经纬仪，又经过了10多秒时间，看到其中一个亮点区域后，还没来得及看清图像，雷达又突然报警……小王手忙脚乱，最终也没有全部确认这些亮点到底是无人机还是鸟群。
图 机场雷达上的亮点
2、场景二
H公司在第25届海参杯足球赛的总结大会上，公司首席科学家乌干达科学院院士黄总脸色铁青，他已经被上级领导请去喝过好几次茶，原因就是在比赛过程中发生了有预谋的球迷闹事事件，观众席中不同位置出现带头闹事的苗头，却没有及时发现，甚至让好多带头者溜走。尽管H公司事先立下军令状，说他们的监控摄像头犹如天罗地网，苍蝇也逃不过监控区域。的确，进球时守门员喝水动作拍得很清楚，连眼神都捕捉很到位；可是在比赛的第一天，他们就发现这些分布在不同角落不同焦距的摄像头在协作时出现了问题：不能同步，不能联动，一旦多点触发，系统就面临瘫痪的危险。最终，黄总那引以自豪的视觉监控系统还是败得一塌糊涂，上了头条。
3、场景三
今天是老侯到市里领奖的日子，老头子收拾打扮了好半天，心里乐啊。终于，他负责的海水浴场受到了市里的表彰，今年的溺水事故发生率为0。这简直不敢想象啊！他们的海水浴场水质好、沙滩好，每年夏天来旅游的人很多。可是，海水浴场海岸线很长，安全就成了问题。一次偶然的机会老侯知道有广域高分辨率相机这样的好东西，经过多次调研，在夏天到来之前，他购买了多台广域高分辨率相机，岸边每间隔一段距离安装一台即可覆盖整个海水浴场区域。每年夏天，时有游泳者越过警戒线，闯入深海区，发生溺水。在近海区，因为各种原因导致的溺水事件就更多了。之前，老侯也买过几台高分辨率相机，看得倒是很清楚，可是视场太小，只能看很小的一块区域，根本解决不了问题。想到这些，老侯感慨万分，这些设备解决了大问题，而且还减少了值班人数。
很显然，这三个场景都聚焦到了一个词——广域高分辨率（或称大视场高分辨率、宽视场高分辨率），也就是说，在应用中拥有高分辨率同时兼顾大视场的场景很多，而这样的产品却不多。为什么呢？
图 广域高分辨率
一、大视场高分辨率的魔咒：空间带宽积
光学系统的空间带宽积（Space-bandwidth Product, SBP）最早于1910年由阿贝提出，是对系统所含信息通量（系统自由度）的无量纲评价指标。对光学系统而言，SBP被定义为系统空间频率带宽Δν和成像视场(空间幅度)Δx的乘积fSBP=ΔνΔx。如果光学镜头焦距为f，口径为D，则fSBP=D2/4λf。
图 空间带宽积
通常，探测器的采样过程也会降低空间带宽积。下面，我们来看看什么是视场和瞬时视场角。视场（Field of View，FoV）指的是在成像系统或传感器上可以观察到或捕捉到的完整景象或区域的角度范围，而瞬时视场角（instantaneous Field of View，iFoV）表示的是某一瞬间内，成像系统或传感器所能够捕捉到的景象或区域的角度范围，它是视场的一个子集。假设探测器尺寸为A×B，像元尺寸为a×a，光学系统的焦距为f，那么水平视场（Horizontal field of view，HFoV）和垂直视场（Vertical field of view，VFoV）可分别表示为2arctan(A/2f)和2arctan(B/2f),对角视场（Diagonal field of view，DFoV）为
，瞬时视场则为a/f。
图 视场和瞬时视场
因为空间分辨率（即一个像素）与瞬时视场角一一对应，瞬时视场角越小，空间分辨率越高。那么对探测器而言，水平与垂直方向像素数已固定，则视场可以近似认为是像素数乘瞬时视场角。这恰恰就是空间带宽积的简单表述。想要获得较大的视场范围成像，就需要减小系统焦距f，而选取的探测器像元尺寸是不变的，那么焦距f减小将导致光学系统iFov增大，也就是探测器像素密度降低，分辨率下降。相反，要在同等视场情况下使系统分辨率达到更高水平，只能降低成像视场。
图 视场与分辨率
很显然，空间带宽积分辨率与视场是相互制约的，追求高分辨率就得牺牲视场，而追求视场就要牺牲分辨率。现有的成像镜头的空间带宽积都在千万像素量级，且随着镜头焦距的提高（角分辨率提高），成像系统的空间带宽积不但没有提升，反而有所下降。这种有限的空间带宽积是制约广域监视、高分辨率成像的关键瓶颈。那么，我们该如何去突破这个限制呢？
图 视场和空间带宽积
想要突破，就必须要找到边界条件。你看，所谓的“分辨率与视场是相互制约”这一说法的前提是使用单一探测器，其感光面尺寸已固化，这就是其边界条件。从视场角的公式中，我们可以看到，感光面的尺寸直接影响视场的大小。于是，突破就要从探测器入手，要么将探测器尺寸做大，要么多个拼接。于是，面向视场的战斗就有两条主线：一是探测器固定的；另一个是探测器不固定的。为了描述方便，我们把只用单个探测器的空间带宽积记为1-fSBP，把用n个探测器的空间带宽积记为n-fSBP。
二.打响拓宽视场的第一枪：从1-fSBP开始
当我们只有一个探测器时，而且需要大视场，此时，我们只能从1-fSBP开始。
第一条路线：只有一个探测器，而且感光面尺寸固定。此时，根据视场角计算公式，要想获得更大视场，就要缩短焦距，于是，在摄影中就出现了广角和超广角的说法，甚至出现了鱼眼镜头。以135相机为例，一般焦距小于35 mm的摄影镜头都称之为广角镜头，如果焦距到了8 mm甚至更短，这时候就进入了“鱼”的视角，其竟然可以超过180°视场！
图 鱼眼镜头及其成像效果
在光学上还有没有其他办法呢？当然有，于是出现了“环带”的大视场光学设计方法。
“环带”是大视场光学设计的另外一种方法。全景环带光学系统是受扇贝眼睛的启示所发展起来的一种折反射式光学系统，其结构主要包括全景头部单元和中继透镜系统。全景头部单元主要通过对光线的折反获取大视场的成像范围。中继透镜将头部单元所成的虚像进行二次成像，获得合适的放大倍率和成像范围。由于该系统在像面中心有一个圆形盲区，这就形成了一个圆环形像面，因此该系统被称为全景环带光学系统。
图 全景“环带”光学系统
无论广角还是环带，我们看到的图像往往畸变很明显，甚至很夸张，典型的就是鱼眼镜头，通常中心分辨率很高，而边缘处图像“挤压”严重，分辨率也存在问题，而且，探测器周边浪费了很多空间，让本不富裕的“像素数”雪上加霜。
图 鱼眼镜头的像面
很显然，受空间带宽积的约束，视场与分辨率不可兼得，在一个探测器下同时获得大视场和高分辨率是不可能的。于是，我们顺着升维的思路来考虑，就有了第二条路线，即在时间和空间维度上拓展，从1-fSBP到n-fSBP。这也就意味着有两种方法：1）时间换空间（扫描成像）；2）增加探测器数量。
对于“时间换空间”的把戏，我们已经玩得很多了，从遥感卫星的推扫成像，到手机的全景摄影，用了较小的代价换取了宽视场高分辨率的成像。当然，手机摄影中多会牺牲空间分辨率，这是因为算力受限，从实时性角度考虑，就只有牺牲分辨率了。
图 推扫成像
下面，我们重点来看一下仿生复眼的多孔径成像方式，这也是目前解决宽视场高分辨率最有效的方法。
三.低级动物的启迪：复眼与多孔径
拥有复眼的动物很多，而且都是低等动物。最为熟知的复眼动物是苍蝇，尽管一提起苍蝇就觉得恶心，但它的眼睛却很值得我们研究，甚至在高分辨率成像下，它的复眼看着还挺好看。
动物的复眼大致可以分为两类：
1）独立分布的多目者，如蜘蛛、蝎子、扇贝、螃蟹、海胆等。
蜘蛛的眼睛很有趣，不同种类的蜘蛛眼睛数量也不一样。大部分的蜘蛛有8只大小不一的眼睛，有一些蜘蛛是6只眼睛，还有少部分蜘蛛没有眼睛，或者有２个、４个或12个。它的特点是中间有一对主眼，然后有一圈小一点的辅眼围绕其周围。我还见过蜘蛛背上有一只大眼，周围有一圈小眼。很显然，那只大眼睛是分辨率最高的，外圈的小眼睛负责远距离预警，一旦激活便启动那个大眼睛以确认危险程度。
图 蜘蛛的眼睛
怎么，还有扇贝？没错，扇贝的眼睛长在贝壳的边缘，当你抓住它的贝壳时，有上百只小眼睛在怒视着你，你却因为无知而视而不见。扇贝的眼睛大概也就是多个低级的小眼睛注视着周围，决定取食还是逃生。根据不同的品种，每个小小的扇贝居然都有少则几十只，多达200只的眼睛，这些眼睛长在壳边缘小小的触手顶端，围绕着扇贝的壳360°都有分布，达到了眼观六路的地步。
图 扇贝的眼睛
这一类复眼对应在光学上，其实就是多孔径相机模式。这种模式的相机设计自由度较大，可以根据不同的需求选取不同焦距的镜头、多个光谱谱段、甚至偏振，能给加的都给加上，只要你有钱。当然，最经济的方法还是每个孔径都相同的设计，视场好设计，分辨率好控制，甚至成本都好算。这也是最常用的、最简单的多孔径方法，需要的主要算法是图像拼接、非均匀性校正和目标检测。
2）复合多目者，简称复眼，甲壳类和昆虫类大都拥有复眼，如虾蛄、苍蝇、蚊子、蜜蜂等。它们的特点是这些小眼睛按照一定的曲率分布组合在一只大眼睛上，由上千个小眼睛的低分辨率图可以重构出较高分辨率的图像，而且每个小眼还能兼顾上360°视场的预警工作。这就是打蚊子时，为啥要慢慢抬起手，以迅雷不及掩耳之势出手，按预判蚊子飞行的正确方向打去，才有可能打中目标。当然，蜜蜂的复眼还能感受比人类更多的颜色，因为它们每天打交道的是五颜六色的花儿。
虾蛄是我们系列科普文的常客，它的视觉特点是偏振+多光谱，也许正是靠着这么一套发达的“视觉”系统，这个远古低级动物才能继续生存在这个星球上，还经常被端上人类的餐桌。
虾蛄多光谱成像与偏振成像能力
目前的偏振光谱成像技术面临着信息获取速度慢、成本高、光谱通道少、成像系统复杂等问题，与虾蛄的自然视觉比差距还很大。为了验证虾蛄的偏振多光谱成像，我们甚至还做了个简单的实验、设计了一种偏振多光谱相机。该相机系统将光谱和偏振进行编码模板，通过偏振相机能够在一次曝光期间获取场景信息，解译得到光谱信息矩阵和偏振信息矩阵，实现检测某一场景的偏振斯托克斯信息，即可以三维成像，而且还能解译出多光谱信息，做到光谱识别。倘若利用合适的复原方法，将多光谱反演为高光谱，这个类虾蛄视觉式的相机将获得远比虾蛄更强的物体识别能力！这个相机与广域高分辨率无关，后续我再详细讲解。
偏振-光谱编码的同时成像
那么，对于广域高分辨率成像该怎么发展呢？
对于第一类，其发展路线很简单，就是简单的相机视场拼接，从1-fSBP很容易拓展到n-fSBP，需要多高的分辨率，设计好单个光学成像系统，然后根据水平和垂直视场的需求，各自算出需要几排几列相机，组合起来，就是一台多孔径的相机。
图 西安电子科技大学的多孔径相机
对于第二类，情况就复杂多了，但其根本原因是探测器尺寸受限。设想一下，如果有足够大的探测器，何愁大视场呢？！再仔细想，即使有了更大的探测器，可能也满足不了我们对视场和分辨率的需求啊！那该怎么办？
答曰：拼！
四.拼了！
我们重点讲的是第二类复眼成像方法，解决途径就是拼。那么，问题来了，拼什么？答案很简单：探测器和视场。于是，就有了两条截然不同的路线：拼接探测器和拼接像场。
1.拼接探测器
拼接探测器很容易理解，把若干个小的探测器拼接成一个大靶面的探测器，这不就解决了探测器尺寸的问题了吗？
你说：简单，这个工作其实跟贴瓷砖差不多嘛！确实如此。可是，你马上就会发现问题：有缝！例如LSST望远镜将9个像素为4096×4096的CCD探测器组成模块，21个模块共同拼接实现总像素数超过32亿的成像靶面阵列。
图 LSST望远镜的靶面阵列
没错，就是因为这个讨厌缝隙的存在，让我们成像视场不再完整，出现了很多缺失的区域，如果目标进入了缺失区域，自然就成不了像，这违背了成像的基本要求。
怎么能去掉缝呢？即使把封装升级到再好，这条缝也无法彻底去除！很显然，在一个物理空间中拼接两个探测器不可能避免缝隙问题，那么我们就考虑一下多个物理空间解决这个问题吧。于是，ARGUS系统应运而生，其利用了提供给手机与小相机的百万像素CMOS成像仪，组成4个焦平面阵列。为了克服由于加工工艺所限造成了无法完美拼接问题，ARGUS采用四个共光系统分别与每1/4个焦平面相结合，通过棋盘模式填充活跃像素，并保证相邻成像系统之间存在适当的重叠，以此可对整个地面区域进行成像。
图 ARGUS共光系统及成像示意图
不过，ARGUS也付出了很高的代价，那就是用了四个光学镜头共视场成像，重量体积肯定都小不了；而且，这种拼接还有一个很难的问题，那就是每个探测器要保证共平面，一旦不平或倾斜，就会出现离焦模糊的问题。这个问题的难度一点也不亚于“补缝”。
2.拼接像场
像场怎么拼接？答曰：二次成像。既然我们可以设计出大视场成像的光学系统，只是成像探测器尺寸不够，那么通过二次成像方式，成到多个探测器上，最后拼接图像不就解决了缝隙的问题了吗？答案就是如此。
那么，问题来了，设计什么样的光学系统最经济呢？如果一个光学系统具有良好的对称性，其像场必然也具有均匀分布特性，此时，二次成像的光学系统可以做到简单统一，从成本到算法上，肯定最经济。
于是，AWARE系统出现了。它的设计理念是采用“单眼+复眼”的成像模式：一个理想的球透镜其像场为半球形，而且具有球对称特性，各种像差也相同；把它看成一个足球表面，每一块皮子就是要二次成像的像场子区间；按照一定面积的重叠区域考虑，每块“皮子”分别二次成像，经过像差校正，拼接起来，就是一幅大视场高分辨率的图像。
图 Aware系统结构图及成像效果图
很显然，这种做法看起来更经济一些。但是，它也有它的问题，第一个问题就是主镜头的焦距无法做太大，主要原因是没有那么大的玻璃材料，而且随着焦距变长，重量剧增。对很远距离成像而言，十几度到三十几度的视场已经很大了，又要长焦距，还要轻量化，还要大视场，怎么办？根据拼接视场的设计原则，考虑对称性较好的双高斯光学系统也不失为一种好的方案，于是就有了AWARE 40的设计。
图 AWARE 40系统及成像效果
说到这里，你也许会觉得轻松了不少，可是，你却不知具备广域高分辨率成像的“大眼睛”却有着它的苦恼。
五.“大眼睛”的苦恼
那么，“大眼睛”最大的苦恼是什么呢？空间带宽积在数字成像中其实就是水平与垂直像素数的乘积，这就是海量数据。是的，一幅图像动辄就是以亿为单位数，别说处理，就是硬盘也不够用啊！
怎么办？
分而治之。既然每一路子相机都有单独的电路系统，那么，我们把存储和处理也做到每一路子相机中，这样不就可以做分布式处理了吗？答案很简单，但做起来可不容易。
我们在解决这个问题时的考虑是这样的：每个子相机分别拥有自己的ID，背负一块大容量存储Flash板卡，能够将图像数据按照拍摄时间的编码顺序存储下来；同时拥有独立的图像处理模块，运行目标检测跟踪算法，考虑到运行速度的问题，采用高虚警率的图像检测算法，保证做到“宁可错杀一千，绝不放过一个”。此时，该模块输出的是带着“ID”信息的疑似目标的子图像，数据量很小，解决了带宽问题；将这些疑似目标输送到中心处理模块中，该模块可以采用嵌入式GPU或者性能优异的NPU，采用人工智能算法对疑似目标进行精细识别筛选。一旦目标确认，马上将带ID的原图输出给决策端。
为了预览效果更佳，我们还做了一个与“大眼睛”视场相同的小相机，安装在“大眼睛”上。
在这里，电子学的架构设计非常重要。很显然，高效的FPGA数据处理功能理所当然应该用起来，可是在这个追求效率的时代，培养学习FPGA的学生付出的代价太高，而且很多人也不愿意学习。高效、高性能的图像处理算法也非常有必要，但更多的学生喜欢写论文而不愿意去解决问题，因为写论文收益颇丰；可是解决实际问题的难度绝不亚于写论文，因为写论文很少人去复现你的算法（这也说明算法价值不高），而且经常采用的是效果最好的那些图片。这些问题客观上都导致了广域高分辨率相机推广很慢。
这也说明了在广域高分辨率相机的设计上，电子学的难度其实超过了光学。
此外，“大眼睛”还有一个难言之隐，那就是相机间的非均匀性问题，导致的结果就是整幅图像跟买了一批次品的瓷片贴在墙上一样，色块很明显，视觉效果很差。这就像一个小伙脸上长了几块癣，虽然不好看，干活还挺有劲儿。相机是用来干活的，不是花瓶。把“癣”治好了，又帅又能干，当然谁都喜欢。
当然，电子学中还有很多问题需要解决，比如相机的同步问题、海量数据的管理问题等等。
六.广域高分辨率成像的未来
兼顾计算光学成像中五个“更”中“更广”和“更高”，广域高分辨率相机自然拥有它该有的地位，只是我们现在还有很多问题没有解决好，也没有得到广泛应用。这也恰恰说明了它将拥有一个美好的未来，当然前提是“长得又帅又能干”。
那么，什么才是真正的“能干”呢？我理解的“能干”是除了解决“更广”和“更高”的问题之外，能实现“更远”、“更小”和“更强”。
我们现在做的广域高分辨率相机多集中于可见光波段，夜间工作几乎不可能。具备全天候工作能力，拥有偏振和多光谱探测特征，拥有更智能高效的算法，无疑是广域相机要走的一条路。我们也要看到，现在的广域高分辨率相机还存在着体积大、功耗高、重量重的问题，在光学和电子学上还有很多潜力可挖。当然，我们还应该看到，随着计算光学系统设计方法的发展，更小更轻的光学系统必然会出现；随着计算探测器的发展，原先难以解决的问题将不复存在。我们期盼一个小巧低成本的广域高分辨率相机的出现！
当前位置：
