故事一：一起由色盲引发的“别车”案

“港毒却大比啊，灯都绿了，侬还不走？”开着皮卡的张三不耐烦地狂按喇叭，怒气冲天地向前面的蓝车发起示威。蓝车司机李四天生色盲，平时都靠着经验判别红绿灯，今天因一个电话分神，让他失去了那仅存的经验分辨能力，听到后车的喇叭鸣叫，一脚油门窜了出去……可是，张三依然不解恨，追着骂李四、竖起中指不说，竟然开始了别车行为。多次别车之后，李四斗志顿起，伺准时机，一脚油门上去，猛打方向盘，直接把张三逼得差点掉下高架桥……

配图来自网络，与事件无关

故事二：按偏了的指纹

最近小张的办公室终于如愿装上了指纹锁，自此，她再也不用带那些烦琐的钥匙了，想想心里都美。她根据说明书录好了指纹，高高兴兴地锁门下班。可是，第二天，她却发现她打不开门，在炎热的夏天里，急了一身汗，可是越急越打不开。这时，同事小李过来帮她一起看原因，发现小张在按指纹时老是按偏，只有边缘部分才有指纹，满足不了开锁要求。

指纹解锁

故事后面的故事

在故事一中，我对谁是谁非不感兴趣，问题是：因为色盲，李四无法判断红绿两灯哪一个亮，当然也看不到五彩缤纷的世界，而他的世界一直是一片黑白……

部分色盲与全色盲

人眼视网膜由杆状细胞和锥状细胞两类感光细胞组成，其中杆状细胞感光面大，灵敏度高，分布稀疏，能够在弱光环境下工作，但不能感受到颜色，可以理解为“黑白探测器”；锥状细胞主要集中分布在黄斑区域，感光面小、排列密集，由分别感受红绿蓝三色的3种细胞组成，特点是分辨率高，3种细胞协同工作，能感受到全彩色的世界。RGB每个通道所需的颜色位深度为8位的情况下，24位颜色，彩色图像总共有2²⁴=16777216种组合，人眼可以分辨的颜色种类大约为1000万。而人眼对黑白却不敏感，在0～255所表示的图像灰度显示系统中,灰度级数为8、16、32时，人眼正确识别率分别约为93.16%、68.75%、45.31%。可是，锥状细胞的缺点是必须有足够的光照才能响应，这也就是为什么我们受太阳光照射后回到昏暗的楼道，瞬间会有工作模式切换，眼前一黑，很快就切换到杆状细胞工作模式，虽然看不到颜色，却能看清楼道。

人眼视觉

其实，颜色是最简单的光谱体现，虽然只有红、绿、蓝3个光谱分量，而这简单的三基色竟然构成了我们看到的五彩斑斓世界，我们能利用颜色感知周围的环境，能够一眼分辨出真假苹果、分辨出伪造的场景……可想而知，如果人类的眼睛再增加一个光谱，我们看到的世界一定不是现在这个样子，我们的色彩分辨能力肯定会更强。

三基色

可是，我们对光谱的了解却远远不如颜色，因为颜色只有三个维度，而多光谱和高光谱的维度太高，以至于我们无法用合成颜色的方式表示，而且，人类很难直观地理解超过三维以上的数据，这就是光谱显得神秘的原因。

光谱数据

光谱被誉为物质的指纹，这没错。可是从第二故事中，我们会发现，如果指纹按偏了，照样开不了门；而很多时候，我们的成像光谱仪光谱分辨率已经很高了，可是在使用的过程中，这个光谱却经常不能分辨物质，根本达不到“指纹”的作用，这是因为指纹按偏了。

 

1.颜色：人类认识光谱的开始

自1666年牛顿那个著名的色散实验之后，光学开启了光谱的大门。

人类最早认识光谱就是从颜色开始的，尽管，很长一段时间，人类根本不知道光谱的存在。得益于颜色感知世界，人类能够在大自然中生存，并且产生了用色彩绘画的艺术。于是，我们看到了祖先用矿物的色彩在陶器上作画、在岩壁上绘画，再到调制颜色在布帛和纸上创作更细腻的画作。

在美术课中，我们学到的红绿蓝三基色可以组合成不同颜色，学习了“颜色叠加”，比如“红+绿=黄”等，可是，这类“颜色叠加”只有在人类视觉中才成立。同一场景，人和其他动物感知的颜色世界完全不同。这也就是说：如果不考虑人类的视觉特性，RGB颜色空间是不存在的。灵长类的覆盖范围为390~700 nm，3个峰值为黄(565 nm)、绿(535 nm)、蓝(430 nm)，波峰分布不均匀，黄绿离的较近。鸟类视锥细胞覆盖范围330~700 nm，4个峰值为黄(565 nm)、青(508 nm)、蓝(440 nm)、紫外(370 nm)，波峰分布相当平均。其他哺乳动物只有黄(565 nm)、蓝(430 nm)两个。因此捕捉食草动物的狮子、猎豹、狐狸们都是天生的色盲，（绝大多数）哺乳动物分辨不出橙色和绿色，因此哺乳动物的橙色皮毛在其他哺乳动物眼里也是妥妥的保护色。

人类眼中的老虎与其他哺乳动物眼中的老虎

那么，颜色的本质到底是什么？答案很明了，就是光谱。我们知道燃烧钠会产生黄色光、燃烧钙产生红色光、燃烧铜产生绿色光、燃烧钾产生紫色光……氦氖激光发出波长为632.8 nm的红光，半导体激光器根据激励方式不同，可以发出诸如405 nm的紫光、505 nm的蓝光、593 nm的黄光、660 nm的粉红色光等等，而且，1064 nm的YAG激光器经过倍频会产生532 nm的绿光……

焰色反应铜钾钙钠

很显然，颜色的本质是光的频率，而不是合成颜色。尽管各色不同频率的光进入到人眼时，会以红绿蓝3个分量分解的形式，分别由红绿蓝3种锥状细胞感应合成该频率光的颜色，但这种分解仅仅发生在视觉形成时，与颜色本质无关。

仅仅RGB这三基色就能配比出2²⁴种颜色，让我们能从苹果的颜色上辨别出那个更甜，能从很多食品的颜色上看出新鲜程度，甚至中医能从面色的差异看出疾病之源……

有人说，如果在RGB三基色上再加一种、甚至两种或三种以上的颜色（可见光波段），会如何呢？有报道说世界上有为数不少的人（更多的是女性）具有四色视觉，能比正常的三色视觉的人看到的颜色多99000000种。但是，人类的四色视觉没有可靠的实验证据，这里应该存疑。不过，鸟类却拥有四色视觉，那第四个视觉细胞是感应紫外的，与人类不同。

人类和紫翅椋鸟视锥细胞对光的敏感性差异图

假如人类存在第四类可见光的视锥细胞，我想也不应该会看到更多颜色。这是因为RGB三基色往往被认为是正交的，这就意味着加入另外一个可见光颜色不会改变色彩的总数，这个颜色应该是作为冗余存在的。

顺便说一下，正交转换最大好处是：1）可以保证信号的完整度；2）信号彼此不受影响；3）确保近似误差最小化；4）正变换跟反变换的架构是相似的。这就是我们在信号处理时经常选取正交基的原因。

在这里，我们需要注意的是：人类视觉是用合成颜色来观测世界，而没有用光谱维度。我想主要原因是光谱数目太少，3个光谱合成一个量足够应付在自然界中生存；其次，大脑也没有一块区域供光谱识别用的。同时，我们还需要注意的是：3种视锥细胞的敏感性曲线是有重叠的，不可能只激活一种色觉。

人眼光谱敏感性曲线图

如果仅考虑单色光，那么颜色就由频率（或波长）及强度两个参数决定。而两个参数的量纲不同，压根无法讨论正交问题。如果考虑混合光，那么颜色要用它的光谱来表示。光谱的横轴是频率（或波长），纵轴代表强度（振幅）。光谱可以看成从频率（或波长）到强度的函数，所以它们似乎构成一个无穷维的空间。有一点需要注意，强度必须取非负值，而且不能直接叠加。此时，除了要考虑强度谱之外，还需要同时考虑相位谱，这样问题就解决了：带相位的强度可以在复数域内取任意值，而且可以直接叠加。光谱构成了一个无穷维的线性空间，所有频率的两个相位正交的单色光，构成它的一组正交基。

正交

当然，颜色空间很复杂，有专门的色度学研究门类，不再详述。下面，我们来看看主角——号称物质指纹的光谱。

 

2.光谱：物质的指纹

光谱是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案。这是维基百科给出的一个定义，其实就是复色光分解成按频率从低到高的系列谱线，理论上是连续的，在实际测量时受限于测量手段，只能是测出一定谱宽的若干光谱，这个谱宽就被称之为光谱分辨率。

色散

光谱通常被认为是物质的指纹。这是因为物质受到光（电磁波）的照射时，会发生光的吸收、反射或透射等现象，此时有些物质自身也会发光（或荧光）。光波是由原子运动过程中的电子产生的电磁辐射，各种物质的原子内部电子的运动情况不同，所以它们发射的光波也不同。物质对光的吸收、反射或透射等与其成分、结构理化特性等有着密切的关系，分析这些关系的学科称为光谱学（即光谱分析）。类似于每个人的指纹都不一样，光谱分析由于每种原子都有自己的特征谱线（又称指纹谱），因此我们可以根据光谱来鉴别物质和确定它的化学组成，这种方法叫做光谱分析。进行光谱分析时，可以利用发射光谱，也可以利用吸收光谱。这种方法的优点是非常灵敏而且迅速。

光谱的分类有很多种。按波长区域不同，光谱可分为红外光谱、可见光谱和紫外光谱；按产生的本质不同，可分为原子光谱、分子光谱；按产生的方式不同，可分为发射光谱、吸收光谱和散射光谱；按光谱表观形态不同，可分为线状光谱、带状光谱和连续光谱。

原子和分子光谱对比图

线状光谱主要产生于原子，由一些不连续的亮线组成；带状光谱主要产生于分子由一些密集的某个波长范围内的光组成；连续光谱则主要产生于白炽的固体、液体或高压气体受激发发射电磁辐射，由连续分布的一切波长的光组成。

有的物体能自行发光，由它直接产生的光形成的光谱叫做发射光谱。在白光通过气体时，气体将从通过它的白光中吸收与其特征谱线波长相同的光，使白光形成的连续谱中出现暗线。此时，这种在连续光谱中某些波长的光被物质吸收后产生的光谱被称作吸收光谱。当光照射到物质上时，会发生非弹性散射，在散射光中除有与激发光波长相同的弹性成分（瑞利散射）外，还有比激发光波长长的和短的成分，这种产生新波长的光的散射被称为拉曼散射，所产生的光谱被称为拉曼光谱。

常见的气体分子吸收光谱图

光谱的指纹效应很明显，我们经常用光谱做物质检测和物质分析，比如利用吸收光谱检测气体成分，利用LIBS（激光诱导击穿光谱）做元素分析。当然，还可以通过观测行星的光谱，了解行星的大气成分、温度、压力等信息。当行星通过恒星时，我们可以观察到它的大气层吸收或反射某些波长的光线。这些吸收和反射的光线就显示了行星大气层中存在的化学元素和分子。通过对不同波长的吸收和反射情况进行分析，可以确定大气层中存在哪些物质。

行星大气的吸收光谱

上述这些光谱大多不属于我们成像领域的重点研究范畴，我们要研究的是成像光谱。

 

3.按偏了的指纹：成像光谱

传统的成像技术可以获取目标单通道或三通道的空间信息，如黑白相机的灰度图或彩色相机的RGB图。然而仅凭借空间信息有时不足以实现目标的识别与分类，特别是当不同目标呈现出相近的形态和颜色时。成像光谱可以通过采集目标对光的吸收、反射和散射等光谱信息实现对目标的成分分析、鉴别分类等。成像光谱是集光学、光谱学、精密机械、光电子学、电子学、信息处理、计算机科学等领域的先进技术于一体，将传统二维成像技术与一维光谱技术相结合，利用物质光谱特有的不同物不同谱，同物一定同谱的“指纹效应”，对获取的由目标景物的二维空间信息和随波长分布的一维光谱信息组成的“数据立方体”进行分析，在得到目标景物大致轮廓的同时获得其内部结构及组成成分。在可见光到近红外的波段范围内，当光谱分辨率大于10 nm时，属于多光谱成像，此时光谱通道数目一般不超过10个；当光谱分辨率为几个纳米时，属于高光谱成像，此时光谱通道数目高达数百个。

 

（a）灰度图；（b）RGB图；（c）光谱曲线；

（d）多光谱成像；（e）高光谱成像

那么，成像光谱仪获取的是什么光谱呢？这里我们再解释一个新名词：反射波谱，是1948年苏联科学家克里诺夫提出的一个概念。反射波谱是某物体的反射率或反射辐射能随波长变化的规律，以波长为横坐标，反射率为纵坐标所得的曲线即称为该物体的反射波谱特性曲线，光谱反射率。物体的反射波谱的特征主要取决于该物体与入射辐射相互作用的波长选择，即对入射辐射的反射、吸收和透射的选择性。根据地表目标物体表面性质的不同，物体反射大体上可以分为3种类型：即镜面反射、漫反射、方向反射实际物体的反射。这也就间接告诉我们：反射波谱远比发射光谱、吸收光谱和散射光谱复杂，指纹特征不再是靠几根谱线就能表征那么简单，这也就给光谱识别带来了难度。

反射波谱

遥感领域中常用的成像光谱其实就是反射波谱，受环境影响很大，不同光照、天气都会带来光谱的变化，当然还有受成像分辨率影响造成的光谱混叠情况，这些都是成像光谱数据处理要面对的问题。这些都不是我们关心的问题，我们关心的是数据立方体，这么费劲获取的数据，不仅处理复杂，而且号称纳米甚至亚纳米光谱分辨率的成像光谱往往使用起来更困难，并不能很好地解决问题。这是不是看起来像一个悖论：光谱分辨率高了，光谱识别反而不一定效果好？是的，这种情况在高光谱处理领域经常遇见，很多时候，学者发现在上百个光谱中选取二三十个进行光谱分析，比选用全部光谱更有效。当然，目前还没有一条行之有效的规律告诉我们该怎么选取这二三十个光谱。那么，问题来了：我们到底是不是真的需要高光谱？我们到底需要几个光谱？我们该如何高效获取这些光谱？

遥感领域的成像光谱

 

 

4.成像光谱仪的发展

成像光谱的获取比较复杂，成本也很高，客观上造成了应用不广泛甚至不好用的问题。无疑，“五个更”在成像光谱中依然起着指导作用：更高的光谱分辨率、更高的空间分辨率、更快的成像时间、更远的作用距离、更小的系统，这些都是成像光谱仪追求的目标。

目前，光谱成像仪根据获取目标三维数据立方体的方法可分为4种：点扫式、推扫式、凝视式和快照式。

4种光谱成像方法：（a）点扫式；（b）推扫式；（c）凝视式；（d）快照式

点扫式和推扫式光谱成像系统统称为空间扫描式光谱成像系统。点扫式光谱成像系统每次测量时只能采集目标单点的光谱曲线，即一维光谱信息，要想获取整个三维数据立方体，需要系统在X、Y两个空间维度上进行扫描；推扫式系统每次测量时可采集透过狭缝的一列目标的光谱信息，即二维色散光谱图像，整个三维数据立方体的获取需要控制狭缝在一个空间维方向（Y）进行扫描。这类系统需要采集目标上单点元素或一列元素的光谱信息，通常选用光栅或棱镜等色散元器件作为分光模块，同时设置孔径光阑或狭缝光阑以分别实现对目标的按点选中和按列选中，再借助机械运动部件便可实现对目标逐点或逐列的扫描。早期扫描式光谱成像系统主要被搭载在飞机、卫星等运动平台上，通过沿轨方向上的移动，完成对静止地物目标沿轨方向的扫描，应用于航空航天领域。目前此类系统逐步向地面检测领域推广，覆盖了食品质量检测以及疾病诊断等领域。

凝视式（波长扫描式）系统每次测量时可采集整个目标在某个波段下的二维光谱图，利用光谱维方向上的扫描，可实现整个三维数据立方体的获取。该系统需要采集目标在各个波段下的光谱图像，因此通常选择可调滤波器作为分光模块，常用的可调滤波器包括轮式多通道滤波片、声光可调滤波器（Acousto-optical Tunable Filter, AOTF）和液晶可调滤波器（Liquid Crystal Tunable Filter, LCTF）等。

3种凝视式光谱成像系统：（a）SpectroCAM轮式八通道多光谱相机；（b）基于LCTF的凝视式光谱成像系统；（c）基于AOTF的凝视式光谱成像系统

快照式成像光谱仪是一种非扫描式光谱成像方式，我们对三维数据立方体进行分割或编码等处理，使探测器在一次或几次曝光内便可完成目标所有空间信息与光谱信息的采集；但后续还需采用算法和密集型计算去复原三维数据立方体。快照式光谱成像系统种类繁多，包括基于微透镜阵列的积分视场型、编码孔径型、多分束器型、滤波片阵列型和傅里叶变换型等。分光模块既可以是光栅或棱镜等传统分光元件，也可以是滤光片阵列或棱镜阵列等新型分光元件。除了三大基本模块之外，还需添加能对三维数据立方体进行分割或编码的定制化元器件，如微透镜阵列、编码模板等。相对来讲，快照式光谱成像系统无需进行任何维度的动态扫描，因此快照式光谱成像系统的集成度与小型化程度较高。

5种快照式光谱成像系统示意图：（a）基于微透镜阵列的积分视场型；（b）编码孔径型；（c）多分束器型；（d）滤波片阵列型；（e）傅里叶变换型

从上述简单的成像光谱仪经历了从点扫、推扫和波长扫描的纯物理方法，发展到引入压缩感知、深度学习等信号处理方法的快照式计算光谱成像方法，使得成像光谱仪的重量、体积、功耗和成本都能大幅降低，进步很快，在越来越多的领域中能够应用起来。可是，对更远的作用距离来说，成像光谱仪就有些拉后腿了，主要原因是分光造成能量损失；还有，面对海量数据数量难题，客观造成了应用的门槛抬高了不少。三个字：不好用。

那么成像光谱该朝着什么样的方向发展？

 

5.化繁为简：未来的成像光谱技术

从成像光谱仪的发展来看，面对更广阔的应用需求，面对实时性和低成本问题，面对诸如海量数据立方体处理等复杂问题，我们需要化繁为简，解决成像光谱的问题。

在这里，我们再次看一下地球上最牛的“光谱调谐大师”——虾蛄，它有着12~16种感光细胞，波段涵括了紫外、可见光和红外，而且它还会玩偏振；甚至有些种类能玩调谐光谱的把戏，牛上天了！至于虾蛄看到的视觉是什么样的，目前还很难说清，可就凭着这强大的视觉系统，它可以在浑浊水域和夜间活动自如。还有一点有趣的是，它的强大视觉系统让它的暴脾气膨胀到了极点，见到猎物和猎捕者就能挥起“沙包”大的拳头，顿时能刺穿、震晕、甚至击碎解体猎物。据研究，虾蛄因为出拳超快，能产生超空蚀效应，在出拳时回产生冲击波，产生的热量能瞬时将水温加热到6700 ℃。

虾蛄的眼睛

下面，我们看几个案例。

首先，我们来看虾蛄典型的多光谱+偏振成像方式，不依靠庞大的高光谱，单凭此也足以让它的视觉强大到“傲视”宇宙。

再回顾一下颜色，它是光谱合成的结果，凭着这样的视觉也能辅助人类称霸地球。

然后，再看另外一个例子，西安电子科技大学李云松团队的李娇娇老师用普通的CMOS彩色相机RGB三通道重建出了31通道的光谱，再增加一个通道可以重建出70通道的光谱，并在2020年CVPR NTIRE第二届光谱重建大赛中获得冠军。该方法在对国产某卫星数据进行重建后，可快速获得大视场、大范围的光谱数据，拓宽了国产多光谱卫星及RGB卫星的应用前景。

通过RGB三通道重建出31个通道的光谱

最后，来看看指纹锁的识别过程，其识别的主要特征是指纹的角点、断点、曲率、缺陷等，而不是指纹的形状。既然光谱是物质的指纹，那么它的主要特征也不是整个光谱曲线，而是为数不多的几个特征光谱。

接下来，我们该思考一下这些问题。传统的光谱分析方法单纯依靠光谱维度的强度分布信息作为指纹识别物体，好处呢，就是简单；坏处呢，就是一旦有了噪声的影响，光谱变得就比较复杂了，识别难度加大，并且，光谱数目越高越复杂。

那么，到底是高光谱还是多光谱？到底需要几个光谱？

很显然，从应用上来讲，我们需要光谱识别，但不一定是那种分辨率达到了亚纳米的超光谱，而是满足识别需要就好，那么多光谱应该就能满足需要。可是，需要多少个光谱，如何选择这些光谱？我们将在后续的文章里陆续讲解。