光场相机的缺点（光场相机有什么用）

Lytro于2011年向市场推出了第一代光场相机，距今已有近十年的时间。这款号称“一次拍摄、多次对焦”的成像设备，首次商用时就在摄影界、科技界和媒体界引起了不小的轰动。与传统单反摄影相机相比，它的主要卖点是不需要繁琐的对焦和寻找拍摄角度。一次拍摄即可获得不同焦深和角度的照片。

光场相机的发明者、Lytro 创始人吴仁(Ren Ng) 的博士论文获得了ACM 论文奖，他本人也获得了“麻省理工科技评论TR35”、“Fast Company 100 名最具商业创意人士”、 《硅谷杂志》的40 岁以下40 人》以及许多其他标题。一段时间以来，光场相机取得了巨大的成功。虽然它被誉为颠覆性的技术发明，但有些人甚至将其视为单反相机历史的终结。

然而十年后，负责开发和推广这款产品的Lytro公司在2018年被谷歌收购。该公司的首席执行官Ren Ng，也是这款相机的发明者，选择重返学术界并成为一名教授在加州大学伯克利分校。一位教授和其他高管选择了二次创业，成立了光场实验室，生产光场全息显示器。

虽然在To C端，光场相机的表现惨不忍睹，用户的反馈也充斥着差评，但在To B端以及学术界，光场相机仍然继续拥有着较为强劲的生命力。不仅学术文章纷纷发表，扩大了光场相机的应用范围。同时，国内外少数科技独角兽也已在某些应用领域实现了该技术（如德国的Raytrix和中国的上海依目科技。他们可以说是光场成像领域的开拓者和两个领导者）在工业应用中）。

不仅是高校的科研成果得到转化，例如上海交通大学石生贤教授成功将光场相机产业化，并应用于三维流场检测、航空发动机等高端智能制造检测领域和泛半导体；还有基于光场成像的技术发明获得了国家重大科技进步奖，并且可以在世界顶级学术期刊上看到。例如，清华大学戴琼海课题组对光场成像的生物医学显微镜应用产生了很大影响。

这似乎是一项正在经历某种兴衰的技术。在技术史上，不乏某些技术兴衰的现象，带动学术界和工业界的人们一拥而上、一哄而散。参与或离开技术领域。

就光场相机而言，本文试图从纯粹的技术角度回答一个关于这一现象的反思性问题：光场相机的优点和缺点是什么？被消费者抛弃却又在行业中延续生命的原因是什么？目前实际应用情况如何？这篇文章既是自问又是自答，也是对该主题的介绍。希望所有从事这个行业的读者能够发表自己的意见。

01

文章不够多

回顾这款设备的缺点，也是对To B市场逐渐放弃光场相机的回顾和解释。由于其自身的硬件结构，光场相机不可避免地存在三大先天缺陷。

1、空间分辨率低

图1 光场相机结构源自《基于仿生视觉的单相机光场成像及3-3D直接转换基础》

由于光场相机从不同的视角收集信息，因此在CCD前面放置了微透镜阵列。然而，相机可以收集的信息总量受到成像芯片上CCD 像素的尺寸和数量的限制。角度信息与空间信息的关系可以简单描述为：

信息总量=空间信息x角度信息

两者互相妥协、互相制约。单个视角下光场图像的大小等于微透镜阵列中微透镜的数量。由于单个微透镜下的像素数量在100到200之间，因此微透镜A级压缩的数量相当于原始CCD像素数量的100倍。对于10兆光场相机来说，在牺牲视角信息压缩后，单个视角的有效像素数实际上只有10万像素量级！与传统单反相机的千万像素相比，这个量级的空间分辨率对于使用摄影的消费者来说就像是一个玩具。这也是导致光场相机在消费市场消失的最大因素。尽管Lytro后来推出了2.0代光场相机，通过进一步压缩角分辨率来提高空间分辨率，但上述问题仍然没有得到彻底解决。但对于这一缺陷，应该辩证地看待。角度信息和空间信息之间的相对选择取决于应用场景。

2.基线太短

消费者对基线问题的长度并不敏感。但在航空摄影测绘、双目立体视觉、卫星遥感成像等宏观成像和测量领域，它是一个极其重要的参数。

图2 基线与视差关系示意图

在多眼视觉中，图像接收者（人、机器）对深度信息的感知来源于目标物体在不同相机（眼睛）上的视差，视差的大小随着目标物体与物体的距离而变化。相机。摄像机之间的距离称为基线长度。相同距离下，基线长度越大，视差越大，深度分辨率越高。

对于双目视觉来说，它的基线长度可以用两个大致平行排列的相机之间的间距来表示，而对于光场相机来说，它的基线长度是如何计算的呢？如下图所示，因为每个微透镜都记录了入射点光源的部分信息，此时你把每个微透镜看作一个小相机，那么你就可以直观地得到答案。由于多个“小相机”的光场相机中有多条基线，但光场相机的最大基线长度是被照亮最远的两个微透镜之间的距离。但是，这个基线长度有两个特点：首先，基线长度随着点光源的离焦距离而变化，当它靠近焦平面时，只有少数微透镜被点亮，所以最大基线长度比较短，但离焦平面较远当焦平面较远时，点亮的微透镜较多，最大基线长度变大（这也是光场相机在焦平面附近景深分辨率最差的原因）；但是，基线微透镜的长度不能超过CCD芯片本身的尺寸。

图3：双目视觉与光场相机基线长度对比

与双眼视觉相比，这种差异尤其明显。例如上图右侧光场的基线长度大约是2到3个微透镜的直径。由于光场相机的基线太短，当被测物体较远时，深度分辨率会受到很大限制。

3.相机的动态范围HDR被压缩

利用前面点光源的分析案例，我们可以发现，当点光源在焦平面附近时，只有少数几个微透镜被点亮，必然有更多的光能集中在少数几个CCD上；当点光源远离焦平面时，多个微透镜被点亮，即点光源的能量分布更加分散。在这样的条件下，为了防止相机CCD曝光过度或太暗，被摄物体的亮度只能在一个相对较小的动态范围内，这样物体在靠近焦点时就不会曝光过度，远离焦点时也不会曝光过度。黑暗的。

以上三大问题严重限制了光场相机的应用领域，也是近十年来光场相机不被消费者接受的主要原因。然而，英寸更长，尺子更短。在To B端和学术界，光场相机有很多独特的优势，可以完成传统成像设备无法完成的任务。上述三大缺点在这些应用领域都得到了一定程度的克服和解决。另外，从动态角度来看，随着像素尺寸的减小、芯片上像素数量的增加以及更高动态范围芯片的出现（有些芯片甚至声称开发出了永远不会曝光过度的技术），上述问题有望得到根本解决。解决方案。

科技的兴衰往往就是这样，一波三折，每十年都吸引着人们“盛衰”。

审稿人：李茜