编者按：本文来自微信大众号“AI前哨”（ID：ai-front），作者：Nathan Hayflick，译者：核子可乐，36氪经授权发布。（原标题：打脸马斯克！“无人车依托LiDAR注定失利”实测为扯淡）
AI 前哨导读：在特斯拉公司的 2019 年无人驾驭日上，埃隆·马斯克对 LiDAR（光勘探与测距）技能发布重要“指示”，猜测称：“任何依托 LiDAR 技能的人都将注定失利”。尽管激光雷达已经在曩昔十多年中得到很多无人驾驭轿车厂商的必定，但马斯克声称： 特斯拉只需求装置在车辆上的现有摄像头与传感器套件即可完结无人驾驭功用。在他看来，通往无人驾驭的路途不在于添加更多传感器，而在于引进很多来自实践国际的练习数据。很显着，特斯拉的车队有才能搜集巨大的数据，并与职业抢先的核算机视觉技能结合起来。
马斯克的猜测着重了无人驾驭轿车开发范畴中益发严峻的一大难题： 到底是挑选像人类驾驭者那样经过视野完结无人驾驭的处理方案，仍是运用 LiDAR 类传感器补偿核算机视觉技能中的一些局限性。现在这场争辩还没有完毕，究竟这两种办法都没有完结大规模无人驾驭车辆布置，并且可用于比较的揭露技能数据也十分有限。面对这个应战，本文作者 Nathan Hayflick 期望运用自己的东西，运用 Scale 具有的一套专为无人驾驭开发商构建的数据符号产品，对两种完结理念进行一番测验。
魔鬼就在数据傍边
首要咱先聊点布景信息：感知体系不只需求学会自行了解高速公路路况，还需求运用由人类验证数据树立起的巨大练习数据集。这种办法被归类为“监督学习”体系。详细练习数据包含轿车传感器的部分输出（例如前方路途的视频图画或许车辆周边环境的 3D LiDAR 点云）。这些输出被发送给人类操作员，后者担任对其间的各个物体方位及类型做出标示。无人驾驭车辆需求借此学会“调查”。
由于符号数据被作为轿车练习中的首要感知输入内容，因而咱们往往经过调查练习数据的质量来判别无人驾驭车辆的感知体系能否杰出运作。要树立起一套具有极高精确度并驱动轿车本体的传感器感知体系，单单具有很多数据是不行的——咱们还有必要能够以极高的精确度对数据进行注释，不然感知体系的功能会发作显着后退。
咱们的试验也由此打开！Scale 具有一整套能够从恣意传感器组合中生成数据集的东西链，咱们最近经过 Aptiv 为 nuScenes 供给注释。nuScenes 是一套 3D 视频集，由车载摄像头与 LiDAR 合作 Aptiv 一同创立。咱们能否比较各个体系生成的练习数据，然后将依据摄像头的体系与依据 LiDAR 的体系进行效能比较？
为了答复这个问题，咱们从 3D 数据集傍边提取出一系列驾驭场景，但只选用 2D 视频图画，然后经过从头符号将其创立为一套不选用 LiDAR 感知体系时的 2D 数据集。尔后，咱们将这些 2D 注释投射 [1] 至原始 3D 数据，并逐一比较方针以检查其间是否发作了精确度丢失。
对决：摄像头对 LiDAR
在两套数据集完结符号与预备之后，咱们对成果进行了比较，并发现其间存在一系列严峻差异。很多在叠加至视频上时看起来彻底合理的注释，在被延伸至 3D 环境时会发作显着的过错表达。以下图为例——假如咱们只调查左边的 2D 图画，乍看之下两套数据集好像都很精确。但在右侧的纯 3D 场景中，咱们会发现纯视频数据集的注释太长，并且短少了整整一侧的环境调查成果。
左：来自纯视频成果的符号后车辆；右：LiDAR 生成的俯视图叠加成果
左：运用 LiDAR 加视频的组合，同一车辆具有更好的注释，能够更精确地捕捉到车辆的宽度与长度；右：由 LiDAR 注释生成的俯视图
为什么 2D 场景下的精确度在延伸至 3D 时会变差？是不是为车辆勾勒鸿沟框体的操作员犯了什么过错？并不是这样——换言之，运用平面图画揣度精确的 3D 量化成果自身就极具应战。这相当在某个外观并不规矩的物体周围（轿车具有各种形状以及不同配件，并且无人驾驭轿车内行进进程中或许遇到多种车辆、行人以及野生动物）制作一个规范的 3D 长方体，这要求体系清晰了解一切鸿沟点的方位。
在 2D 透视图傍边，咱们至少能够保证这些鸿沟点要么融入方针自身，要么被方针自身所遮挡。以图中的小型卡车为例，车辆的左右边际很简略找到，但由于同场景内的布景色彩类似，体系很难找到清晰的视觉元素，以精确制作车辆的左后角方位。更糟糕的是，小卡车反面选用歪斜的流线形规划。标示者尽管能够测验添补这些空白，但终究却轻视了物体的宽度，导致长方体在旋转时无法对齐，终究使得 3D 视图中车辆左边的调查点被齐齐切断。
假如咱们仔细调查最左边的边际，主举看到 2D 注释成果相同轻视了方针高度，由于其无法判别小卡车曲折的引擎罩会延伸到详细哪个方位。这种情况来自一顶根本数学特性——深度信息在 2D 图画中会天然“缩小”。当物体挨近垂直于地平线时，只移动远边处的几个像素，就能够显着添加感知到的长方体深度。
当将 2D 投射至 3D 时，LiDAR 加摄像头注释（白色）中仅为几个像素的差错，会被纯摄像机注释（橙色）扩大为更严峻的过错
为了处理这个问题，咱们能够采纳硬编码办法将车辆尺度添加到体系傍边（录入一切轿车的规划尺度）。但很快，又会有很多例外情况发作（包含装载有货品的车辆），或许短少规范尺度的方针类别（例如修建区域）。这促进咱们运用依据机器学习的处理方案从方针傍边提取巨细——但这种办法相同会带来新的应战，咱们将在后文中详细解说。
依据咱们的经历，处理这类问题的最好办法，便是参阅高分辨率 3D 数据——这正是 LiDAR 的特长地点。看看 LiDAR 点云，咱们就会意识到它简直能够处理一切难题，由于捕捉到的点会盯梢车辆左右两条鸿沟，保证咱们运用这些成果设置长方体边际。此外，前文中说到的深度失真问题在 LiDAR 场景下相同不复存在。
第二局：夜间驾车
考虑到无人驾驭轿车需求面对的种种实践场景，第一轮对决中的事例好像过分简略。现在，咱们得往测验中引进一点实践国际中的复杂性元素，并让两套数据集之间的差异变得愈加极点。在这儿，咱们看到体系捕捉到一辆夜间行进的轿车，其在无人驾驭车辆面前突改变。
现场能见度很差，右侧交通指示牌发作遮挡，对向车辆的大灯还造成了视觉搅扰。在这种情况下，3D 数据能够为车辆供给更精确的转向与深度定论——这是由于装置位点较高的 LiDAR 传感器能够协助车辆跳过交通指示牌进行检查，然后丈量方针车辆的边际与行进视点。
左：运用纯视频得出的夜间车辆注释成果；右：投射至 LiDAR 的俯视图
左：作为比较，从 LiDAR 加视频组合傍边得出的同一车辆注释成果；右：投射至 LiDAR 的俯视图
当然，轿车仅仅咱们内行进途中或许遇到的很多方针之一。咱们还需求辨认较小的载具，例如自行车或电动踏板车，并保证能够在照明条件较差的夜间快速剖析路况。下面来看一个简略的测验——鄙人图中，咱们一同找找交通参与者藏在哪里：
能够看到，在图片右侧的路灯杆与灌木后边，的确有一位骑着电动车的驾驭者。骑手身着黑色衣物，再加上颗粒感极强的低光图画，导致咱们难以判别其归于暗影仍是实在方针。纯视频练习数据中彻底疏忽了该方针，好在 LiDAR 注释成功将其记入了捕捉成果。
左：摄像头看到的电动车与骑手，大部分方针被矮小的灌木所遮挡；右：LiDAR 中的俯视图，方针点标明存在电动车与骑手
无法辨认这类方针会给无人驾驭车辆带来巨大的风险。由于视频图画过分含糊，不具备 LiDAR 的轿车只要两种挑选：直接疏忽这些物体；或许能见度较差或驾驭风格过于慎重时发作错觉，把移动的暗影视为另一名骑手（导致轿车紧急制动以避免与设想方针发作磕碰）。这两种作法，关于行进在公共路途上的无人驾驭车辆而言显着都不安全。
感知与猜测
能够看到，运用纯 2D 传感器数据猜测 3D 符号成果会带来一系列应战，但这些问题是否广泛存在？咱们对数据会集的一切长方体旋转差错进行了核算，并发现纯视频注释与经过 LiDAR 验证的对应成果之间均匀相关 0.19 弧度（10.8 度）。在进一步剖析数据后，咱们发现夜间注释的均匀差错为 0.22 弧度，远高于日间场景中的差错 0.16 弧度，且差错会跟着方针与摄像头间的间隔添加而扩展，精确度天然同步下降。
为了进一步量化这种方式，咱们将一切 2D 与 3D 注释成果。运用方针检测使命的规范质量指标 IOU 评分进行了分级。（IOU 的全称为 Intersection Over Union，是方针检测使命中的常用衡量规范，其丈量两个形状之间的「差异」，一起考虑成果在方位、形状与巨细等方面的过错。）全体数据集的均匀得分为 32.1%，但一般来讲，一般要得到 90% 以上的 IOU 得分才会被视为“正确”。
相关启示
那么，这样的定论有何意义？简略来讲，这着重了与无人驾驭轿车的软件比较，人类大脑在感知国际方面采纳着彻底不同的调查视点。在触及物理运动规划时，咱们不需求在脑筋傍边进行依据环境的数学运算，而能够天然而然地快速判别潜在风险并及时制动。
假如你的感知体系不行强壮或许不行精确，那么猜测才能将大打折扣。
比较之下，无人驾驭轿车有必要进行这类核算，且首要经过初始规划完结。运用神经网络这类猜测体系（往往需求很多调试，且成果混杂度很高）直接控制无人驾驭轿车（端到端学习办法）将十分风险；相反，咱们应当把无人驾驭轿车的“大脑”拆分红多个较小的体系，例如首要树立感知体系、然后是猜测、规划与终究举动操作体系。
感知是根底，由于猜测与规划等后期进程的履行，都将依托于感知体系能够正确猜测方针方位及其将怎么与无人驾驭轿车进行互动。假如你的感知体系不行强壮或许不行精确，那么猜测才能将大打折扣。
在高速公路这类相对简略的环境下，这些或许不那么重要，究竟车辆的活动范围较小；但在全面遍及无人驾驭的情况下，仍有很多需求提早猜测的安全操作场景存在（例如判别何时能够安全地向左边移动，或许绕过静止不动的轿车）。
此外，简直一切无人驾驭仓库都采纳自上而下的视角以进行道路规划，因而一旦误判方针轿车的宽度（如咱们提出的第一个示例），则或许导致体系过错猜测前方车辆的举动或许间隔。尽管不少对立激光雷达的观念以为，“咱们人类能够在无需旋转 LiDAR 传感器的情况下正常开车，所以好的神经网络应该也行”。但毫无疑问，无人驾驭轿车的软件架构应该供给更好的猜测才能，然后完结比人类更超卓的感知精确度。
现在，非 LiDAR 体系开发人员面对的首要应战，在于想办法从 2D 数据傍边获取抱负的注释精确度。正由于如此，特斯拉公司才会在其无人驾驭日活动展现的一系列体系试验研讨傍边，尽力探究怎么猜测物体的尺度与方位。最近引起热议的办法之一，在于 运用立体摄像头创立一套点云（类似于人类运用双眼的视差判别间隔）。
但到现在为止，还没有依据标明这是个抱负的挑选，由于这要求咱们运用分辨率极高的摄像头丈量物体间隔。演示中的另一种办法，则是运用额定的机器学习层以了解物体的巨细与深度。终究，这意味着车辆上的安全体系将愈加依托神经网络，并带来更严峻的不行猜测性与极点情况下的可怕成果。
依据 LiDAR 的体系能够直接丈量间隔与巨细，使得车辆的感知体系以更沉着的办法应对神经网络给出的过错成果。特斯拉方面展现了一个运用神经网络体系进行俯视角深度猜测的比如，但即便是在相对简略的场景（白日、高速公路）中，猜测出的车辆尺度也存在显着的尺度与视点歪曲。
特斯拉依据摄像头数据核算出的车辆鸿沟框。在从俯视角调查时，左车道中的车辆在间隔摄像头较远时显示出深度歪曲，而右车道中的车辆则存在宽度与旋转度不精确问题。材料来历：2019 年特斯拉无人驾驭日。
总结陈词
尽管 2D 注释看起来或许还算精确，但其间往往隐藏着更深层次的不精确要素。过错的数据会控制机器学习模型的可信度，而这些模型的输出又会进一步影响到车辆的猜测与规划软件。假如不能在核算机视觉研讨范畴有所突破，那么此类驾驭体系或许很难完结真实的自主才能——究竟车辆有必要在每一英里的行进进程中进行数千次猜测，且不容有失。
不过，2D 注释依然能够作为全体传感器体系中的重要组成部分，或许用于处理某些简略的使命——例如在坚持本车道行进或高速公路驾驭时进行方针分类。
具有多种传感器方式总会令人愈加安心。将摄像头与激光雷达数据结合起来的首要优势之一，在于当某一种传感器类型无法辨认路况时（例如前方有轿车被交通指示牌遮挡，或许刚刚驶入桥下摄像头因调理曝光时刻而暂时无法成像），咱们还能够依托另一种传感器添补缺失的信息。
从更广泛的视点来看，咱们的研讨成果也有望给机器学习开发带来良性循环：运用更强壮的传感器生成精确度更高的练习数据，这意味着咱们的感知模型将体现更好，并反过来下降咱们对任一传感器的依托程度。但这儿也存在着另一种比较糟糕的或许：即便在理论上存在不运用 LiDAR 树立安全无人驾驭体系的或许，独自运用摄像头获取杰出练习数据的难度也必定更高。因而除非机器学习技能发作颠覆性改变，不然很多平凡的练习数据只会让咱们长时间原地踏步。没有高质量数据作为依托，开发人员将面对一场艰苦的战役——怎么将自己的感知体系练习至真实契合无人驾驭安全要求的精确度水平。
咱们运用 Nuscenes 摄像头的内部数据 将 2D 长方体校准为伪 3D 方式，然后运用外部数据将长方体等比例扩大至 3D 环境中的已知参阅点处（在咱们的示例中，即最挨近地上的点），然后获取可比较的两丈量方针。
原文链接：
https://scale.com/blog/is-elon-wrong-about-lidar你也「在看」吗？
