苹果最新光场AR HUD专利曝光,智能汽车终局提前到来?

据外媒报道,美国专利商标局(U.S. Patent and Trademark Office)近期授予了苹果公司一项泰坦项目专利:光场平视显示器(light-field head up display),可在挡风玻璃上向驾驶员投射信息。

苹果在专利中指出,汽车等车辆有时会配备平视显示器,这种显示器能将图像投射到车辆的挡风玻璃上,车辆的驾驶员可以在驾驶过程中查看投影的图像。平视显示器通常用于显示车辆状态信息,如速度表信息。平视显示器允许为驾驶员安全地显示信息,而不需要驾驶员从前面的道路上移开目光。


为了更大限度地发挥平视显示器在车辆环境中的作用,最好是能够加强这种显示器为车内人员显示信息的能力。平视显示器可以是一个光场显示器,它产生的光场输出允许观看者观察平视显示器上的三维内容。光场显示单元的阵列和相应的透镜可用于将光场输出导向观看者。透镜可以将显示单元的重叠光场输出引向观看者,从而在车窗上形成一个放大的无缝光场观看区。
苹果公司的专利图1是具有平视显示器的说明性车辆的侧视图;图2是具有平视显示器的说明性车辆或其他系统的示意图;图3是车辆中的说明性平视显示器的侧视图。

01光场AR:理想中的“真AR HUD”

近年来,高级驾驶辅助技术(简称ADAS)和增强现实(简称AR)交互技术的发展,让国内外一些头部主机厂考虑开发虚拟和现实融合的AR HUD产品,进一步推动了HUD技术革新。由此,衍生出HUD第三代产品AR HUD(Augmented Reality Head Up Display)增强现实型抬头显示。


但虚拟和现实融合的AR HUD技术实现难度远大于WHUD,不但需要开发多传感器的融合算法,还需要空间融合算法和极致的系统延时控制,以及真正有空间纵深距离的3D光场显示(类似3D全息显示)技术。

理想中的光场AR显示技术,可以在驾驶者视野前方的现实世界中,连续投射出适应不同远近对焦距离的三维虚拟信息,从而将虚拟世界的信息和现实世界的相关物体在同一空间位置进行展示,实现虚拟与现实的完美融合,不仅能够呈现真正意义上的AR增强现实显示效果,还可以彻底解决视觉辐辏造成的眩晕问题。也就是说,只有这种AR虚拟成像和道路实景完美融合的“真AR HUD”,才能在不影响驾驶安全的前提下为用户创造更多价值。

苹果最新光场AR HUD专利曝光,智能汽车终局提前到来?

光场AR HUD效果演示

2、3D动画:现实里的“假AR HUD”


业内普遍认为2021年是AR HUD的元年,尽管奔驰(S级,含迈巴赫)、大众、奥迪等众多国内外主机厂也陆续推出了带有AR HUD功能的量产车型,但因供应商的技术限制,基本都放弃了最初虚拟和实景完美融合的“真AR HUD”技术构想。

现在市场中的AR HUD产品,在功能和效果上都退而求其次,采用了基于普通WHUD硬件基础上进行开发、再叠加2D或3D UI动画的形式,把画面投射到视线前方7到10米左右(个别车型4.5米或10+米),根据车辆的位置,实时播放导航、ADAS等动画和UI图标。

具体来说,过场动画的表现形式又稍有不同:(1)奔驰的过场动画,采用了稍复杂的3D透视效果更好的实时渲染,有简单的低频光学防抖;(2)而国内的HUD产业刚刚起步,受技术、成本和认知的局限,虽然很快地对国际上的“假AR HUD”的硬件参数进行了简单复制,但采用了更加简陋的过场动画,没有光学防抖。

这种“假AR HUD”最终交互体验的表现形式,就是飘在驾驶员视线前方的各种UI动画,一定程度上会对驾驶产生干扰,背离了HUD产品诞生的初衷。

3、光场AR显示为什么难实现?

维基百科对AR的定义包括三个要素:(1)确保真实和虚拟物体形状位置等关键要素被精确地感知和呈现,从而达到(2)真实和虚拟世界的完美融合,以及(3)实时交互的效果。

车载AR光学显示系统相对AR头显更加复杂,眼盒大几万倍,且光路中的自由曲面挡风玻璃会严重影响显示质量(像差、动/静态畸变等),需要对近处几米到远处几千米远的物体进行精确地感知和呈现,并实时融合。

(1)空间坐标融合:如果AR HUD投射在几米远的固定距离,就无法达到空间上的融合,不仅使体验大打折扣,而且光学距离差距太大,如果虚拟和现实物体强行融合,驾驶员会在很短的时间内产生视觉辐辏冲突,出现头晕恶心等症状,影响驾驶安全。

(2)时间坐标融合:需要做到毫秒级的延时控制,比自动驾驶技术传感器融合和决策算法延时要求高一到两个数量级。

因此,车载AR不仅需要多传感器融合算法来精确感知真实世界,还需要3D光场显示技术精确呈现光场级的虚拟世界,同时结合空间多坐标系融合算法,才能达到完美的空间坐标系融合。此外,还需与“0延迟”融合算法体系结合,才能实现时间坐标的完美融合,完成实时交互。很显然,这种精确、实时的呈现与交互,是完全没有任何融合、过场动画级的假AR无法比拟的。