司机必然会匆忙、避免麻烦或寻求便利,这些都是很难说的常见情况。幸运的是,自动驾驶功能将缓解这种尴尬,并提供更方便、更舒适的驾驶体验,即使是日常的停车操作。
本文引用地址:
Basic Surround View 为驾驶员提供视觉提示吊车,让他们更全面地了解周围环境。深度学习汽车摄像头拍摄的视频图像可以提供更高级的服务,例如检测空车位、自动泊车和无人驾驶的“自动代客泊车”。
这些自动化功能,包括多摄像头输入、视觉感知和场景创建,需要汽车具有强大的处理能力。用于高级驾驶辅助系统 (ADAS) 应用的处理器需要能够集成 TB 级的视觉或其他传感器数据,以便在有或没有驾驶员的情况下为汽车创建可解释的环境 低速、安全地操控车辆。德州仪器 (TI) 专门针对这一挑战设计了 Jacinto™ 7 处理器系列。
在本白皮书中,我们将描述汽车客户如何使用 TI Jacinto TDA4VM 设备构建 ADAS 应用以实现辅助和全自动泊车功能,并将提供各种汽车细分市场(紧凑型、中型、大型和豪华版)的技术要求Jacinto TDA4VM处理器芯片和软件平台,介绍了如何实现安全舒适的全自动泊车所需的技术。
自动泊车和泊车辅助
根据泊车辅助系统功能的不同,该系统可分为三种基本类型。这三种类型在表 1 中有详细描述。基础环视系统使用多个摄像头输入,为驾驶员提供汽车周围区域的 360 度全景视图。摄像头输入被拼接到以汽车为中心的俯视图中。该图像以可视化形式呈现给驾驶员,以提供手动停车辅助。多层叠加显示汽车相对于物体、路边或停车线的位置,增强了环视图像的可用性。
表格1.环视自动泊车应用和要求。
下一种泊车辅助系统是半自动泊车系统。这种系统结合了摄像头、超声波和位置信息,可以生成更详细的汽车周围环境图片,从而在一定程度上实现自动泊车。有了以上信息,汽车就完成了基本的停车操作,即通过控制转向、制动、加速和换档,在可用的水平或垂直停车位内自动停车(或开走)。在这种情况下,驾驶员首先需要找到一个空的停车位履带吊360全景环视设备安装|360度全景及自动泊车系统,同时仍然可以完全控制(如果需要)负责自动停车的系统。
全自动代客泊车系统将接管后续步骤,控制汽车自动进出明确定义的停车场。在停车过程中,驾驶员在确定可用停车位后将放弃对车辆的控制。此应用程序需要更多传感器输入和更复杂的处理和算法,才能可靠、安全地自动停车。
从基本的环视功能到全自动代客泊车,对传感器、数据和数据处理的需求不断增加。配置为实现这些应用程序的处理器片上系统 (SoC)
要求:
• 图像输入,
• 通用处理,
• 加速特定的深度学习任务履带吊360全景环视设备安装,
• 多层叠加图像渲染,以及
• 符合汽车安全完整性等级 (ASIL) 的处理,有助于确保系统的安全运行。
表 1 详细说明了每种系统类型所需的算法和片上功能。所有这些功能所需的绝对性能,例如深度学习每秒 Teraflops (DLTOPS)、每秒百万指令 (DMIPS)、每秒 Gigaflops (GFLOPS) 或图像信号处理器 (ISP))或硬件的百万像素处理能力加速器(HWA)引擎进一步细分系统类型。
Jacinto 系列 TDA4VM 处理器如何应对环视和自动泊车挑战
您可能从表 1 中了解到,汽车制造商以及一级供应商的系统架构师和业务团队在将这些功能引入汽车生产方面面临着若干挑战。首先,汽车制造商希望在每款车型上安装一系列功能
—经济车型采用简单的环视功能,中型和豪华车具有增强的感知和自动化水平。每款车型都配备与其价格相匹配的设备:经济车型无法配备与高端豪华车型相同的电子设备。为每辆车的不同软件开发和验证处理器平台既耗时又昂贵。
有一种解决方案可以通过在基本设计中添加额外的传感器和摄像头来将低端汽车升级为高端汽车,而一级供应商青睐能够提供通用方法来实施此解决方案的平台。重用硬件和软件资产可提高必要的开发效率,从而最大限度地降低研发成本并加快不同产品的上市时间。
Jacinto TDA4VM 处理器系列与 TI 的处理器软件开发套件 (SDK) 相结合,为 OEM 和一级供应商提供了解决此问题的新方法。该处理器通过异构处理提高了应用性能并降低了功耗,使其适用于热和尺寸受限的嵌入式空间。 TI 的 Jacinto TDA4VM SoC 使用硬件加速器、专用处理器内核、数字信号处理器 (DSP)、通用处理器和微控制器 (MCU) 来帮助设计人员创建高效的系统解决方案。 TI 选择并设计了多种具有知识产权 (IP) 的组件,以帮助解决特定问题并满足各种终端系统要求。
表 2 说明了简单环视监控应用和更复杂的自动代客泊车用例中常用的处理步骤和 IP 组件。
表格2.环视和自动泊车应用程序的处理步骤以及使用的 SoC IP。
异构方法需要针对每个处理器内核或加速器的特定软件。低级软件堆栈可以封装高级软件思想抽象并针对硬件进行优化吊车公司,从而简化开发并提供高性能访问。 OpenVX 就是这样一种免版税的开源软件框架,专为实时嵌入式视觉处理而设计。 TI 的处理器 SDK 展示了如何使用 SDK 中的软件组件和基于 OpenVX 的例程来构建应用程序(例如环视监控)。
总结:Jacinto TDA4VM SoC
停车辅助和自动化应用程序基本上需要获取摄像头和图像传感器数据并为处理阶段进行预处理。处理阶段处理图像数据并执行分析和深度学习算法以提取与停车应用相关的关键特征。这个阶段整合(或融合)来自其他传感器的数据,以形成对汽车周围环境的更全面的感知,并将其提供给决策应用程序,在这种情况下安全地操纵汽车进出停车位。最后一步是以直观的方式将图像数据呈现给驾驶员,帮助他们安全驾驶车辆。还需要保存视频数据以供以后查看,尤其是在全自动场景中。所有这些操作都必须在功能安全的环境中执行,该环境提供冗余并在逻辑(或物理)上将关键任务功能与其他操作分开。
TI 在 TDA4VM SoC 的设计中考虑了所有这些应用要求。基于对系统的理解以及提供高效、灵活和易于使用的解决方案的目标,TDA4VM SoC 包含多种组件以满足采集、处理和渲染的要求。主要设计之一是平衡处理和数据需求,以确保本地存储有足够的空间和对高速外部存储的适当访问,同时确保处理系统高效运行。
图1.一个基于TDA4VM的简化环视系统。
环顾四周/
自动泊车
应用阶段
TDA4VM SoC 功能
图片
数据采集
• 用于低压差分信号相机的 CSI-2 接口
• 用于以太网摄像机的以太网
• 第 7 代 TI ISP
• 镜头失真校正硬件加速器
• 噪声过滤硬件加速器
• 多级图像缩放硬件加速器
传感器融合
和
分析处理
• C66x 和 C7x DSP 内核
• 用于深度学习应用的矩阵乘法加速器
• 密集光流硬件加速器
• 双目深度硬件加速器
• 两个 Arm® Cortex®-A72 CPU
• 四个 Arm Cortex-R5F MCU
• CAN-FD 和 UART 接口
• 大型片上共享内存 (8MB)
• 高效率、高带宽的片上互连结构
• 具有 17GBps 峰值带宽的 LPDDR4
图片展示
然后保存
• Imagination GE8430 GPU 内核 (100GFLOPS)
• H.264 编码硬件
• H.265 解码硬件
• 4K 和 2.5K 分辨率视频显示输出
安全
• 双核锁步 R5F MCU(ASIL-C 岛)
• IP 安全、入侵和攻击防护的系统方法
表3.环视应用程序阶段和相应的 TDA4VM 设备特性。
图 1 显示了 TDA4VM 设备在环绕视图用例中的简化框图,显示了视频和其他传感器输入、显示输出以及对压缩视频文件内存的访问。表 3 描述了环视和自动泊车应用的处理阶段,以及支持这些处理阶段的 TDA4VM 设备的主要特性。如上所述,TDA4VM 器件是用于此类停车应用的非常完整的片上系统。芯片方案必须有与芯片相匹配的软件环境。 TDA4VM SoC 由适用于 Linux 和 TI 实时操作系统 (RTOS) 内核的完整软件套件提供支持。 ProcessorSDK 套件包括一整套驱动程序、操作系统内核、应用程序库、启动例程、基于 OpenVX 的应用程序框架以及说明如何在实际系统应用程序中使用软件和硬件组件的应用程序示例。这些软件开发套件 (SDK) 在 TI 提供的评估板上经过验证。
Jacinto TDA4 是一个产品系列,其中 TDA4VM 是该系列中的第一个型号。该处理器系列的后续产品将包括相同芯片级 IP 的各种组合,从而为 ADAS 市场的各个细分市场提供更优化的产品履带吊360全景环视设备安装,无论是计算性能密集型应用还是消费汽车的成本优化需求。由于这些设备使用相同的基本硬件IP和软件架构,因此具有良好的兼容性。为特定车型开发的软件可以重复用于该系列中的其他设备,从而提高开发效率并促进在所有车型中引入具有不同功能子集的完整产品线。您可以使用 Jacinto 系列产品轻松开发类似环视系统的应用程序,从而实现泊车辅助和自动代客泊车。
其他资源
• 详细了解用于 ADAS 应用的 Jacinto TDA4x 处理器。
• 获取有关用于 ADAS 的 TI 解决方案和设计资源的更多信息。
• 了解我们用于 ADAS 应用的 FPD-link 相机串行器和解串器系列。