ST微电子与Leopard Imaging近日联合发布了一款专为先进机器人系统设计的多模态视觉模块,该模块特别针对人形机器人等应用场景,将2D图像、3D深度传感与类人运动识别能力融为一体。通过集成NVIDIA Holoscan Sensor Bridge技术,该模块实现了与NVIDIA Jetson平台的多吉比特即插即用连接,并全面支持NVIDIA Isaac机器人开发开放平台,显著简化了视觉系统设计,缩短了开发周期。
ST微电子模拟、功率与MEMS传感器集团营销及应用副总裁Marco Angelici指出,人形机器人正从实验室研究走向制造、物流、零售等实际应用场景。通过与Leopard Imaging的合作,ST能够将市场领先的传感器与执行器无缝集成到NVIDIA的机器人开发生态系统中,加速具备类人感知能力的物理AI应用普及。
Leopard Imaging首席执行官Bill Pu表示,该模块使开发者能够直接利用ST的传感器和执行器,通过HSB接口标准化获取人形机器人视觉数据,大幅提升了效率。结合NVIDIA Isaac工具链,开发者可快速缩短学习曲线,并在短时间内解决Sim-to-Real(仿真到现实)的差距问题。
该新模块基于NVIDIA Holoscan Sensor Bridge技术,通过以太网与Jetson平台无缝集成,支持实时传感器数据采集。同时,它深度整合了NVIDIA Isaac平台提供的开放AI模型、仿真框架、库及优化算法,为移动机器人开发提供了完整的开发环境,包括构建系统、API、样本应用及传感器模型等。
ST微电子表示,未来将继续作为NVIDIA在机器人和边缘AI领域的核心合作伙伴,推动其传感器、驱动器、执行器、控制器及开发工具与NVIDIA机器人开发生态系统的深度整合,涵盖高保真模型与概念验证模块。
技术细节方面,该模块集成了ST的多款核心产品:搭载车载级RGB-IR 5.1兆像素图像传感器VB1940,支持滚动与全局快门;内置6轴IMU LSM6DSV16X,支持边缘AI处理与低功耗传感融合;以及dToF全功能LiDAR模块VL53L9CX,提供最高9米的高精度3D深度感知,具备约2300个区域的高分辨率和100fps的测距能力。
对于中国机器人及AI硬件开发者而言,这一合作模式展示了国际巨头如何通过标准化接口与开放生态降低开发门槛,中国企业在布局人形机器人产业链时,可重点关注此类“传感器+平台”的集成方案,以加速产品从原型到量产的进程。
