5月21日,上海海思发布了XR芯片平台,这是第一款具有8K解码功能以及GPU和NPU集成的XR芯片。Rokid Vision是首款基于该平台的AR眼镜。海思半导体表示,XR芯片平台支持8K硬解码能力,单眼最高可达42.7PPD。
以VR为例,人眼的理想分辨率约为60PPD,而一般支持4KP60解码能力的芯片可以支持21.3PPD的单眼分辨率,对应的电视只能相当于480P电视显示效果,但远非舒适和身临其境的效果。HiSilicon发布的XR芯片也已从解码功能升级,以提供更清晰的内容表示。
该平台采用了HiSilicon的专有架构NPU,可提供高达9TOPS的NPU计算能力。
AR产品的重要应用场景是人脸识别和车牌识别,这需要实时分析在AR眼镜相机中捕获的视频图像,正确识别每帧中的人脸和车牌,并将识别结果上传到服务器进行比较,并在眼镜的屏幕上显示比较结果。
从图像采集,分析,上传到显示,花费的时间越短,速度越快,用户体验越好,分析阶段是整个链条中最长的耗时环节,以完成分析和在毫秒时间内每分钟识别数百个面部和牌照,芯片需要强大的NPU支持。考虑到这一点,海思已经优化了其平台架构。
作为HiSiliconXR芯片平台的首个产品,Rokid Vision是国内AR公司Rokid的核心产品。
该产品的正面外观类似于普通太阳镜,在镜头内部有两个独立的显示屏,具有40°+视场(FOV),1080P 3D显示效果,使用光波导显示方案以及镜腿两侧的立体声可为用户带来沉浸式体验,相当于4米外的110英寸3D高清电视。
Rokid Vision将用于安全,工业,教育,零售,MICE和许多其他领域,以提供更强大,便携式和身临其境的体验。Rokid也已正式宣布将其添加到HiSilicon的XR芯片平台中。以前,Rokid与HiSilicon一起优化该平台特有的算法和方案。
双方在语音,视觉和环境意识等AI计算能力方面进行了大量优化工作,并完成了多个视频编解码器的高分辨率,低延迟设计,提供了诸如AI交互和多XR行业从多个级别的芯片规格,系统软件和云服务的播放器协作。