=============== 视频开发指导FAQ =============== **FAQ001:常见问题** ------------------- **问: 所有硬件直连还是多路模式使用,对用户说就是配置文件的问题,对用户来说是不是都是一样的?** 答: 是的,对用户来说每路对应配置好配置文件即可,不需要关心内部实现,用户一般只需要关心最终数据获取。 ----- **问: 代码哪部分是开源的还是哪部分是开源的?** 答:商务问题,请跟对应接口人对接。 ----- **问: 通路上latency 数据有么,大概是什么范围 ?** 答: +------------------------------------------------------------+------------------+------------+----------+ | isp 处理分辨率 | 接收raw时间 | 处理时间 | | +------------------------------------------------------------+------------------+------------+----------+ | Manual 3840x2160 | 30.7ms | 13.9ms | | +------------------------------------------------------------+------------------+------------+----------+ | Manual 1920x1080 | 17.0ms | 3.9ms | | +------------------------------------------------------------+------------------+------------+----------+ | TDMF 3840x2160 | 30.8ms | 13.9ms | | +------------------------------------------------------------+------------------+------------+----------+ | TDMF 1920x1080 | 17.1ms | 3.8ms | | +------------------------------------------------------------+------------------+------------+----------+ +------------------------------------------------------------+------------------+------------+----------+ +------------------------------------------------------------+------------------+------------+----------+ | 通路场景 | sensor曝光时间 | cim | pym | +------------------------------------------------------------+------------------+------------+----------+ | cicd\_sen\_cim\_isp0\_pym0\_4k\_ar0820(8M) | 33ms | 22.6ms | 22.6ms | +------------------------------------------------------------+------------------+------------+----------+ | sen\_cim\_isp0\_pym0\_1280p\_ar0233\_delay\_test(2.6M) | 33ms | 20.25ms | 4.2ms | +------------------------------------------------------------+------------------+------------+----------+ ----- **问:通路上多个Sensor 多格式多尺寸,都能支持么?** 答:能支持,同一个RX上支持RAW,YUV格式混用,尺寸也可以不同。 ----- **问:VIO 多进程共享的概念,是在什么使用场景下会用,为了解决一个什么样的问题?** 答:针对多个用户想使用同一路硬件数据(例如同时做算法处理以及编码),如果不使用共享方式则只能由一个用户拿到。 ----- **问:图像处理,数据流从bpu转到cpu,相关接口能否介绍下** 答:这个有相关的基础接口手册《J5平台AUTO媒体系统接口手册》。 ----- **问:关联场景描述(结合典型的USE CASE 用例,讲解一下软件处理的数据流和控制流。比如一个8MP FRONT WIDE CAMERA 接入进来了, 视频数据的处理流程, 直到输出到感知融合和上层预测规划控制模块的整个流程)** 答:视频处理的数据流会在VPS介绍中包括,感知与预测规划属于AUTO业务流程,系统软件不覆盖该部分。 ----- **问:Codec 编解码现在的数据是怎么跟目前的通路数据串联 ?** 答:一般是从PYM模块输出的某层作为Codec的数据源作为编码处理,Code 部分目前的状态 方式1:用户使用vio的相关接口直接获取pym的数据,再通过media codec的接口进行编码; 方式2:用户使用media recorder接口配置recorder的输入源,比如pym,则由recorder内部自动调用vio接口获取pym数据。 ----- **问:多路摄像头的使用case 有么? 比如串联BPU处理以及Codec功能(265编码)的多路示例(7路 OR 8路)。** 答:有的,详细信息可以通过接口人获取。 ----- **FAQ002: 功能特性** -------------------- **问**: 自带isp的yuv的相机,能直接用stitch拼接或者直接gdc? 答:可以使用,支持格式一般是yuv420sp。 ----- **问:rx0 和rx1 yuv 直连pym,pym能拿到原始分辨率的数据吗?** 答:通过PYM取YUV原(原始分辨率)图是可以的,但取的数据是YUV420SP的,pym最大尺寸3840x2160。 ----- **FAQ003: 性能规格** -------------------- **问: 最多能同时处理多大数据带宽?(多少路摄像头,多少像素,fps)** 答:场景支持的最大通路能力,4X4K(3840x2160)@30fps 或者16X2M(1920x1080p)@30fps, 项目中实际能达到的帧率需要参考整体SOC的整体带宽压力。 ----- **FAQ004: 异常处理** -------------------- **问: 应用运行时相机数据流会卡顿或者断流的异常情况有监控或者诊断手段么?** 答:目前数据流的内部丢帧会向诊断子系统发送对应的代码错误号,如果存在连续丢帧,超过一定超时后可在接口层面感知。