7.2. 模型性能Benchmark¶
7.2.1. 说明¶
测试条件：
测试开发板：J5-DVB board。
测试核心数：latency单核，fps双核。
性能数据获取频率设置为：每5分钟获取一次性能参数，取平均值。
缩写说明：
C = 计算量，单位为GOPs（十亿次运算/秒）。此数据通过
hb_perf工具获得。FPS = 每秒帧率。此数据在开发板单线程运行ai_benchmark_j5示例包/script路径下各模型子文件夹的 fps.sh 脚本获取，包含后处理。
ITC = 推理耗时，单位为ms（毫秒）。此数据在开发板单线程运行ai_benchmark_j5示例包/script路径下各模型子文件夹的 latency.sh 脚本获取，不含后处理。
TCPP = 后处理耗时，单位为ms（毫秒）。此数据在开发板单线程运行ai_benchmark_j5示例包/script路径下各模型子文件夹的 latency.sh 脚本获取。
RV = 单帧读取数据量，单位为mb（兆比特）。此数据通过
hb_perf工具获得。WV = 单帧写入数据量，单位为mb（兆比特）。此数据通过
hb_perf工具获得。
7.2.2. 模型重要性能数据¶
MODEL NAME |
INPUT SIZE |
C(GOPs) |
FPS |
ITC(ms) |
TCPP(ms) |
ACCURACY |
Dataset |
MobileNetv1 |
1x224x224x3 |
1.14 |
3747.30 |
0.948 |
0.072 |
Top1: 0.7061(FLOAT) 0.7029(INT8) |
ImageNet |
MobileNetv2 |
1x224x224x3 |
0.63 |
4158.47 |
0.798 |
0.094 |
Top1: 0.7264(FLOAT) 0.7160(INT8) |
ImageNet |
GoogleNet |
1x224x224x3 |
3.00 |
2309.68 |
1.237 |
0.073 |
Top1: 0.7001(FLOAT) 0.6986(INT8) |
ImageNet |
Resnet18 |
1x224x224x3 |
3.65 |
1555.99 |
1.699 |
0.072 |
Top1: 0.6836(FLOAT) 0.6825(INT8) |
ImageNet |
EfficientNet-Lite0 |
1x224x224x3 |
0.77 |
2815.39 |
1.148 |
0.072 |
Top1: 0.7491(FLOAT) 0.7475(INT8) |
ImageNet |
EfficientNet-Lite1 |
1x240x240x3 |
1.20 |
2388.45 |
1.847 |
0.073 |
Top1: 0.7647(FLOAT) 0.7624(INT8) |
ImageNet |
EfficientNet-Lite2 |
1x260x260x3 |
1.72 |
2134.98 |
1.372 |
0.072 |
Top1: 0.7738(FLOAT) 0.7715(INT8) |
ImageNet |
EfficientNet-Lite3 |
1x280x280x3 |
2.77 |
1612.71 |
1.672 |
0.072 |
Top1: 0.7922(FLOAT) 0.7905(INT8) |
ImageNet |
EfficientNet-Lite4 |
1x300x300x3 |
5.11 |
1068.14 |
2.305 |
0.072 |
Top1: 0.8070(FLOAT) 0.8052(INT8) |
ImageNet |
Vargconvnet |
1x224x224x3 |
9.06 |
1585.29 |
1.629 |
0.073 |
Top1: 0.7790(FLOAT) 0.7787(INT8) |
ImageNet |
Efficientnasnet_m |
1x300x300x3 |
4.53 |
1143.83 |
2.122 |
0.073 |
Top1: 0.7965(FLOAT) 0.7923(INT8) |
ImageNet |
Efficientnasnet_s |
1x280x280x3 |
1.44 |
2723.18 |
1.115 |
0.073 |
Top1: 0.7573(FLOAT) 0.7505(INT8) |
ImageNet |
YOLOv2_Darknet19 |
1x608x608x3 |
62.94 |
285.93 |
7.212 |
1.688 |
[IoU=0.50:0.95]= 0.2760(FLOAT) 0.2710(INT8) |
COCO |
YOLOv3_Darknet53 |
1x416x416x3 |
65.90 |
208.43 |
9.807 |
9.958 |
[IoU=0.50:0.95]= 0.3330(FLOAT) 0.3300(INT8) |
COCO |
YOLOv5x |
1x672x672x3 |
243.92 |
77.45 |
25.436 |
30.975 |
[IoU=0.50:0.95]= 0.4800(FLOAT) 0.4640(INT8) |
COCO |
Ssd_mobilenetv1 |
1x300x300x3 |
2.30 |
2530.37 |
1.115 |
1.121 |
mAP: 0.7342(FLOAT) 0.7278(INT8) |
VOC |
Centernet_resnet101 |
1x512x512x3 |
90.53 |
263.38 |
6.830 |
21.376 |
[IoU=0.50:0.95]= 0.3420(FLOAT) 0.3320(INT8) |
COCO |
Yolov3_vargdarknet |
1x416x416x3 |
42.82 |
306.26 |
6.793 |
9.911 |
[IoU=0.50:0.95]= 0.3350(FLOAT) 0.3270(INT8) |
COCO |
Deeplabv3plus_efficientnetb0 |
1x1024x2048x3 |
30.78 |
204.16 |
10.031 |
0.797 |
mIoU: 0.7630(FLOAT) 0.7567(INT8) |
Cityscapes |
Fastscnn_efficientnetb0 |
1x1024x2048x3 |
12.50 |
289.49 |
7.254 |
0.777 |
mIoU: 0.6997(FLOAT) 0.6928(INT8) |
Cityscapes |
Deeplabv3plus_efficientnetm1 |
1x1024x2048x3 |
77.05 |
118.11 |
16.947 |
0.824 |
mIoU: 0.7794(FLOAT) 0.7741(INT8) |
Cityscapes |
Deeplabv3plus_efficientnetm2 |
1x1024x2048x3 |
124.16 |
89.94 |
22.421 |
0.812 |
mIoU: 0.7882(FLOAT) 0.7856(INT8) |
Cityscapes |
Resnet50 |
1x224x224x3 |
7.72 |
684.64 |
3.17 |
0.094 |
Top1: 0.7737(FLOAT) 0.7636(INT8) |
ImageNet |
VarNetV2 |
1x224x224x3 |
0.72 |
3511.84 |
0.886 |
0.094 |
Top1: 0.7394(FLOAT) 0.7277(INT8) |
ImageNet |
Swint |
1x224x224x3 |
8.98 |
91.69 |
22.183 |
0.097 |
Top1: 0.7933(FLOAT) 0.7741(INT8) |
ImageNet |
fcos_efficientnetb0 |
1x512x512x3 |
5.02 |
1729.16 |
1.494 |
0.251 |
[IoU=0.50:0.95]= 0.3626(FLOAT) 0.3505(INT8) |
COCO |
fcos_efficientnetb2 |
1x768x768x3 |
22.11 |
389.50 |
5.467 |
6.779 |
[IoU=0.50:0.95]= 0.4470(FLOAT) 0.4460(INT8) |
COCO |
fcos_efficientnetb3 |
1x896x896x3 |
41.51 |
243.81 |
8.525 |
9.169 |
[IoU=0.50:0.95]= 0.4710(FLOAT) 0.4720(INT8) |
COCO |
pointpillars_kitti_car |
150000x4 |
66.82 |
111.28 |
27.044 |
2.625 |
APDet= 0.7745(FLOAT) 0.7673(INT8) |
Kitti3d |
RetinaNet |
1x1024x1024x3 |
301.27 |
68.85 |
27.784 |
6.090 |
[IoU=0.50:0.95]= 0.3153(FLOAT) 0.3146(INT8) |
COCO |
Yolov3_MobileNetV1 |
1x416x416x3 |
20.58 |
492.76 |
4.384 |
1.678 |
mAP: 0.7664(FLOAT) 0.7588(INT8) |
VOC |
Mobilenet_Unet |
1x1024x2048x3 |
7.36 |
1057.38 |
2.118 |
0.595 |
mIoU: 0.6802(FLOAT) 0.6748(INT8) |
Cityscapes |
pwcnet_opticalflow |
1x384x512x6 |
81.71 |
155.74 |
13.152 |
0.310 |
EndPointError: 1.4114(FLOAT) 1.4101(INT8) |
flyingchairs |
7.2.3. 模型全部性能数据¶
7.2.3.1. MobileNetv1¶
INPUT SIZE：1x224x224x3
C(GOPs)：1.14
FPS：3747.30
ITC(ms)：0.948
TCPP(ms)：0.072
RV(mb)：4.08
WV(mb)：0.13
Dataset：ImageNet
ACCURACY：Top1: 0.7061(FLOAT)/0.7029(INT8)
7.2.3.2. MobileNetv2¶
INPUT SIZE：1x224x224x3
C(GOPs)：0.63
FPS：4158.47
ITC(ms)：0.798
TCPP(ms)：0.094
RV(mb)：3.56
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.7264(FLOAT)/0.7160(INT8)
7.2.3.3. GoogleNet¶
INPUT SIZE：1x224x224x3
C(GOPs)：3.00
FPS：2309.68
ITC(ms)：1.237
TCPP(ms)：0.073
RV(mb)：6.45
WV(mb)：0.004096
Dataset：ImageNet
ACCURACY：Top1: 0.7001(FLOAT)/0.6986(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/GoogleNet
7.2.3.4. Resnet18¶
INPUT SIZE：1x224x224x3
C(GOPs)：3.65
FPS：1555.99
ITC(ms)：1.699
TCPP(ms)：0.072
RV(mb)：10.56
WV(mb)：0.12
Dataset：ImageNet
ACCURACY：Top1: 0.6836(FLOAT)/0.6825(INT8)
LINKS：https://github.com/HolmesShuan/ResNet-18-Caffemodel-on-ImageNet
7.2.3.5. EfficientNet-Lite0¶
INPUT SIZE：1x224x224x3
C(GOPs)：0.77
FPS：2815.39
ITC(ms)：1.148
TCPP(ms)：0.072
RV(mb)：5.08
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.7491(FLOAT)/0.7475(INT8)
LINKS：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
7.2.3.6. EfficientNet-Lite1¶
INPUT SIZE：1x240x240x3
C(GOPs)：1.20
FPS：2388.45
ITC(ms)：1.847
TCPP(ms)：0.073
RV(mb)：5.85
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.7647(FLOAT)/0.7624(INT8)
LINKS：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
7.2.3.7. EfficientNet-Lite2¶
INPUT SIZE：1x260x260x3
C(GOPs)：1.72
FPS：2134.98
ITC(ms)：1.372
TCPP(ms)：0.072
RV(mb)：6.64
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.7738(FLOAT)/0.7715(INT8)
LINKS：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
7.2.3.8. EfficientNet-Lite3¶
INPUT SIZE：1x280x280x3
C(GOPs)：2.77
FPS：1612.71
ITC(ms)：1.672
TCPP(ms)：0.072
RV(mb)：9.00
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.7922(FLOAT)/0.7905(INT8)
LINKS：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
7.2.3.9. EfficientNet-Lite4¶
INPUT SIZE：1x300x300x3
C(GOPs)：5.11
FPS：1068.14
ITC(ms)：2.305
TCPP(ms)：0.072
RV(mb)：13.91
WV(mb)：0.02
Dataset：ImageNet
ACCURACY：Top1: 0.8070(FLOAT)/0.8052(INT8)
LINKS：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite
7.2.3.10. Vargconvnet¶
INPUT SIZE：1x224x224x3
C(GOPs)：9.06
FPS：1585.29
ITC(ms)：1.629
TCPP(ms)：0.073
RV(mb)：9.07
WV(mb)：0.04
Dataset：ImageNet
ACCURACY：Top1: 0.7790(FLOAT)/0.7787(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/VargConvNet
7.2.3.11. Efficientnasnet_m¶
INPUT SIZE：1x300x300x3
C(GOPs)：4.53
FPS：1143.83
ITC(ms)：2.122
TCPP(ms)：0.073
RV(mb)：13.26
WV(mb)：0.04
Dataset：ImageNet
ACCURACY：Top1: 0.7965(FLOAT)/0.7923(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet
7.2.3.12. Efficientnasnet_s¶
INPUT SIZE：1x280x280x3
C(GOPs)：1.44
FPS：2723.18
ITC(ms)：1.115
TCPP(ms)：0.073
RV(mb)：5.22
WV(mb)：0.004096
Dataset：ImageNet
ACCURACY：Top1: 0.7573(FLOAT)/0.7505(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet
7.2.3.13. YOLOv2_Darknet19¶
INPUT SIZE：1x608x608x3
C(GOPs)：62.94
FPS：285.93
ITC(ms)：7.212
TCPP(ms)：1.688
RV(mb)：46.18
WV(mb)：1.47
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.2760(FLOAT)/0.2710(INT8)
7.2.3.14. YOLOv3_Darknet53¶
INPUT SIZE：1x416x416x3
C(GOPs)：65.90
FPS：208.43
ITC(ms)：9.807
TCPP(ms)：9.958
RV(mb)：57.73
WV(mb)：4.94
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.3330(FLOAT)/0.3300(INT8)
7.2.3.15. YOLOv5x¶
INPUT SIZE：1x672x672x3
C(GOPs)：243.92
FPS：77.45
ITC(ms)：25.436
TCPP(ms)：30.975
RV(mb)：129.61
WV(mb)：49.73
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.4800(FLOAT)/0.4640(INT8)
LINKS：https://github.com/ultralytics/yolov5/releases/tag/v2.0
7.2.3.16. Ssd_mobilenetv1¶
INPUT SIZE：1x300x300x3
C(GOPs)：2.30
FPS：2530.37
ITC(ms)：1.115
TCPP(ms)：1.121
RV(mb)：5.85
WV(mb)：0.20
Dataset：VOC
ACCURACY：mAP: 0.7342(FLOAT)/0.7278(INT8)
7.2.3.17. Centernet_resnet101¶
INPUT SIZE：1x512x512x3
C(GOPs)：90.53
FPS：263.38
ITC(ms)：6.830
TCPP(ms)：21.376
RV(mb)：54.55
WV(mb)：15.25
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.3420(FLOAT)/0.3320(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Centernet
7.2.3.18. Yolov3_vargdarknet¶
INPUT SIZE：1x416x416x3
C(GOPs)：42.82
FPS：306.26
ITC(ms)：6.793
TCPP(ms)：9.911
RV(mb)：44.45
WV(mb)：7.33
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.3350(FLOAT)/0.3270(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Yolov3_VargDarknet
7.2.3.19. Deeplabv3plus_efficientnetb0¶
INPUT SIZE：1x1024x2048x3
C(GOPs)：30.78
FPS：204.16
ITC(ms)：10.031
TCPP(ms)：0.797
RV(mb)：12.79
WV(mb)：7.72
Dataset：Cityscapes
ACCURACY：mIoU: 0.7630(FLOAT)/0.7567(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
7.2.3.20. Fastscnn_efficientnetb0¶
INPUT SIZE：1x1024x2048x3
C(GOPs)：12.50
FPS：289.49
ITC(ms)：7.254
TCPP(ms)：0.777
RV(mb)：5.58
WV(mb)：2.79
Dataset：Cityscapes
ACCURACY：mIoU: 0.6997(FLOAT)/0.6928(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/FastSCNN
7.2.3.21. Deeplabv3plus_efficientnetm1¶
INPUT SIZE：1x1024x2048x3
C(GOPs)：77.05
FPS：118.11
ITC(ms)：16.947
TCPP(ms)：0.824
RV(mb)：69.02
WV(mb)：43.84
Dataset：Cityscapes
ACCURACY：mIoU: 0.7794(FLOAT)/0.7741(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
7.2.3.22. Deeplabv3plus_efficientnetm2¶
INPUT SIZE：1x1024x2048x3
C(GOPs)：124.16
FPS：89.94
ITC(ms)：22.421
TCPP(ms)：0.812
RV(mb)：50.60
WV(mb)：35.59
Dataset：Cityscapes
ACCURACY：mIoU: 0.7882(FLOAT)/0.7856(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
7.2.3.23. Resnet50¶
INPUT SIZE：1x224x224x3
C(GOPs)：7.72
FPS：684.64
ITC(ms)：3.17
TCPP(ms)：0.094
RV(mb)：24.88
WV(mb)：1.13
Dataset：ImageNet
ACCURACY：Top1: 0.7737(FLOAT)/0.7636(INT8)
7.2.3.24. VarNetV2¶
INPUT SIZE：1x224x224x3
C(GOPs)：0.72
FPS：3511.84
ITC(ms)：0.886
TCPP(ms)：0.094
RV(mb)：3.70
WV(mb)：0.04
Dataset：ImageNet
ACCURACY：Top1: 0.7394(FLOAT)/0.7277(INT8)
7.2.3.25. Swint¶
INPUT SIZE：1x224x224x3
C(GOPs)：8.98
FPS：91.69
ITC(ms)：22.183
TCPP(ms)：0.097
RV(mb)：42.57
WV(mb)：8.74
Dataset：ImageNet
ACCURACY：Top1: 0.7933(FLOAT)/0.7741(INT8)
7.2.3.26. fcos_efficientnetb0¶
INPUT SIZE：1x512x512x3
C(GOPs)：5.02
FPS：1729.16
ITC(ms)：1.494
TCPP(ms)：0.251
RV(mb)：5.86
WV(mb)：0.76
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.3626(FLOAT)/0.3505(INT8)
7.2.3.27. fcos_efficientnetb2¶
INPUT SIZE：1x768x768x3
C(GOPs)：22.11
FPS：389.50
ITC(ms)：5.467
TCPP(ms)：6.779
RV(mb)：21.51
WV(mb)：15.10
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.4470(FLOAT)/0.4460(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/CommunityQAT
7.2.3.28. fcos_efficientnetb3¶
INPUT SIZE：1x896x896x3
C(GOPs)：41.51
FPS：243.81
ITC(ms)：8.525
TCPP(ms)：9.169
RV(mb)：30.96
WV(mb)：21.89
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]= 0.4710(FLOAT)/0.4720(INT8)
LINKS：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/CommunityQAT
7.2.3.29. pointpillars_kitti_car¶
INPUT SIZE：
C(GOPs)：66.82
FPS：111.28
ITC(ms)：27.044
TCPP(ms)：2.625
RV(mb)：53.18
WV(mb)：32.82
Dataset：Kitti3d
ACCURACY：APDet=0.7745(FLOAT)/0.7673(INT8)
7.2.3.30. RetinaNet¶
INPUT SIZE：1x1024x1024x3
C(GOPs)：301.27
FPS：68.85
ITC(ms)：27.784
TCPP(ms)：6.090
RV(mb)：109.39
WV(mb)：70.40
Dataset：COCO
ACCURACY：[IoU=0.50:0.95]=0.3153(FLOAT)0.3146(INT8)
7.2.3.31. Yolov3_MobileNetV1¶
INPUT SIZE：1x416x416x3
C(GOPs)：20.58
FPS：492.76
ITC(ms)：4.384
TCPP(ms)：1.678
RV(mb)：26.68
WV(mb)：2.34
Dataset：VOC
ACCURACY：mAP:0.7664(FLOAT)0.7588(INT8)
7.2.3.32. Mobilenet_Unet¶
INPUT SIZE：1x416x416x3
C(GOPs)：7.36
FPS：1057.38
ITC(ms)：2.118
TCPP(ms)：0.595
RV(mb)：10.59
WV(mb)：6.55
Dataset：Cityscapes
ACCURACY：mIoU:0.6802(FLOAT)0.6748(INT8)
7.2.3.33. pwcnet_opticalflow¶
INPUT SIZE：1x384x512x6
C(GOPs)：81.71
FPS：155.74
ITC(ms)：13.152
TCPP(ms)：0.310
RV(mb)：35.47
WV(mb)：16.36
Dataset：flyingchairs
ACCURACY：EndPointError:1.4114(FLOAT)/1.4101(INT8)