点击获取实现 YOLOv5 模型 INT8 量化的全套代码

Ultralytics YOLOv5 作为***的目标检测网络之一，因为其良好的工程化和文档支持，已被 AI 开发者广泛应用于工业界实践中。基于此，本文将重点介绍如何使用 OpenVINO^™ 2022.1 Post-training Optimization Tool (POT) API 对 YOLOv5 OpenVINO^™ FP32 模型进行 INT8 量化，实现模型文件压缩，从而进一步提高模型推理性能。

POT 工具：通过在已训练好的模型上应用量化算法，将模型的权重和激活函数从 FP32/FP16 的值域映射到 INT8 的值域中，从而实现模型压缩，降低模型推理所需的计算资源和内存带宽，进一步提高模型的推理性能。不同于 Quantization-aware Training (QAT) 方法，POT 在不需要对原模型进行 fine-tuning 的情况下进行量化，也能得到精度较好的 INT8 模型，因此广泛地被应用于工业界的量化实践中。

点击查看 POT 量化算法以及其调用方式的详细信息

因为 YOLOv5 模型的前后处理模块包括 letterbox、Non-maximum Suppression，与 OpenVINO^™ Accuracy Checker Tool 预定义的前后处理模块不完全一致，因此我们采用基于 POT API 调用方式，通过集成客制化 DataLoader 和 Metric 到量化流水线，从而实现 YOLOv5 的模型 INT8 量化。

点击查看完整通用流程

基于 POT API 对YOLOv5 模型进行量化（完整代码及参数设置请点击查看原文）

配置 YOLOv5 和 OpenVINO^™ 开发环境：下载 YOLOv5 源码并安装 YOLOv5 和 OpenVINO^™ 的 python 依赖。通过 YOLOv5 提供的 export.py 将预训练的 Pytorch 模型转换为 OpenVINO^™ FP32 IR 模型。

创建 YOLOv5DataLoader Class：定义数据和 annotation 加载和预处理。

创建 COCOMetric Class：定义数据和 annotation 加载和预处理。

设置 POT 的量化参数：用 get_config() 设置 POT 量化流水线中 model，engine，dataset，metric 和 algorithms 的参数。

定义并运行量化流水线：***终量化生成的 OpenVINO^™ INT8 IR 模型会被保存在本地。

YOLOv5m FP32 和 INT8 模型精度比较：相对 FP32 模型，通过 “DefaultQuantization” 算法量化后的 INT8 模型的精度下降控制在1% 以内，能够满足对于目标网络的识别。如果用户对 INT8 模型有更高的精度要求，建议尝试采用 “AccuracyAwareQuantization” 的算法对 INT8 模型做进一步迭代优化。

OpenVINO^™ 性能测试：Benchmark App 方便开发者快速测试 OpenVINO^™ 模型在不同的硬件平台上的性能。

YOLOv5 INT8 模型推理 demo：***我们用命令运行基于 OpenVINO^™ backend 的 YOLOv5m INT8 模型推理 demo。

查看原文