2022.07.25 C++下使用opencv部署yolov7模型（五） 0.寫在最前

推薦整理分享2022.07.25 C++下使用opencv部署yolov7模型（五）(c++~怎么用)，希望有所幫助，僅作參考，歡迎閱讀內(nèi)容。

文章相關(guān)熱門搜索詞:c++ kbhit,c++ ...,c++ ...,c++中使用c,c++%怎么用,c++2019怎么用,c++ ...,c++ ...,內(nèi)容如對(duì)您有幫助，希望把文章鏈接給更多的朋友！

此篇文字針對(duì)yolov7-1.0版本。

最近粗略的看了一遍yolov7的論文，關(guān)于yolov7和其他yolo系列的對(duì)比，咱就不多說了，大佬們的文章很多很詳細(xì)。關(guān)于opencv部署方面，其實(shí)yolov7和yolov5的初期版本（5.0以前的版本）很像，分為三個(gè)輸出口，yolov5-6.0之后的版本合并了三個(gè)輸出口變成一個(gè)output輸出【需要注意的是，雖然yolov可以在export的時(shí)候加上--grid參數(shù)將detect層加入之后變成和yolov5最新版本的輸出一致（可以不用改yolov5代碼直接跑yolov7的那種一致,當(dāng)然，anchors數(shù)據(jù)還是得改的），但是我試過了，opencv包括onnxruntime推理加grid參數(shù)的onnx模型都有問題，暫時(shí)我也在探索一種適用于所有yolov7版本的修改方案，但是改了幾種都是適用某幾個(gè)模型，其他模型掛掉的情況】。使用Netron打開兩個(gè)模型對(duì)比下很明顯，數(shù)據(jù)格式也和yolo的一致。所以基本上可以和yolov5的代碼通用。只不過具體使用的時(shí)候還是有一點(diǎn)區(qū)別的。另外，yolov7目前可以直接通過其自身帶的export.py導(dǎo)出onnx模型，并不需要像yolov5早期的代碼修改。

一.yolov5代碼修改適用yolov7

1.歸一化框的讀取類似yolov5的早期版本

上面說過，yolov7和yolov5的不同，實(shí)際上應(yīng)該是一致的才對(duì)（實(shí)際上，如果yolov7導(dǎo)出的時(shí)候加上--grid參數(shù)，結(jié)果就和yolov5目前的版本一毛一樣，但是加上之后opencv推理onnx的時(shí)候會(huì)報(bào)錯(cuò)，目前yolov7暫時(shí)未修復(fù)該bug，所以下面的yolov7代碼導(dǎo)出的時(shí)候不要加--grid參數(shù)）。我沒仔細(xì)debug，所以我們需要根據(jù)下面的紅色框中的內(nèi)容對(duì)網(wǎng)絡(luò)的歸一化anchors框進(jìn)行變換變成正常的像素位置。也就是像yolov5之前古老的版本沒優(yōu)化之前一樣（這就是我上面說的和yolov5-5.0以前的版本類似的原因）?？梢钥吹谌拇a中的讀取歸一化框的方式獲取原始圖像位置。2021.09.02更新說明 c++下使用opencv部署yolov5模型 （三）_愛晚乏客游的博客-CSDN博客_c++ yolov5

2.anchors數(shù)據(jù)不同

?對(duì)比下兩者的anchors數(shù)據(jù)，可以看到兩個(gè)的anchors不一致了，修改這部分內(nèi)容即可。

所以綜上所訴，對(duì)于yolov5-6.0的代碼，修改一些地方即可馬上應(yīng)用到y(tǒng)olov7上面，可以說很方便了。

具體修改有兩處，一處是anchors，另外一處是推理程序，修改之后的鏈接我放最下面了，其實(shí)就是在第四篇的基礎(chǔ)上面修改下：GitHub - UNeedCryDear/yolov5-opencv-dnn-cpp: 使用opencv模塊部署yolov5-6.0版本?

//yolo.h中改下anchorsconst float netAnchors[3][6] = { {12, 16, 19, 36, 40, 28},{36, 75, 76, 55, 72, 146},{142, 110, 192, 243, 459, 401} }; //yolov7-P5 anchors//yolo.cpp中推理代碼修改bool Yolo::Detect(Mat& SrcImg, Net& net, vector<Output>& output) {Mat blob;int col = SrcImg.cols;int row = SrcImg.rows;int maxLen = MAX(col, row);Mat netInputImg = SrcImg.clone();if (maxLen > 1.2 * col || maxLen > 1.2 * row) {Mat resizeImg = Mat::zeros(maxLen, maxLen, CV_8UC3);SrcImg.copyTo(resizeImg(Rect(0, 0, col, row)));netInputImg = resizeImg;}vector<Ptr<Layer> > layer;vector<string> layer_names;layer_names= net.getLayerNames();blobFromImage(netInputImg, blob, 1 / 255.0, cv::Size(netWidth, netHeight), cv::Scalar(0, 0, 0), true, false);//如果在其他設(shè)置沒有問題的情況下但是結(jié)果偏差很大，可以嘗試下用下面兩句語句//blobFromImage(netInputImg, blob, 1 / 255.0, cv::Size(netWidth, netHeight), cv::Scalar(104, 117, 123), true, false);//blobFromImage(netInputImg, blob, 1 / 255.0, cv::Size(netWidth, netHeight), cv::Scalar(114, 114,114), true, false);net.setInput(blob);std::vector<cv::Mat> netOutputImg;net.forward(netOutputImg, net.getUnconnectedOutLayersNames());std::vector<int> classIds;//結(jié)果id數(shù)組std::vector<float> confidences;//結(jié)果每個(gè)id對(duì)應(yīng)置信度數(shù)組std::vector<cv::Rect> boxes;//每個(gè)id矩形框float ratio_h = (float)netInputImg.rows / netHeight;float ratio_w = (float)netInputImg.cols / netWidth;int net_width = className.size() + 5; //輸出的網(wǎng)絡(luò)寬度是類別數(shù)+5for (int stride = 0; stride < strideSize; stride++) { //stridefloat* pdata = (float*)netOutputImg[stride].data;int grid_x = (int)(netWidth / netStride[stride]);int grid_y = (int)(netHeight / netStride[stride]);for (int anchor = 0; anchor < 3; anchor++) {//anchorsconst float anchor_w = netAnchors[stride][anchor * 2];const float anchor_h = netAnchors[stride][anchor * 2 + 1];for (int i = 0; i < grid_y; i++) {for (int j = 0; j < grid_x; j++) {float box_score = sigmoid_x(pdata[4]); ;//獲取每一行的box框中含有某個(gè)物體的概率if (box_score >= boxThreshold) {cv::Mat scores(1, className.size(), CV_32FC1, pdata + 5);Point classIdPoint;double max_class_socre;minMaxLoc(scores, 0, &max_class_socre, 0, &classIdPoint);max_class_socre = sigmoid_x(max_class_socre);if (max_class_socre >= classThreshold) {float x = (sigmoid_x(pdata[0]) * 2.f - 0.5f + j) * netStride[stride]; //xfloat y = (sigmoid_x(pdata[1]) * 2.f - 0.5f + i) * netStride[stride]; //yfloat w = powf(sigmoid_x(pdata[2]) * 2.f, 2.f) * anchor_w; //wfloat h = powf(sigmoid_x(pdata[3]) * 2.f, 2.f) * anchor_h; //hint left = (int)(x - 0.5 * w) * ratio_w + 0.5;int top = (int)(y - 0.5 * h) * ratio_h + 0.5;classIds.push_back(classIdPoint.x);confidences.push_back(max_class_socre * box_score);boxes.push_back(Rect(left, top, int(w * ratio_w), int(h * ratio_h)));}}pdata += net_width;//下一行}}}}//執(zhí)行非最大抑制以消除具有較低置信度的冗余重疊框（NMS）vector<int> nms_result;NMSBoxes(boxes, confidences, nmsScoreThreshold, nmsThreshold, nms_result);for (int i = 0; i < nms_result.size(); i++) {int idx = nms_result[i];Output result;result.id = classIds[idx];result.confidence = confidences[idx];result.box = boxes[idx];output.push_back(result);}if (output.size())return true;elsereturn false;}二、yolov7一些模型轉(zhuǎn)換的問題

評(píng)論區(qū)有些小伙伴反饋yolov7-d6模型在opencv4.5.1下面會(huì)報(bào)錯(cuò)，報(bào)錯(cuò)信息類似之前讀取早期的yolov5的報(bào)錯(cuò)一致。

OpenCV(4.5.0) Error: Unspecified error (> Node [Slice]:(341) parse error: OpenCV(4.5.0) D:\opencv\ocv4.5.0\sources\modules\dnn\src\onnx\onnx_importer.cpp:697: error: (-2:Unspecified error) in function 'void __cdecl cv::dnn::dnn4_v20200908::ONNXImporter::handleNode(const class opencv_onnx::NodeProto &)' Slice layer only supports steps = 1 (expected: 'countNonZero(step_blob != 1) == 0'), where 'countNonZero(step_blob != 1)' is 1 must be equal to '0' is 0 in cv::dnn::dnn4_v20200908::ONNXImporter::handleNode, file D:\opencv\ocv4.5.0\sources\modules\dnn\src\onnx\onnx_importer.cpp, line 1797

經(jīng)過對(duì)比yolov7和yolov7-d6的yaml文件，發(fā)現(xiàn)是由于yolov7-d6中使用了ReOrg模塊引起的報(bào)錯(cuò)，也就是步長為2的切片，像我這個(gè)系列中第一篇的問題一樣。

這個(gè)模塊有點(diǎn)類似早期的yolov5的Facos模塊，需要將ReOrg模塊修改成下面的代碼。 在models/common.py里面搜索下ReOrg，改成一下代碼之后重新導(dǎo)出onnx模型即可正確讀取。

class ReOrg(nn.Module): def __init__(self): super(ReOrg, self).__init__() def forward(self, x): # x(b,c,w,h) -> y(b,4c,w/2,h/2) #origin code # return torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1) self.concat=Contract(gain=2) return self.concat(x)

最后貼個(gè)yolov7和yolov5的對(duì)比圖，可以看到y(tǒng)olov7提升還是蠻明顯的，結(jié)果的置信度高了一些，后面的自行車也檢測出來了，就是領(lǐng)帶這里誤檢了。?

?

貼合github鏈接，里面包括了yolov7和yolov5，通過宏定義來控制：

GitHub - UNeedCryDear/yolov7-opencv-dnn-cpp