基于改進YOLOv7的黃瓜葉片病蟲害檢測與識別 劉詩怡 胡 濱 趙 春 南京農(nóng)業(yè)大學(xué)人工智能學(xué)院 南京 210031 摘 要 黃瓜葉片病蟲害的檢測與識別是科學(xué)防治病害的有效手段 為了提高對黃瓜葉片病斑細小特征的精準定位能力 以及提高對早疫病葉片的檢測性能 提出一種DCNSE YOLOv7的深度學(xué)習(xí)算法 首先 將主干特征提取網(wǎng)絡(luò)中對最后 一個特征層的卷積2D convolution Conv2D 改為可變形卷積2D Deformable convolution DCNv2 提高模型對病斑 細小特征的提取能力 其次 對主干特征提取網(wǎng)絡(luò)輸出3個特征層結(jié)果添加Squeeze and Excitation networks SENet 注意力機制模塊構(gòu)建網(wǎng)絡(luò)模型 加強模型對發(fā)病早期相似病害特征的有效提取能力 同時 通過K means 聚類算法對 錨框重新聚類 避免算法在訓(xùn)練過程中盲目學(xué)習(xí)目標(biāo)的尺寸和位置 最后 將原始YOLOv7的CIOU損失函數(shù) 更替 為Focal EIOU損失函數(shù) 試驗結(jié)果表明 DCNSE YOLOv7算法能夠有效對黃瓜葉片病蟲害進行檢測 其平均精度均值 為94 25 比YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型分別提高了2 72 2 87 0 28 12 04和 7 02個百分點 改進模型的精確度為96 02 檢測速度為52 04幀 s 所提方法為黃瓜葉片病蟲害的精準檢測提供了一 種有效的技術(shù)支持 關(guān)鍵詞 病蟲害 圖像識別 黃瓜葉片 YOLOv7 可變形卷積 注意力機制 doi 10 11975 j issn 1002 6819 202305042 中圖分類號 S24 文獻標(biāo)志碼 A 文章編號 1002 6819 2023 15 0164 09 劉詩怡 胡濱 趙春 基于改進YOLOv7的黃瓜葉片病蟲害檢測與識別 J 農(nóng)業(yè)工程學(xué)報 2023 39 15 164 172 doi 10 11975 j issn 1002 6819 202305042 http www tcsae org LIU Shiyi HU Bin ZHAO Chun Detection and identification of cucumber leaf diseases based improved YOLOv7 J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 15 164 172 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305042 http www tcsae org 0 引 言 黃瓜作為世界上最重要的蔬菜作物之一 在中國已 經(jīng)有2 000多年的栽培歷史 1 2 該類作物在溫室大棚可 以四季栽培 成本較低 且產(chǎn)量較高 2020年中國黃瓜 種植面積高達127萬hm2 黃瓜出口數(shù)量為45 437 3 t 3 為菜農(nóng)帶來了極大經(jīng)濟效益的同時 也對黃瓜病害防治 提出了新要求 4 在中國 黃瓜葉片靶斑病 5 霜霉病 6 白粉病 7 等在全國各地栽培的黃瓜葉片上普遍發(fā)生 在 發(fā)病早期若防治不及時 幾天內(nèi)病害即可傳遍棚室 造 成黃瓜大面積減產(chǎn) 8 因此在黃瓜種植中 要保證黃瓜 產(chǎn)量與質(zhì)量 就必須先對黃瓜葉片常見病害進行精準識 別與檢測 對葉片病蟲害檢測的傳統(tǒng)方法是采用目測觀察法 即通過肉眼觀察葉片的形態(tài) 紋理 顏色等特征 9 這 種方法雖然操作簡單 但在檢測過程中往往因出現(xiàn)經(jīng)驗 和知識差異等主觀因素對病害識別造成干擾 為種植戶 帶來不可挽回的損失 10 難以滿足對黃瓜葉片病蟲害的 精準檢測 為了提高識別精度 早期利用基于圖像處理 的檢測 11 方法 彭占武 12 利用模糊識別 先對黃瓜病 害進行圖像預(yù)處理 再從灰度統(tǒng)計量 顏色 幾何形狀 三方面進行特征提取 其不足之處在于處理的數(shù)據(jù)量較 小 且原始特征維數(shù)高 算法的計算復(fù)雜度較高 田凱 等 13 對茄子葉片病害圖像進行邊緣檢測 提取病斑特征 并優(yōu)化 構(gòu)建Fisher判別函數(shù)對茄子葉部病害識別 但 仍使用傳統(tǒng)的分割方法將病斑提出 使用貝葉斯判定方 法對病害類別進行識別 識別效率較低 上述方法工作 量大 且在實際應(yīng)用中難以推廣 近10年來 許多學(xué)者采用神經(jīng)網(wǎng)絡(luò)來對農(nóng)作物病害 進行識別 14 雖然在文獻檢索中對黃瓜葉片病蟲害的研 究不多 但在其他領(lǐng)域成果頗豐 MOHANTY等 15 使用 GoogLeNet模型對標(biāo)注后的圖片進行訓(xùn)練 該模型的缺 點是在不同環(huán)境下數(shù)據(jù)集檢測精確度差距大 模型泛化 能力不強 黃麗明等 16 提出改進YOLOv4模型自動識別 無人機遙感影像上的松材線蟲病異常變色木 該模型將 深度可分離卷積和倒殘差結(jié)構(gòu)引入網(wǎng)絡(luò) 然而對相似地 物與異常變色木的細小特征提取結(jié)果不顯著 不利于病 害特征識別 RANGARAJAN等 17 使用改進的AlexNet 和VGG16模型對番茄病害進行訓(xùn)練 但其缺陷在于檢 測精度不佳 ZHANG等 18 為了提高網(wǎng)絡(luò)特征提取能力 提出一種多通道自動定向遞歸注意網(wǎng)絡(luò)豐富番茄葉片病 害特征 并引入漸進非局部均值算法降低特征識別難度 不過信道數(shù)的選擇會對識別精確度產(chǎn)生影響 孫俊等 19 提出改進Mobile Net V2模型識別復(fù)雜背景下農(nóng)作物病 害 在原始模型上嵌入輕量型坐標(biāo)注意力機制 采用分 收稿日期 2023 05 08 修訂日期 2023 07 14 基金項目 國家自然科學(xué)基金項目 32270208 江蘇省大學(xué)生創(chuàng)新訓(xùn)練項 目 202210307157Y 作者簡介 劉詩怡 研究方向為計算機視覺 圖像處理 Email 2022819035 通信作者 胡濱 博士 副教授 研究方向為智慧農(nóng)業(yè) Email hubin 第 39 卷 第 15 期農(nóng) 業(yè) 工 程 學(xué) 報Vol 39 No 15 164 2023 年 8 月Transactions of the Chinese Society of Agricultural Engineering Aug 2023 組卷積減少模型參數(shù) 需要注意的是模型對不同病害相 似特征之間的細小區(qū)別未能有效識別 上述檢測方法雖 取得一定的成效 但在實際應(yīng)用中對早疫病 尺度變形 葉片的檢測精度不高 對相似病害細小特征的識別不夠 精確 無法滿足農(nóng)業(yè)智能化的生產(chǎn)需要 在黃瓜實際種植場景中 自動化檢測葉片病害的圖 像中往往包含不同種類的葉片 且葉片之間會出現(xiàn)部分 遮擋情況 基于此 相較于圖像分類算法 20 目標(biāo)檢測 算法更適用于檢測圖像中的多個目標(biāo) 并確定目標(biāo)的大 小和位置 21 故在前人研究基礎(chǔ)上 特別是從黃麗明 等 16 使用YOLOv4模型對松材線蟲病異常變色木識別受 到啟發(fā) 采用目標(biāo)檢測算法實現(xiàn)對黃瓜葉片病害的檢測 由于一階段目標(biāo)檢測算法不需要大量的數(shù)據(jù)訓(xùn)練 且 YOLO 22 算法將遷移學(xué)習(xí)的概念引入其網(wǎng)絡(luò) 不僅對數(shù) 據(jù)集數(shù)量的要求降低 還可以提高模型的泛化能力 通 過對目前YOLO系列算法比較 YOLOv7 23 算法的檢測 速度與檢測精度領(lǐng)先于當(dāng)前主流目標(biāo)檢測算法 故選用 YOLOv7模型作為研究對象 并在此模型基礎(chǔ)上提出一 種DCNSE YOLOv7深度學(xué)習(xí)算法 該算法首先在主干 特征提取網(wǎng)絡(luò)中引入可變形卷積 24 DCNv2 自適應(yīng)不 同葉片幾何形變化帶來的感受野尺寸變化 提升網(wǎng)絡(luò)模 型對病斑細小特征的精準定位能力 其次在主干特征提 取網(wǎng)絡(luò)的3個輸出結(jié)果處添加通道注意力機制SENet 25 模塊 加強模型對發(fā)病早期 多病害葉片相似特征的有 效提取能力 同時 通過K means 26 聚類算法優(yōu)化錨 框信息 使先驗框盡可能接近真實框 提升模型檢測性 能 最后 將Focal EIOU loss 27 函數(shù)替代原始損失函數(shù) 聚焦于高質(zhì)量的預(yù)測框 并與YOLOv7 YOLOv7 Tiny Faster RCNN YOLOv5l SSD等網(wǎng)絡(luò)模型進行對比 以 此評估模型的性能與效果 1 材料與方法 1 1 黃瓜葉片病蟲害圖像采集 黃瓜葉片常見的病蟲害有靶斑病 霜霉病 白粉病 等 利用相機在不同天氣 不同時刻條件下 對患有靶 斑病 霜霉病 白粉病以及無病蟲害的黃瓜葉片進行多 方位 多角度 多種距離拍攝 獲得849張患病及無病 蟲害的黃瓜葉片圖像 同時 通過網(wǎng)絡(luò)爬蟲技術(shù)對網(wǎng)絡(luò) 上公開的患有病蟲害及無病蟲害的黃瓜葉片高質(zhì)量圖像 進行部分爬取 獲得310張患病黃瓜葉片圖像 為保證 數(shù)據(jù)集獨立分布 篩選刪掉不適用圖像后保留了 1 049張圖像制作數(shù)據(jù)集 包含280張靶斑病 300張霜 霉病 259張白粉病以及210張無病害的黃瓜葉片圖像 且1 4左右以上的圖像包含兩個或兩個以上的葉片 黃 瓜葉片病蟲害圖像如圖1所示 從圖1可以看出 患有靶斑病的葉片病斑呈圓形或 稍不規(guī)則形黃點子 病斑中間有近白色眼狀靶心 患有 霜霉病的葉片病斑呈多角形黃褐色斑點 病斑不過葉脈 患有白粉病的葉片正面或背面產(chǎn)生白色近圓形的小粉斑 靶斑病和霜霉病在發(fā)病前期病斑特征較為接近 且在自 然環(huán)境下拍攝 圖像中會包含如雜草 土壤等干擾區(qū)域 造成檢測環(huán)境復(fù)雜 進一步增大檢測難度 a 靶斑病 a Target spot b 霜霉病 b Downy mildew c 白粉病 c Powdery mildew d 正常 d Normal 圖1 黃瓜葉片病蟲害 Fig 1 Diseases and insect pests of cucumber leaf 1 2 數(shù)據(jù)集構(gòu)建 為了提高目標(biāo)檢測算法對錯誤標(biāo)簽的記憶 增加樣 本的魯棒性以及網(wǎng)絡(luò)的泛化能力 對原始圖像進行翻轉(zhuǎn) 扭曲 加噪 亮度調(diào)節(jié)等方法對數(shù)據(jù)集進行初步擴充 對擴充后的圖像使用LabelImg對數(shù)據(jù)集圖像進行人工標(biāo) 注 標(biāo)簽分別為TargetSpot 靶斑病 DownyMildew 霜霉病 PowderyMildew 白粉病 和Normal 正 常 試驗采用MixUp 28 數(shù)據(jù)增強方法再次擴充黃瓜葉 片病害圖像 MixUp基本思想是將兩個不同的樣本進行 線性插值 從而生成一個新的樣本 如圖2所示 使用 MixUp將兩張圖像分別進行翻轉(zhuǎn) 縮放 色域變化等 在圖像多余部分加上灰條 并堆疊在一起 a 原始圖像 1 a Original image 1 b 原始圖像 2 b Original image 2 c 數(shù)據(jù)增強后結(jié)果 c Data augmentation result 圖2 MixUp數(shù)據(jù)增強結(jié)果 Fig 2 MixUp data enhancement results 第 15 期劉詩怡等 基于改進YOLOv7的黃瓜葉片病蟲害檢測與識別165 通過對數(shù)據(jù)集的增強與擴充 數(shù)據(jù)集圖像由開始的 1 049張擴充到2 699張 將圖像按照8 1 1的比例隨機 分為訓(xùn)練集 驗證集和測試集 完成數(shù)據(jù)集的構(gòu)建 2 模型與訓(xùn)練 2 1 YOLOv7算法 與前幾代YOLO算法相比 YOLOv7算法在主干特 征提取網(wǎng)絡(luò)中加入了可擴展的高效聚合層網(wǎng)Extended efficient long range attention network E ELAN 這種結(jié) 構(gòu)可以通過影響深度神經(jīng)網(wǎng)絡(luò)的梯度路徑從而加快模型 的收斂 提高檢測精度 其加強特征提取網(wǎng)絡(luò)主要是對 特征進行融合 在加強特征提取網(wǎng)絡(luò)中引入空間金字塔 池化 跨階段部分連接Spatial pyramid pooling cross stage partial connection 29 SPPCSPC 模塊用于增大感受野 YOLOv7模型的分類與回歸器主要用于得到模型預(yù)測輸 出結(jié)構(gòu) 在預(yù)測頭部Yolo Head中加入重新參數(shù)化卷積 層Reparameterized convolutional layer RepConv 作 為特殊的殘差結(jié)構(gòu)輔助訓(xùn)練調(diào)整通道數(shù) 降低網(wǎng)絡(luò)復(fù)雜 度 原始YOLOv7算法雖然能獲得較好的檢測精確度 但是如何減小相似特征 目標(biāo)尺度變化和形狀變化對檢 測精度的影響仍是YOLOv7需要改進的地方 2 2 改進YOLOv7算法 本研究擬對原始YOLOv7算法進行4個方面的改進 改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示 改進如下 CBS CBS CBS CBS C7 1 MP C3 C7 1 MP C3 C7 1 MP C3 C7 3 SPPCSPC SENet SENet CBS CBS SENet CBS UpSample Con cat C7 2 CBS UpSample Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv CBS Conv BN SILU CBS2 DCNv2 BN SILU C7 1 CBS CBS CBS CBS CBS Con cat CBS CBS Con cat C7 3 CBS2 CBS2 CBS2 CBS2 CBS2 Con cat CBS2 CBS2 Con cat MP C3 MP CBS CBS CBS Con cat SPPCSPC CBS CBS CBS MaxPool MaxPool MaxPool Con cat CBS CBS CBS Con cat CBS Con cat Con cat C7 2 CBS CBS CBS CBS CBS CBS Con cat CBS Con cat 640 640 80 80 40 40 20 20 注 Conv表示卷積 BN表示批量歸一化 SILU表示SILU激活函數(shù) DCNv2表示可變形卷積 Concat表示特征融合 UpSamlple表示上采樣 SENet表 示SENet通道注意力機制模塊 ADD表示特征通道相加 MaxPool表示最大池化 CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC MP C3為合成模塊 Note Conv represents convolution BN represents batch normalization SILU represents SILU activation function DCNv2 represents deformable convolution Concat represents feature fusion UpSamlple represents upsampled SENet represents the attentional mechanism module of SENet channel ADD represents the addition of feature channels MaxPool represents maximum pooling CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC and MP C3 are synthetic modules 圖3 改進YOLOv7網(wǎng)絡(luò)模型 Fig 3 Improved YOLOv7 network model 1 將原始YOLOv7模型主干特征提取網(wǎng)絡(luò)的最后 一個輸出特征層的卷積更換為可變形卷積DCNv2 一定 程度上加深模型對尺度變形大的目標(biāo)的精準定位能力 2 給主干特征提取網(wǎng)絡(luò)輸出的3個特征層結(jié)果添 加SENet通道注意力機制模塊 增強有效特征信息的提取 壓縮無用特征信息 提高模型對相似特征的識別能力 3 通過K means 算法對錨框信息進行更新 使得 網(wǎng)絡(luò)學(xué)習(xí)到更好的檢測器 避免網(wǎng)絡(luò)在訓(xùn)練過程中盲目 學(xué)習(xí)目標(biāo)的尺寸和位置 提高模型的檢測性能 4 將原始YOLOv7的損失函數(shù)CIOU loss更換為 Focal EIOU loss 更新后的Loss函數(shù)可以聚焦于高質(zhì)量 的邊界框 2 2 1 可變形卷積 由于黃瓜葉片圖像形態(tài) 葉片面積大小 病斑大小 不同 原始YOLOv7使用普通卷積操作 造成卷積層在 特征提取時沒有適應(yīng)圖形幾何變形時對不同位置區(qū)域的 感受野尺寸的變化 大大削弱網(wǎng)絡(luò)模型對形狀 尺寸變 形大的葉片中病斑細小特征的提取能力 因此依靠普通 卷積操作來提取特征有一定的局限性 為緩解這一問題 在主干特征提取網(wǎng)絡(luò)的輸出層中將普通卷積Conv2D更 替為可變形卷積DCNv2 22 其結(jié)構(gòu)如下圖4所示 通過 研究表明 可變形卷積通過增加可訓(xùn)練的偏移量 對于 位置變化具有良好的適應(yīng)能力 在采樣時可以更貼近葉 片病斑的形狀和尺寸 從而有利于提高目標(biāo)檢測的精度 和魯棒性 本研究將主干特征提取網(wǎng)絡(luò)中最后一個特征層的卷 積改為可變形卷積 在采樣時使其更貼近葉片病斑的形 狀和尺寸 加強模型對病斑細小特征的提取能力 一定 程度上提高了黃瓜葉片病蟲害的檢測精度 如圖4所示 可變形卷積操作是在二維平面進行的 是在傳統(tǒng)卷積的基礎(chǔ)上增加調(diào)整卷積核的方向向量 將 傳統(tǒng)卷積核提取的大小為W H C的特征圖作為輸入 通過再施加一個卷積核 2維 得到可變形卷積的偏移 量 改變偏移量x和y方向的值使卷積層做平移變換 166農(nóng)業(yè)工程學(xué)報 http www tcsae org 2023 年 其中偏移量是利用插值算法通過反向傳播進行學(xué)習(xí) 最 后利用得到的偏移量和輸入的特征圖做卷積得到輸出特 征圖 Conv Offset field W H 2C Offset yOffset x Output feature W H C Input feature W H C 注 W H C分別表示長 寬和特征通道大小 x和y代表偏移量的方向 向量 Note W H and C represent length width and characteristic channel size respectively x and y represent the direction vector of the offset 圖4 DCNv2結(jié)構(gòu)圖 Fig 4 DCNv2 Structure 2 2 2 SENet通道注意力機制模塊 在黃瓜葉片病蟲害的檢測中 利用原始YOLOv7算 法對病害發(fā)病早期 如霜霉病和靶斑病 這兩種病害的 病斑在發(fā)病早期均會呈現(xiàn) 黃點子 特征 病斑進行檢 測時往往會出現(xiàn)誤檢現(xiàn)象 這是由于在特征提取的過程 中對有效特征信息的篩選不足 因此 為提高模型對早 疫病病斑的識別能力 需對各個特征通道的權(quán)值進行矯 正 而在特征提取的過程中 SENet通道注意力機制模 塊可以加強有效特征信息通道的權(quán)重 降低并壓縮無用 特征信息通道的權(quán)重 從而發(fā)揮有用信息的最大作用 SENet通道注意力機制不會改變輸入特征圖的現(xiàn)有 結(jié)構(gòu) 而是通過改變各個通道的權(quán)重來實現(xiàn)特征加強 其模塊如圖5所示 ReLu Sigmoid X Global average pool bs C bs C bs C 16 bs C 16 bs 1 1 C Input bs C W H Output bs C W H 注 X表示上一層網(wǎng)絡(luò)輸出 bs表示輸入批量的大小 Global average pool 表示全局平均池化 Note X represents the network output of the previous layer bs represents the size of the input batch Global average pool represents global average pooling 圖5 SENet模塊 Fig 5 The SENet module SENet分3步 25 第一步為Squeeze 壓縮層 階段 對輸入的W H C的特征圖進行全局平均池化 壓縮每 個通道的特征至1 1 C的C維向量 此過程通道數(shù)不 變 第二步為Excitation 激勵層 階段 用于捕捉通道 之間的關(guān)系 通過2次全連接層從向量中提取各個通道 的權(quán)重 第一個全連接層將維度降低為C 16 通過修正 線性單元Rectified linear unit ReLu 函數(shù)進行激活 第 二個全連接層將通道恢復(fù)為原來的C維 采用Sigmoid 函數(shù)將通道權(quán)值固定在0 1之間 為每個通道學(xué)習(xí)一個 自適應(yīng)權(quán)值 權(quán)值越低該通道上的特點越不需要被關(guān)注 最后在Scale 比例層 將獲得的權(quán)值乘上原輸入特征層 實現(xiàn)各個通道重要程度的調(diào)整 SENet模塊通過自主學(xué)習(xí)各個通道的重要程度來提 高網(wǎng)絡(luò)對重要特征的注意力 增強有用信息提取 壓縮 無用信息來實現(xiàn)檢測和識別精確度的提高 本研究在主 干特征提取網(wǎng)絡(luò)的3個輸出結(jié)果處添加注意力機制 實 現(xiàn)對發(fā)病早期相似病斑有用特征的加強 一定程度上提 高了黃瓜葉片病蟲害檢測和識別的精確度 2 2 3 K means 錨框更新 錨框作為目標(biāo)檢測網(wǎng)絡(luò)中較為重要的先驗信息 模 型的先驗框和真實框越接近 其檢測精確度越高 為了 避免網(wǎng)絡(luò)模型盲目學(xué)習(xí)目標(biāo)的尺寸和位置 利用K means 算法得到新的錨框初始值 相比于傳統(tǒng)K means錨框聚類 K means 改進初始聚類中心點的選擇 方法 迭代次數(shù)通常較少且更加穩(wěn)定 26 本研究擬提取 錨框坐標(biāo) 將其轉(zhuǎn)換為特征向量作為K means 算法的 輸入 更新錨框初始值 同時 為了捕獲不同目標(biāo)在尺 度 形態(tài)等方面的差異 生成更貼合于真實框的錨框 將聚類簇數(shù)量設(shè)置為大于目標(biāo)類別數(shù)量 試驗中設(shè)置為 9 K means 算法首先隨機選取1個特征向量樣本作為 初始聚類中心點 計算其他樣本與初始聚類中心的距離 再根據(jù)距離權(quán)重 以概率選擇下一個聚類中心 并更新 已選擇的聚類中心 直至選擇預(yù)定數(shù)量的聚類中心 最 后得到更貼合于黃瓜葉片數(shù)據(jù)集的錨框信息 從而提高 模型的檢測精度 將聚類結(jié)果可視化展示在640 640像 素大小的畫布上 如圖6所示 不同顏色代表不同的 簇 位于同一簇的樣本其向量相似度度量接近 聚類后 的錨框初始值為 168 108 143 287 307 228 241 548 405 380 614 343 422 635 630 497 636 637 通過計算聚類中心與目標(biāo)之 間并交比Intersection over union IoU 選擇最匹配的 錨框作為候選區(qū)域 減少不必要的計算 提高目標(biāo)檢測 的精確度 600 500 400 300 200 100 0 0 100 200 300 400 500 600 注 表示聚類中心點 畫布大小為640 640像素 不同顏色的簇代 表具有不同特征的錨框信息 試驗中簇個數(shù)設(shè)定為9 Note represents thecluster center point the canvassize is 640 640 pixels clusters ofdifferent colors represent anchor box information with different characteristics and thenumber of clusters in this experiment is set to 9 圖6 K means 聚類可視化結(jié)果 Fig 6 K means clustering visualization result 第 15 期劉詩怡等 基于改進YOLOv7的黃瓜葉片病蟲害檢測與識別167 2 2 4 Focal EIOU Loss函數(shù) 原始YOLOv7使用CIOU作為坐標(biāo)損失函數(shù) CIOU 損失考慮了重疊面積 中心點距離以及縱橫比這3個幾何 因素 然而在目標(biāo)識別和檢測過程中 邊界框 Bounding box BBox 是決定其精確度的重要因素之一 原始 YOLOv7算法的Loss函數(shù)并未考慮到 因此引入Focal EIOU loss函數(shù)來替代原始損失函數(shù) Focal EIOU函數(shù) 不僅包含了CIOU的有益特性 還聚焦于高質(zhì)量的BBox 提高模型檢測精確度同時 還可以加快模型收斂 27 Focal EIOU計算式如下 LEIOU LIOU Ldis Lasp 1 IOU 2 b bgt wc 2 hc 2 2 w wgt wc 2 2 w wgt hc 2 1 式中wc和hc是最小包圍框的寬高 將損失函數(shù)分為 IOU損失 距離損失Ldis和方位損失Lasp 給定預(yù)測框b 和bgt b和bgt分別表示目標(biāo)框和預(yù)測框的中心點 表 示b和bgt之間中心點坐標(biāo)的歐氏距離 EIOU損失在增 加長寬比相似度的同時 也考慮到了模型如何通過焦點 損失的回歸形式有效減少 w h 和 wgt hgt 之間的真 實差異 更有益于模型檢測精確度的提高 2 3 模型訓(xùn)練與評價指標(biāo) 2 3 1 訓(xùn)練平臺 本試驗使用的訓(xùn)練平臺主要參數(shù)為 Core i5 12400 CPU 4 4 GHz 內(nèi)存為32GB 1TB固態(tài)硬盤 Nvidia GeForce RTX 3090 24GB顯卡 安裝CUDA Cudnn版 本為11 4 8 2 2 系統(tǒng)為Windows操作系統(tǒng) Python版 本為3 8以及深度學(xué)習(xí)框架為Pytorch 1 10 0 2 3 2 訓(xùn)練參數(shù) 訓(xùn)練參數(shù)設(shè)置 圖像輸入尺寸為640 640 批次 Batch size為24 多線程設(shè)置為2 初始學(xué)習(xí)率為0 01 每次訓(xùn)練迭代 Epoch 1 000次 每完成10個迭代 保 存一次權(quán)重參數(shù) 共得到100個權(quán)重參數(shù) 由于試驗修 改了原算法的主干特征提取網(wǎng)絡(luò) 因此在首次訓(xùn)練時無 預(yù)訓(xùn)練權(quán)重 先進行300次的迭代訓(xùn)練 再利用訓(xùn)練好 的權(quán)重重新進行1 000次的迭代訓(xùn)練 2 3 3 評價指標(biāo) 參考孫豐剛等 30 使用的評價指標(biāo) 采用精確度 Precision Pi 召回率Recall Ri 平均精確度 Average precision APi 30 平均精度均值 Mean average precision mAP 30 以及幀速率 Frame per second FPS 幀 s 作為模型的評價指標(biāo) 計算式如下 Pi TPT P FP 100 2 Ri TPT P FN 100 3 式中i表示不同的葉片病蟲害 N表示數(shù)據(jù)集中分類的 個數(shù) 本文為4 TP表示圖片中正確檢測葉片病蟲害的 數(shù)量 FP表示圖像中檢測錯誤與目標(biāo)分類錯誤的數(shù)量 FN表示圖像中漏檢的數(shù)量 APi具體為某一種病蟲害的 P R曲線與坐標(biāo)軸圍成的面積 反應(yīng)了目標(biāo)檢測精度的性 能 mAP表示模型對不同病蟲害的整體檢測精度的性能 3 結(jié)果與分析 為了對比分析本研究的改進方法對模型性能的影響 在模型訓(xùn)練參數(shù)一致的情況下設(shè)計了3組試驗 主流模 型性能對比試驗 注意力機制對比試驗和消融試驗 并 選取具有代表性的圖像數(shù)據(jù)進行測試 從模型的可視化 中 對模型的檢測效果進行分析 3 1 主流模型性能對比 為了對比本研究模型與SSD模型 Faster RCNN模 型 YOLOv5l模型 YOLOv7模型 YOLOv7 tiny模型 在目標(biāo)檢測任務(wù)中的有效性 本試驗設(shè)計了第1組不同 模型之間性能測試對比 采用相同的數(shù)據(jù)集和參數(shù)設(shè)置 進行1 000次迭代訓(xùn)練和測試 表1列出不同模型的精 確度 召回率 平均精度均值和幀速率 表 1 主流模型訓(xùn)練結(jié)果 Table 1 Mainstream model training results 模型 Model 精確度 Precision 召回率 Recall 平均精度均值 Mean average precision mAP 幀速率 Frame per second FPS 幀 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 YOLOv7 93 59 92 34 91 38 52 72 YOLOv5l 93 88 92 34 91 53 50 88 Faster RCNN 95 74 93 55 93 97 29 60 SSD 84 26 80 27 82 21 132 63 YOLOv7 tiny 87 63 86 19 87 23 289 45 對比試驗結(jié)果顯示DCNSE YOLOv7模型的檢測精確 度和平均精度均值與其他網(wǎng)絡(luò)相比都為最高 檢測精確 度與YOLOv5l YOLOv7 Faster RCNN SSD YOLOv7 tiny模型相比分別提高2 14 2 43 0 28 11 76和8 39 個百分點 DCNSE YOLOv7模型與Faster RCNN模型的 檢測精度差別不大 這是由于網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)不同 Faster RCNN作為二階段算法僅需送入網(wǎng)絡(luò)一次便可測出所有 邊界框 故檢測精度稍小于DCNSE YOLOv7模型 相 比YOLOv5l YOLOv7 SSD YOLOv7 tiny模型 召回 率分別提高0 81 2 87 12 88 6 96個百分點 與Faster RCNN相比降低0 4個百分點 平均精度均值與 YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型相比分別提高2 72 2 87 0 28 12 04和7 02 個百分點 在檢測速度方面 DCNSE YOLOv7比 YOLOv5l和Faster RCNN分別提高1 16和22 44幀 s 比 YOLOv7 SSD YOLOv7 tiny降低了0 68 80 59 237 41幀 s 可見 本試驗所構(gòu)建的DCNSE YOLOv7目 標(biāo)檢測網(wǎng)絡(luò)具有比其他5種模型具有更好的在檢測準確 率和檢測速度之間平衡的能力 尤其在病斑細小特征識 別方面能夠勝任具有較多小目標(biāo)的黃瓜葉片病斑檢測任 務(wù) 同時 從模型對單個圖像的平均處理時長來看 DCNSE YOLOv7模型的檢測速率雖低于SSD YOLOv7 tiny模型 但其滿足黃瓜葉片病斑在檢測過程中對精確 度的要求 3 2 不同注意力機制檢測性能對比 為了驗證SENet注意力機制的有效性 設(shè)計了第2 168農(nóng)業(yè)工程學(xué)報 http www tcsae org 2023 年 組試驗 將SENet通道注意力機制模塊 與卷積塊注意 力模塊Convolutional block attention module CBAM 和 高效通道注意力Efficient channel attention ECA 進行對 比 結(jié)果見表2 表 2 不同注意力機制模型訓(xùn)練結(jié)果 Table 2 Training results of different attention mechanism models 模型 Model 精確度P recision 召回率 Recall mAP FPS 幀 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 DCNCBAM YOLOv7 94 91 91 48 92 28 52 17 DCNECA YOLOv7 95 07 91 79 92 51 52 29 由表2可得 DCNSE YOLOv7算法使用的SENet 注意力機制優(yōu)于CBAM注意力機制和ECA注意力機制 與DCNCBAM YOLOv7相比 DCNSE YOLOv7的精確 度 召回率和mAP分別提高了1 11 1 67和1 97個百 分點 FPS下降了0 13幀 s 與DCNECA YOLOv7相比 DCNSE YOLOv7的精確率 召回率和mAP分別提高了 0 95 1 36和1 74個百分點 FPS下降了0 25幀 s 因 此 SENet注意力機制在YOLOv7模型上對有效特征信 息的篩選更優(yōu)異 對病斑的識別能力高于CBAM ECA 注意力機制算法 能夠有效提升模型對黃瓜葉片病蟲害 識別的準確度 驗證了該試驗方法的可行性 使用本試驗算法與原始YOLOv7迭代訓(xùn)練1 000次 得到的精確度Precision 召回率Recall曲線如圖7所示 從圖中可以看出 初始時 DCNSE YOLOv7模型的R 曲線縱坐標(biāo)非零 這是因為試驗修改了原算法的主干特 征提取網(wǎng)絡(luò) 在首次訓(xùn)練時無預(yù)訓(xùn)練權(quán)重 故先進行 300次的迭代訓(xùn)練后 再利用訓(xùn)練好的權(quán)重和YOLOv7 模型進行1 000次迭代訓(xùn)練 在訓(xùn)練迭代第500次時 精確度曲線繼續(xù)上升但趨于平穩(wěn) 在迭代第600次時 召回率曲線雖伴有震蕩但趨勢明顯放緩 0 200 400 600 800 1 000 20 40 60 80 100 20 40 60 80 100 精確度 Precious DCNSE YOLOv7 YOLOv7 a DCNSE YOLOv7與YOLOv7的 精確度結(jié)果對比 a Compare Priecsion result of DCNSE YOLOv7 and YOLOv7 迭代次數(shù) 次 Epoch turn 0 200 400 600 800 1 000 召回率 Recall DCNSE YOLOv7 YOLOv7 b DCNSE YOLOv7與YOLOv7的 召回率結(jié)果對比 b Compare Recall result of DCNSE YOLOv7 and YOLOv7 迭代次數(shù) 次 Epoch turn 圖7 精確度 召回率曲線圖 Fig 7 Precsion and Recall curves 3 3 消融試驗性能對比 本研究在YOLOv7模型的基礎(chǔ)上 使用可變形卷積 DCNv2自適應(yīng)圖形幾何變化 提升網(wǎng)絡(luò)模型的對病斑細 小特征的精準定位能力 添加SENet注意力機制模塊 加強模型對發(fā)病早期 多病害葉片相似特征的有效提取 能力 通過K means 聚類算法對數(shù)據(jù)集的檢測框重新 聚類 提升網(wǎng)絡(luò)表征能力 在預(yù)測層使用Focal EIOU作 為損失函數(shù) 獲得更好回歸結(jié)果 為驗證各種改進的有 效性 依次對DCNSE YOLOv7網(wǎng)絡(luò)進行縮減 分別在 測試集上進行消融試驗 以平均精度均值mAP為評價指 標(biāo) 表3為消融試驗結(jié)果 表 3 不同消融方法試驗結(jié)果 Table 3 Results of different ablation methods 試驗 Test MixUp DCNv2 SENet K means Focal EIOU mAP 1 90 65 2 91 34 3 92 41 4 92 96 5 91 62 6 91 58 7 94 12 注 試驗以原始YOLOv7為基準 表示進行添加或改進 表示未 進行變動 Note The test is based on the original YOLOv7 represents add or improve represents no change 通過消融試驗結(jié)果分析 使用MixUp數(shù)據(jù)增強后 模型的檢測精度提高了0 69個百分點 在使用MixUp 數(shù)據(jù)增強的條件下 由試驗2 6可得 在主干特征提取 網(wǎng)絡(luò)中將普通卷積更換為可變形卷積DCNv2 引入 SENet注意力機制模塊 更新錨框信息和使用Focal EIOU代替原始Loss函數(shù)均為正向改進 引入可變形卷 積DCNv2后 模型的mAP提高了1 07個百分點 說明 引入DCNv2可以提升模型對尺寸變化大的目標(biāo)的識別能 力 加入SENet注意力機制后 模型更好地擬合通道間 復(fù)雜的相關(guān)性 對有效特征的提取能力增強 mAP提高 了1 62個百分點 更新錨框信息和使用Focal EIOU損 失函數(shù)后 mAP分別提高了0 28和0 24個百分點 由 試驗7將DCNSE YOLOv7模型應(yīng)用在測試集上發(fā)現(xiàn) 模型在測試集與訓(xùn)練集上的性能表現(xiàn)接近 其mAP比訓(xùn) 練集下降了0 13個百分點 且采用MixUp數(shù)據(jù)增強方 式有效的削弱了過擬合現(xiàn)象的風(fēng)險 模型具有較好的泛 化能力 進一步驗證了本試驗方案的可行性 3 4 不同模型黃瓜葉片病蟲害檢測可視化 使用訓(xùn)練好的DCNSE YOLOv7 YOLOv7 YOLOv5l Faster RCNN SSD YOLOv7 tiny模型分別 對自然場景下黃瓜葉片病蟲害進行檢測 得到可視化圖 像如圖8所示 其中紫框為正常葉片 紅框為靶斑病葉