第 36 卷 第 20 期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 36 No 20 2020 年 10月 Transactions of the Chinese Society of Agricultural Engineering Oct 2020 209 改進(jìn) Multi scale ResNet 的蔬菜葉部病害識別 王春山 1 2 3 4 周 冀 1 吳華瑞 2 3 滕桂法 1 4 趙春江 2 3 李久熙 5 1 河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院 保定 071001 2 國家農(nóng)業(yè)信息化工程技術(shù)研究中心 北京 100097 3 北京農(nóng)業(yè)信息技 術(shù)研究中心 北京 100097 4 河北省農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室 保定 071001 5 河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院 保定 071001 摘 要 基于深度網(wǎng)絡(luò)的蔬菜葉部病害圖像識別模型雖然性能顯著 但由于存在參數(shù)量巨大 訓(xùn)練時(shí)間長 存儲(chǔ)成本與 計(jì)算成本過高等問題 仍然難以部署到農(nóng)業(yè)物聯(lián)網(wǎng)的邊緣計(jì)算設(shè)備 嵌入式設(shè)備 移動(dòng)設(shè)備等硬件資源受限的領(lǐng)域 該 研究在殘差網(wǎng)絡(luò) ResNet18 的基礎(chǔ)上 提出了改進(jìn)型的多尺度殘差 Multi scale ResNet 輕量級病害識別模型 通過增 加多尺度特征提取模塊 改變殘差層連接方式 將大卷積核分解 進(jìn)行群卷積操作 顯著減少了模型參數(shù) 降低了存儲(chǔ) 空間和運(yùn)算開銷 結(jié)果表明 在 PlantVillage 和 AI Challenge2018 中 15 種病害圖像數(shù)據(jù)集中取得了 95 95 的準(zhǔn)確率 在 自采集的 7 種真實(shí)環(huán)境病害圖像數(shù)據(jù)中取得了 93 05 的準(zhǔn)確率 在準(zhǔn)確率較 ResNet18 下降約 3 的情況下 模型的訓(xùn)練 參數(shù)減少 93 模型總體尺寸縮減 35 15 該研究提出的改進(jìn)型 Multi scale ResNet 使蔬菜葉部病害識別模型具備了在硬 件受限的場景下部署和運(yùn)行的能力 平衡了模型的復(fù)雜度和識別精度 為基于深度網(wǎng)絡(luò)模型的病害識別系統(tǒng)進(jìn)行邊緣部 署提供了思路 關(guān)鍵詞 圖像處理 病害 圖像識別 多尺度 輕量化 殘差層 ResNet18 doi 10 11975 j issn 1002 6819 2020 20 025 中圖分類號 S511 文獻(xiàn)標(biāo)志碼 A 文章編號 1002 6819 2020 20 0209 09 王春山 周冀 吳華瑞 等 改進(jìn) Multi scale ResNet 的蔬菜葉部病害識別 J 農(nóng)業(yè)工程學(xué)報(bào) 2020 36 20 209 217 doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org Wang Chunshan Zhou Ji Wu Huarui et al Identification of vegetable leaf diseases based on improved Multi scale ResNet J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2020 36 20 209 217 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org 0 引 言 據(jù)農(nóng)業(yè)農(nóng)村部最新統(tǒng)計(jì) 中國蔬菜種植面積目前已 突破 2 000 萬 hm 2 產(chǎn)量在 7 億 t 以上 產(chǎn)值超 2 萬億元 蔬菜總產(chǎn)值約占種植業(yè)總產(chǎn)值的 35 1 在各類蔬菜上發(fā) 生的病害種類有 500 多種 每年因各種病害造成的損失 超過 1 000 億元 研究表明大多數(shù)的蔬菜病害通過葉部侵 染 因此葉部癥狀分析是實(shí)現(xiàn)病害識別的重要手段之一 近年來 隨著深度學(xué)習(xí)在圖像分類中的優(yōu)異表現(xiàn) 2 6 基 于深度學(xué)習(xí)的蔬菜葉部病害識別模型逐漸成為了研究的 熱點(diǎn) 7 10 張善文等 11 和馬浚誠等 12 分別在 LeNet 基礎(chǔ)上 設(shè)計(jì)了黃瓜葉部病害識別的網(wǎng)絡(luò)模型 取得了理想的識 別效果 王艷玲等 13 和李淼等 14 在 AlexNet 和 VGG 網(wǎng)絡(luò) 上引入遷移學(xué)習(xí)提高了識別準(zhǔn)確率 并解決了訓(xùn)練樣本 少的問題 郭小清等 15 對 AlexNet 進(jìn)行了加寬 采用多 種尺度的卷積核 使圖像特征得到不同層次的提取 并 去掉批量歸一化 batch normalization 層 從而減少了 收稿日期 2020 07 07 修訂日期 2020 08 28 基金項(xiàng)目 國家大宗蔬菜產(chǎn)業(yè)技術(shù)體系 CARS 23 C06 國家重點(diǎn)研發(fā)計(jì) 劃 2019YFD1101105 國家自然基金項(xiàng)目 61771058 河北省重點(diǎn)研發(fā) 計(jì)劃項(xiàng)目 20327402D 河北省研究生創(chuàng)新資助項(xiàng)目 CXZZBS2020103 作者簡介 王春山 在職博士生 副教授 主要從事人工智能 智慧農(nóng)業(yè) 圖像識別研究 Email chunshan9701 通信作者 趙春江 研究員 博士生導(dǎo)師 主要從事人工智能 智慧農(nóng)業(yè) 智能農(nóng)業(yè)裝備和農(nóng)業(yè)信息技術(shù)研究 Email zhaocj 網(wǎng)絡(luò)參數(shù)量 最終將模型應(yīng)用到移動(dòng)端 在電腦端識別 平均準(zhǔn)確率為 92 7 在移動(dòng)端識別真實(shí)場景的圖片準(zhǔn)確 率為 89 2 而吳瑞華等 16 胡志偉等 17 和曾偉輝等 18 則進(jìn)一步在殘差網(wǎng)絡(luò)上引入注意力 高階殘差和參數(shù)共 享機(jī)制提高了病害識別的細(xì)粒度水平 準(zhǔn)確率和魯棒性 Too 等 19 評估了 VGG16 Inception V4 具有 50 101 和 152 層的 ResNet 和 121 層的 DenseNet 其中 DenseNet 在 PlantVillage 上的識別準(zhǔn)確率達(dá)到了 99 75 劉洋等 20 為了實(shí)現(xiàn)手機(jī)端的病害識別 對 MobileNet 和 Inception V3 網(wǎng)絡(luò)的模型尺寸 所占內(nèi)存 識別精度等方面做了 比較 盡管深度網(wǎng)絡(luò)模型在蔬菜病害識別任務(wù)上取得了優(yōu)異 表現(xiàn) 但是考慮到有些應(yīng)用場景需要將其移植到硬件資源 受限的嵌入式或者移動(dòng)設(shè)備上 它仍面臨模型參數(shù)量巨大 訓(xùn)練耗時(shí)長 存儲(chǔ)空間大等方面約束 21 22 因此 如何在保 證模型識別準(zhǔn)確率的前提下 對模型進(jìn)行緊湊和精簡設(shè)計(jì) 已經(jīng)成為亟待解決的問題 一方面蔬菜葉部病害特征通常 表現(xiàn)在不同大小的區(qū)域內(nèi) 模型需要多尺度感受野捕獲不 同范圍的病害特征 另一方面 由于考慮到在移動(dòng)端和嵌 入式設(shè)備進(jìn)行部署時(shí)對存儲(chǔ)和計(jì)算能力的限制 需在保障 準(zhǔn)確率的前提下盡量壓縮模型的復(fù)雜度 綜上 本研究通過增加多尺度特征提取模塊 改變 殘差層連接方式 將大卷積核分解 進(jìn)行群卷積操作等 設(shè)計(jì)手段 改進(jìn)了經(jīng)典殘差網(wǎng)絡(luò) ResNet18 的多尺度識別 能力 顯著壓縮了模型參數(shù)量 降低了存儲(chǔ)空間和運(yùn)算 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2020 年 210 開銷 將模型的準(zhǔn)確率與復(fù)雜度控制在合理的范圍之內(nèi) 為硬件受限的場景下 部署和運(yùn)行基于深度網(wǎng)絡(luò)模型的 病害識別系統(tǒng)進(jìn)行了探索 1 材料與方法 1 1 數(shù)據(jù)來源 本研究共采用 2 種數(shù)據(jù)集 數(shù)據(jù)集 1 來自 PlantVillage 中 10 種番茄病害圖像 番茄早疫病 番茄晚疫病 番茄 葉霉病 番茄細(xì)菌性斑點(diǎn)病 番茄斑枯病 番茄黃曲病 番茄二斑葉螨病 番茄輪斑病 番茄病毒病和健康 3 種 土豆病害 土豆早疫病 土豆晚疫病和健康 和 AI Challenge2018 比賽中辣椒的 2 種病害 辣椒瘡痂病和健 康 共 19 517 張 數(shù)據(jù)集 1 中的樣本均為實(shí)驗(yàn)室環(huán)境下 拍攝的簡單背景葉部病害圖像 數(shù)據(jù)集 2 來自采集蔬菜 病害圖像 番茄健康 番茄白粉病 番茄早疫病 黃瓜 健康 黃瓜白粉病 黃瓜病毒病 黃瓜霜霉病 共 2 855 張 數(shù)據(jù)集 2 中的樣本均為實(shí)際生產(chǎn)環(huán)境下拍攝的復(fù)雜 背景葉部病害圖像 2 種數(shù)據(jù)集均按照 7 2 1 的比例分 別劃分訓(xùn)練集 測試集和驗(yàn)證集 其中數(shù)據(jù)集 1 和數(shù)據(jù) 集 2 的健康圖像和病害圖像示例如圖 1 所示 a 簡單背景下不同蔬菜的健康和病 害圖像 數(shù)據(jù)集 1 b 復(fù)雜背景下不同蔬菜的健康和病 害圖像 數(shù)據(jù)集 2 a Health and disease images of different vegetables in simple background Dataset 1 b Health and disease images of different vegetables in complex background Dataset 2 圖 1 2 種數(shù)據(jù)集示例 Fig 1 Two datasets of samples 1 2 數(shù)據(jù)增強(qiáng) 數(shù)據(jù)增強(qiáng)主要出于兩種考慮 一是盡可能的增加病害 圖像的數(shù)量 二是盡量模擬實(shí)際環(huán)境中的不同光線和多種 角度的拍照效果 為了模擬實(shí)際環(huán)境中拍照角度的隨機(jī)性 光照強(qiáng)度的變化 葉片上可能存在灰塵等情況 本研究 2 個(gè)數(shù)據(jù)集均采用了相同的 5 種增強(qiáng)方式 1 平移縮放旋轉(zhuǎn) 圖像本身不發(fā)生變化 只是圖像的位置 方向進(jìn)行改變 可 模擬不同機(jī)位的圖像數(shù)據(jù) 2 隨機(jī)裁剪縮放 圖像進(jìn)行隨機(jī) 位置裁剪 可以挑選不同位置的圖像進(jìn)行訓(xùn)練 3 隨機(jī)亮度 對比度增強(qiáng) 圖像進(jìn)行隨機(jī)強(qiáng)度的亮度和對比度增強(qiáng) 可以 增加病斑與葉片的差別和模擬不同的光照強(qiáng)度 4 隨機(jī) Gamma 噪聲 圖像增加隨機(jī) Gamma 噪聲 可以模擬不同 質(zhì)量的圖像數(shù)據(jù) 5 垂直翻轉(zhuǎn) 圖像沿著水平線進(jìn)行垂直 位置翻轉(zhuǎn) 可以模擬不同相機(jī)角度的圖像數(shù)據(jù) 最終經(jīng)過 數(shù)據(jù)增強(qiáng)后訓(xùn)練數(shù)據(jù)增加到 134 232 張 2 模型改進(jìn) 2 1 ResNet18 優(yōu)點(diǎn)與不足 自 AlexNet 以來 越來越深的網(wǎng)絡(luò)為解決更復(fù)雜的問 題被提出 如 VGG16 VGG19 GoogleNet 但是隨著 網(wǎng)絡(luò)深度的加深帶來了梯度消失 梯度爆炸等問題 2015 年 He 等 6 提出了 ResNet 解決了深層網(wǎng)絡(luò)梯度消失的問 題 ResNet18 共有 18 層 網(wǎng)絡(luò)的輸入為 224 224 的三通 道圖像 經(jīng)過第一層卷積后圖像降維到 112 112 通道數(shù) 增加到 64 在經(jīng)過最大池化層后圖像進(jìn)一步降維到 56 56 通道數(shù)不增加 經(jīng)過前兩步操作后進(jìn)入殘差部分 每經(jīng)歷一部分殘差圖像降維一半 通道數(shù)增加到原來的 2 倍 圖像降維通過步長為 2 的卷積層實(shí)現(xiàn) 經(jīng)過 4 次殘 差操作后圖像降維到 7 7 通道數(shù)增加至 512 最后連接 平均池化層和全連接層 ResNet18 雖然解決了梯度消失 問題 但是在硬件資源受限的蔬菜葉部病害識別使用場 景下 仍存在特征提取尺寸單一 模型參數(shù)多 資源需 求大等問題 2 2 ResNet18 改進(jìn)步驟 本研究針對 ResNet18 存在的問題和蔬菜病害的特點(diǎn) 設(shè)計(jì)了一種改進(jìn)版本的 Multi scale ResNet 該網(wǎng)絡(luò)借鑒 了 ResNet18 的主體架構(gòu) Multi scale ResNet 網(wǎng)絡(luò)結(jié)構(gòu)如 圖 2 所示 在 5 個(gè)方面做了如下改進(jìn) 1 更新殘差層連接方式 ResNet18 通過學(xué)習(xí)相鄰網(wǎng)絡(luò)層殘差來更新學(xué)習(xí)參 數(shù) 改進(jìn)兩層殘差連接使得網(wǎng)絡(luò)不僅學(xué)習(xí)相鄰網(wǎng)絡(luò)層的 誤差也可以學(xué)習(xí)相鄰兩層網(wǎng)絡(luò)誤差 從而網(wǎng)絡(luò)更新更加 細(xì)膩 特征學(xué)習(xí)更加充分 2 添加多尺度提取特征 在 ResNet18 殘差模塊中只進(jìn)行了 2 個(gè)卷積核大小為 3 3 的卷積層堆疊實(shí)現(xiàn)圖像特征提取 但是蔬菜病害癥狀 復(fù)雜多樣 病斑大小不一 顏色和發(fā)病部位均不相同 例如 番茄早疫病初期為水漬狀褐色小斑點(diǎn) 后轉(zhuǎn)為圓 形或橢圓形暗褐色病斑 番茄潰瘍病發(fā)病初期發(fā)生部位 為下部葉片 后為葉部邊緣最后整片葉片枯萎 番茄晚 疫病病斑初期為暗綠色水漬狀病斑 后為暗褐色 黑褐 色 本網(wǎng)絡(luò)將殘差模塊設(shè)置成 2 個(gè)通道 第一個(gè)通道采 用卷積核大小為 7 7 的卷積層加上卷積核大小為 3 3 的 卷積層 第二個(gè)通道采用卷積核大小為 5 5 的卷積層加 上卷積核大小為 3 3 的卷積層 并在輸出部分將兩通道 的特征圖相加 在整個(gè)殘差模塊中重復(fù) 2 次 最終構(gòu)成 了完整的多尺度特征提取殘差模塊 3 改進(jìn)特征圖降維方式 ResNet18 將殘差模塊之間的特征圖降維卷積層放到 殘差模塊里面 使得每個(gè)殘差模塊直接相連 本網(wǎng)絡(luò)將 殘差模塊中的特征圖降維卷積層剝離出來 放置于 2 個(gè) 殘差模塊之間 這樣既可以使網(wǎng)絡(luò)學(xué)習(xí)層間誤差又可以 學(xué)習(xí)網(wǎng)絡(luò)層的輸出特征 并且在一定程度上簡化了網(wǎng)絡(luò) 的復(fù)雜程度 第 20 期 王春山等 改進(jìn) Multi scale ResNet 的蔬菜葉部病害識別 211 注 Conv1 1 和 Conv1 2 代表卷積核為 7 7 的卷積層分解之后的卷積層 1 1 和卷積層 1 2 Conv2 Conv3 和 Conv4 分別代表卷積層 2 卷積層 3 和卷積層 4 殘差塊中 Conv1 1 1 Conv1 1 2 和 Conv2 1 1 Conv2 1 2 分別代表卷積核 7 7 分解之后的卷積層 1 1 1 卷積層 1 1 2 和卷積層 2 1 1 卷積層 2 1 2 殘差塊中 Conv1 2 1 Conv1 2 2 和 Conv2 2 1 Conv2 2 2 分別代表卷積核 5 5 分解之后的卷積層 1 2 1 卷積層 1 2 2 和卷積層 2 2 1 卷積層 2 2 2 殘差塊中 Conv1 12 Conv2 12 Conv1 22 和 Conv2 22 代表卷積核為 3 3 的卷積層 1 12 卷積層 2 12 卷積層 1 12 和卷積層 2 22 代表特征圖相加 Note Conv1 1 and Conv1 2 represents convolution layer 1 1 and convolution layer 1 2 after 7 7 convolution kernel decomposition Conv2 Conv3 and Conv4 represents convolution layer 2 convolution layer 3 and convolution layer 4 respectively Conv1 1 1 Conv1 1 2 and Conv2 1 1 Conv2 1 2 in residual block represents convolution layer 1 1 1 convolution layer 1 1 2 and convolution layer 2 1 1 convolution layer 2 1 2 after 7 7 convolution kernel decomposition respectively Conv1 2 1 Conv1 2 2 and Conv2 2 1 Conv2 2 2 in residual block represents convolution layer 1 2 1 convolution layer 1 2 2 and convolution layer 2 2 1 convolution layer 2 2 2 after 5 5 convolution kernel decomposition respectively Conv1 12 Conv2 12 Conv1 22 and Conv2 22 in residual block represents convolution layer 1 12 convolution layer 2 12 convolution layer 1 12 and convolution layer 2 22 with 3 3 convolution kernel respectively represents feature map addition 圖 2 Multi scale ResNet 網(wǎng)絡(luò)結(jié)構(gòu) Fig 2 Structure of the Multi scale ResNet network 4 進(jìn)行大卷積核分解 在 2 2 2 小節(jié)中使用 7 7 和 5 5 的卷積核獲取多尺度特 征的同時(shí)也導(dǎo)致了網(wǎng)絡(luò)的訓(xùn)練參數(shù)大大增加 為了在不改 變網(wǎng)絡(luò)卷積核感受野的前提下 壓縮模型的參數(shù)量 進(jìn)行 了大卷積分解 Inception 網(wǎng)絡(luò)結(jié)構(gòu)采用了 2 種方法進(jìn)行卷 積核分解 第一種方法是使用 3 個(gè) 3 3 卷積核代替 1 個(gè) 7 7 卷積核 使用 2 個(gè) 3 3 卷積核代替 1 個(gè) 5 5 卷積核 第二 種方法是使用 7 1 卷積核加上 1 7 卷積核代替 7 7 卷積核 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2020 年 212 使用 5 1 卷積核加上 1 5 卷積核代替 5 5 卷積核 這 2 種 方法都能保證分解后的卷積核感受野不發(fā)生變化 理論分 析第二種方法的訓(xùn)練參數(shù)縮減效果比第一種更明顯 本研 究借鑒了 Inception 網(wǎng)絡(luò)第二種方法進(jìn)行大卷積核的分解 5 進(jìn)行群卷積 在殘差塊結(jié)構(gòu)中的 3 3 卷積核的卷積層采用群卷積 操作 群卷積可以顯著的壓縮模型訓(xùn)練參數(shù) 使訓(xùn)練參 數(shù)縮減為原始訓(xùn)練的 1 g g 為組數(shù) 并且由于特征被 分為多個(gè)組 在向后傳遞特征時(shí)前一層的特征將被分到 后一層的多個(gè)特征圖 增加了特征的使用率 2 3 評價(jià)指標(biāo) 評價(jià)一個(gè)病害識別模型的性能有多種評價(jià)指標(biāo) 使 用不同的評價(jià)指標(biāo)可以從不同角度對模型識別效果進(jìn)行 評價(jià) 本研究使用以下 4 種評價(jià)方式對網(wǎng)絡(luò)模型的性能 進(jìn)行評價(jià) 2 3 1 平均識別準(zhǔn)確率 平均識別準(zhǔn)確率 P 指模型中預(yù)測正確的樣本 與全部觀測值的比值 如式 1 所示 1 TP TP FP N i i ii P 1 式中 TP i FP i 分別表示測試集中第 i 類病害樣本預(yù)測正確 的和預(yù)測錯(cuò)誤的樣本數(shù) N 表示病害種類數(shù) 平均識別準(zhǔn) 確率可以衡量模型對于整個(gè)蔬菜病害數(shù)據(jù)集 15 種病害的 識別精度 便于從宏觀角度對比不同模型的識別性能 2 3 2 最高識別準(zhǔn)確率 模型的最高識別準(zhǔn)確率 與平均識別準(zhǔn)確率不同 之處在于其可以衡量一個(gè)模型的最佳性能 以便保存模 型達(dá)到最佳性能時(shí)的模型參數(shù) 2 3 3 模型訓(xùn)練時(shí)間 模型訓(xùn)練時(shí)間是衡量一個(gè)模型性能的重要參數(shù) 模 型訓(xùn)練時(shí)間少有助于進(jìn)行參數(shù)學(xué)習(xí) 即使在沒有圖形處 理器 Graphics Processing Unit GPU 的情況下也應(yīng)能 夠快速訓(xùn)練 有利于模型參數(shù)的更新 2 3 4 模型尺寸 隨著不同網(wǎng)絡(luò)模型精度的不斷提高 在提高識別精 度的同時(shí)考慮模型的部署和運(yùn)行所需的硬件資源 過于 復(fù)雜的網(wǎng)絡(luò)模型占用大量的存儲(chǔ)和運(yùn)算資源 限制了它 們在硬件資源受限場景下的部署和運(yùn)行 所以模型的尺 寸大小也是需要考慮的關(guān)鍵因素之一 3 試驗(yàn)設(shè)計(jì) 本試驗(yàn)與對照組均在 Ubuntu18 04 環(huán)境下進(jìn)行 處理器為 Intel core i9 9820X 內(nèi)存為 64G 顯卡為 GeForce RTX 2080Ti 11G DDR6 采用深度學(xué)習(xí)框架 Pytorch 配 合 Cuda10 1 進(jìn)行訓(xùn)練 試驗(yàn)設(shè)計(jì)和對照過 程中網(wǎng)絡(luò)批處理大小 batch size 設(shè)置為 32 樣本輸 入尺寸均采用 224 224 所有網(wǎng)絡(luò)模型均迭代次數(shù)為 50 輪 3 1 Multi scale ResNet 不同設(shè)計(jì)方案比較 本研究從卷積核大小 通道數(shù)量 殘差層連接方式 及殘差塊數(shù)量 卷積分組等角度對 Multi scale ResNet 進(jìn) 行了組合設(shè)計(jì) 設(shè)計(jì)方案如表 1 所示 不同方案性能參 數(shù)對比如表 2 所示 可得出如下結(jié)論 1 通道設(shè)計(jì)方面 比較方案 1 和方案 2 可知 在相同的卷積核大小和 殘差層連接方式情況下 雙通道比單通道得到的最高準(zhǔn) 確率高 在方案 6 中使用了三通道 雖然準(zhǔn)確率和收斂 時(shí)間均比方案 1 和方案 2 效果好 但經(jīng)過驗(yàn)證是兩層連 接設(shè)計(jì)起到了決定性作用 2 卷積核設(shè)計(jì)方面 在方案 1 和方案 3 中采用了相同的通道設(shè)計(jì)和殘差 層連接設(shè)計(jì) 卷積核分別使用了大卷積核和小卷積核 最終大卷積核的最高準(zhǔn)確率比小卷積核的最高準(zhǔn)確率 高 并且方案 3 達(dá)到最高準(zhǔn)確率的時(shí)間也比方案 1 快 但是方案 3 采用大卷積核并沒有使用卷積核分解和群卷 積操作 所以增加了模型的訓(xùn)練參數(shù) 3 殘差層連接設(shè)計(jì)方面 在方案 4 和方案 5 中均采用相同的卷積核大小和通 道設(shè)計(jì) 方案 5 中采用 2 個(gè)殘差塊就可以達(dá)到方案 4 中 4 個(gè)殘差塊的準(zhǔn)確率 從而說明采用兩層通道連接可以在 精簡網(wǎng)絡(luò)參數(shù)的前提下提高模型的準(zhǔn)確率 表 1 Multi scale ResNet 設(shè)計(jì)方案 Table 1 Design schemes of the Multi scale ResNet 方案 編號 卷積核設(shè)計(jì) Design of convolution kernel 通道設(shè)計(jì) Design of channel 殘差層連接設(shè)計(jì) Design of residual layer connection 分組設(shè)計(jì) Design of groups 殘差塊設(shè)計(jì) Design of residual blocks No of project 大卷積核 Large kernel size 小卷積核 Small kernel size 單通道 Single channel 雙通道 Dual channels 三通道 Three channels 一層連接 One layer connection 兩層連接 Two layers connection 應(yīng)用 Applied 不應(yīng)用 Not applied 2 塊 Two blocks 4 塊 Four blocks 1 2 3 4 5 6 7 第 20 期 王春山等 改進(jìn) Multi scale ResNet 的蔬菜葉部病害識別 213 表 2 Multi scale ResNet 設(shè)計(jì)方案性能對比結(jié)果 Table 2 Performance comparison results of design schemes of the Multi scale ResNet 驗(yàn)證集最高準(zhǔn)確率 Highest recognition accuracy of the validation set 訓(xùn)練集最高準(zhǔn)確率訓(xùn)練用時(shí) Training time of the training set s highest recognition accuracy s 方案編號 No of project 模型訓(xùn)練參數(shù) Model training parameters 模型整體大小 Overall model size MB 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 1 1 278 319 54 84 95 86 92 89 2 326 1 492 2 2 305 391 75 12 96 73 93 01 1 471 621 3 6 193 519 73 59 97 27 93 89 1 804 934 4 1 114 479 100 09 97 09 93 39 1 700 964 5 1 114 479 70 12 97 04 92 76 1 634 1 228 6 3 332 463 95 40 97 04 93 26 1 779 752 7 753 897 68 75 95 71 92 51 1 305 1 177 4 分組設(shè)計(jì)方面 前 6 種方案中均采用了不分組方法 方案 7 采用分 組方案設(shè)計(jì) 從模型訓(xùn)練參數(shù)來看 采用分組方法可以 顯著的降低模型的復(fù)雜程度 但是模型準(zhǔn)確率隨之下降 了大約 1 5 5 殘差塊數(shù)量設(shè)計(jì)方面 為了進(jìn)一步降低模型的復(fù)雜程度 方案 4 和方案 7 將殘差塊數(shù)量由 4 塊降低到 2 塊 在總體上維持原有準(zhǔn) 確率的同時(shí)顯著的壓縮了模型的總體大小 3 2 與對照組比較 本研究采用的對照組網(wǎng)絡(luò)分別為 ResNet18 ResNet50 AlexNet VGG16 和 SqueezeNet 其中對照 組模型最終分類層均為 15 類 由表 3 可知本研究提出 Multi scale ResNet 的模型整體大小比對照組的幾種網(wǎng) 絡(luò)都小 在數(shù)據(jù)集 1 中訓(xùn)練集上識別準(zhǔn)確率基本與 VGG16 持平 僅比 ResNet18 減少 2 左右 在數(shù)據(jù)集 2 中訓(xùn)練集上的識別準(zhǔn)確率僅比 ResNet18 減少 1 5 但是本模型尺寸比 ResNet18 尺寸縮小 35 21 模型訓(xùn) 練參數(shù)比 ResNet18 減少 93 左右 顯著的精簡了模型 尺寸 剩余幾種對照組網(wǎng)絡(luò)在模型大小和模型準(zhǔn)確率 方面都不及本網(wǎng)絡(luò) 并且 2 個(gè)數(shù)據(jù)集上 Multi scale ResNet 訓(xùn)練達(dá)到最高識別準(zhǔn)確率所用時(shí)間僅比 SqueezeNet 慢 由圖 3 可知 Multi scale ResNet 的準(zhǔn) 確率和參數(shù)量之間的差值 準(zhǔn)確率與模型所占內(nèi)存之 間的差值在對照組中均為最大 由圖 4 可知本網(wǎng)絡(luò)在 數(shù)據(jù)集 1 中訓(xùn)練集上損失值下降的過程十分平滑 在 數(shù)據(jù)集 2 中訓(xùn)練集和驗(yàn)證集上損失值下降和準(zhǔn)確率上 升過程都較為平滑 沒有出現(xiàn)大范圍損失值震蕩的現(xiàn) 象 因此 Multi scale ResNet 在兼顧了模型準(zhǔn)確率的同 時(shí)實(shí)現(xiàn)了模型的精簡和壓縮 為模型在硬件受限的場 景下部署奠定了基礎(chǔ) 圖 3 模型參數(shù)量 大小和準(zhǔn)確率對比 Fig 3 Comparison of models parameter quantity size and accuracy 表 3 對照組模型對比 Table 3 Comparison of control group models 訓(xùn)練集最高準(zhǔn)確率訓(xùn)練用時(shí) Training time of the training set s highest recognition accuracy s 模型 Models 模型訓(xùn)練參數(shù) Model training parameters 模型整體大小 Overall model size MB 數(shù)據(jù)集 1 中驗(yàn)證集最高 準(zhǔn)確率 Highest recognition accuracy of the validation set in dataset 1 數(shù)據(jù)集 2 中測試集平均 準(zhǔn)確率 Average recognition accuracy of the test set in dataset 2 數(shù)據(jù)集 1 Dataset 1 數(shù)據(jù)集 2 Dataset 2 ResNet18 11 184 207 106 02 97 65 96 77 2 427 1 416 ResNet50 23 538 767 376 92 97 01 93 55 6 896 1 818 AlexNet 57 065 295 226 63 94 48 89 33 2 407 1 306 VGG16 134 321 999 731 75 95 94 83 87 6 964 1 433 SqueezeNet 743 119 92 66 85 92 82 13 1 261 1 128 Multi scale ResNet 755 055 68 75 95 71 93 05 1 305 1 177 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2020 年 214 a 對照組模型在數(shù)據(jù)集 1 中訓(xùn)練集上的最高識別 準(zhǔn)確率 a Highest recognition accuracy of the control group on the training set in dataset 1 b 對照組模型在數(shù)據(jù)集 1 中訓(xùn)練集上的損失值 b Loss values of control group on the training set in dataset 1 c 對照組模型在數(shù)據(jù)集 2 中訓(xùn)練集上的最高識別 準(zhǔn)確率 c Highest recognition accuracy of the control group on the training set in dataset 2 d 對照組模型在數(shù)據(jù)集 2 中訓(xùn)練集上的損失值 d Loss values of control group on the training set in dataset 2 e 對照組模型在數(shù)據(jù)集 2 中驗(yàn)證集上的最高識別 準(zhǔn)確率 e Highest recognition accuracy of the control group on the validation set in dataset 2 f 對照組模型在數(shù)據(jù)集 2 中驗(yàn)證集上的損失值 f Loss values of control group on the validation set in dataset 2 圖 4 Multi scale ResNet 與對照組模型在數(shù)據(jù)集 1 和數(shù)據(jù)集 2 中最高識別準(zhǔn)確率和損失值對比 Fig 4 Comparison of highest recognition accuracy and loss values between Multi scale ResNet and control group in dataset 1 and dataset 2 4 結(jié)果與分析 將 Multi scale ResNet 模型分別應(yīng)用到數(shù)據(jù)集 1 和數(shù) 據(jù)集 2 中的測試集上 得出混淆矩陣 A 圖 5 和混淆矩 陣 B 圖 6 其中 混淆矩陣 A 包含了簡單背景下數(shù) 據(jù)集 1 中測試集中預(yù)測正確和錯(cuò)誤的樣本圖像數(shù) 混 淆矩陣 B 包含了復(fù)雜背景下數(shù)據(jù)集 2 中測試集中預(yù)測 正確和錯(cuò)誤的樣本圖像數(shù) 在混淆矩陣中 主對角線 數(shù)字為預(yù)測正確樣本圖像數(shù)量 其他位置的數(shù)字為預(yù) 測錯(cuò)誤樣本圖像數(shù)量 由圖 5 可知 混淆矩陣 A 中顯示了數(shù)據(jù)集 1 中測試 集上每一類病害的識別準(zhǔn)確率和每種類別被錯(cuò)分的情 況 其中可以發(fā)現(xiàn)種類 8 番茄晚疫病 和種類 12 番 茄輪斑病 的識別錯(cuò)誤率較高 結(jié)合混淆矩陣可以發(fā)現(xiàn) 錯(cuò)分種類分別為 4 5 6 7 8 10 11 從總體來看 其他種類被分為種類 8 和種類 12 的情況頻繁發(fā)生 分析 原始數(shù)據(jù)集發(fā)現(xiàn)被錯(cuò)分的病害種類中 類間差異小 類 內(nèi)差異大是病害被錯(cuò)分的最主要原因 如圖 7a 圖 7c 所 示為種類 8 番茄晚疫病的部分樣本圖像 在發(fā)病早期病 葉并沒有什么明顯的變化 在發(fā)病中期和發(fā)病晚期與發(fā) 病早期有明顯不同 發(fā)病中期出現(xiàn)病斑 到發(fā)病晚期病 葉大范圍枯萎 并且出現(xiàn)變色現(xiàn)象 如圖 7d 圖 7f 所示 為種類 11 番茄二斑葉螨病 和種類 6 番茄早疫病 中被預(yù)測為種類 12 番茄輪斑病 的病害圖像 可以發(fā)現(xiàn) 注 0 為土豆健康 1 為土豆早疫病 2 為土豆晚疫病 3 為辣椒健康 4 為 辣椒瘡痂病 5 為番茄細(xì)菌性斑點(diǎn)病 6 為番茄早疫病 7 為番茄健康 8 為番茄晚疫病 9 為番茄葉霉病 10 為番茄斑枯病 11 為番茄二斑葉螨病 12 為番茄輪斑病 13 為番茄病毒病 14 為番茄黃曲病 主對角線數(shù)字為預(yù) 測正確圖像數(shù)量 其他數(shù)字為預(yù)測錯(cuò)誤圖像數(shù)量 Note 0 is potato healthy 1 is potato early blight 2 is potato late blight 3 is pepper healthy 4 is pepper scab 5 is tomato bacterial spot 6 is tomato early blight 7 is tomato healthy 8 is tomato late blight 9 is tomato leaf mold 10 is tomato septoria leaf spot 11 is tomato two spotted spider mite 12 is tomato target spot 13 is tomato virus 14 is tomato yellow leaf curl virus Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 圖 5 數(shù)據(jù)集 1 中測試集的混淆矩陣 A Fig 5 Confusion matrix A of the test set in dataset 1 第 20 期 王春山等 改進(jìn) Multi scale ResNet 的蔬菜葉部病害識別 215 3 種病害癥狀表現(xiàn)十分相似 人工也很難辨別 但 15 種 病害的平均識別準(zhǔn)確率為 95 95 在不引入遷移學(xué)習(xí)的 前提下基本滿足蔬菜葉部病害檢測要求 注 0 為番茄健康 1 為番茄白粉病 2 為番茄早疫病 3 為黃瓜健康 4 為 黃瓜白粉病 5 為黃瓜病毒病 6 為黃瓜霜霉病 主對角線數(shù)字為預(yù)測正確 圖像數(shù)量 其他數(shù)字為預(yù)測錯(cuò)誤圖像數(shù)量 Note 0 is tomato health 1 is tomato powdery mildew 2 is tomato early blight 3 is cucumber health 4 is cucumber powdery mildew 5 is cucumber virus disease 6 is cucumber downy mildew Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 圖 6 數(shù)據(jù)集 1 中測試集的混淆矩陣 B Fig 6 Confusion matrix B of the test set in dataset 2 相同病害類別不同癥狀 Different symptoms in the same disease category a 晚疫病早期 b 晚疫病中期 c 晚疫病晚期 a Early stage of late blight b Middle stage of late blight c Late stage of late blight 相同癥狀不同病害類別 Different disease category with the same symptoms d 二斑葉螨病 e 輪斑病 f 早疫病 d Two spotted spider mite e Target spot f Early blight 圖 7 簡單背景下數(shù)據(jù)集 1 中測試集被錯(cuò)分的典型番茄病害 Fig 7 Typical diseases of tomato misclassified of the test set in dataset 1 under simple background 由圖 6 可知 混淆矩陣 B 中顯示了數(shù)據(jù)集 2 中測試 集上每一類病害的識別準(zhǔn)確率和每種類別被錯(cuò)分的情 況 其中可以發(fā)現(xiàn)種類 1 番茄白粉病 的識別準(zhǔn)確率最 低 并且被錯(cuò)分的圖像中大部分被錯(cuò)分為種類 2 番茄早 疫病 經(jīng)過分析發(fā)現(xiàn)種類 1 和種類 2 在數(shù)據(jù)整體分布 上呈現(xiàn)相似性 即類間差異小 如圖 8 所示 2 種類別的 葉片均錯(cuò)綜復(fù)雜的鋪滿整張圖像 最終數(shù)據(jù)集 2 中測試 集的平均識別準(zhǔn)確率為 93 05 較簡單背景的數(shù)據(jù)集 1 中測試集的準(zhǔn)確率有所下降 本研究使用 2 種數(shù)據(jù)集訓(xùn)練得到的模型互相測試 發(fā)現(xiàn)使用復(fù)雜背景圖像訓(xùn)練測試簡單背景圖像得到的識 別準(zhǔn)確率會(huì)比使用簡單背景圖像訓(xùn)練測試復(fù)雜背景圖像 得到的識別準(zhǔn)確率高 但是兩者得到的識別準(zhǔn)確率均在 30 以下 在模型應(yīng)用到實(shí)際生產(chǎn)中時(shí)應(yīng)該盡可能的使模 型的訓(xùn)練集和測試集服從獨(dú)立同分布 使得模型能夠發(fā) 揮最大的功效 a 早疫病 b 白粉病 a