2021 年3 月 第3 卷 第1 期 Mar 2021 Vol 3 No 1 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 面 向 植 物 病 害 識 別 的 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 結(jié) 構(gòu) D i s t i l l e d M o b i l e N e t 模 型 邱 文 杰 1 葉 進 1 胡 亮 青 1 楊 娟 2 李 其 利 3 莫 賤 友 3 易 萬 茂 1 1 廣 西 大 學(xué) 計 算 機 與 電 子 信 息 學(xué) 院 廣 西 南 寧 5 3 0 0 0 4 2 廣 西 大 學(xué) 農(nóng) 學(xué) 院 廣 西 南 寧 5 3 0 0 0 4 3 廣 西 壯 族 自 治 區(qū) 農(nóng) 業(yè) 科 學(xué) 院 植 物 保 護 研 究 所 廣 西 南 寧 5 3 0 0 0 7 摘 要 卷 積 神 經(jīng) 網(wǎng) 絡(luò) C N N 的 發(fā) 展 帶 來 了 大 量 的 網(wǎng) 絡(luò) 參 數(shù) 和 龐 大 的 模 型 體 積 極 大 地 限 制 了 其 在 小 規(guī) 模 計 算 資 源 設(shè) 備 上 的 應(yīng) 用 為 將 C N N 應(yīng) 用 在 各 種 小 型 設(shè) 備 上 研 究 了 一 種 基 于 知 識 蒸 餾 的 結(jié) 構(gòu) 化 模 型 壓 縮 方 法 該 方 法 首 先 利 用 V G G 1 6 訓(xùn) 練 了 一 個 識 別 率 較 高 的 教 師 模 型 再 將 該 模 型 中 的 知 識 通 過 蒸 餾 的 方 法 遷 移 到 M o b i l e N e t 從 而 大 幅 減 少 了 模 型 的 參 數(shù) 量 將 知 識 蒸 餾 后 的 D i s t i l l e d M o b i l e N e t 模 型 應(yīng) 用 在 1 4 種 作 物 的 3 8 種 常 見 病 害 分 類 中 進 行 了 知 識 蒸 餾 在 V G G 1 6 A l e x N e t G o o g l e N e t 和 R e s N e t 4 種 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 上 的 表 現(xiàn) 測 試 結(jié) 果 表 明 當(dāng) V G G 1 6 作 為 教 師 模 型 時 模 型 準(zhǔn) 確 率 提 升 了 9 7 5 4 使 用 單 個 病 害 識 別 率 平 均 準(zhǔn) 確 率 模 型 內(nèi) 存 平 均 識 別 時 間 4 個 指 標(biāo) 對 訓(xùn) 練 好 的 D i s t i l l e d M o b i l e N e t 模 型 進 行 真 實 環(huán) 境 下 準(zhǔn) 確 性 評 估 經(jīng) 測 試 模 型 的 平 均 準(zhǔn) 確 率 達 到 了 9 7 6 2 平 均 識 別 時 間 縮 短 至 0 2 1 8 s 僅 占 V G G 1 6 模 型 的 1 3 2 0 模 型 大 小 壓 縮 僅 為 1 9 8 3 M B 相 比 于 V G G 1 6 縮 小 了 9 3 6 0 使 其 具 備 了 較 高 的 準(zhǔn) 確 性 和 實 時 性 要 求 本 方 法 模 型 在 壓 縮 內(nèi) 存 體 積 和 縮 短 識 別 時 間 上 較 傳 統(tǒng) 神 經(jīng) 網(wǎng) 絡(luò) 有 了 明 顯 提 高 為 內(nèi) 存 和 計 算 資 源 受 限 設(shè) 備 上 的 病 害 識 別 提 供 了 新 的 思 路 關(guān) 鍵 詞 病 害 識 別 深 度 學(xué) 習(xí) 模 型 壓 縮 知 識 蒸 餾 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 中 圖 分 類 號 T P 3 0 文 獻 標(biāo) 志 碼 A 文 章 編 號 2 0 2 0 0 9 S A 0 0 4 引 用 格 式 邱 文 杰 葉 進 胡 亮 青 楊 娟 李 其 利 莫 賤 友 易 萬 茂 面 向 植 物 病 害 識 別 的 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 結(jié) 構(gòu) Distilled MobileNet 模 型 J 智 慧 農(nóng) 業(yè) 中 英 文 2021 3 1 109 117 QIU Wenjie YE Jin HU Liangqing YANG Juan LI Qili MO Jianyou YI Wanmao Distilled mobilenet model of convolutional neural network simplified structure for plant disease recognition J Smart Agriculture 2021 3 1 109 117 inChinesewithEnglishabstract 1 引 言 卷 積 神 經(jīng) 網(wǎng) 絡(luò) Convolutional Neural Net works CNN 由 于 具 有 自 動 提 取 特 征 和 無 壓 力 處 理 高 維 數(shù) 據(jù) 等 優(yōu) 勢 已 經(jīng) 在 各 個 領(lǐng) 域 都 有 了 非 常 廣 泛 的 應(yīng) 用 在 農(nóng) 業(yè) 病 蟲 害 識 別 方 面 的 應(yīng) 用 已 經(jīng) 成 為 了 熱 門 的 研 究 方 向 1 例 如 Karleka 和 Seal 2 提 出 了 一 種 識 別 大 豆 病 害 的 方 法 將 大 豆 的 葉 片 從 復(fù) 雜 的 背 景 中 分 割 出 后 通 過 設(shè) 計 CNN 模 型SoyNet 進 行 分 類 Tetila 等 3 對 模 型 中 doi 10 12133 j smartag 2021 3 1 202009 SA004 收 稿 日 期 2020 09 29 修 訂 日 期 2020 12 03 基 金 項 目 國 家 重 點 研 發(fā) 計 劃 2017YFD0202106 3 廣 西 創(chuàng) 新 驅(qū) 動 發(fā) 展 專 項 項 目 桂 科AA17204059 9 地 方 綜 合 性 研 究 型 大 學(xué) 五 有 領(lǐng) 軍 型 人 才 培 養(yǎng) 研 究 與 實 踐 2018JGZ103 2020 年 教 育 部 新 農(nóng) 科 研 究 與 改 革 實 踐 項 目 作 者 簡 介 邱 文 杰 1997 男 碩 士 研 究 方 向 為 計 算 機 視 覺 與 農(nóng) 業(yè) 病 蟲 害 識 別 E mail qiuwenjie1997 通訊作者 葉 進 1970 女 博士 教授 研究方向為計算機軟件與系統(tǒng)開發(fā) 電話 13877192800 E mail yejin Vol 3 No 1 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 的 網(wǎng) 絡(luò) 權(quán) 重 進 行 分 析 并 使 用 簡 單 線 性 迭 代 聚 類 Simple Linear Iterative Clustering SLIC 方 法 對 圖 片 分 割 出 大 豆 葉 片 進 行 了 識 別 準(zhǔn) 確 率 高 達 99 04 Adeel 等 4 提 出 了 一 種 新 的 識 別 框 架 對 葡 萄 病 害 進 行 早 期 檢 測 通 過 提 取AlexNet 和 ResNet101 經(jīng) 過 遷 移 學(xué) 習(xí) 后 的 特 征 使 用YEaK 技 術(shù) 選 擇 出 最 好 的 特 征 之 后 使 用 并 行 方 法 融 合 這 些 強 特 征 最 后 輸 入 最 小 二 乘 支 持 向 量 機 LeastSquared SupportVectorMachine LSSVM 中 進 行 分 類 對 從PlantVillage 數(shù) 據(jù) 集 得 到 的 受 感 染 葡 萄 葉 片 進 行 模 擬 獲 得 了99 的 準(zhǔn) 確 率 Zhang 等 5 使 用 基 于 深 度 學(xué) 習(xí) 的 改 進 的Google LeNet 和Cifar 10 模 型 用 于 玉 米 葉 片 病 害 的 識 別 平 均 識 別 準(zhǔn) 確 率 為98 9 陳 桂 芬 等 6 使 用 遷 移 學(xué) 習(xí) 的 方 法 在 預(yù) 訓(xùn) 練 模 型 的 基 礎(chǔ) 上 訓(xùn) 練 了 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 識 別 準(zhǔn) 確 率 達 到 了96 6 吳 華 瑞 7 使 用 深 度 殘 差 網(wǎng) 絡(luò) 模 型 對 番 茄 四 種 常 見 病 害 進 行 了 識 別 準(zhǔn) 確 率 達 到95 以 上 上 述 病 害 識 別 方 法 的 準(zhǔn) 確 率 均 達 到 了90 以 上 由 此 可 見 CNN 已 經(jīng) 在 農(nóng) 業(yè) 病 蟲 害 識 別 領(lǐng) 域 有 了 廣 泛 的 應(yīng) 用 并 取 得 了 不 錯 的 效 果 然 而 CNN 經(jīng) 過 多 年 的 發(fā) 展 網(wǎng) 絡(luò) 結(jié) 構(gòu) 越 來 越 復(fù) 雜 網(wǎng) 絡(luò) 參 數(shù) 不 計 其 數(shù) 需 要 耗 費 大 量 的 存 儲 資 源 跟 計 算 資 源 經(jīng) 典 的VGG 16 圖 像 分 類 網(wǎng) 絡(luò) 包 含1 38 億 個 參 數(shù) 而 最 新 的ResNet 200 仍 然 包 含 超 過6000 萬 個 參 數(shù) 網(wǎng) 絡(luò) 越 復(fù) 雜 消 耗 的 磁 盤 空 間 和 內(nèi) 存 就 越 大 并 且 識 別 速 度 就 越 慢 研 究 表 明 在 計 算 資 源 受 限 的ARM 平 臺 上 單 張 圖 片 的 識 別 時 間 達 到13 2 s 以 上 8 遠(yuǎn) 遠(yuǎn) 不 能 滿 足 用 戶 對 于 實 時 性 的 要 求 即 使 將 模 型 部 署 在 云 服 務(wù) 器 也 無 法 從 本 質(zhì) 上 解 決 復(fù) 雜 神 經(jīng) 網(wǎng) 絡(luò) 模 型 內(nèi) 存 占 用 大 識 別 時 間 長 的 問 題 且 部 署 在 服 務(wù) 器 上 的 模 型 識 別 時 間 易 受 到 網(wǎng) 絡(luò) 環(huán) 境 波 動 的 影 響 無 法 在 網(wǎng) 絡(luò) 受 限 的 環(huán) 境 中 使 用 因 此 如 何 對 復(fù) 雜 的 神 經(jīng) 網(wǎng) 絡(luò) 模 型 進 行 壓 縮 使 其 滿 足 在 終 端 設(shè) 備 使 用 時 的 實 時 性 要 求 和 更 低 的 內(nèi) 存 占 用 限 制 是 目 前 神 經(jīng) 網(wǎng) 絡(luò) 亟 待 解 決 的 問 題 針 對 上 述 情 況 近 年 來 有 學(xué) 者 提 出 了 不 同 的 模 型 精 簡 方 法 Han 等 9 提 出 了ClipDL 模 型 通 過 同 時 減 少 模 型 參 數(shù) 的 數(shù) 量 以 及 減 少 僅 對 關(guān) 鍵 數(shù) 據(jù) 的 計 算 來 加 速 深 度 學(xué) 習(xí) 系 統(tǒng) 運 行 將 模 型 訓(xùn) 練 過 程 平 均 加 速 了2 32 倍 模 型 大 小 基 本 保 持 不 變 而 準(zhǔn) 確 性 損 失 僅 為1 86 Rahman 等 10 針 對 移 動 設(shè) 備 提 出 了 一 種 具 有 兩 個 階 段 的 小 型 CNN 模 型 該 模 型 在 準(zhǔn) 確 率 上 達 到 了 期 望 準(zhǔn) 確 率 的 93 3 并 且 具 有 更 小 的 結(jié) 構(gòu) 規(guī) 模 跟 VGG16 對 比 其 結(jié) 構(gòu) 規(guī) 模 減 少 了 99 Shih 等 11 提 出 了 具 有 擴 張 卷 積 和 多 尺 度 特 征 串 聯(lián) 的 簡 化 區(qū) 域 提 議 網(wǎng) 絡(luò) Reduced Region Proposal Network RRPN 模 型 的 檢 測 準(zhǔn) 確 率 相 比ZF Net 提 高 了2 2 60 2 相 對 壓 縮 了ZF Net 網(wǎng) 絡(luò) 的81 3 的 規(guī) 模 大 小 Hc 等 12 提 出 了 一 種 稱 為 塊 更 改 學(xué) 習(xí) Block Change Learning BCL 的 方 法 該 方 法 通 過 更 改 由 層 組 成 的 塊 來 執(zhí) 行 局 部 和 全 局 知 識 提 煉 在 專 門 針 對 特 征 提 取 任 務(wù) 當(dāng) 中 BCL 僅 表 現(xiàn) 出 約5 的 性 能 下 降 而 其 他 方 法 的 模 型 性 能 下 降 約 為17 Wu 等 13 提 出 了 用 于 壓 縮 視 頻 動 作 識 別 的 框 架 來 對 模 型 進 行 壓 縮 壓 縮 后 的 模 型 準(zhǔn) 確 率 下 降 了0 35 但 參 數(shù) 量 上 的 壓 縮 率 達 到 2 4 倍 計 算 量 減 少 1 2 倍 目 前 上 述 模 型 壓 縮 方 法 存 在 壓 縮 率 不 高 和 壓 縮 后 模 型 精 度 下 降 的 問 題 因 此 本 研 究 結(jié) 合 PlantVillage 14 植 物 病 害 數(shù) 據(jù) 集 提 出 了 一 種 基 于 知 識 蒸 餾 15 的 輕 量 級 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 方 法 在 廣 西 壯 族 自 治 區(qū) 農(nóng) 業(yè) 科 學(xué) 院 提 供 的 含 有 復(fù) 雜 背 景 的 數(shù) 據(jù) 集 上 做 了 真 實 環(huán) 境 下 的 模 型 性 能 測 試 結(jié) 果 表 明 該 方 法 不 以 損 失 模 型 精 度 為 代 價 能 夠 大 幅 降 低 模 型 內(nèi) 存 的 要 求 本 方 法 具 有 通 用 性 無 論 是 將 模 型 部 署 在 云 服 務(wù) 器 還 是 本 地 設(shè) 備 中 都 可 以 在 少 量 的 教 師 機 內(nèi) 存 占 用 和 訓(xùn) 練 開 銷 降 低 的 同 時 降 低 模 型 參 數(shù) 量 提 高 模 型 精 度 2 數(shù) 據(jù) 樣 本 集 本 研 究 使 用 的 數(shù) 據(jù) 集 來 自PlantVillage 標(biāo) 準(zhǔn) 數(shù) 據(jù) 集 和 自 建 數(shù) 據(jù) 集 兩 個 部 分 1 1 0 邱 文 杰 等 面 向 植 物 病 害 識 別 的 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 結(jié) 構(gòu) D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 2 1 P l a n t V i l l a g e 數(shù) 據(jù) 集 PlantVillage 數(shù) 據(jù) 集 包 含 來 自 14 種 植 物 的 54 305 張 植 物 葉 片 圖 共38 種 常 見 病 害 葉 片 圖 像 均 為 實 驗 室 環(huán) 境 下 拍 攝 的 單 一 背 景 圖 像 每 類 的 圖 像 數(shù) 量 從152 張 到5507 張 不 等 將 數(shù) 據(jù) 集 按 照80 和20 的 比 例 劃 分 為 訓(xùn) 練 集 和 驗 證 集 數(shù) 據(jù) 集 中 部 分 病 害 的 為 害 狀 如 圖1 所 示 由 于 病 原 體 感 染 農(nóng) 作 物 的 方 式 相 似 不 同 的 農(nóng) 作 物 可 能 會 感 染 相 同 的 病 原 體 因 此 導(dǎo) 致 圖1 中 不 同 農(nóng) 作 物 會 患 有 同 種 疾 病 為 使 識 別 模 型 具 有 更 好 的 魯 棒 性 16 本 研 究 還 使 用 了 基 于 深 度 卷 積 生 成 對 抗 網(wǎng) 絡(luò) Deep Convolutional Generative Adversarial Networks DCGAN 的 數(shù) 據(jù) 增 強 方 法 17 模 擬 產(chǎn) 生 了5861 張 新 圖 像 參 與 建 模 部 分 樣 本 如 圖2 所 示 經(jīng) 過 感 知 哈 希 算 法 18 測 試 生 成 模 型 產(chǎn) 生 的 新 樣 本 和 真 實 樣 本 之 間 的 平 均 相 似 度 達 到 了98 75 以 上 表 明 產(chǎn) 生 的 圖 像 和 真 實 圖 片 相 類 似 能 夠 作 為 擴 充 樣 本 2 2 自 建 數(shù) 據(jù) 集 在 使 用PlantVillage 數(shù) 據(jù) 集 的 基 礎(chǔ) 上 本 研 究 還 使 用 了 一 個 自 建 數(shù) 據(jù) 集 其 中 包 括4835 張 芒 果 炭 疽 病 圖 片 和4810 張 芒 果 白 粉 病 圖 片 如 圖3 所 示 該 數(shù) 據(jù) 集 由 廣 西 壯 族 自 治 區(qū) 農(nóng) 業(yè) 科 學(xué) 研 究 院 植 保 所 提 供 圖 片 使 用 佳 能5DmarkIII 型 數(shù) 碼 相 機 拍 攝 像 素 為4475 3840 圖 片 中 病 斑 點 輪 廓 所 占 面 積 大 于 葉 片 面 積 的10 自 建 數(shù) 據(jù) 集 中 的 圖 片 均 為 真 實 環(huán) 境 下 拍 攝 的 具 有 復(fù) 雜 背 景 的 照 片 主 要 用 于 模 型 的 測 試 表1 給 出 了 本 研 究 所 用 數(shù) 據(jù) 集 的 詳 細(xì) 分 布 情 況 3 識 別 模 型 訓(xùn) 練 及 其 精 簡 結(jié) 構(gòu) 設(shè) 計 本 研 究 提 出 了 一 種 結(jié) 構(gòu) 化 的 病 害 識 別 方 法 及 輕 量 級 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 方 法 圖4 為 本 研 究 的 整 體 設(shè) 計 大 致 分 為 以 下 三 個 步 驟 注 1 蘋 果 黑 星 病 2 蘋 果 黑 腐 病 3 蘋 果 銹 病 4 蘋 果 健 康 葉 片 5 藍(lán) 莓 健 康 葉 片 6 櫻 桃 健 康 葉 片 7 櫻 桃 白 粉 病 8 玉 米 褐 斑 病 9 玉 米 銹 病 10 玉 米 健 康 葉 片 11 玉 米 大 斑 病 12 葡 萄 黑 腐 病 13 葡 萄 埃 斯 卡 真 菌 病 14 葡 萄 健 康 葉 片 15 萄 葉 枯 16 桔 子 黃 龍 病 17 桃 子 菌 斑 18 桃 子 健 康 葉 19 椒 鈴 菌 斑 20 椒 鈴 健 康 葉 片 21 馬 鈴 薯 早 疫 病 22 馬 鈴 薯 健 康 葉 片 23 馬 鈴 薯 晚 疫 病 24 覆 盆 子 健 康 葉 片 25 大 豆 健 康 葉 片 26 南 瓜 白 粉 病 27 草 莓 健 康 葉 片 28 草 莓 葉 焦 病 29 番 茄 菌 斑 病 30 番 茄 早 疫 病 31 番 茄 健 康 葉 片 32 番 茄 晚 疫 病 圖1 PlantVillage 數(shù) 據(jù) 集 部 分 展 示 Fig 1 PartofthesamplesofthePlantVillagedataset 圖2 深 度 卷 積 對 抗 生 成 網(wǎng) 絡(luò) 生 成 樣 本 Fig 2 Samplesofdeepconvolutionalgenerative adversarialnetwork a 芒 果 白 粉 病 b 芒 果 炭 疽 病 圖3 自 建 數(shù) 據(jù) 集 樣 本 Fig 3 Samplesofself builtdataset 表 1 試 驗 數(shù) 據(jù) 集 結(jié) 構(gòu) Table1 Experimentaldataset 試 驗 樣 本 PlantVillage 數(shù) 據(jù) 集 DCGAN 樣 本 擴 充 數(shù) 據(jù) 增 強 自 建 數(shù) 據(jù) 集 圖 片 數(shù) 量 張 54 305 5861 76 639 9645 1 1 1 Vol 3 No 1 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 1 采 用DCGAN 產(chǎn) 生 大 量 數(shù) 據(jù) 樣 本 實 現(xiàn) 數(shù) 據(jù) 擴 充 此 外 本 研 究 對 擴 充 后 的 數(shù) 據(jù) 使 用 了 幾 種 常 見 數(shù) 據(jù) 增 強 方 法 包 括 平 移 旋 轉(zhuǎn) 縮 放 剪 裁 和 翻 轉(zhuǎn) 等 從 而 提 高 了 模 型 的 平 移 縮 放 等 不 變 性 有 效 地 防 止 了 模 型 過 擬 合 2 為 了 加 快 模 型 在 訓(xùn) 練 過 程 中 的 收 斂 速 度 本 研 究 使 用 遷 移 學(xué) 習(xí) 19 的 方 法 將 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 在ImageNet 數(shù) 據(jù) 集 上 預(yù) 先 訓(xùn) 練 好 的 權(quán) 值 遷 移 到 對 應(yīng) 的 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 中 在 此 基 礎(chǔ) 上 訓(xùn) 練 不 同 神 經(jīng) 網(wǎng) 絡(luò) 模 型 3 在 訓(xùn) 練 好 的 模 型 上 使 用 知 識 蒸 餾 方 法 將 知 識 從 冗 余 的 集 成 模 型 轉(zhuǎn) 移 到 輕 量 級 模 型 中 并 保 留 復(fù) 雜 網(wǎng) 絡(luò) 的 性 能 從 而 訓(xùn) 練 得 到 精 簡 模 型 通 過 這 種 方 法 有 效 地 降 低 模 型 體 積 提 高 模 型 精 度 3 1 識 別 模 型 M o b i l e N e t 的 訓(xùn) 練 MobileNet 是 Google 提 出 的 輕 量 級 神 經(jīng) 網(wǎng) 絡(luò) 用 于 解 決 復(fù) 雜 模 型 在 移 動 端 和 嵌 入 式 終 端 上 無 法 使 用 的 問 題 20 相 比 于 其 他 神 經(jīng) 網(wǎng) 絡(luò) Mo bileNet 的 計 算 復(fù) 雜 度 和 模 型 內(nèi) 存 都 很 小 網(wǎng) 絡(luò) 參 數(shù) 總 量 為132 萬 內(nèi) 存 僅 占VGG16 的3 因 此 本 研 究 選 擇MobileNet 作 為 學(xué) 生 模 型 進 行 訓(xùn) 練 MobileNet 模 型 的 核 心 是 深 度 可 分 離 卷 積 Dep thwiseSeparableConvolution DSC 原 理 如 圖5 所 示 DSC 將 標(biāo) 準(zhǔn) 卷 積 分 解 成 深 度 卷 積 和 逐 點 卷 積 假 設(shè) 神 經(jīng) 網(wǎng) 絡(luò) 的 輸 入 圖 片 維 度 為D F D F M 深 度 卷 積 的 卷 積 核 大 小 為D K D K 1 個 數(shù) 為 M 逐 點 卷 積 的 卷 積 核 大 小 為1 1 M 個 數(shù) 為 N 經(jīng) 過 卷 積 后 輸 出 維 度 為D G D G N 則 深 度 可 分 離 卷 積 的 計 算 成 本 與 常 規(guī) 卷 積 操 作 的 比 值 如 公 式 1 所 示 DSC Std conv 1 N 1 D K 2 1 其 中 DSC 和Std conv 分 別 表 示 深 度 可 分 離 卷 積 和 常 規(guī) 卷 積 操 作 的 參 數(shù) 量 N 為 逐 點 卷 積 核 的 個 數(shù) 個 D K 為 深 度 卷 積 核 的 大 小 由 公 式 1 可 知 當(dāng) 卷 積 核 個 數(shù) 越 少 尺 寸 越 小 時 深 度 可 分 離 卷 積 相 對 于 常 規(guī) 卷 積 操 作 就 可 以 減 少 更 多 的 參 數(shù) 量 3 2 精 簡 模 型 D i s t i l l e d M o b i l e N e t 設(shè) 計 在 知 識 蒸 餾 的 學(xué) 習(xí) 過 程 中 學(xué) 生 模 型 是 通 過 模 仿 教 師 模 型 在 相 同 樣 本 下 的 輸 出 來 進 行 訓(xùn) 練 的 在 傳 統(tǒng)Softmax 分 類 器 中 給 定 任 何 輸 入 圖 片 x 模 型 生 成 一 個 向 量 S t x S t 1 x S t 2 x S t k x 其 中 S t k x 代 表 第 k 種 病 害 所 對 應(yīng) 的 得 分 在 神 經(jīng) 網(wǎng) 絡(luò) 的 最 后 使 用 Softmax 作 為 分 類 器 將 神 經(jīng) 網(wǎng) 絡(luò) 的 輸 出S t x 轉(zhuǎn) 化 成 概 率 分 布p t x 即p t x p t 1 x p t 2 x p t k x 對 于p t x 中 的 每 個 元 素p t k x 其 計 算 方 法 如 公 式2 所 示 p t k x e s t k x j e s t j x 2 Hinton 等 15 提 出 訓(xùn) 練 有 素 的 教 師 模 型 的 輸 出 會 無 限 接 近 于One Hot 編 碼 的 真 實 輸 出 這 就 造 成 有 用 的 類 間 信 息 在 訓(xùn) 練 過 程 中 被 忽 視 進 而 直 接 導(dǎo) 致 學(xué) 生 模 型 的 訓(xùn) 練 效 果 不 理 想 因 圖4 研 究 整 體 結(jié) 構(gòu) 圖 Fig 4 Overallstructureofdiagram 圖5 深 度 可 分 離 卷 積 原 理 Fig 5 Depthwiseseparableconvolution 1 1 2 邱 文 杰 等 面 向 植 物 病 害 識 別 的 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 結(jié) 構(gòu) D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 此 需 要 使 用 溫 度 標(biāo) 度 軟 化 這 些 概 率 如 公 式 3 所 示 p t k x e s t k x T j e s t j x T 3 其 中 T 是 可 調(diào) 的 超 參 數(shù) T 1 通 過 在 Softmax 分 類 器 中 加 入T 這 一 參 數(shù) 學(xué) 生 會 類 似 地 產(chǎn) 生 更 柔 和 的 分 類 概 率 分 布p s x 從 而 保 留 了 樣 本 不 同 類 別 之 間 的 概 率 關(guān) 系 與 使 用 傳 統(tǒng)One Hot 編 碼 15 的 硬 標(biāo) 簽 作 為 訓(xùn) 練 目 標(biāo) 相 比 由 于 教 師 模 型 經(jīng) 過Softer Softmax 分 類 器 后 輸 出 的 軟 目 標(biāo) 很 好 地 保 留 了 樣 本 不 同 類 別 之 間 的 概 率 關(guān) 系 所 以 通 常 會 帶 來 更 好 的 性 能 為 了 獲 得 更 好 的 分 類 結(jié) 果 將 知 識 蒸 餾 中 的 損 失 函 數(shù) 由 交 叉 熵 替 換 為 巴 氏 距 離 21 令BC 定 義 為 巴 氏 系 數(shù) 滿 足 0 BC 1 其 關(guān) 系 定 義 如 公 式 4 所 示 BC P Q P x Q x 4 其 中 P Q 分 別 表 示 教 師 模 型 和 學(xué) 生 模 型 P x 和Q x 分 別 代 表 教 師 模 型 和 學(xué) 生 模 型 的 輸 出 由 公 式 4 可 知 當(dāng)P Q 兩 個 標(biāo) 簽 趨 同 時 巴 氏 系 數(shù) 值BC 會 隨 之 變 大 而 當(dāng) 兩 個 標(biāo) 簽 完 全 沒 有 重 疊 時 BC 將 會 趨 于 零 采 用 巴 氏 距 離 后 的L KD L cls 和 學(xué) 生 損 失 函 數(shù) L 分 別 如 公 式 5 7 所 示 L KD ln BC r k x p t k x 5 L cls ln BC q k x p t k x 6 L L cls 1 L KD 7 其 中 q k x 為 樣 本 的 真 實 標(biāo) 簽 r k x 為 教 師 模 型 的 輸 出 為 可 調(diào) 的 超 參 數(shù) 通 常 T 1 3 4 5 0 5 0 9 本 研 究 通 過 知 識 蒸 餾 的 方 法 結(jié) 合 公 式 5 7 中 的 損 失 函 數(shù) 訓(xùn) 練 了 精 簡 模 型 Distilled MobileNet 首 先 使 用 圖 像 的 真 實 標(biāo) 簽 來 預(yù) 訓(xùn) 練 教 師 模 型 之 后 再 使 用 相 同 的 訓(xùn) 練 樣 本 作 為 學(xué) 生 模 型 的 輸 入 并 進 行 訓(xùn) 練 所 建 立 的Dis tilled MobileNet 模 型 與 教 師 模 型 相 比 可 以 達 到 輕 量 級 的 體 積 圖6 給 出 了 知 識 蒸 餾 的 具 體 結(jié) 構(gòu) 同 時 在 損 失 函 數(shù) 的 設(shè) 計 上 使 用 兩 個 不 同 目 標(biāo) 函 數(shù) 的 加 權(quán) 平 均 值 其 中 損 失 函 數(shù)L KD 用 來 表 示 當(dāng) 教 師 模 型 和 學(xué) 生 模 型 共 享 相 同 的 溫 度T 時 教 師 模 型 和 學(xué) 生 模 型 輸 出 之 間 的 巴 氏 距 離 損 失 函 數(shù)L cls 為 學(xué) 生 模 型 和 真 實 標(biāo) 簽 之 間 的 交 叉 熵 最 后 通 過 線 性 加 權(quán) 的 方 式 計 算 損 失 函 數(shù) L 如 公 式 8 所 示 L L cls 1 L KD 8 表2 給 出 了 模 型 在 不 同 和T 下 的 試 驗 結(jié) 果 經(jīng) 試 驗 驗 證 當(dāng) 超 參 數(shù) 的 值 設(shè) 為0 6 蒸 餾 溫 度T 的 值 為3 時 模 型 驗 證 集 準(zhǔn) 確 率 達 到 最 高 90 62 表 明 模 型 獲 得 最 佳 性 能 4 試 驗 結(jié) 果 及 分 析 本 試 驗 硬 件 環(huán) 境 包 括 具 有Intel i9 10900X 3 20 GHz 10 核 20 線 程 CPU NVIDIA Ge ForceRTX2080Ti11GBx2 的 服 務(wù) 器 軟 件 環(huán) 境 為 圖6 知 識 蒸 餾 結(jié) 構(gòu) 圖 Fig 6 Diagramofknowledgedistillationstructure 表 2 參 數(shù) 和T 對 模 型 驗 證 集 準(zhǔn) 確 率 的 影 響 Table2 Influenceoftheparameters andT ontheaccuracy ofthemodelvalidationset T 1 2 3 4 0 2 83 59 84 37 81 25 75 40 0 4 84 93 82 81 85 15 82 13 0 6 89 06 87 50 90 62 85 49 單 位 0 8 79 86 77 34 80 46 83 21 1 1 3 Vol 3 No 1 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 64 位Windows10 系 統(tǒng) CUDA9 0 CUDNN 7 0 PyCharm 2018 2 用 于 訓(xùn) 練 模 型 的 試 驗 框 架 的 前 端 和 后 端 分 別 是Keras 和Tensorflow 為 確 保 試 驗 結(jié) 果 的 公 平 性 和 有 效 性 本 研 究 對 超 參 數(shù) 進 行 了 統(tǒng) 一 化 將 學(xué) 習(xí) 率 設(shè) 置 為0 001 batch size 設(shè) 置 為 128 L2 正 則 化 參 數(shù) 設(shè) 置 為 0 0005 其 次 在 模 型 訓(xùn) 練 中 使 用 了SGD Adam 和 Nadam 三 種 不 同 的 優(yōu) 化 器 該 類 優(yōu) 化 算 法 應(yīng) 用 在 非 凸 優(yōu) 化 問 題 中 有 計 算 高 效 所 需 內(nèi) 存 少 等 諸 多 優(yōu) 勢 三 種 優(yōu) 化 算 法 超 參 數(shù) 的 具 體 參 數(shù) 如 表3 所 示 4 1 學(xué) 習(xí) 模 型 性 能 測 試 為 確 定 教 師 和 學(xué) 生 網(wǎng) 絡(luò) 最 佳 模 型 本 研 究 在 128 128 大 小 的 3 通 道 RGB 圖 像 下 對 比 了 VGG16 AlexNet GoogLeNet MobileNet 和 ResNet 5 種 主 流 神 經(jīng) 網(wǎng) 絡(luò) 結(jié) 構(gòu) 的 驗 證 集 準(zhǔn) 確 率 損 失 函 數(shù) 以 及 參 數(shù) 量 的 大 小 圖7 給 出 了 迭 代 過 程 中 驗 證 集 準(zhǔn) 確 率 與 損 失 函 數(shù) 變 化 情 況 由 圖7 a 可 以 看 出 不 同 模 型 在 迭 代 過 程 中 驗 證 集 準(zhǔn) 確 率 變 化 呈 現(xiàn) 不 同 特 點 具 體 來 講 除GoogleNet 外 5 種 模 型 在 迭 代 過 程 中 其 準(zhǔn) 確 率 均 出 現(xiàn) 抖 動 現(xiàn) 象 對 于MobileNet 模 型 雖 在 初 始 迭 代 時 驗 證 集 準(zhǔn) 確 率 較 低 但 隨 著 訓(xùn) 練 的 深 入 準(zhǔn) 確 率 一 直 呈 現(xiàn) 上 升 趨 勢 且 在75 輪 后 超 越 了 其 余5 種 模 型 的 準(zhǔn) 確 率 說 明MobileNet 模 型 相 較 于 其 他 對 比 模 型 具 有 較 高 穩(wěn) 定 性 表4 給 出 了5 種 模 型 最 終 驗 證 集 準(zhǔn) 確 率 的 對 比 情 況 可 知 VGG16 和AlexNet 雖 準(zhǔn) 確 率 較 高 但 模 型 內(nèi) 存 在128 128 的3 通 道 輸 入 下 內(nèi) 存 占 用 分 別 達 到 了1022 6 和443 0 MB 這 必 然 會 降 低 某 些 設(shè) 備 如 智 能 手 機 物 聯(lián) 網(wǎng) 設(shè) 備 甚 至 是 計 算 能 力 較 低 的 計 算 機 的 運 行 速 度 同 時 占 用 大 量 內(nèi) 存 空 間 因 此 本 研 究 將 在 上 述 方 法 的 基 礎(chǔ) 上 使 用 知 識 蒸 餾 方 法 對 模 型 進 行 壓 縮 結(jié) 合 不 同 模 型 的 內(nèi) 存 占 用 情 況 本 研 究 選 用 MobileNet 作 為 知 識 蒸 餾 的 學(xué) 生 網(wǎng) 絡(luò) 此 結(jié) 果 與 本 研 究 之 前 的 設(shè) 計 相 一 致 4 2 知 識 蒸 餾 在 不 同 模 型 上 的 表 現(xiàn) 表5 給 出 了 知 識 蒸 餾 在VGG16 AlexNet GoogleNet 和ResNet4 種 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 上 的 表 現(xiàn) 根 據(jù) 表5 可 知 由 于 學(xué) 生 模 型 不 僅 學(xué) 習(xí) 樣 本 的 真 實 標(biāo) 簽 同 時 還 學(xué) 習(xí) 了 教 師 模 型 產(chǎn) 生 的 保 留 了 類 間 關(guān) 系 的 軟 化 標(biāo) 簽 因 而 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 經(jīng) 過 知 識 蒸 餾 后 模 型 準(zhǔn) 確 率 均 出 現(xiàn) 了 明 顯 提 升 22 23 平 表 3 使 用 三 種 優(yōu) 化 器 的 C N N 訓(xùn) 練 超 參 數(shù) Table3 CNNtraininghyperparametersusing threeoptimizers 超 參 數(shù) BatchSize LearningRate Momentum Decay 1 2 SGD 32 0 001 0 9 None Adam 32 0 001 None 0 9 0 999 1e 7 Nadam 32 0 001 None 0 9 0 999 1e 7 a 驗 證 集 準(zhǔn) 確 率 變 化 曲 線 b 損 失 函 數(shù) 變 化 曲 線 圖7 模 型 驗 證 集 準(zhǔn) 確 率 與 損 失 函 數(shù) 變 化 曲 線 圖 Fig 7 Modelvalidationaccuracyratesand lossfunctionchangecurves 表 4 不 同 網(wǎng) 絡(luò) 結(jié) 構(gòu) 在 P l a n t V i l l a g e 數(shù) 據(jù) 集 上 的 表 現(xiàn) Table4 Performancesofdifferentnetworkstructuresinthe PlantVillagedataset 網(wǎng) 絡(luò) 模 型 ResNet AlexNet VGG16 MobileNet GoogleNet 驗 證 集 準(zhǔn) 確 率 94 44 89 97 96 52 92 05 76 58 內(nèi) 存 占 用 MB 181 3 443 0 1022 0 25 1 58 1 1 1 4 邱 文 杰 等 面 向 植 物 病 害 識 別 的 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 精 簡 結(jié) 構(gòu) D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 均 提 升 了1 42 具 體 地 說 當(dāng)VGG16 作 為 教 師 模 型 時 模 型 準(zhǔn) 確 率 提 升 了 2 04 達 到 97 54 相 比 于ResNet 作 為 教 師 模 型 準(zhǔn) 確 率 提 高 了2 38 因 此 經(jīng) 過 綜 合 考 慮 識 別 準(zhǔn) 確 率 和 識 別 時 間 兩 個 因 素 本 研 究 最 終 選 擇 將 VGG16 作 為 教 師 模 型 在 內(nèi) 存 方 面 由 于 學(xué) 生 模 型 均 采 用 Mo bileNet 導(dǎo) 致 不 同 網(wǎng) 絡(luò) 模 型 經(jīng) 過 知 識 蒸 餾 后 的 內(nèi) 存 相 差 不 大 但 相 較 于 原 教 師 模 型 內(nèi) 存 則 出 現(xiàn) 明 顯 降 低 平 均 降 低79 62 其 中AlexNet 模 型 壓 縮 率 最 高 達 到94 11 總 的 來 說 試 驗 結(jié) 果 表 明 知 識 蒸 餾 不 僅 可 以 加 快 模 型 的 運 行 速 度 使 其 滿 足 實 時 性 要 求 同 時 還 能 減 少 模 型 內(nèi) 存 4 3 真 實 環(huán) 境 下 的 性 能 測 試 為 評 估Distilled MobileNet 模 型 在 真 實 環(huán) 境 下 的 表 現(xiàn) 本 研 究 在 由 廣 西 壯 族 自 治 區(qū) 農(nóng) 業(yè) 科 學(xué) 院 提 供 的 真 實 數(shù) 據(jù) 集 合 上 用3 2 節(jié) 所 述 方 法 對 經(jīng) 過 知 識 蒸 餾 改 進 的Distilled MobileNet 模 型 進 行 了 性 能 測 試 模 型 訓(xùn) 練 過 程 中 的 準(zhǔn) 確 率 和 損 失 函 數(shù) 變 化 曲 線 如 圖8 所 示 從 圖8 中 可 以 看 出 在 訓(xùn) 練 過 程 中 損 失 函 數(shù) 下 降 平 穩(wěn) 同 時 模 型 的 驗 證 集 準(zhǔn) 確 率 呈 整 體 上 升 趨 勢 且 模 型 的 收 斂 速 度 很 快 在60 次 迭 代 后 即 達 到 了 較 好 的 收 斂 狀 態(tài) 使 用 單 個 病 害 識 別 率 平 均 準(zhǔn) 確 率 模 型 內(nèi) 存 平 均 識 別 時 間4 個 指 標(biāo) 對 訓(xùn) 練 好 的Distilled MobileNet 模 型 進 行 準(zhǔn) 確 性 評 估 模 型 在 真 實 環(huán) 境 下 的 評 估 結(jié) 果 見 表