第 1 1 期 收 稿 日 期 2 0 2 2 0 4 1 2 基 金 項(xiàng) 目 國 家 自 然 科 學(xué) 基 金 項(xiàng) 目 3 1 8 7 2 8 4 9 3 2 0 7 3 0 2 9 山 東 省 高 等 學(xué) 校 青 創(chuàng) 人 才 引 育 計(jì) 劃 項(xiàng) 目 0 0 8 1 6 2 2 0 0 1 青 島 農(nóng) 業(yè) 大 學(xué) 高 層 次 人 才 基 金 項(xiàng) 目 1 1 1 9 0 3 6 作 者 簡 介 李 佳 俊 2 0 0 0 男 山 東 新 泰 人 在 讀 碩 士 研 究 生 研 究 方 向 為 農(nóng) 業(yè) 作 物 目 標(biāo) 檢 測 電 話 1 7 6 6 4 0 9 2 1 0 6 電 子 信 箱 j e r r y l e e r e a l 1 6 3 c o m 通 信 作 者 鄧 立 苗 1 9 7 8 女 山 東 沂 水 人 副 教 授 博 士 主 要 從 事 機(jī) 器 學(xué) 習(xí) 方 面 的 研 究 電 話 1 3 6 2 6 4 8 4 2 7 4 電 子 信 箱 d e n g l m 6 8 1 6 3 c o m 隨 著 草 莓 F r a g a r i a a n a n a s s a D u c h 在 中 國 種 植 面 積 的 逐 漸 擴(kuò) 大 截 至 2 0 1 8 年 中 國 草 莓 種 植 面 積 為 1 1 1 1 萬 h m 2 總 產(chǎn) 量 為 2 9 6 4 3 萬 t 1 草 莓 種 植 從 業(yè) 人 員 老 齡 化 問 題 日 益 凸 顯 加 之 草 莓 種 植 產(chǎn) 業(yè) 屬 于 勞 動 密 集 型 的 高 投 入 高 產(chǎn) 出 農(nóng) 業(yè) 2 致 使 在 每 年 草 莓 收 獲 的 季 節(jié) 都 會 出 現(xiàn) 采 摘 勞 動 力 不 足 的 情 況 間 接 導(dǎo) 致 勞 動 成 本 增 高 草 莓 種 植 產(chǎn) 業(yè) 亟 需 引 入 自 動 化 采 摘 系 統(tǒng) 以 提 高 采 摘 效 率 3 減 緩 對 人 工 采 摘 的 依 賴 降 低 采 摘 成 本 對 草 莓 進(jìn) 行 準(zhǔn) 確 的 定 位 識 別 是 實(shí) 現(xiàn) 自 動 化 采 摘 的 前 提 與 關(guān) 鍵 而 對 生 長 基 于 改 進(jìn) F a s t e r R C N N 模 型 的 草 莓 果 實(shí) 識 別 算 法 李 佳 俊 朱 子 峰 劉 洪 鑫 蘇 昱 榮 溫 傳 聞 張 原 升 張 慧 敏 鄧 立 苗 青 島 農(nóng) 業(yè) 大 學(xué) 理 學(xué) 與 信 息 科 學(xué) 學(xué) 院 山 東 青 島 2 6 6 1 0 9 摘 要 針 對 F a s t e r R C N N 模 型 對 自 然 狀 態(tài) 下 草 莓 F r a g a r i a a n a n a s s a D u c h 識 別 準(zhǔn) 確 率 不 高 的 問 題 以 地 壟 種 植 草 莓 的 實(shí) 拍 圖 片 為 數(shù) 據(jù) 源 采 用 改 進(jìn) R P N 結(jié) 構(gòu) 和 更 換 主 干 特 征 提 取 網(wǎng) 絡(luò) 的 方 法 對 F a s t e r R C N N 模 型 進(jìn) 行 了 改 進(jìn) 結(jié) 果 表 明 改 進(jìn) F a s t e r R C N N 模 型 識 別 成 熟 草 莓 平 均 精 度 A P 為 0 8 9 3 0 識 別 未 成 熟 草 莓 平 均 精 度 A P 為 0 8 2 0 7 草 莓 識 別 準(zhǔn) 確 率 達(dá) 到 較 高 水 平 解 決 了 未 成 熟 草 莓 識 別 困 難 的 問 題 同 時(shí) 為 了 檢 驗(yàn) 模 型 的 自 動 計(jì) 數(shù) 性 能 依 據(jù) 模 型 的 識 別 結(jié) 果 建 立 了 自 動 計(jì) 數(shù) 與 人 工 計(jì) 數(shù) 的 線 性 回 歸 成 熟 草 莓 未 成 熟 草 莓 的 相 關(guān) 系 數(shù) 分 別 為 0 9 7 3 7 0 9 4 4 7 自 動 計(jì) 數(shù) 與 人 工 計(jì) 數(shù) 擁 有 較 高 的 相 關(guān) 性 表 明 改 進(jìn) F a s t e r R C N N 模 型 具 有 較 高 的 識 別 性 能 與 計(jì) 數(shù) 能 力 關(guān) 鍵 詞 草 莓 F r a g a r i a a n a n a s s a D u c h 識 別 F a s t e r R C N N 模 型 R e s N e t 5 0 中 圖 分 類 號 S 2 4 文 獻(xiàn) 標(biāo) 識 碼 A 文 章 編 號 0 4 3 9 8 1 1 4 2 0 2 3 1 1 0 1 8 3 0 8 D O I 1 0 1 4 0 8 8 j c n k i i s s n 0 4 3 9 8 1 1 4 2 0 2 3 1 1 0 3 2 開 放 科 學(xué) 資 源 服 務(wù) 標(biāo) 識 碼 O S I D S t r a w b e r r y f r u i t r e c o g n i t i o n a l g o r i t h m b a s e d o n i m p r o v e d F a s t e r R C N N m o d e l L I J i a j u n Z H U Z i f e n g L I U H o n g x i n S U Y u r o n g W E N C h u a n w e n Z H A N G Y u a n s h e n g Z H A N G H u i m i n D E N G L i m i a o S c h o o l o f S c i e n c e a n d I n f o r m a t i o n Q i n g d a o A g r i c u l t u r a l U n i v e r s i t y Q i n g d a o 2 6 6 1 0 9 S h a n d o n g C h i n a A b s t r a c t I n r e s p o n s e t o t h e p r o b l e m o f l o w r e c o g n i t i o n a c c u r a c y o f t h e F a s t e r R C N N m o d e l f o r n a t u r a l s t r a w b e r r i e s F r a g a r i a a n a n a s s a D u c h t h e F a s t e r R C N N m o d e l w a s i m p r o v e d b y i m p r o v i n g t h e R P N s t r u c t u r e a n d r e p l a c i n g t h e b a c k b o n e f e a t u r e e x t r a c t i o n n e t w o r k u s i n g l i v e i m a g e s o f s t r a w b e r r i e s p l a n t e d o n r i d g e s a s t h e d a t a s o u r c e T h e r e s u l t s s h o w e d t h a t t h e i m p r o v e d F a s t e r R C N N m o d e l h a d a n a v e r a g e p r e c i s i o n A P o f 0 8 9 3 0 w h e n i d e n t i f y i n g m a t u r e s t r a w b e r r i e s a n d 0 8 2 0 7 w h e n i d e n t i f y i n g i m m a t u r e s t r a w b e r r i e s T h e a c c u r a c y o f s t r a w b e r r y r e c o g n i t i o n r e a c h e d a h i g h l e v e l s o l v i n g t h e p r o b l e m o f d i f f i c u l t y i n i d e n t i f y i n g i m m a t u r e s t r a w b e r r i e s M e a n w h i l e i n o r d e r t o t e s t t h e a u t o m a t i c c o u n t i n g p e r f o r m a n c e o f t h e m o d e l a l i n e a r r e g r e s s i o n b e t w e e n a u t o m a t i c c o u n t i n g a n d m a n u a l c o u n t i n g w a s e s t a b l i s h e d b a s e d o n t h e r e c o g n i t i o n r e s u l t s o f t h e m o d e l T h e c o r r e l a t i o n c o e f f i c i e n t s o f m a t u r e a n d i m m a t u r e s t r a w b e r r i e s w e r e 0 9 7 3 7 a n d 0 9 4 4 7 r e s p e c t i v e l y T h e h i g h c o r r e l a t i o n b e t w e e n a u t o m a t i c c o u n t i n g a n d m a n u a l c o u n t i n g i n d i c a t e d t h a t t h e i m p r o v e d F a s t e r R C N N m o d e l h a d h i g h r e c o g n i t i o n p e r f o r m a n c e a n d c o u n t i n g a b i l i t y K e y w o r d s s t r a w b e r r y F r a g a r i a a n a n a s s a D u c h i d e n t i f i c a t i o n F a s t e r R C N N m o d e l R e s N e t 5 0 第 6 2 卷 第 1 1 期 2 0 2 3 年 1 1 月 湖 北 農(nóng) 業(yè) 科 學(xué) H u b e i A g r i c u l t u r a l S c i e n c e s V o l 6 2 N o 1 1 N o v 2 0 2 3 李 佳 俊 朱 子 峰 劉 洪 鑫 等 基 于 改 進(jìn) F a s t e r R C N N 模 型 的 草 莓 果 實(shí) 識 別 算 法 J 湖 北 農(nóng) 業(yè) 科 學(xué) 2 0 2 3 6 2 1 1 1 8 3 1 9 0 湖 北 農(nóng) 業(yè) 科 學(xué) 2 0 2 3 年 期 草 莓 的 精 準(zhǔn) 計(jì) 數(shù) 是 進(jìn) 行 估 產(chǎn) 的 關(guān) 鍵 近 年 來 隨 著 計(jì) 算 機(jī) 相 關(guān) 算 法 和 硬 件 的 不 斷 發(fā) 展 圖 像 分 類 4 和 目 標(biāo) 檢 測 等 機(jī) 器 視 覺 技 術(shù) 在 各 種 深 度 學(xué) 習(xí) 算 法 的 推 動 下 得 到 了 迅 猛 進(jìn) 步 并 應(yīng) 用 于 果 蔬 5 8 的 識 別 和 目 標(biāo) 檢 測 胡 慶 勝 等 9 研 究 了 基 于 機(jī) 器 視 覺 的 果 蔬 識 別 方 法 該 方 法 利 用 M a s k R C N N 神 經(jīng) 網(wǎng) 絡(luò) 框 架 對 果 蔬 目 標(biāo) 進(jìn) 行 識 別 提 取 解 決 了 復(fù) 雜 環(huán) 境 下 果 蔬 目 標(biāo) 不 能 很 好 識 別 的 問 題 其 中 對 于 草 莓 的 識 別 率 達(dá) 9 3 4 但 是 使 用 的 數(shù) 據(jù) 集 較 少 導(dǎo) 致 訓(xùn) 練 出 來 的 神 經(jīng) 網(wǎng) 絡(luò) 場 景 較 少 同 時(shí) 研 究 中 并 沒 有 提 及 識 別 草 莓 過 程 中 是 否 區(qū) 分 成 熟 草 莓 與 未 成 熟 草 莓 針 對 自 然 狀 態(tài) 下 草 莓 果 實(shí) 枝 葉 遮 擋 率 較 高 識 別 準(zhǔn) 確 率 較 低 等 問 題 閆 勇 等 1 0 提 出 了 L a b 色 彩 模 型 下 梯 度 H o u g h 圓 變 換 的 成 熟 草 莓 識 別 方 法 該 方 法 具 有 較 強(qiáng) 的 穩(wěn) 定 性 和 精 確 性 在 光 線 較 差 的 環(huán) 境 下 依 然 能 獲 得 較 低 的 偏 差 但 是 當(dāng) 拍 攝 距 離 較 遠(yuǎn) 或 者 草 莓 形 狀 較 圓 時(shí) 識 別 性 能 就 會 下 降 同 時(shí) 研 究 中 的 方 法 只 能 識 別 成 熟 草 莓 對 于 未 成 熟 草 莓 的 識 別 并 沒 有 進(jìn) 行 描 述 劉 小 剛 等 1 1 改 進(jìn) 了 Y O L O v 3 識 別 方 法 在 復(fù) 雜 環(huán) 境 下 對 草 莓 進(jìn) 行 連 續(xù) 識 別 檢 測 成 熟 草 莓 與 未 成 熟 草 莓 的 平 均 精 度 均 值 m A P 為 0 8 7 5 1 但 是 并 沒 有 對 模 型 的 草 莓 計(jì) 數(shù) 能 力 進(jìn) 行 研 究 綜 上 對 草 莓 的 識 別 研 究 均 具 有 一 定 的 局 限 性 例 如 識 別 場 景 簡 單 只 針 對 成 熟 草 莓 識 別 等 為 了 讓 草 莓 識 別 技 術(shù) 可 以 真 正 落 地 并 投 入 到 實(shí) 際 生 產(chǎn) 中 要 求 模 型 可 以 在 真 實(shí) 的 草 莓 種 植 基 地 環(huán) 境 下 進(jìn) 行 識 別 為 此 優(yōu) 化 現(xiàn) 有 的 識 別 模 型 使 其 可 以 在 草 莓 識 別 上 發(fā) 揮 更 好 的 效 果 1 數(shù) 據(jù) 集 的 建 立 與 方 法 1 1 數(shù) 據(jù) 集 的 建 立 1 1 1 圖 像 采 集 試 驗(yàn) 地 點(diǎn) 為 山 東 省 青 島 市 即 墨 區(qū) 環(huán) 秀 街 道 辦 事 處 西 馴 虎 山 有 機(jī) 草 莓 種 植 基 地 大 棚 地 壟 式 種 植 實(shí) 地 采 集 草 莓 圖 像 2 7 5 7 張 如 圖 1 所 示 圖 像 中 成 熟 草 莓 為 鮮 艷 的 紅 色 未 成 熟 草 莓 為 綠 色 或 是 粉 色 背 景 中 葉 片 為 淺 綠 色 或 深 綠 色 薄 膜 為 暗 灰 色 部 分 圖 像 背 景 中 存 在 暴 露 的 土 壤 為 棕 紅 色 圖 1 采 集 的 部 分 草 莓 圖 像 1 1 2 數(shù) 據(jù) 集 劃 分 將 拍 攝 所 得 的 2 7 5 7 張 圖 片 隨 機(jī) 均 勻 地 劃 分 為 6 組 每 組 圖 像 按 照 圖 片 中 草 莓 的 個(gè) 數(shù) 再 分 為 2 個(gè) 數(shù) 據(jù) 集 其 中 圖 像 中 草 莓 數(shù) 量 4 個(gè) 的 數(shù) 據(jù) 集 標(biāo) 注 為 稀 疏 數(shù) 據(jù) 集 圖 像 中 草 莓 數(shù) 量 5 個(gè) 的 數(shù) 據(jù) 集 標(biāo) 注 為 密 集 數(shù) 據(jù) 集 數(shù) 據(jù) 集 劃 分 結(jié) 果 如 表 1 所 示 共 產(chǎn) 生 1 2 個(gè) 數(shù) 據(jù) 集 分 別 用 于 不 同 的 試 驗(yàn) 情 境 表 1 數(shù) 據(jù) 集 劃 分 情 況 分 組 1 組 2 組 3 組 4 組 5 組 6 組 數(shù) 據(jù) 集 數(shù) 據(jù) 集 1 稀 疏 數(shù) 據(jù) 集 2 密 集 數(shù) 據(jù) 集 3 稀 疏 數(shù) 據(jù) 集 4 密 集 數(shù) 據(jù) 集 5 稀 疏 數(shù) 據(jù) 集 6 密 集 數(shù) 據(jù) 集 7 稀 疏 數(shù) 據(jù) 集 8 密 集 數(shù) 據(jù) 集 9 稀 疏 數(shù) 據(jù) 集 1 0 密 集 數(shù) 據(jù) 集 1 1 稀 疏 數(shù) 據(jù) 集 1 2 密 集 圖 像 數(shù) 量 張 2 9 0 1 4 5 2 7 8 1 8 7 4 0 5 5 8 4 3 8 4 2 4 0 0 6 2 3 0 1 1 5 1 1 1 3 數(shù) 據(jù) 標(biāo) 注 將 采 集 的 2 7 5 7 張 圖 片 壓 縮 至 較 小 且 相 同 的 分 辨 率 方 便 后 期 導(dǎo) 入 模 型 進(jìn) 行 訓(xùn) 練 同 時(shí) 利 用 標(biāo) 注 軟 件 對 所 有 圖 像 進(jìn) 行 標(biāo) 注 標(biāo) 簽 分 為 成 熟 草 莓 和 未 成 熟 草 莓 同 一 張 圖 像 上 可 以 同 時(shí) 存 在 2 種 標(biāo) 簽 采 用 P O S C A L V O C 2 0 0 7 數(shù) 據(jù) 集 分 析 1 2 1 2 方 法 1 2 1 改 進(jìn) F a s t e r R C N N 模 型 改 進(jìn) F a s t e r R C N N 模 型 整 體 結(jié) 構(gòu) 如 圖 2 所 示 共 享 基 礎(chǔ) 卷 積 層 C o n v 1 至 C o n v 4 是 由 V G G 1 6 或 R e s N e t 1 0 1 1 3 等 主 干 特 征 提 取 網(wǎng) 絡(luò) 組 成 用 于 提 取 整 張 草 莓 圖 片 的 特 征 在 去 除 全 連 接 層 且 保 留 卷 積 層 后 輸 出 采 樣 后 的 特 征 圖 像 1 4 特 征 圖 像 分 別 輸 入 改 進(jìn) 的 候 選 檢 測 框 生 成 網(wǎng) 絡(luò) R P N 和 R O I P o o l i n g R O I P o o l i n g 與 分 類 網(wǎng) 絡(luò) S o f t m a x 和 b b o x p r e d 對 R P N 產(chǎn) 生 的 候 選 檢 測 框 進(jìn) 行 分 類 并 且 第 二 次 調(diào) 整 候 選 框 坐 標(biāo) 最 后 輸 出 檢 測 結(jié) 果 1 5 1 6 1 2 2 R P N 網(wǎng) 絡(luò) 優(yōu) 化 F a s t e r R C N N 模 型 1 7 的 R P N 要 用 1 個(gè) 3 3 的 s l i d e w i n d o w 去 遍 歷 整 個(gè) f e a t u r e m a p 在 遍 歷 過 程 中 如 圖 3 所 示 每 個(gè) w i n d o w s 中 心 點(diǎn) 按 照 1 2 1 1 2 1 的 基 礎(chǔ) 框 比 例 生 成 a n c h o r b o x e s 3 個(gè) 基 礎(chǔ) 框 的 面 積 分 別 為 1 2 8 1 2 8 2 5 6 2 5 6 5 1 2 5 1 2 1 8 在 檢 測 較 小 的 草 莓 時(shí) 由 于 3 個(gè) 基 礎(chǔ) 框 的 面 積 較 大 很 難 匹 配 較 小 的 草 莓 導(dǎo) 致 F a s t e r R C N N 模 型 在 識 別 較 小 的 草 莓 時(shí) 識 別 效 果 較 差 考 慮 到 在 通 常 情 況 下 會 出 現(xiàn) 一 些 未 開 始 發(fā) 育 的 1 8 4第 1 1 期 草 莓 這 些 草 莓 較 普 通 草 莓 更 小 所 以 適 當(dāng) 調(diào) 小 基 礎(chǔ) 框 面 積 的 下 限 有 利 于 對 未 發(fā) 育 草 莓 的 識 別 但 是 在 原 結(jié) 構(gòu) 中 3 個(gè) 基 礎(chǔ) 框 的 最 小 框 已 經(jīng) 很 小 故 在 調(diào) 節(jié) 時(shí) 不 需 要 進(jìn) 行 大 幅 度 的 調(diào) 節(jié) 將 3 個(gè) 基 框 的 面 積 改 為 1 1 2 1 1 2 2 5 6 2 5 6 5 1 2 5 1 2 可 以 提 高 對 體 積 較 小 草 莓 的 識 別 效 果 在 F a s t e r R C N N 模 型 的 R P N 結(jié) 構(gòu) 中 存 在 1 個(gè) 3 3 的 s l i d e w i n d o w 但 是 草 莓 果 實(shí) 大 小 不 一 只 有 1 種 規(guī) 格 的 滑 動 窗 口 會 降 低 模 型 對 草 莓 的 識 別 能 力 所 以 在 原 R P N 的 基 礎(chǔ) 上 增 加 1 1 和 5 5 2 種 規(guī) 格 的 s l i d e w i n d o w 擴(kuò) 大 其 感 受 野 提 高 草 莓 識 別 性 能 得 到 圖 4 所 示 的 改 進(jìn) 后 R P N 結(jié) 構(gòu) 1 2 3 模 型 訓(xùn) 練 在 模 型 測 試 時(shí) 發(fā) 現(xiàn) 識 別 過 程 中 識 別 框 重 疊 概 率 較 小 經(jīng) 過 多 次 微 調(diào) 試 驗(yàn) 將 n m s t h r e s h 參 數(shù) 由 0 7 調(diào) 至 0 8 圖 像 中 更 多 的 草 莓 可 以 被 檢 測 到 訓(xùn) 練 迭 代 次 數(shù) 為 1 0 0 0 0 次 為 了 讓 模 型 在 損 失 曲 線 收 斂 時(shí) 震 蕩 范 圍 更 小 提 高 訓(xùn) 練 性 能 在 模 型 即 將 完 成 訓(xùn) 練 時(shí) 減 小 其 學(xué) 習(xí) 率 因 此 設(shè) 置 學(xué) 習(xí) 率 為 0 0 0 1 1 9 在 完 成 7 5 0 0 次 迭 代 后 學(xué) 習(xí) 率 降 低 訓(xùn) 練 設(shè) 備 為 1 0 8 0 T i 顯 卡 2 0 操 作 系 統(tǒng) 為 W i n d o w s 1 0 環(huán) 境 為 P y T h o n 3 5 T e n s o r f l o w 1 3 0 訓(xùn) 練 數(shù) 據(jù) 通 過 P y T h o n 的 w a n d b 庫 傳 送 到 w a n d b 云 端 平 臺 進(jìn) 行 損 失 曲 線 可 視 化 1 2 4 評 價(jià) 指 標(biāo) 采 用 精 度 P r e c i s i o n 召 回 率 R e c a l l F 1 m F 1 A P 和 m A P 等 作 為 衡 量 模 型 性 能 的 指 標(biāo) 2 1 2 2 各 指 標(biāo) 參 數(shù) 的 計(jì) 算 公 式 如 下 P r e c i s i o n T P T P F P 1 R O I P o o l i n g 數(shù) 據(jù) 集 特 征 層 圖 像 輸 入 圖 像 C o n v 1 C o n v 2 C o n v 3 C o n v 4 C o n v 5 S o f t m a x 調(diào) 整 大 小 結(jié) 果 輸 出 b b o x p r e d R P N 1 1 3 3 特 征 融 合 R e s h a p e S o f t m a x R e s h a p e p r o p o s a l 1 1 1 1 5 5 圖 2 改 進(jìn) F a s t e r R C N N 模 型 結(jié) 構(gòu) 1 1 3 3 特 征 融 合 R e s h a p e S o f t m a x R e s h a p e p r o p o s a l 1 1 1 1 5 5 圖 4 改 進(jìn) 后 R P N 部 分 結(jié) 構(gòu) 李 佳 俊 等 基 于 改 進(jìn) F a s t e r R C N N 模 型 的 草 莓 果 實(shí) 識 別 算 法 s c o r e s 滑 動 窗 口 特 征 圖 c o o r d i n a t e s s c o r e s a n c h o r b o x e s 圖 3 F a s t e r R C N N 模 型 中 R P N 結(jié) 構(gòu) 1 8 5湖 北 農(nóng) 業(yè) 科 學(xué) 2 0 2 3 年 R e c a l l T P T P F N 2 F 1 2 P r e c i s i o n k R e c a l l k P r e c i s i o n k R e c a l l k 3 m F 1 1 n 2 P r e c i s i o n k R e c a l l k P r e c i s i o n k R e c a l l k 2 4 A P 0 1 P r e c i s i o n d R e c a l l 5 m A P 1 n A P 6 式 中 k 為 圖 片 標(biāo) 號 n 為 標(biāo) 簽 種 類 數(shù) P r e c i s i o n 為 預(yù) 測 值 為 真 且 真 實(shí) 值 也 為 真 的 樣 本 在 預(yù) 測 值 為 真 的 所 有 樣 本 中 所 占 的 比 例 R e c a l l 為 預(yù) 測 值 為 真 且 真 實(shí) 值 也 為 真 的 樣 本 在 真 實(shí) 值 為 真 的 所 有 樣 本 中 所 占 的 比 例 T P 為 實(shí) 際 為 真 模 型 預(yù) 測 也 為 真 的 識 別 實(shí) 例 數(shù) 量 F P 為 實(shí) 際 為 假 模 型 預(yù) 測 為 真 的 識 別 實(shí) 例 數(shù) 量 F N 為 實(shí) 際 為 真 模 型 預(yù) 測 為 假 的 識 別 實(shí) 例 數(shù) 量 F 1 為 模 型 準(zhǔn) 確 率 和 召 回 率 的 加 權(quán) 平 均 m F 1 為 所 有 類 別 F 1 的 均 值 A P 為 平 均 精 度 m A P 為 所 有 類 別 A P 的 均 值 用 于 衡 量 模 型 在 所 有 類 別 上 的 好 壞 2 結(jié) 果 與 分 析 2 1 不 同 主 干 特 征 提 取 網(wǎng) 絡(luò) 下 的 檢 測 性 能 采 用 不 同 的 圖 像 主 干 特 征 提 取 網(wǎng) 絡(luò) V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 對 草 莓 圖 像 進(jìn) 行 目 標(biāo) 檢 測 2 3 所 有 模 型 在 完 成 1 0 0 0 0 次 訓(xùn) 練 后 對 其 損 失 曲 線 和 P R 曲 線 進(jìn) 行 分 析 綜 合 判 斷 并 找 到 最 適 合 對 草 莓 進(jìn) 行 目 標(biāo) 檢 測 的 主 干 特 征 提 取 網(wǎng) 絡(luò) 損 失 率 2 4 是 實(shí) 際 值 與 期 望 值 之 差 損 失 率 越 小 模 型 的 魯 棒 性 越 好 經(jīng) 過 1 0 0 0 0 次 訓(xùn) 練 后 4 個(gè) 模 型 都 出 現(xiàn) 了 收 斂 的 趨 勢 經(jīng) 過 滑 動 平 均 E x p o n e n t i a l m o v i n g a v e r a g e 處 理 后 得 到 圖 5 所 示 的 曲 線 在 前 2 0 0 0 次 迭 代 中 4 個(gè) 模 型 的 損 失 率 逐 漸 減 小 在 迭 代 2 0 0 0 次 左 右 時(shí) 4 個(gè) 模 型 的 損 失 曲 線 波 動 幅 度 均 趨 于 緩 和 在 8 0 0 0 次 迭 代 后 4 個(gè) 模 型 的 損 失 率 均 低 于 0 5 4 個(gè) 模 型 的 損 失 曲 線 趨 于 平 緩 2 5 相 比 V G G 1 6 和 V G G 1 9 R e s N e t 5 0 和 R e s N e t 1 0 1 在 8 0 0 0 次 訓(xùn) 練 后 損 失 曲 線 波 動 較 小 更 平 穩(wěn) 在 相 同 模 型 下 2 類 草 莓 的 識 別 效 果 不 同 在 數(shù) 據(jù) 集 中 抽 取 2 0 7 7 張 圖 片 組 成 測 試 集 進(jìn) 行 測 試 分 別 對 4 種 主 干 特 征 提 取 網(wǎng) 絡(luò) 下 成 熟 草 莓 和 未 成 熟 草 莓 的 P R 曲 線 進(jìn) 行 分 析 如 圖 6 所 示 對 成 熟 草 莓 而 言 在 相 同 R e c a l l 下 各 主 干 特 征 提 取 網(wǎng) 絡(luò) 的 P R 曲 線 P r e c i s i o n 差 異 較 小 R e s N e t 5 0 較 高 未 成 熟 草 莓 中 各 主 干 特 征 提 取 網(wǎng) 絡(luò) 的 P R 曲 線 差 異 較 大 相 同 R e c a l l 下 R e s N e t 5 0 的 P r e c i s i o n 較 其 他 3 個(gè) 模 型 更 有 優(yōu) 勢 在 相 同 的 P r e c i s i o n 下 R e s N e t 5 0 的 R e c a l l 也 更 高 在 數(shù) 據(jù) 集 中 選 取 3 張 具 有 代 表 性 的 圖 片 分 別 使 用 不 同 主 干 特 征 提 取 網(wǎng) 絡(luò) 的 F a s t e r R C N N 模 型 進(jìn) 行 識 別 由 圖 7 可 知 V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 4 種 模 型 對 2 號 至 6 號 草 莓 的 識 別 效 果 差 距 較 小 都 表 現(xiàn) 出 較 高 的 識 別 率 1 號 7 號 8 號 為 未 成 熟 草 莓 不 僅 體 積 非 常 小 而 且 其 葉 片 遮 擋 住 了 果 實(shí) 4 種 模 型 對 其 識 別 效 果 都 有 所 下 降 且 下 降 的 程 度 不 同 因 此 選 取 有 葉 片 遮 擋 體 積 小 未 成 熟 的 草 莓 圖 片 進(jìn) 一 步 測 試 1 2 1 1 1 0 0 9 0 8 0 7 0 6 0 5 0 4 損 失 率 0 2 0 0 0 4 0 0 0 6 0 0 0 8 0 0 0 1 0 0 0 0 迭 代 次 數(shù) V G G 1 6 R e s N e t 5 0 V G G 1 9 R e s N e t 1 0 1 圖 5 改 進(jìn) F a s t e r R C N N 模 型 在 不 同 網(wǎng) 絡(luò) 下 的 損 失 曲 線 1 0 0 9 0 8 0 7 0 6 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 P r e c i s i o n a 成 熟 草 莓 1 0 0 9 0 8 0 7 0 6 0 5 0 4 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 P r e c i s i o n b 未 成 熟 草 莓 圖 6 4 種 主 干 特 征 提 取 網(wǎng) 絡(luò) P R 曲 線 對 比 1 8 6第 1 1 期 圖 8 中 只 有 R e s N e t 5 0 識 別 出 了 被 葉 片 遮 擋 的 未 成 熟 草 莓 1 號 圖 9 中 只 有 R e s N e t 1 0 1 和 R e s N e t 5 0 識 別 出 殘 缺 體 積 很 小 的 未 成 熟 草 莓 5 號 因 此 選 用 R e s N e t 5 0 作 為 模 型 的 特 征 提 取 網(wǎng) 絡(luò) 2 6 2 2 模 型 性 能 評 價(jià) F a s t e r R C N N 模 型 和 改 進(jìn) F a s t e r R C N N 模 型 的 主 干 特 征 提 取 網(wǎng) 絡(luò) 均 采 用 R e s N e t 5 0 對 比 F a s t e r R C N N 模 型 和 改 進(jìn) F a s t e r R C N N 模 型 的 各 類 指 標(biāo) 評 價(jià) 模 型 的 檢 測 性 能 由 圖 1 0 可 知 改 進(jìn) F a s t e r R C N N 模 型 曲 線 在 F a s t e r R C N N 模 型 曲 線 上 方 說 明 在 對 未 成 熟 草 莓 的 識 別 上 改 進(jìn) F a s t e r R C N N 模 型 識 別 效 果 更 好 而 在 成 熟 草 莓 的 P R 曲 線 對 比 中 2 個(gè) 模 型 識 別 效 果 差 異 不 明 顯 由 表 2 可 知 改 進(jìn) F a s t e r R C N N 模 型 成 熟 草 莓 未 成 熟 草 莓 的 A P 分 別 比 F a s t e r R C N N 模 型 高 0 0 0 4 7 0 0 3 6 5 改 進(jìn) F a s t e r R C N N 模 型 成 熟 草 莓 未 成 熟 草 莓 的 F 1 分 別 比 F a s t e r R C N N 模 型 高 0 0 1 6 7 0 0 3 1 3 2 3 不 同 分 布 密 度 下 的 檢 測 性 能 在 實(shí) 地 拍 攝 的 草 莓 圖 像 中 草 莓 數(shù) 量 有 多 有 少 為 了 檢 測 使 用 R e s N e t 5 0 為 主 干 特 征 提 取 網(wǎng) 絡(luò) 的 改 進(jìn) F a s t e r R C N N 模 型 對 含 有 不 同 草 莓 數(shù) 量 圖 像 的 檢 測 性 能 將 原 來 測 試 集 中 草 莓 數(shù) 量 4 個(gè) 的 圖 像 設(shè) 置 為 稀 疏 草 莓 數(shù) 據(jù) 集 將 草 莓 數(shù) 量 5 個(gè) 的 圖 像 設(shè) 為 密 集 草 莓 數(shù) 據(jù) 集 采 用 A P P r e c i s i o n 和 R e c a l l 評 估 2 個(gè) 數(shù) 據(jù) 集 檢 測 結(jié) 果 如 表 3 所 示 稀 疏 草 莓 數(shù) 據(jù) 集 中 未 成 熟 草 莓 和 成 熟 草 莓 的 A P 均 高 于 密 集 草 莓 數(shù) 據(jù) 集 稀 疏 草 莓 數(shù) 據(jù) 集 中 成 熟 草 莓 的 A P 高 達(dá) 0 9 0 2 8 稀 疏 草 莓 數(shù) 據(jù) 集 中 成 熟 草 莓 的 P r e c i s i o n 高 于 密 集 草 莓 數(shù) 據(jù) 集 為 0 9 3 4 7 稀 疏 草 莓 數(shù) 據(jù) 集 中 未 成 熟 草 莓 和 成 熟 草 莓 的 R e c a l l 均 高 于 密 集 草 莓 數(shù) 據(jù) 集 密 集 草 莓 數(shù) 據(jù) 集 中 未 成 熟 草 莓 的 P r e c i s i o n 和 P r e c i s i o n 均 值 均 高 于 稀 疏 草 莓 數(shù) 據(jù) 集 綜 上 稀 疏 草 莓 數(shù) 據(jù) 集 在 A P 和 R e c a l l 上 表 現(xiàn) 較 好 密 集 草 莓 數(shù) 據(jù) 集 在 P r e c i s i o n 上 對 未 成 熟 草 莓 的 識 別 效 果 較 優(yōu) 所 以 總 體 上 改 進(jìn) F a s t e r R C N N 模 型 在 識 別 4 個(gè) 草 莓 圖 像 時(shí) 的 檢 測 性 能 更 好 2 4 模 型 的 計(jì) 數(shù) 性 能 對 1 2 個(gè) 數(shù) 據(jù) 集 的 草 莓 分 別 進(jìn) 行 人 工 計(jì) 數(shù) 和 改 進(jìn) F a s t e r R C N N 模 型 自 動 計(jì) 數(shù) 由 圖 1 1 可 知 成 熟 草 莓 的 人 工 計(jì) 數(shù) 與 自 動 計(jì) 數(shù) 差 別 較 小 而 未 成 熟 草 1 2 3 1 2 3 a V G G 1 6 b V G G 1 9 1 2 3 1 2 3 c R e s N e t 5 0 d R e s N e t 1 0 1 圖 8 葉 片 遮 擋 情 況 下 的 未 成 熟 草 莓 實(shí) 際 識 別 效 果 李 佳 俊 等 基 于 改 進(jìn) F a s t e r R C N N 模 型 的 草 莓 果 實(shí) 識 別 算 法 1 2 3 4 5 6 7 8 a V G G 1 6 1 2 3 4 5 6 7 8 b V G G 1 9 1 2 3 4 5 6 7 8 c R e s N e t 5 0 1 2 3 4 5 6 7 8 d R e s N e t 1 0 1 圖 7 實(shí) 際 識 別 效 果 對 比 1 8 7湖 北 農(nóng) 業(yè) 科 學(xué) 2 0 2 3 年 1 2 3 4 5 1 2 3 4 5 a V G G 1 6 b V G G 1 9 1 2 3 4 5 1 2 3 4 5 c R e s N e t 5 0 d R e s N e t 1 0 1 圖 9 殘 缺 體 積 很 小 的 未 成 熟 草 莓 實(shí) 際 識 別 效 果 1 0 0 0 9 5 0 9 0 0 8 5 0 8 0 0 7 5 0 7 0 0 6 5 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l F a s t e r R C N N 改 進(jìn) F a s t e r R C N N P r e c i s i o n 1 0 0 0 9 0 0 8 0 0 7 0 0 6 0 0 5 0 0 4 0 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l F a s t e r R C N N 改 進(jìn) F a s t e r R C N N P r