2023 年 6 月 第 5 卷 第 2 期 Jun 2023 Vol 5 No 2 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 自 然 環(huán) 境 中 鮮 食 葡 萄 快 速 識 別 與 采 摘 點 自 動 定 位 方 法 朱 衍 俊 1 杜 文 圣 1 2 王 春 穎 1 劉 平 1 李 祥 3 1 山 東 農(nóng) 業(yè) 大 學 機 械 與 電 子 工 程 學 院 智 能 化 農(nóng) 業(yè) 機 械 與 裝 備 實 驗 室 山 東 省 園 藝 機 械 與 裝 備 重 點 實 驗 室 山 東 泰 安 271018 2 山 東 交 通 學 院 工 程 機 械 學 院 山 東 濟 南 250357 3 山 東 農(nóng) 業(yè) 大 學 生 命 科 學 學 院 小 麥 育 種 全 國 重 點 實 驗 室 山 東 泰 安 271018 摘 要 目 的 目 的 意 義 意 義 自 然 環(huán) 境 中 鮮 食 葡 萄 的 快 速 識 別 與 精 準 定 位 是 實 現(xiàn) 鮮 食 葡 萄 機 器 人 自 動 采 摘 的 先 決 條 件 方 法 方 法 本 研 究 基 于 改 進 的 K means 聚 類 算 法 和 輪 廓 分 析 法 提 出 一 種 鮮 食 葡 萄 采 摘 點 自 動 定 位 的 方 法 首 先 采 用 加 權(quán) 灰 度 閾 值 作 為 聚 類 算 法 相 似 度 的 判 定 依 據(jù) 并 以 此 為 基 礎 提 出 一 種 自 適 應 調(diào) 整 K 值 的 K means 聚 類 算 法 實 現(xiàn) 鮮 食 葡 萄 的 快 速 有 效 識 別 檢 測 然 后 利 用 提 出 的 輪 廓 分 析 法 獲 得 果 梗 軸 和 采 摘 點 感 興 趣 區(qū) 域 利 用 幾 何 方 法 實 現(xiàn) 鮮 食 葡 萄 采 摘 點 快 速 準 確 定 位 最 后 利 用 采 集 的 917 張 鮮 食 葡 萄 圖 像 對 本 研 究 提 出 的 算 法 進 行 實 驗 驗 證 結(jié) 果 和 討 論 結(jié) 果 和 討 論 本 研 究 提 出 算 法 定 位 的 鮮 食 葡 萄 采 摘 點 與 最 優(yōu) 采 摘 點 的 誤 差 小 于 12 個 像 素 的 成 功 率 為 90 51 平 均 定 位 時 間 為 0 87 s 實 現(xiàn) 鮮 食 葡 萄 采 摘 點 的 快 速 準 確 的 定 位 在 籬 壁 式 種 植 方 式 與 棚 架 式 種 植 方 式 下 分 別 進 行 50 次 模 擬 仿 真 試 驗 結(jié) 果 表 明 籬 壁 式 紫 葡 萄 采 摘 點 定 位 成 功 率 為 86 00 棚 架 式 紫 葡 萄 識 別 定 位 成 功 率 達 到 92 00 籬 壁 式 綠 葡 萄 采 摘 點 定 位 成 功 率 為 78 00 棚 架 式 綠 葡 萄 識 別 定 位 成 功 率 為 80 00 整 體 試 驗 效 果 較 好 結(jié) 論 結(jié) 論 本 研 究 可 為 鮮 食 葡 萄 采 摘 機 器 人 實 現(xiàn) 精 準 采 摘 葡 萄 提 供 技 術(shù) 支 撐 關(guān) 鍵 詞 鮮 食 葡 萄 K means 聚 類 算 法 輪 廓 分 析 法 果 梗 軸 采 摘 點 采 摘 機 器 人 中 圖 分 類 號 S126 文 獻 標 志 碼 A 文 章 編 號 SA202304001 引 用 格 式 朱 衍 俊 杜 文 圣 王 春 穎 劉 平 李 祥 自 然 環(huán) 境 中 鮮 食 葡 萄 快 速 識 別 與 采 摘 點 自 動 定 位 方 法 J 智 慧 農(nóng) 業(yè) 中 英 文 2023 5 2 23 34 DOI 10 12133 j smartag SA202304001 ZHU Yanjun DU Wensheng WANG Chunying LIU Ping LI Xiang Rapid recognition and picking points automatic posi tioning method for table grape in natural environment J Smart Agriculture 2023 5 2 23 34 DOI 10 12133 j smartag SA202304001 in Chinese with English abstract 1 引 言 近 年 來 中 國 葡 萄 種 植 面 積 和 產(chǎn) 量 逐 年 增 長 但 鮮 食 葡 萄 采 摘 仍 以 人 工 為 主 采 摘 機 器 人 發(fā) 展 緩 慢 1 3 鮮 食 葡 萄 采 摘 點 的 自 動 定 位 是 采 摘 機 器 人 實 現(xiàn) 精 確 采 摘 的 關(guān) 鍵 但 自 然 環(huán) 境 中 鮮 食 葡 萄 生 長 環(huán) 境 復 雜 外 形 不 規(guī) 則 果 梗 顏 色 與 鮮 食 葡 萄 樹 枝 干 葉 片 顏 色 相 似 枝 葉 光 照 等 環(huán) 境 因 素 導 致 葡 萄 采 摘 點 的 定 位 難 以 實 現(xiàn) 國 內(nèi) 外 眾 多 學 者 對 葡 萄 的 識 別 采 摘 展 開 了 研 究 早 在 1995 年 Kondo 等 4 6 提 出 一 種 多 功 能 葡 萄 農(nóng) 業(yè) 機 器 人 利 用 果 穗 的 光 譜 反 射 及 形 狀 識 別 檢 測 葡 萄 但 光 譜 反 射 受 外 界 濕 度 天 氣 等 因 素 影 響 約 束 條 件 復 雜 在 自 然 環(huán) 境 中 葡 萄 識 別 準 確 度 波 動 較 大 Liu 等 7 結(jié) 合 顏 色 與 紋 理 特 征 對 葡 萄 進 行 識 別 試 驗 準 確 率 為 88 Reis 等 8 基 于 彩 色 葡 萄 圖 像 識 別 分 類 紅 白 葡 萄 其 成 功 率 分 別 為 97 和 91 雷 旺 雄 與 盧 軍 9 利 用 YUV 顏 色 模 型 中 的 U 分 量 實 現(xiàn) 葡 萄 串 的 分 類 并 利 用 角 點 檢 測 算 法 實 現(xiàn) 葡 萄 采 摘 點 的 定 位 Perez zavala 等 10 利 用 紋 理 收 稿 日 期 2023 04 04 基 金 項 目 山 東 省 重 點 研 發(fā) 計 劃 項 目 2022TZXD0010 2022LZGCQY002 2021TZXD001 作 者 簡 介 朱 衍 俊 研 究 方 向 為 農(nóng) 業(yè) 信 息 化 E mail zhu yanjun 通 信 作 者 1 劉 平 博 士 研 究 生 教 授 研 究 方 向 為 農(nóng) 業(yè) 智 能 控 制 技 術(shù) 機 器 人 控 制 與 導 航 目 標 檢 測 與 識 別 E mail liupingsdau 2 李 祥 博 士 研 究 生 研 究 方 向 為 作 物 高 產(chǎn) 相 關(guān) 性 狀 的 發(fā) 育 生 物 學 表 型 組 學 的 研 究 與 應 用 E mail lixiang Vol 5 No 2 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 與 形 狀 給 特 征 并 結(jié) 合 聚 類 算 法 實 現(xiàn) 葡 萄 的 識 別 由 于 葡 萄 與 枝 干 枯 葉 像 素 值 相 近 且 伴 隨 外 界 光 照 等 環(huán) 境 因 素 影 響 其 特 定 顏 色 準 則 波 動 范 圍 較 大 以 上 研 究 普 適 性 低 Berenstein 等 11 利 用 統(tǒng) 計 學 測 量 與 形 狀 匹 配 算 法 實 現(xiàn) 葡 萄 分 割 定 位 識 別 成 功 率 達 90 劉 平 等 12 對 自 然 環(huán) 境 下 貼 疊 葡 萄 進 行 了 識 別 分 割 識 別 分 割 成 功 率 為 89 71 Miao 等 13 運 用 邊 緣 檢 測 和 輪 廓 擬 合 實 現(xiàn) 重 疊 葡 萄 果 粒 的 檢 測 與 數(shù) 據(jù) 測 量 平 均 誤 差 率 為 1 5 并 進 一 步 地 實 現(xiàn) 貼 疊 葡 萄 的 采 摘 點 定 位 14 相 較 定 位 葡 萄 采 摘 點 而 言 這 些 葡 萄 的 識 別 與 分 割 相 對 簡 單 且 由 于 葡 萄 的 形 態(tài) 多 變 導 致 葡 萄 采 摘 點 定 位 難 度 遠 大 于 葡 萄 的 分 割 與 識 別 目 前 有 學 者 對 葡 萄 類 簇 狀 果 實 采 摘 點 的 定 位 展 開 研 究 羅 陸 鋒 等 15 利 用 HIS 彩 色 空 間 中 的 H 分 量 進 行 葡 萄 識 別 結(jié) 合 重 心 確 定 采 摘 點 定 位 成 功 率 為 88 03 Xiong 等 16 旋 轉(zhuǎn) RGB 顏 色 通 道 中 的 R 分 量 結(jié) 合 一 種 改 進 的 Chan Vese C V 水 平 模 型 方 法 進 行 葡 萄 背 景 分 離 利 用 最 小 外 接 矩 陣 與 霍 夫 直 線 檢 測 定 位 采 摘 點 識 別 精 度 為 80 92 5 利 用 單 一 顏 色 通 道 實 現(xiàn) 的 目 標 識 別 與 分 割 受 外 界 擾 動 影 響 嚴 重 自 然 環(huán) 境 中 準 確 率 降 低 進 一 步 地 熊 俊 濤 等 17 對 非 結(jié) 構(gòu) 環(huán) 境 下 的 擾 動 葡 萄 進 行 研 究 通 過 Otsu 閾 值 分 割 得 到 果 實 果 梗 利 用 點 線 結(jié) 合 和 霍 夫 直 線 擬 合 進 行 采 摘 點 識 別 但 是 由 于 葡 萄 果 梗 與 果 實 枯 葉 枝 干 葉 子 之 間 的 顏 色 相 近 閾 值 分 割 較 難 達 到 預 期 效 果 定 位 采 摘 點 準 確 率 僅 為 80 Luo 等 18 提 出 了 一 種 基 于 雙 目 立 體 視 覺 的 葡 萄 串 空 間 信 息 獲 取 方 法 實 現(xiàn) 葡 萄 串 的 快 速 定 位 但 準 確 率 僅 為 87 袁 妍 19 提 出 一 種 基 于 深 度 視 覺 的 棚 架 葡 萄 采 摘 機 器 人 手 眼 系 統(tǒng) 利 用 深 度 相 機 獲 得 圖 像 并 進 行 背 景 分 離 通 過 深 度 點 云 實 現(xiàn) 葡 萄 果 梗 與 果 穗 的 分 離 然 而 其 目 標 葡 萄 要 求 無 遮 擋 且 葡 萄 果 穗 的 高 度 近 似 一 致 自 然 環(huán) 境 下 葡 萄 難 以 滿 足 其 實 施 條 件 近 年 來 深 度 學 習 的 發(fā) 展 為 水 果 的 識 別 及 采 摘 點 的 定 位 帶 來 新 的 機 遇 羅 慶 等 20 改 進 YOLOv5s 算 法 實 現(xiàn) 了 毛 桃 及 套 袋 桃 的 識 別 與 檢 測 同 期 商 楓 楠 等 21 利 用 改 進 的 YOLOX 實 現(xiàn) 自 然 環(huán) 境 中 的 火 龍 果 快 速 檢 測 周 文 靜 等 22 利 用 Mask R CNN 實 現(xiàn) 紅 提 葡 萄 果 穗 的 背 景 分 離 并 通 過 Hough 進 行 果 粒 分 割 寧 政 通 等 23 利 用 Mask R CNN 進 行 葡 萄 果 梗 的 識 別 與 分 割 最 終 利 用 區(qū) 域 生 長 算 法 精 準 分 割 果 梗 實 現(xiàn) 采 摘 點 定 位 準 確 率 達 99 43 孫 碧 玉 24 改 進 Cascade RCNN 網(wǎng) 絡 與 E Net 網(wǎng) 絡 實 現(xiàn) 重 疊 番 茄 串 的 準 確 分 割 然 而 采 用 深 度 學 習 方 法 需 花 費 大 量 的 時 間 與 精 力 完 成 圖 像 標 注 且 深 度 學 習 在 網(wǎng) 絡 訓 練 過 程 以 及 移 動 端 的 部 署 時 對 設 備 性 能 要 求 較 高 成 本 較 高 針 對 上 述 問 題 本 研 究 基 于 改 進 的 K means 聚 類 算 法 和 輪 廓 分 析 法 提 出 了 一 種 鮮 食 葡 萄 采 摘 點 自 動 定 位 方 法 提 高 鮮 食 葡 萄 采 摘 點 定 位 魯 棒 性 和 精 度 為 鮮 食 葡 萄 采 摘 機 器 人 實 現(xiàn) 精 準 采 摘 葡 萄 提 供 理 論 支 撐 2 數(shù) 據(jù) 與 材 料 2019 年 10 月 18 日 上 午 07 30 11 30 于 山 東 省 果 蔬 研 究 所 金 牛 山 基 地 117 18 E 36 16 N 采 集 鮮 食 葡 萄 圖 像 如 圖 1 天 氣 晴 氣 溫 12 23 葡 萄 品 種 為 夏 黑 摩 爾 多 瓦 尤 勇 相 機 采 用 MI8 手 機 的 后 置 攝 像 頭 采 集 圖 像 約 1200 萬 像 素 3024 4032 水 平 與 垂 直 分 辨 率 為 72 dpi 光 圈 值 為 f 1 8 曝 光 時 間 為 1 100 s 共 拍 攝 圖 像 917 張 獲 得 的 圖 像 由 于 像 素 較 高 后 期 圖 像 處 理 過 程 中 耗 費 時 間 較 長 因 此 采 用 臨 近 插 值 算 法 將 圖 像 縮 放 至 原 圖 像 的 0 08 倍 像 素 約 為 7 8 萬 242 322 提 高 算 法 運 行 速 度 與 實 用 性 3 研 究 方 法 首 先 采 用 加 權(quán) 灰 度 閾 值 作 為 聚 類 算 法 相 似 度 的 判 定 依 據(jù) 并 以 此 為 基 礎 提 出 一 種 自 適 應 調(diào) 整 K 值 的 K means 聚 類 算 法 實 現(xiàn) 鮮 食 葡 萄 的 快 速 有 效 分 割 其 次 利 用 自 適 應 閾 值 算 法 獲 得 鮮 食 葡 萄 二 值 化 圖 像 并 根 據(jù) 形 態(tài) 學 處 理 填 充 孔 洞 等 操 作 進 行 除 圖 1 鮮 食 葡 萄 樣 本 圖 像 Fig 1 Image of table grape sample 24朱 衍 俊 等 自 然 環(huán) 境 中 鮮 食 葡 萄 快 速 識 別 與 采 摘 點 自 動 定 位 方 法 Vol 5 No 2 噪 最 終 基 于 最 大 連 通 域 獲 得 精 準 目 標 鮮 食 葡 萄 圖 像 及 其 輪 廓 然 后 利 用 改 進 的 輪 廓 分 析 法 獲 得 果 梗 軸 和 采 摘 點 感 興 趣 區(qū) 域 并 利 用 幾 何 方 法 實 現(xiàn) 鮮 食 葡 萄 采 摘 點 快 速 準 確 定 位 鮮 食 葡 萄 采 摘 點 的 定 位 算 法 流 程 如 圖 2 所 示 3 1 鮮 食 葡 萄 的 檢 測 方 法 3 1 1 鮮 食 葡 萄 的 聚 類 分 割 K means 聚 類 算 法 25 28 是 基 于 原 型 劃 分 的 算 法 根 據(jù) 歐 式 距 離 評 價 圖 像 中 各 聚 類 簇 的 相 似 度 距 離 越 近 目 標 相 似 度 越 大 反 之 越 小 最 終 將 聚 類 結(jié) 束 后 獨 立 且 緊 湊 的 區(qū) 域 作 為 聚 類 的 最 終 結(jié) 果 通 過 分 析 發(fā) 現(xiàn) 該 算 法 有 2 個 明 顯 的 缺 陷 一 是 聚 類 算 法 的 K 值 為 隨 機 給 定 的 固 定 值 而 每 一 張 圖 像 都 有 獨 立 的 特 點 固 定 K 值 難 以 滿 足 每 張 圖 像 的 聚 類 要 求 二 是 歐 氏 距 離 為 自 定 義 或 固 定 值 不 能 根 據(jù) 圖 像 的 改 變 進 行 自 適 應 變 化 且 每 次 計 算 各 點 之 間 的 歐 氏 距 離 消 耗 時 間 較 長 難 以 實 現(xiàn) 鮮 食 葡 萄 的 快 速 分 割 針 對 上 述 問 題 本 研 究 對 K means 進 行 改 進 提 出 一 種 可 自 適 應 改 變 的 K 值 和 加 權(quán) 灰 度 閾 值 Dis 作 為 評 價 依 據(jù) 的 K means 聚 類 算 法 實 現(xiàn) 鮮 食 葡 萄 快 速 有 效 地 識 別 分 割 改 進 后 的 聚 類 流 程 如 圖 3 所 示 基 于 K means 算 法 的 聚 類 原 理 首 先 將 RGB 圖 像 轉(zhuǎn) 為 灰 度 圖 像 并 設 定 初 始 K 值 然 后 按 照 灰 度 等 級 對 灰 度 圖 像 進 行 K 個 簇 的 劃 分 且 單 個 簇 中 灰 度 等 級 像 素 數(shù) 最 多 的 任 意 點 作 為 初 始 聚 類 的 中 心 點 當 完 成 首 次 聚 類 后 獲 得 聚 類 后 每 個 簇 的 聚 類 中 心 點 平 面 坐 標 信 息 為 提 高 聚 類 準 確 率 根 據(jù) 公 式 1 完 成 圖 像 柵 格 化 實 現(xiàn) 圖 像 初 始 聚 類 Gray max i min i cluster Gray K mod Gray K 0 cluster Gary K 1 mod Gray K 0 1 其 中 max i 為 i 圖 像 中 灰 度 值 的 最 大 值 min i 為 i 圖 像 中 灰 度 值 的 最 小 值 cluster 為 每 個 簇 的 灰 度 等 級 數(shù) 需 要 注 意 當 mod Gray K 0 時 第 K 個 為 mod Gray K 個 灰 度 等 級 圖 2 鮮 食 葡 萄 采 摘 點 定 位 流 程 圖 Fig 2 Flowchart of picking point positioning for table grapes 圖 3 改 進 K means 后 聚 類 算 法 流 程 圖 Fig 3 Flow chart of improved K means clustering algorithm 25Vol 5 No 2 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 當 圖 像 柵 格 化 完 成 后 獲 得 初 始 聚 類 簇 及 初 始 聚 類 中 心 見 圖 4 并 通 過 公 式 2 與 公 式 3 計 算 每 個 初 始 聚 類 簇 像 素 所 占 總 像 素 的 比 例 及 相 鄰 初 始 聚 類 中 心 灰 度 值 的 差 值 Per i Num cluster i Num img 100 i 1 K 2 D i Gray i 1 Gray i i 1 K 1 3 其 中 Num cluster i 為 單 個 聚 類 簇 的 像 素 數(shù) 個 Num img 為 圖 像 總 像 素 數(shù) 個 D i 為 相 鄰 兩 個 聚 類 中 心 的 灰 度 閾 值 Gray i 為 第 i 個 簇 聚 類 中 心 的 灰 度 值 Per i 為 每 個 聚 類 簇 中 像 素 數(shù) 所 占 圖 像 總 像 素 數(shù) 的 百 分 比 為 提 高 聚 類 算 法 的 魯 棒 性 參 照 公 式 4 與 公 式 5 求 取 加 權(quán) 灰 度 閾 值 Dis Dis 1 i 1 K 1 D i Per i Per i 1 Dis 2 D 1 Per 1 4 Dis Dis 1 Dis 2 2 5 經(jīng) 多 次 試 驗 并 對 試 驗 數(shù) 據(jù) 進 行 統(tǒng) 計 分 析 發(fā) 現(xiàn) Per 1 值 總 大 于 i 2 K Per i 的 數(shù) 值 進 一 步 分 析 發(fā) 現(xiàn) 由 于 鮮 食 葡 萄 顏 色 較 深 導 致 其 第 1 個 聚 類 簇 像 素 數(shù) 較 多 且 由 于 鮮 食 葡 萄 多 位 于 圖 像 中 間 位 置 其 余 聚 類 中 心 皆 呈 圓 形 包 圍 趨 勢 收 斂 于 鮮 食 葡 萄 所 在 聚 類 中 心 如 圖 4 所 示 最 終 根 據(jù) 每 個 聚 類 簇 所 占 比 例 Per 與 相 鄰 兩 個 聚 類 重 心 的 灰 度 差 值 D 獲 得 整 個 圖 片 的 加 權(quán) 灰 度 閾 值 特 別 說 明 為 保 證 數(shù) 據(jù) 真 實 有 效 性 特 別 增 加 公 式 5 完 成 第 1 個 與 第 K 個 聚 類 簇 的 計 算 通 過 兩 個 相 鄰 簇 的 聚 類 中 心 的 灰 度 差 值 D i 與 灰 度 閾 值 Dis 相 比 較 得 到 當 D i Dis 時 判 定 兩 個 聚 類 簇 為 不 同 的 兩 類 當 D i Dis 時 判 定 兩 個 聚 類 簇 為 同 一 類 并 將 兩 個 簇 合 并 且 兩 個 簇 的 聚 類 的 中 點 作 為 新 的 聚 類 中 心 并 更 新 K 值 如 此 循 環(huán) 直 至 加 權(quán) 灰 度 閾 值 Dis 不 再 改 變 時 聚 類 結(jié) 束 如 公 式 6 計 算 Je j 并 輸 出 簇 的 劃 分 聚 類 結(jié) 果 如 圖 5 所 示 Je j x K j 1 N K j g i u j 2 6 其 中 Je j 為 每 個 簇 的 誤 差 平 方 和 其 數(shù) 值 大 小 在 一 定 程 度 上 可 衡 量 單 個 簇 內(nèi) 數(shù) 據(jù) 點 的 緊 密 程 度 一 般 Je j 數(shù) 值 越 小 代 表 第 j 個 簇 內(nèi) 數(shù) 據(jù) 緊 密 程 度 越 高 聚 類 效 果 越 好 g i 為 第 j 個 簇 中 的 簇 內(nèi) 數(shù) 據(jù) 點 灰 度 值 u j 為 第 j 個 簇 的 聚 類 中 心 灰 度 值 N K j 為 第 j 個 簇 中 樣 本 數(shù) 據(jù) 點 的 個 數(shù) 3 1 2 目 標 葡 萄 的 獲 取 分 析 聚 類 結(jié) 果 圖 5 發(fā) 現(xiàn) 葡 萄 枝 干 枯 葉 等 顏 色 與 鮮 食 葡 萄 相 近 灰 度 值 與 鮮 食 葡 萄 相 似 導 致 在 屬 于 鮮 食 葡 萄 的 簇 中 包 含 較 多 的 細 小 噪 音 本 研 究 采 用 自 適 應 Otsu 對 聚 類 結(jié) 束 后 的 灰 度 圖 像 進 行 圖 像 分 割 獲 得 二 值 圖 像 如 圖 6 a 所 示 觀 察 發(fā) 現(xiàn) 仍 有 較 多 噪 音 運 用 形 態(tài) 學 開 閉 運 算 圖 像 填 充 以 及 提 取 最 大 連 通 域 獲 得 精 準 目 標 葡 萄 二 值 圖 像 如 圖 6 b 所 示 圖 4 鮮 食 葡 萄 圖 像 的 初 始 聚 類 中 心 及 坐 標 信 息 Fig 4 Initial cluster center and its coordinate information for images of table grape a 灰 度 圖 b 聚 類 結(jié) 果 圖 圖 5 鮮 食 葡 萄 的 聚 類 識 別 結(jié) 果 圖 Fig 5 Results of table grapes clustering recognition image 26朱 衍 俊 等 自 然 環(huán) 境 中 鮮 食 葡 萄 快 速 識 別 與 采 摘 點 自 動 定 位 方 法 Vol 5 No 2 3 2 采 摘 點 的 定 位 方 法 3 2 1 輪 廓 分 析 法 利 用 Canny 算 子 求 取 鮮 食 葡 萄 區(qū) 域 輪 廓 如 圖 7 a 所 示 分 析 獲 得 輪 廓 左 右 極 值 點 A B 將 輪 廓 上 所 有 點 認 定 為 質(zhì) 點 如 公 式 7 求 取 鮮 食 葡 萄 重 心 點 C 結(jié) 果 如 圖 7 b 所 示 在 無 外 力 干 擾 情 況 下 鮮 食 葡 萄 由 于 重 力 作 用 懸 于 空 中 果 梗 軸 所 在 直 線 穿 過 重 心 而 鮮 食 葡 萄 果 梗 必 然 介 于 極 值 點 A B 之 間 因 此 根 據(jù) 極 值 點 A B 獲 得 果 梗 軸 感 興 趣 輪 廓 鮮 食 葡 萄 果 梗 一 定 位 于 輪 廓 感 興 趣 輪 廓 內(nèi) 如 圖 7 c 所 示 X m m i x i m i Y m m i y i m i 7 其 中 以 圖 像 左 上 角 為 原 點 縱 向 為 Y 軸 正 方 向 橫 向 為 X 軸 正 方 向 X m 為 重 心 點 橫 坐 標 Y m 為 重 心 點 縱 坐 標 x i 為 輪 廓 各 點 橫 坐 標 y i 為 輪 廓 各 點 縱 坐 標 m i 為 各 點 質(zhì) 量 默 認 輪 廓 上 的 點 為 質(zhì) 點 質(zhì) 量 為 1 3 2 2 果 梗 軸 的 獲 取 由 于 果 梗 軸 穿 過 重 心 C 所 以 從 左 至 右 將 感 興 趣 輪 廓 上 的 點 與 重 心 C 依 次 連 接 組 成 待 驗 證 線 束 如 圖 8 a 所 示 待 驗 證 線 束 中 一 定 包 含 果 梗 軸 待 驗 證 線 束 的 每 條 直 線 將 鮮 食 葡 萄 區(qū) 域 分 為 左 右 兩 個 區(qū) 域 如 圖8 b 和 圖8 c 所 示 將 圖 8 b 中 鮮 食 葡 萄 左 半 區(qū) 域 繞 待 驗 證 線 旋 轉(zhuǎn) 180 得 到 圖 8 d 所 示 圖 像 根 據(jù) 圖 8 c 圖 8 d 的 平 面 坐 標 信 息 求 取 兩 幅 依 像 素 相 似 度 P 值 29 如 公 式 8 翻 轉(zhuǎn) 后 的 左 半 區(qū) 域 與 右 半 區(qū) 域 相 似 度 越 高 P 值 越 小 取 P 值 的 最 小 值 對 應 的 待 驗 證 線 作 為 果 梗 軸 P x y x l y l x r y r 2 x y x l y l 2 x r y r 2 8 其 中 P 為 待 驗 證 線 右 半 區(qū) 域 與 翻 轉(zhuǎn) 后 的 左 半 區(qū) 域 的 像 素 的 相 似 度 值 x l y l 為 左 半 區(qū) 域 翻 轉(zhuǎn) 后 a 鮮 食 葡 萄 輪 廓 b 極 值 點 與 質(zhì) 點 c 感 興 趣 輪 廓 圖 注 A 為 左 極 值 點 B 為 右 極 值 點 C 為 重 心 圖 7 鮮 食 葡 萄 的 輪 廓 及 輪 廓 信 息 圖 Fig 7 Contour and contour information image of table grapes a 待 驗 證 線 c 右 半 區(qū) 域 b 左 半 區(qū) 域 d 左 半 區(qū) 域 翻 轉(zhuǎn) 注 C 為 重 心 圖 8 鮮 食 葡 萄 的 待 驗 證 線 束 及 果 梗 軸 Fig 8 Images of lines bundles of the stem axis to be verified a 原 始 二 值 圖 b 精 準 二 值 圖 圖 6 鮮 食 葡 萄 二 值 圖 像 Fig 6 Binary image of table grapes 27Vol 5 No 2 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 點 的 像 素 的 坐 標 x r y r 為 右 半 區(qū) 域 點 的 像 素 坐 標 3 2 3 目 標 葡 萄 采 摘 點 的 定 位 通 過 相 似 度 P 值 確 定 果 梗 軸 如 圖 9 a 所 示 為 精 準 定 位 采 摘 點 降 低 環(huán) 境 對 采 摘 點 定 位 的 干 擾 根 據(jù) 鮮 食 葡 萄 輪 廓 與 果 梗 軸 交 點 D 輪 廓 左 右 極 值 點 A B 及 重 心 C 確 定 采 摘 點 感 興 趣 區(qū) 域 感 興 趣 區(qū) 域 的 長 度 ROI L 為 0 8 L AB 高 度 ROI H 為 0 25 L CD 如 圖 9 c 所 示 其 中 L AB 為 極 值 點 A B 橫 坐 標 軸 軸 向 距 離 L CD 為 重 心 C 與 果 梗 軸 與 鮮 食 葡 萄 輪 廓 交 點 D 縱 坐 標 軸 軸 向 距 離 其 中 采 摘 點 感 興 趣 區(qū) 域 所 在 位 置 的 兩 個 約 束 條 件 如 下 點 D 為 感 興 趣 區(qū) 域 矩 形 底 邊 必 過 點 點 D 為 感 興 趣 區(qū) 域 矩 形 底 邊 中 點 依 據(jù) 公 式 9 求 取 采 摘 點 感 興 趣 區(qū) 域 的 中 心 O 并 獲 取 點 O 到 果 梗 軸 最 近 的 距 離 的 點 E 將 點 E 作 為 最 終 采 摘 點 結(jié) 果 如 圖 10 所 示 X O i 1 4 x i 4 Y O i 1 4 y i 4 9 其 中 X O 為 點 O 橫 坐 標 Y O 為 點 O 縱 坐 標 x i 為 外 接 矩 形 四 個 頂 點 的 橫 坐 標 y i 為 外 接 矩 形 四 個 頂 點 的 縱 坐 標 定 位 采 摘 點 E 的 兩 種 情 況 為 中 心 O 位 于 果 梗 軸 外 求 取 果 梗 軸 至 點 O 的 最 短 距 離 的 點 E 并 將 點 E 作 為 最 終 采 摘 點 中 心 O 位 于 果 梗 軸 上 將 點 O 作 為 采 摘 點 4 結(jié) 果 與 分 析 4 1 試 驗 數(shù) 據(jù) 與 誤 差 分 析 采 用 像 素 定 位 誤 差 15 方 法 分 析 采 摘 點 定 位 的 準 確 度 并 通 過 采 摘 點 像 素 定 位 誤 差 e 評 價 采 摘 點 定 位 的 精 準 度 如 公 式 10 所 示 e x min X x e y min Y y e e 2 x e 2 y 10 其 中 X 為 最 優(yōu) 采 摘 點 像 素 區(qū) 域 橫 坐 標 Y 為 最 優(yōu) 采 摘 點 像 素 區(qū) 域 縱 坐 標 x 為 所 求 的 采 摘 點 橫 坐 標 y 為 所 求 的 采 摘 點 縱 坐 標 e x 為 得 到 的 采 摘 點 到 最 優(yōu) 采 摘 點 像 素 區(qū) 域 的 行 方 向 坐 標 誤 差 e y 為 得 到 的 采 摘 點 到 最 優(yōu) 采 摘 點 像 素 區(qū) 域 的 列 方 向 誤 差 e 為 采 摘 點 像 素 定 位 誤 差 為 保 證 試 驗 數(shù) 據(jù) 真 實 有 效 最 優(yōu) 采 摘 點 的 坐 標 范 圍 選 自 采 摘 點 感 興 趣 區(qū) 域 內(nèi) 的 果 梗 直 線 所 在 區(qū) 域 根 據(jù) 點 D 和 點 M 人 工 設 置 最 優(yōu) 采 摘 點 的 坐 標 范 圍 以 點 D 和 點 M 的 中 點 為 基 點 在 像 素 6 30 范 圍 內(nèi) 為 最 優(yōu) 采 摘 點 的 區(qū) 域 計 算 本 研 究 所 提 出 方 法 定 位 的 采 摘 點 與 人 工 確 定 的 最 優(yōu) 采 摘 點 之 間 的 誤 差 a 果 梗 軸 圖 c 果 梗 與 感 興 趣 區(qū) 域 交 點 d 采 摘 點 感 興 趣 區(qū) 域 b 果 梗 軸 與 輪 廓 交 點 圖 注 D 為 果 梗 軸 與 葡 萄 輪 廓 交 點 M 為 果 梗 軸 與 采 摘 點 感 興 趣 區(qū) 域 上 邊 界 交 點 圖 9 鮮 食 葡 萄 采 摘 點 感 興 趣 輪 廓 圖 Fig 9 Region of interest of picking point for table grapes a 中 心 點 圖 b 采 摘 點 定 位 圖 c 識 別 結(jié) 果 圖 注 O 為 采 摘 點 感 興 趣 區(qū) 域 中 心 E 為 采 摘 點 圖 10 鮮 食 葡 萄 的 采 摘 點 識 別 結(jié) 果 圖 Fig 10 Recognition results of picking point for table grapes 28朱 衍 俊 等 自 然 環(huán) 境 中 鮮 食 葡 萄 快 速 識 別 與 采 摘 點 自 動 定 位 方 法 Vol 5 No 2 為 驗 證 本 研 究 所 提 出 的 方 法 對 采 集 的 鮮 食 葡 萄 圖 像 進 行 識 別 試 驗 并 隨 機 抽 取 10 個 樣 本 進 行 細 致 分 析 表 1 為 10 張 圖 像 的 聚 類 信 息 統(tǒng) 計 通 過 分 析 試 驗 樣 本 發(fā) 現(xiàn) 當 K 18 22 時 總 體 聚 類 效 果 最 佳 因 此 設 置 初 始 K 值 于 18 22 區(qū) 間 內(nèi) 產(chǎn) 生 通 過 分 析 聚 類 結(jié) 果 表 1 本 研 究 所 提 出 的 K means 方 法 與 原 始 聚 類 算 法 相 比 在 聚 類 效 果 相 差 無 幾 情 況 下 聚 類 速 度 得 到 明 顯 提 升 表 2 為 10 個 目 標 葡 萄 采 摘 點 定 位 信 息 特 別 說 明 第 8 個 試 驗 由 于 果 梗 感 興 趣 區(qū) 域 上 邊 界 超 出 縱 坐 標 正 向 區(qū) 域 從 而 出 現(xiàn) 點 M 縱 坐 標 為 負 值 情 況 但 并 未 影 響 采 摘 點 的 準 確 定 位 其 中 圖 11 為 10 組 試 驗 結(jié) 果 圖 對 抽 取 的 10 個 試 驗 數(shù) 據(jù) 進 行 定 位 誤 差 分 析 鑒 于 采 摘 機 器 人 末 端 采 摘 裝 置 具 有 一 定 的 容 錯 范 圍 因 此 本 方 法 計 算 得 到 的 鮮 食 葡 萄 采 摘 點 與 最 優(yōu) 采 摘 點 之 間 在 12 個 像 素 認 為 定 位 成 功 分 析 表 2 發(fā) 現(xiàn) 有 且 僅 有 一 個 采 摘 點 誤 差 大 于 12 個 像 素 抽 取 的 10 個 樣 本 的 平 均 定 位 時 間 為 0 74 s 通 過 表 2 發(fā) 現(xiàn) 當 鮮 食 葡 萄 出 現(xiàn) 誤 判 時 導 致 鮮 食 葡 萄 采 摘 點 定 位 失 敗 對 拍 攝 的 917 張 圖 像 試 驗 結(jié) 果 進 行 統(tǒng) 計 分 析 共 有 87 張 圖 像 鮮 食 葡 萄 采 摘 點 定 位 失 敗 因 此 整 體 定 位 成 功 率 為 90 51 平 均 定 位 時 間 為 0 87 s 對 定 位 失 敗 案 例 的 進 行 統(tǒng) 計 分 析 結(jié) 果 表 明 光 照 是 導 致 采 摘 點 定 位 失 敗 最 主 要 因 素 枝 葉 的 遮 擋 和 鮮 食 葡 萄 間 相 互 貼 疊 是 導 致 采 摘 點 定 位 失 敗 的 次 要 因 素 表 2 鮮 食 葡 萄 采 摘 點 定 位 信 息 表 Table 2 Localization information of table grapes 樣 本 號 1 2 3 4 5 6 7 8 9 10 點 D 坐 標 x D y D 157 145 155 133 160 143 142 52 152 115 172 149 163 38 155 26 204 187 209 55 點 M 坐 標 x M y M 155 122 153 116 159 116 142 19 151 91 169 1230 161 7 156 14 204 172 208 20 最 優(yōu) 采 摘 點 范 圍 X 155 153 159 142 151 170 161 155 204 208 Y 133 124 129 35 102 135 22 6 179 37 點 E 坐 標 x 146 148 155 149 136 176 165 148 199 201 y 128 119 133 40 134 139 28 13 170 43 與 最 優(yōu) 采 摘 點 的 誤 差 e x 9 5 4 7 15 6 4 7 5 7 e y 5 5 4 5 32 4 6 7 9 6 e 10 3 7 1 5 7 8 6 35 3 7 2 7 2 9 9 10 3 9 2 運 行 時 間 s 0 68 0 78 0 66 0 59 1 42 0 68 0 65 0 67 0 64 1 28 表 1 目 標 葡 萄 的 聚 類 信 息 Table 1 Clustering information of target grapes 樣 本 號 1 2 3 4 5 6 7 8 9 10 初 始 K 值 18 20 19 20 21 21 18 18 20 20 最 終 K 值 7 8 7 7 4 6 3 8 9 8 2 65 3 23 2 35 2 21 3 68 2 68 2 64 2 69 3 01 3 77 改 進 前 聚 類 時 間 s 改 進 后 聚 類 時 間 s 0 66 0 77 0 65 0 58 1 40 0 67 0 64 0 65 0 63 1 26 改 進 前 目 標 簇 的 誤 差 平 方 和 0 0101 0 0092 0 0083 0 0053 0 0122 0 0152 0 0110 0 0115 0 0093 0 0082 改 進 后 目 標 簇 的 誤 差 平 方 和 0 0098 0 0110 0 0083 0 006