2020 年12 月 第2 卷 第4 期 Dec 2020 Vol 2 No 4 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 李 揚(yáng) 1 2 張 萍 4 苑 進(jìn) 1 3 劉 雪 美 1 2 1 山 東 農(nóng) 業(yè) 大 學(xué) 機(jī) 械 與 電 子 工 程 學(xué) 院 山 東 泰 安 2 7 1 0 1 8 2 山 東 省 園 藝 機(jī) 械 與 裝 備 重 點(diǎn) 實(shí) 驗(yàn) 室 山 東 泰 安 2 7 1 0 1 8 3 山 東 省 農(nóng) 業(yè) 裝 備 智 能 化 工 程 實(shí) 驗(yàn) 室 山 東 泰 安 2 7 1 0 1 8 4 山 東 農(nóng) 業(yè) 大 學(xué) 信 息 科 學(xué) 與 工 程 學(xué) 院 山 東 泰 安 2 7 1 0 1 8 摘 要 依 據(jù) 筍 芽 出 土 狀 態(tài) 的 選 擇 性 收 獲 是 目 前 白 蘆 筍 公 認(rèn) 的 最 佳 收 獲 方 式 針 對(duì) 采 收 過 程 中 機(jī) 器 視 覺 識(shí) 別 筍 尖 存 在 筍 尖 與 壟 面 紋 理 和 顏 色 相 近 等 識(shí) 別 難 題 本 研 究 提 出 了 一 種 變 尺 度 感 興 趣 區(qū) 域 R O I 檢 測 方 法 融 合 圖 像 色 域 變 換 直 方 圖 均 值 化 形 態(tài) 學(xué) 和 紋 理 濾 波 等 技 術(shù) 研 究 了 筍 尖 識(shí) 別 與 精 準(zhǔn) 定 位 方 法 在 定 位 多 筍 尖 坐 標(biāo) 基 礎(chǔ) 上 提 出 了 多 筍 芽 的 采 收 路 徑 優(yōu) 化 方 法 解 決 了 因 采 收 路 徑 不 合 理 導(dǎo) 致 的 采 收 效 率 低 的 問 題 首 先 通 過 機(jī) 器 人 視 覺 系 統(tǒng) 實(shí) 時(shí) 采 集 采 收 區(qū) 域 圖 像 并 進(jìn) 行 R G B 三 通 道 高 斯 濾 波 采 用 H S V 色 域 變 換 并 進(jìn) 行 直 方 圖 均 值 化 處 理 在 此 基 礎(chǔ) 上 對(duì) 筍 尖 土 壤 進(jìn) 行 特 征 聚 類 分 析 根 據(jù) 筍 芽 抽 發(fā) 程 度 研 究 變 尺 度 R O I 檢 測 方 法 對(duì) 采 集 圖 像 中 筍 尖 的 形 態(tài) 學(xué) 以 及 筍 尖 和 土 壤 的 紋 理 進(jìn) 行 統(tǒng) 計(jì) 學(xué) 分 析 設(shè) 定 筍 尖 的 似 圓 度 閾 值 并 參 考 紋 理 特 征 參 數(shù) 判 定 筍 尖 位 置 計(jì) 算 其 幾 何 中 心 獲 得 筍 尖 輪 廓 中 心 坐 標(biāo) 其 次 為 實(shí) 現(xiàn) 白 蘆 筍 的 高 效 采 收 根 據(jù) 多 目 標(biāo) 點(diǎn) 與 集 箱 點(diǎn) 的 位 置 分 布 本 研 究 設(shè) 計(jì) 了 一 種 基 于 多 叉 樹 遍 歷 的 采 收 路 徑 優(yōu) 化 算 法 以 獲 得 多 個(gè) 目 標(biāo) 筍 尖 的 最 優(yōu) 采 收 路 徑 最 后 搭 建 采 收 機(jī) 器 人 試 驗(yàn) 平 臺(tái) 開 展 了 筍 尖 定 位 與 采 收 驗(yàn) 證 性 試 驗(yàn) 結(jié) 果 表 明 視 覺 系 統(tǒng) 對(duì) 白 蘆 筍 的 識(shí) 別 率 可 達(dá) 9 8 0 4 筍 尖 輪 廓 中 心 坐 標(biāo) 的 定 位 最 大 誤 差 X 方 向 為 0 8 7 9 m m Y 方 向 為 0 8 8 2 m m 采 收 筍 的 個(gè) 數(shù) 在 不 同 情 況 下 采 用 路 徑 優(yōu) 化 后 的 末 端 執(zhí) 行 器 運(yùn) 動(dòng) 距 離 平 均 可 節(jié) 省 4 3 8 9 末 端 執(zhí) 行 器 定 位 成 功 率 達(dá) 到 1 0 0 在 實(shí) 驗(yàn) 室 環(huán) 境 下 的 白 蘆 筍 采 收 率 達(dá) 到 8 8 1 3 驗(yàn) 證 了 采 用 視 覺 定 位 的 白 蘆 筍 采 收 機(jī) 器 人 選 擇 性 采 收 的 可 行 性 關(guān) 鍵 詞 白 蘆 筍 采 收 機(jī) 器 人 選 擇 性 采 收 視 覺 定 位 采 收 路 徑 優(yōu) 化 筍 尖 識(shí) 別 中 圖 分 類 號(hào) T P 2 4 2 6 S 2 2 文 獻(xiàn) 標(biāo) 志 碼 A 文 章 編 號(hào) 2 0 2 0 0 9 S A 0 0 3 引 文 格 式 李 揚(yáng) 張 萍 苑 進(jìn) 劉 雪 美 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 J 智 慧 農(nóng) 業(yè) 中 英 文 2020 2 4 65 78 LI Yang ZHANG Ping YUAN Jin LIU Xuemei Visual positioning and harvesting path optimization of white as paragusharvestingrobot J SmartAgriculture 2020 2 4 65 78 inChinesewithEnglishabstract 1 引 言 白 蘆 筍 系 百 合 科 多 年 生 草 本 植 物 富 含 多 種 氨 基 酸 蛋 白 質(zhì) 和 維 生 素 質(zhì) 地 白 嫩 清 脆 可 口 具 有 獨(dú) 特 芳 香 風(fēng) 味 深 受 消 費(fèi) 者 的 青 睞 1 在 國 際 市 場 上 享 有 蔬 菜 之 王 的 美 稱 白 蘆 筍 為 一 次 栽 植 多 年 采 收 植 物 依 據(jù) 筍 芽 出 土 狀 態(tài) 選 擇 性 收 獲 是 白 蘆 筍 目 前 公 認(rèn) 的 最 佳 收 獲 方 式 2 3 這 主 要 是 由 白 蘆 筍 采 收 方 式 的 特 殊 性 決 定 的 即 筍 芽 生 長 于 地 下 嫩 莖 由 下 自 上 先 后 抽 發(fā) 筍 尖 doi 10 12133 j smartag 2020 2 4 202009 SA003 收 稿 日 期 2020 09 28 修 訂 日 期 2020 10 28 基 金 項(xiàng) 目 國 家 自 然 科 學(xué) 基 金 項(xiàng) 目 51675317 山 東 省 重 點(diǎn) 研 發(fā) 計(jì) 劃 項(xiàng) 目 2017GNC12110 作 者 簡 介 李 揚(yáng) 1982 男 副 教 授 博 士 后 研 究 方 向 為 智 能 控 制 技 術(shù) E mail mtlyab 通 訊 作 者 苑 進(jìn) 1972 男 教 授 研 究 方 向 為 農(nóng) 業(yè) 機(jī) 器 人 技 術(shù) 研 究 電 話 15165387381 E mail jyuan Vol 2 No 4 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 達(dá) 到 壟 面 位 置 即 視 為 可 收 獲 狀 態(tài) 因 此 蘆 筍 成 熟 時(shí) 間 不 一 一 次 性 收 割 不 利 于 成 筍 率 和 產(chǎn) 量 生 成 另 一 方 面 筍 芽 破 土 后 需 及 時(shí) 采 收 否 則 筍 尖 見 光 易 變 紫 商 品 品 相 變 差 影 響 商 品 價(jià) 格 因 此 白 蘆 筍 適 宜 采 收 時(shí) 間 短 對(duì) 采 收 效 率 有 較 高 要 求 白 蘆 筍 選 擇 性 采 收 特 性 增 加 了 采 收 成 本 目 前 白 蘆 筍 仍 以 人 工 采 收 為 主 因 此 白 蘆 筍 這 種 勞 動(dòng) 密 集 型 產(chǎn) 業(yè) 只 能 向 人 工 成 本 低 的 生 產(chǎn) 區(qū) 域 轉(zhuǎn) 移 國 外 針 對(duì) 白 蘆 筍 機(jī) 械 化 和 自 動(dòng) 化 采 收 進(jìn) 行 了 各 種 方 案 的 嘗 試 法 國Firma Kirpy 公 司 生 產(chǎn) 了 名 為Type RGA 的 批 量 收 獲 機(jī) 該 收 獲 機(jī) 由 拖 拉 機(jī) 牽 引 不 加 區(qū) 分 地 從 筍 根 底 部 一 次 性 切 斷 然 后 分 離 土 壤 和 白 蘆 筍 這 種 收 獲 方 式 造 成 商 品 筍 的 成 筍 率 大 大 降 低 并 對(duì) 白 蘆 筍 根 部 有 損 傷 2 德 國ASM Dimantec 公 司 生 產(chǎn) 了 名 為Spargel Pan ther 的 半 自 動(dòng) 輔 助 采 收 機(jī) 輔 助 采 收 人 員 進(jìn) 行 選 擇 性 采 收 減 輕 采 收 勞 動(dòng) 強(qiáng) 度 但 并 未 實(shí) 現(xiàn) 真 正 意 義 上 的 采 收 自 動(dòng) 化 2 5 在 白 蘆 筍 選 擇 性 收 獲 方 面 荷 蘭Cerescon 和AvLMotion 公 司 正 在 開 展 自 動(dòng) 化 采 收 研 發(fā) 但 技 術(shù) 尚 未 成 熟 預(yù) 期 產(chǎn) 品 價(jià) 格 昂 貴 且 目 前 未 投 放 市 場 6 中 國 白 蘆 筍 種 植 面 積 和 產(chǎn) 量 均 位 居 世 界 第 一 據(jù) 統(tǒng) 計(jì) 2014 年 中 國 蘆 筍 收 獲 面 積 約 100 000hm 2 產(chǎn) 量 占 世 界 總 產(chǎn) 量 的50 左 右 隨 著 中 國 人 工 成 本 增 加 白 蘆 筍 生 產(chǎn) 也 遇 到 了 產(chǎn) 業(yè) 發(fā) 展 瓶 頸 解 決 困 難 的 最 佳 途 徑 是 研 發(fā) 白 蘆 筍 選 擇 性 采 收 機(jī) 器 人 技 術(shù) 6 7 白 蘆 筍 選 擇 性 采 收 機(jī) 器 人 首 先 要 解 決 的 是 采 收 區(qū) 域 中 多 個(gè) 出 土 筍 芽 的 準(zhǔn) 確 識(shí) 別 和 精 準(zhǔn) 定 位 問 題 機(jī) 器 視 覺 作 為 非 接 觸 式 目 標(biāo) 信 息 采 集 的 主 要 途 徑 8 10 理 論 上 可 以 用 于 出 土 筍 芽 的 識(shí) 別 與 定 位 但 由 于 筍 芽 出 土 情 況 不 一 甚 至 有 新 發(fā) 筍 芽 只 有 部 分 筍 尖 露 于 土 面 且 出 土 后 尺 寸 有 大 有 小 尖 頭 往 往 粘 有 浮 土 筍 尖 與 壟 面 紋 理 和 顏 色 相 近 色 差 小 對(duì) 比 度 低 使 白 蘆 筍 的 識(shí) 別 與 定 位 困 難 此 外 壟 面 有 大 顆 粒 土 塊 枯 葉 樹 枝 等 雜 物 富 含 復(fù) 雜 噪 聲 的 背 景 信 息 也 為 筍 芽 識(shí) 別 定 位 增 加 了 難 度 本 研 究 針 對(duì) 上 述 難 點(diǎn) 開 展 此 類 近 似 土 壤 噪 聲 背 景 中 的 白 蘆 筍 機(jī) 器 視 覺 識(shí) 別 方 法 研 究 對(duì) 圖 像 各 通 道 的 敏 感 度 進(jìn) 行 分 析 并 通 過 形 態(tài) 學(xué) 濾 波 和 基 于 變 化 感 興 趣 區(qū) 域 Region of Interest ROI 方 法 實(shí) 現(xiàn) 筍 尖 輪 廓 提 取 進(jìn) 而 獲 得 筍 尖 中 心 坐 標(biāo) 在 定 位 多 筍 尖 坐 標(biāo) 后 研 究 一 種 多 筍 芽 目 標(biāo) 的 采 收 路 徑 優(yōu) 化 算 法 獲 得 最 優(yōu) 采 收 路 徑 以 實(shí) 現(xiàn) 白 蘆 筍 高 效 采 收 最 后 基 于 前 期 研 制 的 白 蘆 筍 視 覺 定 位 與 采 收 試 驗(yàn) 臺(tái) 對(duì) 本 研 究 提 出 的 筍 芽 識(shí) 別 定 位 與 采 收 路 徑 優(yōu) 化 方 法 進(jìn) 行 了 試 驗(yàn) 驗(yàn) 證 2 機(jī) 器 視 覺 系 統(tǒng) 及 筍 芽 定 位 算 法 2 1 機(jī) 器 視 覺 系 統(tǒng) 構(gòu) 成 采 收 機(jī) 器 人 采 用 走 采 走 的 間 歇 移 動(dòng) 方 式 工 作 系 統(tǒng) 啟 動(dòng) 后 自 主 行 走 至 待 采 區(qū) 域 并 停 車 將 當(dāng) 前 采 收 區(qū) 內(nèi) 的 白 蘆 筍 完 全 采 收 后 再 移 動(dòng) 至 下 一 個(gè) 采 收 區(qū) 重 復(fù) 采 收 過 程 進(jìn) 行 采 收 作 業(yè) 時(shí) 機(jī) 器 人 通 過 機(jī) 器 視 覺 系 統(tǒng) 對(duì) 采 收 區(qū) 域 內(nèi) 出 土 的 白 蘆 筍 進(jìn) 行 識(shí) 別 根 據(jù) 白 蘆 筍 種 植 農(nóng) 藝 和 人 工 采 收 特 點(diǎn) 機(jī) 器 人 在 壟 間 的 相 對(duì) 位 置 如 圖1 所 示 其 中 地 上 起 壟 高 度 為40 50 cm 相 機(jī) 成 像 平 面 到 采 收 區(qū) 域 平 面 的 垂 直 距 離 為120cm 考 慮 到 壟 面 與 壟 溝 的 機(jī) 械 化 起 壟 裝 置 的 工 作 特 點(diǎn) 采 收 過 程 中 機(jī) 架 沿 壟 直 線 行 走 時(shí) 壟 面 與 壟 溝 垂 直 距 離 相 對(duì) 固 定 因 此 認(rèn) 為 相 機(jī) 和 末 端 執(zhí) 行 器 距 離 采 收 平 面 壟 面 的 垂 直 高 度 變 化 范 圍 很 小 又 因 白 蘆 筍 采 收 長 度 一 般 在25 30 cm 左 右 縱 向 采 收 定 位 誤 差 一 般 在 厘 米 級(jí) 幾 乎 不 會(huì) 對(duì) 切 割 后 的 白 蘆 筍 造 成 影 響 均 可 滿 足 誤 差 要 求 因 此 認(rèn) 為 每 次 作 業(yè) 時(shí) 相 機(jī) 到 采 收 面 的 高 度 保 持 不 變 即 相 機(jī) 成 像 平 面 到 采 收 區(qū) 域 平 面 的 垂 直 距 離 約 為 常 數(shù)120cm 機(jī) 器 視 覺 系 統(tǒng) 主 要 由 圖 像 采 集 模 塊 圖 像 處 理 模 塊 與 數(shù) 據(jù) 傳 輸 模 塊 組 成 機(jī) 器 人 實(shí) 時(shí) 采 集 采 收 區(qū) 域 圖 像 對(duì) 圖 像 進(jìn) 行 處 理 通 過 定 位 算 法 獲 取 筍 尖 輪 廓 中 心 點(diǎn) 坐 標(biāo) 并 將 坐 標(biāo) 信 息 進(jìn) 行 轉(zhuǎn) 換 6 6李 揚(yáng) 等 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 Vol 2 No 4 傳 輸 至STM32 控 制 器 圖 像 采 集 模 塊 由 工 業(yè) 相 機(jī) 鏡 頭 和LED 光 源 組 成 相 機(jī) 采 用 德 國Basler 公 司 生 產(chǎn) 的 型 號(hào) 為 acA2500 14gc 的CMOS 工 業(yè) 相 機(jī) 最 高 分 辨 率 為 2590 1942 像 素 鏡 頭 為COMPUTAR 工 業(yè) 相 機(jī) 鏡 頭 型 號(hào) 為M0814 MP2 采 收 機(jī) 器 人 工 作 時(shí) 變 化 的 自 然 光 照 條 件 會(huì) 極 大 地 干 擾 系 統(tǒng) 工 作 為 保 證 采 收 機(jī) 器 人 可 靠 地 工 作 圖 像 采 集 區(qū) 域 由 遮 光 布 進(jìn) 行 覆 蓋 并 在 機(jī) 架 上 固 定WD9218 1 型 LED 條 形 光 源 安 裝 方 式 為 環(huán) 頂 安 裝 以 構(gòu) 造 結(jié) 構(gòu) 性 光 環(huán) 境 LED 光 源 價(jià) 格 低 效 果 較 好 可 以 使 筍 尖 與 土 壤 背 景 信 息 更 好 地 分 離 降 低 了 圖 像 處 理 的 算 法 難 度 2 2 系 統(tǒng) 工 作 原 理 機(jī) 器 人 工 作 時(shí) 當(dāng) 上 位 機(jī) 接 收 到 拍 攝 指 令 后 機(jī) 器 視 覺 系 統(tǒng) 采 集 采 收 區(qū) 域 中 的 單 幀 圖 像 并 保 存 經(jīng) 過 圖 像 處 理 后 若 有 筍 尖 信 息 則 將 筍 尖 中 心 點(diǎn) 進(jìn) 行 坐 標(biāo) 變 換 發(fā) 送 給 下 位 機(jī) 當(dāng) 全 部 坐 標(biāo) 信 息 發(fā) 送 完 成 后 發(fā) 送 指 令 到 下 位 機(jī) 控 制 整 機(jī) 進(jìn) 入 新 的 采 收 區(qū) 域 收 到 指 令 后 繼 續(xù) 進(jìn) 行 圖 像 采 集 工 作 本 研 究 設(shè) 計(jì) 的 白 蘆 筍 定 位 和 采 收 過 程 如 圖2 所 示 在 相 機(jī) 內(nèi) 部 參 數(shù) 標(biāo) 定 基 礎(chǔ) 上 通 過 攝 像 頭 獲 取30 f s 的 視 頻 流 針 對(duì) 視 頻 流 中 的 圖 像 幀 進(jìn) 行 色 彩 變 換 等 預(yù) 處 理 并 在 筍 尖 土 壤 圖 像 特 征 聚 類 分 析 基 礎(chǔ) 上 實(shí) 現(xiàn) 含 筍 圖 像 的 快 速 篩 選 之 后 研 究 變 尺 度ROI 特 征 分 析 對(duì) 筍 尖 進(jìn) 行 實(shí) 時(shí) 精 準(zhǔn) 定 位 進(jìn) 而 通 過 優(yōu) 化 多 個(gè) 白 蘆 筍 的 采 收 路 徑 實(shí) 現(xiàn) 了 多 個(gè) 白 蘆 筍 采 收 順 序 的 決 策 最 終 驅(qū) 動(dòng) 采 收 機(jī) 構(gòu) 實(shí) 現(xiàn) 多 個(gè) 白 蘆 筍 的 采 收 工 作 2 3 畸 變 矯 正 圖 像 采 集 前 需 要 對(duì) 相 機(jī) 進(jìn) 行 標(biāo) 定 來 獲 得 相 機(jī) 的 內(nèi) 外 參 數(shù) 及 畸 變 參 數(shù) 由 相 機(jī) 畸 變 模 型 可 知 相 機(jī) 內(nèi) 參 決 定 了 圖 像 的 畸 變 程 度 外 參 數(shù) 把 圖 像 間 的 像 素 關(guān) 系 轉(zhuǎn) 換 為 具 體 物 理 單 位 反 映 了 相 機(jī) 相 對(duì) 于 世 界 坐 標(biāo) 的 旋 轉(zhuǎn) 平 移 關(guān) 系 本 研 究 采 用 張 正 友 的 平 面 標(biāo) 定 模 型 借 助MATLAB 的Camera Calibrator 工 具 箱 完 成 相 機(jī) 標(biāo) 定 11 基 于 相 機(jī) 標(biāo) 定 結(jié) 果 獲 得 已 知 像 素 與 其 世 界 坐 標(biāo) 的 映 射 關(guān) 系 對(duì) 畸 變 圖 像 進(jìn) 行 變 換 縮 放 生 成 消 除 透 視 畸 變 和 鏡 頭 畸 變 的 矯 正 圖 像 矯 正 前 使 用 工 業(yè) 相 機(jī) 以 不 同 角 度 拍 攝20 幅 標(biāo) 定 圖 像 圖3 利 用MAT LAB 的 相 機(jī) 標(biāo) 定 工 具 箱 檢 測 標(biāo) 定 板 圖 像 中 的 角 點(diǎn) 由 提 取 的 角 點(diǎn) 可 以 計(jì) 算 出 每 幅 圖 像 的 平 面 投 影 矩 陣 通 過 投 影 矩 陣 計(jì) 算 出 相 機(jī) 的 參 數(shù) 進(jìn) 行 重 投 影 誤 差 檢 測 圖 1 筍 芽 與 壟 面 相 對(duì) 位 置 示 意 圖 Fig 1 Relativepositionschematicbetweenwhiteasparagus sproutsandridgesurface 圖 2 白 蘆 筍 機(jī) 器 人 采 收 流 程 Fig 2 Harvestingprocessofwhiteasparagusrobot 6 7Vol 2 No 4 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 相 機(jī) 標(biāo) 定 后 的 重 投 影 誤 差 為0 4818 個(gè) 像 素 值 校 正 后 的 圖 像 與 原 圖 像 對(duì) 比 后 發(fā) 現(xiàn) 圖 像 中 心 位 置 畸 變 并 不 明 顯 越 靠 近 圖 像 邊 緣 處 的 圖 像 畸 變 程 度 越 大 通 過 標(biāo) 定 流 程 可 得 到 相 機(jī) 的 內(nèi) 參 矩 陣 和 畸 變 矩 陣 以 及 相 機(jī) 坐 標(biāo) 系 相 對(duì) 于 上 圖 世 界 坐 標(biāo) 系 的 旋 轉(zhuǎn) 矩 陣 和 平 移 向 量 得 到 相 機(jī) 內(nèi) 參 矩 陣Q 1 為 Q 1 f x s u 0 0 f y v 0 0 0 1 3648 7 0 825 04 0 3647 5 929 59 0 0 1 1 相 機(jī) 畸 變 矩 陣P 為 P k 0 k 1 k 2 p 1 p 2 0 0042 0 0017 0 1203 0 1258 0 0002 2 其 中 f x f y 為 焦 距f 在x y 方 向 上 的 值 u 0 v 0 為 主 點(diǎn) 坐 標(biāo) 值 k 0 k 1 k 2 為 徑 向 畸 變 系 數(shù) p 1 p 2 為 切 向 畸 變 系 數(shù) 2 4 圖 像 采 集 及 預(yù) 處 理 本 研 究 所 有 取 樣 圖 像 拍 攝 于 山 東 曹 縣 某 白 蘆 筍 種 植 基 地 采 集 拍 攝 時(shí) 間 為2019 年4 月 中 下 旬 至5 月 上 旬 拍 攝 時(shí) 間 段 為 早 上5 00 7 00 和 晚 上6 00 8 00 拍 攝 時(shí) 氣 溫20 32 共 拍 攝 3000 余 張 工 業(yè) 相 機(jī) 曝 光 模 式 采 用 自 動(dòng) 曝 光 考 慮 壟 面 起 伏 拍 攝 距 離 為115 125 cm 不 等 拍 攝 角 度 與 壟 面 平 行 最 高 分 辨 率 下 采 集 圖 像 的 像 素 約 為500 萬 為 適 應(yīng) 不 同 天 氣 和 光 照 條 件 下 白 蘆 筍 采 收 需 求 拍 攝 樣 張 涵 蓋 清 晨 傍 晚 晴 天 雨 后 等 多 種 時(shí) 間 和 天 氣 場 景 圖4 后 期 多 次 采 用 雙 線 性 插 值 方 法 進(jìn) 行 圖 像 的 行 列 縮 放 將 圖 片 調(diào) 整 至 約47 萬 像 素 790 590 可 節(jié) 省 圖 像 的 處 理 時(shí) 間 提 高 算 法 的 實(shí) 用 性 顏 色 空 間 變 換 是 數(shù) 字 圖 像 處 理 的 重 要 手 段 之 一 其 中HSV 是 圖 像 處 理 領(lǐng) 域 常 用 的 顏 色 空 間 12 16 通 過HSV 顏 色 空 間 變 換 能 夠 獲 取 圖 像 的 色 調(diào) 飽 和 度 和 亮 度 信 息 經(jīng) 過 不 斷 嘗 試 發(fā) 現(xiàn) 所 攝 圖 像 經(jīng) 過HSV 顏 色 空 間 轉(zhuǎn) 換 并 對(duì) 轉(zhuǎn) 換 后 圖 像 進(jìn) 行 直 方 圖 均 衡 化 后 變 換 回RGB 空 間 的 圖 片 中 露 土 筍 尖 中 心 基 本 保 持 白 色 紋 理 保 留 完 整 且 筍 尖 出 現(xiàn) 較 為 明 顯 的 紅 邊 和 紫 邊 現(xiàn) 象 在 不 同 土 壤 背 景 中 都 具 有 較 高 的 區(qū) 分 度 圖5 這 種 現(xiàn) 象 是 由 于 筍 尖 本 身 表 面 光 潔 并 呈 乳 白 色 即 使 出 土 后 粘 附 浮 土 與 壟 面 土 壤 相 比 仍 然 具 有 較 高 的 飽 和 度 和 亮 度 截 取 筍 尖 和 壟 面 土 壤 進(jìn) 行 局 部 處 理 并 做HSV 分 量 的 直 方 圖 分 析 可 以 明 顯 看 到 筍 尖 中 亮 度 分 量 的V 分 量 偏 高 可 以 作 為 區(qū) 分 筍 尖 和 土 壤 的 顯 著 特 征 圖6 經(jīng) 過 直 方 圖 均 衡 化 處 理 后 這 一 部 分 信 息 得 到 增 強(qiáng) 對(duì) 照 圖4 c 和 圖5 c 可 以 發(fā) 現(xiàn) 原 始 照 片 中 難 以 分 辨 的 筍 尖 在 色 彩 變 換 后 顯 得 十 分 突 出 辨 識(shí) 性 得 到 很 大 提 升 因 此 可 以 將 該 區(qū) 域 及 其 鄰 域 作 為 筍 芽 圖 像 辨 識(shí) 的ROI 區(qū) 域 a 圖 像 標(biāo) 定 b 角 點(diǎn) 檢 測 圖 3 圖 像 標(biāo) 定 與 角 點(diǎn) 檢 測 Fig 3 Imagecalibrationandcornerdetection 6 8李 揚(yáng) 等 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 Vol 2 No 4 a 干 燥 土 壤 1 f 潮 濕 土 壤 1 b 干 燥 土 壤 2 g 潮 濕 土 壤 2 c 干 燥 土 壤 3 h 潮 濕 土 壤 3 d 干 燥 土 壤 4 i 潮 濕 土 壤 4 e 干 燥 土 壤 5 j 潮 濕 土 壤 5 圖 4 不 同 時(shí) 間 和 天 氣 情 景 中 的 白 蘆 筍 尖 照 片 Fig 4 Photosofwhiteasparagusshootsindifferentscenesofdifferenttimeandweather a 干 燥 土 壤 1 f 潮 濕 土 壤 1 b 干 燥 土 壤 2 g 潮 濕 土 壤 2 c 干 燥 土 壤 3 h 潮 濕 土 壤 3 d 干 燥 土 壤 4 i 潮 濕 土 壤 4 e 干 燥 土 壤 5 j 潮 濕 土 壤 5 圖 5 H S V 直 方 圖 均 值 化 后 的 筍 尖 圖 片 Fig 5 ImagesofwhiteasparagusshootsafterHSVhistogramaveraging 6 9Vol 2 No 4 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 原始圖像 直方圖均值化 a 筍 尖1 原始圖像 直方圖均值化 c 土 壤 1 e 筍 芽 1 直 方 圖 g 土 壤 1 直 方 圖 原始圖像 直方圖均值化 b 筍 尖2 原始圖像 直方圖均值化 d 土 壤 2 f 筍 芽 2 直 方 圖 h 土 壤 2 直 方 圖 圖 6 筍 尖 和 土 壤 對(duì) 比 分 析 Fig 6 Comparativeanalysisofasparagusshootandsoil 7 0李 揚(yáng) 等 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 Vol 2 No 4 2 5 筍 尖 圖 像 特 征 聚 類 分 析 筍 尖 實(shí) 時(shí) 定 位 需 要 解 決 兩 個(gè) 問 題 一 是 快 速 判 斷 當(dāng) 前 拍 攝 的 圖 像 中 是 否 包 含 筍 尖 二 是 包 含 的 筍 尖 具 體 在 圖 像 中 什 么 位 置 即 采 收 系 統(tǒng) 既 要 響 應(yīng) 快 速 又 要 定 位 準(zhǔn) 確 K 均 值 聚 類 算 法 作 為 一 種 無 監(jiān) 督 學(xué) 習(xí) 算 法 被 頻 繁 地 應(yīng) 用 于 數(shù) 據(jù) 挖 掘 和 統(tǒng) 計(jì) 數(shù) 據(jù) 分 析 等 數(shù) 據(jù) 相 關(guān) 領(lǐng) 域 11 12 該 算 法 的 原 理 是 針 對(duì) 數(shù) 據(jù) 集 中 的 不 同 數(shù) 據(jù) 對(duì) 象 距 離 進(jìn) 行 計(jì) 算 找 出 相 鄰 的 數(shù) 據(jù) 對(duì) 象 構(gòu) 成 集 合 對(duì) 數(shù) 據(jù) 集 中 取 出 的 新 個(gè) 體 尋 找 最 小 距 離 的 數(shù) 據(jù) 對(duì) 象 之 后 重 復(fù) 步 驟 直 至 所 得 的 集 合 數(shù) 據(jù) 對(duì) 象 數(shù) 目 超 出 設(shè) 定 閾 值 計(jì) 算 結(jié) 束 集 合 所 得 的 數(shù) 據(jù) 對(duì) 象 重 復(fù) 上 述 步 驟 直 到 得 到k 個(gè) 初 始 聚 類 中 心 在 本 研 究 中 通 過 合 理 選 擇 圖 像 的 特 征 向 量 對(duì) 圖 像 進(jìn) 行K 均 值 聚 類 分 析 可 以 實(shí) 現(xiàn) 圖 像 序 列 的 快 速 分 類 從 而 判 定 當(dāng) 前 圖 像 是 否 包 含 筍 尖 可 以 看 到 HSV 直 方 圖 均 值 化 后 筍 尖 區(qū) 域 在1 0 附 近V 分 量 的 分 布 明 顯 較 土 壤 區(qū) 域 更 為 集 中 圖6 e 和 圖6 f 有 明 顯 的 頻 譜 特 征 有 利 于 目 標(biāo) 提 取 對(duì) 于 白 蘆 筍 圖 像 采 集 系 統(tǒng) 獲 取 的 全 部 圖 像 進(jìn) 行HSV 直 方 圖 均 值 化 預(yù) 處 理 將 其V 分 量 以0 05 為 單 位 進(jìn) 行 區(qū) 間 分 割 構(gòu) 成 擁 有20 個(gè) 分 量 的 特 征 向 量x i 并 定 義 區(qū) 間 上 像 素 統(tǒng) 計(jì) 數(shù) 大 于100 的 為1 其 余 為0 在 全 部 采 集 的 圖 像 中 隨 機(jī) 選 取 含 筍 尖 和 不 含 筍 尖 的 各200 張 分 為2 組 進(jìn) 行 聚 類 分 析 本 研 究K 均 值 算 法 中 距 離 測 定 函 數(shù) 采 用 兩 個(gè) 特 征 向 量 的 漢 明 距 離 計(jì) 算 公 式 為 d x y x i y i 3 其 中 為 異 或 取 收 斂 公 式 為 E k 1 K i 1 N k x i m k 2 4 其 中 K 為 圖 片 集 劃 分 聚 類 個(gè) 數(shù) K 2 N k 為 第 k 個(gè) 聚 類 的 數(shù) 據(jù) 個(gè) 數(shù) m k 為 每 一 聚 類 的 均 值 鑒 于K 均 值 聚 類 算 法 效 率 較 高 通 過 試 驗(yàn) 圖 像 集 進(jìn) 行 聚 類 分 析 后 可 以 作 為 視 覺 系 統(tǒng) 圖 像 流 實(shí) 時(shí) 分 類 的 依 據(jù) 從 而 快 速 確 定 圖 像 中 是 否 包 含 筍 尖 在 原 圖 像 集 中 選 取 不 同 的 子 集 作 為 訓(xùn) 練 集 和 測 試 集 最 終 獲 得99 以 上 的 召 回 率 證 明 絕 大 多 數(shù) 筍 尖 都 可 以 被 識(shí) 別 從 而 避 免 漏 采 但 若 要 獲 得 更 準(zhǔn) 確 的 筍 尖 位 置 信 息 需 要 設(shè) 計(jì) 更 為 精 準(zhǔn) 的 筍 尖 定 位 方 法 2 6 變 尺 度 R O I 的 筍 尖 定 位 方 法 ROI 技 術(shù) 允 許 從 圖 像 中 選 擇 一 個(gè) 關(guān) 鍵 部 分 進(jìn) 一 步 減 少 處 理 的 數(shù) 據(jù) 量 提 高 系 統(tǒng) 的 響 應(yīng) 速 度 13 14 但 由 于 白 蘆 筍 抽 發(fā) 長 度 不 一 位 置 各 不 相 同 在 俯 視 拍 攝 角 度 下 筍 尖 出 土 的 大 小 差 異 明 顯 無 法 固 定ROI 的 位 置 和 面 積 為 進(jìn) 一 步 實(shí) 現(xiàn) 筍 尖 快 速 精 確 定 位 本 研 究 提 出 了 變 尺 度 動(dòng) 態(tài) ROI 區(qū) 域 判 別 的 方 法 通 過 編 寫 批 處 理 腳 本 對(duì) 采 集 的3000 余 張 圖 片 進(jìn) 行 預(yù) 處 理 分 析 并 提 取 預(yù) 處 理 后 圖 片 集 的 筍 尖 色 彩 信 息 后 發(fā) 現(xiàn) 筍 尖 的 色 域 一 般 集 中 在R 通 道 范 圍 R 170 255 G 通 道 范 圍 G 50 70 220 255 B 通 道 范 圍 B 220 255 內(nèi) 定 義 R G B 為 筍 尖 色 彩 所 屬 的 色 域 范 圍 變 尺 度 動(dòng) 態(tài)ROI 區(qū) 域 的 確 定 方 法 如 下 1 考 慮 到 露 出 土 壤 的 筍 尖 具 有 一 定 面 積 經(jīng) 對(duì) 照 片 集 統(tǒng) 計(jì) 取 筍 尖 輪 廓 面 積S y 的 閾 值 為 144 像 素 以 正 方 形 計(jì) 算 區(qū) 域 邊 界L y 為12 像 素 對(duì) 圖 像 進(jìn) 行 三 通 道 高 斯 濾 波 取 圖 像 中 點(diǎn) I x y 判 斷 該 點(diǎn)RGB 通 道 值 是 否 屬 于 集 合 若 屬 于 執(zhí) 行 步 驟 2 若 不 屬 于 以 固 定 步 長L y 2 搜 索 圖 中 下 一 點(diǎn) 2 初 始 化ROI 寬 度 L y 2 劃 定ROI 區(qū) 域 為 以I x y 為 角 點(diǎn) 的 正 方 形 區(qū) 域U 其 頂 點(diǎn) 分 別 為 I x y I x y I x y 和 I x y 統(tǒng) 計(jì) 區(qū) 域U 內(nèi) 顏 色 屬 于 集 合 的 點(diǎn) 數(shù) 記 為 s 并 計(jì) 算 其 在U 內(nèi) 的 占 比 記 為 s 2 通 過 在 圖 像 集 隨 機(jī) 采 樣 并 進(jìn) 行 筍 尖 區(qū) 域 的 像 素 特 征 分 析 和 統(tǒng) 計(jì) 得 到 的 區(qū) 間 范 圍 約 為 85 100 3 給 定 的 閾 值 t 為85 令 L y 2 其 中 為 步 驟 3 的 迭 代 次 數(shù) 7 1Vol 2 No 4 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 且 0 1 并 計(jì) 算 相 鄰 兩 次 迭 代 的 變 化 梯 度 1 若 持 續(xù) 大 于1 且 大 于 給 定 閾 值 則 重 復(fù) 步 驟 3 直 到 持 續(xù) 小 于1 且 小 于 給 定 閾 值 記 此 時(shí) 為 o 4 確 定 以I x y I x o y I x y o 和I x o y o 為 頂 點(diǎn) 的 區(qū) 域 為 一 個(gè)ROI 并 將 其 記 錄 到 隊(duì) 列 S ROI 令 I x y I x o y 回 到 步 驟 1 直 到 搜 索 完 整 幅 圖 片 算 法 結(jié) 束 整 個(gè) 算 法 流 程 圖 如 圖7 所 示 確 定ROI 區(qū) 域 后 需 要 判 別 是 否 包 含 筍 尖 并 進(jìn) 行 中 心 定 位 以 便 后 續(xù) 機(jī) 械 化 采 收 判 別 方 法 采 用 紋 理 和 形 態(tài) 學(xué) 相 結(jié) 合 的 方 式 進(jìn) 行 考 慮 到 筍 尖 區(qū) 域 具 有 一 定 圓 度 取 一 定 數(shù) 量 的 筍 尖 圖 像 計(jì) 算 其 圓 度 值 計(jì) 算 公 式 為 C 4 S L 2 5 繪 制 筍 尖 圓 度 分 布 曲 線 如 圖8 所 示 可 以 看 到 筍 尖 圓 度 主 要 集 中 在0 7 1 0 之 間 為 了 盡 量 避 免 筍 尖 漏 檢 取 圓 度 檢 測 閾 值 為0 7 通 過 對(duì) 圓 度 進(jìn) 行 檢 測 可 以 將 小 于 該 閾 值 的 輪 廓 剔 除 此 外 考 慮 到 筍 尖 與 土 壤 在 紋 理 上 有 一 定 的 紋 理 區(qū) 別 選 取 其 四 個(gè) 相 關(guān) 度 低 的 特 征 值 作 為 紋 理 特 征 參 數(shù) 進(jìn) 行 處 理 分 別 為 角 二 階 矩 Asm 對(duì) 比 度 Con 逆 方 差 Idm 和 熵 Ent 計(jì) 算 公 式 分 別 如 公 式 6 9 所 示 Asm x 0 o 1 y 0 o 1 I 2 x y 6 Con x 0 o 1 y 0 o 1 x y 2 I x y 7 Idm x 0 o 1 y 0 o 1 I x y 1 x y 2 8 Ent x 0 o 1 y 0 o 1 logI x y 9 對(duì) 抽 選 的50 張 典 型 筍 尖 和 紋 理 進(jìn) 行 特 征 參 數(shù) 計(jì) 算 結(jié) 果 如 表1 所 示 可 以 看 到 筍 尖 和 土 壤 的 對(duì) 比 度 差 異 明 顯 熵 值 有 一 定 差 異 角 二 階 矩 和 逆 方 差 幾 乎 無 法 區(qū) 分 因 此 紋 理 參 數(shù) 只 以 對(duì) 比 度 和 熵 值 作 為 區(qū) 分 筍 尖 和 土 壤 的 參 考 并 在 ROI 中 的 筍 尖 判 別 過 程 中 設(shè) 置 較 低 權(quán) 重 為0 3 而 圓 度 檢 測 權(quán) 重 為0 7 經(jīng) 過 圖 像 濾 波 ROI 判 定 圓 度 檢 測 和 紋 理 對(duì) 比 后 試 驗(yàn) 證 明 圖 像 中 的 筍 尖 能 夠 以98 以 上 圖 7 R O I 區(qū) 域 判 別 流 程 圖 Fig 7 FlowchartofROIregionrecognition 圖 8 筍 尖 圓 度 分 析 結(jié) 果 Fig 8 Analysisofasparagusshoottiproundness 7 2李 揚(yáng) 等 白 蘆 筍 采 收 機(jī) 器 人 視 覺 定 位 與 采 收 路 徑 優(yōu) 化 方 法 Vol 2 No 4 的 概 率 被 識(shí) 別 見4 2 節(jié) 進(jìn) 一 步 對(duì) 識(shí) 別 圖 像 進(jìn) 行 二 值 化 處 理 并 計(jì) 算 其 幾 何 中 心 從 而 定 位 筍 尖 的 具 體 位 置 為 白 蘆 筍 采 收 提 供 數(shù) 據(jù) 支 持 整 個(gè) 圖 像 處 理 過 程 如 圖9 所 示 經(jīng) 過 測 試 算 法 的 平 均 召 回 率 和 平 均 準(zhǔn) 確 率 分 別 為 87 6 和 95 1 結(jié) 果 表 明 算 法 的 快 速 識(shí) 別 較 好 在 保 證 識(shí) 別 精 度 的 同 時(shí) 簡 化 了 圖 像 處 理 過 程 加 快 了 白 蘆 筍 識(shí) 別 速 度 能 夠 應(yīng) 用 于 戶 外 白 蘆 筍 筍 尖 和 土 壤 信 息 的 準(zhǔn) 確 提 取 3 多 筍 尖 采 收 路 徑 優(yōu) 化 3 1 采 收 路 徑 分 析 通 過 機(jī) 器 視 覺 定 位 筍 尖 位 置 為 自 動(dòng) 化 采 收 白 蘆 筍 奠 定 了 基 礎(chǔ) 由 于 筍 尖 抽 發(fā) 的 隨 機(jī) 性 采 收 區(qū) 域 內(nèi) 不 可 避 免 地 會(huì) 出 現(xiàn) 多 個(gè) 筍 尖 共 存 為 提 高 白 蘆 筍 的 采 收 效 率 本 研 究 設(shè) 計(jì) 了 一 種 應(yīng) 用 于 白 蘆 筍 采 收 過 程 的 機(jī) 器 人 路 徑 優(yōu) 化 算 法 根 據(jù) 白 蘆 筍 采 收 機(jī) 器 人 的 整 機(jī) 結(jié) 構(gòu) 設(shè) 計(jì) 的 末 端 執(zhí) 行 器 的 白 蘆 筍 采 收 路 徑 為 末 端 執(zhí) 行 器 從 初 始 點(diǎn)O 出 發(fā) 可 選 擇A B C 中 的 任 意 一 個(gè) 白 蘆 筍 進(jìn) 行 采 收 可 以 選 擇 沿X 軸 絲 杠 向 左 或 向 右 運(yùn) 動(dòng) 到 兩 側(cè) 的 集 箱 點(diǎn) 進(jìn) 行 白 蘆 筍 的 放 置 進(jìn) 而 以 當(dāng) 前 集 箱 點(diǎn) 為 初 始 點(diǎn) 根 據(jù) 上 述 規(guī) 則 完 成 其 余 白 筍 的 收 獲 考 慮 采 收 區(qū) 域 內(nèi) 有3 個(gè) 待 采 白 蘆 筍 則 白 蘆 筍 的 采 收 路 徑 示 意 圖 如 圖10 紅 線 所 示 其 中O 點(diǎn) 表 示 末 端 執(zhí) 行 器 開 始 工 作 時(shí) 的 初 始 點(diǎn) A B C 表 示 白 蘆 筍 的 位 置 A1 A2 表 示 采 完A 點(diǎn) 白 蘆 筍 后 的 集 箱 點(diǎn) B1 B2 表 示 采 完 B 點(diǎn) 白 蘆 筍 后 的 集 箱 點(diǎn) C1 C2 表 示 采 完C 點(diǎn) 白 蘆 筍 后 的 集 箱 點(diǎn) N 點(diǎn) 為 采 收 區(qū) 域 的 邊 界 點(diǎn) 其 橫 縱 坐 標(biāo) 值 對(duì) 應(yīng) 采 收 區(qū) 域 橫 向 和 縱 向 的 最 大 邊 界 長 度 3 2 路 徑 規(guī) 劃 決 策 樹 構(gòu) 建 在 本 研 究 構(gòu) 建 的 采 收 系 統(tǒng) 中 圖 像 采 集 和 白 蘆 筍 采 收 區(qū) 域 為100 cm 80 cm 的 長