2020 年12 月 第2 卷 第4 期 Dec 2020 Vol 2 No 4 智 慧 農 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 果 蔬 采 摘 機 器 手 系 統(tǒng) 設 計 與 控 制 技 術 研 究 現(xiàn) 狀 和 發(fā) 展 趨 勢 吳 劍 橋 1 范 圣 哲 2 貢 亮 2 苑 進 3 周 強 4 劉 成 良 2 1 上 海 市 農 業(yè) 機 械 研 究 所 上 海 2 0 1 1 0 6 2 上 海 交 通 大 學 機 械 與 動 力 工 程 學 院 上 海 2 0 0 2 4 0 3 山 東 農 業(yè) 大 學 機 械 電 子 工 程 學 院 山 東 泰 安 2 7 1 0 1 8 4 上 海 市 農 業(yè) 科 學 院 上 海 2 0 1 4 0 3 摘 要 鮮 食 果 蔬 收 獲 是 難 以 實 現(xiàn) 機 械 化 作 業(yè) 的 生 產 環(huán) 節(jié) 高 效 低 損 采 摘 也 是 農 業(yè) 機 器 人 研 發(fā) 領 域 中 的 難 題 導 致 目 前 市 場 化 的 自 動 化 果 蔬 采 摘 裝 備 生 產 應 用 幾 乎 空 白 針 對 鮮 食 果 蔬 采 摘 需 求 為 改 善 人 工 采 摘 費 時 費 力 效 率 低 下 自 動 化 程 度 低 的 問 題 近 3 0 年 來 國 內 外 學 者 設 計 了 一 系 列 自 動 化 采 摘 設 備 推 動 了 農 業(yè) 機 器 人 技 術 的 發(fā) 展 在 研 發(fā) 鮮 食 果 蔬 采 摘 設 備 時 首 先 要 確 定 采 收 對 象 和 采 收 場 景 針 對 作 物 的 生 長 位 置 形 狀 和 重 量 場 景 的 復 雜 程 度 所 需 自 動 化 程 度 通 過 復 雜 度 預 估 力 學 特 性 分 析 姿 態(tài) 建 模 等 方 式 明 確 農 業(yè) 機 器 人 的 設 計 需 求 其 次 作 為 整 個 采 摘 動 作 的 核 心 執(zhí) 行 者 采 摘 機 器 人 的 末 端 執(zhí) 行 器 設 計 尤 為 重 要 本 文 對 采 摘 機 器 人 末 端 執(zhí) 行 器 的 結 構 進 行 了 分 類 總 結 了 末 端 執(zhí) 行 器 的 設 計 流 程 與 方 法 闡 述 了 常 見 的 末 端 執(zhí) 行 器 驅 動 方 式 切 割 方 案 并 對 果 實 收 集 機 構 進 行 了 概 括 再 次 本 文 概 述 了 采 摘 機 器 人 的 總 體 控 制 方 案 識 別 定 位 方 法 避 障 方 法 及 自 適 應 控 制 方 案 品 質 分 類 方 法 以 及 人 機 交 互 多 機 協(xié) 作 方 案 為 了 總 體 評 價 采 摘 機 器 人 的 性 能 本 文 還 提 出 了 平 均 采 摘 效 率 長 期 采 摘 效 率 采 收 質 量 損 傷 率 和 漏 采 率 指 標 最 后 本 文 對 自 動 化 采 摘 機 械 的 總 體 發(fā) 展 趨 勢 進 行 了 展 望 指 明 了 采 摘 機 器 手 系 統(tǒng) 將 向 著 采 摘 目 標 場 景 通 用 化 結 構 形 式 多 樣 化 全 自 動 化 智 能 化 集 群 化 方 向 發(fā) 展 的 趨 勢 關 鍵 詞 采 摘 機 械 場 景 分 析 機 械 抓 手 自 動 控 制 評 價 指 標 發(fā) 展 趨 勢 中 圖 分 類 號 T P 2 4 1 3 文 獻 標 志 碼 A 文 章 編 號 2 0 2 0 1 1 S A 0 0 4 引 文 格 式 吳 劍 橋 范 圣 哲 貢 亮 苑 進 周 強 劉 成 良 果 蔬 采 摘 機 器 手 系 統(tǒng) 設 計 與 控 制 技 術 研 究 現(xiàn) 狀 和 發(fā) 展 趨 勢 J 智 慧 農 業(yè) 中 英 文 2020 2 4 17 40 WU Jianqiao FAN Shengzhe GONG Liang YUAN Jin ZHOU Qiang LIU Chengliang Research statusand devel opmentdirection ofdesign and controltechnology offruitand vegetable picking robotsystem J SmartAgriculture 2020 2 4 17 40 inChinesewithEnglishabstract 1 引 言 機 器 人 和 機 械 手 通 常 被 用 來 代 替 人 類 完 成 枯 燥 重 復 骯 臟 或 危 險 的 工 作 1 3 在 過 去 的 四 十 余 年 中 機 器 人 經 歷 了 蓬 勃 的 發(fā) 展 4 6 但 受 限 于 當 前 技 術 水 平 很 多 人 類 可 以 輕 易 完 成 的 工 作 例 如 拾 起 和 放 置 形 狀 大 小 材 料 和 表 面 特 性 差 異 很 大 的 物 體 對 于 機 器 人 而 言 仍 具 有 挑 doi 10 12133 j smartag 2020 2 4 202011 SA004 收 稿 日 期 2020 11 20 修 訂 日 期 2020 12 25 基 金 項 目 上 海 市 科 委 科 技 創(chuàng) 新 行 動 項 目 滬 農 科 推 字 2017 第2 1 號 作 者 簡 介 吳 劍 橋 1964 男 高 級 工 程 師 研 究 方 向 為 設 施 農 業(yè) 智 能 裝 備 E mail wujianqiao64 通 訊 作 者 劉 成 良 1964 男 博 士 教 授 研 究 方 向 為 智 能 機 器 人 與 人 工 智 能 方 向 研 究 電 話 13916142618 E mail chlliu Vol 2 No 4 智 慧 農 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 戰(zhàn) 性 7 8 機 械 手 是 一 種 安 裝 在 機 器 人 上 的 工 具 用 于 抓 緊 搬 運 和 放 置 目 標 是 機 器 人 的 重 要 執(zhí) 行 器 之 一 9 區(qū) 別 于 單 獨 的 機 械 末 端 機 械 手 是 包 括 設 計 目 標 機 械 結 構 驅 動 方 式 控 制 方 案 視 覺 算 法 評 價 體 系 等 一 系 列 相 關 領 域 的 系 統(tǒng) 結 合 自1975 年 以 來 由 于 在 多 個 領 域 出 現(xiàn) 了 大 量 對 機 器 手 的 不 同 需 求 其 設 計 和 制 造 技 術 得 到 了 迅 速 的 發(fā) 展 10 Festo Schunk BTM 等 公 司 已 經 開 發(fā) 了 許 多 機 械 結 構 驅 動 形 式 各 異 的 商 用 機 械 手 為 了 將 人 力 從 繁 重 重 復 低 效 的 工 作 中 解 放 出 來 作 為 農 業(yè) 機 器 人 最 重 要 的 組 件 之 一 機 械 手 已 經 應 用 到 了 農 業(yè) 的 各 個 領 域 例 如 收 獲 水 果 和 蔬 菜 11 14 嫁 接 15 17 移 植 18 20 和 修 剪 21 23 等 但 目 前 機 器 手 在 農 業(yè) 食 品 和 生 物 等 領 域 的 發(fā) 展 尚 不 如 在 制 造 業(yè) 中 成 熟 10 24 26 這 主 要 是 由 于 以 下 幾 點 原 因 造 成 一 是 農 業(yè) 環(huán) 境 具 有 非 結 構 化 或 半 結 構 化 的 特 點 導 致 其 場 景 復 雜 度 遠 遠 高 于 工 業(yè) 環(huán) 境 27 28 對 采 摘 機 械 算 法 的 魯 棒 性 以 及 機 械 的 穩(wěn) 定 性 都 提 出 了 很 高 的 要 求 二 是 農 產 品 通 常 具 有 質 地 脆 弱 易 擦 傷 易 粘 附 和 難 以 被 夾 緊 的 特 點 其 抓 取 復 雜 度 遠 高 于 簡 單 的 工 件 三 是 農 業(yè) 產 品 的 果 實 的 形 態(tài) 特 征 生 長 發(fā) 育 情 況 各 異 且 個 體 之 間 也 有 較 大 差 異 29 四 是 農 產 品 通 常 具 有 較 為 固 定 的 采 摘 時 機 不 當 的 采 摘 時 間 將 大 大 影 響 農 產 品 的 質 量 水 平 對 采 摘 機 械 的 智 能 化 與 工 作 效 率 提 出 了 較 高 要 求 五 是 采 摘 機 械 的 服 務 對 象 大 多 是 農 民 因 此 采 摘 機 械 要 具 有 工 作 可 靠 操 作 簡 單 的 特 點 除 此 之 外 考 慮 到 農 產 品 的 利 潤 較 低 季 節(jié) 性 較 強 等 特 點 需 要 嚴 格 控 制 采 摘 機 械 的 成 本 由 于 上 述 因 素 的 存 在 應 用 在 農 業(yè) 中 的 機 械 手 對 材 料 的 選 擇 抓 取 方 式 的 設 計 控 制 和 識 別 算 法 的 設 計 都 提 出 了 更 高 的 要 求 目 前 已 有 許 多 專 門 針 對 采 摘 機 器 人 如 完 整 采 摘 機 器 人 系 統(tǒng) 6 30 和 收 獲 機 器 人 5 31 32 技 術 等 方 面 的 綜 述 針 對 水 果 和 蔬 菜 的 采 摘 與 加 持 機 器 手 2 機 械 末 端 的 設 計 和 優(yōu) 化 33 機 械 末 端 及 其 應 用 1 或 針 對 機 器 人 的 某 些 子 任 務 的 綜 述 如 控 制 導 航 34 36 和 果 實 定 位 37 38 等 本 文 在 前 人 綜 述 的 基 礎 之 上 針 對 應 用 于 果 蔬 采 摘 的 機 器 手 系 統(tǒng) 從 采 收 對 象 和 場 景 采 摘 機 械 結 構 采 摘 控 制 方 案 以 及 系 統(tǒng) 評 價 指 標 四 大 方 面 展 開 綜 述 分 析 了 目 前 采 摘 機 械 手 主 流 的 采 摘 目 標 應 用 場 景 總 結 了 目 前 采 摘 機 械 手 主 要 的 機 械 結 構 形 式 和 抓 取 方 式 概 括 了 剛 性 采 摘 機 械 手 的 設 計 流 程 梳 理 了 目 前 采 摘 機 械 手 系 統(tǒng) 主 流 的 總 控 方 案 識 別 定 位 方 法 和 避 障 算 法 歸 納 了 采 摘 機 械 手 系 統(tǒng) 的 評 價 指 標 并 針 對 未 來 采 摘 機 械 手 的 發(fā) 展 方 向 和 趨 勢 進 行 了 展 望 2 采 收 對 象 和 場 景 鑒 于 目 前 采 摘 機 器 人 能 力 的 限 制 市 面 上 沒 有 能 夠 適 應 所 有 種 類 所 有 場 景 的 作 物 采 摘 器 械 因 此 在 采 摘 機 械 機 械 手 設 計 之 初 設 計 者 必 須 針 對 不 同 的 采 摘 目 標 和 采 摘 場 景 進 行 分 析 因 地 制 宜 地 進 行 設 計 采 摘 機 械 總 體 而 言 影 響 機 器 人 采 收 目 標 的 設 計 包 括 采 收 對 象 的 特 征 和 機 器 人 運 行 的 場 景 兩 方 面 因 素 2 1 采 摘 果 實 的 種 類 智 能 采 摘 機 械 與 傳 統(tǒng) 農 機 在 采 摘 目 標 上 有 很 大 不 同 這 是 由 于 它 的 高 成 本 和 工 作 的 高 復 雜 性 決 定 的 智 能 采 摘 機 械 的 目 標 作 物 通 常 是 水 果 花 卉 蔬 菜 香 料 等 高 價 值 作 物 這 類 作 物 比 主 食 作 物 的 收 獲 過 程 更 為 復 雜 且 要 求 更 高 但 與 此 同 時 這 類 作 物 也 具 有 更 高 的 價 值 和 利 潤 因 此 針 對 這 些 作 物 的 智 能 采 摘 機 械 具 有 較 高 的 市 場 需 求 和 良 好 的 發(fā) 展 前 景 為 開 發(fā) 出 足 夠 智 能 的 采 摘 機 械 國 內 外 學 者 已 經 進 行 了 長 時 間 的 探 索 國 外 在 采 摘 機 械 的 研 制 方 面 起 步 較 早 歐 美 和 日 本 等 發(fā) 達 國 家 在 采 摘 機 械 方 面 的 研 究 始 于 上 個 世 紀 目 前 已 經 有 比 較 高 的 水 平 為 緩 解 勞 動 力 短 缺 對 農 業(yè) 可 持 續(xù) 發(fā) 展 帶 來 的 不 良 影 響 Preter 等 39 設 計 了 一 種 無 損 傷 草 莓 采 摘 機 械 其 1 8吳 劍 橋 等 果 蔬 采 摘 機 器 手 系 統(tǒng) 設 計 與 控 制 技 術 研 究 現(xiàn) 狀 和 發(fā) 展 趨 勢 Vol 2 No 4 原 型 機 可 以 在4 s 內 完 成 一 顆 草 莓 的 采 摘 為 解 決 人 工 采 摘 草 莓 耗 時 較 多 人 工 成 本 過 高 的 問 題 Xiong 等 40 設 計 了 一 種 草 莓 采 摘 機 器 人 使 用 電 纜 驅 動 的 手 指 包 裹 草 莓 果 實 完 成 采 摘 對 于 單 獨 的 草 莓 的 采 摘 成 功 率 接 近96 8 但 在 實 際 農 場 中 僅 能 達 到59 為 解 決 勞 動 力 匱 乏 的 問 題 并 提 高 生 物 產 品 質 量 20 世 紀70 年 代 后 期 日 本 已 研 制 出 如 嫁 接 機 器 人 扦 插 機 器 人 移 栽 機 器 人 和 采 摘 機 器 人 等 多 種 農 業(yè) 機 器 人 41 20 世 紀90 年 代 日 本 研 制 出 了 能 夠 應 用 于 農 業(yè) 生 產 的 機 器 人 但 這 些 機 器 人 大 多 只 能 完 成 特 定 的 一 項 工 作 為 解 決 這 個 問 題 日 本 岡 山 大 學 的 Monta 等 42 設 計 了 一 種 多 功 能 葡 萄 采 摘 機 器 人 可 以 完 成 收 割 漿 果 稀 釋 噴 灑 農 藥 果 實 裝 袋 四 種 任 務 為 解 決 茄 子 收 獲 過 程 復 雜 占 用 時 間 多 的 問 題 日 本 蔬 菜 與 茶 科 學 研 究 所 的Hayas hi 43 研 制 了 一 種 可 以 完 成 識 別 處 理 和 揀 選 任 務 的 茄 子 收 獲 機 器 人 成 功 收 獲 率 為62 5 每 收 獲 一 個 茄 子 耗 時64 1 s 日 本 京 都 大 學 的Kon do 團 隊 一 直 致 力 于 采 摘 機 械 的 研 究 已 成 功 研 制 出 了 番 茄 44 草 莓 45 46 菊 花 47 等 采 摘 機 器 人 國 內 采 摘 機 械 研 制 雖 與 國 外 頂 尖 水 平 仍 有 一 定 差 距 但 在 近 些 年 已 有 較 大 進 展 為 解 決 手 工 收 割 番 茄 費 時 費 力 且 不 利 于 大 規(guī) 模 種 植 的 問 題 Wang 等 48 設 計 了 一 種 具 有 四 軸 獨 立 轉 向 系 統(tǒng) 五 自 由 度 收 割 系 統(tǒng) 以 及 雙 目 立 體 視 覺 導 航 系 統(tǒng) 的 溫 室 番 茄 收 割 機 器 人 其 識 別 成 功 率 高 達 99 3 采 摘 成 功 率 為86 且 每 個 番 茄 采 摘 時 間 僅 需15 s 為 解 決 柑 橘 廢 棄 嚴 重 及 機 械 化 收 獲 水 平 低 的 問 題 霍 銀 龍 等 49 設 計 了 一 種 全 自 動 旋 轉 式 柑 橘 機 械 采 摘 機 實 現(xiàn) 了 柑 橘 果 實 的 采 摘 收 集 和 自 動 裝 箱 為 制 造 出 低 成 本 和 高 效 的 采 桃 機 械 Yu 等 50 設 計 了 一 種 六 自 由 度 采 桃 機 械 手 結 合 核 相 關 濾 波 算 法 Kernel Correlation Filter KCF 高 速 跟 蹤 算 法 和 高 精 度 測 距 算 法 該 機 械 目 標 檢 測 速 度 約 為14 幀 s 平 均 識 別 率 超 過90 目 標 跟 蹤 速 度 約 為40 幀 s 目 前 主 流 的 采 摘 果 實 目 標 為 蘋 果 草 莓 茄 子 柑 橘 等 這 類 果 實 具 有 體 積 較 小 顏 色 鮮 艷 生 長 位 置 適 合 機 械 化 采 摘 的 特 點 為 識 別 和 采 摘 帶 來 了 很 大 便 利 對 于 西 瓜 甜 瓜 等 果 實 由 于 其 具 有 體 積 較 大 成 熟 度 難 以 區(qū) 分 果 實 顏 色 與 葉 片 及 藤 蔓 接 近 等 特 點 對 識 別 和 采 摘 造 成 了 很 大 困 難 相 關 的 研 究 較 少 目 前 沒 有 十 分 有 效 的 采 摘 方 案 而 對 于 花 生 土 豆 一 類 果 實 生 長 在 地 下 的 作 物 由 于 其 果 實 的 識 別 和 摘 取 難 度 過 高 目 前 也 沒 有 合 適 的 采 摘 方 案 除 此 之 外 當 前 的 采 摘 機 械 手 具 有 很 強 的 專 用 性 而 同 種 果 實 在 一 年 中 的 采 摘 季 節(jié) 通 常 是 短 暫 而 固 定 的 這 種 專 用 型 采 摘 機 械 無 疑 降 低 了 使 用 率 增 加 了 成 本 因 此 設 計 多 功 能 采 摘 機 械 和 通 用 型 采 摘 機 械 將 大 大 提 升 采 摘 機 械 的 使 用 率 和 降 低 使 用 成 本 也 必 然 是 農 業(yè) 未 來 的 重 點 研 究 方 向 之 一 2 2 采 摘 對 象 的 力 學 特 性 為 在 力 學 方 面 對 采 摘 機 械 設 計 提 供 理 論 指 導 國 內 外 學 者 對 被 采 摘 果 實 的 力 學 特 性 進 行 了 一 系 列 研 究 劉 繼 展 等 51 對 不 同 成 熟 期 的 番 茄 果 實 進 行 了 擠 壓 實 驗 對 番 茄 的 果 梗 進 行 折 斷 和 拉 斷 實 驗 對 番 茄 及 其 果 梗 的 力 學 特 性 進 行 了 分 析 得 出 了 折 斷 方 式 比 拉 斷 方 式 更 適 合 番 茄 采 摘 的 結 論 為 研 究 靈 武 長 棗 硬 脆 性 所 帶 來 的 易 損 問 題 劉 博 翰 52 根 據(jù) 不 同 成 熟 度 靈 武 長 棗 的 力 學 行 為 使 用 多 種 實 驗 儀 器 對 棗 的 動 壓 機 械 損 傷 和 沖 擊 機 械 損 傷 進 行 深 入 分 析 得 到 了 對 應 的 彈 塑 性 力 學 方 程 為 采 摘 執(zhí) 行 機 構 的 設 計 提 供 了 理 論 依 據(jù) 除 此 之 外 由 于 包 裹 型 抓 手 對 于 抓 取 力 有 較 為 嚴 格 的 限 制 部 分 學 者 在 設 計 包 裹 型 抓 手 前 會 對 果 實 的 某 一 項 力 學 性 能 進 行 測 試 或 試 驗 Dimeas 等 53 在 設 計 草 莓 采 摘 抓 手 時 采 用 兩 種 抓 取 方 案 對 草 莓 的 摘 取 力 拉 力 彎 曲 力 進 行 了 一 系 列 測 試 得 出 側 面 夾 取 是 最 優(yōu) 抓 取 姿 勢 為 獲 取 氣 吸 式 采 摘 枸 杞 的 最 佳 工 作 參 數(shù) 王 榮 炎 等 54 對 枸 杞 進 行 了 力 學 實 驗 使 用FLUENT 軟 1 9Vol 2 No 4 智 慧 農 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 件 對 氣 吸 式 采 摘 裝 置 的 管 道 進 行 建 模 仿 真 得 到 管 道 的 氣 體 壓 力 和 速 度 云 圖 并 通 過 氣 吸 采 摘 實 驗 得 出 了 該 設 備 的 最 佳 工 作 參 數(shù) 為 氣 吸 式 枸 杞 采 摘 裝 置 的 研 制 提 供 了 指 導 總 體 而 言 目 前 國 內 外 學 者 對 果 實 的 力 學 特 性 雖 有 所 探 索 但 大 多 比 較 簡 單 和 片 面 缺 乏 系 統(tǒng) 的 研 究 和 理 論 支 撐 這 主 要 是 由 于 果 實 作 為 一 種 生 物 材 料 在 力 學 特 性 與 傳 統(tǒng) 材 料 上 有 很 大 區(qū) 別 目 前 果 實 力 學 特 性 方 面 缺 乏 完 整 的 理 論 體 系 相 關 領 域 的 進 步 仍 需 要 依 靠 生 物 力 學 的 進 一 步 發(fā) 展 2 3 對 位 姿 的 建 模 方 法 位 姿 建 模 指 的 是 對 采 摘 目 標 的 位 置 和 姿 態(tài) 進 行 估 算 從 而 為 采 摘 機 器 人 的 運 動 路 徑 規(guī) 劃 姿 態(tài) 規(guī) 劃 提 供 指 導 為 解 決 蘋 果 視 覺 定 位 中 對 獲 取 果 實 的 姿 態(tài) 信 息 較 少 影 響 采 摘 成 功 率 的 問 題 張 高 陽 55 基 于 粒 子 濾 波 理 論 結 合 雙 目 視 覺 信 息 和 運 動 中 的 單 目 信 息 完 成 了 對 蘋 果 的 定 位 并 通 過 花 萼 遺 跡 是 否 可 見 將 蘋 果 姿 態(tài) 分 為 兩 種 模 型 從 而 完 成 蘋 果 姿 態(tài) 的 測 量 對 每 幅 圖 像 進 行 姿 態(tài) 測 量 需4 s 左 右 抓 取 每 個 蘋 果 需 要30s 左 右 為 解 決 水 果 分 級 生 產 過 程 中 姿 態(tài) 的 識 別 問 題 姚 立 健 等 56 設 計 了 一 種 采 用 慣 性 主 軸 方 法 計 算 水 果 果 軸 的 算 法 測 得 果 軸 正 投 影 傾 角 的 誤 差 為4 4 果 軸 檢 測 正 確 率 為86 可 有 效 檢 測 分 級 生 產 中 水 果 的 姿 態(tài) 為 解 決 位 姿 識 別 問 題 對 柑 橘 采 摘 造 成 的 困 難 張 哲 57 通 過 對 采 摘 機 器 人 進 行 正 逆 運 動 學 求 解 獲 得 了 機 器 人 采 摘 姿 態(tài) 的 目 標 函 數(shù) 提 出 了 一 種 采 摘 序 列 規(guī) 劃 方 法 通 過 搭 建 實 驗 平 臺 進 行 測 試 實 驗 得 出 采 摘 機 器 人 在 室 內 外 環(huán) 境 下 末 端 執(zhí) 行 器 包 含 柑 橘 的 成 功 率 分 別 為 89 47 和 70 總 之 目 前 主 流 的 位 姿 建 模 方 法 是 基 于 視 覺 識 別 和 空 間 幾 何 計 算 的 方 法 即 通 過 對 果 軸 質 心 或 采 摘 點 等 特 征 的 識 別 結 合 幾 何 計 算 得 到 目 標 的 位 置 和 姿 態(tài) 但 是 由 于 果 實 結 構 各 不 相 同 通 常 需 要 對 每 一 種 果 實 各 設 定 一 套 算 法 研 發(fā) 成 本 較 高 此 外 同 種 水 果 的 不 同 個 體 也 存 在 一 定 的 形 狀 差 異 從 而 對 算 法 的 精 確 性 造 成 影 響 未 來 的 主 要 研 究 方 向 是 設 計 一 套 通 用 精 確 的 采 摘 目 標 姿 態(tài) 建 模 方 法 受 制 于 傳 統(tǒng) 卷 積 神 經 網 絡 對 位 姿 信 息 的 忽 略 深 度 學 習 方 法 在 果 實 位 姿 檢 測 這 一 領 域 應 用 較 少 Sabour 等 58 曾 提 出CapNet 網 絡 結 構 相 較 于 傳 統(tǒng) 卷 積 神 經 網 絡 Convolutional Neural Networks CNN CapNet 網 絡 對 物 體 的 姿 勢 和 相 互 位 置 更 加 敏 感 且 被 認 為 在 物 體 姿 態(tài) 描 述 領 域 具 有 重 大 潛 力 除 此 之 外 為 解 決 物 體 姿 態(tài) 估 計 問 題 Hu 等 59 提 出 了 一 種 姿 態(tài) 估 計 網 絡 該 網 絡 由 圖 像 分 割 流 和 關 鍵 點 檢 測 流 組 成 對 于 網 絡 獲 取 的 關 鍵 點 對 利 用 基 于RANSAC 的PnP 產 生 姿 勢 估 計 經 試 驗 測 定 該 算 法 在 遮 擋 較 少 和 物 體 大 小 適 中 的 情 況 下 具 有 較 好 的 性 能 相 關 的 研 究 工 作 將 把 深 度 學 習 引 入 對 位 姿 的 建 模 成 為 可 能 2 4 采 摘 場 景 采 摘 場 景 總 體 可 分 為 實 驗 室 環(huán) 境 大 棚 內 環(huán) 境 和 露 天 實 景 還 可 以 繼 續(xù) 根 據(jù) 場 景 的 復 雜 性 進 行 分 類 場 景 復 雜 度 指 果 實 的 疏 密 情 況 相 互 遮 擋 情 況 果 樹 的 布 局 情 況 以 及 光 照 氣 候 的 變 化 情 況 等 綜 合 文 獻 31 并 考 慮 場 景 深 度 和 背 景 復 雜 度 將 幾 種 典 型 的 因 素 對 場 景 復 雜 度 影 響 歸 結 如 表1 表 1 典 型 場 景 復 雜 度 對 采 摘 性 能 的 影 響 Table1 Theimpactoftypicalscenecomplexityonpicking performance 因 素 風 云 防 護 可 控 照 明 植 物 生 長 一 致 性 對 象 可 見 性 導 航 難 度 固 定 機 器 人 適 用 性 場 景 深 度 背 景 復 雜 度 生 產 環(huán) 境 果 園 溫 室 室 內 開 放 的 野 外 注 表 示 對 采 摘 性 能 具 有 負 面 影 響 表 示 對 采 摘 性 能 具 有 正 面 影 響 2 0吳 劍 橋 等 果 蔬 采 摘 機 器 手 系 統(tǒng) 設 計 與 控 制 技 術 研 究 現(xiàn) 狀 和 發(fā) 展 趨 勢 Vol 2 No 4 對 提 及 采 摘 成 功 率 的 文 獻 進 行 統(tǒng) 計 發(fā) 現(xiàn) 目 前 大 多 數(shù) 采 摘 機 械 針 對 孤 立 的 果 實 能 夠 取 得 很 好 的 識 別 和 抓 取 效 果 在 實 驗 室 或 大 棚 中 表 現(xiàn) 相 對 較 好 而 在 實 際 農 田 中 工 作 的 機 械 由 于 其 場 景 的 復 雜 性 采 摘 的 成 功 率 不 高 真 正 能 夠 投 入 商 用 的 較 少 因 此 在 設 計 采 摘 末 端 時 通 常 在 實 驗 室 環(huán) 境 下 會 影 響 到 如 表1 所 示 的 七 個 指 標 從 而 導 致 采 摘 成 功 率 將 明 顯 高 于 大 棚 內 和 室 外 環(huán) 境 2 5 采 摘 可 行 性 分 析 采 摘 可 行 性 指 的 是 采 摘 機 械 對 周 圍 場 景 進 行 感 知 和 分 析 后 綜 合 考 慮 機 器 人 的 作 業(yè) 能 力 對 所 有 檢 測 到 的 果 實 中 具 有 足 夠 采 摘 成 功 率 的 果 實 進 行 篩 選 本 質 上 采 摘 可 行 性 分 析 實 際 是 去 除 所 有 檢 測 到 的 目 標 中 那 些 采 摘 成 功 率 過 低 的 個 體 合 理 地 評 判 采 摘 可 行 性 有 利 于 使 采 摘 機 械 將 注 意 力 集 中 在 更 高 成 功 率 的 采 摘 對 象 上 提 升 采 摘 機 械 的 工 作 效 率 提 高 采 摘 順 序 規(guī) 劃 的 質 量 場 景 復 雜 度 是 影 響 果 實 采 摘 成 功 率 的 重 要 原 因 之 一 它 主 要 通 過 影 響 機 器 人 的 識 別 定 位 系 統(tǒng) 加 大 避 障 系 統(tǒng) 和 路 徑 規(guī) 劃 系 統(tǒng) 的 工 作 難 度 來 影 響 果 實 的 采 摘 成 功 率 對 于 采 摘 可 行 性 問 題 已 有 學 者 提 出 了 一 些 初 步 想 法 為 提 高 采 摘 機 器 人 的 作 業(yè) 效 率 Xiong 等 40 曾 提 出 了 一 種 判 斷 草 莓 可 采 摘 性 的 方 法 使 用 深 度 圖 估 計 目 標 果 實 與 末 端 執(zhí) 行 器 之 間 的 距 離 當 物 體 過 遠 或 過 近 時 會 對 視 覺 系 統(tǒng) 的 性 能 造 成 干 擾 需 要 去 除 這 些 物 體 該 方 法 的 優(yōu) 點 在 于 可 以 在 采 摘 前 對 草 莓 的 可 采 性 進 行 粗 略 估 計 缺 點 在 于 受 遮 擋 物 影 響 大 且 三 維 視 覺 系 統(tǒng) 相 對 復 雜 目 前 學 者 所 提 出 的 方 案 僅 僅 考 慮 了 某 一 個 或 某 幾 個 影 響 因 素 這 對 于 復 雜 的 實 際 情 況 遠 遠 不 夠 由 于 機 器 的 作 業(yè) 能 力 不 可 被 完 全 嚴 格 地 描 述 因 此 可 行 性 是 一 個 模 糊 數(shù) 學 概 念 且 尚 沒 有 學 者 對 其 進 行 明 確 定 義 果 蔬 采 摘 可 行 性 分 析 潛 在 的 解 決 方 案 包 括 嘗 試 通 過 模 糊 數(shù) 學 建 模 采 摘 效 果 強 化 學 習 獲 取 經 驗 知 識 注 意 力 機 制 引 導 可 采 性 機 理 分 析 等 實 現(xiàn) 首 先 提 出 一 種 基 于 模 糊 數(shù) 學 理 論 的 定 義 方 式 若 以 D d 1 d 2 d n 表 示 視 覺 系 統(tǒng) 檢 測 到 的n 個 目 標 果 實 則 可 被 采 摘 的 目 標 果 實 組 成 論 域D 上 的 一 個 模 糊 子 集A 且 模 糊 子 集A 由 論 域D 到 區(qū) 間 0 1 的 映 射 A 確 定 在 數(shù) 學 上 A 也 稱 為A 的 隸 屬 函 數(shù) 故 判 斷 采 摘 可 行 性 的 問 題 可 以 轉 化 為 確 定 隸 屬 函 數(shù) A 的 問 題 顯 然 確 定 隸 屬 函 數(shù) A 的 方 法 并 不 唯 一 它 取 決 于 設 計 者 對 各 個 影 響 因 素 的 重 視 程 度 比 如 當 設 計 者 考 慮 果 實 在 所 采 集 圖 像 中 的 顯 著 性 水 平 時 由 于 圖 像 中 顯 著 性 更 高 的 果 實 通 常 更 容 易 采 摘 所 以 這 種 考 慮 是 合 理 的 將 圖 像 輸 入 顯 著 性 檢 測 算 法 當 中 并 得 到 輸 出 的 顯 著 性 熱 圖 統(tǒng) 計 果 實 區(qū) 域 的 熱 圖 響 應 將 其 歸 一 化 作 為 隸 屬 函 數(shù) A 這 種 算 法 只 考 慮 了 顯 著 性 水 平 這 一 個 因 素 對 于 多 個 影 響 因 素 可 以 設 計 綜 合 評 價 算 法 對 其 進 行 評 分 也 可 以 使 用 深 度 神 經 網 絡 完 成 綜 合 評 價 這 一 任 務 但 是 這 種 評 價 方 式 往 往 受 制 于 有 限 的 考 慮 因 素 以 及 固 定 的 某 些 場 景 缺 乏 對 新 場 景 的 學 習 和 自 適 應 能 力 將 可 行 性 與 強 化 學 習 相 結 合 將 是 未 來 采 摘 可 行 性 分 析 最 有 前 景 的 發(fā) 展 方 向 在 強 化 學 習 中 采 摘 過 程 可 被 建 模 為 一 個 馬 爾 可 夫 決 策 過 程 Markov Decision Process MDP 為 每 一 個 果 實 被 采 后 的 狀 態(tài) 設 置 狀 態(tài) 價 值 函 數(shù)V 為 采 摘 每 一 個 果 實 的 動 作 設 置 動 作 價 值 函 數(shù)Q 當 成 功 摘 取 果 實 后 將 獲 得 回 報R 假 設 摘 取 每 一 個 果 實 的 回 報 是 相 同 的 由 于 衰 減 因 子 的 存 在 使 用 較 少 動 作 摘 取 果 實 將 獲 得 更 大 的 回 報 若 使 用 貪 心 算 法 引 導 決 策 則 機 器 人 將 更 傾 向 于 完 成 更 加 容 易 的 采 摘 動 作 在 多 次 采 摘 動 作 完 成 后 容 易 采 摘 的 果 實 將 被 采 摘 殆 盡 留 下 難 以 采 摘 的 果 實 則 可 以 認 為 采 摘 這 些 果 實 的 動 作 是 低 回 報 不 可 行 的 但 是 受 制 于 復 雜 的 工 作 環(huán) 境 和 算 法 的 局 限 性 目 前 使 用 強 化 學 習 算 法 進 行 果 實 采 摘 仍 是 一 項 十 分 艱 難 的 任 務 仍 需 要 國 內 外 學 者 的 進 一 步 探 索 2 1Vol 2 No 4 智 慧 農 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 總 體 而 言 采 摘 可 行 性 分 析 仍 然 是 果 蔬 采 摘 研 究 領 域 的 空 白 仍 然 缺 乏 一 套 系 統(tǒng) 地 評 判 采 摘 場 景 復 雜 度 的 可 行 理 論 對 采 摘 場 景 的 復 雜 度 進 行 建 模 評 價 將 是 未 來 重 要 的 研 究 方 向 之 一 考 慮 到 目 前 大 多 數(shù) 采 摘 機 械 使 用 基 于 視 覺 的 控 制 方 案 關 于 視 覺 注 意 力 機 制 和 顯 著 性 水 平 方 向 的 研 究 將 很 有 可 能 帶 動 這 方 面 的 發(fā) 展 除 此 之 外 為 應 對 復 雜 多 變 的 實 際 情 況 使 用 深 度 網 絡 對 采 摘 成 功 率 進 行 學 習 可 能 會 成 為 采 摘 可 行 性 分 析 的 一 個 突 破 點 3 采 摘 機 械 結 構 作 為 采 摘 機 械 的 主 要 執(zhí) 行 裝 置 采 摘 機 械 結 構 至 關 重 要 本 節(jié) 討 論 了 主 流 的 采 摘 機 械 抓 手 結 構 并 對 其 進 行 了 分 類 針 對 主 流 的 剛 性 機 械 抓 手 總 結 了 設 計 的 流 程 并 討 論 了 采 摘 機 械 手 的 驅 動 方 式 和 切 割 方 案 針 對 于 采 后 的 收 集 和 分 類 裝 置 進 行 了 總 結 和 歸 納 3 1 抓 手 結 構 3 1 1 抓 手 結 構 的 分 類 機 械 抓 手 也 稱 為 末 端 執(zhí) 行 器 用 來 完 成 與 目 標 果 實 對 接 和 果 實 采 摘 動 作 目 前 主 流 的 采 摘 抓 手 可 以 分 為 包 裹 型 抓 手 和 夾 持 型 抓 手 它 們 最 大 的 區(qū) 別 是 與 作 用 對 象 的 對 接 方 式 不 同 本 文 將 抓 手 與 果 實 的 對 接 方 式 稱 之 為 仿 形 結 構 包 裹 型 抓 手 的 作 用 對 象 是 果 實 的 整 個 外 表 面 這 種 對 接 方 式 稱 之 為 面 仿 形 如 圖1 a 和 圖1 b 所 示 而 夾 持 型 抓 手 的 作 用 對 象 通 常 是 果 實 母 枝 的 某 個 采摘點 這種對 接方式 稱之為 點仿形 如圖1 c 和 圖1 d 匯 總 兩 種 仿 形 設 計 典 型 的 抓 手 如 下 表 2 所 示 夾 持 型 抓 手 主 要 為 切 割 式 采 摘 大 多 為 剛 性 結 構 例 如 為 實 現(xiàn) 草 莓 的 機 械 化 采 摘 史 慧 文 等 81 設 計 了 一 種 草 莓 采 摘 機 械 手 爪 該 手 爪 上 安 裝 有 攝 像 頭 使 用 電 機 驅 動 采 用 齒 輪 傳 動 并 采 用 絲 杠 控 制 手 指 的 閉 合 具 有 簡 單 可 靠 的 特 點 包 裹 型 抓 手 主 要 是 擬 人 手 采 摘 其 形 式 非 常 多 樣 傳 統(tǒng) 的 包 裹 型 抓 手 是 剛 性 材 料 制 成 的 為 避 免 對 果 實 的 損 傷 部 分 抓 手 還 會 增 加 一 些 緩 沖 材 料 為 解 決 傳 統(tǒng) 機 械 抓 取 草 莓 時 極 易 損 傷 果 實 的 問 題 Dimeas 等 73 設 計 了 一 種 草 莓 采 摘 抓 手 對 草 莓 進 行 了 力 學 分 析 并 最 終 確 定 側 面 夾 取 式 為 最 佳 方 案 他 還 對 采 摘 過 程 進 行 了 運 動 學 分 析 確 定 了 抓 手 的 參 數(shù) 并 采 用3D 打 印 技 術 a 包 裹 型 抓 手 面 仿 形 60 c 夾 持 型 抓 手 點 仿 形 62 b 包 裹 型 抓 手 面 仿 形 61 d 夾 持