江 蘇 農(nóng) 業(yè) 學(xué) 報(bào) 金 壽 祥 周 宏 平 姜 洪 喆 等 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 進(jìn) 展 江 蘇 農(nóng) 業(yè) 學(xué) 報(bào) 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 進(jìn) 展 金 壽 祥 周 宏 平 姜 洪 喆 孫 夢(mèng) 夢(mèng) 南 京 林 業(yè) 大 學(xué) 機(jī) 械 電 子 工 程 學(xué) 院 江 蘇 南 京 收 稿 日 期 基 金 項(xiàng) 目 國(guó) 家 自 然 科 學(xué) 基 金 青 年 科 學(xué) 基 金 項(xiàng) 目 江 蘇 省 農(nóng) 業(yè) 科 技 自 主 創(chuàng) 新 基 金 項(xiàng) 目 江 蘇 省 高 等 學(xué) 校 自 然 科 學(xué) 研 究 項(xiàng) 目 作 者 簡(jiǎn) 介 金 壽 祥 男 安 徽 安 慶 人 碩 士 研 究 生 主 要 研 究 方 向 為 圖 像 識(shí) 別 目 標(biāo) 檢 測(cè) 技 術(shù) 通 訊 作 者 周 宏 平 摘 要 視 覺 是 采 摘 機(jī) 器 人 感 知 外 部 環(huán) 境 的 重 要 手 段 之 一 采 摘 機(jī) 器 人 的 采 摘 效 率 與 準(zhǔn) 確 率 很 大 程 度 上 受 到 其 視 覺 子 系 統(tǒng) 識(shí) 別 與 定 位 性 能 影 響 近 年 來 研 究 者 圍 繞 采 摘 機(jī) 器 人 的 視 覺 系 統(tǒng) 開 展 了 大 量 研 究 伴 隨 人 工 智 能 深 度 學(xué) 習(xí) 的 發(fā) 展 機(jī) 器 人 視 覺 研 究 取 得 了 較 大 進(jìn) 步 采 摘 機(jī) 器 人 進(jìn) 入 了 實(shí) 際 應(yīng) 用 階 段 本 文 針 對(duì) 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 現(xiàn) 狀 主 要 從 視 覺 數(shù) 據(jù) 獲 取 方 法 采 摘 點(diǎn) 識(shí) 別 技 術(shù) 和 采 摘 點(diǎn) 定 位 技 術(shù) 個(gè) 方 面 進(jìn) 行 總 結(jié) 分 析 指 出 了 當(dāng) 前 采 摘 機(jī) 器 人 采 摘 點(diǎn) 識(shí) 別 與 定 位 過 程 中 面 臨 的 一 些 挑 戰(zhàn) 最 后 對(duì) 未 來 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 的 發(fā) 展 進(jìn) 行 了 展 望 關(guān) 鍵 詞 視 覺 數(shù) 據(jù) 采 摘 點(diǎn) 識(shí) 別 三 維 定 位 深 度 學(xué) 習(xí) 中 圖 分 類 號(hào) 文 獻(xiàn) 標(biāo) 識(shí) 碼 文 章 編 號(hào) 果 實(shí) 采 摘 需 要 大 量 勞 動(dòng) 力 參 與 而 近 年 來 農(nóng) 業(yè) 勞 動(dòng) 力 出 現(xiàn) 了 老 齡 化 與 短 缺 的 問 題 戶 外 露 天 環(huán) 境 下 階 段 性 機(jī) 械 性 和 重 復(fù) 性 的 勞 動(dòng) 使 農(nóng) 業(yè) 面 臨 的 勞 動(dòng) 力 短 缺 問 題 更 加 嚴(yán) 峻 勞 動(dòng) 力 的 減 少 導(dǎo) 致 農(nóng) 作 物 生 產(chǎn) 能 力 下 降 與 采 摘 成 本 上 升 因 此 實(shí) 現(xiàn) 采 摘 過 程 的 自 動(dòng) 化 和 智 能 化 是 解 決 勞 動(dòng) 力 短 缺 問 題 的 最 佳 方 案 之 一 采 摘 機(jī) 器 人 通 常 含 有 個(gè) 子 系 統(tǒng) 視 覺 系 統(tǒng) 動(dòng) 作 執(zhí) 行 系 統(tǒng) 和 末 端 執(zhí) 行 器 視 覺 系 統(tǒng) 負(fù) 責(zé) 對(duì) 采 摘 環(huán) 境 中 的 果 實(shí) 進(jìn) 行 識(shí) 別 與 定 位 動(dòng) 作 執(zhí) 行 系 統(tǒng) 和 末 端 執(zhí) 行 器 負(fù) 責(zé) 采 摘 而 視 覺 系 統(tǒng) 的 運(yùn) 行 又 可 分 為 個(gè) 階 段 數(shù) 據(jù) 獲 取 目 標(biāo) 識(shí) 別 三 維 定 位 視 覺 系 統(tǒng) 識(shí) 別 效 率 與 定 位 精 度 將 直 接 影 響 到 采 摘 機(jī) 器 人 的 工 作 效 率 與 成 功 率 在 農(nóng) 業(yè) 生 產(chǎn) 中 由 于 果 實(shí) 生 長(zhǎng) 環(huán) 境 不 同 空 間 分 布 雜 亂 果 實(shí) 的 大 小 形 狀 和 顏 色 等 特 性 也 會(huì) 有 所 不 同 自 然 環(huán) 境 中 的 果 實(shí) 普 遍 存 在 著 因 果 實(shí) 重 疊 果 實(shí) 被 葉 片 和 枝 條 遮 擋 光 照 條 件 變 化 而 導(dǎo) 致 的 果 實(shí) 圖 像 不 清 晰 的 現(xiàn) 象 另 外 采 摘 機(jī) 器 人 執(zhí) 行 采 摘 動(dòng) 作 時(shí) 對(duì) 環(huán) 境 產(chǎn) 生 的 擾 動(dòng) 可 能 干 擾 之 前 的 定 位 結(jié) 果 上 述 因 素 給 視 覺 數(shù) 據(jù) 的 獲 取 和 采 摘 點(diǎn) 的 識(shí) 別 與 定 位 帶 來 了 巨 大 挑 戰(zhàn) 深 度 學(xué) 習(xí) 未 出 現(xiàn) 之 前 關(guān) 于 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 中 的 識(shí) 別 技 術(shù) 已 有 大 量 研 究 按 照 技 術(shù) 發(fā) 展 過 程 可 分 為 以 下 類 傳 統(tǒng) 數(shù) 字 圖 像 處 理 技 術(shù) 如 基 于 單 一 特 征 的 顏 色 形 狀 紋 理 等 特 征 分 析 基 于 傳 統(tǒng) 機(jī) 器 學(xué) 習(xí) 的 識(shí) 別 方 法 如 聚 類 算 法 近 鄰 算 法 支 持 向 量 機(jī) 算法 等 近 年 來 受 人 工 智 能 技 術(shù) 發(fā) 展 與 硬 件 性 能 大 幅 提 升 的 影 響 深 度 學(xué) 習(xí) 技 術(shù) 在 圖 像 識(shí) 別 目 標(biāo) 檢 測(cè) 上 取 得 了 非 凡 的 成 就 相 比 于 傳 統(tǒng) 數(shù) 字 圖 像 處 理 與 機(jī) 器 學(xué) 習(xí) 基 于 顏 色 紋 理 形 狀 等 特 征 匹 配 的 果 實(shí) 識(shí) 別 方 法 深 度 學(xué) 習(xí) 利 用 深 層 神 經(jīng) 網(wǎng) 絡(luò) 強(qiáng) 大 的 特 征 自 學(xué) 習(xí) 能 力 在 果 實(shí) 識(shí) 別 與 采 摘 點(diǎn) 定 位 任 務(wù) 中 取 得 了 較 好 的 效 果 本 文 擬 對(duì) 近 年 來 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 的 研 究 進(jìn) 展 進(jìn) 行 綜 述 為 后 續(xù) 的 研 究 提 供 參 考 視 覺 數(shù) 據(jù) 的 獲 取 方 法 視 覺 是 一 種 感 知 環(huán) 境 的 重 要 方 法 是 目 標(biāo) 識(shí) 別 與 定 位 的 基 礎(chǔ) 計(jì) 算 機(jī) 視 覺 數(shù) 據(jù) 主 要 有 二 維 平 面 數(shù) 據(jù) 和 三 維 空 間 數(shù) 據(jù) 視 覺 系 統(tǒng) 由 圖 像 傳 感 器 和 圖 像 處 理 單 元 組 成 是 采 摘 機(jī) 器 人 感 知 外 部 環(huán) 境 的 重 要 手 段 二 維 數(shù) 據(jù) 的 獲 取 二 維 視 覺 數(shù) 據(jù) 通 常 指 二 維 彩 色 圖 像 由 圖 像 傳 感 器 獲 得 被 廣 泛 用 于 目 標(biāo) 識(shí) 別 圖 像 傳 感 器 按 原 理 可 分 為 電 荷 耦 合 器 件 傳 感 器 和 互 補(bǔ) 金 屬 氧 化 物 半 導(dǎo) 體 傳 感 器 其 中 單 目 相 機(jī) 是 使 用 最 廣 泛 的 圖 像 采 集 設(shè) 備 其 結(jié) 構(gòu) 簡(jiǎn) 單 價(jià) 格 便 宜 使 用 要 求 低 圖 像 是 最 常 見 的 二 維 圖 像 色 彩 模 式 也 有 部 分 學(xué) 者 使 用 等 色 彩 模 式 彩 色 圖 像 中 包 含 的 顏 色 紋 理 形 狀 等 特 征 常 被 用 于 果 實(shí) 的 識(shí) 別 如 馬 帥 等 使 用 設(shè) 備 采 集 梨 園 中 結(jié) 果 期 的 梨 樹 圖 像 構(gòu) 建 了 自 然 環(huán) 境 下 的 梨 果 實(shí) 識(shí) 別 數(shù) 據(jù) 集 但 是 不 包 含 夜 間 情 況 針 對(duì) 此 問 題 等 利 用 相 機(jī) 在 人 工 照 明 條 件 下 采 集 夜 間 綠 葡 萄 的 圖 像 解 決 了 綠 葡 萄 夜 間 檢 測(cè) 和 采 摘 的 問 題 此 外 畢 松 等 使 用 相 機(jī) 獲 取 不 同 光 照 條 件 果 實(shí) 被 遮 擋 等 情 況 下 的 柑 橘 圖 像 實(shí) 現(xiàn) 了 復(fù) 雜 環(huán) 境 下 的 柑 橘 識(shí) 別 由 于 彩 色 圖 像 缺 少 深 度 信 息 難 以 直 接 用 于 采 摘 點(diǎn) 三 維 定 位 通 常 是 將 彩 色 圖 像 與 深 度 圖 像 融 合 作 為 采 摘 點(diǎn) 三 維 定 位 的 依 據(jù) 即 先 在 彩 色 圖 像 上 對(duì) 果 實(shí) 進(jìn) 行 識(shí) 別 與 采 摘 點(diǎn) 定 位 再 將 彩 色 圖 像 上 的 坐 標(biāo) 映 射 到 相 應(yīng) 的 深 度 圖 上 以 該 點(diǎn) 深 度 值 作 為 采 摘 點(diǎn) 深 度 坐 標(biāo) 三 維 數(shù) 據(jù) 的 獲 取 三 維 視 覺 數(shù) 據(jù) 是 在 二 維 數(shù) 據(jù) 的 基 礎(chǔ) 上 添 加 了 深 度 方 向 數(shù) 據(jù) 可 為 采 摘 點(diǎn) 的 三 維 空 間 定 位 提 供 基 礎(chǔ) 表 列 出 了 目 前 常 用 的 三 維 數(shù) 據(jù) 獲 取 方 法 表 常 用 三 維 數(shù) 據(jù) 采 集 設(shè) 備 比 較 設(shè) 備 原 理 優(yōu) 點(diǎn) 局 限 性 雙 目 相 機(jī) 視 差 結(jié) 構(gòu) 簡(jiǎn) 單 分 辨 率 較 高 計(jì) 算 復(fù) 雜 度 高 對(duì) 光 照 變 化 敏 感 相 機(jī) 短 距 離 檢 測(cè) 精 度 高 容 易 受 到 環(huán) 境 光 的 影 響 有 效 檢 測(cè) 距 離 遠(yuǎn) 受 光 照 影 響 小 檢 測(cè) 精 度 較 低 設(shè) 備 能 耗 較 高 激 光 雷 達(dá) 可 以 在 無 光 環(huán) 境 中 使 用 檢 測(cè) 距 離 遠(yuǎn) 檢 測(cè) 精 度 不 高 硬 件 成 本 高 結(jié) 構(gòu) 光 飛 行 時(shí) 間 調(diào) 頻 連 續(xù) 波 雷 達(dá) 雙 目 相 機(jī) 雙 目 相 機(jī) 一 般 由 個(gè) 型 號(hào) 相 同 的 單 目 相 機(jī) 按 相 應(yīng) 的 位 置 組 合 而 成 通 常 是 水 平 放 置 雙 目 相 機(jī) 通 過 空 間 中 任 意 一 點(diǎn) 的 位 置 在 個(gè) 相 機(jī) 生 成 圖 像 中 的 視 差 計(jì) 算 該 點(diǎn) 的 深 度 值 原 理 如 圖 所 示 根 據(jù) 圖 中 的 幾 何 關(guān) 系 可 得 金 壽 祥 等 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 進(jìn) 展 相 機(jī) 焦 距 基 線 距 離 空 間 中 任 意 一 點(diǎn) 點(diǎn) 在 左 側(cè) 相 機(jī) 軸 上 的 坐 標(biāo) 點(diǎn) 在 右 側(cè) 相 機(jī) 軸 上 的 坐 標(biāo) 圖 雙 目 相 機(jī) 測(cè) 距 模 型 即 可 得 到 點(diǎn) 的 深 度 坐 標(biāo) 其 中 即 為 視 差 同 理 按 照 幾 何 關(guān) 系 也 可 算 出 點(diǎn) 橫 坐 標(biāo) 和 縱 坐 標(biāo) 與 左 右 相 機(jī) 之 間 的 關(guān) 系 但 是 在 相 機(jī) 成 像 過 程 中 還 存 在 一 定 程 度 的 畸 變 在 實(shí) 際 使 用 中 需 要 通 過 矯 正 來 抵 消 畸 變 影 響 雙 目 相 機(jī) 硬 件 成 本 低 深 度 圖 分 辨 率 高 是 較 早 出 現(xiàn) 的 三 維 視 覺 數(shù) 據(jù) 采 集 設(shè) 備 例 如 等 為 了 實(shí) 現(xiàn) 番 茄 自 動(dòng) 采 摘 使 用 個(gè) 相 同 的 水 平 放 置 的 相 機(jī) 組 成 的 雙 目 相 機(jī) 采 集 番 茄 果 實(shí) 的 彩 色 圖 建 立 了 一 個(gè) 番 茄 識(shí) 別 數(shù) 據(jù) 集 用 于 番 茄 識(shí) 別 成 功 率 達(dá) 到 了 再 根 據(jù) 雙 目 測(cè) 距 原 理 得 到 番 茄 的 深 度 坐 標(biāo) 機(jī) 械 手 末 端 定 位 誤 差 不 超 過 同 樣 的 龐 超 凡 使 用 雙 目 相 機(jī) 采 集 了 不 同 遮 擋 情 況 下 的 小 金 橘 的 彩 色 圖 像 用 來 對(duì) 小 金 橘 進(jìn) 行 識(shí) 別 定 位 但 是 對(duì) 多 個(gè) 被 遮 擋 過 多 的 小 金 橘 定 位 效 果 并 不 佳 為 提 高 多 目 標(biāo) 定 位 精 度 曹 春 卿 等 提 出 一 種 基 于 雙 目 視 覺 技 術(shù) 的 多 目 標(biāo) 蘋 果 識(shí) 別 定 位 模 型 可 以 準(zhǔn) 確 識(shí) 別 多 種 場(chǎng) 景 下 的 目 標(biāo) 蘋 果 根 據(jù) 雙 目 相 機(jī) 成 像 原 理 每 個(gè) 像 素 點(diǎn) 的 深 度 信 息 都 需 要 通 過 計(jì) 算 獲 得 計(jì) 算 量 較 大 另 外 雙 目 相 機(jī) 十 分 依 賴 圖 像 的 特 征 匹 配 尋 找 左 右 圖 像 中 相 同 的 像 素 點(diǎn) 使 得 算 法 復(fù) 雜 度 高 而 且 雙 目 相 機(jī) 是 一 種 被 動(dòng) 成 像 相 機(jī) 所 以 對(duì) 照 明 條 件 非 常 敏 感 在 光 照 不 足 背 光 和 強(qiáng) 光 等 環(huán) 境 下 的 使 用 效 果 較 差 相 機(jī) 相 機(jī) 一 般 由 一 個(gè) 相 機(jī) 和 一 個(gè) 深 度 相 機(jī) 組 合 而 成 可 輸 出 視 場(chǎng) 內(nèi) 的 彩 色 圖 像 和 深 度 點(diǎn) 云 數(shù) 據(jù) 根 據(jù) 成 像 原 理 深 度 相 機(jī) 又 可 分 為 結(jié) 構(gòu) 光 型 飛 行 時(shí) 間 型 和 主 動(dòng) 立 體 紅 外 型 如 圖 圖 所 示 圖 結(jié) 構(gòu) 光 型 深 度 相 機(jī) 測(cè) 距 原 理 圖 飛 行 時(shí) 間 型 深 度 相 機(jī) 測(cè) 距 原 理 結(jié) 構(gòu) 光 型 飛 行 時(shí) 間 型 和 主 動(dòng) 立 體 紅 外 型 都 使 用 了 紅 外 光 作 為 深 度 信 息 的 獲 取 方 式 差 別 在 于 紅 外 光 的 形 式 不 同 結(jié) 構(gòu) 光 型 相 機(jī) 通 過 發(fā) 射 特 定 編 碼 后 的 紅 外 光 到 被 測(cè) 物 體 表 面 利 用 紅 外 光 從 發(fā) 射 到 接 受 過 程 中 的 失 真 程 度 提 取 深 度 信 息 典 型 的 設(shè) 備 江 蘇 農(nóng) 業(yè) 學(xué) 報(bào) 年 第 卷 第 期有 等 飛 行 時(shí) 間 型 相 機(jī) 通 過 測(cè) 量 紅 外 線 從 發(fā) 射 到 經(jīng) 物 體 表 面 反 射 回 接 收 器 的 時(shí) 間 計(jì) 算 深 度 信 息 常 見 的 設(shè) 備 有 等 是 結(jié) 構(gòu) 光 型 相 機(jī) 與 雙 目 相 機(jī) 的 結(jié) 合 使 用 個(gè) 紅 外 線 接 收 器 彌 補(bǔ) 了 雙 目 相 機(jī) 在 室 外 場(chǎng) 景 使 用 的 缺 點(diǎn) 代 表 產(chǎn) 品 有 系 列 例 如 劉 景 娜 設(shè) 計(jì) 了 一 種 基 于 傳 感 器 的 番 茄 信 息 采 集 系 統(tǒng) 實(shí) 現(xiàn) 了 番 茄 植 株 外 形 的 三 維 重 建 與 果 實(shí) 的 識(shí) 別 與 計(jì) 數(shù) 孫 寶 霞 等 基 于 與 筆 記 本 電 腦 組 成 的 系 統(tǒng) 采 集 了 不 同 光 照 度 下 的 幅 龍 眼 圖 像 作 為 龍 眼 識(shí) 別 數(shù) 據(jù) 集 張 勤 等 使 用 相 機(jī) 拍 攝 不 同 照 明 條 件 下 的 葡 萄 串 利 用 采 集 到 的 葡 萄 串 融 合 圖 像 實(shí) 現(xiàn) 了 復(fù) 雜 環(huán) 境 下 的 葡 萄 串 識(shí) 別 與 采 摘 點(diǎn) 的 定 位 采 摘 點(diǎn) 定 位 成 功 率 達(dá) 到 深 度 誤 差 僅 為 結(jié) 構(gòu) 光 型 相 機(jī) 近 距 離 檢 測(cè) 精 度 高 不 受 物 體 紋 理 影 響 但 是 其 檢 測(cè) 精 度 會(huì) 隨 著 檢 測(cè) 距 離 變 遠(yuǎn) 而 極 度 下 降 且 易 受 強(qiáng) 光 干 擾 不 適 合 在 室 外 工 作 環(huán) 境 中 使 用 飛 行 時(shí) 間 型 相 機(jī) 檢 測(cè) 距 離 較 遠(yuǎn) 受 光 照 變 化 和 物 體 紋 理 的 影 響 較 小 但 其 深 度 圖 分 辨 率 相 對(duì) 較 低 功 耗 較 高 硬 件 成 本 也 高 激 光 雷 達(dá) 激 光 雷 達(dá) 按 原 理 可 分 為 飛 行 時(shí) 間 法 和 相 干 探 測(cè) 法 兩 類 都 是 主 動(dòng) 發(fā) 射 激 光 到 被 測(cè) 物 體 表 面 生 成 點(diǎn) 云 數(shù) 據(jù) 如 圖 所 示 激 光 雷 達(dá) 在 自 動(dòng) 駕 駛 目 標(biāo) 檢 測(cè) 領(lǐng) 域 已 被 廣 泛 使 用 近 年 來 有 部 分 學(xué) 者 將 其 應(yīng) 用 在 果 實(shí) 識(shí) 別 與 定 位 上 并 取 得 不 錯(cuò) 的 效 果 如 等 為 了 實(shí) 現(xiàn) 夜 間 無 光 條 件 下 的 蘋 果 識(shí) 別 在 夜 間 使 用 激 光 雷 達(dá) 掃 描 儀 生 成 了 蘋 果 樹 的 點(diǎn) 云 數(shù) 據(jù) 利 用 蘋 果 樹 的 樹 葉 枝 干 和 果 實(shí) 對(duì) 激 光 的 反 射 率 不 同 實(shí) 現(xiàn) 了 果 園 中 蘋 果 的 識(shí) 別 與 定 位 為 了 減 少 遮 擋 對(duì) 掃 描 結(jié) 果 的 影 響 等 使 用 型 激 光 掃 描 儀 從 個(gè) 方 位 掃 描 橙 樹 得 到 橙 樹 四 周 的 三 維 點(diǎn) 云 數(shù) 據(jù) 同 樣 的 等 使 用 地 面 激 光 掃 描 儀 獲 取 油 茶 樹 點(diǎn) 云 數(shù) 據(jù) 得 到 的 掃 描 結(jié) 果 不 僅 包 含 點(diǎn) 云 的 強(qiáng) 度 信 息 還 包 含 對(duì) 應(yīng) 物 體 表 面 的 顏 色 信 息 激 光 雷 達(dá) 是 一 種 主 動(dòng) 測(cè) 量 的 方 法 測(cè) 量 效 果 不 受 光 照 條 件 的 影 響 可 以 直 接 用 于 夜 間 果 實(shí) 檢 測(cè) 但 是 激 光 雷 達(dá) 的 價(jià) 格 相 比 普 通 相 機(jī) 較 貴 圖 激 光 雷 達(dá) 原 理 且 分 辨 率 不 高 另 外 對(duì) 點(diǎn) 云 數(shù) 據(jù) 的 識(shí) 別 技 術(shù) 正 處 于 發(fā) 展 階 段 使 基 于 激 光 雷 達(dá) 方 法 的 果 實(shí) 識(shí) 別 效 果 通 常 差 于 使 用 相 機(jī) 的 效 果 但 隨 著 深 度 學(xué) 習(xí) 技 術(shù) 在 點(diǎn) 云 數(shù) 據(jù) 處 理 上 的 發(fā) 展 未 來 的 情 況 可 能 會(huì) 有 所 好 轉(zhuǎn) 果 實(shí) 識(shí) 別 技 術(shù) 的 研 究 進(jìn) 展 果 實(shí) 的 識(shí) 別 是 智 能 化 采 摘 過 程 中 的 第 一 個(gè) 環(huán) 節(jié) 也 是 最 關(guān) 鍵 的 一 步 識(shí) 別 的 準(zhǔn) 確 率 直 接 影 響 到 后 續(xù) 采 摘 點(diǎn) 的 三 維 定 位 精 度 隨 著 科 技 的 進(jìn) 步 果 實(shí) 識(shí) 別 技 術(shù) 從 基 于 數(shù) 字 圖 像 處 理 的 方 法 發(fā) 展 到 基 于 機(jī) 器 學(xué) 習(xí) 的 識(shí) 別 方 法 再 發(fā) 展 到 基 于 深 度 學(xué) 習(xí) 的 識(shí) 別 方 法 識(shí) 別 模 型 的 準(zhǔn) 確 性 實(shí) 時(shí) 性 和 魯 棒 性 不 斷 提 高 這 也 使 得 采 摘 機(jī) 器 人 能 被 實(shí) 際 應(yīng) 用 表 介 紹 了 一 些 果 實(shí) 的 識(shí) 別 效 果 基 于 傳 統(tǒng) 數(shù) 字 圖 像 處 理 的 識(shí) 別 方 法 人 們 在 觀 察 物 體 時(shí) 通 常 先 注 意 到 物 體 的 形 狀 顏 色 和 紋 理 等 特 征 并 基 于 此 判 斷 物 體 的 類 別 傳 統(tǒng) 數(shù) 字 圖 像 處 理 方 法 就 使 用 了 類 似 原 理 先 由 研 究 人 員 通 過 個(gè) 人 經(jīng) 驗(yàn) 篩 選 出 待 采 摘 果 實(shí) 的 特 征 再 利 用 計(jì) 算 機(jī) 對(duì) 所 獲 彩 色 圖 像 進(jìn) 行 特 征 匹 配 當(dāng) 某 個(gè) 區(qū) 域 的 匹 配 率 高 于 設(shè) 定 的 閾 值 時(shí) 就 認(rèn) 為 該 區(qū) 域 存 在 目 標(biāo) 果 實(shí) 基 于 單 一 特 征 識(shí) 別 基 于 單 一 特 征 的 果 實(shí) 識(shí) 別 方 法 只 采 用 一 種 果 實(shí) 特 征 進(jìn) 行 識(shí) 別 需 要 果 實(shí) 與 背 景 環(huán) 境 有 明 顯 的 特 征 區(qū) 別 時(shí) 才 具 有 可 行 性 由 于 該 類 模 型 只 使 用 單 一 特 征 所 以 其 結(jié) 構(gòu) 一 般 較 為 簡(jiǎn) 潔 便 于 操 作 根 據(jù) 果 實(shí) 的 生 長(zhǎng) 特 性 當(dāng) 可 采 摘 果 實(shí) 與 背 景 顏 色 差 異 明 顯 時(shí) 可 使 用 顏 色 特 征 來 對(duì) 果 實(shí) 進(jìn) 行 識(shí) 別 如 等 通 過 自 適 應(yīng) 增 強(qiáng) 柑 橘 圖 像 中 通 道 色 度 使 柑 橘 果 實(shí) 與 背 景 差 異 增 大 再 利 用 金 壽 祥 等 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 進(jìn) 展大 津 閾 值 法 形 態(tài) 學(xué) 操 作 凸 包 操 作 方 法 從 圖 像 中 定 位 潛 在 柑 橘 區(qū) 域 但 該 方 法 受 果 實(shí) 顏 色 與 背 景 差 異 程 度 影 響 為 此 柳 長(zhǎng) 源 等 使 用 深 度 圖 像 提 出 了 一 種 基 于 果 實(shí) 形 態(tài) 特 征 的 果 實(shí) 識(shí) 別 方 法 利 用 各 像 素 點(diǎn) 的 梯 度 向 量 篩 選 果 實(shí) 中 心 點(diǎn) 再 以 果 實(shí) 中 心 點(diǎn) 搜 索 果 實(shí) 邊 界 點(diǎn) 平 均 識(shí) 別 準(zhǔn) 確 率 達(dá) 到 了 等 提 出 了 一 種 基 于 輪 廓 信 息 的 果 實(shí) 識(shí) 別 方 法 使 用 其 推 導(dǎo) 出 的 形 狀 描 述 符 表 示 任 意 部 分 的 幾 何 特 性 再 通 過 特 征 匹 配 得 到 感 興 趣 的 子 片 段 然 后 使 用 改 進(jìn) 霍 夫 變 換 聚 合 這 些 子 片 段 獲 得 候 選 果 實(shí) 該 方 法 在 柑 橘 番 茄 南 瓜 芒 果 的 識(shí) 別 應(yīng) 用 中 都 取 得 了 不 錯(cuò) 的 效 果 表 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 識(shí) 別 性 能 識(shí) 別 作 物 所 用 相 機(jī) 工 作 環(huán) 境 檢 測(cè) 方 法 識(shí) 別 效 果 準(zhǔn) 確 率 召 回 率 值 檢 測(cè) 時(shí) 間 蘋 果 相 機(jī) 果 園 加 形 態(tài) 學(xué) 操 作 蘋 果 相 機(jī) 果 園 改 進(jìn) 的 蘋 果 相 機(jī) 果 園 改 進(jìn) 的 番 茄 相 機(jī) 溫 室 顏 色 特 征 加 形 態(tài) 學(xué) 處 理 番 茄 相 機(jī) 溫 室 改 進(jìn) 的 荔 枝 加 果 園 草 莓 相 機(jī) 溫 室 改 進(jìn) 的 柑 橘 加 果 園 改 進(jìn) 的 柑 橘 相 機(jī) 果 園 改 進(jìn) 的 飛 行 時(shí) 間 型 相 機(jī) 準(zhǔn) 確 率 和 召 回 率 的 調(diào) 和 平 均 數(shù) 但 是 基 于 單 一 特 征 的 果 實(shí) 識(shí) 別 方 法 忽 略 了 果 實(shí) 的 其 他 特 征 損 失 了 許 多 有 用 的 特 征 信 息 導(dǎo) 致 其 對(duì) 環(huán) 境 敏 感 程 度 較 高 魯 棒 性 差 對(duì) 于 一 些 成 熟 期 果 實(shí) 顏 色 與 背 景 差 異 不 大 且 形 狀 紋 理 變 化 不 明 顯 的 果 實(shí) 只 選 擇 一 種 特 征 很 難 達(dá) 到 果 實(shí) 識(shí) 別 精 度 要 求 基 于 多 特 征 融 合 識(shí) 別 彩 色 圖 像 中 包 含 著 形 狀 顏 色 紋 理 等 多 種 特 征 信 息 使 用 單 一 特 征 進(jìn) 行 果 實(shí) 識(shí) 別 會(huì) 導(dǎo) 致 大 量 有 效 信 息 被 浪 費(fèi) 因 此 為 了 充 分 利 用 圖 像 中 的 信 息 提 高 模 型 的 準(zhǔn) 確 性 和 魯 棒 性 部 分 學(xué) 者 使 用 多 個(gè) 特 征 結(jié) 合 來 識(shí) 別 目 標(biāo) 果 實(shí) 不 同 特 征 的 優(yōu) 缺 點(diǎn) 存 在 明 顯 差 異 顏 色 特 征 對(duì) 光 照 度 差 異 較 為 敏 感 形 狀 與 紋 理 特 征 對(duì) 果 實(shí) 重 疊 和 遮 擋 較 為 敏 感 當(dāng) 這 些 特 征 被 組 合 使 用 時(shí) 它 們 優(yōu) 點(diǎn) 互 補(bǔ) 對(duì) 環(huán) 境 變 化 的 敏 感 程 度 就 會(huì) 下 降 從 而 提 高 模 型 的 識(shí) 別 準(zhǔn) 確 率 例 如 汪 杰 等 提 出 了 一 種 和 形 狀 特 征 融 合 的 花 椒 識(shí) 別 方 法 該 方 法 采 用 同 態(tài) 濾 波 進(jìn) 行 光 照 補(bǔ) 償 再 利 用 圓 度 特 征 排 除 背 景 干 擾 提 高 了 復(fù) 雜 背 景 下 花 椒 的 識(shí) 別 準(zhǔn) 確 率 等 提 出 了 一 種 融 合 顏 色 特 征 和 三 維 幾 何 特 征 的 水 蜜 桃 識(shí) 別 方 法 該 方 法 首 先 使 用 顏 色 特 征 與 方 向 特 征 對(duì) 圖 像 進(jìn) 行 初 步 分 割 再 根 據(jù) 分 割 結(jié) 果 采 用 歐 式 距 離 算 法 聚 類 三 維 點(diǎn) 云 數(shù) 據(jù) 最 后 利 用 深 度 直 方 圖 分 布 情 況 來 判 斷 該 區(qū) 域 是 否 為 水 蜜 桃 果 實(shí) 與 傳 統(tǒng) 顏 色 分 割 方 法 相 比 該 方 法 的 分 割 準(zhǔn) 確 率 達(dá) 到 了 但 是 目 前 數(shù) 字 圖 像 處 理 技 術(shù) 中 的 果 實(shí) 識(shí) 別 方 法 幾 乎 都 需 要 設(shè) 置 顏 色 形 狀 或 紋 理 等 閾 值 然 而 每 幅 圖 像 的 最 佳 閾 值 都 存 在 差 異 導(dǎo) 致 識(shí) 別 結(jié) 果 的 好 壞 取 決 于 訓(xùn) 練 數(shù) 據(jù) 的 質(zhì) 量 基 于 人 工 特 征 提 取 的 方 法 又 存 在 一 定 的 局 限 性 造 成 特 征 遺 漏 和 利 用 不 充 分 等 現(xiàn) 象 影 響 模 型 識(shí) 別 準(zhǔn) 確 率 基 于 傳 統(tǒng) 機(jī) 器 學(xué) 習(xí) 的 識(shí) 別 方 法 機(jī) 器 學(xué) 習(xí) 是 人 工 智 能 領(lǐng) 域 的 一 個(gè) 重 要 分 支 簡(jiǎn) 單 來 說 機(jī) 器 學(xué) 習(xí) 就 是 通 過 算 法 不 斷 迭 代 從 大 量 數(shù) 據(jù) 中 尋 找 相 應(yīng) 特 征 機(jī) 器 學(xué) 習(xí) 根 據(jù) 輸 入 數(shù) 據(jù) 是 否 需 要 被 標(biāo) 注 可 分 為 監(jiān) 督 學(xué) 習(xí) 和 無 監(jiān) 督 學(xué) 習(xí) 兩 類 監(jiān) 督 學(xué) 習(xí) 監(jiān) 督 學(xué) 習(xí) 從 人 工 標(biāo) 注 的 數(shù) 據(jù) 中 學(xué) 習(xí) 規(guī) 律 學(xué) 習(xí) 效 果 依 賴 于 數(shù) 據(jù) 預(yù) 處 理 的 質(zhì) 量 需 要 大 量 準(zhǔn) 確 的 人 工 標(biāo) 注 數(shù) 據(jù) 集 監(jiān) 督 學(xué) 習(xí) 通 過 建 立 數(shù) 據(jù) 值 與 標(biāo) 簽 值 之 間 的 映 射 關(guān) 系 經(jīng) 過 不 斷 迭 代 數(shù) 據(jù) 調(diào) 整 模 型 參 數(shù) 值 最 終 使 模 型 接 近 真 實(shí) 映 射 關(guān) 江 蘇 農(nóng) 業(yè) 學(xué) 報(bào) 年 第 卷 第 期系 常 見 的 監(jiān) 督 學(xué) 習(xí) 算 法 有 最 近 鄰 算 法 分 類 器 算 法 支 持 向 量 機(jī) 例 如 等 利 用 分 類 器 檢 測(cè) 番 茄 圖 像 滑 動(dòng) 子 窗 口 中 包 含 的 是 番 茄 果 實(shí) 還 是 背 景 再 使 用 平 均 像 素 值 分 類 器 對(duì) 分 類 器 選 擇 的 圖 像 進(jìn) 行 分 割 識(shí) 別 成 功 率 達(dá) 到 了 雷 歡 等 首 先 利 用 顏 色 直 方 圖 提 取 了 蘋 果 的 顏 色 特 征 再 考 慮 蘋 果 表 皮 的 局 部 與 全 局 紋 理 特 征 基 于 多 特 征 融 合 與 構(gòu) 建 蘋 果 品 種 的 識(shí) 別 模 型 在 推 理 耗 時(shí) 僅 的 情 況 下 平 均 識(shí) 別 準(zhǔn) 確 率 達(dá) 到 了 監(jiān) 督 學(xué) 習(xí) 通 過 循 環(huán) 迭 代 學(xué) 習(xí) 數(shù) 據(jù) 特 征 與 標(biāo) 注 信 息 之 間 的 關(guān) 系 建 立 分 類 回 歸 模 型 因 此 模 型 對(duì) 于 數(shù) 據(jù) 標(biāo) 注 的 要 求 較 高 不 允 許 出 現(xiàn) 太 多 的 異 常 值 否 則 將 會(huì) 導(dǎo) 致 模 型 識(shí) 別 效 果 變 差 無 監(jiān) 督 學(xué) 習(xí) 無 監(jiān) 督 學(xué) 習(xí) 與 監(jiān) 督 學(xué) 習(xí) 相 反 一 般 不 要 求 對(duì) 數(shù) 據(jù) 進(jìn) 行 特 別 分 類 標(biāo) 注 省 去 了 標(biāo) 注 數(shù) 據(jù) 的 時(shí) 間 相 反 無 監(jiān) 督 學(xué) 習(xí) 算 法 基 于 統(tǒng) 計(jì) 學(xué) 方 法 學(xué) 習(xí) 總 結(jié) 數(shù) 據(jù) 中 未 體 現(xiàn) 的 規(guī) 律 將 相 似 特 征 的 數(shù) 據(jù) 進(jìn) 行 聚 類 無 監(jiān) 督 學(xué) 習(xí) 算 法 中 均 值 聚 類 算 法 最 具 有 代 表 性 算 法 通 過 給 定 的 值 在 數(shù) 據(jù) 集 中 找 到 個(gè) 聚 類 群 落 再 反 復(fù) 迭 代 數(shù) 據(jù) 最 后 將 數(shù) 據(jù) 集 中 的 數(shù) 據(jù) 按 相 似 程 度 聚 類 到 個(gè) 群 落 中 從 而 達(dá) 到 分 類 效 果 例 如 等 基 于 有 效 顏 色 分 量 利 用 算 法 獲 取 葡 萄 園 圖 像 中 的 葡 萄 簇 的 像 素 區(qū) 域 實(shí) 現(xiàn) 了 葡 萄 簇 與 背 景 的 分 割 等 利 用 算 法 對(duì) 圖 像 中 的 蘋 果 與 背 景 進(jìn) 行 初 步 分 割 再 利 用 形 態(tài) 學(xué) 中 的 侵 蝕 與 膨 脹 操 作 提 取 蘋 果 準(zhǔn) 確 輪 廓 能 夠 快 速 識(shí) 別 重 疊 蘋 果 盡 管 無 監(jiān) 督 學(xué) 習(xí) 算 法 省 去 了 數(shù) 據(jù) 標(biāo) 注 環(huán) 節(jié) 節(jié) 約 了 訓(xùn) 練 周 期 但 訓(xùn) 練 結(jié) 果 存 在 一 些 不 確 定 性 訓(xùn) 練 時(shí) 所 用 的 數(shù) 據(jù) 集 對(duì) 聚 類 模 型 影 響 過 大 導(dǎo) 致 無 監(jiān) 督 聚 類 算 法 的 魯 棒 性 較 差 另 外 聚 類 算 法 需 要 人 為 設(shè) 定 值 而 不 同 的 值 也 會(huì) 使 聚 類 結(jié) 果 產(chǎn) 生 較 大 的 差 異 傳 統(tǒng) 機(jī) 器 學(xué) 習(xí) 方 法 在 簡(jiǎn) 單 的 果 實(shí) 識(shí) 別 任 務(wù) 中 被 大 量 使 用 但 是 在 識(shí) 別 背 景 環(huán) 境 復(fù) 雜 形 態(tài) 差 異 不 明 顯 的 果 實(shí) 時(shí) 識(shí) 別 效 果 還 達(dá) 不 到 要 求 基 于 深 度 學(xué) 習(xí) 的 識(shí) 別 方 法 深 度 學(xué) 習(xí) 擴(kuò) 充 了 機(jī) 器 學(xué) 習(xí) 的 范 圍 屬 于 機(jī) 器 學(xué) 習(xí) 的 延 伸 領(lǐng) 域 深 度 學(xué) 習(xí) 利 用 深 度 神 經(jīng) 網(wǎng) 絡(luò) 和 隨 機(jī) 梯 度 下 降 算 法 自 動(dòng) 學(xué) 習(xí) 提 取 目 標(biāo) 特 征 深 層 網(wǎng) 絡(luò) 能 從 大 量 樣 本 中 學(xué) 習(xí) 到 復(fù) 雜 特 征 從 而 使 模 型 獲 得 更 好 的 識(shí) 別 效 果 近 些 年 來 果 實(shí) 識(shí) 別 研 究 的 相 關(guān) 文 獻(xiàn) 表 明 基 于 深 度 學(xué) 習(xí) 的 目 標(biāo) 檢 測(cè) 方 法 圖 已 經(jīng) 成 為 目 前 果 實(shí) 識(shí) 別 的 主 要 方 法 圖 深 度 學(xué) 習(xí) 目 標(biāo) 識(shí) 別 模 型 示 意 兩 階 段 目 標(biāo) 識(shí) 別 算 法 兩 階 段 目 標(biāo) 識(shí) 別 分 割 算 法 由 生 成 候 選 框 和 候 選 框 分 類 個(gè) 階 段 組 成 第 一 階 段 由 區(qū) 域 生 成 網(wǎng) 絡(luò) 結(jié) 構(gòu) 生 成 一 系 列 目 標(biāo) 候 選 框 第 二 階 段 利 用 深 層 神 經(jīng) 網(wǎng) 絡(luò) 對(duì) 特 征 圖 上 每 個(gè) 候 選 框 所 對(duì) 應(yīng) 的 特 征 樣 本 進(jìn) 行 分 類 再 經(jīng) 過 非 極 大 值 抑 制 處 理 剔 除 冗 余 的 樣 本 如 圖 所 示 由 于 該 類 算 法 需 要 在 檢 測(cè) 之 前 生 成 預(yù) 選 框 導(dǎo) 致 模 型 整 體 結(jié) 構(gòu) 復(fù) 雜 訓(xùn) 練 時(shí) 間 較 長(zhǎng) 推 理 速 度 較 慢 例 如 李 旭 等 基 于 為 主 干 的 網(wǎng) 絡(luò) 檢 測(cè) 復(fù) 雜 背 景 下 的 茶 葉 嫩 芽 當(dāng) 采 用 一 芽 一 葉 二 葉 標(biāo) 注 時(shí) 識(shí) 別 準(zhǔn) 確 率 與 召 回 率 分 別 為 和 單 張 圖 像 檢 測(cè) 用 時(shí) 相 比 數(shù) 字 圖 像 處 理 的 方 法 快 了 且 效 果 更 好 針 對(duì) 采 摘 點(diǎn) 難 以 直 接 預(yù) 測(cè) 的 問 題 等 在 模 型 的 層 后 添 加 關(guān) 鍵 點(diǎn) 檢 測(cè) 分 支 用 來 預(yù) 測(cè) 芒 果 圖 像 中 采 摘 點(diǎn) 位 置 最 終 采 摘 點(diǎn) 檢 測(cè) 的 最 佳 精 度 和 召 回 率 分 別 達(dá) 到 了 和 等 在 基 礎(chǔ) 上 使 用 添 加 注 意 力 機(jī) 制 的 作 為 主 干 網(wǎng) 絡(luò) 提 高 特 征 提 取 能 力 采 用 軟 非 極 大 值 抑 制 方 法 降 低 重 疊 果 實(shí) 漏 檢 率 平 均 精 度 達(dá) 到 了 雖 然 兩 階 段 識(shí) 別 算 法 在 果 實(shí) 識(shí) 別 上 獲 得 了 不 錯(cuò) 的 成 績(jī) 但 是 由 于 其 復(fù) 雜 的 模 型 結(jié) 構(gòu) 與 龐 大 的 計(jì) 算 量 導(dǎo) 致 該 類 算 法 運(yùn) 行 速 度 難 以 達(dá) 到 實(shí) 時(shí) 檢 測(cè) 運(yùn) 行 速 度 的 需 求 這 也 是 兩 階 段 算 金 壽 祥 等 采 摘 機(jī) 器 人 視 覺 系 統(tǒng) 研 究 進(jìn) 展 特 征 層 重 塑 指 數(shù) 歸 一 化 函 數(shù) 操 作 生 成 感 興 趣 區(qū) 域 感 興 趣 區(qū) 域 池 化 圖 像 信 息 圖 模 型 網(wǎng) 絡(luò) 結(jié) 構(gòu) 法 的 通 病 而 目 前 移 動(dòng) 端 平 臺(tái) 的 性 能 很 難 達(dá) 到 此 類 模 型 的 最 佳 運(yùn) 行 條 件 因 此 該 類 算 法 實(shí) 際 應(yīng) 用 的 并 不 多 一 階 段 目 標(biāo) 識(shí) 別 算 法 與 兩 階 段 目 標(biāo) 識(shí) 別 算 法 不 同 一 階 段 識(shí) 別 算 法 省 去 了 提 取 候 選 框 的 步 驟 直 接 預(yù) 測(cè) 邊 界 框 的 大 小 置 信 度 和 類 別 概 率 信 息 因 此 一 階 段 算 法 與 二 階 段 算 法 相 比 模 型 結(jié) 構(gòu) 更 為 簡(jiǎn) 單 訓(xùn) 練 時(shí) 間 更 短 運(yùn) 行 速 度 更 快 由 于 目 前 移 動(dòng) 端 設(shè) 備 計(jì) 算 能 力 有 限 所 以 在 綜 合 考 慮 檢 測(cè) 精 度 與 模 型 大 小 的 情 況 下 輕 量 級(jí) 的 一 階 段 算 法 如 與 算 法 被 大 量 使 用 在 果 實(shí) 識(shí) 別 中 例 如 等 將 算 法 中 用 來 檢 測(cè) 物 體 位 置 的 方 形 預(yù) 測(cè) 框 設(shè) 置 成 圓 形 用 來 識(shí) 別 圖 像 中 的 番 茄 減 少 了 模 型 參 數(shù) 提 高 了 對(duì) 圓 形 果 實(shí) 的 擬 合 程 度 相 比 于 未 改 進(jìn) 之 前 該 模 型 的 召 回 率 和 精 度 分 別 提 高 了 個(gè) 和 個(gè) 百 分 點(diǎn) 達(dá) 到 了 和 等 基 于 算 法 對(duì) 自 然 環(huán) 境 下 的 花 椒 果 實(shí) 進(jìn) 行 檢 測(cè) 平 均 識(shí) 別 精 度 達(dá) 到 了 在 設(shè) 備 上 運(yùn) 行 速 度 達(dá) 到 了 每 秒 幀 實(shí) 現(xiàn) 了 實(shí) 時(shí) 檢 測(cè) 何 斌 等 為 實(shí) 現(xiàn) 夜 間 情 況 下 番 茄 果 實(shí) 的 快 速 識(shí) 別 提 出 了 一 種 基 于 改 進(jìn) 的 識(shí) 別 方 法 圖 通 過 在 損 失 函 數(shù) 中 增 加 中 心 距 離 度 量 提 高 了 被 遮 擋 與 暗 光 下 的 果 實(shí) 識(shí) 別 精 度 楊 福 增 等 使 用 基 于 無 錨 框 的 目 標(biāo) 檢 測(cè) 模 型 實(shí) 現(xiàn) 了 密 集 分 布 場(chǎng) 景 下 的 蘋 果 果 實(shí) 識(shí) 別 該 方 法 省 去 了 錨 框 和 非 極 大 值 抑 制 過 程 平 均 識(shí) 別 精 度 為 與 二 階 段 算 法 相 比 一 階 段 算 法 通 常 能 以 較 少 的 模 型 參 數(shù) 量 與 計(jì) 算 量 取 得 相 對(duì) 較 高 的 果 實(shí) 識(shí) 別 準(zhǔn) 確 率 因 此 在 果 實(shí) 識(shí) 別 的 研 究 中 越 來 越 多 的 學(xué) 者 選 擇 采 用 或 者 基 于 一 階 段 目 標(biāo) 檢 測(cè) 算 法 進(jìn) 行 改 進(jìn) 構(gòu) 建 不 同 的 果 實(shí) 識(shí) 別 模 型 采 摘 點(diǎn) 定 位 技 術(shù) 圖 像 中 的 果 實(shí) 被 識(shí) 別 之 后 還 需 要 確 定 采 摘 點(diǎn) 相 對(duì) 于 機(jī) 器 人 的 空 間 坐 標(biāo) 才 能 指 導(dǎo) 機(jī) 器 人 利 用 動(dòng) 作 執(zhí) 行 系 統(tǒng) 與 末 端 執(zhí) 行 器 完 成 采 摘 動(dòng) 作 對(duì) 于 不 同 種 類 的 果 實(shí) 采 摘 點(diǎn) 有 的 在 果 實(shí) 上 有 的 在 果 梗 上 如 圖 所 示 蘋 果 柑 橘 等 較 大 的 果 實(shí) 一 般 選 擇 逐 個(gè) 采 摘 通 常 以 果 實(shí) 中 心 作 為 采 摘 點(diǎn) 對(duì) 于 番 茄 荔 枝 葡 萄 等 小 型 簇 狀 果 實(shí) 基 本 選 擇 整 串 采 摘 一 般 將 果 實(shí) 上 部 的 果 梗 上 的 一 個(gè) 點(diǎn) 作 為 采 摘 點(diǎn) 采 摘 點(diǎn) 定 位 準(zhǔn) 確 性 將 直 接 決 定 采 摘 機(jī) 器 人 的 采 摘 效 果 通 過 果 實(shí) 在 圖 像 中 的 位 置 可 以 得 到 采 摘 點(diǎn) 在 像 素 坐 標(biāo) 系 下 的 二 維 坐 標(biāo) 還 需 要 將 其 轉(zhuǎn) 化 為 機(jī) 械 臂 坐 標(biāo) 系 下 的 三 維 坐 標(biāo) 才 能 正 確 指 引 采 摘 裝 置 完 成 采 摘 流 程 如 圖 所 示 江 蘇 農(nóng) 業(yè) 學(xué) 報(bào) 年 第 卷 第 期圖 模 型 網(wǎng) 絡(luò) 結(jié) 構(gòu) 蘋 果 柑 橘 番 茄 葡 萄 采 摘 點(diǎn) 圖 果 實(shí) 采 摘 點(diǎn) 示 意 采 摘 點(diǎn) 的 二 維 定 位 針 對(duì) 采 摘 點(diǎn) 在 果 實(shí) 上 位 置 不 同 的 情 況 一 般 利 用 果 實(shí) 與 采 摘 點(diǎn) 的 位 置 關(guān) 系 將 識(shí) 別 出 的 果 實(shí) 邊 界 框 或 掩 膜 的 中 心 作 為 采 摘 點(diǎn) 得 到 采 摘 點(diǎn) 的 像 素 坐 標(biāo) 例 如 任 亞 婧 等 使 用 形 態(tài) 學(xué) 操 作 獲 取 圖 像 中 的 蘋 果 掩 膜 的 質(zhì) 心 作 為 采 摘 點(diǎn) 但 是 果 梗 通 常 是 與 背 景 顏 色 相 近 的 細(xì) 長(zhǎng) 條 狀 體 對(duì) 于 采 摘 點(diǎn) 在 果 梗 或 枝 干 上 的 情 況 很 難 直 接 確 定 采 摘 點(diǎn) 在 果 梗 上 的 位 置 所 以 一 般 采 用 間 接 方 法 定 圖 采 摘 點(diǎn) 定 位 流 程 位 根 據(jù) 果 實(shí) 的 生 長(zhǎng) 特 性 先 確 定 果 實(shí) 在 彩 色 圖 像 中 的 位 置 再 利 用 果 實(shí) 果 梗 與 采 摘 點(diǎn) 之 間 的 自 然 位 置 關(guān) 系 在 圖 像 中 推 斷 出 果 梗 上 適 合 采 摘 的 位 置 作 為 采 摘 點(diǎn) 例 如 等 為 了 實(shí) 現(xiàn) 葡 萄 的 自 動(dòng) 采 摘 利 用 均 值 聚 類 與 有 效 顏 色 分 割 算