null null null null 年 null 月 農(nóng) 業(yè) 機 械 學(xué) 報 第 nullnull 卷 第 null 期 nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 溫室高架栽培草莓空間姿態(tài)識別與采摘點定位方法 畢 松 隗朋峻 劉仁學(xué) 北方工業(yè)大學(xué)電氣與控制工程學(xué)院 北京 nullnullnullnullnullnull 摘要 采摘目標(biāo)空間位姿信息缺失和目標(biāo)定位精度低是影響草莓采摘機器人采摘效果的關(guān)鍵因素之一 為此 本 文首先設(shè)計了基于顏色信息和卷積神經(jīng)網(wǎng)絡(luò)的草莓圖像目標(biāo)定位與分割以及目標(biāo)點云分割模型 其次 實現(xiàn)了基 于圖像的草莓可采摘性和遮擋程度識別模型 最后 設(shè)計了草莓空間定位和姿態(tài)估計模型并實現(xiàn)草莓采摘點定位 方法 基于本文方法對完整草莓位姿估計平均誤差為 nullnull nullnullnull 對遮擋草莓位姿估計平均誤差為 nullnull nullnullnull 采摘定位 綜合誤差為 nullnull null nullnull 在實際采摘實驗中 采摘成功率為 nullnullnull nullnull 平均每個草莓的計算耗時約為 nullnull nullnull 單個草莓采 摘動作的執(zhí)行平均耗時約為 nullnull null null 實驗結(jié)果表明 本文提出的方法可在溫室條件下較準(zhǔn)確地估計草莓空間位姿和 采摘點 為草莓采摘機器人提供有效的目標(biāo)定位信息 有效滿足實際采摘場景下的需求 關(guān)鍵詞 草莓 采摘 果實遮擋 點云分割 位姿估計 目標(biāo)定位 中圖分類號 nullnullnullnullnull 文獻標(biāo)識碼 null 文章編號 nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull 收稿日期 nullnullnullnull nullnullnull nullnullnull 修回日期 nullnullnullnull nullnullnull nullnullnull 基金項目 國家重點研發(fā)計劃項目 nullnullnullnullnullnullnullnullnullnullnullnullnullnull 和北方工業(yè)大學(xué) nullnullnullnull 工程項目 nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 作者簡介 畢松 nullnullnullnullnull 男 副教授 博士 主要從事智能農(nóng)機設(shè)備研究 nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull College of Electrical and Control Engineering North China University of Technology Beijing nullnullnullnullnullnull China nullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull null nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull nullnullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnull null nullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnull null nullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull null 引言 隨著國內(nèi)人工成本的快速增長 現(xiàn)有以人工作 業(yè)為主的種植和管理模式 已成為制約草莓產(chǎn)業(yè)發(fā) 展的重要因素之一 提高生產(chǎn)過程的自動化和智能 化程度 能夠有效降低草莓生產(chǎn)過程的人力需求 采摘作業(yè)是草莓生產(chǎn)過程中人力需求集中的環(huán) 節(jié) 因此采摘作業(yè)自動化能夠有效降低草莓生產(chǎn)過 程的人力需求 果實自動采摘的基礎(chǔ)是能夠穩(wěn)定的 獲得草莓目標(biāo)空間位置 自然環(huán)境存在光照強度變 化 果實重疊 枝葉遮擋等干擾因素 因此在自然環(huán) 境下草莓目標(biāo)識別 定位與空間姿態(tài)估計是草莓自 動采摘裝備的關(guān)鍵技術(shù) 自然環(huán)境獲得的草莓圖像存在背景變化 果實 光照不均 枝葉遮擋 果實重疊等干擾因素 識別和 定位草莓目標(biāo)受到國內(nèi)外相關(guān)領(lǐng)域?qū)＜业年P(guān)注 在 自然環(huán)境下草莓目標(biāo)的識別研究方面 趙世達 null 設(shè) 計了基于圖像對比度分析的草莓識別方法 謝志勇 等 null 基于 nullnullnull 顏色空間模型和 nullnullnullnullnull 圓變換設(shè)計 了成熟草莓識別方法 nullnullnull 等 null 利用 nullnullnull 顏色模型 的灰色圖像提取草莓并計算位置 方向和形狀 nullnull 等 null 基于圖像 nullnullnull 特征和 nullnullnull 分類器完成草莓目 標(biāo)檢測 劉小剛等 null 基于伽馬變換增強的圖像實現(xiàn) 了夜間草莓識別 李鑫 null 使用 nullnullnullnullnullnullnullnull 網(wǎng)絡(luò)完成了 成熟草莓目標(biāo)的檢測 張繼成等 null 提出一種基于深 度殘差學(xué)習(xí)的草莓識別方法 解決了自然狀態(tài)下成 熟草莓存在背景干擾 信息丟失情況下的草莓目標(biāo) 識別問題 nullnull 等 null 基于 nullnullnullnull 解決了由于枝葉遮 擋引起的果實檢測不準(zhǔn)確問題 nullnull 等 null 基于 nullnullnullnull null null nullnullnull 提高了非結(jié)構(gòu)環(huán)境下水果的檢測精度 王 雪光等 nullnull 基于 null 均值聚類算法實現(xiàn)了成熟草莓的 識別 陳軍等 nullnull 使用目標(biāo)輪廓長寬比區(qū)間窗口來提 高草莓識別準(zhǔn)確率 侯貴洋等 nullnull 使用顏色識別和特 征識別結(jié)合的方法計算草莓質(zhì)心坐標(biāo) 胡慶勝等 nullnull 基于 nullnullnullnull null null nullnullnull 解決了復(fù)雜環(huán)境下草莓目標(biāo)識 別率低的問題 自然環(huán)境下草莓目標(biāo)識別存在識別精度和速度 較低 易受背景干擾的問題 對圖像中草莓區(qū)域的 識別精度較低 不利于草莓姿態(tài)識別和采摘點定位 在自然環(huán)境下果實目標(biāo)定位研究方面 房愛青 等 nullnull 基于單目視覺結(jié)合測距傳感器提高了視覺定 位精度 張凱良等 nullnull 使用圖像結(jié)合激光測距有效檢 測了長圓錐形草莓的果軸 郭峰等 nullnull 通過計算草莓 二值化圖像的慣性主軸來判斷草莓姿態(tài) nullnullnull 等 nullnull 利用點云數(shù)據(jù)獲得的葡萄簇和水平 null 棚架環(huán)境特征 實現(xiàn)采摘點定位策略 nullnullnullnullnull 等 nullnull 基于主果枝檢 測實現(xiàn)了自然環(huán)境下荔枝采摘點的檢測 張勤等 nullnull 融合深度信息和顏色特征實現(xiàn)了無遮擋情況下果實 采摘點識別 麥春艷等 nullnull 設(shè)計了基于點云的果實三 維球體形狀提取和質(zhì)心計算方法 劉德兒等 nullnull 使用 改進的 nullnullnullnullnullnull 算法分割臍橙果實 外形擬合后得 到其相機坐標(biāo)系下的采摘點 姬麗雯等 nullnull 利用 null null nullnullnull 目標(biāo)檢測網(wǎng)絡(luò)結(jié)合雙目視覺實現(xiàn)成熟無遮擋 草莓的檢測及定位 羅陸鋒等 nullnull 根據(jù)目標(biāo)質(zhì)心坐標(biāo) 和葡萄簇邊緣信息確定采摘點 王丹丹等 nullnull 提出基 于平滑輪廓對稱軸法的蘋果目標(biāo)采摘點定位方法 司永勝等 nullnull 建立面積特征結(jié)合極線幾何實現(xiàn)了圓 形果實的定位 上述方法根據(jù)空間幾何原理估計草莓目標(biāo)的坐 標(biāo)和采摘點 但缺少對草莓目標(biāo)三維空間位姿分析 從而不能為采摘設(shè)備的末端提供精準(zhǔn)采摘姿態(tài) 信息 目前草莓識別定位的局限性體現(xiàn)在 只能識別 到圖像中草莓的大概位置 無法獲得草莓目標(biāo)的準(zhǔn) 確區(qū)域 空間定位方法不完整 無法獲得草莓的位 姿 僅有采摘點信息使采摘動作的準(zhǔn)確性和靈活性 受限 采摘效率降低 本文設(shè)計基于圖像和深度信息估計草莓位姿從 而實現(xiàn)草莓定位的方法 首先 基于成熟草莓目標(biāo) 的圖像特征先驗信息 設(shè)計草莓目標(biāo)預(yù)定位方法 獲 得圖像中潛在的草莓區(qū)域 其次 基于圖像目標(biāo)識 別網(wǎng)絡(luò)進一步定位圖像中的草莓目標(biāo) 由于卷積神 經(jīng)網(wǎng)絡(luò)定位目標(biāo)區(qū)域不夠具體 無法準(zhǔn)確獲取框選 區(qū)域中草莓所屬的像素區(qū)域 因此在草莓目標(biāo)區(qū)域 中利用語義分割網(wǎng)絡(luò)對草莓目標(biāo)進行語義分割 從 而在自然圖像中獲得草莓的準(zhǔn)確像素區(qū)域 再次 通過草莓區(qū)域點云信息和草莓的形態(tài)特性完成草莓 位姿的估計并根據(jù)草莓位姿提取草莓的采摘點 最 后 基于本文方法獲得的采摘點在大族 nullnullnullnullnull nullnullnull 機 器人平臺完成自然環(huán)境下高架基質(zhì)栽培方式的草莓 采摘實驗 null 方法與模型 nullnull null 方法整體結(jié)構(gòu) 本文方法主要由 null 部分組成 自然圖像草莓區(qū) 域分割 草莓目標(biāo)可采摘性識別 草莓位姿估計 采 摘動作生成 方法結(jié)構(gòu)如圖 null 所示 首先 在自然圖像草莓區(qū)域分割模塊中 以優(yōu)化 的對草莓顏色適應(yīng)性較高閾值對圖像進行閾值分隔 獲得草莓圖像區(qū)域預(yù)定位 基于預(yù)定位結(jié)果利用訓(xùn) 練好的圖像目標(biāo)識別網(wǎng)絡(luò)對圖像中草莓區(qū)域進行快 速定位 利用訓(xùn)練好的圖像分割網(wǎng)絡(luò)提取精確的草 莓目標(biāo)區(qū)域并提取圖像目標(biāo)區(qū)域形狀特征 其次 在草莓目標(biāo)可采摘性識別模塊中 使用提取出的圖 像區(qū)域形狀特征對草莓的可采摘性進行識別 然 后 在草莓位姿估計模塊中 基于草莓區(qū)域的點云數(shù) 據(jù)和草莓的可采摘性結(jié)果估計草莓位姿和采摘點空 間位置坐標(biāo) 最后 在采摘動作生成模塊中 基于計 nullnull 農(nóng) 業(yè) 機 械 學(xué) 報 null null null null 年 圖 null 方法整體結(jié)構(gòu)圖 nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull 算得到的采摘點序列計算最短采摘路徑并控制機器 人完成采摘作業(yè) nullnull null 自然環(huán)境圖像草莓點云分割 本文設(shè)計了自然環(huán)境下草莓目標(biāo)點云的精確分 割方法 精確分割的草莓目標(biāo)點云可為后續(xù)的草莓 位姿估計提供數(shù)據(jù)基礎(chǔ) 首先 在 nullnullnull 空間對草莓 目標(biāo)進行預(yù)定位 確定圖像中草莓目標(biāo)潛在區(qū)域 其 次 利用圖像目標(biāo)識別模型 在預(yù)定位結(jié)果基礎(chǔ)上檢 測草莓位置區(qū)域 再次 利用語義分割網(wǎng)絡(luò)在草莓位 置區(qū)域圖像基礎(chǔ)上對草莓區(qū)域進行像素分割 使用 像素分割后的草莓目標(biāo)區(qū)域圖像提取特征進行草莓 的成熟性判斷 最后 使用成熟草莓的草莓目標(biāo)區(qū)域 圖像在深度數(shù)據(jù)中匹配獲得草莓目標(biāo)點云 自然環(huán) 境圖像草莓區(qū)域點云分割的方法流程如圖 null 所示 null 目標(biāo)預(yù)定位 溫室環(huán)境下高架基質(zhì)草莓目標(biāo)顏色與背景差異 較大 與背景相比其飽和度較高 色度范圍較大 由 于溫室環(huán)境下 光照 紋理等參數(shù)變化范圍較大 設(shè) 置較大的色度和飽和度區(qū)間有助于提高圖像中草莓 區(qū)域預(yù)分割效果 因此在 nullnullnull 色彩空間中 同時使 用 null 通道閾值目標(biāo)顏色分割可較好地完成草莓目標(biāo) 的預(yù)定位 利用區(qū)域形態(tài)學(xué)操作完成孔洞填充 去 除圖像噪聲后 獲得草莓圖像預(yù)定位 null 識別模塊 完成對草莓目標(biāo)的預(yù)定位處理后 需要對草莓 目標(biāo)進行目標(biāo)定位和檢測 nullnullnullnull 系列網(wǎng)絡(luò)是單階 段網(wǎng)絡(luò) 在檢測速度上有天然的優(yōu)勢 與農(nóng)業(yè)智能裝 備應(yīng)用更加適配 nullnullnullnull nullnull 相較于之前版本的 nullnullnullnull 采用了多尺度檢測的策略 可以檢測更小的 目標(biāo) 適用于草莓小目標(biāo) 相較于之后的 nullnullnullnull 版 本 nullnullnullnull nullnull 網(wǎng)絡(luò)在結(jié)構(gòu)上更加輕量化 在同時都滿 足目標(biāo)識別準(zhǔn)確度需求的情況下 推理速度更快 因此 本文使用 nullnullnullnull nullnull 標(biāo)準(zhǔn)網(wǎng)絡(luò)構(gòu)造識別模塊 首先 計算每個預(yù)定位目標(biāo)區(qū)域的質(zhì)心 以區(qū)域 質(zhì)心作為中心剪裁圖像并使用識別模塊從原始圖像 中搜索草莓目標(biāo) 對于預(yù)定位過程中正確找到的草 莓目標(biāo)區(qū)域 網(wǎng)絡(luò)會輸出草莓目標(biāo)的預(yù)測位置以及 置信度 對于預(yù)定位過程中誤識別的區(qū)域 網(wǎng)絡(luò)無輸 出 同時也代表著此區(qū)域無草莓 不再參與后續(xù)流程 的計算 null 分割模塊 由于目標(biāo)識別網(wǎng)絡(luò)輸出的圖像中 既包含草莓 目標(biāo)又包含目標(biāo)附近的背景 因此無法確定獲取草 莓目標(biāo)區(qū)域 該問題將導(dǎo)致后續(xù)基于點云分析的草 nullnull第 null 期 畢松 等 溫室高架栽培草莓空間姿態(tài)識別與采摘點定位方法 圖 null 草莓區(qū)域點云分割流程圖 nullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull 莓目標(biāo)空間定位誤差較大 因此利用語義分割方法 獲得草莓目標(biāo)像素級分割結(jié)果 為草莓姿態(tài)識別提 供有效的三維點云數(shù)據(jù) 將目標(biāo)圖像輸入到分割模 塊之前 對圖像進行預(yù)處理 以保證整個草莓都能被 輸入到分割模塊之中 null 成熟性分析 獲得草莓目標(biāo)的區(qū)域分割圖像后 應(yīng)對草莓的 成熟性做出分析 以完成后續(xù)對成熟草莓目標(biāo)點云 的分割 成熟草莓與未成熟草莓的區(qū)域目標(biāo)圖像如 圖 null 所示 圖 null 成熟草莓與未成熟草莓目標(biāo)區(qū)域圖像 nullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull 草莓的成熟與否在成熟區(qū)域特征上有明顯差 異 如圖 null 所示 成熟草莓圖像的凸包面積在區(qū)域 目標(biāo)圖像中 占比較大且較為集中 未成熟草莓圖像 的凸包面積 在區(qū)域目標(biāo)圖像中占比較小 區(qū)域目 標(biāo)圖像是由識別模塊輸出區(qū)域經(jīng)填補后等比縮放至 固定尺寸 再由草莓目標(biāo)分割模塊確定圖像中草莓 區(qū)域 因此利用目標(biāo)區(qū)域和草莓區(qū)域進行成熟度評 價時圖像尺度具有一致性 因此 設(shè) S null 為草莓目標(biāo) 區(qū)域凸包像素面積 S null 為目標(biāo)圖像像素面積 以 F null null S null S null 作為草莓的成熟區(qū)域度特征 在未成熟 草莓分割圖像中 背景噪聲會對草莓真實區(qū)域造成 一定干擾 如圖 nullnull 中黃色圈所示 因此在計算目 標(biāo)區(qū)域面積時 通過圖像形態(tài)學(xué)操作去除圖像中的 細(xì)小碎塊區(qū)域后 再計算圖像的目標(biāo)區(qū)域面積和凸 包 通過對 nullnullnull 幅草莓樣本圖像的分析 獲取其目 標(biāo)區(qū)域并計算區(qū)域度特征 特征數(shù)據(jù) F null 的箱型圖如 圖 null 所示 圖 null 草莓類別分布箱型圖 nullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull 從圖 null 可以觀察到未成熟草莓的區(qū)域度特征分 布集中度較高 均分布在 nullnull nullnull 左右 而成熟草莓的 區(qū)域度較為分散 從最小值 nullnull nullnull 到最大值 nullnull nullnull 均 有分布 相對集中在 nullnull nullnull nullnullnull nullnull 區(qū)間 因草莓樣本 的多樣性及其品質(zhì)的隨機性 所得數(shù)據(jù)中有個別離 群點 紅色十字 但圖中數(shù)據(jù)分布仍能反映出可通 nullnull 農(nóng) 業(yè) 機 械 學(xué) 報 null null null null 年 過區(qū)域度特征閾值方法成功區(qū)分成熟草莓與未成熟 草莓 當(dāng)把閾值設(shè)定在 nullnull null 時 對成熟草莓分類的 準(zhǔn)確率為 nullnullnull nullnullnull 對未成熟草莓分類的準(zhǔn)確率為 nullnullnull nullnullnull 滿足實際場景的應(yīng)用需求 null 點云分割 成熟草莓中 以草莓目標(biāo)精確分割區(qū)域為索引 結(jié)合配準(zhǔn)的深度信息矩陣 計算草莓區(qū)域的點云數(shù) 據(jù) 獲得精確分割的草莓目標(biāo)區(qū)域點云數(shù)據(jù) 為了 去除點云數(shù)據(jù)在獲取階段受到環(huán)境干擾導(dǎo)致的誤 差 需要對點云數(shù)據(jù)進行預(yù)處理 本文使用雙邊濾 波方法對草莓目標(biāo)點云區(qū)域進行濾波去噪 雙邊濾 波算法通過使用當(dāng)前數(shù)據(jù)點與臨近點的距離權(quán)重 和臨近點沿當(dāng)前點法向量的投影權(quán)重來修正當(dāng)前采 樣中心點的位置 從而達到保持點云數(shù)據(jù)原特征的 目的 nullnull null 草莓位姿估計 自然生長條件下草莓空間位姿估計是獲取草莓 采摘點的前提 本文設(shè)計了基于草莓幾何體形態(tài)的 中心位姿線估計方法 完整草莓的幾何體形狀近似 一個錐形 因此在點云空間中可把完整草莓曲面看 作半個圓錐面 估計草莓的位姿就是從點云提取的 半個錐面曲面中估計完整錐面的長軸向量 本文設(shè) 計的草莓位姿估計方法 以每個數(shù)據(jù)點為中心 相鄰 點為鄰域擬合平面 依次計算每一個數(shù)據(jù)點的平面 法向量 以數(shù)據(jù)點坐標(biāo)為射線起點 數(shù)據(jù)點法向量 方向為射線方向 構(gòu)造射線 把每一條射線看作圓錐 曲面與圓錐中心長軸向量的連線 尋找所有射線之 間的交點作為潛在的草莓位姿點 最終對潛在草莓 位姿點濾波后使用最小二乘法進行直線擬合 作為 草莓的空間位姿向量 具體流程如圖 null 所示 圖 null 完整草莓位姿估計流程圖 nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull null 生成 z 軸方向一致的表面法向量 由于草莓位姿方向和圓錐中心線方向一致且在 圓錐內(nèi)部 為了獲取草莓位姿數(shù)據(jù)點的潛在區(qū)域 需 要先獲取目標(biāo)點云曲面每一個點的法向量 對于平 滑去噪后目標(biāo)點云數(shù)據(jù)中的每個數(shù)據(jù)點使用最小二 乘法來擬合局部平面 并確定中心數(shù)據(jù)點的平面法 向量 具體過程如下 平面方程的一般表達為 Ax null By null Cz null D nullnull Cnullnull null 則有 z null null A C x null B C y null D C null 記 a null null null A C a null null null B C a null null null D C 那么 z null a null x null a null y null a null null 對于 n nnullnull 個點 x i y i z i i null null null null n null null null 擬合平面方程 null 使得 S null null n null i null a null x i null a null y i null a null null z i null 最小 應(yīng)滿足 nullS nulla k nullnull k nullnull null null 則有 a nullnull x i a nullnull x i y i a nullnull x i null x i z i a nullnull x i y i a nullnull y null i a nullnull y i null y i z i a nullnull x i a nullnull y i a null n null z i null 求解線性方程組 null 可得到 a null a null a null 則 z null a null x null a null y null a null 令 D nullnull 解得參數(shù) A B C 故得到參 考點的法向量 N A B C null 為了符合圓錐體長軸向量在圓錐內(nèi)部的特性 z 軸遠點設(shè)置一個基準(zhǔn)點 把每個法向量的方向都 與此基準(zhǔn)點進行比較 以保證每個數(shù)據(jù)點的法向量 z 軸分量指向圓錐內(nèi)部 法向量方向確定的具體方 nullnull第 null 期 畢松 等 溫室高架栽培草莓空間姿態(tài)識別與采摘點定位方法 法如下 設(shè)基準(zhǔn)點坐標(biāo)為 P null x null y null z null 待判斷方向的數(shù) 據(jù)點為 P null x null y null z null 點 P null 的法向量為 N null A null B null C null 則數(shù)據(jù)點指向基準(zhǔn)點方向向量為 P k x null nullx null y null null y null z null null z null 因此 N null null N null C null z null null z null nullnull null N null C null z null null z null nullnull null null 點云質(zhì)心分區(qū) 對于保留了完整草莓曲面的無遮擋情況草莓 由于圓錐體沿中心線截面左右對稱 草莓目標(biāo)點云 也基本符合左右對稱的性質(zhì) 因此 以草莓目標(biāo)區(qū) 域圖像的質(zhì)心坐標(biāo)標(biāo)定出的點云數(shù)據(jù)點為原點 x 軸 y 軸方向把草莓曲面分為 null 個區(qū)域 如圖 null 點云 質(zhì)心分區(qū)結(jié)果所示 null 個區(qū)域內(nèi)點云數(shù)據(jù)法向量的 x 和 y 方向應(yīng)指向圓錐體中心方向 null 位姿交點計算 為了找到圓錐的長軸向量 將點云劃分為 null 個 區(qū)域后 依次以每個數(shù)據(jù)點為起點 數(shù)據(jù)法向量方向 為射線方向生成射線 在質(zhì)心分區(qū)的區(qū)域 null null null null 之間互相尋找射線交點 作為潛在的草莓位姿點 草莓位姿交點的軸向示意圖如圖 null 所示 圖 null 草莓位姿交點軸向示意圖 nullnullnu