農業(yè)裝備工程與機械化 蘋果四臂采摘機器人系統設計與試驗 馮青春 趙春江 李 濤 陳立平 郭 鑫 謝 豐 熊子聰 陳凱文 劉 城 嚴童杰 1 北京市農林科學院智能裝備技術研究中心 北京 100097 2 國家農業(yè)智能裝備工程技術研究中心 北京 100097 3 農業(yè)智能裝備技術北京市重點實驗室 北京 100097 摘 要 針對鮮食蘋果智能化高效采收需要 該研究設計了四臂并行采摘的 采 收 運 一體式機器人系統 以代替人 工采收作業(yè) 以中國矮砧密植高紡錘果樹為對象 根據樹冠內果實空間分布特征 提出了四臂并行采摘執(zhí)行部件的作業(yè) 方式 建立了基于多任務深度卷積網絡的果實可見區(qū)域識別模型 實現受遮擋果實離散區(qū)域語義分割及其歸屬關系的端 到端判別 在此基礎上 根據果實表面局部點云信息對其質心進行空間定位 提出了基于時間最優(yōu)的四臂協同采摘任務 規(guī)劃方法 以實現機械臂對樹冠內不同區(qū)域的高效遍歷 最后在采摘機器人關鍵部件集成的基礎上 在矮砧密植標準果 園進行生產試驗 試驗結果表明 機器人對樹冠內可見果實的識別率為92 94 被識別果實中定位精度滿足機器人采 摘操作要求的比例為90 27 機器人平均采摘效率為7 12 s 果 其中四臂協同采摘效率約為單臂采摘效率的1 96倍 對可見果實采摘成功率為82 00 對樹冠內全部果實的采收率為74 56 枝葉遮擋干涉是造成采摘失敗的主要原因 該研究可為鮮果智能化采摘模式的探索應用提供技術支撐 關鍵詞 采摘 機器人 蘋果 多任務網絡 多臂協同 應用試驗 doi 10 11975 j issn 1002 6819 202305114 中圖分類號 TP242 6 文獻標志碼 A 文章編號 1002 6819 2023 13 0025 09 馮青春 趙春江 李濤 等 蘋果四臂采摘機器人系統設計與試驗 J 農業(yè)工程學報 2023 39 13 25 33 doi 10 11975 j issn 1002 6819 202305114 http www tcsae org FENG Qingchun ZHAO Chunjiang LI Tao et al Design and test of a four arm apple harvesting robot J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 25 33 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305114 http www tcsae org 0 引 言 蘋果是全球種植規(guī)模最大的鮮果之一 中國蘋果種 植面積約200萬hm2 年產量4 300萬t 約為全球總產 量55 1 是全球鮮果安全供應的必要保障 果實采收 是果園生產中的復雜生產環(huán)節(jié) 涉及采摘 收集和運輸 等工序 機械化率不足3 2 人工采摘綜合效率每人每 天僅約200 300 kg 近年來 果園采摘 雇工難 雇工 貴 的問題日益凸顯 采摘人工成本上漲已經成為制約 中國鮮果產業(yè)效益提升的重要因素 研發(fā)具有自主采收 功能的機器人 3 5 以代替或者輔助人工收獲鮮果 具有 良好的應用前景 在全球受到廣泛關注 隨著標準化果園生產技術和人工智能技術理論的突 破性發(fā)展 以蘋果 6 草莓 7 番茄 8 和獼猴桃 9 等大宗 鮮果為對象 一系列鮮果采摘機器人商業(yè)化產品被研發(fā) 和應用 代表性的機器人產品包括 ARAD等 10 開發(fā) 了SWEEPER溫室甜椒收獲機器人可晝夜在溫室內工作 在狹窄植株間采用一組工業(yè)機械臂和果柄切割式的采摘 執(zhí)行器 實現果實自主采摘 收集和運輸 采摘成功率 平均61 采摘效率24 s 果 美國Abundant Robotics公 司 11 研發(fā)的蘋果采摘機器人 由一組并聯機械臂操作吸 附式采摘執(zhí)行器進行果實采摘 對V形樹冠果樹的平均 采摘效率為2 s 果 新西蘭Robotics Plus公司 9 推出了 獼猴桃四臂并行采摘機器人 綜合采收效率約5 5 s 果 果實識別率76 3 成功收獲率51 以色列FFRob otics公司 6 研發(fā)的蘋果采摘機器人 采用本體兩側對稱 分布的12組機械臂進行并行采摘 對標準化果樹的采摘 效率約為1 8 s 果 西班牙Agrobot公司 7 研發(fā)的草莓采 摘機器人 最多可擴展24組手臂進行并行采摘 單臂采 摘效率約5 s 果 鑒于單臂采摘效率難以滿足實際生產 需要 采 收 運 一體作業(yè)的多臂采摘系統是鮮果采 摘機器人發(fā)展的重要趨勢 目前國內鮮果采摘機器人技 術攻關和示范應用具備了良好的基礎 12 17 然而多臂并 行采摘機器人的相關研究尚處于探索階段 本文面向中國典型標準化蘋果園工況條件 設計了 具備 采摘 收集 運輸 一體作業(yè)功能的四臂并行采摘 機器人 對其采摘機械臂 末端執(zhí)行器 果實識別定位 以及四臂協同控制等核心部件進行詳細介紹 通過果園 現場應用試驗 對機器人的關鍵性能進行驗證和分析 為果園智能化采收裝備研發(fā)與應用提供參考 收稿日期 2023 05 16 修訂日期 2023 06 21 基金項目 北京市科技新星計劃 20220484023 北京市科技計劃課題 Z201100008020009 北 京 市 農 林 科 學 院 青 年 科 研 基 金 項 目 QNJJ202318 作者簡介 馮青春 博士 副研究員 研究方向為農業(yè)機器人 Email fengqc 通信作者 陳立平 博士 研究員 研究方向為農業(yè)智能裝備 Email chenlp 第 39 卷 第 13 期 農 業(yè) 工 程 學 報 Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 25 1 機器人作業(yè)工況與原理介紹 1 1 矮砧密植紡錘形樹形 中國標準化蘋果園主要以矮砧密植的高紡錘樹形為 主 18 19 具有樹形緊湊 樹行空間開闊 通風透光 便 于機械化作業(yè)等優(yōu)勢 如圖1a所示 果樹行距約為 3 5 4 5 m 株距1 0 1 5 m 主干高度3 0 3 5 m 主 干四周交錯生長30 40個主枝 主枝直接生長結果枝條 圖1b 主枝生長過程中受鋼絲繩固定約束 伸展方向 與主干約90 樹冠寬度1 0 1 5 m 厚度約為0 8 1 0 m 1 0 1 5 m 3 5 4 5 m 主枝 Main trunk 主干 Main branch a 株行間距 a Row and line space b 紡錘樹形 b Spindle shaped tree 圖1 矮砧密植標準果園 Fig 1 Standardized orchard of dwarf rootstock 1 2 采摘作業(yè)空間 采摘機器人的目標作業(yè)空間由果實在樹冠內的空間 分布情況決定 受紡錘樹形枝條形態(tài)約束 樹冠內果實 空間分布密度各不相同 以5年樹齡富士蘋果樹為例 將其樹冠劃分為邊長200 mm的正方體采樣塊 其中距 地面高度 1 0 m的區(qū)域屬于樹冠底層 1 0 2 0 m屬于 樹冠中層 2 0 m以上區(qū)域為樹冠高層 統計每個采樣塊 果實數量可得 紡錘形樹冠內果實密度自上向下 由外 而內逐漸增加 95 以上果實主要分布在高度0 6 2 8 m 主干周圍0 4 m的空間區(qū)域 鑒于采摘執(zhí)行部件緊湊性 設計需要 將此區(qū)域設定為采摘機器人的目標作業(yè)空間 如圖2所示 對于單側樹冠進行采摘作業(yè)時 該區(qū)域為 寬度1 2 m 厚度0 4 m 高度2 2 m長方體空間 1 0 2 0 0 5 1 5 3 0 2 5 0 40 0 2 0 2 0 4 0 內膛 Internal 外圍 Periphery 外圍 Periphery 樹冠高層 Upper canopy 樹冠中層 Middle canopy 樹冠底層 Lower canopy 0 4 0 0 2 0 2 0 4 0 40 0 2 0 2 0 4 采摘目標區(qū)域 Target area for harvesting 單位 Unit m a 正視圖 a Front view b 俯視圖 b Top view 圖2 樹冠內采摘作業(yè)空間 Fig 2 Harvesting workspace in canopy 1 3 采摘機器人系統作業(yè)原理 如圖3所示 蘋果四臂采摘機器人系統主要包括采 摘執(zhí)行部件 果實感知深度相機 移動承載平臺以及能 源動力單元等 四組深度相機分別固定安裝于采摘臂上 方 可隨其水平和垂直運動 根據樹冠內的采摘作業(yè)目 標區(qū)域 預先設定采摘臂的圖像采集姿態(tài) 攝像機隨采 摘臂以執(zhí)行部件中心對稱分布 其總體視場需要覆蓋作 業(yè)區(qū)域 機器人由人工駕駛在果樹行間移動 對果樹進 行逐一停車采摘 停車位置需保證采摘執(zhí)行部件與樹冠 豎直中心近似對齊 對果樹自主采摘作業(yè)流程主要包括 1 4組采摘臂運動至圖像采集姿態(tài) 隨其同步運動的4 個深度相機采集樹冠不同區(qū)域圖像 并對其中可見果實 進行識別定位 2 鑒于各個深度相機坐標系隨采摘臂運 動的位姿變化 可由采摘執(zhí)行部件的電機編碼器測量確 定 基于各個深度相機與機器人本體之間坐標系的變換 關系 可將其視場內的所有果實空間坐標轉化到機器人 本體全局坐標系下 在全局坐標系下 對于中心距小于 特定距離 果實平均直徑 的果實 則認定其為同一果 實 從而剔除多視場圖像內的重復定位果實 在此基礎 上 根據各個果實在全局坐標系下的空間位置劃分其所 屬采摘區(qū)域 并求解四組采摘臂各自采摘任務序列 3 采摘臂依次對各自任務序列內每個果實進行采摘 根 據視覺單元對果實初次定位數據 采摘臂完成水平和垂 直運動后 攝像機再次獲取目標果實的空間坐標以校正 初次定位數據 4 采摘手爪到達預定果實位置并完成采 摘動作后 根據夾持驅動舵機電流反饋判斷手爪內是否 有果實被成功采摘 當手爪內沒有果實 即采摘操作失 敗 則重復步驟3 進行第二次嘗試 每個果實最多重 復3次嘗試 5 所有采摘臂完成各自任務序列 否則認 為當前樹冠內果實的采摘任務結束 機器人需要移動至 下一棵樹進行采摘 2號采摘臂 Arm No 2 1號采摘臂 Arm No 1 4號采摘臂 Arm No 4 3號采摘臂 Arm No 3 果實收集傳送帶 Fruit conveyor belt 移動承載平臺 Mobile platform 深度相機 Deapth camera 圖3 蘋果四臂采摘機器人樣機 Fig 3 Prototype of four arm apple harvesting robot 2 采摘機器人關鍵部件設計 2 1 四臂并行采摘執(zhí)行部件構成與原理 采摘執(zhí)行部件主要包括采摘臂 采摘手爪以及果實 收集部件 20 如圖4所示 鑒于近似球形蘋果的質心可 直接作為采摘定位依據而無需考慮操作姿態(tài) 采摘手爪 運動定位由3個直線運動自由度實現 包括水平運動 垂直運動 伸縮運動 且每兩組采摘臂共用一組垂直運 動驅動機構 同步進行上下伺服運動 其各自水平運動 互為獨立 由于果實受重力牽引自然下垂 其主要分布 26 農業(yè)工程學報 http www tcsae org 2023 年 于枝干和葉片下方 為了減少枝葉對果實的遮擋 每組 采摘臂以向上傾斜姿態(tài)對果實進行采摘 采摘臂采用電 動和氣動組合式兩級伸縮運動 以實現采摘手爪在樹冠 和機器人本體之間頻繁高效的往復運動 其中機器人本 體與樹冠邊緣之間采用氣動驅動伸縮 樹冠內部的精確 定位采用電動伺服驅動伸縮 1 2 5 3 4 6 7 8 9 1 水平運動驅動機構 上 2 采摘手爪 3 采摘臂 4 果實傳送帶 上 5 水 平運動驅動機構 下 6 果實傳送帶 下 7 垂直運動驅動機構 8 底座 1 Horizontal drive mechanism upper 2 Picking end effector 3 Picking arm 4 Fruit conveyor belt upper 5 Horizontal drive mechanism lower 6 Fruit conveyor belt lower 7 Vertical drive mechanism 8 Base 圖4 采摘執(zhí)行部件構成 Fig 4 Structural composition of harvesting manipulator 果實收集部件包括2組與水平運動機構固定連接的 水平傳送帶和1組立式傳送帶 采摘手爪將果實從枝干 分離后 將其釋放于水平傳送帶上 果實先后經水平和 立式傳送帶輸送至收納筐 2 2 驅控一體式采摘手爪 鑒于果柄與枝干之間的離層組織容易受旋轉切向力 脫落 設計了旋擰 拉拽組合式采摘手爪 21 以促進果實 與枝干的高效分離 如圖5所示 采摘手爪包括3個陣 列分布的TPU橡膠材質手指 手指夾持驅動機構及其旋 擰驅動機構 手爪接近果實后 手指同步閉合對果實進 行夾持 而后進行旋擰將果實從枝干分離下來 1 2 3 4 1 手指 2 夾持驅動機構 3 旋擰驅動機構 4 底座 1 Fingers 2 Grasing drive mechanism 3 Twisting drive mechanism 4 Base 圖5 旋擰采摘手爪 Fig 5 Twist typed picking end effector 為了保證采摘手爪具有良好擴展性 手爪內置支持 CANopen總線通訊的驅動器與機器人主控制器直接進行 數據通訊 圖6 其中的數據處理模塊負責手爪控制數 據幀解碼 手爪狀態(tài)反饋數據幀編碼以及總線數據實時 收發(fā) 此外 舵機驅動模塊可以將舵機內部線圈電流值 通過總線向主控制器進行實時反饋 主控制器根據電流 大小判斷手爪是否與果實穩(wěn)定接觸以及果柄是否被分離 主控制器 手爪內置 驅動器1 手爪內置 驅動器2 手爪內置 驅動器3 手爪內置 驅動器4 CANopen總線 總線數據 處理模塊 總線數據 處理模塊 總線數據 處理模塊 總線數據 處理模塊 雙舵機 驅動模塊 雙舵機 驅動模塊 雙舵機 驅動模塊 雙舵機 驅動模塊 采摘手爪1采摘手爪2采摘手爪3采摘手爪4 圖6 多采摘手爪總線擴展 Fig 6 Multiple end effectors connected by CANopen 2 3 果實識別與定位方法 1 果實離散可見區(qū)域識別 果實分布于叢生密集的枝葉當中 其在機器人視場中 多數為受遮擋狀態(tài) 表現為葉片遮擋 枝干遮擋以及果實 相互遮擋等情況 使得果實整體被劃分為離散的像素區(qū)域 果實離散可見區(qū)域識別及其所屬果實判定 是機器人感知 采摘目標的基礎 當前基于深度學習像素分割模型 22 23 主要以在特定包圍框內的聯通像素區(qū)域進行分割 其無法 對同一個果實的離散區(qū)域進行歸類 為了實現群體果實離 散可見區(qū)域 端到端 的檢測 分割和歸類 提出了具備 第 13 期 馮青春等 蘋果四臂采摘機器人系統設計與試驗 27 果實區(qū)域檢測與實例分割雙重功能的多任務深度卷積網絡 模型 24 如圖7所示 該網絡由YOLOv4 25 架構改進而 來 包含一個共享的編碼網絡和兩個承擔不同任務的解碼 網絡 編碼網絡包括CSPDarknet 25 特征提取主干網絡以 及空間金字塔池化模塊 SPP 25 和特征金字塔模塊 FPN 25 構成的頸部網絡 解碼網絡中的檢測分支保 留YOLOv4檢測頭部網絡 由路徑聚合網絡 PANet 25 將FPN輸出的特征圖由底層向頂層進一步融合后進行3 個尺度的預測 獲得果實區(qū)域整體邊框 解碼網絡中分割 分支對FPN的底層特征進行3次基于最鄰近插值的逆卷 積上采樣 得到與原始圖像大小一致的二維特征圖 獲得 每個像素屬于果實或背景區(qū)域的置信度 從而實現對果實 可見部分像素的語義分割 在此基礎上 對視場內每個果 實整體檢測邊框和離散分割區(qū)域進行位置匹配 對于質心 分布于相同邊框內的像素 則認為其屬于同一個果實 從 而明確了離散果實可見區(qū)域的歸屬 SPP w h 32 w 2 h 2 64 w 4 h 4 128 w 8 h 8 256 w 16 h 16 512 w 32 h 32 1 024 FPN PAN w h 圖像寬和高Image width and height 上采樣卷積Upsampled convolution 下采樣卷積Downsampled convolution 3 特征層堆疊Feature layer concat 邊框檢測輸出 Bouding box output 語義分割輸出 Semantic output 坐標匹配 Coordinate matching 原始圖像 Original image CSPDarknet w h 3 圖7 果實識別多任務網絡模型 Fig 7 Fruit identification based on multi task DCNN 2 果實質心空間定位測量 Pc 在獲得果實邊框圖像位置和可見區(qū)域語義信息基礎 上 需要根據深度點云信息對球果質心進行空間定位 以引導機器人進行采摘操作 然而自然光條件下深度相 機獲得的點云圖像通常存在空洞 飛點和扭曲等噪聲 需要去除噪聲確保果實表面點云數據準確 密度聚類算 法 DBSCAN 26 可以根據點云分布的緊密程度對其進 行聚類 且無需指定預期的簇群數量 通過DBSCAN對 果實可見區(qū)域的點云進行分析 求取其中點數最多的聚 類 則認為是果實表面精準點云數據 可求其質心 Pc d w Ku d Ku w Pc d P0 如圖8所示 由攝像機投影成像原理可知 目標檢 測網絡輸出果實包圍框的空間投影與其在像平面區(qū)域的 連線 形成三維視錐體結構 27 且果實質心位于錐體中 心線上 將 點深度截面對應的果實包圍框寬度近似認 為果實的直徑 其可由果實包圍框的像素寬度 和攝 像機內參因子 計算為 以 為中心 為直 徑做輔助球 球表面與視錐體中心線的遠端交點可作為 果實球體質心 即采摘執(zhí)行部件接近果實的目標點 2 4 四臂協同采摘任務規(guī)劃 1 樹冠采摘區(qū)域劃分 鑒于樹冠內膛果實密集 外圍果實稀疏的特點 如 圖9a所示 將樹冠均等劃分為 4個單臂作業(yè)區(qū) 4個 雙臂作業(yè)區(qū)以及1個四臂作業(yè)區(qū) S1 S2 S3及S4分 別為1 4號采摘臂專屬的單臂采摘區(qū)域 D1 D2 D3 及D4分別為1號和2號采摘臂 3號和4號采摘臂 1 號和3號采摘臂及2號和4號采摘臂共同作業(yè)的雙臂采 摘區(qū)域 F為4組采摘臂共同作業(yè)的四臂采摘區(qū)域 各 個采摘臂依次遍歷各自采摘區(qū)域的順序設定為 單臂區(qū) 域 雙臂區(qū)域 四臂區(qū)域 為了防止同一作業(yè)區(qū)內多臂 并行采摘造成樹干振動 影響彼此對果實的精準操作 采用多臂交替作業(yè)模式對共享區(qū)域進行采摘 即同一時 刻每個共享區(qū)域只允許單個采摘臂進入 一個采摘臂完 成采摘操作縮回放果時 另一個采摘臂才可以進入同一 區(qū)域 圖像平面 Image plane 果實表面點云 3D point cloud on fruit 輔助球體 Auxiliary sphere P0 w 透視錐體 Projection pyramid 果實邊框 Fruit bounding box Pc P0 Pc w 注 為果實質心 為輔助球體中心 為果實邊框像素寬度 P0 Pc w Note is fruit s centroid is auxiliary sphere centroid is width of fruit bounding box 圖8 果實質心定位原理 Fig 8 Fruit centroid location principle 2 四臂采摘任務最優(yōu)次序求解 采摘目標高效遍歷是多臂協同采摘任務規(guī)劃的主要 目標 本文直角坐標式采摘臂末端空間運動距離與果實 空間距離線性相關 若忽略采摘臂加減速過程及其各關 節(jié)運動速度差異 果實依次遍歷的路徑長度可表征機器 人作業(yè)耗時 為了求解四臂遍歷果實的總體時間最短問 題 提出了基于遺傳算法的果實采摘任務規(guī)劃描述方 法 28 如圖9b所示 對4組采摘臂隨機依次分配各自作 業(yè)區(qū)域內的采摘對象 形成各自采摘任務序列 4組采 摘臂與其作業(yè)區(qū)域內每個果實的依次組合 即可確定為 一組遺傳算法的有效解 28 農業(yè)工程學報 http www tcsae org 2023 年 S1 S2 S3 S4 D1 D2 D3 D4F nS1 nD1 1號采摘臂 專屬任務序列 2號采摘臂 專屬任務序列 3號采摘臂 專屬序列 4號采摘臂 專屬任務序列 1 2號采摘臂 交替任務序列 3 4號采摘臂 交替任務序列 1 3號采摘臂 交替任務序列 2 4號采摘臂 交替任務序列 S1區(qū)果實S2區(qū)果實S3區(qū)果實S4區(qū)果實 D1區(qū)果實D2區(qū)果實D3區(qū)果實D4區(qū)果實 F區(qū)果實 時刻TS1 時刻 D1t n1 任務規(guī)劃的一組解 a 采摘區(qū)域劃分 a Harvesting area division b 采摘臂任務序列生成 b Picking arm task sequence generation nS1 nD1 TS1 tD1n 1 注 為S1區(qū)域第n個果實 為D1區(qū)域第n個果實 為1號采摘臂在S1區(qū)域耗時 為1號采摘臂先后完成S1和D1區(qū)域任務的耗時 nS1 nD1 TS1 tD1n 1 Note is fruit n in S1 area is fruit n in D1 area is task time cost of arm No 1 in S1 area is task time cost of arm No 1 in S1 and D1 area successively 圖9 四臂協同采摘任務規(guī)劃 Fig 9 Task planning for four arm collaborative harvesting NS1 TS1 v nS1 1 nS1 dS1 n 1 n TS1 TS2 TS3 TS4 以1號采摘臂為例 其對專屬的S1作業(yè)區(qū)域內 個果實采摘時間 由果實遍歷路徑長度直接決定 令其 末端手爪在果實間遍歷的移動速度為 其任務序列中相 鄰果實 和 間距離為 則 可由式 1 計算 同理可得2 4號采摘臂分別對S2 S4區(qū)域的采摘時間 和 TS1 1v NS1 nS1 1 dS1n 1 n 1 nD11 tD1n1 在完成單臂采摘區(qū)域任務序列基礎上 1號采摘臂 對其D1雙臂采摘區(qū)域任務序列中果實 遍歷時刻 為 tD1n1 TS1 1v nD11 1 dnD11 nD11 1 2 d nD11 nD11 1 nD11 nD11 1 為1號機械臂在 D1 區(qū)域采摘任務序列果實 與相鄰果實 之間的距離根據上文 S1區(qū)域涉及的 變量解釋即可理解 nD12 tD1n 2 tD1n 1 t D1 n2 t twait q ND11 TD11 同理可得2號采摘臂對其D1區(qū)域內任務序列中果 實 遍歷時刻 當1號和2號采摘臂進去D1區(qū)域的 時間間隔 則認為二者采摘任務沖突 其 中處于較晚時刻的采摘臂等待 后繼續(xù)遍歷當前目標 用 表示2組機械臂任務沖突次數 則1號采摘臂對其 D1區(qū)域內任務序列中 個果實遍歷耗時 如式 3 所示 TD11 1v ND11 nD11 1 dnD11 nD11 1 qtwait 3 同理可得1號采摘臂在D3和F區(qū)域任務序列的采 Tmax 1 Tmax 摘時間 進而可得1號采摘臂完成其全局采摘任務的時 間 按此推理 可確定4組采摘臂各自的全局任務耗時 其中最長耗時 為完成全部果實采摘的總體時間 以 為評價任務規(guī)劃優(yōu)劣的適應度 通過選擇 交叉和 變異算子不斷迭代優(yōu)化隨機初始解 當適應度最大時對 應最優(yōu)采摘任務規(guī)劃 3 采摘機器人試驗與結果 3 1 果園現場試驗 2022年10月25日至30日在北京昌平果樹研究所 進行四臂采摘機器人應用試驗 圖10 圖10 試驗現場 Fig 10 Field test 按照矮砧密植果樹樹形標準 選擇5年樹齡的10棵 蘋果樹作為試驗對象 每次試驗僅對其樹冠單側采收 根據多臂采摘區(qū)域劃分規(guī)則 采收前分別統計機器人視 第 13 期 馮青春等 蘋果四臂采摘機器人系統設計與試驗 29 場中樹冠單側不同采摘區(qū)域的果實數量 圖11 包括 可見果實 全部可見和局部可見 數量Nvis 受遮擋不可 見果實的數量Ninvis 采收過程中統計可見果實中被機器 人成功識別的果實數量Ndetected 被精確定位的果實數量 Nlocated 成功采收果實數量Nsuccess 不同采摘區(qū)域的作業(yè) 時間以及每棵果樹總體采收耗時 暫忽略機器人由人工 駕駛在不同果樹樣本間移動的耗時 采收后統計果樹 樹冠中不同區(qū)域內的剩余果實數量 以評價機器人有效 采收率 此外 試驗過程中及時記錄失敗采摘操作的故 障原因 d 4號采摘臂視場 d View field of arm No 4 c 3號采摘臂視場 c View field of arm No 3 a 1號采摘臂視場 a View field of arm No 1 b 2號采摘臂視場 b View field of arm No 2 圖11 機器人視場圖像 Fig 11 Robot s view field 如表1所示 采摘試驗涉及10棵果樹樹冠內452個 果實 其中機器人視場內可見果實411個 不可見果實 為41個 表 1 機器人視場內果實數量分布情況統計 Table 1 Statistics of fruit quantity distribution within the robot s view field 果實類型 Fruit type 區(qū)域 樹 1樹 2樹 3樹 4樹 5樹 6樹 7樹 8樹 9樹 10 合計 不可見 Invisible Ninvis 全部 3 5 3 4 5 5 4 3 5 4 41 可見 Visual Nvis 全部 34 41 36 38 40 48 45 40 50 39 411 S1 3 2 2 3 2 2 1 0 3 1 19 S2 0 1 1 0 1 1 1 2 1 2 10 S3 4 5 3 4 3 3 2 3 2 1 30 S4 3 2 3 2 2 3 3 3 2 3 26 D1 2 3 2 4 3 4 3 2 4 3 30 D2 5 4 5 4 3 6 4 3 5 3 42 D3 3 4 5 4 5 4 3 4 6 4 42 D4 4 3 2 3 1 2 4 3 5 3 30 F 10 17 13 14 20 23 24 20 22 19 182 3 2 結果與分析 當前矮砧密植果園尚處于新興生產技術 各地果樹栽 培管理缺乏統一標準 盡管本文有限果樹樣本代表性略顯 不足 但是為了緊密結合鮮果智能采收的產業(yè)要求 本文 分別針對果實視覺信息感知 作業(yè)效率以及有效采收 3 個關鍵性能 對試驗結果進行匯總和分析 如表2所示 表 2 主要試驗結果統計 Table 2 Statistics of main test results 指標 Index S1 S2 S3 S4 D1 D2 D3 D4 F 總體 準確識別 率 Detection rate 100 00 100 00 93 33 96 15 100 00 100 00 97 62 100 00 86 26 92 94 精準定位 率 Location rate 94 74 100 00 90 00 96 15 100 00 100 00 90 48 96 67 83 52 90 27 采摘成功 率 Successful harvesting rate 94 74 100 00 86 67 88 46 93 33 90 48 78 57 90 00 73 63 82 00 有效采收 率 Harvested fruit rate 94 74 83 33 72 22 79 31 87 50 73 08 70 21 84 38 69 43 74 56 采摘失誤數 量 Harvesting failures 1 0 4 3 2 4 9 3 48 74 識別失誤 率 Failed detection rate 0 00 0 00 50 00 33 33 0 00 0 00 11 11 0 00 52 08 39 19 定位失誤 率 Failed location rate 100 00 0 00 25 00 0 00 0 00 0 00 33 33 33 33 10 42 14 86 操作失誤 率 Failed operation rate 0 00 0 00 25 00 66 67 100 00 100 00 55 56 66 67 37 50 45 95 總體耗 時 Total time cost s 195 99 265 228 224 312 370 263 764 2 720 單果平均耗 時 Average time cost per fruit s 果 1 10 24 9 90 9 46 9 12 7 47 7 43 9 02 8 77 4 87 7 12 1 果實視覺信息感知 411個可見果實中382個果實被準確識別 總體識 別率為92 94 其中S1 S2 D1和D2區(qū)域內枝葉稀 疏區(qū)域識別率最高為100 果實分布密度較高的F區(qū) 域識別率最低為86 26 表2 主要原因為紡錘形樹 冠內外圍枝葉果均較為稀疏 以無遮擋果實為主 中心 區(qū)域枝葉密度較高 果實收到遮擋較多 可見區(qū)域較小 容易造成漏檢 圖12a 此外 樹冠底層外圍區(qū)域S3 和S4內識別率較低為93 33 和96 15 主要因為該區(qū) 域攝像機視場中前景樹冠與背景天空亮度差異較大 自 動曝光容易造成前景物曝光不足 使得圖像中果實與枝 葉色彩難以區(qū)分 果實定位精度同樣隨其受遮擋區(qū)域大小影響 根據 可見區(qū)域獲得果實包圍框是本文基于視錐體結構對果實 質心定位的前提 然而當果實主要區(qū)域受到遮擋或者可 見區(qū)域不足以表現果實整體形態(tài)時 圖12b 獲得的 果實邊框僅包圍果實局部區(qū)域 使得果實大小及質心測 算誤差較大 本文所采用的采摘手爪張開指端間最大距 離為12 cm 試驗果實平均直徑為8 cm 382個被識別 的果實中371個定位精度滿足采摘手爪操作要求 11個 果實由于視覺定位偏差較大導致采摘失敗 果實總體精 準定位率為90 27 且區(qū)域S2最高為100 00 區(qū)域 F最低為83 52 表2 可以通過增加采摘手爪指端 張合范圍包容球果的定位誤差 但是將增加手爪碰撞干 涉風險 30 農業(yè)工程學報 http www tcsae org 2023 年 外圍區(qū)域 Peripheral erea 外圍區(qū)域Peripheral erea中心區(qū)域 Internal erea 果實輕微遮擋 Fruits rarely occluded 果實嚴重遮擋 Fruits mostly occluded a 樹冠中心與外圍區(qū)域 a Canopy peripheral and internal area b 果實遮擋 b Fruits occluded 圖12 果實識別定位效果示例 Fig 12 Examples of fruit recognition and positioning results 2 果實有效采收率 機器人可見的果實中成功采摘的果實數量為337 74個可見果實未被成功采摘 采摘成功率為82 00 其 中S2區(qū)域最高為100 00 F區(qū)域最低為73 63 對于 試驗果樹內的所有果實 包括可見和不可見果實 機器 人總體有效采收率為74 56 其中S1區(qū)域最高為 94 74 F區(qū)域最低為69 43 如表2所示 74個采摘 失誤果實包括 未被識別的果 29個 未精確定位的果 實11個以及采摘操作失誤的果實34個 即由于識別失 誤 定位失誤及操作失誤的比例分別為39 19 14 86 及45 95 相對于果實視覺信息感知方面 執(zhí)行部件的 操作失誤是影響機器人有效采收率的主要原因 在果實密集的F區(qū)域采摘失誤數量最多為48次 其 中操作失誤18次 采摘操作失誤主要表現為兩種情況 圖13 采摘手爪將果實與其附近的葉片 枝干同時 夾入而造成旋擰電機過載 圖13a 導致采摘失敗 采摘手爪與枝干或果實碰撞使得果實偏離初始位置而 造成采摘失敗 其中包括手爪與運動路徑中的枝干發(fā)生 碰撞 圖13b 以及手爪指端與目標果實臨近枝干或 其他果實發(fā)生碰撞 a 臨近果實的枝條干涉 a Interference with branches near target fruit b 運動路徑中枝條干涉 b Collision with branches on motion track 圖13 末端執(zhí)行器操作失誤示例 Fig 13 Examples of end effector s failed operation 綜上所述 復雜樹冠內遮擋 干涉和碰撞是造成采 摘失敗的主要原因 因此 機器人除了需要感知果實目標 以外 其對枝葉遮擋和干涉的探測和理解是需要進一步 突破的技術難題 此外 通過優(yōu)化樹冠枝干空間形態(tài) 精 準管控坐果密度 也是保證機器人采收效果的必要措施 3 采收作業(yè)效率 為了準確評估機器人多臂協作的效率 本文暫且忽 略試驗過程中的失誤采摘耗時 以機器人對所有識別到 果實的遍歷操作效率表征其采收作業(yè)效率 機器人對成 功識別的382個果實都執(zhí)行了完整的采摘操作 總體耗時 2 720 s 單果采摘平均耗時7 12 s 各區(qū)域采摘總體耗時 以及單果采摘效率統計如表2所示 平均采摘效率在單 臂 采摘 S區(qū) 域 為 9 59 s 果 雙 臂 采 摘 D區(qū) 域 為 8 17 s 果 四臂采摘F區(qū)域為4 87 s 果 且果實稀疏的 外圍區(qū)域S1和S2 D3和D4區(qū)域的采摘效率均小于中 心區(qū)域的S3和S4 D1和D2 雙臂和四臂協同采摘效 率分別是單臂的1 17和1 96倍 可見同作業(yè)效率還有較 大提升空間 限制機器人采收效率的主要因素包括 在多臂共 享的采摘區(qū)域果實密度增加 設定的交替采摘等待時間 隨之增加 從而制約了多個采摘臂實際的作業(yè)效率 本文對樹冠劃分恒定的單臂和多臂采摘區(qū)域 但是果樹 個體之間樹形各不相同 當果實在外圍區(qū)域分布較多時 采摘臂需要花費較多時間完成單臂或者雙臂采摘任務 從而影響四臂協同采摘的綜合效率 因此 進一步完善采 摘臂交替采摘避障實時監(jiān)測 優(yōu)化多臂協同策略以及規(guī) 范管控樹形結構 實現采摘區(qū)域的動態(tài)劃分 減少交替 等待耗時 將有利于進一步提升多臂作業(yè)的綜合效率 4 結 論 針對中國典型標準果園高效采摘需求 設計了四臂 并行作業(yè)的采摘機器人系統 實現了矮砧密植蘋果的自 主采收作業(yè) 提出了基于受遮擋果實可見區(qū)域信息的目 標識別與定位方法 實現了復雜背景下采摘目標質心的 空間定位 建立了針對樹冠內不同果實密度區(qū)域的四臂 協同采摘任務規(guī)劃模型 保障多個執(zhí)行器高效有序地并 行采摘 果園現場試驗表明 機器人對于可見果實的識 別率為92 94 其中定位精度滿足機器人要求的占 90 27 機器人綜合采收效率為7 12 s 果 不包含移動 運輸時間 其中單臂 雙臂以及四臂協同區(qū)域采摘效 率分別為9 59 8 17和4 87 s 果 機器人對于全部試驗 樣本的有效采收率為74 56 其中可見果實的成功采收 率為82 00 果實受枝葉遮擋 影響視覺識別定位精度 以及造成采摘執(zhí)行部件干涉碰撞 是造成采摘失敗的主 要原因 因此 提升機器人自主避障能力和改善樹形結 構 是進一步改善機器人作業(yè)性能的必要研究工作 第 13 期 馮青春等 蘋果四臂采摘機器人系統設計與試驗 31 參 考 文 獻 國家統計局農村社會經濟調查司 中國農村統計年鑒 M 北京 中國統計出版社 2021 1 鄭永軍 江世界 陳炳太 等 丘陵山區(qū)果園機械化技術 與裝備研究進展 J 農業(yè)機械學報 2020 51 11 1 20 ZHENG Yongjun JIANG Shijie CHEN Bingtai et al Review on technology an