1 9 2 中國農(nóng)機化學報2 0 2 3年 D O I 1 0 1 3 7 3 3 j j c a m i s s n 2 0 9 5 5 5 5 3 2 0 2 3 0 1 0 2 7 溫室草莓采摘機器人設計與試驗 姬麗雯1 2 劉永華1 2 高菊玲1 2 吳丹1 2 1 江蘇農(nóng)林職業(yè)技術(shù)學院機電工程學院 江蘇鎮(zhèn)江 2 1 2 4 0 0 2 江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心 江蘇鎮(zhèn)江 2 1 2 4 0 0 摘要 為實現(xiàn)溫室草莓采摘機械化和自動化 設計并制作一種應用于日光溫室的草莓采摘機器人 該機器人能實現(xiàn)自主 路徑規(guī)劃 行走過程中識別成熟草莓并完成采摘 設計以R O S分布式計算系為主控制網(wǎng)絡 以激光雷達進行移動機器人 的地圖構(gòu)建與定位 雙目深度相機實現(xiàn)對成熟草莓的識別和定位 搭載柔性仿生夾爪6自由度機械臂實現(xiàn)目標草莓抓取 和放置 設計機器人軟件平臺 使用改進A 算法實現(xiàn)自主路徑規(guī)劃和導航避障 利用R F C N目標檢測網(wǎng)絡和雙目視 覺技術(shù)實現(xiàn)成熟草莓檢測及定位 結(jié)果表明 該草莓采摘機器人可實現(xiàn)目標檢測及定位 檢測到的草莓坐標與機器人手 爪坐標的誤差在4 m m以下 成熟草莓識別率為9 5 滿足采摘要求 關(guān)鍵詞 草莓采摘機器人 路徑規(guī)劃 改進A 算法 R F C N目標檢測網(wǎng)絡 中圖分類號 T P 2 7 4 文獻標識碼 A 文章編號 2 0 9 5 5 5 5 3 2 0 2 3 0 1 0 1 9 2 0 7 姬麗雯 劉永華 高菊玲 吳丹 溫室草莓采摘機器人設計與試驗 J 中國農(nóng)機化學報 2 0 2 3 4 4 1 1 9 2 1 9 8 J i L i w e n L i u Y o n g h u a G a o J u l i n g W u D a n D e s i g n a n d e x p e r i m e n t o f s t r a w b e r r y p i c k i n g r o b o t i n g r e e n h o u s e J J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n 2 0 2 3 4 4 1 1 9 2 1 9 8 收稿日期 2 0 2 2年1 0月1 2日 修回日期 2 0 2 2年1 1月2 3日 基金項目 江蘇農(nóng)林職業(yè)技術(shù)學院科技項目 2 0 1 8 k j 0 6 江蘇省高校優(yōu)秀科技創(chuàng)新團隊項目 2 0 2 0 k j 0 6 9 第一作者 姬麗雯 女 1 9 8 9年生 山東曲阜人 碩士 研究方向為智能農(nóng)業(yè)裝備與技術(shù) E m a i l 8 4 3 7 8 0 4 6 7 q q c o m Designandexperimentofstrawberrypickingrobotingreenhouse JiLiwen1 2 LiuYonghua1 2 GaoJuling1 2 WuDan1 2 1 CollegeofMechanicalandElectricalEngineering JiangsuVocationalCollegeofAgricultureandForestry Zhenjiang 2 1 2 4 0 0 China 2 JiangsuModernAgriculturalEquipmentandEngineeringCenter Zhenjiang 2 1 2 4 0 0 China Abstract I n o r d e r t o r e a l i z e t h e m e c h a n i z a t i o n a n d a u t o m a t i o n o f s t r a w b e r r y p i c k i n g i n g r e e n h o u s e a s t r a w b e r r y p i c k i n g r o b o t u s e d i n s o l a r g r e e n h o u s e w a s d e s i g n e d a n d m a n u f a c t u r e d T h e r o b o t c a n r e a l i z e a u t o n o m o u s p a t h p l a n n i n g i d e n t i f y m a t u r e s t r a w b e r r i e s a n d c o m p l e t e p i c k i n g d u r i n g w a l k i n g T h i s d e s i g n u s e s R O S d i s t r i b u t e d c o m p u t i n g s y s t e m a s t h e m a i n c o n t r o l n e t w o r k u s e s l a s e r r a d a r t o b u i l d a n d l o c a t e t h e m a p o f m o b i l e r o b o t b i n o c u l a r d e p t h c a m e r a t o i d e n t i f y a n d l o c a t e m a t u r e s t r a w b e r r i e s a n d a 6 D O F m e c h a n i c a l a r m e q u i p p e d w i t h f l e x i b l e b i o n i c g r i p p e r s t o g r a s p a n d p l a c e t a r g e t s t r a w b e r r i e s T h i s p a p e r a l s o d e s i g n s a r o b o t s o f t w a r e p l a t f o r m u s i n g i m p r o v e d A a l g o r i t h m t o a c h i e v e a u t o n o m o u s p a t h p l a n n i n g a n d n a v i g a t i o n o b s t a c l e a v o i d a n c e T h e R F C N t a r g e t d e t e c t i o n n e t w o r k a n d b i n o c u l a r v i s i o n t e c h n o l o g y w e r e u s e d t o d e t e c t a n d l o c a t e m a t u r e s t r a w b e r r i e s T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e s t r a w b e r r y p i c k i n g r o b o t c a n a c h i e v e t a r g e t d e t e c t i o n a n d p o s i t i o n i n g t h e e r r o r b e t w e e n t h e d e t e c t e d s t r a w b e r r y c o o r d i n a t e s a n d t h e r o b o t s p a w c o o r d i n a t e s i s l e s s t h a n 4 m m a n d t h e r e c o g n i t i o n r a t e o f m a t u r e s t r a w b e r r i e s i s 9 5 m e e t i n g t h e p i c k i n g r e q u i r e m e n t s Keywords s t r a w b e r r y p i c k i n g r o b o t p a t h p l a n n i n g i m p r o v e d A a l g o r i t h m R F C N t a r g e t d e t e c t i o n n e t w o r k 0 引言 設施農(nóng)業(yè)是典型的勞動密集型產(chǎn)業(yè) 其中果實的 采摘是占用勞動力最多 自動化實現(xiàn)難度最大的環(huán) 節(jié) 即使在設施農(nóng)業(yè)領(lǐng)域具有高度自動化的發(fā)達國 家仍然依賴大量的人工采摘 1 2 因此 采摘自動化 是設施農(nóng)業(yè)發(fā)展過程中亟需解決的技術(shù)難題 早在 2 0世紀8 0年代初 日本 美國 荷蘭等設施農(nóng)業(yè)自動 第4 4卷 第1期 2 0 2 3年1月 中國農(nóng)機化學報 J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n V o l 4 4 N o 1 J a n 2 0 2 3 第1期姬麗雯等 溫室草莓采摘機器人設計與試驗1 9 3 化程度較高的國家就已經(jīng)開始了采摘機器人的研 究 隨著導航技術(shù) 視覺識別技術(shù)的發(fā)展 采摘對象 從單一番茄拓展到目前的番茄 草莓 黃瓜 菌菇等 多種設施作物 中國開展采摘機器人的研究時間較晚 但投入了 大量精力并取得了一定成果 魏博等設計了一種欠驅(qū) 動式柑橘采摘末端執(zhí)行器 通過三個雙連桿并聯(lián)式手 指充分抓握和偏轉(zhuǎn)融合控制 實現(xiàn)柑橘的穩(wěn)定采摘 通過指根旋轉(zhuǎn)電機驅(qū)動旋轉(zhuǎn)齒輪使手指旋轉(zhuǎn)至合適角 度 并能完美貼合抓取果實 該末端執(zhí)行器具有適應 性強 抓取穩(wěn)定等優(yōu)點 但只在手指內(nèi)部貼有軟硅橡膠 的設計無法避免果實采摘時的破損 將影響果實的品 質(zhì) 3 馬廷輝設計了4自由度采摘機械手 采用逆運 動分析將目標位置轉(zhuǎn)換為機器人各關(guān)節(jié)轉(zhuǎn)角 實現(xiàn)了 草莓的穩(wěn)定采摘 但是自由度的數(shù)量限制了機器人的 靈活度 于豐華等 4 將機器人的機械臂擴展到6自由 度 機械臂搭載了附有薄膜壓力傳感器的柔性手爪 基 于R F C N卷積神經(jīng)網(wǎng)絡視覺識別技術(shù) 設計了以番 茄為采摘對象的移動機器人 但是機器人必須通過巡 線相機識別溫室內(nèi)定位膠帶來完成巡檢和采摘 移動 的靈活性受到限制 本文設計了一款農(nóng)業(yè)采摘機器人 以溫室草莓為 研究對象 采用同時定位和地圖構(gòu)建S L A M S i m u l t a n e o u s L o c a l i z a t i o n a n d M a p p i n g 技術(shù)實現(xiàn)機 器人的自主路徑規(guī)劃 雙目深度相機實現(xiàn)對成熟草莓 的識別和定位 搭載柔性仿生夾爪的6自由度機械臂 實現(xiàn)目標草莓的抓取和放置 1 采摘機器人系統(tǒng)功能設計 設施作物培育模式主要有地面土培和基質(zhì)高架培 育 其中基質(zhì)高架培育技術(shù)因為可以有效避免土傳病 害和連作障礙 已經(jīng)被廣泛地應用在溫室草莓種植 中 5 草莓栽培環(huán)境如圖1所示 本文的農(nóng)業(yè)采摘機 器人是以溫室基質(zhì)高架草莓為采摘對象進行研究和 試驗 圖1 草莓栽培環(huán)境 F i g 1 S t r a w b e r r y c u l t i v a t i o n e n v i r o n m e n t 農(nóng)業(yè)采摘機器人的硬件部分包括小車底盤 3 D相 機 協(xié)作機器人 激光雷達 超聲波探頭 計算機 顯示 器 無線路由器和仿生機械爪等 其系統(tǒng)結(jié)構(gòu)如圖2 所示 圖2 采摘機器人硬件系統(tǒng)結(jié)構(gòu) F i g 2 H a r d w a r e s y s t e m s t r u c t u r e o f p i c k i n g r o b o t 1 鋰電池 2 1 計算機 3 激光雷達 4 分布式超聲波探頭 5 顯示器及按鈕 6 內(nèi)置電氣配線板 7 雙目相機 8 仿生機械手爪 9 協(xié)作機器人本體 1 0 可拆卸果籃 1 1 導航制器 1 2 2 計算機 1 3 直流穩(wěn)壓電源 1 4 小車底盤 車底盤用于承載整個采摘機器人 6個輪式電機 動力前進驅(qū)動 6個舵機轉(zhuǎn)向驅(qū)動 控制器選擇 S T M 3 2 F 1 0 3 Z E T 6型號的單片機 通過脈沖寬度調(diào)制 信號 P W M 控制電機轉(zhuǎn)動速度和舵機轉(zhuǎn)向角度 小車 可以實現(xiàn)原地0 3 6 0 轉(zhuǎn)彎 靈活性很高 小車搭配 激光雷達 可以實現(xiàn)采摘環(huán)境建圖和機器人自主定位 小車使用1 2個分布式超聲波探頭可以在行駛過程中 自動規(guī)避障礙物 協(xié)作機器人本體為6自由度的機械臂 最大可以 負重3 k g 臂展為8 3 2 m m 機械臂的末端執(zhí)行器為三 指仿生柔性夾爪 并配置有壓力檢測裝置 可以根據(jù)實 際草莓成熟情況調(diào)節(jié)夾爪壓力 盡量在保證采摘效率 的前提下選擇合適的壓力值 降低草莓的采摘損害 夾爪的上面配置有雙目深度相機 可以實時檢測出目 標果實與機械臂的相對位置 農(nóng)業(yè)采摘機器人總共使用了三臺計算機用于軟件 開發(fā) 1 計算機與3 D雙目深度相機關(guān)聯(lián) 用于開發(fā) 圖像識別系統(tǒng) 2 計算機將激光雷達和小車底盤關(guān)聯(lián) 起來開發(fā)小車導航系統(tǒng) 3 計算機作為用戶端遠程操 控使用 三臺計算機和機械臂計算機共同組成分布式 機器人操作系統(tǒng)R O S R o b o t O p e r a t i n g S y s t e m R O S是一個分布式的節(jié)點框架 使用 發(fā)布 訂閱式 的通信框架構(gòu)建分布式計算系 6 7 根據(jù)系統(tǒng)的配置 方式 任何節(jié)點需要隨時與其他節(jié)點進行通信 這就要 保證R O S系統(tǒng)中的計算機處于同一網(wǎng)絡中 分布式計 算系如圖3所示 1 9 4 中國農(nóng)機化學報2 0 2 3年 圖3 ROS分布式計算系 F i g 3 R O S d i s t r i b u t e d c o m p u t i n g s y s t e m 2 采摘機器人軟件設計 機器人的軟件包括采摘信息系統(tǒng)設計和導航信 息系統(tǒng)設計 兩個系統(tǒng)都由三層架構(gòu)組成 分別為 物理感知層 處理層和信息執(zhí)行層 物理感知層的 作用是采集并傳輸環(huán)境數(shù)據(jù)至處理層 處理層接收 到數(shù)據(jù)后經(jīng)計算機的智能算法分析得到控制指令 作用于信息執(zhí)行層的執(zhí)行機構(gòu) 控制小車運動到目 標位置 機械臂完成采摘動作 機器人的軟件系統(tǒng) 框圖如圖4所示 圖4 機器人軟件系統(tǒng)框圖 F i g 4 R o b o t s o f t w a r e s y s t e m b l o c k d i a g r a m 在采摘信息系統(tǒng)中 雙目深度相機拍攝草莓圖片 通過圖像采集卡將圖片上傳至1 計算機 經(jīng)過計算 機處理產(chǎn)生采集控制指令 1 計算機與2 計算機 通信 將生成的采摘目標位置告知2 計算機 2 計 算機應用導航控制程序生成規(guī)劃路徑 控制單片機產(chǎn) 生脈沖寬度調(diào)制信號 P W M 驅(qū)動小車運行 1 計 算機同時與機器人通信 機器人控制器經(jīng)過逆運動分 析 根據(jù)目標位置反推得到機械臂各關(guān)節(jié)的運動數(shù)據(jù) 機械臂根據(jù)關(guān)節(jié)數(shù)據(jù)配合機械手完成草莓的采摘 2 1 機器人導航設計 激光雷達相較于北斗或G P S導航 具有精度高 靈活性高 位置測量速度快等優(yōu)點 將它作為移動機器 人的導航方式 測距誤差小于1 機器人從起點位 置開始運動 在運動過程中依據(jù)位置估量和傳感器數(shù) 據(jù)進行自身定位 同時完成增量式地圖的構(gòu)建 本機 器人采用了思嵐R P L I D A R A 3紅外激光雷達 通過 串口與R a s p b e r r y P i 4 B相連 激光雷達的主要技術(shù) 參數(shù)如表1所示 表1 RPLIDAR A3激光雷達主要技術(shù)參數(shù) T a b 1 M a i n t e c h n i c a l p a r a m e t e r s o f R P L I D A R A 3 l a s e r r a d a r 參數(shù)數(shù)值 測量距離 m 2 5 掃描范圍 3 6 0 采樣頻率 次 s 1 1 6 0 0 0 掃描頻率 H z 1 5 角度分辨率 0 2 2 5 測距相對誤差 1 采摘機器的自動路徑規(guī)劃 采用改進的A 算法 A 算法的基本原理是利用起點 當前節(jié)點和目標節(jié)點 的位置關(guān)系建立路徑?jīng)Q策優(yōu)先級函數(shù) 公式如式 1 所示 f n g n h n 1 式中 f n 節(jié)點N的路徑?jīng)Q策優(yōu)先級 g n 當前節(jié)點N距離起點S的實際代價 h n 節(jié)點N距離終點E的預計代價 這也 就是A 算法的啟發(fā)函數(shù) 表示對未 走過節(jié)點的預測 A 算法在運算過程中 每次從優(yōu)先隊列中選取 f n 值最小 優(yōu)先級最高 的節(jié)點作為下一個待遍歷 的節(jié)點 圖5為模擬的柵格地圖中優(yōu)先級函數(shù)的代價圖 在地圖中路線g n 表示從起點S到當前節(jié)點N的實 際代價 h n 啟發(fā)函數(shù)為終點E到當前節(jié)點N的歐 式距離 即 h n XE XN 2 YE YN 2 2 式中 XE YE 終點E的坐標值 XN YN 當前節(jié)點N的坐標值 傳統(tǒng)A 算法的啟發(fā)函數(shù)h n 是當前節(jié)點N到 終點E的最短距離 但在實際情況中 節(jié)點與終點之 間可能會存在障礙 此時選擇的啟發(fā)函數(shù)h n 越小 算法遍歷的節(jié)點越多 也就導致算法越慢 這也會嚴重 影響機器人的采摘效率 所以對啟發(fā)函數(shù)進行改進 設計沿地圖中線4 5 遍歷節(jié)點 這也是機器人行走的較 大概率方向 改進后啟發(fā)函數(shù)為 h n 2XE XN YE YN XE XN 2 1 XE XN YE YN 3 第1期姬麗雯等 溫室草莓采摘機器人設計與試驗1 9 5 在實際機器人采摘場景中 未必需要機器人一定 沿最短路徑行走 而是希望能夠盡快找到一個可行路 徑即可 而調(diào)節(jié)啟發(fā)函數(shù)和實際代價值可以控制算法 速度和精確度 因此增加一個系數(shù)p 以使路徑和速度 之間達到一個平衡 改進后的A 算法評價函數(shù)為 f n 1 p g n ph n 0 p 1 4 h n 2 1 XE XN YE YN 5 圖5 柵格地圖中優(yōu)先級函數(shù)代價圖 F i g 5 C o s t g r a p h o f p r i o r i t y f u n c t i o n i n g r i d m a p 在試驗過程中反復調(diào)試 找個合適的系數(shù)p 使機 器人的行走機構(gòu)可以在較短時間內(nèi)完成較優(yōu)路徑的 規(guī)劃 使用激光雷達進行地圖構(gòu)建與定位 并采用改進 的A 算法進行自主導航 試驗結(jié)果如圖6所示 地圖 中標定機器人當前位置和朝向 箭頭的方向為機器人 的朝向 當系統(tǒng)發(fā)布一個目標位置A 1時 機器人即 可自主路徑規(guī)劃和導航避障到達目標位置 圖6 機器人自動導航圖界面 F i g 6 R o b o t a u t o m a t i c n a v i g a t i o n d i a g r a m i n t e r f a c e 2 2 機器人視覺識別設計 手眼協(xié)調(diào)是體現(xiàn)采摘機器人自主作業(yè)的關(guān)鍵 8 9 根據(jù)相機和末端執(zhí)行器的位置關(guān)系 常見的手眼系統(tǒng)分 別為E y e t o H a n d型和E y e i n H a n d型 其中E y e t o H a n d型是將相機安裝在機械臂以外的地方 并保證在 采摘的過程中固定不動 E y e i n H a n d型是將相機安裝 在機械臂末端 在采摘的過程中相機跟隨機械臂運 動 1 0 本文選擇的手眼系統(tǒng)為E y e i n H a n d型 在末端 夾爪上連接小覓M Y N T E Y E雙目深度相機 首先 將預先拍攝好的圖像標注成熟草莓標簽 圖 像標注后 對成熟草莓圖像進行數(shù)據(jù)擴充 擴充圖片張 數(shù)進行數(shù)據(jù)集構(gòu)建 將數(shù)據(jù)集按照4 1的比例劃分 訓練集和測試集 用于全卷積神經(jīng)網(wǎng)絡R F C N模型 訓練 實現(xiàn)成熟草莓的識別 R F C N是在F a s t e r R C N N的基礎上 由D a i 等人提出的 它將R O I P o o l i n g后面的全連接層都用 卷積層所代替 加快了運行速度 R F C N通過兩個 階段實現(xiàn)目標識別檢測 首先使用R P N區(qū)域網(wǎng)絡提 取候選框 生成感興趣區(qū)域R O I 然后 使用位置敏感 得分圖來生成感興趣區(qū)域不同位置的特征 用于解決 物體分類 生成的R O I經(jīng)過回歸器進一步調(diào)整位置 使 R O I的位置精度更高 1 1 R F C N具體由R e s n e t 1 0 1 殘差網(wǎng)絡 R P N候選區(qū)域生成網(wǎng)絡 R O I池化層 投票層 和損失函數(shù) s o f t m a x和s m o o t h L 1函數(shù) 組成 其網(wǎng)絡結(jié) 構(gòu)示意圖見圖7所示 圖7 R FCN網(wǎng)絡結(jié)構(gòu)示意圖 F i g 7 R F C N n e t w o r k s t r u c t u r e d i a g r a m R e s n e t 1 0 1殘差網(wǎng)絡主要用于圖像分類 解決 層數(shù)過深時神經(jīng)網(wǎng)絡訓練效果變差的情況 R P N候 選區(qū)域生成網(wǎng)絡經(jīng)過卷積核為3 3 邊界填充為1 滑 動步長為1的卷積后 由一個特征圖像滑動窗口 為每 個位置生成9種不同類型的錨框 用于評估該區(qū)域為 目標區(qū)域的可能性 最后經(jīng)過s o f t m a x分類器獲得候 選區(qū)域R O I 分別對每一個R O I進行分類和回歸 這 樣就可以得到每個R O I的真實類別和較為精確的回 歸偏移量 R F C N檢測算法采用了R e s n e t 1 0 1作 為特征提取的骨干網(wǎng)絡 它的網(wǎng)絡結(jié)構(gòu)如表4所示 R e s n e t 1 0 1有5層卷積層和最后的全連接層構(gòu)成 其 中全連接層引進了1 1的卷積核 進行降維 減少參 數(shù)數(shù)量 1 2 1 3 1 9 6 中國農(nóng)機化學報2 0 2 3年 表4 Resnet 101網(wǎng)絡結(jié)構(gòu) T a b 4 R e s n e t 1 0 1 n e t w o r k s t r u c t u r e 卷積層輸出尺寸詳情 c o n v 1 1 1 2 1 1 2 7 7 6 4 步長23 3池化層 步長2 c o n v 2 5 6 5 6 1 1 6 4 3 3 6 4 1 1 2 5 6 3 c o n v 3 2 8 2 8 1 1 1 2 8 3 3 1 2 8 1 1 5 1 2 3 c o n v 4 1 4 1 4 1 1 2 5 6 3 3 2 5 6 1 1 1 0 2 4 3 c o n v 5 7 7 1 1 5 1 2 3 3 2 1 5 1 1 2 0 4 8 3 l a y e r 1 1 1 0 0 0分類的全連接層 R G B深度相機通過攝像采集獲得R G B圖像與深 度圖像 其中R G B圖像經(jīng)過R F C N目標檢測算法 計算出草莓所在的二維平面位置 然后通過相機的內(nèi) 置參數(shù) 得到R G B圖像與深度圖像的坐標映射關(guān)系 實現(xiàn)兩種圖像的融合 生成目標草莓的三維點云圖 2 3 機器人手眼標定 由于相機視野中捕獲目標物體的坐標系與機器人坐 標系不一致 它們各自的坐標沒有聯(lián)系 所以為了使兩者 坐標系形成關(guān)聯(lián) 以便引導機器人進行采摘 故需要將相 機的坐標系變換到機器人坐標系中 即進行標定 對于眼在手上 e y e I n h a n d 即相機固定在機械臂 末端 主要標定相機和機械臂末端的轉(zhuǎn)換矩陣 實現(xiàn) 方法是將標定板放在機械臂工作空間中的一個固定位 置 移動機械臂 從不同角度拍攝n張標定板圖片 為 了標定的準確性 一般會選擇n 6 已知對每張圖 片有 c a m e r a e n dM c a m e r a b o a r dM b o a r d b a s eM b a s e e n dM 6 式中 c a m e r ae n dM 機械臂末端坐標系到相機坐標系的 變換矩陣 c a m e r a b o a r dM 標定板坐標系到相機坐標系的變換 矩陣 b o a r d b a s eM 機械臂基底坐標系到標定板坐標系 的變換矩陣 b a s e e n dM 機械臂末端坐標系到機械臂基底坐 標系的變換矩陣 變換矩陣由旋轉(zhuǎn)矩陣和平移矩陣組成 我們以機 械臂末端坐標系到機械臂基底坐標系變換矩陣為例進 行說明 轉(zhuǎn)換矩陣表示如式 7 所示 b a s e e n dM b a s e e n dR b a s e e n dT 0 1 7 式中 b a s ee n dR 機械臂末端坐標系到機械臂基底坐標 系的旋轉(zhuǎn)矩陣 它為 3 3 矩陣 b a s e e n dT 機械臂末端坐標系到機械臂基底坐標 系的平移矩陣 它為 3 1 矩陣 對于拍攝的每張圖片中b a s ee n dM 即機械臂末端坐標 系到機械臂基底坐標系的變換矩陣都是相同的 可得 n 1個方程組 如式 8 所示 c a m e r a b o a r dM2 c a m e r a b o a r dM1 1 c a m e r a e n dM c a m e r a e n dM b a s e e n dM2 1 b a s e e n dM1 c a m e r a b o a r dMn c a m e r a b o a r dMn 1 1 c a m e r a e n dM c a m e r a e n dM b a s e e n dMn 1 b a s e e n dMn 1 8 問題可以轉(zhuǎn)變?yōu)榻夥匠探MAX XB 這個方程組 里有n 1個方程 X就是我們要求的轉(zhuǎn)換矩陣 c a m e r a b a s eM 使用T s a i方法可以對方程組進行求解 先求解 RX 再求解TX 在軟件系統(tǒng)中使用O p e n C V手眼標定 c a l i b r a t e H a n d e y e 完成 屬性中輸入矩陣為b a s ee n dR b a s e e n dT c a m e r a b o a r dR c a m e r a b o a r dT輸出矩陣為 e n d c a m e r aR e n d c a m e r aT 手眼標 定方式為T s a i 輸入矩陣中的b a s ee n dR b a s ee n dT可以由機械 臂返回的位姿信息獲得 標定板坐標系的旋轉(zhuǎn)矩陣 c a m e r a b o a r dR和平移矩陣 c a m e r a b o a r dT可以由s o l v e P n P函數(shù)獲得 這樣就可以得到c a l i b r a t e H a n d e y e函數(shù)的輸出矩陣 完成機械臂的手眼標定 3 試驗與結(jié)果分析 本文采用課題組開發(fā)的農(nóng)業(yè)采摘機器人進行試驗 研究 試驗于2 0 2 2年4月在江蘇省農(nóng)博園草莓溫室 中進行 溫室長5 0 m 寬3 0 m 溫室中的甜寶草莓按 照基質(zhì)高架培育技術(shù)進行栽培 基質(zhì)架之間的距離為 1 5 m 高度為0 8 m 溫室內(nèi)共1 2排基質(zhì) 將機器人放置于溫室中 放置好果蔬籃 讓機器 人開始采摘 客戶上位機運行農(nóng)業(yè)采摘機器人軟件 平臺 該平臺可以進行機器人的手眼標定 成熟果實 的標識和成熟果實的相機世界坐標和機器人世界坐 標的顯示 并且可以實時顯示機器人六個關(guān)節(jié)軸的 位姿信息 如圖8所示 機器人在室內(nèi)無光照環(huán)境下進行采摘 觀察其采 摘機器人整體試驗數(shù)據(jù)如表5所示 從表5可以看 出 將成功識別的成熟草莓數(shù)量除以該區(qū)域樣本總數(shù) 成功識別的成熟草莓數(shù)量與未能成功識別的成熟草 莓的數(shù)量之和 可以得到草莓的識別率為9 5 采摘 成功的果實數(shù)量除了成功識別的果實數(shù)量得到一次采 摘成功率為8 8 5 二次采摘的成功率為9 4 6 第1期姬麗雯等 溫室草莓采摘機器人設計與試驗1 9 7 導出軟件平臺記錄的數(shù)據(jù) 隨機整理出8個草莓 的檢測坐標以及抓取這些草莓時的機器人手爪坐標和 誤差參數(shù)如表6所示 圖8 草莓識別結(jié)果圖 F i g 8 S t r a w b e r r y i d e n t i f i c a t i o n v e s u l t d i a g r a m 表5 機器人采摘效果數(shù)據(jù) T a b 5 R o b o t p i c k i n g e f f e c t d a t a 參數(shù)數(shù)量 成功識別的成熟草莓數(shù)量3 6 8 未能成功識別的成熟草莓數(shù)量1 9 未成熟草莓的識別數(shù)量0 成熟草莓一次采摘成功的數(shù)量3 2 6 成熟草莓二次采摘成功的數(shù)量3 4 9 表6 草莓采摘數(shù)據(jù) T a b 6 S t r a w b e r r y p i c k i n g d a t a 序號檢測坐標手爪坐標誤差 草莓1 3 7 0 3 4 4 6 8 6 8 4 5 7 3 4 3 7 2 8 1 4 7 1 3 4 4 5 5 6 8 2 4 7 2 6 6 1 6 8 草莓2 4 3 4 7 5 4 8 5 6 7 4 6 8 2 6 4 3 7 8 2 4 8 6 9 5 4 6 9 8 3 0 7 1 2 8 1 5 4 草莓3 4 6 8 3 2 5 3 8 4 4 9 0 2 5 4 6 9 2 1 5 3 7 6 9 4 9 1 6 7 0 8 9 0 7 1 1 4 2 草莓4 5 3 4 7 3 4 9 7 5 1 5 8 7 6 2 5 3 2 8 4 4 9 9 5 3 5 8 9 7 8 1 8 9 2 0 2 2 1 6 草莓5 5 4 1 2 6 4 8 6 4 7 4 7 8 5 1 5 4 3 3 9 4 8 7 6 5 4 7 9 6 8 2 1 3 1 1 8 1 1 7 草莓6 4 8 6 3 7 4 9 8 1 4 5 2 6 4 7 4 8 9 2 4 4 9 7 3 6 5 2 9 1 0 2 8 7 0 7 8 2 6 3 草莓7 5 2 8 6 3 5 4 7 9 6 4 8 6 5 8 5 2 9 8 7 5 5 0 1 3 4 8 9 0 5 1 2 4 2 1 7 2 4 7 草莓8 5 6 3 9 7 5 7 3 4 8 4 9 6 5 6 5 6 4 8 6 5 7 2 6 9 4 9 8 6 7 0 8 9 0 7 9 2 1 1 綜上所述 采摘機器人成熟草莓識別率大概在 9 5 未識別原因主要由于葉片遮擋或者草莓之間堆 疊 系統(tǒng)可以對草莓進行三維定位 且檢測到的草莓 坐標與機器人手爪坐標的誤差在4 m m以下 雖然誤 差較小 但草莓體積也較小 這就導致了一次采摘的成 功率較低 需要進行二次采摘才能達到9 0 以上的采 摘成功率 4 結(jié)論 本文設計一款農(nóng)業(yè)采摘機器人 可以在溫室中自 由行走并采摘成熟草莓 通過采摘試驗得出結(jié)論如下 1 該機器人采用同時定位和地圖構(gòu)建S L A M技 術(shù)實現(xiàn)機器人的自主路徑規(guī)劃 2 使用基于卷積神經(jīng)網(wǎng)絡R F C N的目標檢測 算法可完成對成熟草莓的自動識別和坐標定位 成熟 草莓識別率大概在9 5 針對葉片遮擋或者草莓堆 疊問題 考慮后期為機器人設計吹風裝置 提高識別 效率 3 因為草莓的體積較小 要求目標物體位置定位 精度高 以及機器人的運動誤差小 后期會從這兩個 方面進行改進 參 考 文 獻 1 劉繼展 溫室采摘機器人技術(shù)研究進展分析 J 農(nóng)業(yè)機械 學報 2 0 1 7 4 8 1 2 1 1 8 L i u J i z h a n R e s e a r c h p r o g r e s s o f g r e e n h o u s e p i c k i n g r o b o t t e c h n o l o g y J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 1 7 4 8 1 2 1 1 8 2 鄭剛 劉佳 李旭 現(xiàn)代溫室采摘機器人發(fā)展概況 J 農(nóng) 業(yè)工程技術(shù) 2 0 1 9 3 9 3 1 3 5 4 0 Z h e n g G a n g L i u J i a L i X u D e v e l o p m e n t o f m o d e r n g r e e n h o u s e p i c k i n g r o b o t J A g r i c u l t u r a l E n g i n e e r i n g T e c h n o l o g y 2 0 1 9 3 9 3 1 3 5 4 0 3 魏博 何金銀 石陽 等 欠驅(qū)動式柑橘采摘末端執(zhí)行器設 計與試驗 J 農(nóng)業(yè)機械學報 2 0 2 1 5 2 1 0 1 2 0 1 2 8 W e i B o H e J i n y i n S h i Y a n g e t a l D e s i g n a n d e x p e r i m e n t o f u n d e r a c t u a t e d e n d e f f e c t o r f o r c i t r u s p i c k i n g J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 2 1 5 2 1 0 1 2 0 1 2 8 4 于豐華 周傳琦 楊鑫 等 日光溫室番茄采摘機器人設計 與試驗 J 農(nóng)業(yè)機械學報 2 0 2 2 5 3 1 4 1 4 9 Y u F e n g h u a Z h o u C h u a n q i Y a n g X i n e t a l D e s i g n a n d e x p e r i m e n t o f t o m a t o p i c k i n g r o b o t i n s o l a r g r e e n h o u s e J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 2 2 5 3 1 4 1 4 9 5 王皓 柔性連續(xù)體機械臂大變形性能的研究 D 北京 北 京工業(yè)大學 2 0 2 0 W a n g H a o R e s e a r c h o n l a r g e d e f o r m a t i o n p e r f o r m a n c e o f f l e x i b l e c o n t i n u u m m a n i p u l a t o r D B e i j i n g B e i j i n g U n i v e r s i t y o f T e c h n o l o g y 2 0 2 0 6 邵堃 五自由度機械臂的番茄智能采摘機器人 J 江蘇農(nóng) 業(yè)科學 2 0 1 8 4 6 2 1 2 5 0 2 5 3 S h a o K u n T o m a t o i n t e l l i g e n t p i c k i n g r o b o t b a s e d o n 5 D O F r o b o t a r m J J i a n g s u A g r i c u l t u r a l S c i e n c e s 2 0 1 8 4 6 2 1 2 5 0 2 5 3 7 湯亞東 番茄智能采摘機構(gòu)優(yōu)化設計及試驗研究 D 鄭 州 河南農(nóng)業(yè)大學 2 0 1 8 1 9 8 中國農(nóng)機化學報2 0 2 3年 T a n g Y a d o n g O p t i m i z a t i o n d e s i g n a n d e x p e r i m e n t a l r e s e a r c h o f t o m a t o i n t e l l i