1 9 2 中國農(nóng)機(jī)化學(xué)報(bào)2 0 2 3年 D O I 1 0 1 3 7 3 3 j j c a m i s s n 2 0 9 5 5 5 5 3 2 0 2 3 0 1 0 2 7 溫室草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn) 姬麗雯1 2 劉永華1 2 高菊玲1 2 吳丹1 2 1 江蘇農(nóng)林職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院 江蘇鎮(zhèn)江 2 1 2 4 0 0 2 江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心 江蘇鎮(zhèn)江 2 1 2 4 0 0 摘要 為實(shí)現(xiàn)溫室草莓采摘機(jī)械化和自動化 設(shè)計(jì)并制作一種應(yīng)用于日光溫室的草莓采摘機(jī)器人 該機(jī)器人能實(shí)現(xiàn)自主 路徑規(guī)劃 行走過程中識別成熟草莓并完成采摘 設(shè)計(jì)以R O S分布式計(jì)算系為主控制網(wǎng)絡(luò) 以激光雷達(dá)進(jìn)行移動機(jī)器人 的地圖構(gòu)建與定位 雙目深度相機(jī)實(shí)現(xiàn)對成熟草莓的識別和定位 搭載柔性仿生夾爪6自由度機(jī)械臂實(shí)現(xiàn)目標(biāo)草莓抓取 和放置 設(shè)計(jì)機(jī)器人軟件平臺 使用改進(jìn)A 算法實(shí)現(xiàn)自主路徑規(guī)劃和導(dǎo)航避障 利用R F C N目標(biāo)檢測網(wǎng)絡(luò)和雙目視 覺技術(shù)實(shí)現(xiàn)成熟草莓檢測及定位 結(jié)果表明 該草莓采摘機(jī)器人可實(shí)現(xiàn)目標(biāo)檢測及定位 檢測到的草莓坐標(biāo)與機(jī)器人手 爪坐標(biāo)的誤差在4 m m以下 成熟草莓識別率為9 5 滿足采摘要求 關(guān)鍵詞 草莓采摘機(jī)器人 路徑規(guī)劃 改進(jìn)A 算法 R F C N目標(biāo)檢測網(wǎng)絡(luò) 中圖分類號 T P 2 7 4 文獻(xiàn)標(biāo)識碼 A 文章編號 2 0 9 5 5 5 5 3 2 0 2 3 0 1 0 1 9 2 0 7 姬麗雯 劉永華 高菊玲 吳丹 溫室草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn) J 中國農(nóng)機(jī)化學(xué)報(bào) 2 0 2 3 4 4 1 1 9 2 1 9 8 J i L i w e n L i u Y o n g h u a G a o J u l i n g W u D a n D e s i g n a n d e x p e r i m e n t o f s t r a w b e r r y p i c k i n g r o b o t i n g r e e n h o u s e J J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n 2 0 2 3 4 4 1 1 9 2 1 9 8 收稿日期 2 0 2 2年1 0月1 2日 修回日期 2 0 2 2年1 1月2 3日 基金項(xiàng)目 江蘇農(nóng)林職業(yè)技術(shù)學(xué)院科技項(xiàng)目 2 0 1 8 k j 0 6 江蘇省高校優(yōu)秀科技創(chuàng)新團(tuán)隊(duì)項(xiàng)目 2 0 2 0 k j 0 6 9 第一作者 姬麗雯 女 1 9 8 9年生 山東曲阜人 碩士 研究方向?yàn)橹悄苻r(nóng)業(yè)裝備與技術(shù) E m a i l 8 4 3 7 8 0 4 6 7 q q c o m Designandexperimentofstrawberrypickingrobotingreenhouse JiLiwen1 2 LiuYonghua1 2 GaoJuling1 2 WuDan1 2 1 CollegeofMechanicalandElectricalEngineering JiangsuVocationalCollegeofAgricultureandForestry Zhenjiang 2 1 2 4 0 0 China 2 JiangsuModernAgriculturalEquipmentandEngineeringCenter Zhenjiang 2 1 2 4 0 0 China Abstract I n o r d e r t o r e a l i z e t h e m e c h a n i z a t i o n a n d a u t o m a t i o n o f s t r a w b e r r y p i c k i n g i n g r e e n h o u s e a s t r a w b e r r y p i c k i n g r o b o t u s e d i n s o l a r g r e e n h o u s e w a s d e s i g n e d a n d m a n u f a c t u r e d T h e r o b o t c a n r e a l i z e a u t o n o m o u s p a t h p l a n n i n g i d e n t i f y m a t u r e s t r a w b e r r i e s a n d c o m p l e t e p i c k i n g d u r i n g w a l k i n g T h i s d e s i g n u s e s R O S d i s t r i b u t e d c o m p u t i n g s y s t e m a s t h e m a i n c o n t r o l n e t w o r k u s e s l a s e r r a d a r t o b u i l d a n d l o c a t e t h e m a p o f m o b i l e r o b o t b i n o c u l a r d e p t h c a m e r a t o i d e n t i f y a n d l o c a t e m a t u r e s t r a w b e r r i e s a n d a 6 D O F m e c h a n i c a l a r m e q u i p p e d w i t h f l e x i b l e b i o n i c g r i p p e r s t o g r a s p a n d p l a c e t a r g e t s t r a w b e r r i e s T h i s p a p e r a l s o d e s i g n s a r o b o t s o f t w a r e p l a t f o r m u s i n g i m p r o v e d A a l g o r i t h m t o a c h i e v e a u t o n o m o u s p a t h p l a n n i n g a n d n a v i g a t i o n o b s t a c l e a v o i d a n c e T h e R F C N t a r g e t d e t e c t i o n n e t w o r k a n d b i n o c u l a r v i s i o n t e c h n o l o g y w e r e u s e d t o d e t e c t a n d l o c a t e m a t u r e s t r a w b e r r i e s T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e s t r a w b e r r y p i c k i n g r o b o t c a n a c h i e v e t a r g e t d e t e c t i o n a n d p o s i t i o n i n g t h e e r r o r b e t w e e n t h e d e t e c t e d s t r a w b e r r y c o o r d i n a t e s a n d t h e r o b o t s p a w c o o r d i n a t e s i s l e s s t h a n 4 m m a n d t h e r e c o g n i t i o n r a t e o f m a t u r e s t r a w b e r r i e s i s 9 5 m e e t i n g t h e p i c k i n g r e q u i r e m e n t s Keywords s t r a w b e r r y p i c k i n g r o b o t p a t h p l a n n i n g i m p r o v e d A a l g o r i t h m R F C N t a r g e t d e t e c t i o n n e t w o r k 0 引言 設(shè)施農(nóng)業(yè)是典型的勞動密集型產(chǎn)業(yè) 其中果實(shí)的 采摘是占用勞動力最多 自動化實(shí)現(xiàn)難度最大的環(huán) 節(jié) 即使在設(shè)施農(nóng)業(yè)領(lǐng)域具有高度自動化的發(fā)達(dá)國 家仍然依賴大量的人工采摘 1 2 因此 采摘自動化 是設(shè)施農(nóng)業(yè)發(fā)展過程中亟需解決的技術(shù)難題 早在 2 0世紀(jì)8 0年代初 日本 美國 荷蘭等設(shè)施農(nóng)業(yè)自動 第4 4卷 第1期 2 0 2 3年1月 中國農(nóng)機(jī)化學(xué)報(bào) J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n V o l 4 4 N o 1 J a n 2 0 2 3 第1期姬麗雯等 溫室草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)1 9 3 化程度較高的國家就已經(jīng)開始了采摘機(jī)器人的研 究 隨著導(dǎo)航技術(shù) 視覺識別技術(shù)的發(fā)展 采摘對象 從單一番茄拓展到目前的番茄 草莓 黃瓜 菌菇等 多種設(shè)施作物 中國開展采摘機(jī)器人的研究時(shí)間較晚 但投入了 大量精力并取得了一定成果 魏博等設(shè)計(jì)了一種欠驅(qū) 動式柑橘采摘末端執(zhí)行器 通過三個(gè)雙連桿并聯(lián)式手 指充分抓握和偏轉(zhuǎn)融合控制 實(shí)現(xiàn)柑橘的穩(wěn)定采摘 通過指根旋轉(zhuǎn)電機(jī)驅(qū)動旋轉(zhuǎn)齒輪使手指旋轉(zhuǎn)至合適角 度 并能完美貼合抓取果實(shí) 該末端執(zhí)行器具有適應(yīng) 性強(qiáng) 抓取穩(wěn)定等優(yōu)點(diǎn) 但只在手指內(nèi)部貼有軟硅橡膠 的設(shè)計(jì)無法避免果實(shí)采摘時(shí)的破損 將影響果實(shí)的品 質(zhì) 3 馬廷輝設(shè)計(jì)了4自由度采摘機(jī)械手 采用逆運(yùn) 動分析將目標(biāo)位置轉(zhuǎn)換為機(jī)器人各關(guān)節(jié)轉(zhuǎn)角 實(shí)現(xiàn)了 草莓的穩(wěn)定采摘 但是自由度的數(shù)量限制了機(jī)器人的 靈活度 于豐華等 4 將機(jī)器人的機(jī)械臂擴(kuò)展到6自由 度 機(jī)械臂搭載了附有薄膜壓力傳感器的柔性手爪 基 于R F C N卷積神經(jīng)網(wǎng)絡(luò)視覺識別技術(shù) 設(shè)計(jì)了以番 茄為采摘對象的移動機(jī)器人 但是機(jī)器人必須通過巡 線相機(jī)識別溫室內(nèi)定位膠帶來完成巡檢和采摘 移動 的靈活性受到限制 本文設(shè)計(jì)了一款農(nóng)業(yè)采摘機(jī)器人 以溫室草莓為 研究對象 采用同時(shí)定位和地圖構(gòu)建S L A M S i m u l t a n e o u s L o c a l i z a t i o n a n d M a p p i n g 技術(shù)實(shí)現(xiàn)機(jī) 器人的自主路徑規(guī)劃 雙目深度相機(jī)實(shí)現(xiàn)對成熟草莓 的識別和定位 搭載柔性仿生夾爪的6自由度機(jī)械臂 實(shí)現(xiàn)目標(biāo)草莓的抓取和放置 1 采摘機(jī)器人系統(tǒng)功能設(shè)計(jì) 設(shè)施作物培育模式主要有地面土培和基質(zhì)高架培 育 其中基質(zhì)高架培育技術(shù)因?yàn)榭梢杂行П苊馔羵鞑?害和連作障礙 已經(jīng)被廣泛地應(yīng)用在溫室草莓種植 中 5 草莓栽培環(huán)境如圖1所示 本文的農(nóng)業(yè)采摘機(jī) 器人是以溫室基質(zhì)高架草莓為采摘對象進(jìn)行研究和 試驗(yàn) 圖1 草莓栽培環(huán)境 F i g 1 S t r a w b e r r y c u l t i v a t i o n e n v i r o n m e n t 農(nóng)業(yè)采摘機(jī)器人的硬件部分包括小車底盤 3 D相 機(jī) 協(xié)作機(jī)器人 激光雷達(dá) 超聲波探頭 計(jì)算機(jī) 顯示 器 無線路由器和仿生機(jī)械爪等 其系統(tǒng)結(jié)構(gòu)如圖2 所示 圖2 采摘機(jī)器人硬件系統(tǒng)結(jié)構(gòu) F i g 2 H a r d w a r e s y s t e m s t r u c t u r e o f p i c k i n g r o b o t 1 鋰電池 2 1 計(jì)算機(jī) 3 激光雷達(dá) 4 分布式超聲波探頭 5 顯示器及按鈕 6 內(nèi)置電氣配線板 7 雙目相機(jī) 8 仿生機(jī)械手爪 9 協(xié)作機(jī)器人本體 1 0 可拆卸果籃 1 1 導(dǎo)航制器 1 2 2 計(jì)算機(jī) 1 3 直流穩(wěn)壓電源 1 4 小車底盤 車底盤用于承載整個(gè)采摘機(jī)器人 6個(gè)輪式電機(jī) 動力前進(jìn)驅(qū)動 6個(gè)舵機(jī)轉(zhuǎn)向驅(qū)動 控制器選擇 S T M 3 2 F 1 0 3 Z E T 6型號的單片機(jī) 通過脈沖寬度調(diào)制 信號 P W M 控制電機(jī)轉(zhuǎn)動速度和舵機(jī)轉(zhuǎn)向角度 小車 可以實(shí)現(xiàn)原地0 3 6 0 轉(zhuǎn)彎 靈活性很高 小車搭配 激光雷達(dá) 可以實(shí)現(xiàn)采摘環(huán)境建圖和機(jī)器人自主定位 小車使用1 2個(gè)分布式超聲波探頭可以在行駛過程中 自動規(guī)避障礙物 協(xié)作機(jī)器人本體為6自由度的機(jī)械臂 最大可以 負(fù)重3 k g 臂展為8 3 2 m m 機(jī)械臂的末端執(zhí)行器為三 指仿生柔性夾爪 并配置有壓力檢測裝置 可以根據(jù)實(shí) 際草莓成熟情況調(diào)節(jié)夾爪壓力 盡量在保證采摘效率 的前提下選擇合適的壓力值 降低草莓的采摘損害 夾爪的上面配置有雙目深度相機(jī) 可以實(shí)時(shí)檢測出目 標(biāo)果實(shí)與機(jī)械臂的相對位置 農(nóng)業(yè)采摘機(jī)器人總共使用了三臺計(jì)算機(jī)用于軟件 開發(fā) 1 計(jì)算機(jī)與3 D雙目深度相機(jī)關(guān)聯(lián) 用于開發(fā) 圖像識別系統(tǒng) 2 計(jì)算機(jī)將激光雷達(dá)和小車底盤關(guān)聯(lián) 起來開發(fā)小車導(dǎo)航系統(tǒng) 3 計(jì)算機(jī)作為用戶端遠(yuǎn)程操 控使用 三臺計(jì)算機(jī)和機(jī)械臂計(jì)算機(jī)共同組成分布式 機(jī)器人操作系統(tǒng)R O S R o b o t O p e r a t i n g S y s t e m R O S是一個(gè)分布式的節(jié)點(diǎn)框架 使用 發(fā)布 訂閱式 的通信框架構(gòu)建分布式計(jì)算系 6 7 根據(jù)系統(tǒng)的配置 方式 任何節(jié)點(diǎn)需要隨時(shí)與其他節(jié)點(diǎn)進(jìn)行通信 這就要 保證R O S系統(tǒng)中的計(jì)算機(jī)處于同一網(wǎng)絡(luò)中 分布式計(jì) 算系如圖3所示 1 9 4 中國農(nóng)機(jī)化學(xué)報(bào)2 0 2 3年 圖3 ROS分布式計(jì)算系 F i g 3 R O S d i s t r i b u t e d c o m p u t i n g s y s t e m 2 采摘機(jī)器人軟件設(shè)計(jì) 機(jī)器人的軟件包括采摘信息系統(tǒng)設(shè)計(jì)和導(dǎo)航信 息系統(tǒng)設(shè)計(jì) 兩個(gè)系統(tǒng)都由三層架構(gòu)組成 分別為 物理感知層 處理層和信息執(zhí)行層 物理感知層的 作用是采集并傳輸環(huán)境數(shù)據(jù)至處理層 處理層接收 到數(shù)據(jù)后經(jīng)計(jì)算機(jī)的智能算法分析得到控制指令 作用于信息執(zhí)行層的執(zhí)行機(jī)構(gòu) 控制小車運(yùn)動到目 標(biāo)位置 機(jī)械臂完成采摘?jiǎng)幼?機(jī)器人的軟件系統(tǒng) 框圖如圖4所示 圖4 機(jī)器人軟件系統(tǒng)框圖 F i g 4 R o b o t s o f t w a r e s y s t e m b l o c k d i a g r a m 在采摘信息系統(tǒng)中 雙目深度相機(jī)拍攝草莓圖片 通過圖像采集卡將圖片上傳至1 計(jì)算機(jī) 經(jīng)過計(jì)算 機(jī)處理產(chǎn)生采集控制指令 1 計(jì)算機(jī)與2 計(jì)算機(jī) 通信 將生成的采摘目標(biāo)位置告知2 計(jì)算機(jī) 2 計(jì) 算機(jī)應(yīng)用導(dǎo)航控制程序生成規(guī)劃路徑 控制單片機(jī)產(chǎn) 生脈沖寬度調(diào)制信號 P W M 驅(qū)動小車運(yùn)行 1 計(jì) 算機(jī)同時(shí)與機(jī)器人通信 機(jī)器人控制器經(jīng)過逆運(yùn)動分 析 根據(jù)目標(biāo)位置反推得到機(jī)械臂各關(guān)節(jié)的運(yùn)動數(shù)據(jù) 機(jī)械臂根據(jù)關(guān)節(jié)數(shù)據(jù)配合機(jī)械手完成草莓的采摘 2 1 機(jī)器人導(dǎo)航設(shè)計(jì) 激光雷達(dá)相較于北斗或G P S導(dǎo)航 具有精度高 靈活性高 位置測量速度快等優(yōu)點(diǎn) 將它作為移動機(jī)器 人的導(dǎo)航方式 測距誤差小于1 機(jī)器人從起點(diǎn)位 置開始運(yùn)動 在運(yùn)動過程中依據(jù)位置估量和傳感器數(shù) 據(jù)進(jìn)行自身定位 同時(shí)完成增量式地圖的構(gòu)建 本機(jī) 器人采用了思嵐R P L I D A R A 3紅外激光雷達(dá) 通過 串口與R a s p b e r r y P i 4 B相連 激光雷達(dá)的主要技術(shù) 參數(shù)如表1所示 表1 RPLIDAR A3激光雷達(dá)主要技術(shù)參數(shù) T a b 1 M a i n t e c h n i c a l p a r a m e t e r s o f R P L I D A R A 3 l a s e r r a d a r 參數(shù)數(shù)值 測量距離 m 2 5 掃描范圍 3 6 0 采樣頻率 次 s 1 1 6 0 0 0 掃描頻率 H z 1 5 角度分辨率 0 2 2 5 測距相對誤差 1 采摘機(jī)器的自動路徑規(guī)劃 采用改進(jìn)的A 算法 A 算法的基本原理是利用起點(diǎn) 當(dāng)前節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn) 的位置關(guān)系建立路徑?jīng)Q策優(yōu)先級函數(shù) 公式如式 1 所示 f n g n h n 1 式中 f n 節(jié)點(diǎn)N的路徑?jīng)Q策優(yōu)先級 g n 當(dāng)前節(jié)點(diǎn)N距離起點(diǎn)S的實(shí)際代價(jià) h n 節(jié)點(diǎn)N距離終點(diǎn)E的預(yù)計(jì)代價(jià) 這也 就是A 算法的啟發(fā)函數(shù) 表示對未 走過節(jié)點(diǎn)的預(yù)測 A 算法在運(yùn)算過程中 每次從優(yōu)先隊(duì)列中選取 f n 值最小 優(yōu)先級最高 的節(jié)點(diǎn)作為下一個(gè)待遍歷 的節(jié)點(diǎn) 圖5為模擬的柵格地圖中優(yōu)先級函數(shù)的代價(jià)圖 在地圖中路線g n 表示從起點(diǎn)S到當(dāng)前節(jié)點(diǎn)N的實(shí) 際代價(jià) h n 啟發(fā)函數(shù)為終點(diǎn)E到當(dāng)前節(jié)點(diǎn)N的歐 式距離 即 h n XE XN 2 YE YN 2 2 式中 XE YE 終點(diǎn)E的坐標(biāo)值 XN YN 當(dāng)前節(jié)點(diǎn)N的坐標(biāo)值 傳統(tǒng)A 算法的啟發(fā)函數(shù)h n 是當(dāng)前節(jié)點(diǎn)N到 終點(diǎn)E的最短距離 但在實(shí)際情況中 節(jié)點(diǎn)與終點(diǎn)之 間可能會存在障礙 此時(shí)選擇的啟發(fā)函數(shù)h n 越小 算法遍歷的節(jié)點(diǎn)越多 也就導(dǎo)致算法越慢 這也會嚴(yán)重 影響機(jī)器人的采摘效率 所以對啟發(fā)函數(shù)進(jìn)行改進(jìn) 設(shè)計(jì)沿地圖中線4 5 遍歷節(jié)點(diǎn) 這也是機(jī)器人行走的較 大概率方向 改進(jìn)后啟發(fā)函數(shù)為 h n 2XE XN YE YN XE XN 2 1 XE XN YE YN 3 第1期姬麗雯等 溫室草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)1 9 5 在實(shí)際機(jī)器人采摘場景中 未必需要機(jī)器人一定 沿最短路徑行走 而是希望能夠盡快找到一個(gè)可行路 徑即可 而調(diào)節(jié)啟發(fā)函數(shù)和實(shí)際代價(jià)值可以控制算法 速度和精確度 因此增加一個(gè)系數(shù)p 以使路徑和速度 之間達(dá)到一個(gè)平衡 改進(jìn)后的A 算法評價(jià)函數(shù)為 f n 1 p g n ph n 0 p 1 4 h n 2 1 XE XN YE YN 5 圖5 柵格地圖中優(yōu)先級函數(shù)代價(jià)圖 F i g 5 C o s t g r a p h o f p r i o r i t y f u n c t i o n i n g r i d m a p 在試驗(yàn)過程中反復(fù)調(diào)試 找個(gè)合適的系數(shù)p 使機(jī) 器人的行走機(jī)構(gòu)可以在較短時(shí)間內(nèi)完成較優(yōu)路徑的 規(guī)劃 使用激光雷達(dá)進(jìn)行地圖構(gòu)建與定位 并采用改進(jìn) 的A 算法進(jìn)行自主導(dǎo)航 試驗(yàn)結(jié)果如圖6所示 地圖 中標(biāo)定機(jī)器人當(dāng)前位置和朝向 箭頭的方向?yàn)闄C(jī)器人 的朝向 當(dāng)系統(tǒng)發(fā)布一個(gè)目標(biāo)位置A 1時(shí) 機(jī)器人即 可自主路徑規(guī)劃和導(dǎo)航避障到達(dá)目標(biāo)位置 圖6 機(jī)器人自動導(dǎo)航圖界面 F i g 6 R o b o t a u t o m a t i c n a v i g a t i o n d i a g r a m i n t e r f a c e 2 2 機(jī)器人視覺識別設(shè)計(jì) 手眼協(xié)調(diào)是體現(xiàn)采摘機(jī)器人自主作業(yè)的關(guān)鍵 8 9 根據(jù)相機(jī)和末端執(zhí)行器的位置關(guān)系 常見的手眼系統(tǒng)分 別為E y e t o H a n d型和E y e i n H a n d型 其中E y e t o H a n d型是將相機(jī)安裝在機(jī)械臂以外的地方 并保證在 采摘的過程中固定不動 E y e i n H a n d型是將相機(jī)安裝 在機(jī)械臂末端 在采摘的過程中相機(jī)跟隨機(jī)械臂運(yùn) 動 1 0 本文選擇的手眼系統(tǒng)為E y e i n H a n d型 在末端 夾爪上連接小覓M Y N T E Y E雙目深度相機(jī) 首先 將預(yù)先拍攝好的圖像標(biāo)注成熟草莓標(biāo)簽 圖 像標(biāo)注后 對成熟草莓圖像進(jìn)行數(shù)據(jù)擴(kuò)充 擴(kuò)充圖片張 數(shù)進(jìn)行數(shù)據(jù)集構(gòu)建 將數(shù)據(jù)集按照4 1的比例劃分 訓(xùn)練集和測試集 用于全卷積神經(jīng)網(wǎng)絡(luò)R F C N模型 訓(xùn)練 實(shí)現(xiàn)成熟草莓的識別 R F C N是在F a s t e r R C N N的基礎(chǔ)上 由D a i 等人提出的 它將R O I P o o l i n g后面的全連接層都用 卷積層所代替 加快了運(yùn)行速度 R F C N通過兩個(gè) 階段實(shí)現(xiàn)目標(biāo)識別檢測 首先使用R P N區(qū)域網(wǎng)絡(luò)提 取候選框 生成感興趣區(qū)域R O I 然后 使用位置敏感 得分圖來生成感興趣區(qū)域不同位置的特征 用于解決 物體分類 生成的R O I經(jīng)過回歸器進(jìn)一步調(diào)整位置 使 R O I的位置精度更高 1 1 R F C N具體由R e s n e t 1 0 1 殘差網(wǎng)絡(luò) R P N候選區(qū)域生成網(wǎng)絡(luò) R O I池化層 投票層 和損失函數(shù) s o f t m a x和s m o o t h L 1函數(shù) 組成 其網(wǎng)絡(luò)結(jié) 構(gòu)示意圖見圖7所示 圖7 R FCN網(wǎng)絡(luò)結(jié)構(gòu)示意圖 F i g 7 R F C N n e t w o r k s t r u c t u r e d i a g r a m R e s n e t 1 0 1殘差網(wǎng)絡(luò)主要用于圖像分類 解決 層數(shù)過深時(shí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果變差的情況 R P N候 選區(qū)域生成網(wǎng)絡(luò)經(jīng)過卷積核為3 3 邊界填充為1 滑 動步長為1的卷積后 由一個(gè)特征圖像滑動窗口 為每 個(gè)位置生成9種不同類型的錨框 用于評估該區(qū)域?yàn)?目標(biāo)區(qū)域的可能性 最后經(jīng)過s o f t m a x分類器獲得候 選區(qū)域R O I 分別對每一個(gè)R O I進(jìn)行分類和回歸 這 樣就可以得到每個(gè)R O I的真實(shí)類別和較為精確的回 歸偏移量 R F C N檢測算法采用了R e s n e t 1 0 1作 為特征提取的骨干網(wǎng)絡(luò) 它的網(wǎng)絡(luò)結(jié)構(gòu)如表4所示 R e s n e t 1 0 1有5層卷積層和最后的全連接層構(gòu)成 其 中全連接層引進(jìn)了1 1的卷積核 進(jìn)行降維 減少參 數(shù)數(shù)量 1 2 1 3 1 9 6 中國農(nóng)機(jī)化學(xué)報(bào)2 0 2 3年 表4 Resnet 101網(wǎng)絡(luò)結(jié)構(gòu) T a b 4 R e s n e t 1 0 1 n e t w o r k s t r u c t u r e 卷積層輸出尺寸詳情 c o n v 1 1 1 2 1 1 2 7 7 6 4 步長23 3池化層 步長2 c o n v 2 5 6 5 6 1 1 6 4 3 3 6 4 1 1 2 5 6 3 c o n v 3 2 8 2 8 1 1 1 2 8 3 3 1 2 8 1 1 5 1 2 3 c o n v 4 1 4 1 4 1 1 2 5 6 3 3 2 5 6 1 1 1 0 2 4 3 c o n v 5 7 7 1 1 5 1 2 3 3 2 1 5 1 1 2 0 4 8 3 l a y e r 1 1 1 0 0 0分類的全連接層 R G B深度相機(jī)通過攝像采集獲得R G B圖像與深 度圖像 其中R G B圖像經(jīng)過R F C N目標(biāo)檢測算法 計(jì)算出草莓所在的二維平面位置 然后通過相機(jī)的內(nèi) 置參數(shù) 得到R G B圖像與深度圖像的坐標(biāo)映射關(guān)系 實(shí)現(xiàn)兩種圖像的融合 生成目標(biāo)草莓的三維點(diǎn)云圖 2 3 機(jī)器人手眼標(biāo)定 由于相機(jī)視野中捕獲目標(biāo)物體的坐標(biāo)系與機(jī)器人坐 標(biāo)系不一致 它們各自的坐標(biāo)沒有聯(lián)系 所以為了使兩者 坐標(biāo)系形成關(guān)聯(lián) 以便引導(dǎo)機(jī)器人進(jìn)行采摘 故需要將相 機(jī)的坐標(biāo)系變換到機(jī)器人坐標(biāo)系中 即進(jìn)行標(biāo)定 對于眼在手上 e y e I n h a n d 即相機(jī)固定在機(jī)械臂 末端 主要標(biāo)定相機(jī)和機(jī)械臂末端的轉(zhuǎn)換矩陣 實(shí)現(xiàn) 方法是將標(biāo)定板放在機(jī)械臂工作空間中的一個(gè)固定位 置 移動機(jī)械臂 從不同角度拍攝n張標(biāo)定板圖片 為 了標(biāo)定的準(zhǔn)確性 一般會選擇n 6 已知對每張圖 片有 c a m e r a e n dM c a m e r a b o a r dM b o a r d b a s eM b a s e e n dM 6 式中 c a m e r ae n dM 機(jī)械臂末端坐標(biāo)系到相機(jī)坐標(biāo)系的 變換矩陣 c a m e r a b o a r dM 標(biāo)定板坐標(biāo)系到相機(jī)坐標(biāo)系的變換 矩陣 b o a r d b a s eM 機(jī)械臂基底坐標(biāo)系到標(biāo)定板坐標(biāo)系 的變換矩陣 b a s e e n dM 機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐 標(biāo)系的變換矩陣 變換矩陣由旋轉(zhuǎn)矩陣和平移矩陣組成 我們以機(jī) 械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo)系變換矩陣為例進(jìn) 行說明 轉(zhuǎn)換矩陣表示如式 7 所示 b a s e e n dM b a s e e n dR b a s e e n dT 0 1 7 式中 b a s ee n dR 機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo) 系的旋轉(zhuǎn)矩陣 它為 3 3 矩陣 b a s e e n dT 機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo) 系的平移矩陣 它為 3 1 矩陣 對于拍攝的每張圖片中b a s ee n dM 即機(jī)械臂末端坐標(biāo) 系到機(jī)械臂基底坐標(biāo)系的變換矩陣都是相同的 可得 n 1個(gè)方程組 如式 8 所示 c a m e r a b o a r dM2 c a m e r a b o a r dM1 1 c a m e r a e n dM c a m e r a e n dM b a s e e n dM2 1 b a s e e n dM1 c a m e r a b o a r dMn c a m e r a b o a r dMn 1 1 c a m e r a e n dM c a m e r a e n dM b a s e e n dMn 1 b a s e e n dMn 1 8 問題可以轉(zhuǎn)變?yōu)榻夥匠探MAX XB 這個(gè)方程組 里有n 1個(gè)方程 X就是我們要求的轉(zhuǎn)換矩陣 c a m e r a b a s eM 使用T s a i方法可以對方程組進(jìn)行求解 先求解 RX 再求解TX 在軟件系統(tǒng)中使用O p e n C V手眼標(biāo)定 c a l i b r a t e H a n d e y e 完成 屬性中輸入矩陣為b a s ee n dR b a s e e n dT c a m e r a b o a r dR c a m e r a b o a r dT輸出矩陣為 e n d c a m e r aR e n d c a m e r aT 手眼標(biāo) 定方式為T s a i 輸入矩陣中的b a s ee n dR b a s ee n dT可以由機(jī)械 臂返回的位姿信息獲得 標(biāo)定板坐標(biāo)系的旋轉(zhuǎn)矩陣 c a m e r a b o a r dR和平移矩陣 c a m e r a b o a r dT可以由s o l v e P n P函數(shù)獲得 這樣就可以得到c a l i b r a t e H a n d e y e函數(shù)的輸出矩陣 完成機(jī)械臂的手眼標(biāo)定 3 試驗(yàn)與結(jié)果分析 本文采用課題組開發(fā)的農(nóng)業(yè)采摘機(jī)器人進(jìn)行試驗(yàn) 研究 試驗(yàn)于2 0 2 2年4月在江蘇省農(nóng)博園草莓溫室 中進(jìn)行 溫室長5 0 m 寬3 0 m 溫室中的甜寶草莓按 照基質(zhì)高架培育技術(shù)進(jìn)行栽培 基質(zhì)架之間的距離為 1 5 m 高度為0 8 m 溫室內(nèi)共1 2排基質(zhì) 將機(jī)器人放置于溫室中 放置好果蔬籃 讓機(jī)器 人開始采摘 客戶上位機(jī)運(yùn)行農(nóng)業(yè)采摘機(jī)器人軟件 平臺 該平臺可以進(jìn)行機(jī)器人的手眼標(biāo)定 成熟果實(shí) 的標(biāo)識和成熟果實(shí)的相機(jī)世界坐標(biāo)和機(jī)器人世界坐 標(biāo)的顯示 并且可以實(shí)時(shí)顯示機(jī)器人六個(gè)關(guān)節(jié)軸的 位姿信息 如圖8所示 機(jī)器人在室內(nèi)無光照環(huán)境下進(jìn)行采摘 觀察其采 摘機(jī)器人整體試驗(yàn)數(shù)據(jù)如表5所示 從表5可以看 出 將成功識別的成熟草莓?dāng)?shù)量除以該區(qū)域樣本總數(shù) 成功識別的成熟草莓?dāng)?shù)量與未能成功識別的成熟草 莓的數(shù)量之和 可以得到草莓的識別率為9 5 采摘 成功的果實(shí)數(shù)量除了成功識別的果實(shí)數(shù)量得到一次采 摘成功率為8 8 5 二次采摘的成功率為9 4 6 第1期姬麗雯等 溫室草莓采摘機(jī)器人設(shè)計(jì)與試驗(yàn)1 9 7 導(dǎo)出軟件平臺記錄的數(shù)據(jù) 隨機(jī)整理出8個(gè)草莓 的檢測坐標(biāo)以及抓取這些草莓時(shí)的機(jī)器人手爪坐標(biāo)和 誤差參數(shù)如表6所示 圖8 草莓識別結(jié)果圖 F i g 8 S t r a w b e r r y i d e n t i f i c a t i o n v e s u l t d i a g r a m 表5 機(jī)器人采摘效果數(shù)據(jù) T a b 5 R o b o t p i c k i n g e f f e c t d a t a 參數(shù)數(shù)量 成功識別的成熟草莓?dāng)?shù)量3 6 8 未能成功識別的成熟草莓?dāng)?shù)量1 9 未成熟草莓的識別數(shù)量0 成熟草莓一次采摘成功的數(shù)量3 2 6 成熟草莓二次采摘成功的數(shù)量3 4 9 表6 草莓采摘數(shù)據(jù) T a b 6 S t r a w b e r r y p i c k i n g d a t a 序號檢測坐標(biāo)手爪坐標(biāo)誤差 草莓1 3 7 0 3 4 4 6 8 6 8 4 5 7 3 4 3 7 2 8 1 4 7 1 3 4 4 5 5 6 8 2 4 7 2 6 6 1 6 8 草莓2 4 3 4 7 5 4 8 5 6 7 4 6 8 2 6 4 3 7 8 2 4 8 6 9 5 4 6 9 8 3 0 7 1 2 8 1 5 4 草莓3 4 6 8 3 2 5 3 8 4 4 9 0 2 5 4 6 9 2 1 5 3 7 6 9 4 9 1 6 7 0 8 9 0 7 1 1 4 2 草莓4 5 3 4 7 3 4 9 7 5 1 5 8 7 6 2 5 3 2 8 4 4 9 9 5 3 5 8 9 7 8 1 8 9 2 0 2 2 1 6 草莓5 5 4 1 2 6 4 8 6 4 7 4 7 8 5 1 5 4 3 3 9 4 8 7 6 5 4 7 9 6 8 2 1 3 1 1 8 1 1 7 草莓6 4 8 6 3 7 4 9 8 1 4 5 2 6 4 7 4 8 9 2 4 4 9 7 3 6 5 2 9 1 0 2 8 7 0 7 8 2 6 3 草莓7 5 2 8 6 3 5 4 7 9 6 4 8 6 5 8 5 2 9 8 7 5 5 0 1 3 4 8 9 0 5 1 2 4 2 1 7 2 4 7 草莓8 5 6 3 9 7 5 7 3 4 8 4 9 6 5 6 5 6 4 8 6 5 7 2 6 9 4 9 8 6 7 0 8 9 0 7 9 2 1 1 綜上所述 采摘機(jī)器人成熟草莓識別率大概在 9 5 未識別原因主要由于葉片遮擋或者草莓之間堆 疊 系統(tǒng)可以對草莓進(jìn)行三維定位 且檢測到的草莓 坐標(biāo)與機(jī)器人手爪坐標(biāo)的誤差在4 m m以下 雖然誤 差較小 但草莓體積也較小 這就導(dǎo)致了一次采摘的成 功率較低 需要進(jìn)行二次采摘才能達(dá)到9 0 以上的采 摘成功率 4 結(jié)論 本文設(shè)計(jì)一款農(nóng)業(yè)采摘機(jī)器人 可以在溫室中自 由行走并采摘成熟草莓 通過采摘試驗(yàn)得出結(jié)論如下 1 該機(jī)器人采用同時(shí)定位和地圖構(gòu)建S L A M技 術(shù)實(shí)現(xiàn)機(jī)器人的自主路徑規(guī)劃 2 使用基于卷積神經(jīng)網(wǎng)絡(luò)R F C N的目標(biāo)檢測 算法可完成對成熟草莓的自動識別和坐標(biāo)定位 成熟 草莓識別率大概在9 5 針對葉片遮擋或者草莓堆 疊問題 考慮后期為機(jī)器人設(shè)計(jì)吹風(fēng)裝置 提高識別 效率 3 因?yàn)椴葺捏w積較小 要求目標(biāo)物體位置定位 精度高 以及機(jī)器人的運(yùn)動誤差小 后期會從這兩個(gè) 方面進(jìn)行改進(jìn) 參 考 文 獻(xiàn) 1 劉繼展 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析 J 農(nóng)業(yè)機(jī)械 學(xué)報(bào) 2 0 1 7 4 8 1 2 1 1 8 L i u J i z h a n R e s e a r c h p r o g r e s s o f g r e e n h o u s e p i c k i n g r o b o t t e c h n o l o g y J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 1 7 4 8 1 2 1 1 8 2 鄭剛 劉佳 李旭 現(xiàn)代溫室采摘機(jī)器人發(fā)展概況 J 農(nóng) 業(yè)工程技術(shù) 2 0 1 9 3 9 3 1 3 5 4 0 Z h e n g G a n g L i u J i a L i X u D e v e l o p m e n t o f m o d e r n g r e e n h o u s e p i c k i n g r o b o t J A g r i c u l t u r a l E n g i n e e r i n g T e c h n o l o g y 2 0 1 9 3 9 3 1 3 5 4 0 3 魏博 何金銀 石陽 等 欠驅(qū)動式柑橘采摘末端執(zhí)行器設(shè) 計(jì)與試驗(yàn) J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2 0 2 1 5 2 1 0 1 2 0 1 2 8 W e i B o H e J i n y i n S h i Y a n g e t a l D e s i g n a n d e x p e r i m e n t o f u n d e r a c t u a t e d e n d e f f e c t o r f o r c i t r u s p i c k i n g J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 2 1 5 2 1 0 1 2 0 1 2 8 4 于豐華 周傳琦 楊鑫 等 日光溫室番茄采摘機(jī)器人設(shè)計(jì) 與試驗(yàn) J 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2 0 2 2 5 3 1 4 1 4 9 Y u F e n g h u a Z h o u C h u a n q i Y a n g X i n e t a l D e s i g n a n d e x p e r i m e n t o f t o m a t o p i c k i n g r o b o t i n s o l a r g r e e n h o u s e J T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 2 0 2 2 5 3 1 4 1 4 9 5 王皓 柔性連續(xù)體機(jī)械臂大變形性能的研究 D 北京 北 京工業(yè)大學(xué) 2 0 2 0 W a n g H a o R e s e a r c h o n l a r g e d e f o r m a t i o n p e r f o r m a n c e o f f l e x i b l e c o n t i n u u m m a n i p u l a t o r D B e i j i n g B e i j i n g U n i v e r s i t y o f T e c h n o l o g y 2 0 2 0 6 邵堃 五自由度機(jī)械臂的番茄智能采摘機(jī)器人 J 江蘇農(nóng) 業(yè)科學(xué) 2 0 1 8 4 6 2 1 2 5 0 2 5 3 S h a o K u n T o m a t o i n t e l l i g e n t p i c k i n g r o b o t b a s e d o n 5 D O F r o b o t a r m J J i a n g s u A g r i c u l t u r a l S c i e n c e s 2 0 1 8 4 6 2 1 2 5 0 2 5 3 7 湯亞東 番茄智能采摘機(jī)構(gòu)優(yōu)化設(shè)計(jì)及試驗(yàn)研究 D 鄭 州 河南農(nóng)業(yè)大學(xué) 2 0 1 8 1 9 8 中國農(nóng)機(jī)化學(xué)報(bào)2 0 2 3年 T a n g Y a d o n g O p t i m i z a t i o n d e s i g n a n d e x p e r i m e n t a l r e s e a r c h o f t o m a t o i n t e l l i