農(nóng)業(yè)機(jī)械學(xué)報(bào) Transactions of the Chinese Society for Agricultural Machinery ISSN 1000 1298 CN 11 1964 S 農(nóng)業(yè)機(jī)械學(xué)報(bào) 網(wǎng)絡(luò)首發(fā)論文 題目 日光溫室番茄采摘機(jī)器人設(shè)計(jì) 作者 于豐華 周傳琦 楊鑫 郭忠輝 陳春玲 收稿日期 2021 07 21 網(wǎng)絡(luò)首發(fā)日期 2021 10 28 引用格式 于豐華 周傳琦 楊鑫 郭忠輝 陳春玲 日光溫室番茄采摘機(jī)器人設(shè)計(jì) J OL 農(nóng)業(yè)機(jī)械學(xué)報(bào) 網(wǎng)絡(luò)首發(fā) 在編輯部工作流程中 稿件從錄用到出版要經(jīng)歷錄用定稿 排版定稿 整期匯編定稿等階 段 錄用定稿指內(nèi)容已經(jīng)確定 且通過(guò)同行評(píng)議 主編終審?fù)饪玫母寮?排版定稿指錄用定稿按照期 刊特定版式 包括網(wǎng)絡(luò)呈現(xiàn)版式 排版后的稿件 可暫不確定出版年 卷 期和頁(yè)碼 整期匯編定稿指出 版年 卷 期 頁(yè)碼均已確定的印刷或數(shù)字出版的整期匯編稿件 錄用定稿網(wǎng)絡(luò)首發(fā)稿件內(nèi)容必須符合 出 版管理?xiàng)l例 和 期刊出版管理規(guī)定 的有關(guān)規(guī)定 學(xué)術(shù)研究成果具有創(chuàng)新性 科學(xué)性和先進(jìn)性 符合編 輯部對(duì)刊文的錄用要求 不存在學(xué)術(shù)不端行為及其他侵權(quán)行為 稿件內(nèi)容應(yīng)基本符合國(guó)家有關(guān)書刊編輯 出版的技術(shù)標(biāo)準(zhǔn) 正確使用和統(tǒng)一規(guī)范語(yǔ)言文字 符號(hào) 數(shù)字 外文字母 法定計(jì)量單位及地圖標(biāo)注等 為確保錄用定稿網(wǎng)絡(luò)首發(fā)的嚴(yán)肅性 錄用定稿一經(jīng)發(fā)布 不得修改論文題目 作者 機(jī)構(gòu)名稱和學(xué)術(shù)內(nèi)容 只可基于編輯規(guī)范進(jìn)行少量文字的修改 出版確認(rèn) 紙質(zhì)期刊編輯部通過(guò)與 中國(guó)學(xué)術(shù)期刊 光盤版 電子雜志社有限公司簽約 在 中國(guó) 學(xué)術(shù)期刊 網(wǎng)絡(luò)版 出版?zhèn)鞑テ脚_(tái)上創(chuàng)辦與紙質(zhì)期刊內(nèi)容一致的網(wǎng)絡(luò)版 以單篇或整期出版形式 在印刷 出版之前刊發(fā)論文的錄用定稿 排版定稿 整期匯編定稿 因?yàn)?中國(guó)學(xué)術(shù)期刊 網(wǎng)絡(luò)版 是國(guó)家新聞出 版廣電總局批準(zhǔn)的網(wǎng)絡(luò)連續(xù)型出版物 ISSN 2096 4188 CN 11 6037 Z 所以簽約期刊的網(wǎng)絡(luò)版上網(wǎng)絡(luò)首 發(fā)論文視為正式出版 收稿日期 2021 07 21修回日期 2021 09 25 基金項(xiàng)目 科技部重點(diǎn)研發(fā)計(jì)劃政府間合作項(xiàng)目 2019YFE0197700 作者簡(jiǎn)介 于豐華 1989 男 沈陽(yáng)農(nóng)業(yè)大學(xué)講師 博士 主要從事智慧農(nóng)業(yè)研究 E mail adan 通信作者 陳春玲 1971 女 沈陽(yáng)農(nóng)業(yè)大學(xué)教授 博士 主要從事智慧農(nóng)業(yè)研究 E mail chenchunling 日光溫室番茄采摘機(jī)器人設(shè)計(jì) 于豐華 1 2 周傳琦 1 楊鑫 1 郭忠輝 1 陳春玲 1 2 1 沈陽(yáng)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院 沈陽(yáng) 110866 2 遼寧省農(nóng)業(yè)信息化工程技術(shù) 研究 中心 沈陽(yáng) 110866 摘 要 針對(duì) 目前 日光溫室中 番茄 采摘 主要靠人工 費(fèi) 力 費(fèi)時(shí) 的問(wèn)題 設(shè)計(jì) 并制作了 一 種 可以應(yīng)用于 日光溫室 的番茄采摘 機(jī)器人 該機(jī)器人能夠在 大棚壟道間巡檢并 自動(dòng)識(shí)別 成熟 番茄 并 完成采摘 收集 本設(shè)計(jì) 以 STM32微控制器為 主 控制器 使用麥克納姆輪全向移動(dòng)平臺(tái)作為 機(jī)器人 的 移動(dòng) 底盤 采用由 Raspberry Pi 4B控制器驅(qū)動(dòng)的深度相機(jī) 作為成熟番茄的識(shí)別裝 置 底盤上平臺(tái)安裝風(fēng)力補(bǔ)償風(fēng)機(jī) 可水平滑動(dòng)的 6 自由度機(jī)械臂 機(jī)械臂搭載了附有薄膜壓力傳感器的柔性手爪 整個(gè)上 平臺(tái)由安裝在底盤下平臺(tái)的垂直升降機(jī) 構(gòu)驅(qū)動(dòng) 滑動(dòng)機(jī)構(gòu)和升降機(jī)構(gòu)均配有測(cè)距傳感器 通過(guò) Raspberry Pi 4B所驅(qū)動(dòng) 的攝像 頭 識(shí)別與捕捉 再 通過(guò)串行總線將成熟番茄的坐標(biāo)數(shù)據(jù)傳輸至 STM32 控制器 STM32 控制器通過(guò)機(jī)械臂逆運(yùn)動(dòng)學(xué)分析驅(qū)動(dòng) 機(jī)械臂 滑軌與升降平臺(tái)的聯(lián)合動(dòng)作 配合機(jī)械臂末端關(guān)節(jié) 動(dòng)作 即可 實(shí)現(xiàn)番茄采摘 底盤 配合 OpenMV巡線攝像頭識(shí)別地 面預(yù) 先制作好的定位線 即可實(shí)現(xiàn)在大棚內(nèi)不間斷巡檢與采摘成熟番茄 關(guān)鍵詞 日光 溫室 番茄 采摘機(jī)器人 機(jī)械臂 R FCN目標(biāo)檢測(cè)網(wǎng)絡(luò) 移動(dòng)小車 中圖分類號(hào) S225 93 文獻(xiàn)標(biāo)識(shí)碼 A OSID Design of Tomato Picking Robot in Solar Greenhouse YU Fenghua1 2 ZHOU Chuanqi1 YANG Xin1 GUO Zhonghui1 CHEN Chunling1 2 1 College of Information and Electrical Engineering Shenyang Agricultural University Shenyang 110866 China 2 Liaoning Agricultural Information Engineering Technology Research Center Shenyang 110866 China Abstract With the popularization and development of solar greenhouse in recent years more and more crops began to be planted in solar greenhouse At present in the greenhouse garden picking tomatoes mainly relys on fruit farmers to complete manually which not only consumes a lot of manpower but also wastes a lot of time Taking tomato as an example a tomato picking robot was designed which can be applied to solar greenhouse garden patrol between greenhouse and ridge road and automatically identify ripe tomato in real time and complete picking and collecting after identifying successful tomato STM32 microcontroller was the main core of this design The Mecanum wheel omni directional mobile platform was used as the mobile chassis of the robot and the depth camera driven by Raspberry Pi 4B controller was used as the recognition device of mature tomatoes The platform on the chassis was equipped with a wind compensation fan and a 6 DOF horizontal sliding mechanical arm The arm was equipped with a flexible grip attached to a thin film pressure sensor The whole upper platform was driven by the vertical lifting structure installed on the platform under the chassis The sliding mechanism and the lifting mechanism were equipped with ranging sensors Through the recognition and capture of the camera driven by Raspberry Pi 4B the coordinate data of the ripe tomato was transmitted to the STM32 controller through the serial bus The STM32 controller drove the joint action of the mechanical arm slide rail and lifting platform through inverse kinematics analysis of the mechanical arm and can pick tomatoes at different heights and depths with the action of the end joint of the mechanical arm The chassis was equipped with OpenMV line patrol camera to recognize the positioning line made in advance on the ground so that continuous inspection and picking of ripe tomatoes in the greenhouse can be realized This work can greatly liberate manpower save a lot of time for fruit farmers and also provide an idea and scheme for tomato picking in closed areas Key words solar greenhouse tomato picking robot robotic arm R FCN target detection network mobile car 網(wǎng)絡(luò)首發(fā)時(shí)間 2021 10 28 10 16 55 網(wǎng)絡(luò)首發(fā)地址 0 引 言 溫室生產(chǎn)在我國(guó)被譽(yù)為陽(yáng)光工程 是我國(guó) 的 重 點(diǎn)在研項(xiàng)目 也是設(shè)施農(nóng)業(yè)的重要組成 部分 1 2 但 設(shè)施農(nóng)業(yè)是典型的勞動(dòng)密集型產(chǎn)業(yè) 即使 在設(shè)施農(nóng) 業(yè)領(lǐng)域擁有高度自動(dòng)化作業(yè)的 發(fā)達(dá)國(guó)家 其作物 采 摘環(huán)節(jié)仍依賴大量人工來(lái)完成 3 4 人工采摘 費(fèi)時(shí)費(fèi) 力 實(shí)現(xiàn) 溫室內(nèi)部的 自動(dòng)化采摘 已成為 當(dāng)下設(shè)施農(nóng) 業(yè)發(fā)展的主要 需求 隨著電子信息技術(shù) 人工智能技術(shù) 圖像識(shí)別 技術(shù)的逐漸成熟 日本 荷蘭 英國(guó) 法國(guó) 美國(guó) 等 從上世紀(jì) 80年代中期 就 開展了 采摘機(jī)器人 研究 采 摘對(duì)象包括 蘋果 蘆筍 草莓 葡萄 甘藍(lán) 黃瓜 番茄 蘑菇等 5 8 而 我國(guó) 對(duì)于農(nóng)業(yè)采摘機(jī)器人的研究較晚 且目 前仍處于起步階段 9 王順溈 等 10 設(shè)計(jì)了一款通過(guò) 震動(dòng)使果梗分離 通過(guò) 仿雨傘機(jī)構(gòu)收集 果實(shí) 的 采摘 機(jī)械臂 但此機(jī)械臂會(huì)由于果梗柔韌性過(guò)大而發(fā)生 漏采現(xiàn)象 且在收集過(guò)程中無(wú)法避免果實(shí)間的碰撞 這將嚴(yán)重影響采摘覆蓋率與果實(shí)品質(zhì) 馬廷輝 11 設(shè) 計(jì)了 四 自由度機(jī)械手 采用空間坐標(biāo)轉(zhuǎn)換進(jìn)行運(yùn)動(dòng) 學(xué)分析 實(shí)現(xiàn)了強(qiáng)適應(yīng)能力草莓采摘機(jī)器人的研制 但自由度 限制 了 機(jī)械臂靈活度 12 邵堃 13 通過(guò)將 采 摘機(jī)器人的 機(jī)械臂擴(kuò)展到五自由度 在 9 個(gè)不同高 度和不同方向的 目 標(biāo)點(diǎn) 采摘 中 最大距離偏差僅為 6 71mm 但其采用的履帶式底盤由于 行駛速度慢 需要 大量的轉(zhuǎn)向空間 等問(wèn)題 無(wú)法在日光溫室內(nèi)運(yùn) 行 此外 湯亞?wèn)| 14 通過(guò)雙目視覺 機(jī)械臂運(yùn)動(dòng)仿 真等構(gòu)建了番茄采摘機(jī)器人樣機(jī) 并完成了復(fù)雜環(huán) 境下的番茄采摘測(cè)試 但因其剛性抓手的使用導(dǎo)致 無(wú)傷采摘成功率僅為 76 3 王曉楠等 15 通過(guò)使用 真空吸附裝置 柔性氣囊裝置 旋擰電機(jī)等 實(shí)現(xiàn)了 番茄的無(wú) 傷采摘 但是 由于枝干 葉片等會(huì)對(duì)識(shí)別 系統(tǒng)產(chǎn)生干擾 從而導(dǎo)致機(jī)器人的采摘精準(zhǔn)度 下降 劉芳等 16 改進(jìn)型多尺度 YOLO 算法 從不同 角度 不同 光照 強(qiáng)度 等環(huán)境下 對(duì)番茄 進(jìn)行訓(xùn)練識(shí)別 朱明 秀 17 基于 K means聚類算法 配合卷積神經(jīng)網(wǎng)絡(luò)與 雙目視覺技術(shù) 實(shí)現(xiàn)了采摘機(jī)器人的水果檢測(cè)與定 位 胡慧明 18 使用雙目視覺技術(shù) 為采摘機(jī)器人獲 取了果蔬的三維坐標(biāo) 為 溫 室環(huán)境下的果蔬機(jī)器人 采摘奠定了基礎(chǔ) 本研究以北方日光溫室 中 的番茄為 采摘對(duì)象 設(shè)計(jì)并制作 一款適用于 日光溫室 可以 巡檢并 識(shí)別 采摘成熟番茄果實(shí)的移動(dòng)機(jī)器人 1 采摘 機(jī)器人 系統(tǒng) 功能 設(shè)計(jì) 采摘機(jī)器人系統(tǒng)分為 底盤四輪驅(qū)動(dòng)系統(tǒng) 采摘 系統(tǒng) 可升降 平臺(tái)系統(tǒng) 圖像識(shí)別系統(tǒng) 和風(fēng)機(jī)系統(tǒng) 其中底盤驅(qū)動(dòng)系統(tǒng)包括四顆麥克納姆輪及其驅(qū)動(dòng)電 機(jī) 底盤懸掛結(jié)構(gòu)和 底部巡線攝像頭等 采摘系統(tǒng) 包括柔性 手爪 和 滑軌型 機(jī)械臂 可升降上平臺(tái)系統(tǒng) 包括驅(qū)動(dòng)電機(jī)及上平臺(tái)鋁板 并 附有 機(jī)械臂滑軌和 圖像識(shí)別系統(tǒng) 風(fēng)機(jī)系統(tǒng)等 安裝支架 目前 日光溫室 內(nèi) 機(jī)器人 常用的 作業(yè)方式有 地面自由移動(dòng)式 懸掛導(dǎo)軌移動(dòng)式 地面導(dǎo)軌移動(dòng) 式 等 鑒于 日光溫室 需要 對(duì)光能 的 直接 性 利 用 19 安裝 懸掛 導(dǎo)軌會(huì)占用 大量 日光 溫室內(nèi)的上層 空間 這將嚴(yán)重影響日光溫室的 透光率 導(dǎo)致對(duì)光能利用 率下降 地面導(dǎo)軌 的安裝 占用溫室 內(nèi) 大量 種植 面積 影響土地利用率 且 不利于 后期大棚改造升級(jí) 故 本研究 采用了麥克納姆輪地面 導(dǎo)軌 移動(dòng)式機(jī)器人 作 業(yè)方式 麥克納姆輪 四驅(qū)移動(dòng)平 臺(tái)相對(duì)于傳統(tǒng)轉(zhuǎn)向 機(jī)構(gòu)移動(dòng)平臺(tái)更加靈活 通過(guò)控制各個(gè)輪系的轉(zhuǎn)速 和方向即可組合出任意方向的移動(dòng) 21 可以 在狹窄 的 溫室 內(nèi)不改變自身狀態(tài)完成采摘任務(wù) 日光溫室內(nèi)的番茄主要采用 架棚 作床 20 的培 育模式 列式分布 垂直生長(zhǎng)種植方式 番茄果實(shí)縱 向生長(zhǎng)于植株上 故底盤的設(shè)計(jì)綜合考慮了以上因 素 采用 擺式懸掛結(jié)構(gòu) 此結(jié)構(gòu)可以增加機(jī)器人的 地形適應(yīng)能力 保證機(jī)器人行駛時(shí)底盤的貼地性 提升了行駛時(shí)底盤的穩(wěn)定性與控制精確度 22 日光 溫室番茄栽培模式如圖 1所示 圖 1 番茄栽培模式 Fig 1 Patterns of tomato cultivation 采摘機(jī)器人工作時(shí) 機(jī)械爪的作用是抓緊果實(shí) 以便進(jìn)行果梗分離 23 24 考慮到 成熟 番茄 果實(shí) 表皮 的力學(xué)特性 25 機(jī)器人 采摘機(jī)構(gòu) 采用 柔性手 爪 柔 性 手 爪 由 注塑工藝 的橡膠材質(zhì) 制作 該柔性 手 爪采 用三指抓取 由 42步進(jìn)電機(jī) 驅(qū)動(dòng) 手 爪 動(dòng)作部分 長(zhǎng) 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) 95mm 夾取直徑為 10 120mm 抓取頻率 小于 40次 min 相鄰兩指 可動(dòng) 間距 1長(zhǎng) 8 100mm 柔性 手 爪 總長(zhǎng) 2為 152 5mm 驅(qū)動(dòng)器安裝部分 高度 3為 40mm 其結(jié)構(gòu)圖 如 圖 2所示 圖 2 柔性手爪 結(jié)構(gòu)圖 Fig 2 Structure diagram of flexible gripper 圖 3 柔性手爪實(shí)物圖 Fig 3 Physical picture of flexible gripper 1 薄膜壓力傳感器 2 抓手柔性手指 3 抓手驅(qū)動(dòng)電機(jī) 此外 在抓手的內(nèi)壁還 貼 有 如 圖 3 所示的 薄膜 壓力傳感器 控制器可以 通過(guò) 與之連接的 AD 轉(zhuǎn)換 電路 26 獲得 抓手內(nèi)部的壓力數(shù)據(jù) 進(jìn)一步精準(zhǔn) 控制 番茄的采摘力度 從而 防止番茄因發(fā)生機(jī)械損傷而 導(dǎo)致的皺縮 品質(zhì)降低 快速腐爛 27 等 薄膜壓力 傳感器的響應(yīng)時(shí)間 小于 1ms 形變恢復(fù)時(shí)間 小于 15ms 可以工作在 20 60 的環(huán)境 中 測(cè)試中隨機(jī) 讀取 25 次柔性 手 爪 采摘番茄時(shí) 的壓力傳感器數(shù)據(jù) 繪制 曲線如 圖 4所示 為了使機(jī)械臂摘取番茄的更為靈活 28 支 撐 手 爪 的機(jī)械臂 采用 6 自由度 設(shè)計(jì) 其中單個(gè) 關(guān)節(jié) 舵機(jī) 在 8 4V標(biāo)準(zhǔn)工作電壓下 的 扭力為 52kg cm 機(jī)械臂 底座直徑 1為 110mm 底座 高 2為 81 5mm 機(jī)械臂 第 1 段關(guān)節(jié) 長(zhǎng) 3為 105mm 第 2 段關(guān)節(jié) 長(zhǎng) 4為 77 5mm 第 3段關(guān)節(jié) 長(zhǎng) 5 為 58mm 整體活動(dòng)半徑 為 513mm 且 經(jīng) 過(guò) 分析與討論黃國(guó)偉等 29 關(guān)于 番茄 果實(shí)與莖稈分離力的研究 確定了旋擰摘下的采摘 方案 并 設(shè)計(jì)了可以連續(xù)旋轉(zhuǎn) 180 的 末端關(guān)節(jié) 由 此 在采摘?jiǎng)幼鞣桨傅脑O(shè)計(jì)時(shí)便可使機(jī)械手在 0 時(shí)深入番茄植株中 在抓取穩(wěn)定后的 0 8s內(nèi) 末端 關(guān)節(jié)快速旋轉(zhuǎn) 180 使 番茄 梗 與莖稈 呈 遠(yuǎn)離 90 角 的方向 受力 以 實(shí)現(xiàn)使用 最小的力 使 果實(shí)與莖稈 分離 手爪采摘示意圖 如 圖 5所示 圖 4 采摘番茄的手爪壓力變化曲線 Fig 4 Claw pressure change curve for picking tomatoes 圖 5 采摘示意圖 Fig 5 Picking diagram 1 柔性手爪 2 番茄 3 番茄果梗 4 手爪旋轉(zhuǎn)方向 生長(zhǎng) 過(guò)程 中 番茄 果實(shí)位置并 不 固定 成熟番 茄果實(shí) 容易 被四周枝葉所遮擋 導(dǎo)致 攝像頭無(wú)法準(zhǔn) 確判斷甚至無(wú)法識(shí)別出成熟的番茄 因此 在上平 臺(tái)添加了帶有 二自由度云臺(tái)的風(fēng)力補(bǔ)償裝置 其裝 置結(jié)構(gòu)簡(jiǎn)圖如 圖 6a所示 當(dāng)機(jī)器人在壟道間巡檢過(guò) 程中 風(fēng)力裝置 向著機(jī)器人的預(yù)識(shí)別區(qū)域吹風(fēng) 枝 葉被吹開后 即可使枝葉后面的成熟果實(shí)暴露于攝 像頭視角下 實(shí)現(xiàn)被遮擋果實(shí)的識(shí)別 于豐華 等 日光溫室番茄采摘機(jī)器人研制 考慮到番茄并不是處于固定高度 故設(shè)計(jì)時(shí)采 用 Z 軸 垂直于地平面的方向 升降結(jié)構(gòu) 升降結(jié) 構(gòu)采用絲桿控制 通過(guò)電機(jī) 轉(zhuǎn)動(dòng)帶動(dòng)上平臺(tái)的升降 即可實(shí)現(xiàn)對(duì)不同高度番茄的采摘 且 相 對(duì) 于機(jī)器人 番茄生長(zhǎng)的深度 番茄果實(shí)距離壟間 中 線的投影 不同 故在機(jī)器人上平臺(tái)上安裝一 由絲桿控制 的 可 水平移動(dòng)的 X軸 水平面內(nèi)垂直于機(jī)器人行進(jìn) 方向 滑軌 結(jié)構(gòu) 控制器通過(guò) 深度相機(jī)等傳感器獲取 的番 茄深度數(shù)據(jù)后 將自身坐標(biāo)與機(jī)械臂坐標(biāo) 通過(guò) 式中 機(jī)器人視覺坐標(biāo) 系 視覺坐標(biāo) 系 與機(jī)械臂坐標(biāo) 系轉(zhuǎn)換 關(guān)系 機(jī)器人機(jī)械臂坐標(biāo) 系 換算 計(jì)算 得出 相較于絲桿平臺(tái)中心位置的番茄深 度數(shù)據(jù) 通過(guò) 絲桿驅(qū)動(dòng) 電機(jī)與測(cè)距傳感器負(fù)反饋調(diào) 節(jié)的配合 使 機(jī)械臂運(yùn)動(dòng)到 正確的 位置后 手 爪 再 深入抓取番茄果實(shí) Z 軸 X 軸 驅(qū)動(dòng) 結(jié)構(gòu)簡(jiǎn)圖如 圖 6a b所示 其中 X軸 Z軸結(jié)構(gòu) 設(shè)計(jì) 參數(shù)如表 1所 示 表 1 底盤升降平臺(tái) 結(jié)構(gòu)硬件參數(shù) Table 1 Hardware parameters of chassis lifting platform structure 參數(shù) 數(shù)值 X軸 長(zhǎng)度 mm 580 X軸滑軌移速 mm s 1 18 X軸 絲桿直徑 mm 8 X軸 電機(jī)扭矩 N m 1 0 31 Z軸長(zhǎng)度 mm 970 Z軸升降 速度 mm s 1 36 Z軸絲桿直徑 mm 12 Z軸電機(jī)扭矩 N m 1 2 3 a 上平臺(tái)裝置分布圖 b Z軸升降結(jié)構(gòu)簡(jiǎn)圖 c 整體實(shí)物圖 圖 6 番茄采摘機(jī)器人 Fig 6 Picture of a tomato picking robot 1 滑塊 2 測(cè)距傳感器 3 機(jī)械臂底座 4 15 26 機(jī)械臂 5 23 果籃 6 攝像頭支架 7 28 攝像頭 8 絲桿 9 18 步進(jìn)電機(jī) 10 風(fēng)扇 11 機(jī)器人底盤上平臺(tái) 12 二自由度云臺(tái) 13 機(jī)器人底盤下平臺(tái) 14 機(jī)器人底盤上平臺(tái) 16 絲桿 17 車輪 19 測(cè)距傳感器 20 麥克納姆輪 21 擺式懸掛地盤 22 上平臺(tái) 24 水平導(dǎo)軌 25 風(fēng)機(jī) 27 柔性 手 爪 29 升降 驅(qū)動(dòng)軸 30 巡線相機(jī) 2 采摘機(jī)器人系統(tǒng) 軟 件 設(shè)計(jì) 手 眼 協(xié)調(diào)是體現(xiàn)果蔬采摘機(jī)器人自主采摘作 業(yè)的關(guān)鍵 30 根據(jù)相機(jī)的安裝位置 機(jī)器人視覺系 統(tǒng)可分為 Eye to Hand型和 Eye in Hand型 31 其中 Eye to Hand 型 是將相機(jī)安裝在機(jī)器人本體以外的 某個(gè)地方 并 固定不動(dòng) Eye in Hand型則 是將相機(jī) 固定在機(jī)器人手臂上 并隨機(jī)器人手臂一起運(yùn)動(dòng) 32 溫室大棚高度限制 番茄植株的垂直生長(zhǎng)方向 番 茄果實(shí)相對(duì)過(guò)小等成為限制 Eye to Hand 型在溫室 內(nèi)作業(yè)的主要因素 在考慮 Eye in Hand型 時(shí) 由 于 機(jī)械臂處于運(yùn)動(dòng)狀態(tài) 這就導(dǎo)致攝像頭的位置也在 實(shí)時(shí)變化 這樣 系統(tǒng)的運(yùn)算量 就會(huì) 十分 巨大 而 單 片機(jī)等微 控制器 并不能 滿足系統(tǒng)實(shí)時(shí)控制的 需求 綜上 最終決定將相機(jī)放置于可升降上平臺(tái)并固定 這樣在 如 圖 7b所示 上平臺(tái)的 笛卡爾坐標(biāo)系下 設(shè) 坐 標(biāo)系 XYZ 的原點(diǎn) 為 0 0 0 機(jī)械臂坐標(biāo)系 原點(diǎn) 為 相機(jī) 坐 標(biāo) 系 原點(diǎn) 為 設(shè)偏移矩陣 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) T 則 1 且易知 2 式中 偏移矩陣中 相機(jī) 坐標(biāo)原點(diǎn)與 機(jī)械 臂坐 標(biāo) 原點(diǎn)在 圖 7aX軸 方向 的距離差值 偏移矩陣 中 相機(jī) 坐標(biāo)原點(diǎn)與 機(jī)械 臂坐標(biāo) 原點(diǎn)在 圖 7aY軸 方向的距離差值 偏移矩陣中 相機(jī) 坐標(biāo)原點(diǎn)與 機(jī)械 臂坐標(biāo) 原點(diǎn)在 圖 7aZ軸方向的距離差值 實(shí)際測(cè)量 相機(jī) 坐標(biāo)原點(diǎn)與 機(jī)械臂 坐標(biāo) 原點(diǎn)在 圖 7aX方向的距離差值 實(shí)際測(cè)量 相機(jī) 坐標(biāo)原點(diǎn)與 小車 原 點(diǎn)在 圖 7aZ方向的距離差值 實(shí)際測(cè)量 相機(jī) 坐標(biāo)原點(diǎn)與機(jī)械臂 坐標(biāo)原點(diǎn)在 圖 7aY方向的距離差值 實(shí)際測(cè)量 小車 原點(diǎn)與 運(yùn)動(dòng)中的 機(jī) 械臂坐標(biāo)原點(diǎn)在 圖 7aZ方向的距離差值 a 機(jī)械臂與攝像頭位置示意圖 圖 a Schematic diagram of the position of the robotic arm and the camera b 整體坐標(biāo)系系示意圖 b Schematic diagram of the global coordinate system 圖 7 上平臺(tái)坐標(biāo)系示意圖 Fig 7 Schematic diagram of the upper platform coordinate system 1 機(jī)械 手 爪 2 風(fēng)機(jī) 3 二自由度云臺(tái) 4 水平導(dǎo)軌 5 可升降上平臺(tái) 6 攝像頭 采用 圖漾 FM810 HD 型 深度相機(jī) 配合 Raspberry Pi 4B 使用 此 外 在相機(jī)和機(jī)器人上平 臺(tái)連接處采用 減震球連接 這樣可以使相機(jī)在 底 盤 遇到震動(dòng)時(shí)保持平穩(wěn) 減少番茄位置信息的誤報(bào) 提升采摘準(zhǔn)確度 攝像頭 擺放位置如 圖 6a所示 番茄識(shí)別主要由基于 RGB 圖像的目標(biāo)檢測(cè)以 及 圖像 數(shù)據(jù) 處理 兩部分構(gòu)成 獲取到的 RGB圖像經(jīng) 過(guò) R FCN目標(biāo)檢測(cè)網(wǎng)絡(luò) 計(jì)算出番茄所在的矩形框 然后將深度信息與目標(biāo)檢測(cè)產(chǎn)生 的二維信息融合 最終計(jì)算出番茄的點(diǎn)云中心位置 整體算法流程圖 如 圖 8所示 圖 8 圖像算法流程圖 Fig 8 Flowchart of image algorithm R FCN卷積神經(jīng)網(wǎng)絡(luò)主要由 網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò) ResNet101 RPN 網(wǎng)絡(luò) ROI pooling 層以及最后的 投票決策層 構(gòu) 成 其結(jié)構(gòu)如圖 9 所示 圖像 輸入之 后 經(jīng)過(guò)卷積層 ResNet進(jìn)行特征提取后 傳 給區(qū)域建 議網(wǎng)絡(luò) RPN 經(jīng)過(guò)計(jì)算之后生成候選區(qū) 將候選區(qū) 加入位置特征 之后進(jìn)入池化層和分類層 從而得 于豐華 等 日光溫室番茄采摘機(jī)器人研制 到番茄的具體位置 R FCN算法主要采用 ResNet網(wǎng) 絡(luò)和 RPN區(qū)域建議網(wǎng)絡(luò)來(lái)進(jìn)行訓(xùn)練 ResNet的具體 結(jié)構(gòu)如表 2所示 RPN區(qū)域建議網(wǎng)絡(luò)的結(jié)構(gòu)為一個(gè) 3 3的卷積核 邊界填充 為 1 滑動(dòng)步長(zhǎng) 為 1的 512 個(gè)卷積核組成的卷積層 R FCN處理速度 在大量實(shí) 驗(yàn)中相比 FasterRCNN更快 33 35 圖 9 R FCN卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig 9 Structure diagram of R FCN convolutional neural network 表 2 ResNet結(jié)構(gòu)參數(shù) Table 2 ResNet structure parameters 卷積層 輸出尺寸 卷積層 卷積層 卷積層 卷積層 卷積層 conv1 112 112 7 7 64 步長(zhǎng) 2 conv2 x 56 56 3 3 池化層 步長(zhǎng) 2 3 3 643 3 64 2 3 3 643 3 64 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 conv3 x 28 28 3 3 1283 3 128 2 3 3 1283 3 128 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 8 conv4 x 14 14 3 3 2563 3 256 2 3 3 2563 3 256 6 1 1 256 3 3 256 1 1 1024 6 1 1 256 3 3 256 1 1 1024 23 1 1 256 3 3 256 1 1 1024 36 conv5 x 7 7 3 3 5123 3 512 2 3 3 5123 3 512 3 1 1 512 3 3 512 1 1 2048 3 1 1 128 3 3 128 1 1 2048 3 1 1 512 3 3 512 1 1 2048 3 1 1 均值采樣 1000個(gè)分類的全連接層 浮點(diǎn)運(yùn)算次數(shù) s 1 8 109 3 6 109 3 8 109 7 6 109 11 3 109 首 先將預(yù)先拍攝好的番茄 圖像 標(biāo)注后 按 4 1分為 訓(xùn)練集 與 測(cè)試集 輸入 R FNC目標(biāo)檢測(cè)網(wǎng)絡(luò) 訓(xùn)練模型 并 轉(zhuǎn)化為 NCNN 騰訊開源的移動(dòng)端神 經(jīng)網(wǎng)絡(luò)模型 輕量級(jí)神經(jīng)網(wǎng)絡(luò)框架 部署在 Raspberry Pi 4B中 通過(guò)雙目紅外 RGBD深度 相機(jī) 獲取圖像 以相機(jī)為坐標(biāo)系構(gòu)建點(diǎn)云地圖 將三維 點(diǎn)云信息經(jīng)過(guò)多平面分割 聚類等算法過(guò)濾 在將 三維點(diǎn)云信息反投影到二維坐標(biāo) 并與檢測(cè)到 的 番 茄關(guān)鍵幀對(duì)應(yīng) 的 二維信息匹配 從而得到目標(biāo)番茄 對(duì)應(yīng)的三維包圍框 計(jì)算三維包圍框的中心 作為 番茄的中心點(diǎn) 圖 10為番茄識(shí)別結(jié)果 圖 10 番茄識(shí)別結(jié)果圖 Fig 10 Graph of tomato identification results 傳統(tǒng)的采摘機(jī)器人 多自由度 機(jī)械臂運(yùn)動(dòng)采用 微 分插補(bǔ)法 36 坐標(biāo)逆運(yùn)動(dòng)學(xué)分析 37 等 通過(guò)攝像頭 等傳感器得到目標(biāo)的坐標(biāo) 朝向角等信息 控制器 通過(guò) 采集到的 數(shù)據(jù)解算 出各個(gè)關(guān)節(jié)的轉(zhuǎn)角 再通過(guò) 控制器 的 脈寬調(diào)制 技術(shù) 產(chǎn)生 控制信號(hào)驅(qū)動(dòng) 機(jī)械臂 旋 轉(zhuǎn) 把 末端執(zhí)行器 以正確的角度送達(dá)指定位置 以完 成采摘任務(wù) 但是由于番茄等作物的生長(zhǎng)方式較為 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) 固定 即由于重力作用 均向地心方向生長(zhǎng) 所以 如 圖 11 所示的機(jī)械臂模型的末端執(zhí)行器所連接的關(guān) 節(jié) DE 始終保持與地面平行即可 即末端執(zhí)行器傾 角 始終為 0 則機(jī)械臂進(jìn)行逆運(yùn)動(dòng)學(xué)分析的過(guò)程 中 便可直接作為已知條件帶入 大大減輕了控制器 的運(yùn)算強(qiáng)度 此 外 由于考慮到機(jī)械臂過(guò)長(zhǎng) 關(guān)節(jié) B 所承受力的問(wèn)題 系統(tǒng)在設(shè)計(jì)過(guò)程中將 BC 臂與水 平面的夾角 3固定為 45 其他 關(guān)節(jié) 不做限制 經(jīng) 過(guò)理論分析滿足 3 cos 3 4 cos 3 4 5 cos 3 4 5 2 2 3 式中 上平臺(tái)滑軌可移動(dòng)距離 大棚內(nèi)供機(jī)器人行駛的壟間距 3 機(jī)械臂第 1段關(guān)節(jié) 長(zhǎng)度 4 機(jī)械臂 第 2段關(guān)節(jié) 長(zhǎng)度 5 機(jī)械臂 第 3段關(guān)節(jié)長(zhǎng) 度 2 柔性 手 爪 總長(zhǎng) 度 3 機(jī)械臂第 1段 關(guān)節(jié) 與水平面夾角 4 機(jī)械臂第 2段 關(guān)節(jié) 與第 1段 關(guān)節(jié) 夾角 5 機(jī)械臂第 3段 關(guān)節(jié) 與第 2段 關(guān)節(jié) 夾角 圖 11 采摘機(jī)械臂關(guān)節(jié)結(jié)構(gòu)簡(jiǎn)圖 Fig 11 Schematic diagram of the joint structure of the picking manipulator 在 3與 都已知的情況下 對(duì)于 執(zhí)行器 將 運(yùn)動(dòng) 到 的番茄 目標(biāo)點(diǎn) 坐標(biāo)信息 通過(guò)機(jī)械臂 逆運(yùn)動(dòng)學(xué)解算 分析與化簡(jiǎn) 將番茄相對(duì)于機(jī)械臂 原 點(diǎn) 的高度 信 息 分 為 如下 4 個(gè) 階 段 1 3sin 3 4cos 3 4 3sin 3 4cos 3 2 3sin 3 4cos 3 5 3sin 3 4cos 3 3 3sin 3 4 6 3sin 3 4 4 7 由此 得 番茄果實(shí) 在不同高度 段下的 深度信息 為 3cos 3 4sin 3 5 1 3 4 cos 3 5 2 3cos 3 4cos 3 4 5 3 3cos 3 5 4 8 機(jī)械臂各關(guān)節(jié)轉(zhuǎn)角 為 4 90 1 135 180 arccos 3 sin 3 4 2 45 180 arccos 3 sin 3 4 3 45 4 9 5 45 1 90 4 2 4 3 3 90 4 10 且易知 機(jī)械手末端坐標(biāo)即為番茄坐標(biāo) 故 Arm tmo 11 Arm tmo 12 最終將機(jī)械臂逆運(yùn)動(dòng)學(xué)計(jì)算過(guò)程與式 1 2 式 4 12 寫入控制器中 機(jī)器人即可 根據(jù)攝像頭識(shí) 別到的番茄坐標(biāo)信息 完成采摘?jiǎng)幼?3 實(shí)驗(yàn)結(jié)果與分析 3 1 實(shí)驗(yàn)方法 實(shí)驗(yàn)于 2021 年 4 月 在沈陽(yáng)農(nóng)業(yè)大學(xué)后山科研 基地 21 22號(hào) 日光溫室中 進(jìn)行 溫室 長(zhǎng) 60m 寬 10m 溫室內(nèi)種植 28 行番茄 行與行壟間距 1 2m 番茄 植株平均高度 1 9m 番茄在植株上的分布范圍為 0 6 1 5m 壟道間鋪有防止土壤 水分蒸發(fā)的塑料布 首先將 溫室 地面鋪設(shè) 成 如 圖 12所示 效果 將機(jī) 器人放置于正確位置 將果蔬收集 筐 置于 機(jī)器人上 平臺(tái)后 系統(tǒng)開機(jī)運(yùn)行 機(jī)器人 巡檢 過(guò)程中記錄每次 采摘狀態(tài) 采摘效 果等 在單次測(cè)試完成后導(dǎo)出 每次 相機(jī) 識(shí)別坐標(biāo)與 機(jī)械臂關(guān)節(jié)運(yùn)動(dòng)角度等 隨機(jī)抽取當(dāng)天所采番茄約 20顆 在室內(nèi) 無(wú)光照 約 26 環(huán)境下觀察其表皮 褐變情況與果實(shí)腐爛 程度 并與人工采摘番茄 對(duì)比 現(xiàn)場(chǎng) 實(shí)驗(yàn) 圖如 圖 13所示 圖 12 溫室 內(nèi)定位膠帶布線效果圖 Fig 12 The effect diagram of positioning tape wiring in the greenhouse 1 番茄種植區(qū) 2 機(jī)器人行駛區(qū) 3 定位線 4 機(jī)器人 5 日光溫室 圖 13 現(xiàn)場(chǎng)實(shí)驗(yàn)圖 Fig 13 Field experiment diagram 1 果籃 2 升降平臺(tái) 3 滑軌 4 定位線 5 風(fēng)機(jī) 6 攝像頭 7 機(jī)械臂 8 柔性 手 爪 3 2 實(shí)驗(yàn)結(jié)果 番茄采摘機(jī)器人 實(shí)驗(yàn) 數(shù)據(jù)如表 3 所示 控制器 芯片導(dǎo)出數(shù)據(jù)經(jīng)整理 得 采摘 過(guò)程 部分 坐標(biāo)信息如表 4 所示 經(jīng) 1 4 周觀察 與統(tǒng)計(jì) 番茄 的表皮褐變與 腐爛情況如表 5所示 對(duì)表內(nèi)數(shù)據(jù)進(jìn)行分析 綜上所述 通過(guò)機(jī)器與人工采摘果實(shí)質(zhì)量對(duì)比 可 知 采摘機(jī)器人在一定程度上不會(huì) 對(duì)果實(shí)產(chǎn)生較 大 損傷 其產(chǎn)生 的損傷 也在可接受范圍內(nèi) 此外 盡 管機(jī)械 手 爪 與 定位 坐標(biāo)僅有 2cm以內(nèi)的誤差 但是 在測(cè)試過(guò)程中如圖 14a 所示的采摘偏差仍不可 忽略 圖 14b所示 未完全采摘 狀況也 尚未 解決 a 存在誤差的采摘 情況 b 未 完全采摘 圖 14 不良 采摘狀況 Fig 14 Bad picking condition 1 手 爪 2 果梗 表 3 機(jī)器人采摘效果數(shù)據(jù) Table 3 Data sheet of robot picking effect 參數(shù) 數(shù) 值 成功識(shí)別的成熟番茄數(shù)量 412 未能成功識(shí)別的成熟番茄 數(shù)量 34 風(fēng)力補(bǔ)償裝置輔助后識(shí)別 的番茄數(shù)量 12 未成熟番茄的誤識(shí)別數(shù)量 0 機(jī)械臂預(yù)采摘成熟番茄數(shù)量 408 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) 成熟番茄一次采摘成功的數(shù)量 352 成熟番茄二次采摘成功的數(shù)量 392 表 4 采摘過(guò)程信息 數(shù)據(jù)表 Table 4 Picking process information data sheet 相機(jī)視角番茄坐標(biāo) mm 手 爪 坐標(biāo) mm X軸絲桿移動(dòng)距離 mm 3 837 296 0 786 58 226 0 541 371 0 575 117 241 4 461 373 0 508 74 287 2 945 432 0 916 149 277 4 752 426 0 695 145 267 1 605 335 0 671 87 260 1 390 453 0 375 152 312 2 466 290 0 484 64 234 4 660 395 0 686 152 258 2 582 347 0 571 77 286 2 767 347 0 852 72 292 1 632 402 0 643 148 265 1 608 416 0 717 114 291 3 711 461 0 701 171 278 2 928 452 0 967 184 253 4 947 393 0 901 90 319 3 911 353 0 843 83 277 2 911 418 0 933 179 232 1 425 469 0 521 158 317 3 881 379 0 925 154 231 4 584 423 0 679 127 284 2 302 415 0 379 119 311 4 882 385 0 786 162 216 2 585 341 0 677 91 239 3 418 414 0 396 127 301 表 5 番茄 狀態(tài)數(shù)據(jù) Table 5 Pomodoro state data sheet 指標(biāo) 手工采摘 機(jī)器采摘 3d表皮褐變數(shù)量 采摘 總數(shù)量 0 5 0 25 3d腐爛數(shù)量 采摘 總數(shù)量 0 5 1 25 5d表皮褐變數(shù)量 采摘 總數(shù)量 2 5 8 25 5d腐爛數(shù)量 采摘 總數(shù)量 1 5 4 25 7d表皮褐變數(shù)量 采摘 總數(shù)量 5 5 25 25 7d腐爛數(shù)量 采摘 總數(shù)量 3 5 18 25 10d表皮褐變數(shù)量 采摘 總數(shù)量 5 5 25 25 10d腐爛數(shù)量 采摘 總數(shù)量 4 5 22 25 3 3 誤差分析 經(jīng)分析可知 系統(tǒng)誤差主要 來(lái)源于攝像頭所在上 平面未 與地面保持水平 導(dǎo)致攝像頭與 機(jī)械臂的坐 標(biāo)系與真實(shí)環(huán)境坐標(biāo)系具有一定的旋轉(zhuǎn)角度差異 從而導(dǎo)致采摘 誤差 此外 由于預(yù)先設(shè)計(jì)機(jī)械臂時(shí) 沒有考慮到結(jié)構(gòu)強(qiáng)度與彈性形變 導(dǎo)致 機(jī)器人工作 一段時(shí)間后 機(jī)械臂第 2 關(guān)節(jié)發(fā)生了形變 從而導(dǎo) 致了采摘不精準(zhǔn) 還有 部分番茄 果梗 韌性較大 機(jī) 械 手 爪 旋轉(zhuǎn)不足以將其摘下 從而導(dǎo)致了采摘成功 率較低 4 結(jié)論 1 設(shè)計(jì)并制作了一種可以在 日光溫室 內(nèi)自動(dòng)巡檢 于豐華 等 日光溫室番茄采摘機(jī)器人研制 并 采摘成熟番茄果實(shí)的移動(dòng)機(jī)器人 機(jī)器人 采用 貼 有薄膜壓力傳感器的 柔性機(jī)械 手 爪 2 在手眼坐標(biāo)系始終相同的前提下 進(jìn)行機(jī)械臂逆 解 定位 控制的實(shí)時(shí)性得到了有效的提高 風(fēng)力補(bǔ) 償裝置 對(duì)提高被枝葉遮擋番茄的識(shí)別 有 積極 作用 參 考 文 獻(xiàn) 1 孫娜娜 我國(guó)北方蔬菜溫室生產(chǎn)發(fā)展中的問(wèn)題 J 江西農(nóng) 業(yè) 2016 21 63 SUN Nana Problems in the development of vegetable greenhouse production in North China J Jiangxi Agriculture 2016 21 63 in Chinese 2 彭澎 梁龍 李海龍 等 我國(guó)設(shè)施農(nóng)業(yè)現(xiàn)狀 問(wèn)題與發(fā)展建議 J 北方園藝 2019 4 5 161 168 PENG Peng LIANG Long LI Hailong et al Current situation problems and development suggestions of facility agriculture in China J Northern Horticulture 2019 4 5 161 168 3 劉