第 38 卷 第 6 期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol 38 No 6 148 2022 年 3月 Transactions of the Chinese Society of Agricultural Engineering Mar 2022 基于視覺(jué)伺服的蝴蝶蘭種苗切割系統(tǒng)設(shè)計(jì)與試驗(yàn) 翟永杰 1 胡東陽(yáng) 1 苑 朝 1 王家豪 1 張 鑫 1 劉亞軍 2 1 華北電力大學(xué)自動(dòng)化系 保定 071003 2 湖北壹鳴生物科技有限公司 鐘祥 431900 摘 要 蝴蝶蘭種苗自動(dòng)化切割可降低組培苗染病幾率 提高種苗品質(zhì) 為實(shí)現(xiàn)蝴蝶蘭種苗自動(dòng)化切割 該研究針對(duì)種苗 結(jié)構(gòu)特性提出基于擬合直線的切點(diǎn)定位方法 并配合切割方法設(shè)計(jì)了彈性切割末端 搭建了基于視覺(jué)伺服的蝴蝶蘭種苗切 割系統(tǒng) 首先 采用深度學(xué)習(xí)模型對(duì)采集到的圖像進(jìn)行目標(biāo)檢測(cè) 然后 根據(jù)檢測(cè)結(jié)果使用基于幾何規(guī)則的切割點(diǎn)定位算 法計(jì)算切點(diǎn) 最后 將切割坐標(biāo)傳輸給切割執(zhí)行機(jī)構(gòu)完成切割作業(yè) 目標(biāo)檢測(cè)試驗(yàn)中 ShuffleNet v2 YOLOv5 模型檢測(cè)精 度達(dá) 96 7 權(quán)重文件大小 1 3 MB 平均檢測(cè)時(shí)間 0 026 s 種苗切割試驗(yàn)中 切割合格率高于 86 單株平均切割時(shí)間小 于 18 s 該系統(tǒng)能有效完成蝴蝶蘭種苗切割任務(wù) 為蝴蝶蘭組培苗自動(dòng)化生產(chǎn)提供新思路 關(guān)鍵詞 目標(biāo)檢測(cè) 深度學(xué)習(xí) 視覺(jué)伺服 蝴蝶蘭種苗 切點(diǎn)定位 切割系統(tǒng) doi 10 11975 j issn 1002 6819 2022 06 017 中圖分類號(hào) S24 文獻(xiàn)標(biāo)志碼 A 文章編號(hào) 1002 6819 2022 06 0148 09 翟永杰 胡東陽(yáng) 苑朝 等 基于視覺(jué)伺服的蝴蝶蘭種苗切割系統(tǒng)設(shè)計(jì)與試驗(yàn) J 農(nóng)業(yè)工程學(xué)報(bào) 2022 38 6 148 156 doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org Zhai Yongjie Hu Dongyang Yuan Chao et al Design and experiments of phalaenopsis seedling cutting system using visual servo J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 6 148 156 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org 0 引 言 蝴蝶蘭組織培養(yǎng)技術(shù)逐漸走向成熟 其作為一種無(wú) 性繁殖技術(shù) 具有培育周期短 成活率高 產(chǎn)量高 可 降低生產(chǎn)成本等眾多優(yōu)勢(shì) 具有很好的發(fā)展前景 1 3 目 前 在蝴蝶蘭組織培養(yǎng)中仍存在一些問(wèn)題 由于行業(yè)內(nèi) 機(jī)械化程度比較低 蝴蝶蘭組培苗的移植以手工業(yè)為主 尤其是種苗根部切除工作仍由人工完成 工人勞動(dòng)強(qiáng)度 大且工作內(nèi)容枯燥 4 5 在此過(guò)程中的人工操作也可能會(huì) 破壞無(wú)菌環(huán)境 使組培苗染病幾率增加 種苗成活率降 低 農(nóng)業(yè)機(jī)器人研究起步較早 但目前還沒(méi)出現(xiàn)自動(dòng)化 和機(jī)械化比較成熟的蝴蝶蘭種苗切割研究成果 由此可 見(jiàn) 根據(jù)產(chǎn)業(yè)內(nèi)實(shí)際情況研制開(kāi)發(fā)自動(dòng)化種苗切割系統(tǒng) 顯得尤為重要 自動(dòng)化切割種苗要求在保證不傷害到種苗的同時(shí)盡 量達(dá)到切割深度 實(shí)現(xiàn)完整切割 目前以深度學(xué)習(xí)技術(shù) 為基礎(chǔ)的檢測(cè)方法在工業(yè) 農(nóng)業(yè)領(lǐng)域內(nèi)被廣泛應(yīng)用 6 8 以其強(qiáng)大的特征學(xué)習(xí)能力 為種苗自動(dòng)切割方法提供了 新的思路 Zahid 等 9 提到在蘋果樹修剪機(jī)器研發(fā)設(shè)計(jì)中 可采用基于深度學(xué)習(xí)的圖像分割算法為剪枝定位提供數(shù) 據(jù)支持 Quan 等 10 基于 Faster RCNN 模型開(kāi)發(fā)了一種玉 米幼苗檢測(cè)機(jī)器人 在有大量雜草存在的背景下能有較 高的檢測(cè)精度 Wu 等 11 為了在保證檢測(cè)精度的基礎(chǔ)上提 收稿日期 2021 12 29 修訂日期 2022 02 19 基金項(xiàng)目 國(guó)家自然科學(xué)基金資助重點(diǎn)項(xiàng)目 U21A20486 作者簡(jiǎn)介 翟永杰 博士 教授 研究方向?yàn)橛?jì)算機(jī)視覺(jué) 模式識(shí)別 機(jī)器人控制 Email zhaiyongjie 通信作者 苑朝 博士 講師 研 究方向?yàn)?機(jī)器人智能傳感器技術(shù) 基于 視覺(jué)的工業(yè)機(jī)器人控制 Email chaoyuan 高檢測(cè)效率 提出了基于 YOLOv4 和通道剪枝算法的蘋 果花實(shí)時(shí)檢測(cè)方法 該方法對(duì)不同品種和光照變化有較 強(qiáng)的魯棒性 楊柯等 12 設(shè)計(jì)的基于深度卷積神經(jīng)網(wǎng)絡(luò)的 大蒜切根試驗(yàn)臺(tái)通過(guò)對(duì)采集到的圖像進(jìn)行檢測(cè)得到切根 位置 控制電機(jī)完成切割 該平臺(tái)有較高的檢測(cè)精度和 較快的切割速度 現(xiàn)有的農(nóng)業(yè)機(jī)器人設(shè)計(jì)多針對(duì)開(kāi)放的 農(nóng)田環(huán)境 13 15 無(wú)菌環(huán)境下的蝴蝶蘭種苗切割系統(tǒng)仍有 待開(kāi)發(fā) 無(wú)菌環(huán)境可以保護(hù)組培幼苗不受微生物感染 種苗切割工作間為經(jīng)過(guò)細(xì)致消毒后的溫室 受環(huán)境條件 限制 為防止種苗切割碎片與培養(yǎng)基液體飛濺 切割末 端不宜采用文獻(xiàn) 12 所選用的旋轉(zhuǎn)切割方案 另外 切割 執(zhí)行末端會(huì)接觸消毒液 培養(yǎng)基液體和種苗汁液 旋轉(zhuǎn) 切割末端不利于機(jī)電隔離 并且切割末端設(shè)計(jì)選材時(shí)需 要考慮耐腐蝕因素 切割末端刀具為無(wú)菌耗材 為保障 組培苗批量生產(chǎn)效率 需設(shè)計(jì)方便更換的結(jié)構(gòu) 針對(duì)蝴蝶蘭種苗組培產(chǎn)業(yè)內(nèi)的自動(dòng)化切割需求 本 文在分析了蝴蝶蘭種苗各部位形態(tài)特征后 結(jié)合種苗切 割要求 設(shè)計(jì)了一種基于視覺(jué)伺服的蝴蝶蘭種苗切割系 統(tǒng) 該系統(tǒng)根據(jù)種苗自身特性 對(duì)種苗進(jìn)行自動(dòng)識(shí)別并 計(jì)算待切割位置 驅(qū)動(dòng)切割執(zhí)行機(jī)構(gòu)完成切割作業(yè) 該 種苗切割系統(tǒng)擬在保證種苗結(jié)構(gòu)不被破壞的前提下完成 切割工作 以解決人工切割對(duì)無(wú)菌環(huán)境帶來(lái)的污染問(wèn)題 1 種苗切割系統(tǒng)整體結(jié)構(gòu)和控制系統(tǒng) 1 1 整體結(jié)構(gòu) 種苗切割系統(tǒng)主要由種苗視覺(jué)檢測(cè)系統(tǒng) 切割坐標(biāo) 定位系統(tǒng)和切割執(zhí)行系統(tǒng)構(gòu)成 如圖 1 所示 利用工業(yè) 相機(jī)獲取蝴蝶蘭種苗圖像 然后對(duì)種苗圖像各部位進(jìn)行 第 6 期 翟永杰等 基于視覺(jué)伺服的蝴蝶蘭種苗切割系統(tǒng)設(shè)計(jì)與試驗(yàn) 149 識(shí)別 切割坐標(biāo)定位系統(tǒng)將識(shí)別得到的信息進(jìn)行處理 結(jié)合蝴蝶蘭自身結(jié)構(gòu)特性和切割要求計(jì)算種苗切割點(diǎn)坐 標(biāo) 當(dāng)切割坐標(biāo)滿足要求時(shí)將其傳輸給標(biāo)定好的切割執(zhí) 行系統(tǒng) 由機(jī)械臂帶動(dòng)末端刀具結(jié)構(gòu)完成切割 圖 1 種苗切割系統(tǒng)結(jié)構(gòu)圖 Fig 1 Structure diagram of seedling cutting system 1 2 控制系統(tǒng) 采用 PyQt 開(kāi)發(fā)設(shè)計(jì)了蝴蝶蘭種苗切割人機(jī)交互系 統(tǒng) 主要包括視覺(jué)檢測(cè) 機(jī)械臂參數(shù)監(jiān)控和系統(tǒng)控制 3 部分 如圖 2 所示 界面左側(cè)為種苗視覺(jué)檢測(cè)系統(tǒng) 在 下方控制區(qū)內(nèi)設(shè)置了加載圖像按鈕和拍攝按鈕 加載了 深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的檢測(cè)器后 可分別通過(guò)加載本 地圖像或從相機(jī)獲取圖像進(jìn)行種苗識(shí)別 界面下方為系 統(tǒng)控制區(qū) 通過(guò)對(duì)采集區(qū)域內(nèi)圖像進(jìn)行識(shí)別后提取框內(nèi) 部分進(jìn)行圖像處理和形態(tài)學(xué)分析 結(jié)合當(dāng)前的種苗切割 要求進(jìn)行蝴蝶蘭種苗切割點(diǎn)計(jì)算 界面右側(cè)為機(jī)械臂控 制部分 可監(jiān)測(cè)機(jī)械臂各關(guān)節(jié)參數(shù) 控制區(qū)內(nèi)設(shè)置了機(jī) 械臂啟動(dòng)和緊急停止按鈕 另外還可通過(guò)下方機(jī)械臂參 數(shù)控制區(qū)域設(shè)定機(jī)械臂末端速度 圖 2 控制界面 Fig 2 Control interface 1 3 切割控制原理 蝴蝶蘭種苗切割系統(tǒng)整體控制邏輯如圖 3 所示 當(dāng)從控 制界面輸入開(kāi)始信號(hào)后 視覺(jué)系統(tǒng)調(diào)用工業(yè)相機(jī)對(duì)種苗進(jìn)行 拍攝 拍攝圖像被傳輸并保存至核心計(jì)算單元 下一步對(duì)保 存的圖像進(jìn)行識(shí)別并判斷切割可行性 蝴蝶蘭種苗切割是在 中母到子瓶時(shí)期 種苗各部位體積較小 不易出現(xiàn)相互遮擋 的情況 但由于蝴蝶蘭種苗生長(zhǎng)狀態(tài)存在偶然性 可能有少 量樣本待切割部位重疊或被遮擋 如果所拍攝圖像種苗待切 割部分存在大面積遮擋或重疊則不滿足切割條件 需經(jīng)過(guò)調(diào) 整后再進(jìn)行切割條件檢測(cè) 若同時(shí)檢測(cè)到種苗根部和黑色塊 莖 則判定滿足切割條件并進(jìn)行切點(diǎn)計(jì)算 如不滿足則重新 等待拍攝指令 機(jī)械臂程序設(shè)置為等待狀態(tài) 當(dāng)接到切割坐 標(biāo)時(shí)執(zhí)行切割任務(wù) 切割完成后復(fù)位至初始狀態(tài) 單株種苗 通常有 2 3 個(gè)待切割根部 為保證切割準(zhǔn)確性 完成首次 切割后視覺(jué)系統(tǒng)重新對(duì)種苗進(jìn)行拍攝 計(jì)算下一部分切點(diǎn)坐 標(biāo) 設(shè)置單株連續(xù)切割間隔為 0 5 s 圖 3 切割控制邏輯 Fig 3 Cutting control logic 2 視覺(jué)定位方法 2 1 輕量級(jí) YOLOv5 模型 切割目的是為了使蝴蝶蘭組培苗在新的培養(yǎng)基內(nèi)適 宜生長(zhǎng)并方便移植 由于種苗各部位相對(duì)位置存在規(guī)律 種苗胚根由黑色塊莖的內(nèi)根生長(zhǎng)出來(lái) 再經(jīng)過(guò)莖部連接 種苗葉片 檢測(cè)種苗其他部位有助于待檢測(cè)部分的精準(zhǔn) 識(shí)別 另外為實(shí)現(xiàn)種苗待切割部位的準(zhǔn)確定位 需要黑 色塊莖位置信息進(jìn)行輔助定位 因此 采用 ShuffleNet v2 YOLOv5 模型對(duì)種苗葉片 黑色塊莖和根部進(jìn)行識(shí)別 為實(shí)現(xiàn)種苗切割系統(tǒng)高效準(zhǔn)確切割 需要選擇識(shí)別 效率高且準(zhǔn)確率較高的目標(biāo)檢測(cè)模型 16 18 YOLOv5 作 為典型的單階段檢測(cè)模型相較于 Faster RCNN 19 Casacde R CNN 20 R FCN 21 Couple Net 22 等兩階段網(wǎng) 絡(luò)有更好的實(shí)時(shí)性 對(duì)硬件的算力要求也更低 更適用 于工作連續(xù)性要求較高的邊緣部署 同時(shí) 考慮到模型 的可移植性 本文采用以 ShuffleNet v2 23 為主干網(wǎng)絡(luò)的 ShuffleNet v2 YOLOv5 目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行種苗識(shí)別 整體網(wǎng)絡(luò)結(jié)構(gòu)如圖 4 所示 分為輸入端 主干網(wǎng)絡(luò) 頸部網(wǎng)絡(luò) 頭部網(wǎng)絡(luò) 4 個(gè)部分 其中輸入端主要包括 Mosaic 數(shù)據(jù)增強(qiáng) 圖片尺寸處理和自適應(yīng)錨框計(jì)算三部 分 輸入種苗圖像經(jīng)縮放后大小統(tǒng)一為 640 640 主干網(wǎng) 絡(luò)部分采用 ShuffleNet v2 結(jié)構(gòu) SN 1 為 ShuffleNet v2 的 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022 年 150 基本單元 SN 2 為空間下采樣的 ShuffleNet v2 單元 頸 部網(wǎng)絡(luò)將提取的語(yǔ)義特征與位置特征進(jìn)行融合 并且將 主干層與檢測(cè)層特征進(jìn)行融合 使整個(gè)模型的特征信息更 加豐富 頭部網(wǎng)絡(luò)部分輸出一個(gè)表征檢測(cè)結(jié)果的向量 對(duì) 待測(cè)目標(biāo)的類別和邊框位置等信息進(jìn)行描述 在 3 個(gè)檢測(cè) 層分別輸出相應(yīng)向量 最后在原圖像中生成檢測(cè)邊框 注 conv 為卷積 Concat 為通道數(shù)相加的特征融合方式 SPP 為跨階段殘差結(jié)構(gòu) CBS 為 conv 加 BN 加 SiLu 激活函數(shù)的合成模塊 BN 為批量歸一化 Maxpool 為最大池化 Res unit 為殘差模塊 SN 1 為 ShuffleNet v2 的基本單元 SN 2 為空間下采樣的 ShuffleNet v2 單元 輸入圖像尺寸為 640 640 3 維的張量 卷 積操作分別形成圖像尺寸為 80 80 24 維張量 40 40 24 維張量和 20 20 24 維張量 Note conv is convolution Concat is the feature fusion method of adding channel number SPP is a cross stage residual structure CBS is the synthesis module of conv plus BN and SiLu activation function BN is batch normalization Maxpool is max pooling Res unit is the residual module SN 1 is the basic unit of ShuffleNet v2 and SN 2 is the ShuffleNet v2 unit under spatial sampling Input image size of 640 640 3 dimension tensor convolution operation respectively formed image size of 80 80 24 dimension tensor 40 40 24 dimension tensor and 20 20 24 dimension tensor 圖 4 整體網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig 4 Structure diagram of overall network 2 2 切割坐標(biāo)定位算法 為了滿足種苗培育的要求 需要對(duì)切割點(diǎn)進(jìn)行精 準(zhǔn)定位 當(dāng)同時(shí)檢測(cè)到蝴蝶蘭根部與黑色塊莖部位 且各目標(biāo)框不存在大面積重疊時(shí) 證明種苗不處于直 立狀態(tài) 滿足切割條件 將對(duì)其進(jìn)行切割點(diǎn)計(jì)算 為 獲得切割執(zhí)行機(jī)構(gòu)末端的切割點(diǎn) 農(nóng)業(yè)切割系統(tǒng)中常 利用預(yù)測(cè)的邊界框邊線進(jìn)行切割作業(yè) 12 但這種方法 不易限制切割點(diǎn)范圍 放置在特定的位置時(shí)并不能有 效驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)完成切割 在執(zhí)行切割時(shí)會(huì)對(duì)種苗其 他部位造成損害 由此可見(jiàn) 該方法并不適用于精準(zhǔn) 度要求較高的蝴蝶蘭種苗切割任務(wù) 針對(duì)這個(gè)問(wèn)題 本文通過(guò)分析蝴蝶蘭種苗結(jié)構(gòu)特性 利用多種圖像處 理算法 設(shè)計(jì)了基于多目標(biāo)的切割坐標(biāo)定位算法 其 流程如圖 5 所示 注 stem 為種苗胚根 blade 為種苗葉片 black tuber 為種苗黑色塊莖 數(shù)字表示置信度 即模型有多少概率判定該目標(biāo)屬于此類別 下同 Note Stem is seeding radicle blade is seeding leaf black tuber is seeding black tuber Digital representation confidence that is how much probability the model has to determine the target belongs to this category The same below 圖 5 切點(diǎn)定位算法流程圖 Fig 5 Flow chart of cutting point location algorithm 第 6 期 翟永杰等 基于視覺(jué)伺服的蝴蝶蘭種苗切割系統(tǒng)設(shè)計(jì)與試驗(yàn) 151 首先進(jìn)行切割條件判斷 將拍攝圖像送入目標(biāo)檢測(cè) 網(wǎng)絡(luò)后 可以得到不同標(biāo)簽的檢測(cè)區(qū)域 判斷檢測(cè)結(jié)果 中是否同時(shí)檢測(cè)出根部區(qū)域和單獨(dú)的黑色塊莖區(qū)域 如 果滿足條件則開(kāi)始計(jì)算切割點(diǎn) 然后進(jìn)行圖像預(yù)處理 先對(duì)其高斯濾波降噪 并 將其二值化 再對(duì)圖像做膨脹處理 對(duì)提取到的圖像 提取輪廓線 找到最大連通區(qū)域并填充 得到連通域 圖像 s E 最后計(jì)算切割點(diǎn) 讀取圖像連通域內(nèi)所有像素點(diǎn) 任取兩個(gè)像素點(diǎn)確定一條直線 G L 求連通域內(nèi)所有像素 點(diǎn)到直線 G L 的距離 d 由于種苗生長(zhǎng)的偶然性 部分種 苗待切割根部可能會(huì)有一定程度的彎曲 根據(jù)蝴蝶蘭種 苗自身特性 本文在以連通域像素點(diǎn)擬合直線的過(guò)程中 設(shè)置校正因子 其計(jì)算式為 1 d 1 式中 d 為連通域內(nèi)像素點(diǎn)到黑色塊莖區(qū)域中心點(diǎn)距離 像素 為校正系數(shù) 像素點(diǎn)經(jīng)校正因子修正后用于擬 合直線的相對(duì)距離計(jì)算式為 dd 2 式中 d 為連通域內(nèi)所有像素點(diǎn)到直線 G L 的距離 像素 引入校正因子的目的是使靠近黑色塊莖部位的連通 域像素在擬合直線的過(guò)程中起到主導(dǎo)作用 同時(shí)弱化遠(yuǎn) 離切割點(diǎn)像素作用 以此可以修正根部擬合直線的位置 使其更接近切割中心 對(duì)比不同 取值 擬合直線與 x 軸正方向夾角如圖 6 所示 從校正系數(shù)變量擬合結(jié)果可以看出 隨校正系數(shù) 取值增加 靠近黑色塊莖部位的連通域像素在擬合直線 的過(guò)程中起到主導(dǎo)作用 擬合直線接近靠近黑色塊莖的 根部中心 當(dāng) 取值大于等于 2 時(shí) 直線傾角變化在 1 以內(nèi) 圖 6 為種苗胚根連通域直線擬合校正效果圖 注 為胚根擬合直線校正系數(shù) 0 3 為擬合直線與 x 軸正方向夾角 Note is the correction coefficient of stem fitting line 0 3 is the angle between the fitting line and the positive direction of x axis 圖 6 種苗胚根連通域直線擬合校正示意圖 Fig 6 Implication diagram of straight line fitting correction for connected domain of seedling stem 將校正后的相對(duì)距離代入距離函數(shù) d 當(dāng) d 最 小時(shí) 直線 G L 記為連通域擬合直線 f L 根據(jù) M estimator 算法 24 為防止對(duì)干擾點(diǎn)魯棒性不夠 d 計(jì)算公式為 2 2 2 d dC d C Cd 其他 3 其中 d 為連通域內(nèi)點(diǎn)到直線 G L 相對(duì)距離 由 M estimator 算法 C 為定值 1 345 直線 f L 表達(dá)式為 21 21 21 21 21 yy yy yxy x x xx 4 其中 11 x y 和 22 x y 為當(dāng) r 最小時(shí)用于確定 直線的兩點(diǎn)坐標(biāo) 然后求取根部檢測(cè)框外接圓 i Q 為 22 2 s si x xyyr 5 其中 s s x y 為根部檢測(cè)框中心點(diǎn)坐標(biāo) i r 為檢測(cè)框 外接圓半徑 22 2 s s i wh r 6 式中 s w 為檢測(cè)框?qū)?s h 為檢測(cè)框高 聯(lián)立式 4 和 5 計(jì)算外接圓與直線 f L 交點(diǎn)坐標(biāo) 1 P 2 P 比較兩交點(diǎn)與黑色塊莖檢測(cè)框距離 判定兩交點(diǎn)中 距黑色塊莖檢測(cè)框近點(diǎn)為切割點(diǎn) P 切割線與圖像橫軸 夾角 計(jì)算公式為 21 21 arctan 2 yy x x 7 為保障種苗內(nèi)根不受損傷 本文設(shè)計(jì)了基于黑色塊 莖保護(hù)區(qū)域的切點(diǎn)修正算法 首先計(jì)算黑色塊莖檢測(cè)框 外接圓 b Q 然后計(jì)算切割點(diǎn) P 與黑色塊莖外接圓 b Q 圓心 距離 j d 若 j d 大于外接圓 b Q 半徑 j r 則切割點(diǎn)在外接圓 外 判定其為最終切割點(diǎn) 反之判定切割點(diǎn)在外接圓內(nèi) 進(jìn)行切點(diǎn)位置校正 計(jì)算黑色塊莖外接圓 b Q 與擬合直線 f L 的兩交點(diǎn)坐標(biāo) 判定靠近根部檢測(cè)框的交點(diǎn)為校正后 的切割點(diǎn) P 切割點(diǎn)校正方法如圖 7 所示 a 無(wú)需校正 b 需要校正 a Non correction b With correction 圖 7 切割點(diǎn)位置是否校正示意圖 Fig 7 The schematic diagram of non or with the cutting point position correction 3 硬件系統(tǒng) 3 1 手眼標(biāo)定 采用?？?MV CE060 10UC 彩色工業(yè)相機(jī)采集蝴蝶 蘭種苗圖像 以手在眼外方式進(jìn)行手眼標(biāo)定 25 在這種 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022 年 152 標(biāo)定方式下 將標(biāo)定板固定在機(jī)械臂末端 保證二者位 姿關(guān)系始終不變 通過(guò)兩次運(yùn)動(dòng) 求解相機(jī)和機(jī)械臂底 座坐標(biāo)系之間的位姿關(guān)系 3 2 視覺(jué)識(shí)別與坐標(biāo)計(jì)算系統(tǒng) 視覺(jué)模型訓(xùn)練使用 Ubuntu18 04 操作系統(tǒng) 32 GB 內(nèi) 存 Nvidia GeForce RTX2080Ti 顯卡 Intel 酷睿 i9 10850K 處理器 在 Pytorch1 8 CUDA11 0 下實(shí)現(xiàn)模型搭建及訓(xùn) 練測(cè)試工作 識(shí)別與坐標(biāo)計(jì)算使用 Windows10 操作系統(tǒng) AMD Ryzen 5 4600H 處理器 3 3 通信系統(tǒng)設(shè)計(jì) 設(shè)置視覺(jué)識(shí)別系統(tǒng)和切點(diǎn)坐標(biāo)計(jì)算系統(tǒng)集成在同一 核心處理單元 工業(yè)相機(jī)與該處理單元通過(guò) USB 3 0 接 口通信 核心處理單元與機(jī)械臂通過(guò) WiFi 實(shí)現(xiàn)通信 3 4 切割執(zhí)行機(jī)構(gòu)設(shè)計(jì) 3 4 1 機(jī)械臂硬件系統(tǒng) 切割機(jī)械臂選用 AUBO i5 機(jī)械臂系統(tǒng)主要由機(jī)械 臂本體 控制柜 底座組成 機(jī)械臂本體模仿人體手臂 共有 6 自由度 最大負(fù)載為 5 kg 重定位精度 0 05 mm 控制柜是 AUBO系列機(jī)械臂控制主體 提供多個(gè) IO接口 通過(guò) CAN 總線與機(jī)械臂本體通信 機(jī)械臂工具端有 4 個(gè) 數(shù)字輸入輸出接口及 2 個(gè)模擬輸入接口 如圖 8 所示 機(jī)械臂工作空間為除去機(jī)座正上方和正 下方的球形空間 工作范圍半徑 886 5mm 關(guān)節(jié)轉(zhuǎn)動(dòng)的角 度范圍是 175 a 機(jī)械臂系統(tǒng) b 工作空間 a Manipulator system b Workspace 1 機(jī)械臂本體 2 底座 3 工具端 4 控制柜 1 Manipulator body 2 Bedplate 3 Tool end 4 Control cabinet 圖 8 機(jī)械臂系統(tǒng)與工作空間 Fig 8 Manipulator system and workspace 3 4 2 切割末端設(shè)計(jì) 蝴蝶蘭種苗結(jié)構(gòu)較為特別 當(dāng)前常見(jiàn)機(jī)械臂末端不 能有效完成切割任務(wù) 對(duì)此 本文針對(duì)種苗結(jié)構(gòu)設(shè)計(jì)了 彈性切割末端 圖 9a 為末端結(jié)構(gòu)仿真設(shè)計(jì)圖 圖 9b 為實(shí) 物圖 刀片材料為 sk2 工具鋼 5 號(hào)部件為刀具夾頭 采 取十字形夾頭設(shè)計(jì) 配合 3 號(hào)部件內(nèi)螺紋結(jié)構(gòu)可在保證 刀片穩(wěn)固的同時(shí)方便更換 切割過(guò)程中刀片頻繁接觸試 驗(yàn)臺(tái) 在此過(guò)程中刀片會(huì)有一定程度的損耗 設(shè)計(jì)成方 便更換的夾頭形式有利于后期維護(hù) 蝴蝶蘭種苗根部直 徑多為 3 6 mm 因此選用 8 mm 寬度刀片可以實(shí)現(xiàn)對(duì)種 苗根部的完整切割 種苗材質(zhì)為軟質(zhì)植物體 彈性切割 末端有助于更好的完成切割任務(wù) 2 號(hào)部件為勁度系數(shù) 1 2 N mm 的彈簧 用以配合切割邏輯 既可以實(shí)現(xiàn)種苗 根部完全被切斷 又不會(huì)因機(jī)械臂行程過(guò)大對(duì)切割結(jié)構(gòu) 和實(shí)驗(yàn)平臺(tái)造成過(guò)度損耗 切割過(guò)程中執(zhí)行末端會(huì)接觸 消毒液 培養(yǎng)基液體和種苗汁液 因此切割末端設(shè)計(jì)選 材時(shí)需要考慮耐腐蝕因素 末端法蘭端固定裝置 刀具 連接頭和結(jié)構(gòu)固定裝置采用 3D 打印制作 使用材料為 ABS 工程塑料 a 仿真設(shè)計(jì)圖 b 實(shí)物圖 a Simulation design chart b Terminal physical figure 1 法蘭端固定裝置 2 彈簧 3 刀具連接頭 4 結(jié)構(gòu)固定裝置 5 刀具夾頭 1 Flange end fixing device 2 Spring 3 Tool connector 4 Structure fixing device 5 Tool chucks 圖 9 切割末端 Fig 9 Cutting end 4 試驗(yàn)與結(jié)果分析 農(nóng)業(yè)機(jī)器人工作場(chǎng)景多為農(nóng)田 但蝴蝶蘭種苗切割 系統(tǒng)與其存在很大不同 組織培養(yǎng)過(guò)程中需盡量保持無(wú) 菌環(huán)境 以免種苗受病菌污染 26 27 因此 需要在封 閉的室內(nèi)環(huán)境中搭建工作臺(tái) 工作臺(tái)背景可選較為簡(jiǎn)單 的純色背景 在采集用于進(jìn)行模型訓(xùn)練和測(cè)試的數(shù)據(jù)集 時(shí)也采用同樣場(chǎng)景 相較于復(fù)雜紋理背景 較為簡(jiǎn)單的 純色圖像背景有利于模型訓(xùn)練收斂且能有效提升檢測(cè) 精度 4 1 評(píng)價(jià)指標(biāo) 采用平均精度 mean Average Precision mAP 作為模型檢測(cè)精度的評(píng)價(jià)指標(biāo) mAP 與準(zhǔn)確率 P 召回率 R 有關(guān) 其計(jì)算如式 8 11 TP 100 TP FP P 8 TP 100 TP FN R 9 1 0 AP d PR R 10 1 1 mAP AP 100 M k k M 11 式中 TP 為被正確劃分到正樣本的數(shù)量 FP 為被錯(cuò)誤劃分 到正樣本的數(shù)量 FN 為被錯(cuò)誤劃分到負(fù)樣本的數(shù)量 M 為 類別總數(shù) AP k 為第 k 類 AP 值 mAP0 5 是真實(shí)框與檢測(cè) 框的交并比 Intersection over Union IoU 值取 50 mAP 0 5 0 95 是 IoU 的值從 50 取到 95 步長(zhǎng)為 5 然后計(jì)算在這些 IoU 下的 AP 的均值 4 2 蝴蝶蘭種苗數(shù)據(jù)集獲取與標(biāo)注 為獲取典型待切割蝴蝶蘭圖像數(shù)據(jù)集 本文對(duì) 280 株待切割種苗進(jìn)行拍攝 拍攝距離 200 mm 配合環(huán)形主 動(dòng)光源補(bǔ)光 圖像背景為灰白色試驗(yàn)臺(tái) 構(gòu)建由 1 505 張 圖像組成的蝴蝶蘭種苗數(shù)據(jù)集 數(shù)據(jù)集部分樣本如圖 10 所示 對(duì)數(shù)據(jù)集進(jìn)行分類篩選 選擇共計(jì) 968 張圖像進(jìn) 第 6 期 翟永杰等 基于視覺(jué)伺服的蝴蝶蘭種苗切割系統(tǒng)設(shè)計(jì)與試驗(yàn) 153 行試驗(yàn) 選用 LabelImg 標(biāo)注器進(jìn)行標(biāo)注 a 種苗 1 b 種苗 2 a Seeding 1 b Seeding 2 注 種苗 1 和種苗 2 拍攝參數(shù)相同 種苗放置方向任意 Note Seedling 1 and 2 shooting parameters are the same the seedling placement direction is arbitrary 圖 10 部分?jǐn)?shù)據(jù)集樣本 Fig 10 Partial dataset samples 所選數(shù)據(jù)集按 4 1 比例進(jìn)行訓(xùn)練與測(cè)試分組 圖 11 對(duì)訓(xùn)練數(shù)據(jù)集目標(biāo)種類 目標(biāo)框位置和大小分布進(jìn)行可 視化 為解決圖像尺寸大小不統(tǒng)一的問(wèn)題 以圖像寬高 為基準(zhǔn)對(duì)圖像及目標(biāo)框進(jìn)行歸一化處理 圖 11b 為在對(duì) 原圖進(jìn)行分辨率歸一化后目標(biāo)框中心點(diǎn)位置 訓(xùn)練集數(shù)據(jù)表明 三類部位中黑色塊莖數(shù)約等于種 苗樣本圖像個(gè)數(shù) 而待切割根部約為樣本數(shù) 2 倍 符合 蝴蝶蘭種苗生長(zhǎng)結(jié)構(gòu) 標(biāo)框多集中于圖像中間 由于蝴 蝶蘭本身植物結(jié)構(gòu)的原因 目標(biāo)框樣本存在一定程度的 類間不平衡 自適應(yīng)圖片采樣策略可以解決此問(wèn)題 首 先將樣本中真實(shí)類型讀取出來(lái) 存為一個(gè)列表 統(tǒng)計(jì)訓(xùn) 練樣本列表中不同類別的矩形框個(gè)數(shù) 然后給每個(gè)類別 按相應(yīng)目標(biāo)框數(shù)的倒數(shù)賦值 即數(shù)目越多的種類權(quán)重越 小 形成按種類的分布直方圖 對(duì)于訓(xùn)練數(shù)據(jù)列表 每 輪訓(xùn)練按照類別權(quán)重篩選出每類的圖像作為訓(xùn)練數(shù)據(jù) 以達(dá)到樣本均衡的效果 a 目標(biāo)框數(shù)量 b 歸一化后目標(biāo)框中心位置 a Number of target boxes b Normalized center position of target box 圖 11 數(shù)據(jù)集種類及目標(biāo)框分布情況 Fig 11 Data set types and target box distribution 4 3 模型有效性驗(yàn)證 為驗(yàn)證目標(biāo)檢測(cè)模型有效性 對(duì)比了 Faster RCNN YOLOv4 28 YOLOv5 MobileNet v2 YOLOv5 目標(biāo)檢測(cè) 模型 設(shè)置評(píng)價(jià)指標(biāo)為蝴蝶蘭種苗各部位檢測(cè)精度 mAP0 5 mAP 0 5 0 95 權(quán)重文件大小和圖片的平均檢 測(cè)時(shí)間 對(duì)比實(shí)驗(yàn)中 保持所設(shè)參數(shù)一致 檢測(cè)結(jié)果如表 1 所示 表 1 不同模型檢測(cè)結(jié)果對(duì)比 Table 1 Comparison of test results of different models 精度 Precision 模型 Model 主干網(wǎng)絡(luò) Backbone network 葉片 Blade 胚根 Stem 黑色塊莖 Black tuber mAP0 5 mAP 0 5 0 95 權(quán)重文件大小 Weight file size MB 平均檢測(cè)時(shí)間 Mean detection time s Faster RCNN ResNet50 0 971 0 945 0 928 0 948 0 681 315 0 0 118 YOLOv4 DarkNet53 0 961 0 968 0 897 0 942 0 573 130 1 0 516 YOLOv5 Modified CSP v5 0 983 0 981 0 939 0 968 0 665 14 4 0 220 MobileNet v2 YOLOv5 MobileNet v2 0 992 0 984 0 921 0 966 0 661 7 4 0 029 ShuffleNet v2 YOLOv5 ShuffleNet v2 0 992 0 986 0 923 0 967 0 679 1 3 0 026 由于蝴蝶蘭種苗數(shù)據(jù)集背景為純色 且各待檢測(cè)部位 與背景間有明顯的色彩梯度變化 整體檢測(cè)準(zhǔn)確率相對(duì)較 高 mAP0 5 均大于 0 94 最高可達(dá) 0 968 Faster RCNN 相 較于 YOLO 系列檢測(cè)模型 因其兩階段檢測(cè)特性 mAP 0 5 0 95 指標(biāo)達(dá)到 0 681 略高于 YOLO 檢測(cè)網(wǎng)絡(luò) 但其權(quán)重文件大小為 315 0 MB 遠(yuǎn)高于 YOLOv5 的 14 4 MB 模型參數(shù)冗余量更大 而基于 YOLOv5 框架的 ShuffleNet v2 YOLOv5 權(quán)重文件大小僅為 1 3 MB 檢測(cè)準(zhǔn) 確率也接近 YOLOv5 原模型 從各模型檢測(cè)時(shí)間可以看出 采用 ShuffleNet v2 YOLOv5 模型進(jìn)行檢測(cè) 可有效提升檢 測(cè)速度 單張圖像平均檢測(cè)時(shí)間僅為 0 026 s 權(quán)衡各模型 優(yōu)缺點(diǎn) ShuffleNet v2 YOLOv5 模型在保證檢測(cè)精度的前 提下權(quán)重更小 推理速度更快 因此更適合于蝴蝶蘭種苗 檢測(cè)任務(wù) 同時(shí)考慮到下一步檢測(cè)算法和切點(diǎn)定位算法的 邊緣部署 ShuffleNet v2 YOLOv5 也是更為合適的模型 ShuffleNet v2 YOLOv5 檢測(cè)結(jié)果如圖 12 所示 a 種苗 1 b 種苗 2 c 種苗 3 d 種苗 4 a Seeding 1 b Seeding 2 c Seeding 3 d Seeding 4 圖 12 不同放置方向的種苗目標(biāo)檢測(cè)結(jié)果 Fig 12 Seedling target detection results of different placement directions 農(nóng)業(yè)工程學(xué)報(bào) http www tcsae org 2022 年 154 4 4 種苗切割試驗(yàn) 為了驗(yàn)證蝴蝶蘭種苗切割系統(tǒng)實(shí)際切割效果 選取 4 個(gè)培養(yǎng)母瓶?jī)?nèi) 38 株蝴蝶蘭種苗樣本分為 4 組進(jìn)行切割試 驗(yàn) 為保證試驗(yàn)安全性 設(shè)置機(jī)械臂速度為 86 5 mm s 單株連續(xù)切割延時(shí)為 0 5 s 根據(jù)蝴蝶蘭組培苗工廠化生 產(chǎn)技術(shù)規(guī)程 29 本文將不傷害種苗內(nèi)根且根部殘留長(zhǎng)度 不超過(guò) 3 mm 樣本評(píng)定為合格 切割完成后根部結(jié)構(gòu)不會(huì) 阻礙移植 以每個(gè)植株獨(dú)立根部為單位 切割合格率通 過(guò)測(cè)量統(tǒng)計(jì)計(jì)算得到 合格率 p 為 1 0 100 N p N 12 式中 0 N 為總根部數(shù) 1 N 為合格切割數(shù) 種苗切割現(xiàn)場(chǎng)如圖 13 所示 圖 13a 中機(jī)械臂處于待 命狀態(tài) 經(jīng)視覺(jué)系統(tǒng)檢測(cè)和坐標(biāo)計(jì)算系統(tǒng)計(jì)算后 將切 割點(diǎn)坐標(biāo)傳輸給機(jī)械臂控制系統(tǒng) 驅(qū)動(dòng)切割執(zhí)行機(jī)構(gòu)進(jìn) 行切割 圖 13b 機(jī)械臂執(zhí)行切割動(dòng)作 a 視覺(jué)檢測(cè) b 執(zhí)行切割 a Visual inspection b Cutting execution 圖 13 種苗切割現(xiàn)場(chǎng) Fig 13 Seedling cutting site 切割統(tǒng)計(jì)結(jié)果如表 2 所示 在 4 組試驗(yàn)中 蝴蝶蘭 種苗切割系統(tǒng)切割最高合格率為 100 平均合格率高于 86 平均切割時(shí)間小于 18 s 切割結(jié)果如圖 14 所示 表 2 種苗切割試驗(yàn)結(jié)果 Table 2 Results of seedling cutting test 組號(hào) No 植株數(shù) Number of plants 切割次數(shù) Number of cutting 合格數(shù) Number of qualified 合格率 Qualified rate 每株平均切割時(shí)間 Average cutting time for each plant s 1 7 19 18 94 7 17 4 2 10 24 24 100 15 6 3 11 29 25 86 2 16 0 4 10 26 23 88 4 15 9 a 切割前種苗圖像 b 切割后種苗圖像 a Seedling image before cutting b Seedling image after cutting 圖 14 蝴蝶蘭種苗切割結(jié)果圖 Fig 14 The cutting effects of phalaenopsis seedling 不合格切割動(dòng)作統(tǒng)計(jì)中 因種苗內(nèi)根損傷判定為不 合格的共計(jì) 3 個(gè) 因根部殘留長(zhǎng)度過(guò)長(zhǎng)判定不合格的共 計(jì) 5 個(gè) 內(nèi)根損傷原因主要是邊界框檢測(cè)不準(zhǔn)確造成的 切點(diǎn)定位偏差 切割過(guò)程中誤傷到其他部位 針對(duì)檢測(cè) 框位置不準(zhǔn)確的問(wèn)題 可對(duì)標(biāo)注方案進(jìn)行改善 同時(shí)進(jìn) 一步優(yōu)化算法 提升檢測(cè)精度 5 結(jié) 論 1 本文設(shè)計(jì)了一種基于視覺(jué)伺服的蝴蝶蘭種苗自動(dòng) 化切割系統(tǒng) 以輕量化檢測(cè)模型 ShuffleNet v2 YOLOv5 作為種苗識(shí)別檢測(cè)器 基于種苗自身結(jié)構(gòu)設(shè)計(jì)了由目標(biāo) 框引導(dǎo)的切點(diǎn)定位算法 通過(guò)手眼標(biāo)定建立視覺(jué)采集系 統(tǒng)和切割執(zhí)行系統(tǒng)間映射關(guān)系 配合機(jī)械臂切割控制策 略可以完成對(duì)蝴蝶蘭種苗的自動(dòng)化切割 針對(duì)種苗的切 割需求設(shè)計(jì)了一種彈性末端切割結(jié)構(gòu) 該結(jié)構(gòu)能在保證 切割末端穩(wěn)定 有效完成切割作業(yè) 2 對(duì)比 Faster RCNN YOLOv4 YOLOv5 MobileNet v2 YOLOv5 ShuffleNet v2 YOLOv5 5 種常見(jiàn)的目標(biāo)檢測(cè) 算法 輕量級(jí)目標(biāo)檢測(cè)算法 ShuffleNet v2 YOLOv5 整體 檢測(cè)準(zhǔn)確率達(dá) 96 7 單張圖片檢測(cè)時(shí)間 0 026 s 3 試驗(yàn)證明蝴蝶蘭種苗切割系統(tǒng)能在保證種苗結(jié)構(gòu) 不被破壞的前提下有效完成切割任務(wù) 在 38 株種苗切割 試驗(yàn)中系統(tǒng)切割合格率高于 86 單株平均切割時(shí)間小 于 18 s 針對(duì)種苗各部位間可能存在的遮擋或重疊情況 單 機(jī)械臂切割難以完成如此復(fù)雜的切割任務(wù) 下一步研究 中 擬采用雙機(jī)械臂協(xié)作方案 由一只機(jī)械臂進(jìn)行種苗 的夾取和翻轉(zhuǎn) 另一只機(jī)械臂完成切割動(dòng)作 實(shí)現(xiàn)對(duì)遮 擋和重疊情況的有效切割 參 考 文 獻(xiàn) 1 Li C Dong N Zhao Y M et al A review for the breeding of orchids Current achievements and prospects J Horticultural Plant Journal 2021 7 5 380 392 2 Gallo F R Souza L A Milaneze Gutierre M A et al Seed structure and in vitro seedling development of certain Laeliinae species Orchidaceae J Revista Mexicana de Biodiversidad 2016 87 1 68 73 3 Chang Y W Hsiao Y K Ko C C et al A Grading System of Pot Phalaenopsis Orchid Using YOLO V3 Deep Learning Model C International Conference on Network Based Information Systems Springer Cham 2020 498 507 4 任桂萍 王小菁 朱根發(fā) 不同光質(zhì)的 LED 對(duì)蝴蝶蘭組織 培養(yǎng)增殖及生根的影響 J 植物學(xué)報(bào) 2016 51 1 81 88 Ren Guiping Wang Xiaojing Zhu Genfa Effect of LED in different light qualities on growth of Phalaenopsis plantlets J Chinese Bulletin of Botany 2016 51 1 81 88 in Chinese with English abstract 5 張彥妮 邊紅琳 陳立新 蝴蝶蘭幼嫩花梗組織培養(yǎng)和快 速繁殖 J 草業(yè)科學(xué) 2011 28 4 590 596 Zhang Yanni Bian Honglin Chen Lixin Tissue culture and rapid propagation of pedicels of early flowering Phalaenopsis amabilis J Pratacultural Science 2011 28 4 590 596 in Chinese with Engli