農(nóng)業(yè)信息與電氣技術(shù) 基于顯著性特征的蝴蝶蘭組培苗夾取點檢測方法 苑 朝 張 鑫 王家豪 趙明雪 徐大偉 華北電力大學自動化系 保定 071000 摘 要 為了提高蝴蝶蘭自動化快速繁育過程中組培苗夾取點視覺檢測的適應(yīng)性和效率 該研究提出了一種基于改進 U2 Net顯著性檢測網(wǎng)絡(luò) MBU2 Net 的組培苗夾取點定位方法 首先 通過顯著性檢測網(wǎng)絡(luò)得到蝴蝶蘭組培苗的顯著 性圖像 然后 對顯著性圖像進行骨架提取 并經(jīng)過形態(tài)學分析計算定位組培苗夾取點 最后 將夾取點位置數(shù)據(jù)發(fā)送 給機械臂進行夾取 在圖像顯著性檢測試驗中 MBU2 Net 的平均絕對誤差為0 002 最大F1分數(shù)為0 993 FPS frames per second 每秒幀率 為33 99 幀 s 模型權(quán)重大小為2 37 MB 在組培苗夾取試驗中 4組共112顆苗的 夾取點提取成功率為85 71 為驗證該研究的適應(yīng)性 將其應(yīng)用于各階段組培苗以及部分虛擬兩葉苗共11株種苗的夾 取點提取 成功率為81 82 使用該方法對不同時期的蝴蝶蘭組培苗進行夾取點檢測 具有較高的成功率 研究結(jié)果 可為發(fā)展組培苗自動化快速繁育技術(shù)提供參考 關(guān)鍵詞 圖像識別 自動化 顯著性特征 改進的U2 Net 蝴蝶蘭組培苗 夾取點檢測 doi 10 11975 j issn 1002 6819 202304132 中圖分類號 S24 文獻標志碼 A 文章編號 1002 6819 2023 13 0151 09 苑朝 張鑫 王家豪 等 基于顯著性特征的蝴蝶蘭組培苗夾取點檢測方法 J 農(nóng)業(yè)工程學報 2023 39 13 151 159 doi 10 11975 j issn 1002 6819 202304132 http www tcsae org YUAN Chao ZHANG Xin WANG Jiahao et al Pinch point extraction method for phalaenopsis tissue cultured seedlings based on salient features J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 151 159 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202304132 http www tcsae org 0 引 言 蝴蝶蘭為蘭科蝴蝶蘭屬植物 其花型奇特 姿態(tài)優(yōu) 雅 素有 蘭花皇后 之美譽 市場需求量越來越大 蝴蝶蘭的傳統(tǒng)繁殖方式為分株繁殖 但繁殖系數(shù)低 速 度慢 1 2 不能滿足日益增長的市場需求 組織培養(yǎng)作為 植物無性繁殖的一種有效方法 其能夠有效提高植物個 體成活率并減少病毒傳播范圍 提高產(chǎn)量 因此 組培 苗快速繁育技術(shù)開始廣泛應(yīng)用于蝴蝶蘭培育 3 蝴蝶蘭組培苗的擴繁流程較為復(fù)雜 主要分為4個 階段 3次移植 第1次移植是將第1個階段母瓶中的 蝴蝶蘭幼苗從基部將芽團分開并切掉大主芽的頂端及葉 片 移植到新的母瓶中進行第2個階段培養(yǎng) 第2次移 植是將第2個階段母瓶中的多個芽團分開成單芽 并將 合格單芽移植入中母瓶中進行第3階段培養(yǎng) 第3次移 植是將中母瓶中的幼苗大于1 cm的根全部切除 并切掉 多余老葉片 留下新葉片 將切割好的蝴蝶蘭幼苗移植 進入子母瓶中 最后進行第4個階段室外培養(yǎng) 每次移 植都需要將組培苗從培養(yǎng)瓶中取出 并進行剪切處理后 再種入新的培養(yǎng)瓶 然而 目前大部分的組培苗快速繁育工作主要由人 工完成 存在工作強度大 重復(fù)性高 效率低下等問題 4 6 在中國城鎮(zhèn)化加快 農(nóng)業(yè)領(lǐng)域從業(yè)人員大大減少 人工 成本急劇上升的背景下 亟需發(fā)展組培苗自動化快速繁 育技術(shù) 以解決人工不足 效率低下 生產(chǎn)成本高等問 題 促進農(nóng)業(yè)發(fā)展 蝴蝶蘭種苗組織培養(yǎng)過程中自動化移植操作關(guān)鍵在 于能夠準確快速的定位 以便機器人進行自動移植 蝴 蝶蘭組織快速繁育過程的每個階段組培苗具有不同圖 像特征 7 因此給組培苗夾取點定位帶來了困難 由于 深度學習神經(jīng)網(wǎng)絡(luò)具有強大的特征提取與學習能力 常 用于農(nóng)作物目標檢測 如YOLO系列 Mask R CNN等 算法被應(yīng)用于紅花絲 8 蘋果 9 12 香蕉 13 芒果 14 荔枝 15 番茄 16 18 的檢測 XIAO等 19 使用輕量級 MobileNets網(wǎng)絡(luò)對蝴蝶蘭組培苗的各階段圖像進行了分 類 成功率達98 1 李威等 20 采用YOLOv4識別網(wǎng)絡(luò) 對中耕期幼苗進行了識別和定位 馬翠花等 21 通過基于 顯著性檢測與改進Hough變換對番茄進行了檢測 具有 較好的普適性 然而 將顯著性檢測算法應(yīng)用到組培苗 夾取中的相關(guān)研究較少 針對快速繁育過程各階段蝴蝶蘭種苗形態(tài)不同導致 的夾取點識別困難問題 本文旨在分析夾取蝴蝶蘭組培 苗時需要滿足的要求 并提出一種基于顯著性檢測的方 法以定位夾取點 完成蝴蝶蘭種苗移植 該方法首先通 過顯著性檢測網(wǎng)絡(luò)得到蝴蝶蘭組培苗的顯著性圖像 然 后對圖像進行形態(tài)學分析 自動計算出各階段組培苗的 夾取點 最后使用機器人完成種苗培育各階段移植任務(wù) 收稿日期 2023 04 17 修訂日期 2023 06 13 基金項目 國家自然科學基金聯(lián)合基金項目重點支持項目 U21A20486 中央高?；究蒲袠I(yè)務(wù)費專項資金資助 2022MS100 作者簡介 苑朝 博士 講師 研究方向為機械臂控制 機器視覺 機器 人結(jié)構(gòu)設(shè)計及優(yōu)化 Email chaoyuan 通信作者 徐大偉 博士 講師 研究方向為機械臂控制及路徑規(guī)劃 Email xudawei 第 39 卷 第 13 期 農(nóng) 業(yè) 工 程 學 報 Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 151 在組培苗圖像顯著性檢測過程中 該方法僅需對圖像中 組培苗與背景做二分類 因此模型對語義信息不敏感 不需要種類豐富的樣本進行訓練 從而能夠更快速高效 完成組培苗的檢測 有效完成蝴蝶蘭組織培養(yǎng)中各個階 段的組培苗移植任務(wù) 1 種苗移植方法 1 1 整體流程 組培苗移植系統(tǒng)由視覺檢測模塊 夾取點定位模塊 和機械臂控制模塊構(gòu)成 如圖1所示 該系統(tǒng)通過工業(yè) 相機拍攝組培苗圖像 并通過深度學習算法對其進行處 理 得到組培苗與背景分割的顯著性圖像 然后 通過 圖像處理獲取組培苗的待夾取點像素坐標 通過手眼標 定算法將像素坐標轉(zhuǎn)化為機械臂基坐標系下的世界坐標 后再將其傳輸給機械臂 機械臂控制末端夾取裝置完成 組培苗移植 工業(yè)相機拍攝顯著性檢測 圖像處理夾取點定位 視覺檢測模塊 夾取點定位模塊 機械臂移植 機械臂控制模塊 圖1 蝴蝶蘭組培苗移植整體流程 Fig 1 Overall flow of phalaenopsis tissue cultured seedlings transplantation 1 2 視覺檢測算法 由于本文的目標是針對蝴蝶蘭組培苗進行夾取移植工 作 在培育過程中 蝴蝶蘭組培苗與背景區(qū)別明顯 因此 通過將蝴蝶蘭組培苗與背景圖像分離完成二分類顯著性 檢測 再處理顯著性檢測的結(jié)果以獲得最終的夾取目標 點 U2 Net 22 是一種高效的應(yīng)用于圖像顯著性檢測的深 度網(wǎng)絡(luò) 由于該網(wǎng)絡(luò)參數(shù)量較大 所以本文在U2 Net 的編碼解碼階段均加入了MBConv模塊對U2 Net進行改 進 降低了模型的權(quán)重大小 提高了檢測速度 本文在處 理U2 Net的基模塊RSU模塊時 加入了深度可分離卷積 depth wise separable convolutions 以進一步減少模 型的參數(shù)量 增強了模型的可移植性 使其易于部署 1 2 1 MBConv模塊 MBConv mobile inverted bottleneck convolution 23 是一種包含深度可分離卷積的倒置線性瓶頸層 其中加 入了SENet注意力機制模塊 24 能夠加強圖像不同通道 中的前景信息 并壓縮背景信息 MBConv模塊的結(jié)構(gòu) 如圖2所示 從左至右 MBConv模塊包含以下部分 第1部分是一個1 1普通卷積模塊 起到將特征圖升維 的作用 卷積核個數(shù)是輸入特征圖通道數(shù)的n n 1 6 倍 n 1時 該卷積不參與運算 第2部分是一個 k k的深度可分離卷積模塊 k通常取3或5 第3部分 是一個SE注意力模塊 SE由一個全局平均池化 壓 縮 兩個全連接層 激勵 構(gòu)成 全局平均池化將 H W C 高 寬 通道數(shù) 的特征圖壓縮至1 1 C 第1 個全連接層的節(jié)點個數(shù)為MBConv模塊的輸入特征圖的 通道數(shù)的1 4 且使用Swish激活函數(shù) Swish激活函數(shù) 是一個平滑的 非單調(diào)的函數(shù) 常被用于深度網(wǎng)絡(luò) 能 夠使網(wǎng)絡(luò)稀疏化 減少參數(shù)間的耦合關(guān)系 能夠一定程 度緩解過擬合問題 第2個全連接層的節(jié)點個數(shù)等于逐 通道卷積的輸出特征圖的通道數(shù) 且使用Sigmoid激活 函數(shù) 得到輸入特征圖的各個通道的權(quán)重系數(shù) 后一個 1 1卷積將壓縮后的特征圖進行升維操作 并通過殘差 結(jié)構(gòu)與輸入特征圖進行融合 第3部分是一個1 1普通 卷積模塊 起到將特征圖降維的作用 最后一個部分是 Dropout層 起到減小模型參數(shù)量的作用 H W C H W CH W C H W C CBNSW CBNSW DSCBNSW DSCBNSW SE CBN CBN Dropout SE 壓縮激勵模塊 l 1 Cl 1 C 壓縮激勵 Squeeze Excitation Conv Scale 乘 Conv BN Swish DSConv BN Swish Conv BN Addition 加 注 H W C表示高度為H 寬度為W 通道數(shù)為C的特征圖 Conv表示卷積 BN為批量歸一化層 DSConv表示深度可分離卷積 Note H W C represents a feature map with a height of H width of W and C channels Conv denotes convolution BN represents batch normalization layer DSConv represents depth wise separable convolution 圖2 MBConv模塊結(jié)構(gòu)圖 Fig 2 MBConv module structure diagram 1 2 2 改進型U2 Net算法 大多數(shù)顯著性檢測算法使用了圖像分類網(wǎng)絡(luò)的骨干 網(wǎng)絡(luò) 這些帶有骨干網(wǎng)絡(luò)的算法的準確率很高 但往往 過于復(fù)雜 因為其包含很多復(fù)雜的額外特征模塊 此外 152 農(nóng)業(yè)工程學報 http www tcsae org 2023 年 這些骨干網(wǎng)絡(luò)最初是為圖像分類任務(wù)而設(shè)計 主要用于 提取圖像中的語義信息 然而顯著性檢測任務(wù)的重點是 提取圖像的局部信息和全局對比信息 U2 Net采用了一 種兩級嵌套的U形結(jié)構(gòu) 25 不需要使用任何預(yù)訓練的骨 干網(wǎng)絡(luò) 該結(jié)構(gòu)中的基本模塊RSU模塊能夠在不降低圖 像分辨率的情況下提取圖像的多尺度特征 并獲得良好 的效果 但是 使用大量的U形塊以及殘差的堆疊會增 大計算量 并導致模型參數(shù)量增加 為實現(xiàn)組培苗夾取 點提取的高效準確 需要對模型進行輕量化 本文提出 了一種MBU2 Net 網(wǎng)絡(luò)結(jié)構(gòu) 將深度可分離卷積應(yīng)用到 每一個RSU模塊中 該模塊稱為DSCRSU n 為了增加 模型的感受野 在DSCRSU n模塊中使用擴張卷積 dilated convolution 該模塊稱為DSCRSU nF DSCRSU 結(jié)構(gòu)減少了計算量和參數(shù)量 使網(wǎng)絡(luò)更加輕量化 更容 易部署 結(jié)構(gòu)如圖3所示 為了增加網(wǎng)絡(luò)在處理各種尺 度和復(fù)雜度特征時的表達能力 提高泛化性 在U2 Net 的輸入輸出階段加入了MBConv模塊 MBU2 Net 網(wǎng)絡(luò) 結(jié)構(gòu)由多個DSCRSU n或DSCRSU nF模塊組成 如圖4 所示 在本文中 en4 de4層的擴張卷積參數(shù)為2 en5 de5的擴張參數(shù)為4 en6的擴張參數(shù)為8 Concat 堆疊 Conv BN ReLuDSConv BN ReLu Addition 加 US US US DSDSDS DS Downsample 下采樣 US Upsample 上采樣 UCn UCn 1 UC1 DC1 DCn 1 DCn OR DLConv BN ReLu H W C H W C 注 Concat為通道數(shù)相加的特征融合方式 DCn UCn分別表示第n個下采樣卷積層 第n個上采樣卷積層 ReLu為激活函數(shù) DLConv為擴張卷積 當 實線框內(nèi)取DSConv BN ReLu時為DSCRSU n模塊 當實線框內(nèi)取DLConv BN ReLu時為DSCRSU nF模塊 Note Concat denotes the feature fusion method where channels are concatenated DCn and UCn represent the nth downsampling convolutional layer and upsampling convolutional layer ReLU is a activation function DLConv Represents Dilated Convolution When DSConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU n When DLConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU nF 圖3 DSCRSU n與DSCRSU nF模塊結(jié)構(gòu)圖 Fig 3 DSCRSU n and DSCRSU nF module structure diagram 1 3 夾點定位算法 為了移植蝴蝶蘭組織培養(yǎng)苗 需要對進入視覺傳感 器視野的蝴蝶蘭組培苗進行準確的待夾取點計算 常用 的目標檢測算法計算待夾取點的坐標是使用目標檢測框 的中點作為待夾取點 26 或者對目標的各個部分進行檢 測 如根 莖 葉 再對檢測圖像進行處理得到夾取點 坐標 然而 在蝴蝶蘭組織培養(yǎng)過程中母瓶到子母瓶的 移植階段 理想夾取點范圍如圖5所示 使用上述算法 得到的夾取點坐標易不滿足所在區(qū)域要求 并且上述算 法在數(shù)據(jù)集種類不夠 僅中母瓶到子母瓶移植階段 時 夾取點提取的準確度較低 導致種夾取過程對組培苗造 成損傷或因為夾取點提取錯誤導致移植失敗 由于實際 組培苗培育過程中 蝴蝶蘭組培苗各階段的背景信息簡 單且相對單一 所以可以通過顯著檢測網(wǎng)絡(luò)將組培苗和 背景分割 再對蝴蝶蘭組培苗的顯著性圖進行分析得到 夾取點 本文對顯著性檢測的二值化圖進行處理 并得 到組培苗圖像處理過后的骨架圖 通過對組培苗的結(jié)構(gòu) 進行分析 發(fā)現(xiàn)各階段組培苗的夾取點常位于根莖的交 叉處 而在骨架圖上 該處是兩個交叉點位置的中心 本文利用多種圖像處理算法提取根莖的交叉位置中心作 為待夾取點 使機械臂能夠在不傷害蝴蝶蘭組培苗的情 況下 成功完成對各個階段蝴蝶蘭組培苗的移植 對蝴蝶蘭組培苗結(jié)構(gòu)進行分析得知 在根莖葉的連 接處 所檢測到的骨架圖交叉點最多 而夾取點常位于 根莖 莖葉連接點之間的莖處 通過這種分析 可確定 骨架線交點的集合C x y 中的點為備選夾取點 為解決 集合C中的點分布過于分散的問題 使用K近鄰 K nearest neighbor KNN 算法對集合 的每個點p xi yi 進 行聚類 當以p xi yi 為圓心 m個像素為半徑的圓內(nèi)的 備選點個數(shù)小于j時 則將該點從備選點集合C x y 中 刪除 遍歷結(jié)束后 通過隨機抽樣一致 random sample consensus RANSAC 算法剔除掉噪聲點并擬合夾具中 心線投影 然后求取所有備選點的中點 即為待夾取點 Co xo yo 并得到擬合中心線投影直線的斜率k 對斜率 第 13 期 苑 朝等 基于顯著性特征的蝴蝶蘭組培苗夾取點檢測方法 153 求反三角函數(shù)得到鑷子中心線投影與水平方向夾角 DSCRSU 7 DSCRSU 7 Conv sigmoid upsample 卷積 激活 上采樣 Downsample 下采樣 Upsample 2 上采樣 2堆疊 Concat MBConv MBConv en1 en2 en3 en4 en5 en6 de1 de2 de3 de4 de5 640 640 1 640 640 3 DSCRSU 6 DSCRSU 6 DSCRSU 5 DSCRSU 5 DSCRSU 4 DSCRSU 4 DSCRSU 4F DSCRSU 4F DSCRSU 4F 注 輸入圖像尺寸為640 640 3 輸出圖像尺寸為640 640 1 en1 en6 為編碼層 de1 de6為解碼層 編碼層解碼層均為基本單元DSCRSU n 或DSCRSU nF模塊 Concat為通道數(shù)相加的特征融合方式 Note The input image has dimensions of 640 640 3 while the output image has dimensions of 640 640 1 en1 to en6 represent the encoding layers and de1 to de6 represent the decoding layers Both the encoding and decoding layers consist of basic units either DSCRSU n or DSCRSU nF module Concat denotes the feature fusion method where channels are concatenated 圖4 MBU2 Net 網(wǎng)絡(luò)結(jié)構(gòu)圖 Fig 4 MBU2 Net network structure diagram 夾取點提取的流程如下 相機拍攝組培苗圖像 首 先對移植條件進行判斷 在滿足移植條件的情況下 將 拍攝的組培苗圖像送入顯著性檢測網(wǎng)絡(luò) 得到顯著性圖 像 若不滿足移植條件 則持續(xù)拍攝圖像直至滿足條件 然后對顯著性圖像進行一系列濾波 降噪 圖像增強 再使用ZHANG SUEN 27 圖像細化算法 得到組培苗的 骨架圖 對骨架圖進行預(yù)處理后 再進行交點檢測 得 到骨架圖中所有骨架線交點的集合C 對該集合使用KNN 算法進行遍歷 將位于圖像邊緣的交點剔除 然后更新 集合C 再對C通過RANSAC數(shù)據(jù)篩選并擬合夾具中 心線投影 得到擬合中心線投影并計算更新后的集合C 的中點 xo yo 即待夾取點 以及直線斜率k 整體流程 如圖6所示 夾取點所在區(qū)域 Grasping point area 注 為夾具中心線投影與水平方向的夾角 Note is defined as the angle between the projected central line of the gripper and the horizontal direction 圖5 夾取點區(qū)域及夾取角度 Fig 5 Grasping point area and grab angle 交點提取與原圖顯示 顯著性檢測 組培苗圖像顯著性圖像骨架圖原圖中夾取點顯示夾點檢測結(jié)果圖 骨架提取 MBU2 Net Zhang suen Ransac 直線擬合 圖6 夾取點定位流程 Fig 6 Grasping point localization process 2 試驗系統(tǒng)搭建 2 1 試驗平臺搭建 arm imgT 本文采用?？礛V CE060 10UC彩色工業(yè)相機采集 蝴蝶蘭組培苗的圖像 相機與機械臂以眼在手外的方式 進行操作 本文使用ZHANG S標定法 28 標定相機參數(shù) 并通過眼在手外的手眼標定獲得圖像坐標系到機械臂基 坐標系的轉(zhuǎn)換矩陣 利用式 1 將相機坐標系下的 像素點轉(zhuǎn)化為機械臂基坐標下的空間坐標 26 6666 664 X Y Z 37 7777 775 armimgT 26 6666 6664 Px Py 1 37 7777 7775 1 式中X Y Z為機械臂基坐標系下的x y z坐標 mm Px Py為相機坐標系下目標的像素坐標 本文試驗采用的機械臂為JAKA Zu3六自由度協(xié)作 機械臂 最大負載為3 kg 重復(fù)定位精度低于 0 03 mm 最大工作半徑為639 mm 由于蝴蝶蘭組培苗的結(jié)構(gòu)特別 且脆弱 需要將其移植進入培養(yǎng)皿中 當前常見的機械 臂末端執(zhí)行機構(gòu)并不能完成當前任務(wù) 對此 本文設(shè)計 了一種蝴蝶蘭組培苗的移植末端 末端夾具與試驗平臺 如圖7所示 夾具使用的鑷子長為30 cm 材質(zhì)為不銹 鋼 由電磁推桿控制開合 電磁推桿的推力為20 N 除 電磁推桿和鑷子外 本末端均為3D打印制作 材料為 ABS 末端連接件連接機械臂和工具 所有工具均布置 154 農(nóng)業(yè)工程學報 http www tcsae org 2023 年 在底盤上滑塊能夠調(diào)整鑷子的位置 電磁推桿能夠控制 鑷子開合 當檢測到蝴蝶蘭組培苗的夾取點時 控制機 械臂使組培苗夾取點位于鑷子中心 驅(qū)動電磁推桿使鑷 子閉合以完成夾取 b 實物圖 b Terminal phtsical figure a 仿真設(shè)計圖 a Simulation design figure 1 2 3 4 5 6 c 試驗平臺 c Experimental platform 7 8 9 10 1 機械臂 2 底盤 3 滑塊 4 電磁推桿 5 末端連接件 6 鑷子 7 工業(yè)相機 8 環(huán)形光源 9 模擬蝴蝶蘭組培苗 10 模擬培養(yǎng)基 1 Robotic arm 2 Base plate 3 Slider 4 Electromagnetic actuator 5 End effector 6 Tweezers 7 Industrial camera 8 Ring light 9 Simulated phalaenopsis seedlings 10 Simulated culture medium 圖7 末端夾具與試驗平臺 Fig 7 End tool and experimental platform 2 2 數(shù)據(jù)采集與模型訓練 數(shù)據(jù)集采用的是蝴蝶蘭組培苗培育階段中 從中母 瓶到子母瓶切割組培苗前的圖像 圖像分辨率為3 072 2 048像素 如圖8所示 由于蝴蝶蘭花卉昂貴 且在培 育過程中極易發(fā)生病變 影響其生長 因此數(shù)據(jù)集僅限 于單一階段的蝴蝶蘭組培苗 導致數(shù)據(jù)集較小 通過圖 像增強 最終得到包含986張圖像的數(shù)據(jù)集 本文采用 9 1的訓練集驗證集比例對總體數(shù)據(jù)集進行隨機抽樣 數(shù) 據(jù)集中的圖像均包含清晰前景 即蝴蝶蘭組培苗 且背 景相對簡單 本文使用Labelimg工具對蝴蝶蘭組培苗與 背景進行分割 并將圖片手動分成Mask和Images兩部 分 在視覺模型訓練方面 本文使用Ubuntu18 04操作 系 統(tǒng) 64GB內(nèi) 存 Nvidia GeForceRTX3090顯 卡 pytorch1 9 1 CUDA11 1環(huán)境 模型測試與機械臂夾取 試驗在Windows操作系統(tǒng)下進行 在訓練過程中 每個 圖像先被垂直翻轉(zhuǎn)并裁剪為640 640像素 使用Adam 優(yōu)化器來訓練網(wǎng)絡(luò) 初始學習率為0 01 所有模型均訓 練了360個輪次 a 組培苗1 b 組培苗2 a Tissue cultured seedling 1 b Tissue cultured seedling 2 圖8 部分蝴蝶蘭組培苗數(shù)據(jù)集 Fig 8 Partial phalaenopsis seedling data set 2 3 算法驗證 為了驗證本算法的實際效果 選取4組共112顆蝴 蝶蘭組培苗進行夾取點提取試驗 滿足夾取點識別范圍 在主莖范圍內(nèi)條件 則可認為夾取點提取成功 采用室 內(nèi)試驗的方式 相機采用眼在手外的安裝方式 手動將 蝴蝶蘭組培苗放入相機視野內(nèi) 每次間隔5 s 共計放 入112顆蝴蝶蘭組培苗 將相機所拍攝的原始圖像傳入MBU2 Net 模型中 對待移植的蝴蝶蘭組培苗進行夾取試驗 計算夾取點提 取成功率 成功率S的計算式為 S CsC a 100 2 式中Cs為成功提取夾點組培苗數(shù) Ca為總蝴蝶蘭組培 苗數(shù) 3 結(jié)果與分析 3 1 模型訓練結(jié)果 模型的性能指標由平均絕對誤差 mean absolute error 和F 來體現(xiàn) 平均絕對誤差是一種線性分數(shù) 它 表示預(yù)測值和觀測值之間的絕對誤差的平均值 F 基于 查準率 precision 查全率 recall 的加權(quán)調(diào)和平均 定義 能夠表達出對查準率和查全率的不同側(cè)重 用來 綜合評價查準率 查重率 平均絕對誤差 F 的計算式 如下 M 1HW H r 1 W c 1 jP r c G r c j 3 式中r c分別為特征圖的行數(shù) 列數(shù) P為預(yù)測概率圖 G為圖像標簽 F 1 2 PrR 2Pr R 4 式中Pr為查準率 R為查全率 為常系數(shù) 當 1時 為F1 1時查全率有更大影響 0 1時查準率有更 大影響 每秒幀數(shù) frames per second FPS 是測量用于保 存 顯示動態(tài)視頻的信息數(shù)量 每秒鐘幀數(shù)越高 所顯 示的動作就會越流暢 通常 為了保證畫面動作流暢 需要達到30 幀 s 由于蝴蝶蘭組培苗需要實時移植 因 此該指標非常關(guān)鍵 本文對U2 Net U2 Net Res2Net PoolNet模型與本 文提出的改進 MBU2 Net MBU2 Net 模型分別進行了 第 13 期 苑 朝等 基于顯著性特征的蝴蝶蘭組培苗夾取點檢測方法 155 360個輪次的訓練 輸入圖像的分辨率為3 072 2 048像 素 batch size為4 訓練結(jié)果對比如表1所示 表 1 不同模型性能對比 Table 1 Performance comparison of different models 模型 Model 平均絕 對誤差 Mean absolute error F1 最大 分數(shù) Maximum F1 score 權(quán)重大小 Weight size MB 訓練時間 Training time min 幀率 Frames per second 幀 s 1 Res2Net PoolNet 0 004 0 982 269 10 947 3 79 U 2 Net 0 003 0 988 504 31 803 20 26 U 2 Net 0 002 0 987 13 51 489 28 78 MBU 2 Net 0 002 0 993 123 87 729 21 08 MBU 2 Net 0 002 0 993 2 37 607 33 99 因為在實際的工業(yè)培育過程中 蝴蝶蘭組培苗和背 景有較為明顯的區(qū)分度 所以蝴蝶蘭數(shù)據(jù)集背景簡單 在這種情況下 顯著性檢測任務(wù)并不困難 各類算法的 性能指標較為接近 通過對比表1中的5種網(wǎng)絡(luò) 其中 使用骨干網(wǎng)絡(luò)的Res2Net PoolNet的平均絕對誤差為 0 004 U2 Net MBU2 Net MBU2 Net 的平均絕對誤差 均在0 002左右 平均絕對誤差最大差值為0 02 這是 因為訓練所使用的數(shù)據(jù)集較小并且背景并不復(fù)雜 各種 網(wǎng)絡(luò)的平均絕對誤差指標差距不明顯 但是在加入改進 模塊后 MBU2 Net MBU2 Net 的最大F1分數(shù)較U2 Net U2 Net 模型有一定提升 均提高到0 993 經(jīng)過改進的 MBU2 Net MBU2 Net 雖然訓練時間不是最低的 但是 權(quán)重大小相比于U2 Net U2 Net 有較大提升 其中MBU2 Net 權(quán)重大小僅為2 37 MB 更便于實際工業(yè)過程中的模 型部署 此外 MBU2 Net 的幀率對比U2 Net 提升了5 幀 大于30幀 滿足蝴蝶蘭組培苗移植過程的實時性要 求 綜上所述 本文提出的MBU2 Net 在保證精度的同 時推理速度更快 適用于蝴蝶蘭組培苗夾取點的檢測 3 2 蝴蝶蘭組培苗夾點提取試驗結(jié)果 通過對112顆蝴蝶蘭組培苗進行4組組培苗夾取點 提取試驗 結(jié)果見表2 圖9 平均夾取點檢測成功率達 到85 71 導致夾取點提取失敗的原因是部分組培苗的 老根老葉較多 骨架圖得到的交點在根或葉處更密集 而第2組組培苗夾取點提取的成功率低于平均水平是由 于第二組有部分組培苗圖像過曝 導致算法并未完整提 取到顯著性圖像 從而導致夾取點計算錯誤 表 2 組培苗夾點提取試驗結(jié)果 Table 2 Results of tissue cultured seedlings pinch test extracted 組別 Group 組培苗數(shù) Number of tissue cultured seedlings 成功提取夾點數(shù) Number of successfully extracted pinch 成功率 Success rate 1 29 25 86 21 2 25 19 76 00 3 30 26 86 67 4 28 26 92 86 3 3 夾點提取算法的適應(yīng)性驗證結(jié)果 為證明本文提出方法的普適性 本試驗選取了蝴蝶 蘭組織培養(yǎng)過程中不同時期的組培苗 選擇母瓶到中母 瓶時期蝴蝶蘭組培苗6株 中母瓶到子母階段2株 制 作了虛擬樣本2株模擬其他類型組培苗進行了試驗 試 驗結(jié)果如表3 圖10所示 a 夾取點區(qū)域b 顯著性圖像c 骨架圖d 夾點提取結(jié)果 a Regionof expected pinch point b Salient image c Thinning image d Pinch point extraction results 組培苗 1 Tissue cultured seedling l 組培苗 2 Tissue cultured seedling 2 組培苗 3 Tissue cultured seedling 3 圖9 部分試驗結(jié)果 Fig 9 Partial experimental results 156 農(nóng)業(yè)工程學報 http www tcsae org 2023 年 表 3 夾取點提取適應(yīng)性試驗結(jié)果 Table 3 Result of pinch point extraction universality test 組培苗時期 Stage of seedings 組培苗數(shù) Number of seedings 識別成功個數(shù) Number of recognition successes 成功率 Success rate 母瓶 中母瓶 Mother bottle sub mother bottle 6 6 100 00 中母瓶 子母瓶 Sub mother bottle parent offspring bottle 3 2 66 67 虛擬樣本 Virtual samples 2 1 50 00 總 計 Sum 11 9 81 82 a 夾取點區(qū)域b 顯著性圖像c 骨架圖d 夾點提取結(jié)果 a Region of pinch point b Salient image c Thinning image d Pinch point extraction results 虛擬樣本 Virtual samples 中母瓶 子母瓶 Sub mother bottle parent of fspring bottle 母瓶 中母瓶 Mother bottle sub mother bottle 圖10 適應(yīng)性驗證試驗 Fig 10 Test results of adaptability validation test 從表3夾取點提取適應(yīng)性試驗結(jié)果可知 母瓶 中母 瓶時期以及中母瓶 子母瓶的蝴蝶蘭組培苗的夾取點提取 成功率總體為81 82 可以證明本文提出的算法在僅有 中母瓶 子母瓶時期的未經(jīng)過切除老葉的蝴蝶蘭組培苗數(shù) 據(jù)集的情況下 能夠適用于蝴蝶蘭組織培養(yǎng)全過程的蝴 蝶蘭組織培養(yǎng)苗的夾取點提取 從表3的虛擬樣本的夾 取點識別成功率還可以看出本文提出的算法對于類似蝴 蝶蘭結(jié)構(gòu)的組織培養(yǎng)苗的夾取點提取有一定的泛化性 4 結(jié) 論 1 本文針對蝴蝶蘭組培苗培育過程中 部分圖像識 別算法對各階段不同特征的組培苗識別適應(yīng)性差的問題 提出了一種基于顯著性特征的蝴蝶蘭組培苗夾取點提取 方法 通過組培苗夾點提取試驗結(jié)果分析 使用本文構(gòu) 建的MBU2 Net 網(wǎng)絡(luò)模型能夠高效的提取組培苗夾取點 4組共112顆組培苗的平均提取成功率為85 71 2 對本文構(gòu)建的MBU2 Net 網(wǎng)絡(luò)進行夾點提取適應(yīng) 性試驗 對于試驗中所處的另外三種類型的組培苗 總 體成功率為81 82 結(jié)果表明 構(gòu)建的MBU2 Net 網(wǎng)絡(luò) 具有一定的泛化性能 3 通過引入MBConv與深度可分離卷積對U2 Net 進行改進 試驗與Res2Net PoolNet U2 Net U2 Net 等 網(wǎng)絡(luò)對比 MBU2 Net 網(wǎng)絡(luò)在準確率沒有損失的情況下 有效減小了的模型參數(shù)量 并提高了檢測速度 檢測速 度為33 99 幀 s 對于形態(tài)各異的組培苗 僅使用2維識別定位難免 出現(xiàn)誤差造成機械臂移植失敗 下一步研究中 擬采用 3維識別定位的方案 提升組培苗移植的成功率 參 考 文 獻 PRAMANIK D SPAANS M KRANENBURG T et al Inflorescence lignification of natural species and horticultural hybrids of phalaenopsis orchids J Scientia Horticulturae 2022 295 110845 1 HAN Z CRISP P STELPFLUG S et al Heritable epigenomic changes to the maize methylome resulting from tissue culture J Genetics 2018 209 4 983 995 2 任桂萍 王小菁 朱根發(fā) 不同光質(zhì)的LED對蝴蝶蘭組織 培養(yǎng)增殖及生根的影響 J 植物學報 2016 51 1 81 88 REN Guiping WANG Xiaojing ZHU Genfa Effect of LED in different light qualities on growth of phalaenopsis plantlets J Chin Bull Bot 2016 51 1 81 88 in Chinese with English abstract 3 黃成龍 柯宇曦 華向東 等 邊緣計算在智慧農(nóng)業(yè)中的 應(yīng)用現(xiàn)狀與展望 J 農(nóng)業(yè)工程學報 2022 38 16 224 234 HUANG Chenglong KE Yuxi HUA Xiangdong et al Application status and prospect of edge computing in smart agriculture J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 16 224 234 in Chinese with English abstract 4 翟永杰 胡東陽 苑朝 等 基于視覺伺服的蝴蝶蘭種苗 切割系統(tǒng)設(shè)計與試驗 J 農(nóng)業(yè)工程學報 2022 38 6 148 156 ZHAI Yongjie HU Dongyang YUAN Chao et al Design and experime