第38卷 第3期 農(nóng) 業(yè) 工 程 學(xué) 報 Vol 38 No 3 128 2022年 2月 Transactions of the Chinese Society of Agricultural Engineering Feb 2022 基于Mask R CNN的番茄植株整枝操作點定位方法 馮青春 成 偉 李亞軍 王博文 陳立平 1 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心 北京 100097 2 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心 北京 100097 3 農(nóng)業(yè)智能裝備技術(shù)北京市重點實驗室 北京 100097 摘 要 針對工廠化番茄智能化整枝打葉作業(yè)需要 研究了基于Mask R CNN模型的整枝操作點識別定位方法 以期為整 枝機器人的精準(zhǔn)操作提供依據(jù) 鑒于叢生植株中主莖和側(cè)枝莖稈目標(biāo)隨機生長 形態(tài)各異 結(jié)合植株在不同生長階段 遠 近視場尺度和觀測視角等條件下的成像特征 構(gòu)建了溫室番茄植株圖像樣本數(shù)據(jù)集 采用學(xué)習(xí)率微調(diào)訓(xùn)練方法 對Mask R CNN預(yù)訓(xùn)練模型進行遷移訓(xùn)練 建立了主莖和側(cè)枝像素區(qū)域的識別分割模型 在對視場內(nèi)同株相鄰主莖和側(cè)枝目標(biāo)進行 判別基礎(chǔ)上 提出基于圖像矩特征的莖稈中心線擬合方法 以中心線交點為參考 沿側(cè)枝進行定向偏移 實現(xiàn)對整枝操作點圖 像坐標(biāo)的定位 最后 通過測試試驗評估該方法對目標(biāo)識別和定位的效果 試驗結(jié)果表明 模型對番茄主莖和側(cè)枝目標(biāo)識別的 錯誤率 精確率和召回率分別為0 12 0 93和0 94 對整枝操作點平均定位偏差與對應(yīng)主莖像素寬度的比值為0 34 模型對于 近景仰視圖像中目標(biāo)的識別和定位效果優(yōu)于其他視場的圖像 該研究可為整枝機器人視覺系統(tǒng)的研發(fā)提供技術(shù)依據(jù) 關(guān)鍵詞 農(nóng)業(yè) 機器人 番茄整枝 植株莖稈 Mask R CNN doi 10 11975 j issn 1002 6819 2022 03 015 中圖分類號 TP242 6 文獻標(biāo)志碼 A 文章編號 1002 6819 2022 03 0128 08 馮青春 成偉 李亞軍 等 基于Mask R CNN的番茄植株整枝操作點定位方法 J 農(nóng)業(yè)工程學(xué)報 2022 38 3 128 135 doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org Feng Qingchun Cheng Wei Li Yajum et al Method for identifying tomato plants pruning point using Mask R CNN J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 3 128 135 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org 0 引 言 番茄是全球廣泛種植的大宗蔬菜 1 對于保障人類營 養(yǎng)需求具有重要作用 中國番茄種植規(guī)模和產(chǎn)量居全球 首位 全國種植面積約100萬hm2 年產(chǎn)量約6 100萬t 占全球番茄總產(chǎn)量的35 1 產(chǎn)值占中國蔬菜總產(chǎn)值的 12 是菜農(nóng)增收 蔬菜產(chǎn)業(yè)發(fā)展的重要支撐 整枝打葉 是番茄栽培管理的必要環(huán)節(jié) 幾乎貫穿整個生產(chǎn)周期 及時摘除成熟變色果實區(qū)域的側(cè)枝葉片 可以調(diào)節(jié)植株 營養(yǎng)和生殖生長平衡 改善通風(fēng)透光條件 降低病蟲害 發(fā)生風(fēng)險 對于提高番茄產(chǎn)量和品質(zhì)具有重要意義 2 3 然而每周2 3次的人工整枝打葉 是目前工廠化番茄種 植過程中操作最復(fù)雜 效率最低 人力投入最大的生產(chǎn) 環(huán)節(jié)之一 約消耗人力成本總投入的40 60 4 研發(fā) 溫室番茄整枝打葉機器人 代替人工作業(yè) 對于提升番 茄種植效益具有重要意義 近年來 歐美國家果蔬整枝打葉機器人研發(fā)應(yīng)用成 果顯著 5 9 部分產(chǎn)品初步實現(xiàn)了產(chǎn)業(yè)應(yīng)用 準(zhǔn)確識別和 定位植株主莖和側(cè)枝目標(biāo)是機器人整枝的必要依據(jù) 然 收稿日期 2021 11 09 修訂日期 2022 01 25 基金項目 國家重點研發(fā)計劃項目 2019YFE0125200 北京市農(nóng)林科學(xué)院 創(chuàng)新能力建設(shè)專項 KJCX20210414 作者簡介 馮青春 博士 副研究員 研究方向為農(nóng)業(yè)機器人 Email fengqc 通信作者 陳立平 博士 研究員 研究方向為農(nóng)業(yè)智能裝備 Email chenlp 而番茄植株主莖 葉片與側(cè)枝色彩相近 叢生交錯 無 序生長 基于有限特征閾值的傳統(tǒng)分類方法較難實現(xiàn)圖 像目標(biāo)區(qū)域的準(zhǔn)確分割 融合色彩 形態(tài)以及紋理特征 的多尺度信息建立自適應(yīng)語義分割模型 可以有效改善 番茄莖稈目標(biāo)的識別和分割效果 10 以多層卷積特征提取網(wǎng)絡(luò)為核心的深度學(xué)習(xí)模型 11 其 端到端 的模型結(jié)構(gòu)和算法的可遷移性 避免了傳 統(tǒng)機器學(xué)習(xí)模型的復(fù)雜構(gòu)建過程 并且具有更高的識別 精度 對于農(nóng)業(yè)作業(yè)對象復(fù)雜視覺信息的感知具有獨特 優(yōu)勢 12 13 目標(biāo)識別方面 孫哲等 14 提出了一種基于Faser R CNN的自然環(huán)境下西蘭花幼苗檢測方法 平均精度達 到91 Henry等 15 提出了一種基于全卷積網(wǎng)絡(luò)的奇異果 識別方法 并應(yīng)用于采摘機器人 對密集果實的探測準(zhǔn) 確率達到76 3 趙德安等 16 提出了基于YOLOv3深度 卷積神經(jīng)網(wǎng)絡(luò)的蘋果定位方法 果實識別準(zhǔn)確率為97 孫紅等 17 建立了基于SSDLite MobileDet輕量化網(wǎng)絡(luò)模型 的玉米冠層識別模型 識別精度為91 檢測幀頻89幀 s 目標(biāo)分割方面 Yu等 18 通過對Mask R CNN語義分割模 型的遷移訓(xùn)練 實現(xiàn)了對重疊草莓圖像區(qū)域的識別 分 割準(zhǔn)確率為89 5 鄧穎等 19 建立了基于改進Mask R CNN的柑橘花朵分割模型 平均精度36 3 花量計 數(shù)誤差11 9 龍潔花等 20 引入CSPNet 改進Mask R CNN的ResNet 對不同成熟度番茄果實識別正確率為 90 Loyani等 21 基于Mask R CNN識別番茄葉片赤霉 病斑 精度達到85 67 Liu 等 22 采用改進的Mask 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點定位方法 129 R CNN對近色背景下的黃瓜果實進行分割 識別精度F1 值為89 47 目前基于深度學(xué)習(xí)模型的植物花 葉和果 目標(biāo)識別 主要以固定尺度和視角場景為主 然而番茄 側(cè)枝隨機分布于高大植株不同區(qū)域 攝像機需要以動態(tài) 變化的視場尺度和視角采集圖像 因此 了解深度學(xué)習(xí) 模型對于不同遠近視場尺度和拍攝視角場景下莖稈的識 別分割效果 是構(gòu)建整枝機器人視覺系統(tǒng)的必要依據(jù) 本文以工廠化番茄植株為研究對象 以不同生長階 段 遠近視場尺度和拍攝視角的植株圖像為樣本 建立 基于Mask R CNN的莖稈分割模型 研究以離散主莖和 側(cè)枝位置關(guān)系為約束的整枝操作點定位方法 并通過試 驗評估算法對不同場景下目標(biāo)的識別定位效果 從而為 整枝機器人研發(fā)提供技術(shù)依據(jù) 1 番茄植株整枝原理 1 1 工廠化溫室番茄整枝規(guī)范 中國工廠化溫室番茄普遍采用單桿整枝栽培方式 即 只保留植株主莖 植株底部枝葉全部摘除 3 單次整枝打 葉需要摘除植株成熟變色果實上方的2 3片側(cè)枝 圖1 在植株結(jié)果生產(chǎn)期間 果實沿主莖自下而上依次生長和 成熟 需要定期對植株不同區(qū)域進行整枝打葉 1 成熟果實區(qū) 2 變色果實區(qū) 3 整枝打葉區(qū) 4 待摘除側(cè)枝 5 變色果實 1 Mature fruit area 2 Coloring fruit area 3 Pruning area 4 Lateral branch to prune 5 Coloring fruit 圖1 番茄植株整枝打葉 Fig 1 Tomato plant pruning 1 2 整枝操作點 整枝操作需要在植株側(cè)枝和主莖的結(jié)合點處 通過 折擰或者切割的方式將二者分離 以摘掉側(cè)枝 因此 側(cè)枝與主莖的結(jié)合點即為整枝操作點 如圖2所示 該 目標(biāo)點為主莖和側(cè)枝中心線交點沿側(cè)枝中心線偏移主莖 半徑距離后得到的點 識別分割主莖和側(cè)枝像素區(qū)域 是對整枝操作點定位的必要前提 圖2 整枝操作點定位原理 Fig 2 Principle of locating pruning point 2 基于Mask R CNN的番茄莖稈圖像分割 2 1 Mask R CNN算法原理 番茄植株圖像中莖桿與葉片和果實背景顏色相近 姿態(tài)各異 叢生交錯 傳統(tǒng)的閾值分割和色差分割算法 難以對其進行準(zhǔn)確識別和分割 鑒于深度卷積模型具備 特征提取和識別的獨特優(yōu)勢 本文選用Mask R CNN 23 對番茄主莖和側(cè)枝兩類莖稈目標(biāo)進行識別和分割 Mask R CNN算法流程如圖3所示 主要包括以下步驟 1 通過特征提取網(wǎng)絡(luò)ResNet50 FPN 23 對輸入圖像數(shù) 據(jù)進行多尺度信息的提取和融合 并生成一系列特征圖 2 根據(jù)特征圖與輸入圖像的映射關(guān)系 設(shè)置各種尺 度比例和形態(tài)的矩形錨點框 區(qū)域建議網(wǎng)絡(luò) Region Proposal Network RPN 對特征圖進行滑窗掃描 對框 內(nèi)目標(biāo)和輪廓進行初步判斷 形成候選目標(biāo)區(qū)域 3 為了匹配后端全連接層固定數(shù)量的輸入節(jié)點 RoIAlign Region of Interest Align network 算法對各個 候選區(qū)域的特征圖規(guī)格進行標(biāo)準(zhǔn)化變換 將RPN網(wǎng)絡(luò)獲 得的目標(biāo)候選區(qū)域與特征圖進行匹配對齊 4 標(biāo)準(zhǔn)化的候選區(qū)域特征圖 分別輸入目標(biāo)檢測和 分割兩個分支網(wǎng)絡(luò) 前者通過全連接層 Full Connection FC 識別主莖和側(cè)枝目標(biāo)類別 并定位其各自邊界框位置 后者通過全卷積網(wǎng)絡(luò) Fully Convolutional Networks FCN 對主莖和側(cè)枝目標(biāo)像素區(qū)域進行分割 注 ResNet為特征提取網(wǎng)絡(luò) RoIAlign為感興趣區(qū)域?qū)R網(wǎng)絡(luò) RPN為區(qū) 域建議網(wǎng)絡(luò) FCN為全卷積網(wǎng)絡(luò) FC為全連接層 Note ResNet is the feature extraction network RoIAlign is the region of interest align network RPN is the region proposal network FCN is the fully convolutional networks FC is the full connection layer 圖3 Mask R CNN模型架構(gòu) Fig 3 Mask R CNN model architecture 2 2 圖像樣本采集和標(biāo)注 除了自身外觀特征 目標(biāo)在圖像中的成像特征還決 定于拍攝角度和成像距離 鑒于番茄整枝幾乎貫穿整個 生長周期 自然生長的主莖和側(cè)枝個體之間位置和形態(tài) 各不相同 本文選用的植株樣本包括生長期植株 側(cè)枝 目標(biāo)主要生長于主莖底部區(qū)域 如圖4a所示 和生產(chǎn)期 植株 主莖底部側(cè)枝已經(jīng)被去除 側(cè)枝主要生長于植株 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2022年 130 中部區(qū)域 如圖4b所示 樣本圖像視場尺度分為遠景 視場 包含3個以上側(cè)枝 和近景視場 包含1 2個側(cè) 枝 樣本圖像的拍攝角度分為仰視視場 從側(cè)枝下方 采集圖像 和正視視場 從水平正視方向采集圖像 如圖4所示 番茄植株圖像數(shù)據(jù)集可分為8組圖像樣本 DU DF CU CF a 生長期 a Growing period DU DF CU CF b 生產(chǎn)期 b Productive period 注 DU DF CU CF分別為遠景仰視 遠景正視 近景仰視 近景正視 拍攝圖像 下同 Note DU DF BE and CF are the images captured from distant upward view distant front view close upward view and close front view respectively Same below 圖4 圖像樣本舉例 Fig 4 Example of image samples 在溫室內(nèi)共采集各組圖像1 500幅 為了提高模型訓(xùn) 練和檢測效率 圖像樣本設(shè)置為720 720像素規(guī)格 通過 隨機添加高斯噪聲 將樣本擴充至3 000幅 按照8 2的 比例劃分為訓(xùn)練集與驗證集 8組圖像樣本訓(xùn)練集和驗證 集樣本數(shù)量均分別為300和75 由莖稈圖像觀察可知 主莖與側(cè)枝相間生長 主莖 呈豎直傾斜姿態(tài) 側(cè)枝在其兩側(cè)生長 呈橫向傾斜姿態(tài) 為了模型能夠充分解析二者的特征 將側(cè)枝之間的離散 主莖標(biāo)注為一類目標(biāo) 側(cè)枝及其與主莖的連接區(qū)域標(biāo)注 為另一類目標(biāo) 采用Labelme標(biāo)注工具 通過沿主莖和 側(cè)枝輪廓多邊形描點方式 對圖片內(nèi)的目標(biāo)區(qū)域分別進 行標(biāo)注 并生成json文件保存標(biāo)注信息 2 3 Mask R CNN模型遷移訓(xùn)練 本文選用的Mast RCNN預(yù)訓(xùn)練模型 來自于香港中 文大學(xué)Multimedia Laboratory開發(fā)的基于PyTorch的開源 對象檢測工具箱MMDetection 24 深度學(xué)習(xí)工作站主要 硬件配置包括Intel i7 10700K CPU NVIDIA 1080TI GPU DDR4 16GB內(nèi)存 訓(xùn)練方法采用微調(diào)遷移訓(xùn)練方法 具體步驟包括 1 以預(yù)訓(xùn)練模型的特征提取網(wǎng)絡(luò)權(quán)值對Mask R CNN網(wǎng)絡(luò) 進行初始化 而后端目標(biāo)分類 邊框回歸和全卷積網(wǎng)絡(luò) 參數(shù)為隨機初始化 2 凍結(jié)特征提取網(wǎng)絡(luò)權(quán)值參數(shù) 設(shè) 置學(xué)習(xí)率0 02對后端網(wǎng)絡(luò)進行訓(xùn)練 3 設(shè)置學(xué)習(xí)率0 002 對整個網(wǎng)絡(luò)權(quán)值參數(shù)進行微調(diào)訓(xùn)練 對2 400個訓(xùn)練集圖像樣本進行200次重復(fù)訓(xùn)練 模 型更新迭代12萬次 單次迭代樣本批量為4 每次迭 代耗時0 12 s 總耗時30 h 當(dāng)?shù)?萬次時 將學(xué)習(xí)率 調(diào)整至0 1倍 最終10萬次迭代以后 模型各項損失下 降趨于平穩(wěn) 模型各項損失函數(shù)和總體識別精確度隨模 型迭代次數(shù)變化如圖5 所示 最終總體損失函數(shù)值為 0 126 平均精度均值 mean Average Precision mAP 為0 866 a 損失函數(shù)隨模型迭代變化曲線 a Loss functions curve with model iteration b 平均精度均值隨模型迭代變化曲線 b Mean average precision curve with model iteration 圖5 損失函數(shù)與平均精度均值變化曲線 Fig 5 Loss function and mean Average Precision mAP curve 模型對莖稈目標(biāo)類別識別和區(qū)域分割效果如圖6所 示 主莖區(qū)域被標(biāo)注為藍色掩膜 側(cè)枝區(qū)域被標(biāo)注為紅 色掩膜 圖6 Mask R CNN識別結(jié)果 Fig 6 Identification result of Mask R CNN 3 整枝操作點定位 3 1 離散莖稈位置關(guān)系判別 在同一植株上 且處于相鄰位置的主莖和側(cè)枝中心 線交點才能作為整枝操作參考點 對于圖像中屬于不同 植株 隨機分布的主莖和側(cè)枝 明確離散主莖和側(cè)枝目 標(biāo)區(qū)域相對植株的從屬關(guān)系和位置關(guān)系 是對整枝操作 點進行定位的必要依據(jù) 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點定位方法 131 如圖7所示 對于識別結(jié)果圖像內(nèi)主莖和側(cè)枝兩類 目標(biāo)區(qū)域表示為M和L 設(shè)定n和m分別為主莖和側(cè)枝 在視場內(nèi)自上而下的分布排序編號 設(shè) M Mn nu v 和 L Lm mu v 分別表示第n個主莖目標(biāo)區(qū)域和第m個側(cè)枝目標(biāo) 區(qū)域的質(zhì)心坐標(biāo) M Mntop ntopu v 和 M Mnbottom nbottomu v 分別表示 第n個主莖區(qū)域的上端點和下端點坐標(biāo) 對于n m的主莖Mn和側(cè)枝Lm 計算二者質(zhì)心距離 2 2 M L M L n m n m n md u u v v 主莖區(qū)域Mn 的長度 2 2 M M M M n m ntop nbottom ntop nbottoml u u v v 其位置關(guān)系判 別依據(jù)為 當(dāng) n m n md l 則認(rèn)為Mn和Lm屬于同株番茄 的相鄰主莖和側(cè)枝 當(dāng) n m n md l 則認(rèn)為Mn和Lm為異 株番茄的主莖和側(cè)枝 將其從候選目標(biāo)區(qū)域剔除掉 如 此重復(fù) 直到所有主莖區(qū)域均匹配得到與之相鄰的側(cè)枝 區(qū)域 且認(rèn)為其二者可連接處為整枝操作點 1 屬于同株且相鄰的主莖與側(cè)枝 2 屬于異株的主莖和側(cè)枝 1 Main stem and lateral branch adjacent with each other of the same plant 2 Main stem and lateral branch of the different plants 注 M Mn nu v 和 L Lm mu v 分別表示第n個主莖目標(biāo)區(qū)域和第m個側(cè)枝目標(biāo) 區(qū)域的質(zhì)心坐標(biāo) M Mntop ntopu v 和 M Mnbottom nbottomu v 分別表示第n 個主莖區(qū)域 的上端點和下端點坐標(biāo) Note M Mn nu v and L Lm mu v represent the centroid coordinates of the n th main stem target area and the m th lateral branch target area respectively M Mntop ntopu v and M Mnbottom nbottomu v represent the coordinates of the upper and lower endpoints of the n th main stem region respectively 圖7 主莖與側(cè)枝位置關(guān)系判別 Fig 7 Relative location estimation of main stem and lateral branch 3 2 莖稈中心線擬合 目標(biāo)區(qū)域的中心線是其內(nèi)部像素分布特征的重要體 現(xiàn) 具有平移 旋轉(zhuǎn)和尺度不變性 圖像矩 25 用于描述 形狀的全局特征 其中二階中心矩表示圍繞垂直和水平 中心線的慣性矩 以主莖區(qū)域Mn為例 設(shè)其內(nèi)任意像素 點i坐標(biāo)為 M Mni niu v 質(zhì)心坐標(biāo)為 M Mn nu v 其二階中心 距 M02 M11 M20 表示為式 1 202 2 20 11 M M i n ni M M i n ni M M M M i n n i n n i M u u M v v M u u v v 1 如圖8所示 主莖區(qū)域Mn中心線方向與過其質(zhì)心的 水平線的夾角 Mn 可表示為式 2 11 20 02 2arctan 90 90 M M n n M M M 2 當(dāng) 0Mn 則主莖區(qū)域位于水平軸下方 當(dāng) 0Mn 則其位于水平軸的上方 根據(jù) Mn 和 M Mn nu v 可得相應(yīng) 主莖區(qū)域Mn中心線上的點 M MC Cu v 滿足如式 3 所示 中心線方程 同理可得側(cè)枝區(qū)域Lm中心線方程 tanM M MC n nM M C n u u v v 3 1 側(cè)枝 2 主莖 3 主莖中心線 4 側(cè)枝中心線 5 過主莖中心水平線 6 過 側(cè)枝中心水平線 1 Lateral branch 2 Main stem 3 Main stem centerline 4 Lateral branch centerline 5 Horizontal line through main stem centerline 6 Horizontal line through lateral branch centerline 圖8 中心線擬合與整枝操作點定位 Fig 8 Centerline fitting and pruning point locating 已知同株相鄰主莖和側(cè)枝中心線方向角度分別為 M n 和 L m 質(zhì)心坐標(biāo)分別 M M n nu v 和 L L m mu v 在獲得相 鄰主莖和側(cè)枝中心線基礎(chǔ)上 由式 4 求其交點 c c cP u v 坐標(biāo) 作為整枝操作參考點 tan tan M M c n n M c n L L c m m L c m u u v v u u v v 4 設(shè)主莖區(qū)域Mn像素寬度為 Mnd 交點 cP沿側(cè)枝中心 線偏移 2Mnd 即得到整枝操作點的圖像坐標(biāo)Pp up vp 如式 5 式 6 所示 當(dāng)側(cè)枝位于主莖左側(cè) Mc nv v 時 cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 5 當(dāng)側(cè)枝位于主莖右側(cè) Mc nv v 時 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2022年 132 cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 6 4 試驗及結(jié)果分析 4 1 試 驗 為了驗證整枝操作點的識別定位效果 結(jié)合工廠化 番茄溫室實際作業(yè)工況條件特點 進一步采集番茄植株 圖像 建立與訓(xùn)練集樣本構(gòu)成相同比例的測試集 包括 遠景和近景視場 正視和仰視視角 生長期和生產(chǎn)期植 株圖像樣本80幅 模型自動輸出和保存對圖像中主莖和 側(cè)枝離散區(qū)域的識別和分割結(jié)果 并記錄整枝操作點的 圖像坐標(biāo) 1 主莖和側(cè)枝目標(biāo)識別精度評估 結(jié)合不同場景樣本圖像分組 分別記錄人工標(biāo)注和模 型自動識別的番茄植株離散主莖和側(cè)枝數(shù)量 采用錯誤 率 精確率和召回率等3個指標(biāo) 評價Mask R CNN模型 對目標(biāo)的識別效果 設(shè)測試集中目標(biāo) 主莖或側(cè)枝 正確 識別 錯誤識別和未識別的數(shù)量分別為NT NF和NU 人 工識別標(biāo)注數(shù)量為N 則識別錯誤率Err U FN N N 精確率Pre T T FN N N 召回率Rec TN N 2 整枝操作點定位精度評估 以操作點自動識別定位結(jié)果與人工標(biāo)注結(jié)果的圖像 坐標(biāo)偏差 評價模型對操作點的定位精度 鑒于坐標(biāo)絕 對偏差在不同遠近尺度圖像內(nèi)表示的物理距離不同 無 法定量表征真實定位誤差 假設(shè)番茄植株整枝區(qū)域主莖 的物理直徑是常數(shù) d表示主莖在不同遠近尺度圖像樣本 中的像素寬度 以自動識別和人工標(biāo)注整枝操作點圖像 像素偏差距離D與d的比值 表征操作點圖像定位誤差 4 2 結(jié)果與分析 對測試集80幅圖像進行人工檢測 其中每個場景分 組各10幅 測試集莖稈目標(biāo)分布涉及94株番茄植株 其中14幅圖像包含2株以上 測試集共包含離散主莖區(qū) 域224個 側(cè)枝區(qū)域163個 標(biāo)定整枝操作點163個 每幅圖像平均包含主莖區(qū)域2 80個 側(cè)枝2 03個 具體 統(tǒng)計如表1所示 表1 測試集莖稈目標(biāo)人工標(biāo)注統(tǒng)計 Table 1 Manual identification results on test set 生長期Growing period 生產(chǎn)期Productive period 結(jié)果 Result DU DF CU CF DU DF CU CF 合計 Total 主莖數(shù)量 Main stem number 35 55 22 28 21 26 12 25 224 側(cè)枝數(shù)量 Lateral branch number 26 46 14 18 15 16 15 13 163 1 主莖和側(cè)枝目標(biāo)識別結(jié)果與分析 將測試集圖像分別輸入自動識別模型 根據(jù)圖像場 景特征對識別結(jié)果進行分組統(tǒng)計 模型對測試集圖像樣 本內(nèi)的主莖和側(cè)枝目標(biāo)識別分類結(jié)果如表2所示 表2 測試集中主莖和側(cè)枝目標(biāo)識別結(jié)果 Table 2 Identification results for main stems and lateral branches in test sample set 生長期Growing period 生產(chǎn)期Productive period 項目 Item DU DF CU CF DU DF CU CF 合計 Total NT 29 53 22 28 19 23 12 25 211 NF 0 0 0 2 0 0 0 4 6 主莖 Main stem NU 6 2 0 0 2 3 0 0 13 NT 26 41 14 18 14 13 15 13 154 NF 0 8 0 3 0 4 0 4 19 側(cè)枝 Lateral branch NU 0 5 0 0 1 3 0 0 9 注 NT NF和NU分別代表正確識別 錯誤識別和未識別的數(shù)量 Note N T NF and NU are the quantity of correctly identified misidentified and unidentified respectively 以人工檢測結(jié)果為對照 正確識別主莖和側(cè)枝數(shù)量 分別為211和154 誤判數(shù)量分別為6和19 未被識別 的數(shù)量為13和9 其中近景仰視圖像中錯誤和未被識別 的主莖和側(cè)枝數(shù)量均為0 遠景仰視圖像中錯誤和未被識 別的側(cè)枝數(shù)量為0 對于全體測試集樣本 主莖識別錯誤率 0 08 低于 側(cè)枝 0 17 生長期植株的仰視遠景圖像和生產(chǎn)期植株 的正視近景圖像中主莖識別錯誤較大 分別為0 17 和 0 16 主要原因為 1 前者植株底部葉片較多 主莖受 到葉片遮擋 圖9a 識別難度增大 從而導(dǎo)致未識別的 主莖較多 29個主莖中6個未被識別 2 后者枝葉普 遍相對較粗 圖9b 4個側(cè)枝或葉柄被錯判為主莖 生 產(chǎn)期遠近景的正視圖像中側(cè)枝識別錯誤均較大 分別為 0 43和0 31 主要原因為 正視條件下果柄被誤判為側(cè) 枝 圖9c 隨著生產(chǎn)期植株果實數(shù)量增加 識別錯誤率 更高 此外 生產(chǎn)期植株的遠景正視圖像中 受其他枝 葉遮擋 圖9d 8個側(cè)枝未被識別 導(dǎo)致錯誤率較高為 0 28 a 主莖受葉片遮擋 a Stem overlapped by leaves b 側(cè)枝誤判為主莖 b Leaf stem identified as main stem c 果柄被誤判為側(cè)枝 c Fruit stem identified as lateral branch d 側(cè)枝因遮擋而漏判 d Lateral branch overlapped by leaves 圖9 目標(biāo)錯誤識別結(jié)果 Fig 9 False identification results 如表3所示 模型對于主莖和側(cè)枝的總體識別錯誤 率 精確率和召回率分別為0 12 0 93和0 94 并且對于 第3期 馮青春等 基于Mask R CNN的番茄植株整枝操作點定位方法 133 生長期和生產(chǎn)期的近景仰視圖像樣本均具有最好的識別 效果 即模型對于近景仰視的番茄植株場景具有較好的適 應(yīng)性 該場景下主莖和側(cè)枝受到遮擋較少 同時仰視條件 下果柄被果實遮擋 在圖像中出現(xiàn)較少 從而避免了被誤 判為側(cè)枝 表3 目標(biāo)識別精度統(tǒng)計 Table 3 Targets identification accuracy statistics 生長期Growing period 生產(chǎn)期Productive period 項目Item DU DF CU CF DU DF CU CF 總體 Total 錯誤率 Error rate 0 10 0 15 0 0 11 0 08 0 23 0 0 21 0 12 精確率 Precise rate 1 00 0 92 1 00 0 90 1 00 0 90 1 00 0 83 0 93 召回率 Recall rate 0 90 0 93 1 00 1 00 0 92 0 86 1 00 1 00 0 94 2 整枝操作點定位結(jié)果與分析 本文將不同尺度圖像中整枝操作點定位像素偏差與 主莖像素寬度的比值作為其定位誤差 統(tǒng)計如表4所示 全體測試集樣本圖像中 整枝操作點的圖像定位誤差平 均值為0 34 不同場景中最大誤差平均值為0 47 最小 誤差平均值為0 11 對于生長期植株的正視遠景圖像 誤差最大為0 76 生產(chǎn)期植株的仰視近景圖像 誤差最 小為0 03 由于與生產(chǎn)期植株相比 生長期植株的主莖 較細(xì) 因此生長期植株圖像樣本的操作點定位誤差普遍 偏大 同時 由于近景圖像樣本具有較高的目標(biāo)分割精 度 因此近景圖像的操作點定位精度較高 此外 相比 正視場景 仰視場景圖像中側(cè)枝自身彎曲特征被弱化 側(cè)枝中心線擬合較為準(zhǔn)確 整枝操作點的定位誤差較小 表4 整枝操作點圖像定位誤差統(tǒng)計 Table 4 Pruning point location pixel error statistics 生長期Growing period 生產(chǎn)期Productive period 項目Item DU DF CU CF DU DF CU CF 總體 Total 平均誤差 Average error 0 48 0 57 0 22 0 28 0 33 0 41 0 18 0 26 0 34 最大誤差 Max error 0 63 0 76 0 31 0 43 0 46 0 59 0 28 0 32 0 47 最小誤差 Min error 0 11 0 16 0 12 0 17 0 12 0 10 0 03 0 05 0 11 假設(shè)番茄主莖直徑為15 mm 人工測量統(tǒng)計的平均 值 由表4可知 整枝操作點的絕對定位誤差平均值 為5 12 mm 最大誤差11 4 mm 最小誤差0 45 mm 考 慮到側(cè)枝平均直徑約為10 mm 可夾持長度約150 mm 為了包容整枝操作點定位誤差 側(cè)枝夾持手爪有效行程 最大增加11 4 mm 該額外行程的增加對手爪構(gòu)型設(shè)計 運動控制方面構(gòu)成的技術(shù)風(fēng)險較小 因此認(rèn)為本文定位 精度可以滿足整枝機器人的作業(yè)需要 5 結(jié) 論 針對番茄智能化整枝莖稈目標(biāo)視覺信息獲取需要 綜合考慮植株生長階段 遠景視場以及拍攝角度等因素 建立了番茄植株莖稈圖像樣本數(shù)據(jù)集 采用微調(diào)遷移訓(xùn) 練方法 建立了基于Mask R CNN的主莖和側(cè)枝目標(biāo)識 別分割模型 通過離散莖稈區(qū)域圖像位置關(guān)系判別 實 現(xiàn)了整枝操作點的定位 試驗結(jié)果表明 對于不同場景的圖像樣本 Mask R CNN模型對主莖和側(cè)枝識別的錯誤率 準(zhǔn)確率和召回 率分別為0 12 0 93和0 94 并且對于仰視近景視場具 有更好識別效果 對于整枝操作點定位誤差的平均值 最大值和最小值與對應(yīng)主莖像素寬度的比值分別為0 34 0 76和0 03 若設(shè)定主莖直徑為15 mm 枝操作點的定 位誤差平均值為5 12 mm 最大誤差11 4 mm 最小誤差 0 45 mm 同樣在仰視近景場景下定位精度較高 因此 仰視近景圖像信息獲取有利于整枝目標(biāo)視覺信息的準(zhǔn)確 獲取 本文研究結(jié)論為后期開展整枝機器人視覺系統(tǒng)研 發(fā)提供了設(shè)計依據(jù) 此外 由于本文算法僅限于二維圖像特征處理 缺 乏莖稈形態(tài)立體信息融合 對于整枝操作點定位方法和 精度評估試驗 尚有待改進之處 可進一步采用深度相 機獲取莖稈立體位姿信息 以得到更加精確定位效果 參 考 文 獻 1 Food and Agriculture Organization of the United Nations Tomato production 2019 EB OL 2020 01 01 2021 11 08 https ourworldindata org grapher tomato production time 2018 2 Kelley W T Commercial tomato production handbook EB OL 2017 01 30 2021 11 08 https extension uga edu publications detail html number B1312 3 田素波 潘子龍 胡永軍 等 不同整枝方式對番茄產(chǎn)量 和品質(zhì)的影響 J 長江蔬菜 2012 22 41 43 Tian Subo Pan Zilong Hu Yongjun et al Effects of different pruning methods on yield and quality of tomato J Journal of Changjiang Vegetables 2012 22 41 43 in Chinese with English abstract 4 鄭偉 番茄主產(chǎn)區(qū)農(nóng)戶生產(chǎn)投入產(chǎn)出調(diào)查分析 J 農(nóng)村經(jīng) 濟與科技 2019 30 9 112 114 Zheng Wei Investigation and analysis on production input output of tomato farmers in main producing areas J Rural Economy and Science Technology 2019 30 9 112 114 in Chinese with English abstract 5 Priva Priva kompano deleaf line EB OL 2021 10 07 2021 11 08 http www priva tories 2016 priva kompano deleaf line 6 Lucy C Scientists create gardening robot to help out with pruning and trimming EB OL 2019 10 24 2021 11 08 https www independent ie world news and finally scientists c reate gardening robot to help out with pruning and trimming 38629630 html 7 Richard L Automated pruning with robotics EB OL 2015 04 13 2021 11 08 mated pruning with robotics 農(nóng)業(yè)工程學(xué)報 http www tcsae org 2022年 134 8 Henten E Tuijl B Hoogakker G An autonomous robot for de leafing cucumber plants grown in a high wire cultivation system J Biosystems Engineering 2006 94 3 317 323 9 Ishigure Y Hirai K Kawasaki H A pruning robot with a power saving chainsaw drive C IEEE International Conference on Mechatronics and Automation Takamatsu Japan IEEE Computer Society 2013 10 Hamuda E Glavin M Jones E A survey of image processing techniques for plant extraction and segmentation in the field J Computers and Electronics in Agriculture 2016 125 184 199 11 Yosinski J Clune J Bengio Y et al How transferable are features in deep neural networks J Advances in Neural Information Processing Systems 2014 27 3320 3328 12 孫紅 李松 李民贊 等 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí) 應(yīng)用研究進展 J 農(nóng)業(yè)機械學(xué)報 2020 51 5 1 17 Sun Hong Li Song Li Minzan et al Research progress of image sensing and deep learning in agri