張先潔 汪小旵 孫國祥 等 基于彩色點云圖像的不同成熟階段番茄果實數(shù)量的測定方法 J 華南農(nóng)業(yè)大學(xué)學(xué)報 2022 43 2 105 112 ZHANG Xianjie WANG Xiaochan SUN Guoxiang et al Measurement of tomato fruits quantity at different ripening stages based on color point cloud images J Journal of South China Agricultural University 2022 43 2 105 112 基于彩色點云圖像的不同成熟階段 番茄果實數(shù)量的測定方法 張先潔1 汪小旵1 2 孫國祥1 施印炎1 魏天翔1 陳 昊1 1 南京農(nóng)業(yè)大學(xué) 工學(xué)院 江蘇 南京 210031 2 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實驗室 江蘇 南京 210031 摘要 目的 為測定溫室中番茄不同成熟階段的果實數(shù)量 提出一種基于彩色點云圖像的測定方法 方法 在 移動平臺上搭載KinectV2 0采集溫室中行栽番茄的圖像信息合成番茄植株點云 再將二視角的番茄植株點云合 成1個點云 并通過深度信息截取得到近處番茄植株點云 將標(biāo)注的點云數(shù)據(jù)輸入到PointRCNN目標(biāo)檢測網(wǎng)絡(luò) 訓(xùn)練預(yù)測模型 并識別番茄植株點云中的番茄果實 最后利用基于特征矩陣訓(xùn)練的支持向量機 Support vector machine SVM 分類器對已經(jīng)識別出來的果實進(jìn)行成熟階段分類 獲得不同成熟階段番茄果實的數(shù)量 結(jié)果 基于PointRCNN目標(biāo)檢測網(wǎng)絡(luò)的方法識別番茄果實數(shù)量的精確率為86 19 召回率為83 39 基于特 征矩陣訓(xùn)練的SVM分類器 針對番茄果實成熟階段的預(yù)測結(jié)果在訓(xùn)練集上準(zhǔn)確率為94 27 測試集上準(zhǔn)確率 為96 09 結(jié)論 基于彩色點云圖像的測定方法能夠較為準(zhǔn)確地識別不同成熟階段的番茄果實 可以為評估溫 室番茄產(chǎn)量提供數(shù)據(jù)支撐 關(guān)鍵詞 番茄果實 彩色點云 PointRCNN 支持向量機 成熟階段 中圖分類號 S126 文獻(xiàn)標(biāo)志碼 A 文章編號 1001 411X 2022 02 0105 08 Measurement of tomato fruits quantity at different ripening stages based on color point cloud images ZHANG Xianjie1 WANG Xiaochan1 2 SUN Guoxiang1 SHI Yinyan1 WEI Tianxiang1 CHEN Hao1 1 College of Engineering Nanjing Agricultural University Nanjing 210031 China 2 Engineering Laboratory of Modern Facility Agriculture Technology and Equipment in Jiangsu Province Nanjing 210031 China Abstract Objective In order to measure the number of tomato fruits at different ripening stages in green house a method based on color point cloud images was proposed Method The image information of tomato in greenhouse was collected by KinectV2 0 on the mobile platform to synthesize the tomato plant point cloud then the tomato plant point clouds from two perspectives were synthesized into a point cloud and the point cloud of nearby tomato plant was obtained by depth information interception The labeled point cloud data were input into the PointRCNN object detection network to train the prediction model and recognize tomato fruit in the tomato plant point cloud Finally support vector machine SVM classifier based on feature matrix training was used to classify ripeness of the identified fruits and the number of tomato fruits at different ripening stages 收稿日期 2021 05 11 網(wǎng)絡(luò)首發(fā)時間 2022 01 04 16 00 24 網(wǎng)絡(luò)首發(fā)地址 作者簡介 張先潔 碩士研究生 主要從事圖像處理研究 E mail 873941071 通信作者 汪小旵 教授 博士 主要從事作物信息化檢測研究 E mail wangxiaochan 基金項目 國家十三五重點研發(fā)計劃 2019YFD1001900 華南農(nóng)業(yè)大學(xué)學(xué)報 Journal of South China Agricultural University 2022 43 2 105 112 DOI 10 7671 j issn 1001 411X 202105021 was obtained Result The precision rate of the method based on PointRCNN object detection network for identifying the number of tomato fruits was 86 19 and the recall rate was 83 39 The accuracy of SVM classifier based on feature matrix training for predicting the ripeness of tomato fruits was 94 27 in the training set and 96 09 in the test set Conclusion The measurement method based on color point cloud images can accurately identify the number of tomato fruits at different ripening stages and provide data supports for evaluating the yield of tomato fruits in greenhouse Key words Tomato fruit Color point cloud PointRCNN Support vector machine Ripening stage 對番茄植株不同成熟階段的番茄果實數(shù)量準(zhǔn) 確測定不僅有助于精細(xì)化調(diào)整番茄種植過程中的 施肥量 而且有助于提前制定番茄果實收獲 倉儲 以及銷售等計劃 1 3 番茄植株的生長形態(tài)不同 尚 未完全成熟的番茄果實的顏色與葉片顏色相近 番 茄果實容易出現(xiàn)重疊 被遮擋現(xiàn)象 復(fù)雜的環(huán)境背 景導(dǎo)致番茄果實識別困難 4 5 在復(fù)雜的環(huán)境背景下 準(zhǔn)確識別番茄果實是測定不同成熟階段番茄果實 數(shù)量的關(guān)鍵 針對農(nóng)作物的果實識別 國內(nèi)外學(xué)者進(jìn)行了廣 泛的研究 6 9 目前大多數(shù)農(nóng)作物的果實識別是通過 深度學(xué)習(xí)和圖像處理等方法處理二維RGB圖像數(shù) 據(jù)實現(xiàn)的 10 13 這些方法識別果實的成功率較高 但是通過二維RGB圖像數(shù)據(jù)識別果實無法獲得果 實的距離信息 因而無法分辨被識別果實是否屬于 當(dāng)前被統(tǒng)計植株 被識別果實的歸屬不明確導(dǎo)致果 實數(shù)量評估的不準(zhǔn)確 14 15 也有部分學(xué)者采用其他 數(shù)據(jù)進(jìn)行農(nóng)作物果實識別 16 18 Mehta等 19 通過多 個視角的二維RGB圖像數(shù)據(jù)合成偽立體視覺 在 立體視覺的基礎(chǔ)上識別果實 但該方法多個視角的 相機布置降低了方法的可操作性 李寒等 20 在二 維RGB圖像中確定番茄果實輪廓 結(jié)合深度信息 獲取番茄果實點云數(shù)據(jù) 利用改進(jìn)的SOM K means聚類算法實現(xiàn)番茄果實的識別 但該方法僅 適用于識別成熟的紅色番茄果實 目前針對農(nóng)作物 的果實識別已經(jīng)有了較多的研究 但針對指定距離 內(nèi)不同成熟階段的番茄果實數(shù)量識別的方法研究 較少 為準(zhǔn)確測定近距離內(nèi)不同成熟階段的番茄果實 數(shù)量 本文提出一種基于彩色點云圖像的番茄數(shù)量 測定方法 首先通過點云深度信息篩選出近距離內(nèi) 的番茄植株點云 去除遠(yuǎn)距離番茄果實對果實數(shù)量 準(zhǔn)確評估的干擾 然后合成2個視角的點云增加番 茄果實的特征信息 提高番茄果實識別的準(zhǔn)確率 再 使用深度學(xué)習(xí)方法PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別 合成點云中的番茄果實 最后利用支持向量機 Support vector machine SVM 分類器對已識別出來 的果實進(jìn)行分類 得到不同成熟階段番茄果實的數(shù)量 1 材料與方法 1 1 試驗材料 番茄植株圖像數(shù)據(jù)采集于江蘇省農(nóng)業(yè)科學(xué)院信 息所番茄種植溫室 番茄品種為 奇美 與 桃太 粉 番茄植株采用吊蔓式種植 高度為145 165 cm 株距為40 cm 行間距為120 cm 試驗現(xiàn)場如圖1 所示 圖 1 番茄種植溫室試驗現(xiàn)場 Fig 1 Test site in the greenhouse for tomato plant 圖像采集時間為2020年12月17日14時至 17時和2020年12月23日14時30分至17時 在 不同光照條件下共采集252組番茄植株圖像數(shù)據(jù) 將微軟公司的RGB D相機KinectV2 0搭載在深圳 玩智商科技有限公司研發(fā)的ROS機器人移動平臺 DashGo B1上 設(shè)定移動平臺定點停靠并采集番茄 植株的彩色圖像和深度圖像 KinectV2 0的彩色相 機的分辨率為1 920像素 1 080像素 深度相機的 分辨率為512像素 424像素 采集圖像如圖2所 示 深度圖像中由綠到黃表示目標(biāo)距離相機由近 到遠(yuǎn) 1 2 番茄果實數(shù)量識別與成熟階段分類流程 首先將番茄植株RGB圖像和深度圖像合成番 茄植株點云 然后將番茄植株不同視角下的2個點 106 華南農(nóng)業(yè)大學(xué)學(xué)報 第 43 卷 云配準(zhǔn)合成1個番茄植株點云 再采用PointRCNN 目標(biāo)檢測網(wǎng)絡(luò)對番茄植株點云進(jìn)行番茄果實目標(biāo) 檢測 輸出番茄果實識別框 最后利用訓(xùn)練好的 SVM分類器對PointRCNN目標(biāo)檢測網(wǎng)絡(luò)的檢測結(jié) 果進(jìn)行成熟階段分類 1 3 番茄植株點云獲取與預(yù)處理 1 3 1 番茄植株點云獲取 KinectV2 0通過不同的 相機采集得到RGB圖像與深度圖像 相機精度不 同與位置不同導(dǎo)致同一目標(biāo)點在RGB圖像與深度 圖像坐標(biāo)不同 因此需要通過標(biāo)定獲取相機內(nèi)置參 數(shù) 進(jìn)而得到RGB圖像與深度圖像的坐標(biāo)映射關(guān) 系 根據(jù)映射關(guān)系生成同時包含RGB信息和深度 信息的RGB D圖像 根據(jù)RGB D圖像的坐標(biāo)與坐標(biāo)對應(yīng)的深度值 可以轉(zhuǎn)換生成三維空間坐標(biāo) 本文使用Python語 言調(diào)用Open3D庫中的庫函數(shù) 根據(jù)標(biāo)定獲得的相 機參數(shù) 將RGB D圖像轉(zhuǎn)換生成具備RGB信息的 三維點云 1 3 2 點云預(yù)處理 點云坐標(biāo)中的Z軸坐標(biāo)反映 點到相機的距離 根據(jù)實際距離情況選取合適的閾 值z分割點云得到距離相機近排的番茄植株點云 以便準(zhǔn)確檢測近排番茄植株上的番茄果實 受到溫室環(huán)境以及深度相機本身精度等因素 影響 KinectV2 0獲取的點云數(shù)據(jù)中存在部分離群 點噪聲 離群點會影響后期點云配準(zhǔn)的精度 需要 通過濾波移除離群點 離群點的特點是相同距離內(nèi) 點的數(shù)量較小 因此 采用統(tǒng)計濾波法將指定半徑 內(nèi)臨近點的數(shù)量小于指定數(shù)量的點記為離群點并 移除 1 4 番茄植株點云配準(zhǔn) 從單視角采集到的番茄植株點云數(shù)據(jù)中 存在 多處不同程度的番茄果實遮擋 重疊現(xiàn)象 本文提 出將具有一定距離的2個視角采集到的點云數(shù)據(jù) 配準(zhǔn)融合 獲取更全面的番茄植株三維信息 減少 因重疊 被遮擋等現(xiàn)象導(dǎo)致的番茄果實檢測錯誤 點云配準(zhǔn)是指將2個具有一定數(shù)量對應(yīng)點的 點云轉(zhuǎn)換到同一個坐標(biāo)系下 融合成1個點云 如 圖3所示 點云配準(zhǔn)分為粗配準(zhǔn)與精配準(zhǔn)2個部分 a RGB 圖像 a RGB image 2 500 b 深度圖像 b Range image 2 000 1 500 1 000 500 0 圖 2 番茄植株圖像 Fig 2 Image of tomato plant 初始點云 1 Original point cloud 1 初始點云 2 Original point cloud 2 Kinect 1 Kinect 2 粗配準(zhǔn) Routh registration 精配準(zhǔn) Fine registration 初始矩陣 Initial matrix 純色合成點云 Solid color synthetic point cloud 合成點云 Synthetic point cloud 圖 3 番茄植株點云配準(zhǔn) Fig 3 Point cloud registration of tomato plant 第 2 期 張先潔 等 基于彩色點云圖像的不同成熟階段番茄果實數(shù)量的測定方法 107 點云粗配準(zhǔn)是在未指定2個點云的初始相對 位姿情況下 將2個點云進(jìn)行配準(zhǔn) 為精配準(zhǔn)提供 一個較優(yōu)的平移矩陣和旋轉(zhuǎn)矩陣初始值 粗配準(zhǔn)的 主要方法包括基于特征匹配的配準(zhǔn)方法和基于隨 機采樣一致性的配準(zhǔn)方法 本文選用基于隨機采樣 一致性的配準(zhǔn)方法對番茄植株點云粗配準(zhǔn) 點云精配準(zhǔn)是在粗配準(zhǔn)提供的平移矩陣和旋 轉(zhuǎn)矩陣初始值的基礎(chǔ)上 通過不斷迭代改進(jìn)平移矩 陣和旋轉(zhuǎn)矩陣的參數(shù)來完成配準(zhǔn) 精配準(zhǔn)的主要方 法是迭代最近點 Iterative closest point ICP 算法以 及各種改進(jìn)的ICP配準(zhǔn)方法 本文選用基于point to plane的改進(jìn)ICP配準(zhǔn)方法 21 對粗配準(zhǔn)后的番茄 植株點云精配準(zhǔn) 調(diào)用Open3D庫中的全局配準(zhǔn)函數(shù)選擇隨機采 樣一致性參數(shù) 設(shè)定體素采樣為0 02 距離閾值為 0 03 進(jìn)行點云的粗配準(zhǔn) 調(diào)用ICP精配準(zhǔn)函數(shù)選 擇point to plane方法參數(shù) 設(shè)定距離閾值為0 001 進(jìn)行點云的精配準(zhǔn) 1 5 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別番茄果實 基于點云的目標(biāo)檢測網(wǎng)絡(luò)主要分為2類 一類 是一階段的目標(biāo)檢測網(wǎng)絡(luò) 另一類是二階段的目標(biāo) 檢測網(wǎng)絡(luò) 二階段的目標(biāo)檢測網(wǎng)絡(luò)是在一階段目標(biāo) 檢測結(jié)果的基礎(chǔ)上進(jìn)行修正檢測 因此一般二階段 目標(biāo)檢測網(wǎng)絡(luò)的準(zhǔn)確率要高于一階段目標(biāo)檢測網(wǎng) 絡(luò) 本文選用二階段檢測網(wǎng)絡(luò)PointRCNN 22 在番 茄植株點云中檢測識別番茄果實 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)的第一階段通過 PointNet 網(wǎng)絡(luò)提取點云特征 對點云進(jìn)行自底向 上的搜索 選出3D候選區(qū)域 第二階段檢測網(wǎng)絡(luò) 在第一階段提取的點云特征和3D候選區(qū)域的基礎(chǔ) 上 對3D候選區(qū)域的評分進(jìn)行修正 得到檢測結(jié) 果 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)的框架如圖4所示 點坐標(biāo) Point coords 語義特征 Semantic features 語義特征 Semantic features 點特征向量 Point wise feature vector 基于 Bin 的 3D 框 生成 Bin based 3D box generation 前景點分割 Foreground point segmentation 3D 提案 3D proposal 3D 感興趣區(qū) 3D region of interest 合成特征 Merged features MLP 基于 Bin 的 3D 框 優(yōu)化 Bin based 3D box refinement 置信度預(yù)測 Confidence prediction 正則變換 Canonical transformation 局部空間點 Local spatial points 點云區(qū)域池 Point cloud region pooling Foreground mask 點云 編碼器 Point cloud encoder 點云 編碼器 Point cloud encoder 點云 解碼器 Point cloud decoder 多層感知機Muti layer perception 圖 4 PointRCNN網(wǎng)絡(luò)結(jié)構(gòu) Fig 4 PointRCNN network structure PointRCNN采用PointNet 網(wǎng)絡(luò)提取點云特 征輸入到前景點分割網(wǎng)絡(luò) 前景點分割網(wǎng)絡(luò)在前景 點分割中采用Focal Loss函數(shù)解決類別不平衡問 題 同時通過加入邊框回歸頭對前景點進(jìn)行3D邊 框回歸產(chǎn)生3D候選區(qū)域 在獲得3D候選區(qū)域后 PointRCNN在點云區(qū)域池化的基礎(chǔ)上結(jié)合之前產(chǎn) 生的前景點特征獲得新的局部區(qū)域特征和全局特 征 PointRCNN二階段網(wǎng)絡(luò)融合局部區(qū)域特征和全 局特征后對3D候選區(qū)域和置信度進(jìn)行修正 得到 最終的預(yù)測結(jié)果框 算法基于Pytorch v1 3 1 OpenPCDet v0 3 0 框架實現(xiàn) 硬件配置為處理器Intel R Gold 6226 內(nèi)存256 GB 顯卡NVIDIA GeForce RTX 2080Ti 操作系統(tǒng)Ubuntu 18 04 使用標(biāo)注工具 CloudCompare對點云進(jìn)行人工標(biāo)注得到番茄果實 標(biāo)簽 通過腳本轉(zhuǎn)換標(biāo)注文件為Kitti數(shù)據(jù)集格式 在本試驗中點云標(biāo)簽類別為番茄和其他2類 按照 4 1的比例隨機劃分為訓(xùn)練集和驗證集 采用遷移學(xué)習(xí)的方法對本試驗的點云數(shù)據(jù)進(jìn) 行處理 主要設(shè)定參數(shù)包括 epochs為20 000 batch size per gpu為3 GPU為2 Learn rate為 0 01 div factor為10 optimizer為adam onecycle 其中 參數(shù)epochs是指訓(xùn)練的回合數(shù) 1回合是指把 所有的訓(xùn)練樣本全部處理1次 參數(shù)batch size per gpu 是指每個GPU每次處理樣本的個數(shù) 參數(shù)GPU是 指GPU的個數(shù) 參數(shù)Learn rate為最高學(xué)習(xí)率 參 數(shù)Learn rate除以參數(shù)div factor得到初始學(xué)習(xí)率 參數(shù)optimizer為優(yōu)化器的選擇 108 華南農(nóng)業(yè)大學(xué)學(xué)報 第 43 卷 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)的損失函數(shù)如下 L p bin u2fx z g Fcls bin p u bin p u Freg cres p u res p u 1 L p res v2fy h w lg Freg cres p v res p v 2 Lreg 1N pos p2pos L p bin L p res 3 Npos bin p u res p u bin p u cres p u Freg Fcls 其中 為前景點的數(shù)量 與 為正確標(biāo)注 的bin分配和殘差 與 為前景點p的被預(yù) 測的bin分配和殘差 為回歸損失函數(shù) 為分 類損失函數(shù) 將數(shù)據(jù)集投入PointRCNN目標(biāo)檢測網(wǎng)絡(luò)中訓(xùn) 練 損失函數(shù)隨迭代次數(shù)的變化趨勢如圖5所示 縱坐標(biāo)為損失函數(shù)值 橫坐標(biāo)為訓(xùn)練回合數(shù) 損失 值在迭代前期快速下降至0 5附近 在迭代中期略 有上升后重新下降 在迭代后期降至0 3附近 損失值 Loss value 2 0 1 8 1 6 1 4 1 2 1 0 0 8 0 6 0 4 0 2 020 2 020 4 020 6 020 8 020 10 020 12 020 14 020 16 020 18 020 20 020 回合數(shù) Epochs 圖 5 網(wǎng)絡(luò)損失值的變化曲線 Fig 5 Change curve of the loss value of the network 1 6 番茄果實成熟階段分類 對番茄果實成熟階段分類 首先 按照番茄果 實內(nèi)部的成熟情況對番茄果實的成熟階段分類 然 后分析番茄果實不同成熟階段顏色特征的差異 選 取合適的顏色特征組成特征矩陣訓(xùn)練SVM分類 器 最后利用訓(xùn)練好的SVM分類器 23 對PointRCNN 目標(biāo)檢測網(wǎng)絡(luò)識別出的番茄果實進(jìn)行成熟階段 判定 將番茄果實切開后 通過肉眼觀察番茄果實內(nèi) 部果肉顏色情況將番茄果實分為4種成熟階段 如 圖6所示 果肉部分呈綠色 約90 以上 為綠熟 果肉部分出現(xiàn)微紅 約占10 40 為微熟 果肉 部分呈紅色 約占40 90 為成熟 果肉部分完 全為紅色 約占90 以上 為完熟 選取番茄果實4個成熟階段的RGB圖像各 80張 總計320張RGB圖像作為樣本數(shù)據(jù) 使用 閾值法去除樣本圖像中背景像素 僅保留番茄果實 像素 并分別獲取番茄果實R G B 3個通道的像素 值 將RGB圖像數(shù)據(jù)轉(zhuǎn)換為HSV圖像數(shù)據(jù) 分別 獲取番茄果實S V 2個通道的像素值 其中 HSV 顏色模型中V分量為亮度分量 不做分析考慮 選 取平均值 方差 2個數(shù)字特征表征數(shù)據(jù)的分 布情況 分別計算番茄果實5個通道 R G B S V R G B S V R G B S V 像素值的3個數(shù)字特征作為番茄果實的10個顏色 特征 統(tǒng)計 計算得到番茄果實4個成熟階段的10個顏色特 征 并將4個成熟階段的同一顏色特征數(shù)據(jù)歸為一 組計算變異系數(shù) 如表1所示 a 綠熟 a Mature green b 微熟 b Breaker c 成熟 c Ripe d 完熟 d Fully ripe 圖 6 番茄果實的成熟階段 Fig 6 Ripening stage of tomato fruit 第 2 期 張先潔 等 基于彩色點云圖像的不同成熟階段番茄果實數(shù)量的測定方法 109 G G S G S G S V 分析表1可知 在5個顏色分量 R G B S V 的 平均值顏色特征中 顏色特征 在各成熟階段的均 值相差較為明顯 變異系數(shù)最大 表明顏色特征 分布較為離散 適宜作為區(qū)分各成熟階段的特征之 一 同理 選取方差顏色特征中 作為選定特征之 一 將剩余8個顏色特征依次與 2個顏色特 征組合成特征矩陣進(jìn)行SVM分類訓(xùn)練 選取預(yù)測 結(jié)果最優(yōu)的特征矩陣 作為最終選定的 特征矩陣 從320個樣本數(shù)據(jù)中隨機選擇60 的數(shù)據(jù)作 為訓(xùn)練集 40 的數(shù)據(jù)作為測試集 將訓(xùn)練集數(shù)據(jù) 的特征矩陣投入SVM分類器訓(xùn)練 使用訓(xùn)練好的 SVM分類器進(jìn)行預(yù)測 訓(xùn)練集的預(yù)測準(zhǔn)確率為 94 27 測試集的預(yù)測準(zhǔn)確率為96 09 1 7 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別番茄果實性能 通過2個方面對PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識 別方法的性能進(jìn)行評價 一方面是識別結(jié)果的數(shù)量 比較 即比較PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別出的番 茄果實的數(shù)量與點云中番茄果實數(shù)量 另一方面是 識別結(jié)果的位置比較 即比較PointRCNN目標(biāo)檢測 網(wǎng)絡(luò)識別出的番茄果實中心位置與點云中番茄果 實中心位置 針對識別結(jié)果的數(shù)量比較 將識別結(jié)果分為正 檢 錯檢和漏檢3類 如圖7所示 PointRCNN 目標(biāo)檢測網(wǎng)絡(luò)識別出的番茄果實總數(shù)量記為檢出 數(shù) ND 識別正確的番茄果實數(shù)量記為正檢數(shù) NC 識別錯誤的番茄果實數(shù)量記為錯檢數(shù) NF 未被識 別出的番茄果實數(shù)量記為漏檢數(shù) NM 點云中番茄 果實總數(shù)量記為參考數(shù) NR 通過計算精確率 AD 召回率 AR 對識別結(jié)果的數(shù)量方面進(jìn)行性能 評價 番茄果實數(shù)量識別的AD計算公式為 AD NCN D 100 4 番茄果實數(shù)量識別的AR計算公式為 AR NCN R 100 5 針對識別結(jié)果的位置比較 將PointRCNN目標(biāo) 檢測網(wǎng)絡(luò)識別結(jié)果3D框與人工標(biāo)注3D框做對比 統(tǒng)計 引入平均中心相對誤差 CR 作為PointRCNN 目標(biāo)檢測網(wǎng)絡(luò)識別結(jié)果位置方面的評價指標(biāo) 表 1 不同成熟階段的番茄果實顏色特征 Table 1 Color characteristics of tomato fruits at different ripening stages 顏色特征 Color feature 綠熟 Mature green 微熟 Breaker 成熟 Ripe 完熟 Fully ripe 變異系數(shù) Coefficient of variation R 141 88 181 70 184 16 204 71 12 17 G 120 48 181 78 141 47 72 35 31 14 B 72 56 104 14 87 92 66 99 21 77 S 127 12 114 28 127 06 176 60 17 56 V 120 63 184 04 184 21 204 72 12 62 R 1 265 75 1 777 64 1 930 25 1 876 25 27 45 G 1 636 00 1 853 18 1 288 50 1 209 70 34 39 B 882 39 1 186 65 1 083 63 1 029 84 35 69 S 426 20 334 06 488 73 742 12 57 12 V 1 637 36 1 835 46 1 927 17 1 876 10 26 59 a 正檢 a Correct detection b 錯檢 b False detection c 漏檢 c Missed detection 紅框為人工標(biāo)注框 綠框為識別結(jié)果框 The red box is the manual marking box and the green box is the recognition result box 圖 7 番茄果實識別結(jié)果分類示意圖 Fig 7 Classification diagram of tomato fruit recognition results 110 華南農(nóng)業(yè)大學(xué)學(xué)報 第 43 卷 CR的計算公式為 CR n i 1 Di Ri 6 式中 Di為中心距離 即第i個番茄果實的人工標(biāo)注 3D框中心與識別結(jié)果3D框中心的距離 Ri為標(biāo)注 框邊長均值 即第i個番茄果實的人工標(biāo)注3D框 的長 寬 高均值 2 結(jié)果與分析 2 1 番茄果實數(shù)量與位置識別結(jié)果 根據(jù)標(biāo)定得到的相機參數(shù)將采集到的252組 番茄植株圖像數(shù)據(jù)轉(zhuǎn)化生成252個番茄植株點云 通過點云配準(zhǔn)技術(shù)合成獲得246個合成的番茄植 株點云 使用標(biāo)注工具CloudCompare對合成的番 茄植株點云中番茄果實進(jìn)行標(biāo)注 隨機選取196個 的番茄植株點云標(biāo)注結(jié)果投入到PointRCNN目標(biāo) 檢測網(wǎng)絡(luò)中訓(xùn)練 利用訓(xùn)練好的模型對剩余的50個 合成的番茄植株點云進(jìn)行預(yù)測識別 并將預(yù)測結(jié)果 與人工標(biāo)注結(jié)果做統(tǒng)計對比 將PointRCNN目標(biāo)檢測網(wǎng)絡(luò)對50個番茄植株 點云的預(yù)測識別結(jié)果可視化 并統(tǒng)計PointRCNN目 標(biāo)檢測網(wǎng)絡(luò)識別出的番茄果實總數(shù) 識別正確的番 茄果實數(shù) 識別錯誤的番茄果實數(shù) 未被識別出的 番茄果實數(shù) 點云中番茄果實總數(shù) 如圖8所示 圖8a中番茄果實數(shù)為6 PointRCNN目標(biāo)檢測網(wǎng)絡(luò) 識別出的番茄果實數(shù)為5 識別錯誤的番茄果實數(shù) 為0 未被識別出的番茄果實數(shù)為1 a b c 紅框為人工標(biāo)注框 綠框為識別結(jié)果框 The red box is the manual marking box and the green box is the recognition result box 圖 8 番茄果實識別結(jié)果 Fig 8 Recognition results of tomato fruit 根據(jù) 1 7 針對番茄果實數(shù)量識別的評價指 標(biāo) 對50個番茄植株點云的預(yù)測結(jié)果進(jìn)行統(tǒng)計 計 算精確率和召回率 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別 番茄果實數(shù)量的參考數(shù) 檢出數(shù) 正檢數(shù) 錯檢數(shù) 漏檢數(shù)分別為277 268 231 37 46 精確率為 86 19 召回率為83 39 根據(jù) 1 7 針對番茄果實位置識別的評價指 標(biāo) 從50個番茄植株點云的預(yù)測結(jié)果中隨機選擇 50個番茄果實預(yù)測框與人工標(biāo)注框做對比統(tǒng)計 計 算平均中心相對誤差 如表2所示 平均中心相對 誤差為36 83 2 2 番茄果實成熟階段分類結(jié)果 遍歷獲取PointRCNN目標(biāo)檢測網(wǎng)絡(luò)對50個番 茄植株點云的預(yù)測結(jié)果框中的點云 獲取對應(yīng)的 RGB信息 計算得到結(jié)果框內(nèi)點云的特征矩陣 使 用訓(xùn)練好的SVM分類器對點云的特征矩陣進(jìn)行成 熟階段分類預(yù)測 分類結(jié)果顯示 綠熟果實112個 微熟果實72個 成熟果實55個 完熟果實29個 2 3 番茄果實成熟數(shù)量測定結(jié)果 設(shè)定移動平臺DashGo B1采取定點?？康男?走策略 利用DashGo B1搭載的KinectV2 0采集溫 室內(nèi)4行番茄植株的圖像數(shù)據(jù) 使用基于彩色點云 表 2 PointRCNN目標(biāo)檢測網(wǎng)絡(luò)識別番茄果實位置的精度 評價 Table 2 Accuracy evaluation of tomato fruit position recognition based on PointRCNN object detection network 點云序號 Point cloud sequence number 中心距離 Center distance Di 標(biāo)注框邊長均值 Mean side length of dimension box Ri 中心相對誤差 Center relative error CR 1 0 943 1 579 59 72 2 0 595 1 564 38 04 3 0 606 1 487 40 75 4 0 140 1 410 9 93 5 0 562 1 572 35 75 47 0 415 1 496 27 74 48 0 741 1 528 48 49 49 0 236 1 546 15 27 50 0 547 1 389 39 38 平均值 Mean 36 83 第 2 期 張先潔 等 基于彩色點云圖像的不同成熟階段番茄果實數(shù)量的測定方法 111 圖像的番茄成熟數(shù)量測定方法進(jìn)行數(shù)量測定 結(jié)果 顯示 綠熟果實448個 微熟果實393個 成熟果實 294個 完熟果實281個 共計1 416個 3 結(jié)論 1 本文提出了一種基于彩色點云圖像的番茄 果實數(shù)量測定方法 為消除遠(yuǎn)距離番茄果實的干 擾 減輕番茄果實遮擋 重疊等的影響 準(zhǔn)確評估不 同成熟階段的番茄果實數(shù)量 以二視角合成后的彩 色點云作為數(shù)據(jù)處理對象 通過深度信息截取近距 離點云 利用PointRCNN目標(biāo)檢測網(wǎng)絡(luò)獲取番茄果 實識別框 使用SVM分類器對番茄果實識別框進(jìn)行 成熟階段預(yù)測 2 針對番茄果實成熟階段分類識別 選取番茄 果實顏色特征組成特征矩陣訓(xùn)練SVM分類器 SVM分類器對訓(xùn)練集預(yù)測準(zhǔn)確率為94 27 對測 試集的預(yù)測準(zhǔn)確率為96 09 3 選取精確率和召回率2個指標(biāo)評價番茄果 實數(shù)量識別的精度 選取平均中心相對誤差指標(biāo)評 價番茄果實位置識別的精度 PointRCNN目標(biāo)檢測 網(wǎng)絡(luò)的番茄果實識別方法的精確率為86 19 召回 率為83 39 平均中心相對誤差為36 83 參考文獻(xiàn) 羅華 李敏 胡大剛 等 不同有機肥對肥城桃果實產(chǎn)量 及品質(zhì)的影響 J 植物營養(yǎng)與肥料學(xué)報 2012 18 4 955 964 1 武陽 王偉 雷廷武 等 調(diào)虧灌溉對滴灌成齡香梨果樹 生長及果實產(chǎn)量的影響 J 農(nóng)業(yè)工程學(xué)報 2012 28 11 118 124 2 GONG A YU J HE Y et al Citrus yield estimation based on images processed by an android mobile phone J Biosystems Engineering 2013 115 2 162 170 3 劉芳 劉玉坤 林森 等 基于改進(jìn)型YOLO的復(fù)雜環(huán) 境下番茄果實快速識別方法 J 農(nóng)業(yè)機械學(xué)報 2020 51 6 229 237 4 王曉楠 伍萍輝 馮青春 等 番茄采摘機器人系統(tǒng)設(shè)計 與試驗 J 農(nóng)機化研究 2016 38 4 94 98 5 SAEDI S I KHOSRAVI H A deep neural network ap proach towards real time on branch fruit recognition for precision horticulture J Expert Systems with Applica tions 2020 159 113594 6 司永勝 喬軍 劉剛 等 蘋果采摘機器人果實識別與定 位方法 J 農(nóng)業(yè)機械學(xué)報 2010 41 9 148 153 7 傅隆生 宋珍珍 ZHANG X 等 深度學(xué)習(xí)方法在農(nóng)業(yè) 信息中的研究進(jìn)展與應(yīng)用現(xiàn)狀 J 中國農(nóng)業(yè)大學(xué)學(xué)報 8 2020 25 2 105 120 PRZYBYLO J JABLONSKI M Using deep convolu tional neural network for oak acorn viability recognition based on color images of their sections J Computers and Electronics in Agriculture 2019 156 490 499 9 車金慶 王帆 呂繼東 等 重疊蘋果果實的分離識別方 法 J 江蘇農(nóng)業(yè)學(xué)報 2019 35 2 469 475 10 崔永杰 蘇帥 王霞霞 等 基于機器視覺的自然環(huán)境中 獼猴桃識別與特征提取 J 農(nóng)業(yè)機械學(xué)報 2013 44 5 247 252 11 ZHANG Y D DONG Z C CHEN X Q et al Image based fruit category classification by 13 layer deep con volutional neural network and data augmentation J Mul timedia Tools and Applications 2019 78 3 3613 3632 12 熊俊濤 鄭鎮(zhèn)輝 梁嘉恩 等 基于改進(jìn)YOLO v3網(wǎng)絡(luò) 的夜間環(huán)境柑橘識別方法 J 農(nóng)業(yè)機械學(xué)報 2020 51 4 199 206 13 PAYNE A B WALSH K B SUBEDI P P et al Estima tion of mango crop yield using image analysis Segment ation method J Computers and Electronics in Agricul ture 2013 91 57 64 14 賈偉寬 趙德安 劉曉洋 等 機器人采摘蘋果果實的 K means和GA RBF LMS神經(jīng)網(wǎng)絡(luò)識別 J 農(nóng)業(yè)工程 學(xué)報 2015 31 18 175 183 15 金保華 殷長魁 張衛(wèi)正 等 基于機器視覺的蘋果園果 實識別研究綜述 J 輕工學(xué)報 2019 34 2 71 81 16 SI Y S LIU G FENG J Location of apples in trees us ing stereoscopic vision J Computers and Electronics in Agriculture 2015 112 68 74 17 熊龍燁 王卓 何宇 等 果樹重建與果實識別方法在采 摘場景中的應(yīng)用 J 傳感器與微系統(tǒng) 2019 38 8 153 156 18 MEHTA S S BURKS T F Multi camera fruit localiza tion in robotic ha