北 方 園 藝 農(nóng)業(yè)信息技術(shù) 第一作者簡介 徐濤 男 碩士研究生 研究方向為 機器人技術(shù) 責(zé)任作者 陳勇 男 博士 教授 博士生導(dǎo)師 現(xiàn)主 要從事機電一體化等研究工作 基金項目 國家重點研發(fā)計劃資助項目 收稿日期 基于三維點云的蔬菜大棚雜草識別方法 徐 濤 陳 勇 周 衛(wèi) 鵬 南京林業(yè)大學(xué) 機械電子工程學(xué)院 江蘇 南京 鎮(zhèn)江臨泰農(nóng)業(yè)科技有限公司 江蘇 鎮(zhèn)江 摘 要 為實現(xiàn)蔬菜大棚內(nèi)自動化除草的目的 針對其中的雜草識別環(huán)節(jié) 提出了一種 基于三維點云的新型蔬菜大棚雜草識別方法 采用 相機獲取青菜田 生菜田的三 維點云圖像 采用超綠色算法去除其中的土壤等背景 采用體素濾波法在保留點云圖像形狀 特征的同時降低點云數(shù)量 然后采用歐式聚類法分割出單株青菜和單棵雜草的點云簇 分別 計算得到每個點云簇的最高點的 坐標(biāo)值 最后結(jié)合深度信息 坐標(biāo)值實現(xiàn)蔬菜大棚雜草 識別 結(jié)果表明 這種基于三維點云的雜草識別方法能夠有效的識別出雜草 識別率為 該方法能夠?qū)κ卟舜笈镏械碾s草進(jìn)行準(zhǔn)確識別 為蔬菜大棚自動化除草提供有效 的解決方案 關(guān)鍵詞 蔬菜大棚 三維點云 體素濾波 歐式聚類 雜草識別 中圖分類號 文獻(xiàn)標(biāo)識碼 文章編號 蔬菜大棚智能控制作為設(shè)施農(nóng)業(yè)種植與生產(chǎn) 過程中的關(guān)鍵環(huán)節(jié) 是保障農(nóng)作物品質(zhì)的重要措 施 蔬菜大棚生產(chǎn)的有機蔬菜具有較高的經(jīng)濟(jì) 價值 能促進(jìn)有機農(nóng)業(yè)產(chǎn)值的迅速增長 然而我 國大部分蔬菜大棚環(huán)境下除草方式是以農(nóng)藥噴灑 為主 導(dǎo)致綠色無污染的農(nóng)產(chǎn)品產(chǎn)量低下 不能滿 足人們的需求 自動化除草則不同 這種方式對 環(huán)境友好且節(jié)省人工 而雜草識別作為自動化除 草尤為重要的一環(huán)一直受到廣泛關(guān)注 雜草識別技術(shù)興起于 世紀(jì) 年代的美 國 至今國內(nèi)外依然有很多學(xué)者進(jìn)行這方面的研 究 采用實時學(xué)習(xí)的方法來對包 含雜草的作物圖像進(jìn)行特征提取 將直方圖數(shù)據(jù) 作為 算法的輸入 從而達(dá)到對圖像分割時 閾值的自適應(yīng)性 等 將深度學(xué)習(xí)與線路 檢測相結(jié)合來識別蔬菜田中的雜草 結(jié)果表明 甜 菜 菠菜和豆類的總體精確度分別為 和 喬永亮等 利用光譜成像儀采集雜草 與玉米的圖像 運用多光譜融合與最大類間分差 法進(jìn)行背景的分割 其正確識別率為 雜草 識別通過圖像處理 光譜識別和深度學(xué)習(xí)等方法 取得了較好的效果 但依然存在泛化能力較差 受 設(shè)備和算法限制無法運用到實際生產(chǎn)中等缺陷 同時他們研究的主要是根據(jù)雜草和作物之間的外 觀差異來進(jìn)行雜草的識別 對于結(jié)合深度信息來 進(jìn)行識別的研究較少 相機能生成三維點云 提供深度信 息 在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域得到了廣泛的應(yīng)用 仇瑞承等 利用 相機獲取田間玉米的彩 色圖像和深度圖像 對玉米圖像進(jìn)行提取 分割和 擬合等操作 實現(xiàn)單株玉米株高測量 平均誤差為 等 為了重建油菜幼苗的三 維冠層結(jié)構(gòu) 利用 相機建立了高通量立 體成像系統(tǒng) 該方法較二維成像系統(tǒng)更為精確 大部分研究利用 相機獲取的深度信息對 作物的表型參數(shù)例如莖粗 株高等進(jìn)行測量 對于 結(jié)合深度信息進(jìn)行目標(biāo)識別的研究較少 該研究為實現(xiàn)蔬菜大棚內(nèi)自動化除草的目 的 針對其中的雜草識別部分 提出了一種基于三 維點云的蔬菜大棚雜草識別方法 以期達(dá)到準(zhǔn)確 識別雜草的作用 為蔬菜大棚自動化除草提供參 考依據(jù) 對蔬菜大棚內(nèi)作物 利用 相機 以俯視拍攝的方式獲取其彩色點云圖像 通過各 種濾波算法的比較分析 土壤背景的去除采用超 綠色算法來實現(xiàn) 對于單株作物和單棵雜草的分 割 采用歐式聚類分割算法應(yīng)用于預(yù)處理后的點 云圖像 最后結(jié)合深度信息 坐標(biāo)值完成雜草 識別 材料與方法 試驗材料 以青菜田為主要研究對象 在 系統(tǒng)下 利用 設(shè)計開發(fā) 青菜田視覺信息采集系統(tǒng) 采用 相機作為 信息采集設(shè)備來獲取蔬菜大棚青菜田中青菜和雜 草的彩色三維點云圖像并保存 研究方法 相機所采集到的彩色三維點云數(shù)據(jù)主 要包括研究對象 雜草 青菜 以及背景 土壤 該 研究的目的是實現(xiàn)基于三維點云的蔬菜大棚雜草 識別 因此 首先要對點云數(shù)據(jù)進(jìn)行目標(biāo)和背景 的分割 再通過歐式聚類分割算法得到單棵雜草 和單株青菜的點云簇 最后分別基于單個點云簇 對其進(jìn)行最高點 坐標(biāo)值的計算 據(jù)實地考察 青菜地絕大部分雜草與青菜有著明顯的高度差 異 通過分析比較選取恰當(dāng)?shù)?坐標(biāo)值作為閾值 判斷是否為雜草 雜草識別流程見圖 圖 雜草識別流程 三維點云數(shù)據(jù)的預(yù)處理 進(jìn)行雜草識別首先要做的是土壤背景的去 除 從視覺上看 作物多為綠色與土壤等背景之間 有明顯的顏色差異 主要的分割特征就是顏色特 征 該研究對三維彩色點云數(shù)據(jù)利用超綠色算法 去除土壤等背景 超綠色算法公式為 式 中 為閾值 為圖像中紅 綠 藍(lán)顏色分量 相機所采集到的三維點云圖像見圖 僅包含土壤背景 雜草以及作物 簡化了后續(xù)的處 理步驟 所采集到的點云數(shù)據(jù)包含 信 息 其中坐標(biāo)系是以 相機光心為坐標(biāo)原點 軸跟鏡頭光軸重合的右手坐標(biāo)系 單位為 見圖 由于密集的有效點云數(shù)據(jù)會影響計算速 度 所以采用體素濾波法實現(xiàn)下采樣 在保持點云 形狀特征不變的前提下有效的減少點云數(shù)量 以 提高后續(xù)算法處理速度 其原理是通過輸入的 點云數(shù)據(jù)創(chuàng)建一個三維體素柵格 然后在每個 體素內(nèi) 用體素中所有點的重心來近似顯示體 素中其它點 這樣該體素內(nèi)所有點就用一個重 心點最終表示 對于所有體素處理后得到過濾 后的點云 聚類分割算法與 值計算 點云分割是根據(jù)空間 幾何和紋理等特征對 點云進(jìn)行劃分 使得同一劃分內(nèi)的點云具有相似 的特征 而在現(xiàn)實點云數(shù)據(jù)中 往往對場景中的 物體有一定先驗知識 在蔬菜大棚中的青菜排列 整齊且兩者間保持一定的距離 從點云圖中可以 看出各棵雜草和各株青菜均沒有相互重疊的部 北 方 園 藝 月 下 圖 三維點云圖像 圖 相機坐標(biāo)系 分 針對這種個體有較明顯的位置距離的情況 歐幾里得聚類分割算法是個較好的選擇 它的原 理為考 察 個 數(shù) 據(jù) 點 設(shè) 個 數(shù) 據(jù) 點 共 組 成 類 在 維空間數(shù)據(jù)中定義某種性質(zhì)的點與點 之間的親疏聚類 然后將具有最小距離的兩類合 為一類 并迭代計算類之間的距離 直到所有類別 之間的距離大于固定閾值或類的個數(shù)小于指定的 個數(shù)完成分割 固定閾值公式為 式 中 為點云中 組點云集 沒有交集 分別為 中的某一點 為 固定閾值 歐式聚類算法具體的流程如下 對原始點云集合 創(chuàng)建 創(chuàng)建聚類 和點序列 創(chuàng)建完畢后的聚類 和序列 此 時都是空集 將 中的某個點 添加到序列 中 搜 索以點 為圓心 為半徑的圓范圍內(nèi)所有臨近 點并構(gòu)成集合 對集合 中的每一點進(jìn)行檢 測 查看所有點是否都處理過 如果有未處理的 點 則將這個點添加到序列 當(dāng)序列 中的所 有點都 處 理 過 將 序 列 添 加 到 聚 類 并 清 空 對步驟 進(jìn)行重復(fù)運算 直到原始點云集 合 中所有點都處理過 并且成為一個聚類的一 部分 蔬菜大棚中的土壤較為平整 且采集三維 點云圖像時相機光心垂直于地面 所獲取的土 壤點云的平均深度即可看作是相機光心與土壤 之間的垂直距離 記作 對蔬菜大棚中常見 雜草做高度統(tǒng)計 設(shè)定 為絕大部分雜草高度 閾值 對聚類后的單株作物與單顆雜草點云圖 像 分別編程得到它們最高點的 值記為 為相機光心與雜草或作物最高點之間的距離 雜草識別公式為 結(jié)果與分析 土壤背景去除 土壤背景的去除是實現(xiàn)歐式聚類的前提 該研究采用超綠色算法作為背景分割的方法 不同的農(nóng)田環(huán)境固定閾值有所不同 在蔬菜大 棚內(nèi)青菜地環(huán)境下 經(jīng)過一定的固定閾值嘗試 閾值 選擇為 效果最佳 土壤點云基本被去 除干凈且作物點云被很好的保留 圖 點云 圖像上有將近 萬個帶有 信息的點 處理過程較為耗時 故采用體素濾波來進(jìn)行預(yù) 處理 該研究中 設(shè)置創(chuàng)建的體素大小為 的立方 體 把 經(jīng) 過 體 素 濾 波 后 的 點 云 圖 像 與 圖 對比可發(fā)現(xiàn) 張圖像從形狀特征 空間結(jié) 構(gòu)上完全一致 查看圖像信息可知點云圖像上 的點從 個點減少到了 個點 加 快了后續(xù)算法處理速度 圖 固定閾值為 效果 第 期 北 方 園 藝 單株作物與單棵雜草的聚類分割 從圖 可以看出 圖像中還存在著許多很小 的綠色個體 判斷為雜草幼苗 由于其尚處于幼生 期 不影響蔬菜大棚內(nèi)作物的生長 所以不在該次 實驗的處理范圍 調(diào)節(jié)聚類參數(shù)時 采用 搜索方式 設(shè)置聚類搜索半徑為 最小聚 類點數(shù)為 最大聚類點數(shù)為 經(jīng)過觀察 可知 雜草幼苗點云包含的點個數(shù)與要聚類的對 象差別較大 所以可以通過限制最小聚類點的個 數(shù)來將雜草幼苗點云去除 歐式聚類算法成功的 將一副完整的點云圖像分割成 幅包含單獨個 體的點云圖像 閾值設(shè)定與雜草識別 對 個單獨的聚類個體 通過編程分別計算 求取最高點的 值 得到的單株作物或單棵雜 草最高點的 值即可看作雜草或作物最高點和 相機光心之間的距離 測量單株作物與單棵雜草 的最高點到相機光心的距離 編程得到的 值與 實際測量值誤差在 由圖 可知 雜草 和作物有明顯的高度差 這部分誤差不影響試驗 結(jié)果 忽略不計 由圖 可知 大部分最高點的 值在 有 個聚類中心點的 值在 判斷為雜草 查看相應(yīng)聚類編號為 的點云圖像 確認(rèn)為雜草點云圖像 圖 雜草與作物高度 該研究中對蔬菜大棚常見雜草進(jìn)行了大量的 樣本測量 統(tǒng)計其最高點位置離地距離 結(jié)果表 明 蔬菜大棚內(nèi)絕大部分雜草最高點高度在 以內(nèi) 土壤點云可通過超綠色算法的原理將具有 超綠特征的點從圖像中刪除獲得 土壤點云見圖 計算得到其平均深度為 根據(jù)式 閾值為 此處 閾值只適用于當(dāng) 前圖像 對于最高點 值大于 閾值的聚類對 象判斷為雜草 對于小于 閾值的聚類對象判斷 為作物 由圖 可知 原圖像中的雜草全部成功識 圖 雜草與作物最高點 值統(tǒng)計 圖 土壤點云圖像 圖 處理后點云圖像 別 為了驗證該研究所提出的雜草識別方法的準(zhǔn) 確性和識別率 采集 張點云圖像樣本進(jìn)行測 試 每 張點云圖像分為一組 共分為 組 統(tǒng)計 每組種實際的雜草棵數(shù)和識別到的雜草棵數(shù) 識 別率為 圖 該研究對次要研究對象生菜田內(nèi)生菜和雜草 同樣進(jìn)行了點云數(shù)據(jù)采集并識別 生菜田點云圖 像見圖 雜草識別效果見圖 該研究結(jié)果表 明 基于三維點云的蔬菜大棚雜草識別方法對生 北 方 園 藝 月 下 圖 實際雜草棵數(shù)與識別到的雜草棵數(shù)統(tǒng)計 圖 生菜田點云圖像 圖 雜草識別效果 菜田也同樣適用 結(jié)合該研究所使用的算法原理 可以推論 在蔬菜大棚中雜草和作物有明顯高度 差異且作物生長較為稀疏的場景 這種識別方法 均有很好的效果 討論 該研究基于三維點云的蔬菜大棚雜草識別方 法 相較于二維圖像上的雜草識別 該種結(jié)合深度 信息的識別方法能夠更有效的應(yīng)用于自動化除草 中 該方法識別率較高 識別范圍較廣 能適應(yīng)多 種蔬菜大棚內(nèi)環(huán)境如青菜田 生菜田等 為自動化 除草中的雜草識別環(huán)節(jié)提供了良好的技術(shù)支持 然而該研究依然存在一些不足與限制 土壤 表面的平整程度對識別效果存在一定影響 若雜 草長于土地中較高的位置或者作物生長在較低的 位置 均有可能產(chǎn)生錯誤識別 對于雜草種類有一 定的限制 葉片寬大且低矮的雜草能夠被很好的 識別 而葉片細(xì)長型的雜草由于其點云圖像不能 夠被很好的采集 存在葉片缺失等情況 故在該研 究中所用的試驗樣本皆為葉片寬大且低矮的雜 草 若雜草和作物有接觸 在實行聚類算法時會判 定為一個聚類 同樣會對識別效果產(chǎn)生影響 對 于以上這些問題 還有待進(jìn)一步的系統(tǒng)研究 結(jié)論 為實現(xiàn)蔬菜大棚自動化除草的目的 針對其 中的雜草識別環(huán)節(jié) 提出了一種基于三維點云的 蔬菜大棚雜草識別方法 采用俯視的拍攝角度采 集蔬菜大棚作物的點云圖像 對于土壤等復(fù)雜背 景 提出采用超綠色算法來達(dá)到保留作物與雜草 點云圖像的目的 對于包含有作物與雜草的點云 圖像 提出采用歐式聚類分割的方法 分割出單棵 雜草和單株作物的點云圖像 對于分割后的單獨 圖像 提出基于三維點云結(jié)合深度信息 坐標(biāo)值 來進(jìn)行雜草識別的研究方法 該研究結(jié)果表明 基于三維點云進(jìn)行雜草識別的方法是可行的 對 于蔬菜大棚中雜草和作物有明顯高度差異且生長 較為稀疏的場景都有很好的識別率 具有普適性 參考文獻(xiàn) 姜威 基于 的蔬菜大棚智能控制系統(tǒng)設(shè)計與 實現(xiàn) 桂林 廣西師范大學(xué) 王生生 王順 張航 等 基于輕量和積網(wǎng)絡(luò)及無人機遙感圖 像的大豆田雜草識別 農(nóng)業(yè)工程學(xué)報 顏秉忠 機器視覺技術(shù)在玉米苗期雜草識別中的應(yīng)用 農(nóng)機化研究 王海華 朱夢婷 李莉 等 基于剪切波變換和無人機麥田圖 像的區(qū)域雜草識別方法 農(nóng)業(yè) 工 程 學(xué) 報 祖琴 張水發(fā) 曹陽 等 結(jié)合光譜圖像技術(shù)和 分類法 的甘藍(lán)中雜草識別研究 光譜學(xué)與光譜分析 第 期 北 方 園 藝 喬永亮 何東健 趙川源 等 基于多光譜圖像和 的玉 米田間雜草識別 農(nóng)機化研究 李秋潔 鄭加強 周宏平 等 基于變尺度格網(wǎng)索引與機器學(xué) 習(xí)的行道樹靶標(biāo)點云識別 農(nóng)業(yè)機械學(xué)報 徐勝勇 盧昆等 基于 相機的油菜分枝三維重構(gòu)與 角果識別定位 農(nóng)業(yè)機械學(xué)報 楊斯 高萬林 米家奇 等 基于 相機的蔬菜苗群體 株高測量方法 農(nóng)業(yè)機械學(xué)報 仇瑞承 苗艷龍 季宇寒 等 基于 相機的單株玉米 株高測量方法 農(nóng)業(yè)機械學(xué)報 北 方 園 藝 月 下