北 方 園 藝 農(nóng)業(yè)信息技術(shù) 第一作者簡(jiǎn)介 徐濤 男 碩士研究生 研究方向?yàn)?機(jī)器人技術(shù) 責(zé)任作者 陳勇 男 博士 教授 博士生導(dǎo)師 現(xiàn)主 要從事機(jī)電一體化等研究工作 基金項(xiàng)目 國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目 收稿日期 基于三維點(diǎn)云的蔬菜大棚雜草識(shí)別方法 徐 濤 陳 勇 周 衛(wèi) 鵬 南京林業(yè)大學(xué) 機(jī)械電子工程學(xué)院 江蘇 南京 鎮(zhèn)江臨泰農(nóng)業(yè)科技有限公司 江蘇 鎮(zhèn)江 摘 要 為實(shí)現(xiàn)蔬菜大棚內(nèi)自動(dòng)化除草的目的 針對(duì)其中的雜草識(shí)別環(huán)節(jié) 提出了一種 基于三維點(diǎn)云的新型蔬菜大棚雜草識(shí)別方法 采用 相機(jī)獲取青菜田 生菜田的三 維點(diǎn)云圖像 采用超綠色算法去除其中的土壤等背景 采用體素濾波法在保留點(diǎn)云圖像形狀 特征的同時(shí)降低點(diǎn)云數(shù)量 然后采用歐式聚類法分割出單株青菜和單棵雜草的點(diǎn)云簇 分別 計(jì)算得到每個(gè)點(diǎn)云簇的最高點(diǎn)的 坐標(biāo)值 最后結(jié)合深度信息 坐標(biāo)值實(shí)現(xiàn)蔬菜大棚雜草 識(shí)別 結(jié)果表明 這種基于三維點(diǎn)云的雜草識(shí)別方法能夠有效的識(shí)別出雜草 識(shí)別率為 該方法能夠?qū)κ卟舜笈镏械碾s草進(jìn)行準(zhǔn)確識(shí)別 為蔬菜大棚自動(dòng)化除草提供有效 的解決方案 關(guān)鍵詞 蔬菜大棚 三維點(diǎn)云 體素濾波 歐式聚類 雜草識(shí)別 中圖分類號(hào) 文獻(xiàn)標(biāo)識(shí)碼 文章編號(hào) 蔬菜大棚智能控制作為設(shè)施農(nóng)業(yè)種植與生產(chǎn) 過(guò)程中的關(guān)鍵環(huán)節(jié) 是保障農(nóng)作物品質(zhì)的重要措 施 蔬菜大棚生產(chǎn)的有機(jī)蔬菜具有較高的經(jīng)濟(jì) 價(jià)值 能促進(jìn)有機(jī)農(nóng)業(yè)產(chǎn)值的迅速增長(zhǎng) 然而我 國(guó)大部分蔬菜大棚環(huán)境下除草方式是以農(nóng)藥噴灑 為主 導(dǎo)致綠色無(wú)污染的農(nóng)產(chǎn)品產(chǎn)量低下 不能滿 足人們的需求 自動(dòng)化除草則不同 這種方式對(duì) 環(huán)境友好且節(jié)省人工 而雜草識(shí)別作為自動(dòng)化除 草尤為重要的一環(huán)一直受到廣泛關(guān)注 雜草識(shí)別技術(shù)興起于 世紀(jì) 年代的美 國(guó) 至今國(guó)內(nèi)外依然有很多學(xué)者進(jìn)行這方面的研 究 采用實(shí)時(shí)學(xué)習(xí)的方法來(lái)對(duì)包 含雜草的作物圖像進(jìn)行特征提取 將直方圖數(shù)據(jù) 作為 算法的輸入 從而達(dá)到對(duì)圖像分割時(shí) 閾值的自適應(yīng)性 等 將深度學(xué)習(xí)與線路 檢測(cè)相結(jié)合來(lái)識(shí)別蔬菜田中的雜草 結(jié)果表明 甜 菜 菠菜和豆類的總體精確度分別為 和 喬永亮等 利用光譜成像儀采集雜草 與玉米的圖像 運(yùn)用多光譜融合與最大類間分差 法進(jìn)行背景的分割 其正確識(shí)別率為 雜草 識(shí)別通過(guò)圖像處理 光譜識(shí)別和深度學(xué)習(xí)等方法 取得了較好的效果 但依然存在泛化能力較差 受 設(shè)備和算法限制無(wú)法運(yùn)用到實(shí)際生產(chǎn)中等缺陷 同時(shí)他們研究的主要是根據(jù)雜草和作物之間的外 觀差異來(lái)進(jìn)行雜草的識(shí)別 對(duì)于結(jié)合深度信息來(lái) 進(jìn)行識(shí)別的研究較少 相機(jī)能生成三維點(diǎn)云 提供深度信 息 在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域得到了廣泛的應(yīng)用 仇瑞承等 利用 相機(jī)獲取田間玉米的彩 色圖像和深度圖像 對(duì)玉米圖像進(jìn)行提取 分割和 擬合等操作 實(shí)現(xiàn)單株玉米株高測(cè)量 平均誤差為 等 為了重建油菜幼苗的三 維冠層結(jié)構(gòu) 利用 相機(jī)建立了高通量立 體成像系統(tǒng) 該方法較二維成像系統(tǒng)更為精確 大部分研究利用 相機(jī)獲取的深度信息對(duì) 作物的表型參數(shù)例如莖粗 株高等進(jìn)行測(cè)量 對(duì)于 結(jié)合深度信息進(jìn)行目標(biāo)識(shí)別的研究較少 該研究為實(shí)現(xiàn)蔬菜大棚內(nèi)自動(dòng)化除草的目 的 針對(duì)其中的雜草識(shí)別部分 提出了一種基于三 維點(diǎn)云的蔬菜大棚雜草識(shí)別方法 以期達(dá)到準(zhǔn)確 識(shí)別雜草的作用 為蔬菜大棚自動(dòng)化除草提供參 考依據(jù) 對(duì)蔬菜大棚內(nèi)作物 利用 相機(jī) 以俯視拍攝的方式獲取其彩色點(diǎn)云圖像 通過(guò)各 種濾波算法的比較分析 土壤背景的去除采用超 綠色算法來(lái)實(shí)現(xiàn) 對(duì)于單株作物和單棵雜草的分 割 采用歐式聚類分割算法應(yīng)用于預(yù)處理后的點(diǎn) 云圖像 最后結(jié)合深度信息 坐標(biāo)值完成雜草 識(shí)別 材料與方法 試驗(yàn)材料 以青菜田為主要研究對(duì)象 在 系統(tǒng)下 利用 設(shè)計(jì)開(kāi)發(fā) 青菜田視覺(jué)信息采集系統(tǒng) 采用 相機(jī)作為 信息采集設(shè)備來(lái)獲取蔬菜大棚青菜田中青菜和雜 草的彩色三維點(diǎn)云圖像并保存 研究方法 相機(jī)所采集到的彩色三維點(diǎn)云數(shù)據(jù)主 要包括研究對(duì)象 雜草 青菜 以及背景 土壤 該 研究的目的是實(shí)現(xiàn)基于三維點(diǎn)云的蔬菜大棚雜草 識(shí)別 因此 首先要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)和背景 的分割 再通過(guò)歐式聚類分割算法得到單棵雜草 和單株青菜的點(diǎn)云簇 最后分別基于單個(gè)點(diǎn)云簇 對(duì)其進(jìn)行最高點(diǎn) 坐標(biāo)值的計(jì)算 據(jù)實(shí)地考察 青菜地絕大部分雜草與青菜有著明顯的高度差 異 通過(guò)分析比較選取恰當(dāng)?shù)?坐標(biāo)值作為閾值 判斷是否為雜草 雜草識(shí)別流程見(jiàn)圖 圖 雜草識(shí)別流程 三維點(diǎn)云數(shù)據(jù)的預(yù)處理 進(jìn)行雜草識(shí)別首先要做的是土壤背景的去 除 從視覺(jué)上看 作物多為綠色與土壤等背景之間 有明顯的顏色差異 主要的分割特征就是顏色特 征 該研究對(duì)三維彩色點(diǎn)云數(shù)據(jù)利用超綠色算法 去除土壤等背景 超綠色算法公式為 式 中 為閾值 為圖像中紅 綠 藍(lán)顏色分量 相機(jī)所采集到的三維點(diǎn)云圖像見(jiàn)圖 僅包含土壤背景 雜草以及作物 簡(jiǎn)化了后續(xù)的處 理步驟 所采集到的點(diǎn)云數(shù)據(jù)包含 信 息 其中坐標(biāo)系是以 相機(jī)光心為坐標(biāo)原點(diǎn) 軸跟鏡頭光軸重合的右手坐標(biāo)系 單位為 見(jiàn)圖 由于密集的有效點(diǎn)云數(shù)據(jù)會(huì)影響計(jì)算速 度 所以采用體素濾波法實(shí)現(xiàn)下采樣 在保持點(diǎn)云 形狀特征不變的前提下有效的減少點(diǎn)云數(shù)量 以 提高后續(xù)算法處理速度 其原理是通過(guò)輸入的 點(diǎn)云數(shù)據(jù)創(chuàng)建一個(gè)三維體素柵格 然后在每個(gè) 體素內(nèi) 用體素中所有點(diǎn)的重心來(lái)近似顯示體 素中其它點(diǎn) 這樣該體素內(nèi)所有點(diǎn)就用一個(gè)重 心點(diǎn)最終表示 對(duì)于所有體素處理后得到過(guò)濾 后的點(diǎn)云 聚類分割算法與 值計(jì)算 點(diǎn)云分割是根據(jù)空間 幾何和紋理等特征對(duì) 點(diǎn)云進(jìn)行劃分 使得同一劃分內(nèi)的點(diǎn)云具有相似 的特征 而在現(xiàn)實(shí)點(diǎn)云數(shù)據(jù)中 往往對(duì)場(chǎng)景中的 物體有一定先驗(yàn)知識(shí) 在蔬菜大棚中的青菜排列 整齊且兩者間保持一定的距離 從點(diǎn)云圖中可以 看出各棵雜草和各株青菜均沒(méi)有相互重疊的部 北 方 園 藝 月 下 圖 三維點(diǎn)云圖像 圖 相機(jī)坐標(biāo)系 分 針對(duì)這種個(gè)體有較明顯的位置距離的情況 歐幾里得聚類分割算法是個(gè)較好的選擇 它的原 理為考 察 個(gè) 數(shù) 據(jù) 點(diǎn) 設(shè) 個(gè) 數(shù) 據(jù) 點(diǎn) 共 組 成 類 在 維空間數(shù)據(jù)中定義某種性質(zhì)的點(diǎn)與點(diǎn) 之間的親疏聚類 然后將具有最小距離的兩類合 為一類 并迭代計(jì)算類之間的距離 直到所有類別 之間的距離大于固定閾值或類的個(gè)數(shù)小于指定的 個(gè)數(shù)完成分割 固定閾值公式為 式 中 為點(diǎn)云中 組點(diǎn)云集 沒(méi)有交集 分別為 中的某一點(diǎn) 為 固定閾值 歐式聚類算法具體的流程如下 對(duì)原始點(diǎn)云集合 創(chuàng)建 創(chuàng)建聚類 和點(diǎn)序列 創(chuàng)建完畢后的聚類 和序列 此 時(shí)都是空集 將 中的某個(gè)點(diǎn) 添加到序列 中 搜 索以點(diǎn) 為圓心 為半徑的圓范圍內(nèi)所有臨近 點(diǎn)并構(gòu)成集合 對(duì)集合 中的每一點(diǎn)進(jìn)行檢 測(cè) 查看所有點(diǎn)是否都處理過(guò) 如果有未處理的 點(diǎn) 則將這個(gè)點(diǎn)添加到序列 當(dāng)序列 中的所 有點(diǎn)都 處 理 過(guò) 將 序 列 添 加 到 聚 類 并 清 空 對(duì)步驟 進(jìn)行重復(fù)運(yùn)算 直到原始點(diǎn)云集 合 中所有點(diǎn)都處理過(guò) 并且成為一個(gè)聚類的一 部分 蔬菜大棚中的土壤較為平整 且采集三維 點(diǎn)云圖像時(shí)相機(jī)光心垂直于地面 所獲取的土 壤點(diǎn)云的平均深度即可看作是相機(jī)光心與土壤 之間的垂直距離 記作 對(duì)蔬菜大棚中常見(jiàn) 雜草做高度統(tǒng)計(jì) 設(shè)定 為絕大部分雜草高度 閾值 對(duì)聚類后的單株作物與單顆雜草點(diǎn)云圖 像 分別編程得到它們最高點(diǎn)的 值記為 為相機(jī)光心與雜草或作物最高點(diǎn)之間的距離 雜草識(shí)別公式為 結(jié)果與分析 土壤背景去除 土壤背景的去除是實(shí)現(xiàn)歐式聚類的前提 該研究采用超綠色算法作為背景分割的方法 不同的農(nóng)田環(huán)境固定閾值有所不同 在蔬菜大 棚內(nèi)青菜地環(huán)境下 經(jīng)過(guò)一定的固定閾值嘗試 閾值 選擇為 效果最佳 土壤點(diǎn)云基本被去 除干凈且作物點(diǎn)云被很好的保留 圖 點(diǎn)云 圖像上有將近 萬(wàn)個(gè)帶有 信息的點(diǎn) 處理過(guò)程較為耗時(shí) 故采用體素濾波來(lái)進(jìn)行預(yù) 處理 該研究中 設(shè)置創(chuàng)建的體素大小為 的立方 體 把 經(jīng) 過(guò) 體 素 濾 波 后 的 點(diǎn) 云 圖 像 與 圖 對(duì)比可發(fā)現(xiàn) 張圖像從形狀特征 空間結(jié) 構(gòu)上完全一致 查看圖像信息可知點(diǎn)云圖像上 的點(diǎn)從 個(gè)點(diǎn)減少到了 個(gè)點(diǎn) 加 快了后續(xù)算法處理速度 圖 固定閾值為 效果 第 期 北 方 園 藝 單株作物與單棵雜草的聚類分割 從圖 可以看出 圖像中還存在著許多很小 的綠色個(gè)體 判斷為雜草幼苗 由于其尚處于幼生 期 不影響蔬菜大棚內(nèi)作物的生長(zhǎng) 所以不在該次 實(shí)驗(yàn)的處理范圍 調(diào)節(jié)聚類參數(shù)時(shí) 采用 搜索方式 設(shè)置聚類搜索半徑為 最小聚 類點(diǎn)數(shù)為 最大聚類點(diǎn)數(shù)為 經(jīng)過(guò)觀察 可知 雜草幼苗點(diǎn)云包含的點(diǎn)個(gè)數(shù)與要聚類的對(duì) 象差別較大 所以可以通過(guò)限制最小聚類點(diǎn)的個(gè) 數(shù)來(lái)將雜草幼苗點(diǎn)云去除 歐式聚類算法成功的 將一副完整的點(diǎn)云圖像分割成 幅包含單獨(dú)個(gè) 體的點(diǎn)云圖像 閾值設(shè)定與雜草識(shí)別 對(duì) 個(gè)單獨(dú)的聚類個(gè)體 通過(guò)編程分別計(jì)算 求取最高點(diǎn)的 值 得到的單株作物或單棵雜 草最高點(diǎn)的 值即可看作雜草或作物最高點(diǎn)和 相機(jī)光心之間的距離 測(cè)量單株作物與單棵雜草 的最高點(diǎn)到相機(jī)光心的距離 編程得到的 值與 實(shí)際測(cè)量值誤差在 由圖 可知 雜草 和作物有明顯的高度差 這部分誤差不影響試驗(yàn) 結(jié)果 忽略不計(jì) 由圖 可知 大部分最高點(diǎn)的 值在 有 個(gè)聚類中心點(diǎn)的 值在 判斷為雜草 查看相應(yīng)聚類編號(hào)為 的點(diǎn)云圖像 確認(rèn)為雜草點(diǎn)云圖像 圖 雜草與作物高度 該研究中對(duì)蔬菜大棚常見(jiàn)雜草進(jìn)行了大量的 樣本測(cè)量 統(tǒng)計(jì)其最高點(diǎn)位置離地距離 結(jié)果表 明 蔬菜大棚內(nèi)絕大部分雜草最高點(diǎn)高度在 以內(nèi) 土壤點(diǎn)云可通過(guò)超綠色算法的原理將具有 超綠特征的點(diǎn)從圖像中刪除獲得 土壤點(diǎn)云見(jiàn)圖 計(jì)算得到其平均深度為 根據(jù)式 閾值為 此處 閾值只適用于當(dāng) 前圖像 對(duì)于最高點(diǎn) 值大于 閾值的聚類對(duì) 象判斷為雜草 對(duì)于小于 閾值的聚類對(duì)象判斷 為作物 由圖 可知 原圖像中的雜草全部成功識(shí) 圖 雜草與作物最高點(diǎn) 值統(tǒng)計(jì) 圖 土壤點(diǎn)云圖像 圖 處理后點(diǎn)云圖像 別 為了驗(yàn)證該研究所提出的雜草識(shí)別方法的準(zhǔn) 確性和識(shí)別率 采集 張點(diǎn)云圖像樣本進(jìn)行測(cè) 試 每 張點(diǎn)云圖像分為一組 共分為 組 統(tǒng)計(jì) 每組種實(shí)際的雜草棵數(shù)和識(shí)別到的雜草棵數(shù) 識(shí) 別率為 圖 該研究對(duì)次要研究對(duì)象生菜田內(nèi)生菜和雜草 同樣進(jìn)行了點(diǎn)云數(shù)據(jù)采集并識(shí)別 生菜田點(diǎn)云圖 像見(jiàn)圖 雜草識(shí)別效果見(jiàn)圖 該研究結(jié)果表 明 基于三維點(diǎn)云的蔬菜大棚雜草識(shí)別方法對(duì)生 北 方 園 藝 月 下 圖 實(shí)際雜草棵數(shù)與識(shí)別到的雜草棵數(shù)統(tǒng)計(jì) 圖 生菜田點(diǎn)云圖像 圖 雜草識(shí)別效果 菜田也同樣適用 結(jié)合該研究所使用的算法原理 可以推論 在蔬菜大棚中雜草和作物有明顯高度 差異且作物生長(zhǎng)較為稀疏的場(chǎng)景 這種識(shí)別方法 均有很好的效果 討論 該研究基于三維點(diǎn)云的蔬菜大棚雜草識(shí)別方 法 相較于二維圖像上的雜草識(shí)別 該種結(jié)合深度 信息的識(shí)別方法能夠更有效的應(yīng)用于自動(dòng)化除草 中 該方法識(shí)別率較高 識(shí)別范圍較廣 能適應(yīng)多 種蔬菜大棚內(nèi)環(huán)境如青菜田 生菜田等 為自動(dòng)化 除草中的雜草識(shí)別環(huán)節(jié)提供了良好的技術(shù)支持 然而該研究依然存在一些不足與限制 土壤 表面的平整程度對(duì)識(shí)別效果存在一定影響 若雜 草長(zhǎng)于土地中較高的位置或者作物生長(zhǎng)在較低的 位置 均有可能產(chǎn)生錯(cuò)誤識(shí)別 對(duì)于雜草種類有一 定的限制 葉片寬大且低矮的雜草能夠被很好的 識(shí)別 而葉片細(xì)長(zhǎng)型的雜草由于其點(diǎn)云圖像不能 夠被很好的采集 存在葉片缺失等情況 故在該研 究中所用的試驗(yàn)樣本皆為葉片寬大且低矮的雜 草 若雜草和作物有接觸 在實(shí)行聚類算法時(shí)會(huì)判 定為一個(gè)聚類 同樣會(huì)對(duì)識(shí)別效果產(chǎn)生影響 對(duì) 于以上這些問(wèn)題 還有待進(jìn)一步的系統(tǒng)研究 結(jié)論 為實(shí)現(xiàn)蔬菜大棚自動(dòng)化除草的目的 針對(duì)其 中的雜草識(shí)別環(huán)節(jié) 提出了一種基于三維點(diǎn)云的 蔬菜大棚雜草識(shí)別方法 采用俯視的拍攝角度采 集蔬菜大棚作物的點(diǎn)云圖像 對(duì)于土壤等復(fù)雜背 景 提出采用超綠色算法來(lái)達(dá)到保留作物與雜草 點(diǎn)云圖像的目的 對(duì)于包含有作物與雜草的點(diǎn)云 圖像 提出采用歐式聚類分割的方法 分割出單棵 雜草和單株作物的點(diǎn)云圖像 對(duì)于分割后的單獨(dú) 圖像 提出基于三維點(diǎn)云結(jié)合深度信息 坐標(biāo)值 來(lái)進(jìn)行雜草識(shí)別的研究方法 該研究結(jié)果表明 基于三維點(diǎn)云進(jìn)行雜草識(shí)別的方法是可行的 對(duì) 于蔬菜大棚中雜草和作物有明顯高度差異且生長(zhǎng) 較為稀疏的場(chǎng)景都有很好的識(shí)別率 具有普適性 參考文獻(xiàn) 姜威 基于 的蔬菜大棚智能控制系統(tǒng)設(shè)計(jì)與 實(shí)現(xiàn) 桂林 廣西師范大學(xué) 王生生 王順 張航 等 基于輕量和積網(wǎng)絡(luò)及無(wú)人機(jī)遙感圖 像的大豆田雜草識(shí)別 農(nóng)業(yè)工程學(xué)報(bào) 顏秉忠 機(jī)器視覺(jué)技術(shù)在玉米苗期雜草識(shí)別中的應(yīng)用 農(nóng)機(jī)化研究 王海華 朱夢(mèng)婷 李莉 等 基于剪切波變換和無(wú)人機(jī)麥田圖 像的區(qū)域雜草識(shí)別方法 農(nóng)業(yè) 工 程 學(xué) 報(bào) 祖琴 張水發(fā) 曹陽(yáng) 等 結(jié)合光譜圖像技術(shù)和 分類法 的甘藍(lán)中雜草識(shí)別研究 光譜學(xué)與光譜分析 第 期 北 方 園 藝 喬永亮 何東健 趙川源 等 基于多光譜圖像和 的玉 米田間雜草識(shí)別 農(nóng)機(jī)化研究 李秋潔 鄭加強(qiáng) 周宏平 等 基于變尺度格網(wǎng)索引與機(jī)器學(xué) 習(xí)的行道樹(shù)靶標(biāo)點(diǎn)云識(shí)別 農(nóng)業(yè)機(jī)械學(xué)報(bào) 徐勝勇 盧昆等 基于 相機(jī)的油菜分枝三維重構(gòu)與 角果識(shí)別定位 農(nóng)業(yè)機(jī)械學(xué)報(bào) 楊斯 高萬(wàn)林 米家奇 等 基于 相機(jī)的蔬菜苗群體 株高測(cè)量方法 農(nóng)業(yè)機(jī)械學(xué)報(bào) 仇瑞承 苗艷龍 季宇寒 等 基于 相機(jī)的單株玉米 株高測(cè)量方法 農(nóng)業(yè)機(jī)械學(xué)報(bào) 北 方 園 藝 月 下