第 卷第 期 西 南 大 學(xué) 學(xué) 報 自然科學(xué)版 年 月 穴盤苗發(fā)芽率在線視覺檢測研究 張 帆 楊 勇 駱少明 黃 福 成克強 廣東技術(shù)師范大學(xué) 機電學(xué)院 廣州 工業(yè)和信息化部電子第五研究所 廣州 摘要 植物工廠實現(xiàn)大規(guī)模 高速和自動化作業(yè)需要快速 精準(zhǔn)地掌握種苗發(fā)芽生長信息 在線檢測是關(guān)鍵 本文 設(shè)計了一套基于機器學(xué)習(xí)的在線視覺檢測系統(tǒng) 用于檢測穴盤苗的發(fā)芽率 并計算種苗的生長方向 進(jìn)而定位種苗 所在的穴位 該系統(tǒng)用數(shù)字相機聯(lián)網(wǎng)技術(shù) 采集穴盤苗圖像 基于機器學(xué)習(xí)方法制作訓(xùn)練樣本 構(gòu)建訓(xùn)練集和測試 集 通過多視圖融合方法估計每個穴位有苗的可信度 并依據(jù)可信度來判斷發(fā)芽率情況 試驗結(jié)果表明 單視圖檢 測種苗速度快 誤檢率低 但檢出率較低 采用多視圖融合的方法后穴盤苗檢出率達(dá)到 穴位檢出率達(dá)到 本文提出的多視圖融合估計可信度方法具有較高的檢測精度 而且精度仍有提升的空間 研究結(jié)果可為單 粒播種的大規(guī)模 高速和自動化作業(yè)提供技術(shù)參考 關(guān) 鍵 詞 植物工廠 機器學(xué)習(xí) 穴盤苗 機器視覺 在線視覺檢測 中圖分類號 文獻(xiàn)標(biāo)志碼 文 章 編 號 收稿日期 基金項目 廣東省自然科學(xué)基金項目 廣東省科技創(chuàng)新戰(zhàn)略專項資金 攀登計劃 專項資金項目 作者簡介 張 帆 博士 高級工程師 主要從事機器人視覺 智慧工廠等研究 通信作者 楊 勇 博士 教授 植物工廠在未來城市農(nóng)業(yè)現(xiàn)代化建設(shè)中發(fā)揮著重要作用 我國是蔬菜栽培的農(nóng)業(yè)生產(chǎn)大國 但不是農(nóng) 業(yè)生產(chǎn)強國 確保新鮮水果和蔬菜的安全高效供給面臨巨大的挑戰(zhàn) 目前 我國蔬菜的栽植量巨大 以上蔬菜種植采用育苗移栽 傳統(tǒng)的移栽作業(yè)方式要求大量的手工作業(yè) 制約了蔬菜栽培的發(fā)展 設(shè)施園藝智能化是當(dāng)前包括中國在內(nèi)的世界農(nóng)業(yè)智能化裝備的研發(fā)熱點和產(chǎn)業(yè)升級重點 自動化作業(yè) 可以解放人的手工勞動 在保持質(zhì)量穩(wěn)定的同時使作業(yè)速度成倍提高 但目前距離產(chǎn)業(yè)化應(yīng)用仍存在目標(biāo) 檢測 種苗識別等技術(shù)瓶頸需要突破 發(fā)芽率是采購種子時計算成本的重要依據(jù) 對研究農(nóng)作物適宜的環(huán)境條件亦有意義 由于穴盤播種普 遍存在空穴問題 為保證出苗率 一般在 個穴位里放多粒種子 甚至通過補種獲得整齊一致的穴盤苗 補種雖然可以提高穴盤的使用效率 但浪費種子 效率低 只適合人工操作 影響發(fā)芽率測算 也制約了移 栽效率 隨著計算機視覺和圖像處理技術(shù)的進(jìn)步 實施單粒精量播種有利于在線檢測種子的發(fā)芽率和 提高移栽效率 現(xiàn)代檢測技術(shù)已經(jīng)形成了自動化操作 逐步替代了人工目測的傳統(tǒng)檢測方法 產(chǎn)品的 檢測效率極大提高 目前 機器視覺已應(yīng)用到農(nóng)業(yè)生產(chǎn)的多個檢測環(huán)節(jié) 如 種子的篩選和質(zhì)量檢 驗 蔬菜生長狀況的監(jiān)測 蔬菜秧苗形態(tài)測量 蔬菜新鮮度分級 雜草的檢測 等 配置視覺 的檢測系統(tǒng)可在線監(jiān)測穴盤苗的發(fā)芽生長情況 不受空穴問題影響 本文設(shè)計的基于機器學(xué)習(xí)的發(fā)芽率在線視覺檢測系統(tǒng) 是基于機器學(xué)習(xí)的圖像特征提取方法和分類方 法 實現(xiàn)對穴盤苗發(fā)芽階段的圖像檢測 基于多視圖定位原理 提出融合不同視角的檢測結(jié)果計 算穴孔的可信度 最后對系統(tǒng)進(jìn)行試驗 驗證了穴盤苗檢出率 穴位檢出率和誤檢率等詳細(xì)指標(biāo) 系統(tǒng)簡介 系統(tǒng)整體組成 穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)如圖 所示 主要由傳送控制系統(tǒng) 支撐架 移栽機構(gòu) 夾持手爪 檢 測相機 穴盤和傳送帶組成 在育苗室 穴盤苗通過上料機推送至傳送帶后隨傳動帶運動 檢測相機對穴盤 第 期 張 帆 等 穴盤苗發(fā)芽率在線視覺檢測研究 苗進(jìn)行拍照 采集圖像并輸送至計算節(jié)點 計算節(jié)點對發(fā)芽種苗進(jìn)行圖像識別 計算出種子的發(fā)芽情況和 生長姿態(tài)以及所在的穴孔并保存記錄 圖 穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)示意圖 設(shè)計要求和工作原理 植物工廠是設(shè)施園藝的高級形式 由于種子出苗率的問題 在育苗階段要檢測發(fā)芽率 生長情況和種 苗的位置信息 一般設(shè)施園藝生產(chǎn)中使用 單機檢測 或 人工檢測 這種方式存在性能瓶頸 制約了穴盤 的輸送速度 無法滿足高速的需求 從規(guī)模效率的角度出發(fā) 在線視覺檢測具有高速 非接觸式的優(yōu)點 滿 足植物工廠大規(guī)模 高速 高精度檢測的需求 穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)工作原理是通過將多個視圖檢測結(jié)果融合達(dá)到提高檢測精度 同時估 算種苗所在穴位的效果 主要包括多相機采集圖像 網(wǎng)絡(luò)傳輸 機器學(xué)習(xí)方法快速檢測和多視圖檢測結(jié)果 融合算法等環(huán)節(jié) 穴盤苗視覺檢測 圖 穴盤苗的頂視圖 穴盤苗圖像 從油麥菜種子的穴盤苗圖像可觀測到發(fā)芽的情況 如圖 所示 圖片來自于頂部視角拍攝 穴盤是黑色塑料制品 共有 個穴孔 采 取 排列 每個穴孔放有 棵種子在椰糠混合土栽培基質(zhì)中 客觀存在各個穴孔發(fā)芽情況不一致及空穴的現(xiàn)象 種子發(fā)芽除了 本身發(fā)育完全的內(nèi)在條件外 還受到外部環(huán)境條件的影響 外部環(huán)境 條件包括水分 氧氣 溫度 光線等 對應(yīng)的種苗發(fā)芽的不同階段在 圖像上也呈現(xiàn)不同的效果 過早可能葉片還沒有展開 過晚有的種苗 已經(jīng)長出多片葉子 種苗發(fā)芽的方向和姿態(tài) 發(fā)芽的進(jìn)度是系統(tǒng)檢測 發(fā)芽率的重要影響因素 圖像預(yù)處理 檢測種苗 種苗在顏色和形狀上與背景存在明顯的差異 用顏色特征可以 區(qū)分種苗與背景 作為檢測種苗的依據(jù) 這種用顏色特征的方法具 有較高的魯棒性 通常相機采集的彩色圖像為 模型 不能直接 使用 要轉(zhuǎn)換為在植物葉片檢測中廣泛使用的 模型 本文先將獲得的彩色圖像進(jìn)行顏色模型轉(zhuǎn)換 然后將提取種苗所擁有的綠色并過濾掉綠色以外的顏色 顏色模型轉(zhuǎn)換 對人而言 最直觀的顏色模型是 色相 飽和度 亮度 也叫 西南大學(xué)學(xué)報 自然科學(xué)版 第 卷 模型 模型是由 在 年創(chuàng)建的一種顏色空間 也稱六角錐體模型 在自然界單 色光有自己獨特的光譜特征 模型中 表示色彩信息 即光譜顏色所在的位置 提取種苗的綠色要 選擇對應(yīng)的 值 飽和度 是一個比例值 表示所選顏色的純度和該顏色最大的純度之間的比率 表示 色彩的明亮程度 與光強度無直接關(guān)系 用 和 表示顏色距離 對于不同的彩色區(qū)域 混合 與 變 量 根據(jù)劃定的閾值就可以進(jìn)行簡單快速的顏色分割 在 色域中 色調(diào) 用角度表示 取值范圍為 從紅色開始按逆時針方向計算 紅色為 綠色為 藍(lán)色為 飽和度 取值范圍 為 亮度 取值范圍為 彩色圖像從 模型轉(zhuǎn)換為 模型 計算方法如下 首先 將圖像的 值做歸一化處理 即將每個通道的取值范圍由 映射到 新的 模型計算 如公式 所示 取新的 模型的最大值 和最小值 如公式 所示 求最大值與最小值的差 如公式 所示 公式 分別計算 和 的值 烅 烄 烆 烅 烄 烆 彩色圖像灰度化 種苗的顏色是綠色 與穴盤 基質(zhì)以及其他設(shè)備的顏色有明顯的區(qū)別 因此利用 模型對綠色的連 續(xù)表示 將綠色從背景顏色中提取出來 提取后的圖像只包含綠色和去除背景部分的黑色 將綠色替換成 白色就可以獲得灰度圖 效果如圖 所示 穴盤苗視覺檢測 穴盤苗的圖像質(zhì)量和目標(biāo)檢測方法 由于種苗發(fā)芽生長的姿態(tài)不同 機器要像人一樣快速準(zhǔn)確檢測種苗是一項具有挑戰(zhàn)性的工作 在基 第 期 張 帆 等 穴盤苗發(fā)芽率在線視覺檢測研究 于特征的目標(biāo)檢測研究上 局部歸一化的方向梯度直方圖 相比 于傳統(tǒng)的小波 形狀上下文方法有更好的表現(xiàn) 特征檢測種苗的基本原理是利用圖像的 梯度和邊緣方向的密度分布描述圖像中種苗的外觀和形狀 特征檢測種苗的方法是提取紋理特 征 不受顏色變化影響 對光照變化 陰影等噪聲具有較好的魯棒性 只能用于彩色圖像或灰度 圖 無法用于二值圖 提取 特征后就需要進(jìn)行分類 使用核方法的 是目前廣泛使用的分類器 在圖像分類任務(wù) 上有很好的性能表現(xiàn) 是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的機器學(xué)習(xí)算法 以結(jié)構(gòu)風(fēng)險最小化原理 為準(zhǔn)則 能夠有效解決過擬合 落入局部極值和 維數(shù)災(zāi)難 等問題 在解決小樣本 非線性 高維空間模式 識別問題中表現(xiàn)出良好的推廣性和較好的分類準(zhǔn)確性 圖 不同相機的檢測結(jié)果 多視圖融合定位 發(fā)芽種苗所在的穴位是一項重要的信息 可根據(jù)多視圖檢測結(jié)果分析得出 之所以采用多視圖 一方 面是視覺檢測存在漏檢和誤檢 另一方面則是由于種苗生長方向的不確定性以及拍照角度的問題 檢測結(jié) 果誤判種苗落在其他穴孔上 標(biāo)準(zhǔn)統(tǒng)一的工業(yè)產(chǎn)品使用單個攝像頭即可完成準(zhǔn)確的檢測 但應(yīng)用在種苗的穴位判斷上 單個相機的 檢測結(jié)果不足以獲得好的漏檢率和誤判率 如圖 所示 通過頂視圖觀察 種苗的葉片在邊界上 根系則可 能是在上部分穴位 也可能是在下部分穴位 即使圖像檢測成功 仍然不能判斷穴位 左前 視圖和 右前 視圖觀察種苗葉片在下部分穴位 根據(jù)圖像檢測結(jié)果判斷穴位是誤判 左后 視圖和 右 后 視圖觀察種苗葉片在上部分穴位 根據(jù)圖像檢測結(jié)果判斷穴位是正確的 利用多個相機從不同視角采集 圖像信息進(jìn)行融合后判斷 不僅減少漏檢 還可減小誤判幾率 多視圖融合判斷穴位算法描述如下 西南大學(xué)學(xué)報 自然科學(xué)版 第 卷 試驗與結(jié)果分析 穴盤苗發(fā)芽檢測試驗 試驗方案 為測試多視圖融合下的發(fā)芽檢測效果 本文采用小樣本訓(xùn)練算法 然后分別對采集的 個視圖圖像 進(jìn)行檢測 如圖 所示 試驗的穴盤共有 個穴位 其中左下方的 個穴位空著作為標(biāo)記 有 個穴位 的種子沒有發(fā)芽 因此最終有 個穴位的種子成功發(fā)芽 個方向的檢測試驗得到的成功率各不相同 視圖檢測到 個 視圖檢測到 個 視圖檢測到 個 視圖檢測到 個 視圖檢 測到 個 分別對應(yīng)圖 的 和 子圖 圖 種苗檢測結(jié)果 結(jié)果與分析 穴盤一共播種 顆 發(fā)芽 顆 種子的實際發(fā)芽率為 其中各視圖的檢測發(fā)芽率和漏檢數(shù)各 有不同 視圖的檢測發(fā)芽率為 漏檢測 個 穴盤苗檢出率為 視圖的檢測發(fā) 芽率為 漏檢測 個 穴盤苗檢出率為 視圖的檢測發(fā)芽率為 漏 檢測 個 穴盤苗檢出率為 視圖的檢測發(fā)芽率為 漏檢測 個 穴盤苗檢出率 為 視圖的檢測發(fā)芽率為 漏檢測 個 穴盤苗檢出率為 由試驗結(jié)果可以得到 單個相機的檢測發(fā)芽率與實際發(fā)芽率存在較大偏差 存在漏檢問題 所以穴盤 苗的檢出率低 單個視圖檢測算法優(yōu)化只能減小漏檢 但不能消除漏檢 而且減少漏檢的同時會導(dǎo)致誤檢 增多 本文探討多視圖信息融合的方法提升檢測效果 在無誤檢的前提下減少漏檢 因此進(jìn)一步做了穴盤 苗定位試驗 第 期 張 帆 等 穴盤苗發(fā)芽率在線視覺檢測研究 圖 多視圖檢測結(jié)果疊加對比 穴盤苗定位試驗 試驗方案 多視圖檢測結(jié)果畫矩形框 框的中心分別 用不同的符號表示 符號 表示 視圖檢 測結(jié)果框的中心 符號 表示 和 視圖 檢測結(jié)果框的中心 符號 表示 和 視 圖檢測結(jié)果框的中心 配上穴盤苗原圖作為對 比 檢測結(jié)果疊加效果如圖 所示 種子沒有發(fā) 芽的 個穴位分別是 和 結(jié)果與分析 從圖 可觀察到 多視圖檢測結(jié)果疊加后 明顯提升了檢測效果 這里用可信度來描述 采用多視圖融合判斷穴位算法對疊加效果進(jìn)行 計算 可得到每個穴位有種苗的可信度 如表 所示 除種子沒有發(fā)芽的 個穴位之外 有 個 穴位 漏檢 多視圖融合后的檢測 發(fā)芽率為 漏檢 個 穴盤苗檢出率為 有可信度的穴位實際都有種苗 沒有誤 判 穴位檢出率 表 穴位有種苗的可信度 穴位編號 結(jié) 論 本文設(shè)計了一種基于機器學(xué)習(xí)的穴盤苗發(fā)芽率在線視覺檢測系統(tǒng) 通過多視圖融合可以顯著地提高穴 位的檢出率 首先 使用顏色空間模型對輸入穴盤苗圖像進(jìn)行變換預(yù)處理 并歸一化到統(tǒng)一的尺寸 然后 在預(yù)處理后的圖像上制作訓(xùn)練集和測試集 為了提高運算速度 采用基于 特征和 分類器的方 法 提取 特征 送入支撐向量機進(jìn)行分類 最后 將單視圖檢測結(jié)果匯聚疊加 用多視圖融合方法計 算每個穴位的可信度 根據(jù)可信度判定待移栽的穴位 試驗結(jié)果表明 單視圖的檢出率較低 但通過多視圖 融合的方法不僅提高了檢出率 而且有效減少了誤檢率和漏檢率 該算法能較好地完成穴盤苗的目標(biāo)檢 西南大學(xué)學(xué)報 自然科學(xué)版 第 卷 測 準(zhǔn)確地定位發(fā)芽幼苗的穴位 同時多視圖檢測與傳統(tǒng)單視圖檢測需要停頓相比 在實時檢測的效率上 有明顯的改進(jìn) 具有一定的應(yīng)用價值 參考文獻(xiàn) 劉霓紅 蔣先平 程俊峰 等 國外有機設(shè)施園藝現(xiàn)狀及對中國設(shè)施農(nóng)業(yè)可持續(xù)發(fā)展的啟示 農(nóng)業(yè)工程學(xué)報 童俊華 俞高紅 朱贏鵬 等 三臂回轉(zhuǎn)式蔬菜缽苗取苗機構(gòu)設(shè)計與試驗 農(nóng)業(yè)機械學(xué)報 齊 飛 李 愷 李 邵 等 世界設(shè)施園藝智能化裝備發(fā)展對中國的啟示研究 農(nóng)業(yè)工程學(xué)報 束 勝 康云艷 王 玉 等 世界設(shè)施園藝發(fā)展概況 特點及趨勢分析 中國蔬菜 齊 飛 魏曉明 張躍峰 中國設(shè)施園藝裝備技術(shù)發(fā)展現(xiàn)狀與未來研究方向 農(nóng)業(yè)工程學(xué)報 李玉東 于曉峰 佟立輝 玉米單粒播種栽培技術(shù) 農(nóng)業(yè)與技術(shù) 胡建平 常 航 楊麗紅 等 自動移栽機整排取苗間隔投苗控制系統(tǒng)設(shè)計與試驗 農(nóng)業(yè)機械學(xué)報 王桂蓮 劉偉超 王 安 等 基于機器視覺的水稻秧盤育秧智能補種裝置設(shè)計與試驗 農(nóng)業(yè)工程學(xué)報 玄冠濤 邵園園 侯加林 等 小型蔬菜穴盤精密播種機的設(shè)計與試驗 農(nóng)機化研究 朱盤安 李建平 樓建忠 等 便攜式蔬菜穴盤自動播種機設(shè)計與試驗 農(nóng)業(yè)機械學(xué)報 廖慶喜 雷小龍 廖宜濤 等 油菜精量播種技術(shù)研究進(jìn)展 農(nóng)業(yè)機械學(xué)報 全 勝 基于機器視覺的蔬菜種子質(zhì)量檢測系統(tǒng)的設(shè)計與實現(xiàn) 長沙 湖南大學(xué) 豆東東 基于機器視覺的大棚蔬菜生長狀況的監(jiān)測 上海 東華大學(xué) 馮青春 陳 建 李翠玲 等 基于光度立體視覺的蔬菜秧苗葉片形態(tài)測量方法 農(nóng)業(yè)機械學(xué)報 馮甲一 基于計算機視覺技術(shù)的葉類蔬菜新鮮度檢測分級研究 南京 南京農(nóng)業(yè)大學(xué) 張雨滋 計算機視覺技術(shù)在果園除草機上的應(yīng)用研究 農(nóng)機化研究 潘 琪 尹 雄 秦襄培 等 基于 特征與 的膠體氣泡識別方法研究 智能計算機與應(yīng)用 郭晶晶 許 萌 孔令愛 基于改進(jìn) 特征的人數(shù)統(tǒng)計算法 信息技術(shù)與信息化 王 偉 吳 芳 基于注意機制和循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度圖像分類算法 西南師范大學(xué)學(xué)報 自然科學(xué)版 責(zé)任編輯 湯振金 第 期 張 帆 等 穴盤苗發(fā)芽率在線視覺檢測研究