2020 年6 月 第2 卷 第2 期 Jun 2020 Vol 2 No 2 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 面 向 番 茄 植 株 相 近 色 目 標(biāo) 識 別 的 多 波 段 圖 像 融 合 方 法 馮 青 春 1 2 陳 建 2 成 偉 3 4 王 秀 1 3 1 北 京 農(nóng) 業(yè) 智 能 裝 備 技 術(shù) 研 究 中 心 北 京 1 0 0 0 9 7 2 中 國 農(nóng) 業(yè) 大 學(xué) 工 學(xué) 院 北 京 1 0 0 0 8 3 3 國 家 農(nóng) 業(yè) 智 能 裝 備 工 程 技 術(shù) 研 究 中 心 北 京 1 0 0 0 9 7 4 農(nóng) 業(yè) 智 能 裝 備 技 術(shù) 北 京 市 重 點(diǎn) 實(shí) 驗(yàn) 室 北 京 1 0 0 0 9 7 摘 要 針 對 溫 室 番 茄 智 能 化 管 理 需 要 研 究 莖 稈 葉 片 和 綠 果 等 3 類 相 近 色 目 標(biāo) 的 多 波 段 圖 像 融 合 方 法 以 凸 顯 目 標(biāo) 與 背 景 亮 度 差 異 提 高 目 標(biāo) 視 覺 識 別 效 率 根 據(jù) 其 各 自 在 3 0 0 1 0 0 0 n m 范 圍 的 反 射 光 譜 特 征 差 異 建 立 了 針 對 其 光 譜 數(shù) 據(jù) 分 類 的 L a s s o 正 則 化 邏 輯 回 歸 模 型 基 于 模 型 的 稀 疏 解 特 征 確 定 具 有 較 大 權(quán) 值 系 數(shù) 的 4 5 0 6 0 0 和 9 0 0 n m 等 3 個(gè) 波 段 作 為 最 優(yōu) 成 像 波 段 在 此 基 礎(chǔ) 上 構(gòu) 建 了 溫 室 番 茄 植 株 多 波 段 圖 像 在 線 采 集 系 統(tǒng) 結(jié) 合 最 優(yōu) 成 像 波 段 下 相 近 色 目 標(biāo) 圖 像 特 征 分 析 提 出 了 基 于 N S G A I I 的 多 波 段 圖 像 加 權(quán) 融 合 方 法 以 增 強(qiáng) 特 定 目 標(biāo) 與 近 色 背 景 物 體 的 圖 像 亮 度 差 異 最 后 通 過 現(xiàn) 場 試 驗(yàn) 對 多 波 段 圖 像 融 合 效 果 進(jìn) 行 評 估 結(jié) 果 表 明 分 別 以 莖 稈 葉 片 和 綠 果 器 官 作 為 識 別 目 標(biāo) 通 過 多 波 段 圖 像 融 合 處 理 后 目 標(biāo) 與 背 景 之 間 的 圖 像 灰 度 差 異 絕 對 差 值 相 應(yīng) 達(dá) 到 單 波 段 圖 像 的 2 0 2 8 6 3 和 7 8 9 倍 即 被 識 別 目 標(biāo) 與 其 他 近 色 背 景 的 亮 度 差 異 顯 著 增 強(qiáng) 且 背 景 物 的 亮 度 波 動 得 到 抑 制 本 研 究 結(jié) 果 可 以 為 農(nóng) 業(yè) 環(huán) 境 近 色 目 標(biāo) 視 覺 識 別 相 關(guān) 研 究 提 供 參 考 關(guān) 鍵 詞 農(nóng) 業(yè) 機(jī) 器 人 番 茄 植 株 相 近 色 目 標(biāo) 光 譜 特 征 圖 像 融 合 N S G A I I 中 圖 分 類 號 T P 7 5 1 T P 2 4 2 6 文 獻(xiàn) 標(biāo) 志 碼 A 文 章 編 號 2 0 2 0 0 2 S A 0 0 1 引 文 格 式 馮 青 春 陳 建 成 偉 王 秀 面 向 番 茄 植 株 相 近 色 目 標(biāo) 識 別 的 多 波 段 圖 像 融 合 方 法 J 智 慧 農(nóng) 業(yè) 中 英 文 2020 2 2 126 134 FENG Qingchun CHEN Jian CHENG Wei WANG Xiu Multi band image fusion method for visually identifying tomato plant s organs with similar color J Smart Agriculture 2020 2 2 126 134 in Chinese with English ab stract 1 引 言 中 國 是 番 茄 生 產(chǎn) 和 消 費(fèi) 大 國 種 植 面 積 達(dá) 105 萬 公 頃 1 人 均 年 消 費(fèi) 量 約21kg 2 近 年 來 隨 著 勞 動 力 成 本 上 漲 番 茄 種 植 管 理 的 雇 工 費(fèi) 用 已 上 漲 至 總 生 產(chǎn) 成 本 比 例 約45 3 人 力 成 本 過 高 已 成 為 限 制 番 茄 種 植 效 益 增 長 的 客 觀 因 素 鑒 于 機(jī) 器 人 在 智 能 探 測 和 復(fù) 雜 操 作 方 面 的 獨(dú) 特 優(yōu) 勢 針 對 溫 室 番 茄 采 摘 整 枝 授 粉 以 及 噴 藥 等 勞 動 密 集 操 作 復(fù) 雜 的 種 植 管 理 環(huán) 節(jié) 研 發(fā) 能 夠 代 替 人 工 作 業(yè) 的 農(nóng) 業(yè) 機(jī) 器 人 是 從 工 程 技 術(shù) 角 度 應(yīng) 對 當(dāng) 前 形 勢 的 有 效 途 徑 4 5 準(zhǔn) 確 獲 取 作 業(yè) 對 象 的 視 覺 特 征 是 機(jī) 器 人 智 能 化 作 業(yè) 的 必 要 前 提 對 于 不 同 管 理 環(huán) 節(jié) 番 茄 植 株 莖 葉 和 果 既 可 能 是 作 業(yè) 對 象 也 可 能 是 背 景 干 擾 然 而 溫 室 內(nèi) 植 株 叢 生 密 布 雜 亂 無 序 且 番 茄 莖 葉 和 綠 果 為 相 近 色 器 官 基 于 寬 泛 的 可 見 光 圖 像 信 息 難 以 doi 10 12133 j smartag 2020 2 2 202002 SA001 收 稿 日 期 2020 02 06 修 訂 日 期 2020 04 18 基 金 項(xiàng) 目 國 家 自 然 科 學(xué) 基 金 項(xiàng) 目 61703048 北 京 市 農(nóng) 林 科 學(xué) 院 青 年 科 研 基 金 項(xiàng) 目 QNJJ201722 作 者 簡 介 馮 青 春 1987 男 副 研 究 員 研 究 方 向 為 農(nóng) 業(yè) 機(jī) 器 人 E mail fengqc 通訊作者 王 秀 1965 男 研究員 研究方向 為 智能農(nóng)業(yè)裝備方面研究 電話 010 51503686 E mail wangx 馮 青 春 等 面 向 番 茄 植 株 相 近 色 目 標(biāo) 識 別 的 多 波 段 圖 像 融 合 方 法 Vol 2 No 2 實(shí) 現(xiàn) 植 株 特 定 對 象 的 準(zhǔn) 確 識 別 鑒 于 植 物 莖 葉 果 等 不 同 器 官 的 構(gòu) 成 物 質(zhì) 成 分 差 異 根 據(jù) 其 特 定 波 段 光 譜 特 征 進(jìn) 行 分 類 和 識 別 是 當(dāng) 前 解 決 植 物 相 近 顏 色 目 標(biāo) 視 覺 識 別 問 題 的 有 效 途 徑 4 光 譜 特 征 數(shù) 據(jù) 是 目 標(biāo) 光 譜 反 射 強(qiáng) 度 在 頻 域 分 布 情 況 的 體 現(xiàn) 6 吳 偉 斌 等 7 通 過 分 析750 1000nm 波 段 柑 橘 葉 片 光 譜 反 射 率 與 其 重 疊 層 數(shù) 的 相 關(guān) 性 研 究 了 重 疊 葉 片 面 積 測 量 方 法 Ma 等 8 根 據(jù)692 705 和743 nm 波 段 光 譜 特 征 對 于 豌 豆 角 內(nèi) 部 蟲 害 信 息 進(jìn) 行 識 別 王 海 青 等 9 以690 950 nm 區(qū) 間 作 為 特 征 波 段 對 黃 瓜 莖 和 葉 光 譜 數(shù) 據(jù) 進(jìn) 行 了 分 類 白 敬 等 10 選 取710 755 950 和595nm 作 為 探 測 油 菜 田 間 雜 草 的 最 優(yōu) 波 段 由 于 單 一 的 光 譜 特 征 數(shù) 據(jù) 缺 少 目 標(biāo) 空 間 信 息 難 以 作 為 視 覺 伺 服 控 制 依 據(jù) 多 用 于 病 蟲 害 雜 草 種 類 和 葉 片 密 度 等 生 物 組 織 成 分 生 理 特 征 分 類 通 過 成 像 技 術(shù) 獲 得 的 光 譜 圖 像 數(shù) 據(jù) 是 目 標(biāo) 光 譜 反 射 特 征 與 其 空 間 位 置 信 息 的 綜 合 體 現(xiàn) 可 作 為 機(jī) 器 人 對 目 標(biāo) 識 別 和 精 準(zhǔn) 對 靶 作 業(yè) 的 依 據(jù) Gan 等 11 根 據(jù) 橘 子 彩 色 圖 像 和 熱 圖 像 特 征 對 綠 橘 果 實(shí) 與 葉 片 進(jìn) 行 區(qū) 域 分 割 準(zhǔn) 確 率 達(dá) 到95 5 Bac 等 12 以 甜 椒 植 株447 900 nm 區(qū) 間 內(nèi)6 個(gè) 波 段 的 圖 像 為 輸 入 建 立 二 叉 樹 分 類 模 型 成 功 識 別 其 莖 葉 果 像 素 Li 等 13 和 袁 挺 等 14 根 據(jù) 黃 瓜 與 葉 片 在800 nm 波 段 圖 像 的 亮 度 差 異 研 究 了 叢 生 葉 片 背 景 下 黃 瓜 果 實(shí) 的 識 別 算 法 識 別 準(zhǔn) 確 率 達(dá) 到95 然 而 當(dāng) 前 基 于 光 譜 特 征 圖 像 對 目 標(biāo) 識 別 分 類 方 法 中 主 要 以 目 標(biāo) 最 強(qiáng) 反 射 波 段 作 為 成 像 波 段 僅 強(qiáng) 調(diào) 突 出 目 標(biāo) 區(qū) 域 圖 像 亮 度 缺 少 對 背 景 弱 反 射 波 段 圖 像 的 融 合 無 法 充 分 達(dá) 到 凸 顯 強(qiáng) 反 射 目 標(biāo) 淡 化 弱 反 射 背 景 干 擾 的 目 的 針 對 溫 室 番 茄 莖 葉 和 綠 果 等 相 近 色 目 標(biāo) 視 覺 識 別 難 題 本 研 究 根 據(jù) 其 各 自 光 譜 特 性 差 異 篩 選 最 優(yōu) 成 像 波 段 構(gòu) 建 多 波 段 圖 像 采 集 系 統(tǒng) 并 結(jié) 合 不 同 波 段 圖 像 特 征 提 出 多 波 段 圖 像 融 合 方 法 以 充 分 凸 顯 目 標(biāo) 與 背 景 差 異 提 高 相 近 色 系 目 標(biāo) 識 別 效 率 本 研 究 可 為 溫 室 番 茄 采 摘 整 枝 和 授 粉 等 智 能 化 管 理 作 業(yè) 的 視 覺 信 息 獲 取 提 供 技 術(shù) 支 撐 2 番 茄 相 近 色 器 官 光 譜 特 性 分 析 2 1 莖 葉 果 光 譜 特 性 測 量 鑒 于 當(dāng) 前 主 流 工 業(yè) 攝 像 機(jī) 的 敏 感 波 段 為 300 1000 nm 本 研 究 重 點(diǎn) 針 對 該 波 段 區(qū) 間 內(nèi) 番 茄 莖 葉 果 的 反 射 光 譜 特 征 進(jìn) 行 采 集 和 分 析 如 圖1 所 示 光 譜 數(shù) 據(jù) 采 集 系 統(tǒng) 其 中 光 譜 信 息 采 集 單 元 選 用Ocean Optics 公 司QE65 Pro 光 譜 儀 其 測 量 光 譜 范 圍 為185 1100nm 分 辨 率 為0 8nm 搭 配Ocean Optics 公 司HL 2000 型 鹵 鎢 光 源 作 為 輻 射 源 其 光 譜 范 圍360 2400nm 采 集 系 統(tǒng) 安 裝 于 暗 箱 內(nèi) 以 減 少 外 界 雜 光 干 擾 測 量 過 程 中 通 過 光 纖 探 頭 支 架 調(diào) 節(jié) 探 頭 安 裝 高 度 其 與 被 測 對 象 保 持 恒 定 距 離 克 服 探 測 距 離 差 異 引 起 的 光 譜 反 射 強(qiáng) 度 測 量 誤 差 以 中 國 北 方 廣 泛 種 植 的 佳 麗 品 系 番 茄 為 研 究 對 象 其 溫 室 內(nèi) 生 長 高 度 約2 3m 從 不 同 植 株 的 不 同 高 度 位 置 隨 機(jī) 采 集 莖 稈 葉 片 綠 果 綠 熟 期 各50 組 作 為 測 量 樣 本 鑒 于 測 量 對 象 為 非 均 勻 構(gòu) 造 其 表 面 形 態(tài) 成 分 和 紋 理 呈 不 規(guī) 則 特 征 因 此 對 每 個(gè) 樣 本 采 集 光 譜 數(shù) 據(jù) 各5 次 取 其 平 均 值 為 單 個(gè) 樣 本 的 光 譜 測 定 數(shù) 據(jù) 對 各 類 樣 本 光 譜 數(shù) 據(jù) 進(jìn) 行 濾 波 去 噪 求 均 值 處 理 得 到 番 茄 植 株 莖 葉 和 綠 果 的 光 譜 特 性 曲 線 如 圖2 所 示 注 1 暗 箱 2 光 纖 探 頭 3 光 纖 4 探 頭 支 架 5 載 物 臺 6 測 量 對 象 7 光 譜 儀8 光 源 圖 1 光 譜 數(shù) 據(jù) 測 量 系 統(tǒng) Fig 1 Spectraldatameasuringsystem 1 2 7Vol 2 No 2 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 2 2 基 于 L R L a s s o 的 最 優(yōu) 成 像 波 段 選 擇 量 化 描 述 不 同 波 段 對 于 區(qū) 別 番 茄 相 近 色 系 器 官 的 重 要 性 是 獲 得 最 優(yōu) 成 像 波 段 的 必 要 前 提 以 番 茄 莖 葉 和 綠 果 樣 本 的 光 譜 特 性 測 量 結(jié) 果 為 數(shù) 據(jù) 集 針 對3 類 樣 本 的 二 分 類 邏 輯 回 歸 模 型 LogisticRegression LR 表 示 為 式 1 h x i 1 1 e j x j i b y i 1 h x i 0 5 y i 0 h x i 0 5 1 其 中 樣 本i 的 特 征 集x i 由 離 散 波 長j 對 應(yīng) 光 譜 反 射 率x j i 構(gòu) 成 其 類 別 屬 性y i 決 定 于 模 型 輸 出 值h x i 波 長j 的 加 權(quán) 系 數(shù) 為 j 不 同 波 段 的 權(quán) 值 系 數(shù) 構(gòu) 成 分 類 模 型 的 權(quán) 值 向 量 j 越 大 則 波 段j 對 于 識 別 樣 本 分 類 的 貢 獻(xiàn) 越 大 基 于Lasso 正 則 化 的 稀 疏 解 特 征 15 求 解 Lasso 正 則 化 邏 輯 回 歸 模 型 LR Lasso 可 以 獲 得 有 限 數(shù) 量 波 長 對 相 近 色 樣 本 分 類 重 要 性 的 定 量 描 述 其 包 含Lasso 正 則 項(xiàng) 的 損 失 函 數(shù) 可 表 示 為 式 2 i 1 y i ln h x i 1 y i ln 1 h x i x i 2 其 中 為 正 則 化 參 數(shù) 設(shè) 定 其 取 值 范 圍 0 0001 1 采 用 近 端 梯 度 下 降 方 法 16 求 解 損 失 函 數(shù) 最 小 值 可 得 到 由 于 目 前 通 用 濾 光 片 的 帶 寬 精 度 約 20 nm 本 研 究 以50 nm 為 采 樣 間 隔 從 番 茄 莖 稈 葉 片 綠 果 等3 類 樣 本 光 譜 數(shù) 據(jù) 中 分 別 提 取15 個(gè) 波 段 的50 組 數(shù) 據(jù) 分 別 求 解 區(qū) 分 葉 片 綠 果 莖 稈 綠 果 以 及 莖 稈 葉 片 的LR Lasso 判 別 模 型 所 得 3 個(gè) 模 型 對 應(yīng) 的 j 統(tǒng) 計(jì) 如 圖3 所 示 根 據(jù) 權(quán) 值 系 數(shù) 值 j 大 小 選 擇450 600 900 和950 nm 等4 個(gè) 波 段 作 為 番 茄 莖 葉 和 綠 果 相 近 色 器 官 的 最 優(yōu) 成 像 波 段 3 溫 室 番 茄 植 株 圖 像 在 線 采 集 3 1 多 波 段 圖 像 采 集 系 統(tǒng) 為 了 獲 取 番 茄 植 株 相 近 色 器 官 在 最 優(yōu) 成 像 波 段 區(qū) 間 成 像 信 息 設(shè) 計(jì) 了 多 波 段 圖 像 采 集 視 覺 系 統(tǒng) 如 圖4 所 示 選 用acA1300 60 gmNIR 攝 像 機(jī) Basler 公 司 為 成 像 單 元 其 敏 感 波 段 為 300 1000 nm 攝 像 機(jī) 鏡 頭 前 加 裝 20 nm 帶 通 濾 光 片 浙 江 光 益 科 技 其 中 心 波 長 與 選 定 的 成 像 波 段 相 對 應(yīng) 分 別 為 450 600 900 以 及 950 nm 帶 寬 20 nm 濾 光 片 呈 圓 周 陣 列 分 別 安 裝 于Edmund 56 658 型 濾 光 片 轉(zhuǎn) 輪 內(nèi) 通 過 旋 轉(zhuǎn) 轉(zhuǎn) 輪 可 以 切 換 攝 像 機(jī) 鏡 頭 前 的 濾 光 片 以 采 集 不 同 波 段 的 圖 像 光 源 選 用200W 鹵 素 燈 在 攝 像 機(jī) 視 場 形 成5000 lx 輻 射 強(qiáng) 度 以 克 服 實(shí) 驗(yàn) 環(huán) 境 光 照 波 動 的 影 響 3 2 圖 像 灰 度 補(bǔ) 償 矯 正 由 于 在 同 一 光 源 輻 射 環(huán) 境 下 不 同 波 段 的 光 照 強(qiáng) 度 各 不 相 同 且 攝 像 機(jī) 成 像 芯 片 對 不 同 波 段 的 敏 感 程 度 也 不 同 為 了 使 得 圖 像 亮 度 與 目 標(biāo) 光 譜 反 射 強(qiáng) 度 相 對 應(yīng) 需 要 采 集 的 不 同 波 段 圖 像 進(jìn) 行 亮 度 矯 正 17 本 研 究 利 用D65 白 色 標(biāo) 準(zhǔn) 色 圖 2 番 茄 相 近 色 器 官 光 譜 反 射 曲 線 Fig 2 Spectralcurvesoftomato ssimilar coloredorgans 圖3 LR Lasso 分 類 模 型 權(quán) 值 系 數(shù) Fig 3 WeightcoefficientsofLR Lassoclassificationmodel 1 2 8馮 青 春 等 面 向 番 茄 植 株 相 近 色 目 標(biāo) 識 別 的 多 波 段 圖 像 融 合 方 法 Vol 2 No 2 板 作 為 參 照 近 似 認(rèn) 為 其 對 各 成 像 波 段 具 有 相 同 的 反 射 特 性 標(biāo) 準(zhǔn) 色 板 可 由 機(jī) 械 裝 置 推 送 進(jìn) 入 靠 近 番 茄 植 株 的 攝 像 機(jī) 視 場 特 定 位 置 通 過 觸 發(fā) 采 集 方 式 攝 像 機(jī) 對 于 同 一 波 段 下 番 茄 植 株 和 標(biāo) 準(zhǔn) 色 板 各 采 集 一 幅 圖 像 且 采 集 過 程 中 攝 像 機(jī) 曝 光 參 數(shù) 保 持 不 變 鑒 于 攝 像 機(jī) 在 可 見 光 波 段 具 有 較 強(qiáng) 感 光 性 能 以600nm 圖 像 中 色 板 灰 度g 600 為 參 考 亮 度 設(shè) 波 段j 圖 像 內(nèi) 色 板 的 灰 度 為g j 則 該 波 段 圖 像 亮 度 的 增 益 系 數(shù)J j g 600 g j 對 波 段 的 番 茄 植 株 圖 像 灰 度 用 系 數(shù)J j 進(jìn) 行 線 性 矯 正 18 則 認(rèn) 為 矯 正 后 圖 像 亮 度 與 成 像 物 體 自 身 反 射 特 性 精 確 對 應(yīng) 4 多 波 段 圖 像 融 合 4 1 相 近 色 目 標(biāo) 多 波 段 圖 像 特 征 分 析 對 同 一 視 場 區(qū) 域 的 番 茄 植 株 采 用 上 述 多 波 段 圖 像 采 集 系 統(tǒng) 獲 取4 幅 不 同 波 段 的 圖 像 如 圖 5 所 示 其 視 場 大 小 為300mm 300mm 分 辨 率 為350 350 像 素 圖 像 中 主 要 包 括 番 茄 莖 稈 葉 片 綠 果 以 及 植 株 間 隙 透 過 的 高 亮 光 斑 等4 類 像 素 區(qū) 域 為 驗(yàn) 證 各 類 像 素 區(qū) 域 圖 像 特 征 與 其 光 譜 特 性 的 對 應(yīng) 關(guān) 系 分 別 在4 個(gè) 波 段 圖 像 中 的4 類 目 標(biāo) 像 素 區(qū) 域 取500 像 素 其 像 素 灰 度 平 均 值 灰 度 值 區(qū) 間 分 別 統(tǒng) 計(jì) 如 圖6 所 示 其 中 柱 的 高 度 表 示 像 素 平 均 灰 度 上 下 誤 差 線 表 示 灰 度 最 大 和 最 小 值 由 統(tǒng) 計(jì) 結(jié) 果 可 得 番 茄 莖 葉 和 果 的 圖 像 區(qū) 域 亮 度 隨 著 成 像 波 長 增 加 而 增 加 即 在 長 波 區(qū) 域 植 株 反 射 的 強(qiáng) 度 更 大 與 圖2 中 光 譜 反 射 強(qiáng) 度 曲 線 變 化 趨 勢 相 符 合 在450 和600nm 波 段 綠 果 亮 度 大 于 葉 片 在900 nm 波 段 則 情 況 相 反 由 于 莖 桿 反 射 率 有 較 大 圖2 其 在 各 個(gè) 波 段 圖 像 中 亮 度 均 保 持 相 對 突 出 此 外 在600 nm 波 段 植 株 果 實(shí) 表 面 的 鏡 面 反 射 使 得 其 圖 像 亮 度 波 動 范 圍 較 大 此 外 透 射 的 太 陽 光 在 短 波 圖 像 中 形 成 了 明 顯 光 斑 區(qū) 域 在 長 波 圖 像 區(qū) 域 亮 度 卻 不 明 顯 由 于900 和950nm 圖 像 亮 度 特 征 相 似 為 了 提 高 數(shù) 據(jù) 處 理 效 率 在 圖 像 融 合 算 法 中 僅 對450 600 和900nm 波 段 圖 像 數(shù) 據(jù) 進(jìn) 行 處 理 4 2 基 于 N S G A I I 算 法 的 圖 像 加 權(quán) 融 合 對 多 波 段 圖 像 數(shù) 據(jù) 的 融 合 的 目 的 在 于 使 得 目 標(biāo) 像 素 區(qū) 域 從 多 樣 背 景 中 凸 顯 并 保 持 非 目 標(biāo) 背 景 區(qū) 域 亮 度 均 衡 以 降 低 目 標(biāo) 區(qū) 域 分 割 難 度 設(shè) i 1 2 3 4 分 別 表 示 圖 像 中 莖 稈 葉 片 果 實(shí) 和 高 亮 光 斑 等4 類 區(qū) 域 其 各 自 在 最 優(yōu) 成 像 波 段 注 1 鹵 素 燈2 攝 像 機(jī)3 濾 光 片 轉(zhuǎn) 輪4 濾 光 片5 番 茄 植 株 圖 4 多 波 段 圖 像 采 集 系 統(tǒng) Fig 4 Multi bandimageacquiringsystem a 450nm b 600nm c 900nm d 980nm 圖 5 番 茄 植 株 最 優(yōu) 成 像 波 段 圖 像 Fig 5 Tomatoplantimagesofoptimalwavelengthbands 1 2 9Vol 2 No 2 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e w 圖 像 的 像 素 亮 度 為I w i 最 終 通 過 加 權(quán) w 系 數(shù) 融 合 形 成 的 圖 像 亮 度 可 表 示 為I i 各 變 量 存 在 式 3 所 示 關(guān) 系 I i 450 I 450 i 600 I 600 i 900 I 900 i 3 若 以4 類 區(qū) 域 中 某 一 類 區(qū) 域 作 為 目 標(biāo) 區(qū) 域 則 其 余3 類 都 為 背 景 區(qū) 域 期 望 融 合 后 圖 像 中 目 標(biāo) 區(qū) 域 與 背 景 區(qū) 域 像 素 亮 度 方 差 達(dá) 到 最 大 且 背 景 區(qū) 域 亮 度 波 動 最 小 即 認(rèn) 為 實(shí) 現(xiàn) 了 對 目 標(biāo) 像 素 區(qū) 域 的 充 分 凸 顯 該 圖 像 融 合 預(yù) 期 可 表 示 為 多 目 標(biāo) 優(yōu) 化 問 題 如 式 4 所 示 其 中 和 分 別 為 包 含 目 標(biāo) 區(qū) 域 和 不 包 含 目 標(biāo) 區(qū) 域 的 圖 像 亮 度 方 差 和 為 相 應(yīng) 圖 像 區(qū) 域 的 平 均 灰 度 M 和M 為 相 應(yīng) 圖 像 像 素 數(shù) 量 max i 4 I i M min i 3 I i M s t 0 I i 255 4 對 式 4 中 多 目 標(biāo) 優(yōu) 化 方 程 采 用 非 支 配 排 序 遺 傳 算 法 NSGA II 19 進(jìn) 行 求 解 NSGA II 是 一 種 采 用 快 速 非 支 配 排 序 和 精 英 機(jī) 制 解 決 多 目 標(biāo) 優(yōu) 化 問 題 的 遺 傳 算 法 方 法 其 實(shí) 現(xiàn) 步 驟 如 下 取a w 1 1 1 1 分 別 為 不 同 波 段 圖 像 對 應(yīng) 融 合 加 權(quán) 初 始 值 對 各 個(gè) 系 數(shù) 附 加 隨 機(jī) 數(shù) r 1 1 生 成 融 合 系 數(shù) 初 始 種 群 并 對 初 始 種 群 進(jìn) 行 快 速 非 支 配 排 序 對 初 始 種 群 執(zhí) 行 二 元 選 擇 交 叉 和 變 異 得 到 新 的 種 群 新 的 種 群 與 初 始 合 并 為 新 種 群 對 所 有 個(gè) 體 進(jìn) 行 非 支 配 排 序 以 及 非 支 配 集 內(nèi) 的 擁 擠 度 計(jì) 算 生 成 適 當(dāng) 數(shù) 量 的 一 代 種 群 時(shí) 優(yōu) 先 選 取 非 支 配 等 級 低 的 個(gè) 體 當(dāng) 處 于 同 一 等 級 時(shí) 優(yōu) 先 選 取 擁 擠 距 離 排 序 高 的 個(gè) 體 以 保 證 個(gè) 體 多 樣 性 若 滿 足 進(jìn) 化 代 數(shù) 達(dá) 到200 則 停 止 算 法 以 當(dāng) 代 種 群 為 最 優(yōu) Parreto 解 集 否 則 轉(zhuǎn) 至 步 驟 繼 續(xù) 循 環(huán) 5 試 驗(yàn) 與 結(jié) 果 分 析 5 1 試 驗(yàn) 方 案 為 驗(yàn) 證 多 波 段 圖 像 融 合 算 法 效 果 采 集20 個(gè) 場 景 下 番 茄 植 株450 600 和900 nm 等3 個(gè) 最 優(yōu) 成 像 波 段 共 計(jì)60 幅 圖 像 作 為 數(shù) 據(jù) 集 并 由 人 工 采 用Adobe Photoshop 軟 件 標(biāo) 記 每 幅 圖 像 中 莖 桿 葉 片 和 綠 果 區(qū) 域 分 別 以 莖 稈 葉 片 和 綠 果 為 預(yù) 期 凸 顯 目 標(biāo) 采 用NSGA II 優(yōu) 化 算 法 計(jì) 算3 個(gè) 波 段 圖 像 的 最 優(yōu) 融 合 加 權(quán) 系 數(shù) 將 融 合 所 得 圖 像 數(shù) 據(jù) 進(jìn) 行 均 衡 化 處 理 20 并 映 射 為 灰 度 范 圍 0 255 的 圖 像 作 為 最 終 融 合 結(jié) 果 為 了 對 圖 像 融 合 結(jié) 果 進(jìn) 行 量 化 表 示 以 圖 像 灰 度 差 異 絕 對 差 值 之 和 Sum ofAbsolute Differ ence SAD 為 指 標(biāo) 對 單 一 成 像 波 段 圖 像 和 多 波 段 融 合 圖 像 內(nèi) 的 各 個(gè) 相 近 色 目 標(biāo) 之 間 的 亮 度 差 異 進(jìn) 行 評 價(jià) 其 值 越 大 表 示 兩 個(gè) 區(qū) 域 的 亮 度 差 異 越 明 顯 圖 像 灰 度 絕 對 差 值 和SAD A A 可 表 示 為 公 式 5 其 中A 和A 表 示 圖 像 中 兩 個(gè) 不 同 的 子 區(qū) 域 包 含 像 素 數(shù) 均 為N I Ai 和I A i 分 別 為 子 區(qū) 域 內(nèi) 像 素i 的 灰 度 值 SAD A A 1 N A I Ai I A i max I Ai I A i min I Ai I A i 5 在 此 基 礎(chǔ) 上 采 用Otsu 自 動 閾 值 分 割 算 法 21 對 融 合 圖 像 進(jìn) 行 閾 值 分 割 根 據(jù) 目 標(biāo) 區(qū) 域 像 素 的 有 效 識 別 比 例 對 圖 像 融 合 效 果 進(jìn) 行 評 估 5 2 試 驗(yàn) 結(jié) 果 與 分 析 以 上 述 數(shù) 據(jù) 樣 本 分 別 以 莖 稈 葉 片 和 綠 果 為 圖 6 相 近 色 目 標(biāo) 圖 像 灰 度 統(tǒng) 計(jì) Fig 6 Similar coloredorgans grayvaluestatistics 1 3 0馮 青 春 等 面 向 番 茄 植 株 相 近 色 目 標(biāo) 識 別 的 多 波 段 圖 像 融 合 方 法 Vol 2 No 2 凸 顯 目 標(biāo) 訓(xùn) 練NSGA II 優(yōu) 化 模 型 得 到3 組 圖 像 融 合 系 數(shù) 以 此 對 圖5 中450 600 和900 nm 圖 像 進(jìn) 行 融 合 得 到 融 合 結(jié) 果 和 相 應(yīng) 融 合 系 數(shù) 如 圖7 所 示 觀 察 融 合 結(jié) 果 圖7 可 知 針 對 番 茄 莖 葉 綠 果 特 定 目 標(biāo) 進(jìn) 行 多 波 段 圖 像 融 合 處 理 后 其 與 相 近 色 背 景 目 標(biāo) 的 像 素 亮 度 均 呈 現(xiàn) 明 顯 差 異 在 原 始 最 優(yōu) 成 像 波 段 和 融 合 結(jié) 果 圖 像 中 莖 稈 葉 片 和 綠 果 區(qū) 域 分 別 選 取500 個(gè) 像 素 計(jì) 算 綠 果 葉 片 莖 桿 綠 果 以 及 莖 桿 葉 片 之 間 的 灰 度 差 異 SAD 如 圖8 所 示 其 中 融 合1 2 和3 分 別 表 示 以 莖 桿 葉 片 和 綠 果 為 凸 顯 目 標(biāo) 的 融 合 圖 像 以 融 合1 為 例 與 原 始 圖 像 相 比 其 內(nèi) 部 莖 桿 目 標(biāo) 與 背 景 葉 片 和 綠 果 之 間 的SAD 增 加 背 景 葉 片 綠 果 之 間SAD 減 少 即 融 合 后 目 標(biāo) 莖 桿 與 背 景 之 間 差 異 增 加 背 景 中 兩 類 物 體 的 差 異 減 小 若 以 目 標(biāo) 背 景 與 背 景 背 景SAD 比 值r SAD 表 示 相 近 色 目 標(biāo) 與 背 景 的 綜 合 相 對 差 異 融 合1 2 和3 中 的r SAD 分 別 為4 98 8 84 和12 11 分 別 是 單 波 段 圖 像 中 最 大 值 的2 02 倍 相 比450 nm 圖 像 8 63 倍 相 比450 nm 圖 像 和7 89 倍 相 比 900 nm 圖 像 采 用Otsu 自 動 閾 值 分 割 算 法 18 對 融 合 圖 像 進(jìn) 行 閾 值 分 割 所 得 二 值 圖 像 如 圖9 所 示 其 融 合 圖 像 中 莖 桿 葉 片 和 果 實(shí) 像 素 的 識 別 準(zhǔn) 確 率 分 別 為71 14 60 32 和98 32 可 見 多 波 段 圖 像 融 合 后 通 過 常 規(guī) 自 動 分 割 算 法 可 以 將 相 近 色 目 標(biāo) 主 要 區(qū) 域 從 背 景 中 分 割 出 來 盡 管 如 此 針 對 莖 稈 和 果 實(shí) 的 分 割 結(jié) 果 顯 示 果 實(shí) 表 面 的 鏡 面 反 射 區(qū) 域 成 為 主 要 的 錯(cuò) 誤 分 割 區(qū) 域 因 此 克 服 表 面 光 滑 的 番 茄 果 實(shí) 表 面 鏡 面 反 射 以 改 善 目 標(biāo) 成 像 效 果 是 進(jìn) 一 步 研 究 的 重 點(diǎn) 工 作 6 結(jié) 論 為 了 實(shí) 現(xiàn) 溫 室 番 茄 植 株 莖 稈 葉 片 和 綠 果 等 3 類 相 近 色 目 標(biāo) 的 視 覺 識 別 本 研 究 提 出 了 多 波 段 圖 像 在 線 采 集 和 融 合 方 法 以 凸 顯 目 標(biāo) 與 背 景 圖 像 亮 度 差 異 基 于Lasso 正 則 化 邏 輯 回 歸 模 型 的 稀 疏 解 特 征 對 莖 葉 綠 果300 1000 nm 波 段 光 譜 數(shù) 據(jù) 進(jìn) 行 特 征 提 取 確 定 了450 600 和900 nm 為 最 優(yōu) 成 像 波 段 由 多 波 段 圖 像 在 線 采 集 系 統(tǒng) 獲 得 的 相 近 色 目 標(biāo) 圖 像 亮 度 的 相 對 關(guān) 系 與 其 光 譜 反 射 強(qiáng) 度 保 持 一 致 基 于NSGA II 多 目 標(biāo) 優(yōu) 化 算 法 獲 得 對3 個(gè) 最 優(yōu) 成 像 波 段 圖 像 加 權(quán) 融 合 系 數(shù) 以 莖 稈 葉 片 和 綠 果 為 目 標(biāo) 其 450 7 3053 600 5 9315 900 0 8086 a 凸 顯 莖 桿 融 合 結(jié) 果 450 6 6018 600 7 3463 900 2 2784 b 凸 顯 葉 片 融 合 結(jié) 果 450 5 5022 600 3 3760 900 3 1638 c 凸 顯 果 實(shí) 融 合 結(jié) 果 圖 7 最 優(yōu) 成 像 波 段 圖 像 融 合 效 果 Fig 7 Fusionresultsofoptimalwavelengthimages 圖 8 相 近 色 目 標(biāo) 圖 像 灰 度 S A D Fig 8 Similar coloredorgans grayvalueSAD 1 3 1Vol 2 No 2 智 慧 農(nóng) 業(yè) 中 英 文 S m a r t A g r i c u l t u r e 融 合 圖 像 中 目 標(biāo) 背 景 灰 度SAD 和 背 景 背 景 灰 度 SAD 比 值 分 別 是 單 波 段 圖 像 的2 02 8 63 和7 89 倍 因 此 多 波 段 圖 像 融 合 可 顯 著 提 高 相 近 色 目 標(biāo) 和 背 景 亮 度 差 異 并 有 效 抑 制 背 景 物 體 的 亮 度 波 動 參 考 文 獻(xiàn) 參 考 文 獻(xiàn) 1 鄭 偉 番 茄 主 產(chǎn) 區(qū) 農(nóng) 戶 生 產(chǎn) 投 入 產(chǎn) 出 調(diào) 查 分 析 J 農(nóng) 村 經(jīng) 濟(jì) 與 科 技 2019 30 9 112 114 ZHENG W Investigation and analysis of farmers pro duction input output in tomato main producing areas RuralEconomyandTechnology 2019 30 9 112 114 2 董 文 閣 董 莉 劉 念 等 日 光 溫 室 番 茄 套 作 菜 豆 接 番 茄 茬 口 高 效 栽 培 模 式 J 遼 寧 農(nóng) 業(yè) 科 學(xué) 2018 5 89 90 DONG W DONG L LIU N et al Efficient cultivation mode of planting string beans with tomato stubble in solar greenhouse J Liaoning Agricultural Science 2018 5 89 90 3 范 琳 陸 學(xué) 文 沈 建 新 江 蘇 省 設(shè) 施 番 茄 成 本 收 益 研 究 J 江 蘇 農(nóng) 業(yè) 科 學(xué) 2014 9 478 481 FAN L LU X SHEN J Study on the cost and benefit of facility tomato in Jiangsu province J JiangsuAgri culturalScience 2014 9 478 481 4 MIRANDA J PONCE P MOLINA A et al Sensing smartandsustainabletechnologiesforAgri Food4 0 J ComputerinIndustry 2019 108 21 36 5 BECHAR A VIGNEAULT C Agricultural robots for field operations Concepts and components J Biosys temsEngineering 2016 149 94 111 6 黃 文 江 師 越 董 瑩 瑩 等 作 物 病 蟲 害 遙 感 監(jiān) 測 研 究 進(jìn) 展 與 展 望 J 智 慧 農(nóng) 業(yè) 2019 1 4 1 11 HUANG W SHIY DONGY et al Progress and pros pects of crop diseases and pests monitoring by remote sensing J SmartAgriculture 2019 1 4 1 11 7 吳 偉 斌 馮 灼 峰 洪 添 勝 等 基 于 近 紅 外 反 射 的 柑 橘 重 疊 葉 片 葉 面 積 指 數(shù) 測 量 系 統(tǒng) J 農(nóng) 業(yè) 機(jī) 械 學(xué) 報(bào) 2013 44 1 179 184 WU W FENG Z HONG T et al Measurement system for citrus LAI based on near infrared reflection J TransactionsoftheCSAM 2013 44 1 179 184 8 MAY HUANG M YANG B et al Automatic thresh old method and optimal wavelength selection for in sect damaged vegetablesoybean detection using hyper spectral images J Computers and Electronics inAgri culture 2014 106 102 110 9 王 海 青 姬 長 英 陳 坤 杰 基 于 光 譜 分 析 技 術(shù) 的 黃 瓜 與 莖 葉 識 別 研 究 J 光 譜 學(xué) 與 光 譜 分 析 2011 31 10 2834 2838 WANG H JI C CHEN K Research on identification of cucumber stem and leaf based on spectrum analysis technology J Spectroscopy and Spectral Analys