2024 年 5 月 第 6 卷 第 3 期 May 2024 Vol 6 No 3 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 基 于 改 進(jìn) SlowFast 模 型 的 設(shè) 施 黃 瓜 農(nóng) 事 行 為 識(shí) 別 方 法 何 峰 1 2 吳 華 瑞 1 2 3 4 史 揚(yáng) 明 1 2 朱 華 吉 1 2 3 4 1 江 蘇 大 學(xué) 計(jì) 算 機(jī) 科 學(xué) 與 通 信 工 程 學(xué) 院 江 蘇 鎮(zhèn) 江 212013 中 國(guó) 2 國(guó) 家 農(nóng) 業(yè) 信 息 化 工 程 技 術(shù) 研 究 中 心 北 京 100097 中 國(guó) 3 北 京 市 農(nóng) 林 科 學(xué) 院 信 息 技 術(shù) 研 究 中 心 北 京 100097 中 國(guó) 4 農(nóng) 業(yè) 農(nóng) 村 部 數(shù) 字 鄉(xiāng) 村 技 術(shù) 重 點(diǎn) 實(shí) 驗(yàn) 室 北 京 100097 中 國(guó) 摘 要 目 的 目 的 意 義 意 義 農(nóng) 事 行 為 活 動(dòng) 識(shí) 別 對(duì) 設(shè) 施 蔬 菜 生 產(chǎn) 精 準(zhǔn) 化 調(diào) 控 有 著 重 要 意 義 在 一 定 程 度 上 可 以 通 過(guò) 查 看 農(nóng) 事 操 作 的 時(shí) 間 操 作 過(guò) 程 是 否 合 理 來(lái) 減 少 因 農(nóng) 事 行 為 不 當(dāng) 導(dǎo) 致 產(chǎn) 量 下 降 為 了 解 決 農(nóng) 事 行 為 識(shí) 別 方 法 中 由 于 黃 瓜 葉 片 和 設(shè) 施 遮 擋 導(dǎo) 致 識(shí) 別 準(zhǔn) 確 率 不 高 的 問(wèn) 題 提 出 一 種 名 為 SlowFast SMC ECA SlowFast Spatio Temporal Ex citation Channel Excitation Motion Excitation Efficient Channel Attention 的 農(nóng) 事 活 動(dòng) 行 為 識(shí) 別 算 法 方 法 方 法 該 算 法 主 要 基 于 SlowFast 模 型 通 過(guò) 改 進(jìn) Fast Pathway 和 Slow Pathway 中 的 網(wǎng) 絡(luò) 結(jié) 構(gòu) 來(lái) 提 高 對(duì) 于 農(nóng) 事 活 動(dòng) 中 手 部 動(dòng) 作 特 征 和 關(guān) 鍵 特 征 的 提 取 能 力 在 Fast Pathway 中 引 入 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) 的 概 念 通 過(guò) 在 信 道 之 間 插 入 卷 積 操 作 來(lái) 增 強(qiáng) 它 們 在 時(shí) 域 上 的 相 互 關(guān) 聯(lián) 性 從 而 更 好 地 捕 捉 快 速 運(yùn) 動(dòng) 信 息 的 細(xì) 微 時(shí) 間 變 化 在 Slow Pathway 中 將 傳 統(tǒng) 的 Residual Block 替 換 為 ECA Res 結(jié) 構(gòu) 以 提 高 對(duì) 通 道 信 息 的 捕 獲 能 力 這 兩 項(xiàng) 改 進(jìn) 有 效 地 加 強(qiáng) 了 通 道 之 間 的 聯(lián) 系 提 升 了 特 征 之 間 的 語(yǔ) 義 信 息 傳 遞 進(jìn) 而 顯 著 提 升 了 農(nóng) 事 行 為 識(shí) 別 的 準(zhǔn) 確 率 此 外 為 了 解 決 數(shù) 據(jù) 集 中 類(lèi) 別 不 均 衡 的 問(wèn) 題 設(shè) 計(jì) 了 平 衡 損 失 函 數(shù) Smoothing Loss 通 過(guò) 引 入 正 則 化 系 數(shù) 平 衡 損 失 函 數(shù) 可 以 有 效 地 處 理 數(shù) 據(jù) 集 中 的 類(lèi) 別 不 均 衡 情 況 提 高 模 型 在 各 個(gè) 類(lèi) 別 上 的 表 現(xiàn) 結(jié) 果 和 討 論 結(jié) 果 和 討 論 改 進(jìn) 的 SlowFast SMC ECA 模 型 在 農(nóng) 事 行 為 識(shí) 別 中 表 現(xiàn) 出 良 好 的 性 能 各 類(lèi) 行 為 的 平 均 識(shí) 別 精 度 達(dá) 到 80 47 相 較 于 原 始 的 SlowFast 模 型 有 約 3 5 的 提 升 結(jié) 論 結(jié) 論 本 研 究 在 農(nóng) 事 行 為 識(shí) 別 中 展 現(xiàn) 出 良 好 的 性 能 這 對(duì) 農(nóng) 業(yè) 生 產(chǎn) 的 智 能 化 管 理 和 決 策 具 有 重 要 意 義 關(guān) 鍵 詞 農(nóng) 事 活 動(dòng) 行 為 SlowFast 模 型 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) ECA Res 平 衡 損 失 函 數(shù) 中 圖 分 類(lèi) 號(hào) TP391 4 文 獻(xiàn) 標(biāo) 志 碼 A 文 章 編 號(hào) SA202402001 引 用 格 式 何 峰 吳 華 瑞 史 揚(yáng) 明 朱 華 吉 基 于 改 進(jìn) SlowFast 模 型 的 設(shè) 施 黃 瓜 農(nóng) 事 行 為 識(shí) 別 方 法 J 智 慧 農(nóng) 業(yè) 中 英 文 2024 6 3 118 127 DOI 10 12133 j smartag SA202402001 HE Feng WU Huarui SHI Yangming ZHU Huaji Recognition Method of Facility Cucumber Farming Behaviours Based on Improved SlowFast Model J Smart Agriculture 2024 6 3 118 127 DOI 10 12133 j smartag SA202402001 in Chinese with English abstract 0 引 言 黃 瓜 在 中 國(guó) 各 地 普 遍 栽 培 因 含 有 豐 富 的 人 體 所 需 的 各 種 營(yíng) 養(yǎng) 物 質(zhì) 對(duì) 人 體 健 康 非 常 有 益 而 深 受 消 費(fèi) 者 的 喜 歡 1 2 在 黃 瓜 栽 培 過(guò) 程 中 會(huì) 存 在 大 量 的 農(nóng) 事 活 動(dòng) 行 為 如 澆 水 吊 蔓 剪 枝 等 這 些 農(nóng) 事 操 作 得 合 理 與 否 直 接 影 響 黃 瓜 的 產(chǎn) 量 和 品 質(zhì) 進(jìn) 而 影 響 整 個(gè) 生 產(chǎn) 的 產(chǎn) 出 效 益 同 時(shí) 農(nóng) 事 操 作 的 時(shí) 間 操 作 過(guò) 程 投 入 農(nóng) 資 量 投 入 精 準(zhǔn) 度 等 基 礎(chǔ) 數(shù) 據(jù) 也 是 實(shí) 現(xiàn) 黃 瓜 生 產(chǎn) 精 準(zhǔn) 化 調(diào) 控 管 理 的 依 據(jù) 因 此 如 何 快 速 準(zhǔn) 確 地 記 錄 農(nóng) 事 操 作 行 為 就 顯 得 尤 為 重 要 傳 統(tǒng) 的 農(nóng) 事 活 動(dòng) 行 為 記 錄 主 要 依 靠 人 工 進(jìn) 行 記 錄 過(guò) 程 存 在 時(shí) 間 延 遲 準(zhǔn) 確 度 不 高 信 息 遺 漏 等 問(wèn) 題 這 些 會(huì) 給 黃 瓜 的 生 產(chǎn) 管 理 造 成 一 定 的 影 響 隨 著 圖 像 識(shí) 別 與 計(jì) 算 機(jī) 視 覺(jué) 技 術(shù) 的 飛 速 發(fā) 展 基 于 機(jī) 器 視 覺(jué) 技 術(shù) 通 過(guò) 對(duì) 農(nóng) 事 活 動(dòng) 行 為 視 頻 的 自 動(dòng) 提 取 和 識(shí) 別 實(shí) 現(xiàn) 農(nóng) 事 活 動(dòng) 記 錄 成 為 一 種 可 行 的 技 術(shù) 方 案 行 為 識(shí) 別 方 法 可 以 大 致 分 為 兩 類(lèi) 一 類(lèi) 是 基 于 傳 統(tǒng) 方 法 需 要 手 工 提 取 和 設(shè) 計(jì) 特 征 以 進(jìn) 行 識(shí) 別 另 一 類(lèi) 則 借 助 深 度 學(xué) 習(xí) 技 術(shù) 通 過(guò) 神 經(jīng) 網(wǎng) 絡(luò) 自 動(dòng) 學(xué) 習(xí) 數(shù) 據(jù) 中 的 特 征 從 而 對(duì) 一 些 簡(jiǎn) 單 的 行 為 如 揮 收 稿 日 期 2024 02 01 基 金 項(xiàng) 目 中 央 引 導(dǎo) 地 方 科 技 發(fā) 展 資 金 項(xiàng) 目 2023ZY1 CGZY 01 財(cái) 政 部 和 農(nóng) 業(yè) 農(nóng) 村 部 國(guó) 家 現(xiàn) 代 農(nóng) 業(yè) 產(chǎn) 業(yè) 技 術(shù) 體 系 資 助 CARS 23 D07 作 者 簡(jiǎn) 介 何 峰 研 究 方 向 為 計(jì) 算 機(jī) 視 覺(jué) E mail 1363263324 通 信 作 者 朱 華 吉 博 士 研 究 員 研 究 方 向 為 農(nóng) 業(yè) 信 息 化 E mail zhuhj copyright 2024 by the authors何 峰 等 基 于 改 進(jìn) SlowFast 模 型 的 設(shè) 施 黃 瓜 農(nóng) 事 行 為 識(shí) 別 方 法 Vol 6 No 3 手 聊 天 進(jìn) 行 識(shí) 別 3 手 工 特 征 提 取 方 法 主 要 是 通 過(guò) 人 工 方 法 提 取 視 頻 中 的 運(yùn) 動(dòng) 信 息 然 后 使 用 分 類(lèi) 器 如 支 持 向 量 積 Support Vector Machine SVM 4 K 臨 近 算 法 5 貝 葉 斯 分 類(lèi) 器 6 7 等 對(duì) 動(dòng) 作 進(jìn) 行 檢 測(cè) 分 類(lèi) 8 它 們 充 分 利 用 了 運(yùn) 動(dòng) 物 體 的 外 觀 特 征 這 些 特 征 不 僅 簡(jiǎn) 單 易 懂 而 且 具 有 出 色 的 魯 棒 性 這 種 方 法 已 經(jīng) 成 為 基 于 視 頻 識(shí) 別 行 為 的 優(yōu) 選 并 且 在 多 個(gè) 領(lǐng) 域 得 到 了 廣 泛 的 應(yīng) 用 手 工 特 征 的 可 行 性 和 廣 泛 性 使 其 成 為 一 個(gè) 強(qiáng) 大 的 工 具 用 于 捕 捉 和 分 析 視 頻 中 的 運(yùn) 動(dòng) 形 狀 顏 色 紋 理 等 關(guān) 鍵 信 息 從 而 實(shí) 現(xiàn) 對(duì) 行 為 的 準(zhǔn) 確 識(shí) 別 和 分 析 此 外 一 些 學(xué) 者 認(rèn) 為 視 頻 圖 像 攜 帶 著 前 后 幀 的 運(yùn) 動(dòng) 信 息 通 過(guò) 提 取 這 些 信 息 可 以 計(jì) 算 出 光 流 進(jìn) 而 獲 取 圖 像 中 物 體 運(yùn) 動(dòng) 的 光 流 數(shù) 據(jù) 從 而 用 于 描 述 運(yùn) 動(dòng) 狀 態(tài) 如 Wang 等 9 采 用 了 一 種 密 集 軌 跡 法 Dense Trajectories DT 的 方 法 通 過(guò) 在 視 頻 幀 中 密 集 提 取 軌 跡 點(diǎn) 并 捕 捉 這 些 軌 跡 點(diǎn) 隨 時(shí) 間 的 變 化 用 于 行 為 識(shí) 別 和 動(dòng) 作 分 析 之 后 Wang 和 Schmid 10 在 DT 的 算 法 上 進(jìn) 行 了 改 進(jìn) 提 出 了 改 進(jìn) 的 密 集 軌 跡 法 Improved Dense Trajectories IDT 通 過(guò) 更 精 細(xì) 的 軌 跡 采 樣 和 增 強(qiáng) 的 特 征 提 取 技 巧 提 高 了 在 視 頻 中 捕 獲 動(dòng) 作 信 息 的 效 率 和 準(zhǔn) 確 性 使 其 在 行 為 識(shí) 別 和 動(dòng) 作 分 析 中 更 具 競(jìng) 爭(zhēng) 力 近 年 來(lái) 深 度 學(xué) 習(xí) 領(lǐng) 域 取 得 了 迅 猛 發(fā) 展 為 行 為 識(shí) 別 研 究 提 供 了 嶄 新 的 視 角 和 方 法 傳 統(tǒng) 的 手 工 特 征 提 取 方 法 通 常 伴 隨 著 內(nèi) 存 需 求 較 高 的 問(wèn) 題 并 受 到 特 征 單 一 性 的 限 制 從 而 在 擴(kuò) 展 性 方 面 存 在 一 定 的 挑 戰(zhàn) 這 些 深 度 學(xué) 習(xí) 方 法 不 僅 能 夠 高 效 處 理 大 規(guī) 模 數(shù) 據(jù) 還 能 夠 自 動(dòng) 從 數(shù) 據(jù) 中 學(xué) 習(xí) 豐 富 的 特 征 表 示 因 此 在 視 頻 行 為 識(shí) 別 等 領(lǐng) 域 表 現(xiàn) 出 巨 大 的 潛 力 主 流 的 基 于 深 度 學(xué) 習(xí) 的 視 頻 理 解 算 法 包 括 雙 流 卷 積 神 經(jīng) 網(wǎng) 絡(luò) Two Stream Convolutional Neural Networks Two Stream CNN 人 體 骨 架 識(shí) 別 三 維 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 3D CNN 以 及 視 覺(jué) Transformer 這 些 網(wǎng) 絡(luò) 結(jié) 構(gòu) 在 捕 捉 視 頻 中 的 行 為 特 征 和 動(dòng) 作 信 息 方 面 發(fā) 揮 著 重 要 的 作 用 2014 年 Simonyan 和 Zisserman 11 提 出 了 一 種 創(chuàng) 新 的 方 法 即 雙 流 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 這 個(gè) 網(wǎng) 絡(luò) 采 用 了 兩 個(gè) 分 支 一 個(gè) 分 支 專(zhuān) 門(mén) 用 于 提 取 時(shí) 間 流 特 征 另 一 個(gè) 分 支 則 專(zhuān) 注 于 提 取 空 間 流 特 征 在 網(wǎng) 絡(luò) 的 后 端 它 將 這 兩 個(gè) 流 的 特 征 融 合 在 一 起 以 實(shí) 現(xiàn) 更 加 全 面 和 高 效 的 信 息 提 取 和 表 示 這 一 方 法 為 視 頻 行 為 識(shí) 別 等 任 務(wù) 帶 來(lái) 了 重 要 的 突 破 使 得 模 型 能 夠 更 好 地 理 解 時(shí) 間 和 空 間 信 息 從 而 提 高 了 識(shí) 別 性 能 在 此 基 礎(chǔ) 上 進(jìn) 行 改 進(jìn) 的 網(wǎng) 絡(luò) 有 TSN Temporal Segment Networks 12 網(wǎng) 絡(luò) 和 I3D Inflated 3D ConvNet 13 網(wǎng) 絡(luò) 3D 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 通 過(guò) 加 入 時(shí) 間 維 度 來(lái) 代 替 光 流 可 以 實(shí) 現(xiàn) 端 到 端 的 識(shí) 別 Tran 等 14 使 用 3D 卷 積 構(gòu) 建 了 C3D Convolutional Three Dimensional 模 型 它 將 VG GNet Visual Geometry Group network 網(wǎng) 絡(luò) 15 的 卷 積 核 由 3 3 的 2D 卷 積 擴(kuò) 展 為 3 3 3 的 3D 卷 積 之 后 出 現(xiàn) 的 R3D Residual 3D Convolutional Network 16 網(wǎng) 絡(luò) 和 SlowFast 17 網(wǎng) 絡(luò) 等 都 基 于 3D 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 此 外 在 長(zhǎng) 短 時(shí) 記 憶 網(wǎng) 絡(luò) Long Short Term Memory LSTM 的 進(jìn) 展 中 Donahue 等 18 引 入 了 長(zhǎng) 期 循 環(huán) 卷 積 神 經(jīng) 網(wǎng) 絡(luò) Long term re current Convolutional Networks LRCN 的 概 念 LRCN 結(jié) 合 了 2D 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 2D CNN 來(lái) 提 取 幀 級(jí) 特 征 并 隨 后 利 用 LSTM 來(lái) 建 模 多 個(gè) 視 頻 幀 之 間 的 時(shí) 間 關(guān) 系 這 一 方 法 在 視 頻 行 為 識(shí) 別 領(lǐng) 域 具 有 重 要 的 應(yīng) 用 潛 力 上 述 研 究 方 法 在 區(qū) 分 設(shè) 施 黃 瓜 的 生 長(zhǎng) 過(guò) 程 中 的 復(fù) 雜 農(nóng) 事 行 為 時(shí) 面 臨 著 一 系 列 挑 戰(zhàn) 包 括 株 距 較 近 葉 片 相 互 遮 擋 農(nóng) 事 操 作 多 樣 動(dòng) 作 環(huán) 節(jié) 復(fù) 雜 以 及 人 員 操 作 不 規(guī) 范 等 問(wèn) 題 這 些 問(wèn) 題 增 加 了 設(shè) 施 黃 瓜 的 農(nóng) 事 行 為 識(shí) 別 的 難 度 為 了 解 決 這 些 挑 戰(zhàn) 本 研 究 基 于 SlowFast 行 為 識(shí) 別 算 法 進(jìn) 行 了 改 進(jìn) 具 體 地 在 Fast Pathway 中 將 ACTION Spatio tem poral Channel and Motion Excitation 19 注 意 力 機(jī) 制 與 殘 差 塊 相 結(jié) 合 形 成 SMC Res Block 以 增 強(qiáng) 相 鄰 兩 幀 之 間 農(nóng) 事 操 作 的 連 續(xù) 性 特 征 提 取 能 力 考 慮 黃 瓜 生 產(chǎn) 中 葉 片 遮 擋 和 大 棚 環(huán) 境 的 復(fù) 雜 性 在 Slow Pathway 中 引 入 了 注 意 力 機(jī) 制 ECANet Effi cient Channel Attention Network 以 增 強(qiáng) 通 道 之 間 的 相 互 依 賴(lài) 關(guān) 系 從 而 提 高 Slow Pathway 網(wǎng) 絡(luò) 的 特 征 表 示 能 力 此 外 為 解 決 農(nóng) 事 行 為 數(shù) 據(jù) 集 中 的 不 均 衡 問(wèn) 題 本 研 究 設(shè) 計(jì) 了 平 衡 損 失 函 數(shù) Smooth ing Loss SLoss 使 用 這 一 損 失 函 數(shù) 有 助 于 平 衡 各 個(gè) 農(nóng) 事 行 為 類(lèi) 別 在 數(shù) 據(jù) 集 中 的 樣 本 分 布 從 而 提 高 模 型 對(duì) 于 每 個(gè) 類(lèi) 別 的 識(shí) 別 性 能 1 農(nóng) 事 行 為 數(shù) 據(jù) 集 構(gòu) 建 鑒 于 當(dāng) 前 缺 乏 適 用 于 種 植 黃 瓜 的 農(nóng) 事 行 為 監(jiān) 控 的 公 開(kāi) 可 用 的 數(shù) 據(jù) 集 本 研 究 選 用 北 京 國(guó) 家 精 準(zhǔn) 農(nóng) 業(yè) 實(shí) 驗(yàn) 示 范 基 地 內(nèi) 的 黃 瓜 溫 室 為 研 究 案 例 并 自 行 構(gòu) 建 數(shù) 據(jù) 集 用 于 識(shí) 別 和 評(píng) 價(jià) 種 植 黃 瓜 的 農(nóng) 事 行 為 為 了 確 保 能 夠 捕 捉 到 農(nóng) 業(yè) 操 作 人 員 的 動(dòng) 作 研 究 采 用 以 下 布 置 方 式 溫 室 的 長(zhǎng) 寬 比 為 A B 119Vol 6 No 3 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture A B 其 中 A 為 長(zhǎng) 15 m B 為 寬 3 m 行 距 為 100 cm 株 距 為 40 cm 共 有 18 壟 壟 間 距 為 80 cm 根 據(jù) 這 一 布 局 攝 像 頭 的 安 裝 點(diǎn) 位 如 圖 1 所 示 攝 像 頭 被 設(shè) 置 在 長(zhǎng) 邊 上 每 兩 壟 黃 瓜 苗 之 間 以 確 保 清 晰 拍 攝 農(nóng) 業(yè) 操 作 人 員 的 操 作 考 慮 監(jiān) 控 視 頻 的 主 要 目 的 是 識(shí) 別 農(nóng) 業(yè) 人 員 與 黃 瓜 的 互 動(dòng) 行 為 攝 像 頭 的 安 裝 高 度 為 2 2 m 略 高 于 人 的 頭 頂 高 度 此 外 攝 像 頭 角 度 傾 斜 15 30 以 確 保 能 夠 清 晰 捕 捉 操 作 人 員 的 行 為 為 增 加 角 度 的 多 樣 性 還 使 用 手 機(jī) 對(duì) 農(nóng) 事 行 為 進(jìn) 行 輔 助 拍 攝 實(shí) 驗(yàn) 數(shù) 據(jù) 的 采 集 時(shí) 間 為 2023 年 2 月 28 日 4 月 25 日 此 過(guò) 程 為 黃 瓜 從 移 栽 到 采 摘 的 全 部 過(guò) 程 拍 攝 的 設(shè) 備 為 海 康 威 視 的 螢 石 云 家 用 攝 像 頭 型 號(hào) 為 DS IPC B12V2 I H8 焦 距 為6 mm 清 晰 度 為5 MP 拍 攝 的 時(shí) 間 為 10 00 11 30 和 14 00 15 00 每 段 視 頻 拍 攝 的 時(shí) 長(zhǎng) 大 約 為 1 min 本 研 究 共 采 集 了 移 栽 噴 水 吊 蔓 整 枝 采 摘 共 5 個(gè) 行 為 197 段 視 頻 圖 2 所 示 為 采 集 到 的 部 分 農(nóng) 事 行 為 的 視 頻 截 幀 拍 攝 視 頻 的 標(biāo) 識(shí) 方 法 為 AVA 數(shù) 據(jù) 集 格 式 16 視 頻 數(shù) 據(jù) 經(jīng) 過(guò) 切 分 與 篩 選 農(nóng) 事 行 為 數(shù) 據(jù) 集 一 共 有 707 段 視 頻 其 中 500 段 視 頻 用 作 訓(xùn) 練 集 40 段 視 頻 用 作 驗(yàn) 證 集 67 段 視 頻 用 作 測(cè) 試 集 在 建 立 原 始 數(shù) 據(jù) 集 后 對(duì) 數(shù) 據(jù) 進(jìn) 行 抽 幀 和 標(biāo) 注 為 了 確 保 數(shù) 據(jù) 的 均 衡 性 每 個(gè) 行 為 的 數(shù) 據(jù) 量 需 相 當(dāng) 并 且 不 能 截 斷 任 何 動(dòng) 作 為 實(shí) 現(xiàn) 這 一 目 標(biāo) 采 取 了 以 下 措 施 1 刪 除 視 頻 中 沒(méi) 有 目 標(biāo) 人 員 出 現(xiàn) 的 片 段 2 將 視 頻 中 包 含 目 標(biāo) 前 后 多 個(gè) 動(dòng) 作 的 片 段 進(jìn) 行 拆 分 最 終 的 數(shù) 據(jù) 集 組 成 如 表 1 所 示 2 模 型 構(gòu) 建 本 研 究 提 出 的 SlowFast SMC ECA 模 型 基 于 SlowFast 模 型 其 結(jié) 構(gòu) 如 圖 3 所 示 主 要 包 括 數(shù) 據(jù) 層 卷 積 層 殘 差 層 及 特 征 融 合 層 模 型 的 整 體 處 理 流 程 數(shù) 據(jù) 層 通 過(guò) 2 個(gè) 不 同 的 步 長(zhǎng) 值 得 到 不 同 幀 的 數(shù) 據(jù) 將 其 饋 送 到 不 同 的 通 道 中 在 進(jìn) 入 到 卷 積 層 后 Slow Pathway 每 次 以 1 幀 進(jìn) 行 運(yùn) 算 Fast Path way 提 取 5 幀 圖 片 一 起 進(jìn) 行 運(yùn) 算 接 著 進(jìn) 入 3D 殘 差 網(wǎng) 絡(luò) Slow Pathway 和 Fast Pathway 分 別 用 ECA Res 和 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) 進(jìn) 行 農(nóng) 事 活 動(dòng) 行 為 中 運(yùn) 動(dòng) 信 息 和 空 間 信 息 的 提 取 最 后 進(jìn) 行 特 征 融 合 得 到 最 終 的 農(nóng) 事 活 動(dòng) 行 為 的 結(jié) 果 2 1 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) 在 Fast Pathway 中 以 高 時(shí) 間 分 辨 率 捕 獲 運(yùn) 動(dòng) 信 息 但 是 基 于 設(shè) 施 黃 瓜 的 農(nóng) 事 活 動(dòng) 行 復(fù) 雜 多 變 手 部 動(dòng) 作 幅 度 小 一 些 農(nóng) 事 行 為 相 關(guān) 性 強(qiáng) 原 始 殘 差 塊 在 捕 獲 農(nóng) 事 活 動(dòng) 行 為 運(yùn) 動(dòng) 特 征 時(shí) 會(huì) 丟 失 大 量 信 息 造 成 誤 檢 現(xiàn) 象 本 研 究 利 用 ACTION 19 中 的 3 個(gè) 互 補(bǔ) 注 意 力 機(jī) 制 即 STE Spatial Temporal Ex citation CE Channel Excitation ME Motion Excitation 結(jié) 合 原 始 的 殘 差 塊 形 成 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) Spatial Temporal Excitation Channel 圖 1 農(nóng) 事 行 為 識(shí) 別 研 究 攝 像 頭 布 置 點(diǎn) 位 Fig 1 The arrangement of camera positions for agricultural activity recognition research 表 1 設(shè) 施 黃 瓜 農(nóng) 事 行 為 數(shù) 據(jù) 集 的 構(gòu) 成 Table 1 The composition of the greenhouse cucumber farming behavior dataset 行 為 類(lèi) 別 移 栽 澆 水 吊 蔓 整 枝 采 摘 視 頻 數(shù) 個(gè) 97 146 162 124 178 標(biāo) 簽 數(shù) 量 個(gè) 7 432 10 207 11 106 9 978 12 173 a 采 摘 行 為 b 吊 蔓 行 為 圖 2 設(shè) 施 黃 瓜 的 農(nóng) 事 行 為 視 頻 截 幀 Fig 2 Video cut off frames of agronomic behaviour of facility cucumbers 120何 峰 等 基 于 改 進(jìn) SlowFast 模 型 的 設(shè) 施 黃 瓜 農(nóng) 事 行 為 識(shí) 別 方 法 Vol 6 No 3 Excitation Motion Excitation Residual SMC Res 結(jié) 構(gòu) 如 圖 4 所 示 來(lái) 提 高 對(duì) 農(nóng) 事 行 為 視 頻 中 關(guān) 鍵 特 征 的 激 發(fā) 從 而 提 升 農(nóng) 事 行 為 識(shí) 別 的 準(zhǔn) 確 性 本 研 究 使 用 Conv 為 卷 積 數(shù) 量 F 為 內(nèi) 核 大 小 卷 積 濾 波 器 的 特 征 映 射 數(shù) 為 n x x 和 F BN Batch Normalization 為 批 量 歸 一 化 ReLu 為 激 活 函 數(shù) SMC Res 塊 包 含 3 次 卷 積 和 一 個(gè) 殘 差 邊 在 每 一 組 卷 積 以 及 殘 差 連 接 之 前 加 入 SMC 模 塊 這 樣 做 可 以 在 不 同 維 度 獲 取 多 類(lèi) 型 的 時(shí) 空 模 式 通 道 信 息 及 運(yùn) 動(dòng) 信 息 后 進(jìn) 行 卷 積 獲 取 更 加 細(xì) 粒 度 的 特 征 提 高 農(nóng) 事 行 為 識(shí) 別 的 精 度 STE 時(shí) 空 注 意 力 模 塊 旨 在 捕 獲 適 當(dāng) 的 時(shí) 空 模 式 以 強(qiáng) 化 視 頻 中 的 空 間 和 時(shí) 間 關(guān) 系 有 助 于 更 好 地 理 解 農(nóng) 事 活 動(dòng) 行 為 中 的 一 些 動(dòng) 作 的 變 化 主 要 通 過(guò) 生 成 時(shí) 空 掩 碼 來(lái) 產(chǎn) 生 時(shí) 空 注 意 力 圖 以 提 取 視 頻 中 的 時(shí) 空 特 征 STE 網(wǎng) 絡(luò) 結(jié) 構(gòu) 如 圖 5a 所 示 首 先 對(duì) 輸 入X R N T C H W N 表 示 批 量 大 小 T 表 示 段 數(shù) C 表 示 通 道 數(shù) H 表 示 高 度 W 表 示 寬 度 做 一 個(gè) 通 道 平 均 得 到 關(guān) 于 通 道 軸 的 全 局 時(shí) 空 張 量F 1 R N T 1 H W 后 把 得 到 的F 1 重 構(gòu) 為 新 的 時(shí) 空 張 量F 1 R N 1 T H W 然 后 饋 送 到 3D 卷 積 核 K 中 數(shù) 學(xué) 表 達(dá) 如 公 式 1 所 示 F o1 K F 1 1 然 后 再 將 F o1 重 構(gòu) 為 F o1 最 后 經(jīng) 過(guò) Sigmoid 函 數(shù) 進(jìn) 行 激 活 得 到 掩 碼 如 公 式 2 所 示 M 1 F o1 2 式 中 M 1 為 激 活 掩 碼 為 Sigmoid 函 數(shù) 最 后 得 到 農(nóng) 事 活 動(dòng) 行 為 中 更 為 精 細(xì) 的 時(shí) 空 信 息 如 公 式 3 所 示 Y 1 X X M 1 3 式 中 Y 1 為 STE 模 塊 的 最 終 輸 出 CE 注 意 力 模 塊 用 于 提 取 適 當(dāng) 的 通 道 范 圍 特 征 以 強(qiáng) 調(diào) 網(wǎng) 絡(luò) 中 不 同 通 道 的 信 息 這 有 助 于 捕 捉 關(guān) 鍵 的 通 道 信 息 從 而 提 高 農(nóng) 事 行 為 的 識(shí) 別 能 力 它 類(lèi) 似 于 SE Squeeze and Excitation Networks 注 意 力 模 塊 20 為 了 增 強(qiáng) 農(nóng) 事 活 動(dòng) 行 為 各 個(gè) 不 同 特 征 在 時(shí) 間 上 的 相 互 依 賴(lài) 程 度 CE 模 塊 在 兩 個(gè) 全 連 接 層 之 間 引 入 了 一 個(gè) 一 維 卷 積 層 以 捕 捉 信 道 特 征 上 的 時(shí) 間 信 息 CE 模 塊 的 結(jié) 構(gòu) 如 圖 5b 所 示 對(duì) 于 給 定 的 輸 入X R N T C H W 通 過(guò) 平 均 池 化 的 方 法 來(lái) 獲 取 全 局 空 間 信 息F 2 R N T C 1 1 它 的 求 解 如 公 式 4 所 示 F 2 1 H W i 1 H j 1 W X i j 4 對(duì)F 2 用 一 個(gè) 二 維 卷 積 核 K 1 進(jìn) 行 壓 縮 得 到F r 如 公 式 5 所 示 F r K 1 F 2 5 對(duì)F r R N T c r 1 1 重 構(gòu) 得 到F r R N C r T 1 1 圖 3 SlowFast SMC ECA 網(wǎng) 絡(luò) 結(jié) 構(gòu) 圖 Fig 3 SlowFast SMC ECA network structure diagram 圖 4 SMC Res 結(jié) 構(gòu) Fig 4 SMC Res structure 121Vol 6 No 3 智 慧 農(nóng) 業(yè) 中 英 文 Smart Agriculture 然 后 用 核 大 小 為 3 的 一 維 卷 積 核 K 2 與F r 相 乘 得 到 F temp R N C r T 1 1 然 后 重 構(gòu)F temp 得 到F temp 后 與 2D 卷 積 核 K 3 相 乘 進(jìn) 行 解 壓 縮 最 后 經(jīng) 過(guò) Sigmoid 函 數(shù) 得 到 農(nóng) 事 動(dòng) 作 的 掩 碼 如 公 式 6 和 公 式 7 所 示 M 2 F o2 6 Y 2 X X M 2 7 式 中 M 2 為 CE 模 塊 的 掩 碼 Y 2 為 最 終 輸 出 ME 注 意 力 模 塊 專(zhuān) 注 于 提 取 運(yùn) 動(dòng) 信 息 以 更 好 地 聚 焦 于 農(nóng) 事 活 動(dòng) 行 為 中 操 作 人 員 的 手 部 動(dòng) 作 的 變 化 如 圖 5c 表 示 通 過(guò) 相 鄰 幀 之 間 的 變 化 情 況 來(lái) 建 模 農(nóng) 事 活 動(dòng) 行 為 的 運(yùn) 動(dòng) 特 征 如 公 式 8 所 示 F m K F r t 1 F r t 8 式 中 K 為 3 3 的 二 維 卷 積 F m 通 過(guò) K 對(duì) 前 后 兩 幀 的 操 作 得 到 即 將 輸 入X 每 相 鄰 兩 幀 之 間 得 到 的 差 值 在 時(shí) 間 維 度 上 進(jìn) 行 連 接 再 對(duì) 得 到 的 特 征 做 平 均 池 化 處 理 然 后 通 過(guò) Sigmoid 函 數(shù) 得 到 最 終 的 輸 出 如 公 式 9 所 示 Y 3 X X M 3 9 式 中 M 3 為 ME 模 塊 的 掩 碼 Y 3 為 最 終 輸 出 農(nóng) 事 行 為 的 特 征 信 息 通 過(guò) STE CE ME 注 意 力 機(jī) 制 將 生 成 的 3 個(gè) 激 發(fā) 特 征 逐 元 素 相 加 再 經(jīng) 過(guò) 多 路 徑 激 勵(lì) 通 道 最 終 結(jié) 果 如 公 式 10 所 示 Y Y 1 Y 2 Y 3 10 式 中 Y 為 多 路 徑 激 勵(lì) 殘 差 網(wǎng) 絡(luò) 的 最 終 輸 出 然 后 對(duì) 生 成 的 特 征 信 息 進(jìn) 行 卷 積 操 作 得 到 最 終 的 運(yùn) 動(dòng) 特 征 信 息 2 2 ECA Res 殘 差 塊 在 設(shè) 施 黃 瓜 的 生 產(chǎn) 環(huán) 境 下 黃 瓜 在 開(kāi) 花 期 葉 片 生 長(zhǎng) 迅 速 存 在 黃 瓜 葉 片 遮 擋 操 作 人 員 的 手 部 動(dòng) 作 變 化 的 問(wèn) 題 在 Slow Pathway 中 如 操 作 人 員 的 手 部 輪 廓 等 通 道 信 息 不 容 易 被 捕 捉 到 為 提 高 通 道 信 息 的 捕 捉 能 力 在 ResNet 主 干 網(wǎng) 絡(luò) 的 基 礎(chǔ) 上 在 殘 差 塊 中 結(jié) 合 ECA 注 意 力 21 ECANet 注 意 力 機(jī) 制 在 SENet 注 意 力 機(jī) 制 的 基 礎(chǔ) 上 實(shí) 現(xiàn) 了 不 降 維 的 跨 通 道 交 互 策 略 只 涉 及 了 少 量 的 參 數(shù) 不 僅 避 免 了 維 度 特 征 的 縮 減 還 能 增 加 通 道 之 間 的 信 息 交 互 在 保 證 交 互 的 前 提 下 精 簡(jiǎn) 模 型 SlowFast 網(wǎng) 絡(luò) 中 的 Slow Pathway 有 比 Fast Pathway 更 多 的 通 道 數(shù) 量 來(lái) 學(xué) 習(xí) 通 道 信 息 ECA 注 意 力 機(jī) 制 可 以 完 美 地 適 用 于 Slow Fast 網(wǎng) 絡(luò) 中 的 Slow Pathway 不 僅 減 少 了 計(jì) 算 量 還 突 出 了 通 道 中 的 關(guān) 鍵 信 息 和 抑 制 視 頻 中 背 景 因 素 的 干 擾 其 結(jié) 構(gòu) 如 圖 6 所 示 ECA 注 意 力 機(jī) 制 的 工 作 原 理 如 圖 7 所 示 通 過(guò) 卷 積 對(duì) 特 征 圖 進(jìn) 行 壓 縮 得 到 一 個(gè) 新 的 特 征 圖 的 大 小 為 H C W 將 經(jīng) 過(guò) 全 局 平 均 池 化 Gol bal Average Pooling GAP 轉(zhuǎn) 變 為 1 1 C 的 向 量 這 樣 空 間 信 息 就 得 到 了 壓 縮 然 后 采 用 一 維 卷 積 來(lái) 提 取 通 道 上 的 特 征 模 型 在 訓(xùn) 練 的 過(guò) 程 中 能 夠 自 適 應(yīng) 卷 積 核 的 大 小 具 體 的 做 法 為 a STE b CE c ME 圖 5 SMC 模 塊 組 成 Fig 5 Composition of SMC modules 圖 6 ECA Res 結(jié) 構(gòu) Fig 6 ECA Res structure 122何 峰 等 基 于 改 進(jìn) SlowFast 模 型 的 設(shè) 施 黃 瓜 農(nóng) 事 行 為 識(shí) 別 方 法 Vol 6 No 3 1 在 全 局 平 局 池 化 之 后 得 到 一 個(gè) 1 1 C 的 向 量 2 計(jì) 算 自 適 應(yīng) 一 維 卷 積 核 的 大 小 如 公 式 11 所 示 k c log 2 c b 11 式 中 2 b 1 k 為 核 大 小 c 為 通 道 大 小 該 自 適 應(yīng) 卷 積 核 表 明 了 局 部 跨 通 道 交 互 的 覆 蓋 率 3 將 自 適 應(yīng) 卷 積 核 使 用 到 一 維 卷 積 中 得 到 各 通 道 的 權(quán) 重 使 得 通 道 數(shù) 較 大 的 層 可 以 更 多 地 進(jìn) 行 相 鄰 通 道 間 的 交 互 2 3 損 失 函 數(shù) 在 數(shù) 據(jù) 采 集 過(guò) 程 中 由 于 黃 瓜 生 長(zhǎng) 周 期 中 不 同 農(nóng) 事 行 為 的 頻 率 差 異 某 些 行 為 如 移 栽 在 整 個(gè) 生 長(zhǎng) 周 期 中 僅 發(fā) 生 幾 次 而 其 他 行 為 如 澆 水 采 摘 則 有 較 高 的 發(fā) 生 頻 率 這 導(dǎo) 致 數(shù) 據(jù) 集 存 在 明 顯 的 類(lèi) 別 不 均 衡 問(wèn) 題 同 時(shí) 一 些 行 為 如 吊 蔓 和 采 摘 在 表 現(xiàn) 上 相 似 所 以 原 始 的 損 失 函 數(shù) 22 在 對(duì) 于 一 些 小 樣 本 的 農(nóng) 事 行 為 活 動(dòng) 時(shí) 它 的 準(zhǔn) 確 率 得 不 到 保 證 為 解 決 這 一 問(wèn) 題 本 研 究 設(shè) 計(jì) 了 一 種 平 衡 損 失 函 數(shù) Smoothing Loss SLoss 該 損 失 函 數(shù) 通 過(guò) 引 入 正 則 化 系 數(shù) i 并 與 原 始 損 失 函 數(shù) 相 乘 旨 在 緩 解 模 型 在 訓(xùn) 練 過(guò) 程 中 對(duì) 于 高 頻 行 為 的 過(guò) 擬 合 同 時(shí) 確 保 對(duì) 于 低 頻 行 為 的 充 分 訓(xùn) 練 正 則 化 系 數(shù) 的 定 義 如 公 式 12 所 示 i S 1 i 12 式 中 S 一 般 設(shè) 置 為 0 1 0 5 0 75 本 研 究 設(shè) 置 為 0 75 用 來(lái) 平 衡 類(lèi) 別 的 超 參 數(shù) i 的 計(jì) 算 如 公 式 13 所 示 i f i i 1 C f i 13 式 中 f i 為 第 i 類(lèi) 農(nóng) 事 行 為 的 樣 本 個(gè) 數(shù) C 為 農(nóng) 事 行 為 類(lèi) 別 數(shù) 因 此 最 后 的 SLoss 如 公 式 14 所 示 SLoss i Loss p t S 1 i Loss p t 14 式 中 p t 為 預(yù) 測(cè) 為 正 類(lèi) 別 的 概 率 在 多 分 類(lèi) 任 務(wù) 中 經(jīng) 過(guò) Sigmoid 函 數(shù) 進(jìn) 行 歸 一 化 處 理 后 得 到 最 終 的 結(jié) 果 如 公 式 15 所 示 SLoss p t i 1 C i log sigmoid p t i 1 C S 1 i log 1 1 exp p t i 1 C S 1 i log p t 15 3 實(shí) 驗(yàn) 設(shè) 計(jì) 與 結(jié) 果 分 析 3 1 實(shí) 驗(yàn) 環(huán) 境 本 研 究 的 實(shí) 驗(yàn) 環(huán) 境 為 Linux 5 的 操 作 系 統(tǒng) CPU 為 Intel R Xeon R Platinum 8255C CPU 2 50 GHz GPU 為 NVIDIA GeForce GTX 2080 Ti 顯 卡 深 度 學(xué) 習(xí) 的 框 架 為 PyTorch 框 架 在 模 型 的 訓(xùn) 練 過(guò) 程 中 模 型 訓(xùn) 練 的 Epoch 設(shè) 置 為 200 批 量 大 小 設(shè) 置 為 8 初 始 的 學(xué) 習(xí) 率 為 0 001 權(quán) 重 衰 減 參 數(shù) 設(shè) 置 為 0 005 網(wǎng) 絡(luò) 中 的 模 型 優(yōu) 化 采 用 的 是 隨 機(jī) 梯 度 下 降 算 法 Stochastic Gradient De scent SGD 3 2 實(shí) 驗(yàn) 結(jié) 果 與 分 析 3 2 1 農(nóng) 事 活 動(dòng) 行 為 識(shí) 別 結(jié) 果 為 驗(yàn) 證 本 研 究 提 出 的 改 進(jìn) SlowFast 模 型 的 農(nóng) 事 行 為 識(shí) 別 方 法 對(duì) 移 栽 澆 水 吊 蔓 整 枝 采 摘 5 種 行 為 識(shí) 別 效 果 的 優(yōu) 越 性 將 SlowFast SMC ECA 模 型 與 原 模 型 SlowFast 進(jìn) 行 比 較 對(duì) 比 結(jié) 果 如 表 2 所 示 由 表 2 可 以 看 出 改 進(jìn) 后 方 法 相 比 原 始 的 SlowFast 模 型 在 5 種 農(nóng) 事 行 為 的 識(shí) 別 準(zhǔn) 確 率 均 有 不 同 幅 度 的 提 升 其 中 提 升 較 為 明 顯 的 是 移 栽 行 為 較 原 模 型 提 高 3 53 提 升 不 太 明 顯 的 是 采 摘 行 為 僅 為 86 61 全 部 行 為 識(shí) 別 精 度 的 平 均 值 為 圖 7 ECANet 網(wǎng) 絡(luò) 結(jié) 構(gòu) 圖 Fig 7 ECANet network structure diagram 表 2 SlowFast SMC ECA 模 型 不 同 行 為 識(shí) 別 精 度 對(duì)