第 39 卷 第 8 期 福 建 電 腦 Vol 39 No 8 2023 年 8 月 Journal of Fujian Computer Aug 2023 nullnullnullnullnullnullnullnull 本文 得到福建信息職業(yè)技術(shù)學(xué)院院級(jí)科研項(xiàng)目 No Y21107 資助 陳文印 通信作者 男 1989年生 主要研究領(lǐng)域?yàn)槲锫?lián)網(wǎng)技術(shù) 圖像處理 E mail 1092947606 吳科甲 男 1991 年生 主要研究方向嵌入式應(yīng)用 E mail 2702876243 吳婧 女 1993年生 主要研究領(lǐng) 域?yàn)槲锫?lián)網(wǎng)應(yīng)用技術(shù) E mail dtywj1109 百度AI環(huán)境下的植物生長(zhǎng)階段識(shí)別研究 陳文印 吳科甲 吳婧 林陳隆 林宏河 福建信息職業(yè)技術(shù)學(xué)院物聯(lián)網(wǎng)與人工智能學(xué)院 福州 350000 摘 要 植物在不同的生長(zhǎng)階段所需的 溫光水氣肥 等因素參數(shù)各不相同 為了精準(zhǔn)地控制植物工廠(chǎng)中各種環(huán)境 需要對(duì) 植物生長(zhǎng)階段進(jìn)行識(shí)別 本文研究將百度 AI 智能云平臺(tái)訓(xùn)練識(shí)別模型結(jié)合樹(shù)莓派實(shí)現(xiàn)圖像采集 識(shí)別以及環(huán)境控制輸出 來(lái)實(shí)現(xiàn)生長(zhǎng)環(huán)境精準(zhǔn)調(diào)控 通過(guò)測(cè)試表明 該方案簡(jiǎn)單快速 實(shí)用性強(qiáng) 可以有效識(shí)別出所識(shí)別植物的生長(zhǎng)階段 關(guān)鍵詞 百度智能云 物聯(lián)網(wǎng)設(shè)備 樹(shù)莓派 植物識(shí)別 中圖法分類(lèi)號(hào) TP3 0 DOI 10 16707 ki fjpc 2023 08 006 Research on Identification of Plant Growth Stage based on Baidu AI CHEN Wenyin WU Kejia WU Jing LIN Chenlong LIN Honghe School of Internet of Things and Artificial Intelligence Fujian Polytechnic of Information Technology Fuzhou China 350000 Abstract The factors and parameters required for plants in different growth stages such as temperature light water air and fertilizer vary In order to accurately control various environments in Plant factory it is necessary to identify plant growth stages This article studies the integration of Baidu AI intelligent cloud platform training recognition model with Raspberry Pi to achieve image acquisition recognition and environmental control output in order to achieve precise regulation of the growth environment Tests have shown that this scheme is simple fast and highly practical and can effectively identify the growth stage of the identified plants Keywords Baidu Intelligent Cloud Internet of Things Devices Raspberry PI Plant Recognition 1 引言 隨著人工智能的快速發(fā)展 圖像識(shí)別技術(shù)在智 慧農(nóng)業(yè)中應(yīng)用也越來(lái)越廣泛 促進(jìn)了植物工廠(chǎng)等現(xiàn) 代農(nóng)業(yè)的發(fā)展 1 在植物工廠(chǎng)中 能夠?qū)囟?光 照 水分 二氧化碳 肥料等植物所需的生長(zhǎng)因素 進(jìn)行精準(zhǔn)控制 使作物始終處于最佳的生長(zhǎng)環(huán)境 2 然后同一種作物 在不同的生長(zhǎng)階段 對(duì)這些環(huán)境 因素的需求也各不相同 例如水稻在撥節(jié)孕穂期的 時(shí)候需要更高的溫度 否則容易出現(xiàn)嚴(yán)重的空秕 癟粒的情況 目前 研究人員對(duì)圖像識(shí)別在植物種類(lèi)識(shí)別 病蟲(chóng)害識(shí)別 產(chǎn)量評(píng)估等方面研究較多 例如 西 北農(nóng)林科技大學(xué)的羅娟和蔡騁研究了基于 GoogleNet 網(wǎng)絡(luò)結(jié)構(gòu)在植物識(shí)別中的應(yīng)用 提出了 基于該網(wǎng)絡(luò)的多線(xiàn)索植物識(shí)別方法 3 中國(guó)科學(xué)技 術(shù)大學(xué)的王芳元提出了基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的 植物病害識(shí)別方法 融合了農(nóng)田多源環(huán)境信息 為 蟲(chóng)害目標(biāo)檢測(cè)模型提供了語(yǔ)義知識(shí)背景的指導(dǎo) 4 中 北大學(xué)的吳尚蓉通過(guò)灰度共生矩陣提取紋理特 征 建立基于徑向基 Radial Basis Function RBF 神經(jīng)網(wǎng)絡(luò)的估產(chǎn)模型作為倒伏冬小麥產(chǎn)量評(píng)論的 最優(yōu)模型 5 百度 AI 智能云平臺(tái)提供了 EasyDL 開(kāi)發(fā)平臺(tái) 本文利用該平臺(tái)進(jìn)行訓(xùn)練植物生長(zhǎng)階段識(shí)別的模 型 收集了同一種類(lèi)作物不同階段的生長(zhǎng)圖片 將 這些圖片上傳至平臺(tái) 然后人工進(jìn)行標(biāo)注 云平臺(tái) 2023 年 福 建 電 腦 27 利用這些圖片訓(xùn)練出所需的模型 并對(duì)訓(xùn)練后的模 型進(jìn)行二次校驗(yàn) 以提高模型泛化效果 模型訓(xùn)練 結(jié)束后 通過(guò) API Application Programming Interface 接口發(fā)布給客戶(hù)端使用 攝像頭接入樹(shù) 莓派中 樹(shù)莓派通過(guò) OpenCV 模塊調(diào)用攝像頭進(jìn)行 采集圖像 采集后調(diào)用 API 接口進(jìn)行階段識(shí)別 根 據(jù)識(shí)別結(jié)果通過(guò)后臺(tái)得到最佳的生長(zhǎng)環(huán)境參數(shù) 最 后結(jié)合物聯(lián)網(wǎng)控制系統(tǒng)實(shí)現(xiàn)環(huán)境調(diào)控 使作物處于 最佳的生長(zhǎng)環(huán)境 6 7 2 系統(tǒng)架構(gòu) 系統(tǒng)可以分為百度 AI 樹(shù)莓派圖像采集系統(tǒng)組 成的圖像識(shí)別系統(tǒng) 以及植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù) 物 聯(lián)網(wǎng)控制系統(tǒng)組成的環(huán)境控制系統(tǒng) 首先樹(shù)莓派通 過(guò)攝像頭對(duì)植物進(jìn)行圖像采集 然后運(yùn)用百度 AI 對(duì)植物圖像進(jìn)行識(shí)別 隨后將識(shí)別到的結(jié)果發(fā)給環(huán) 境控制系統(tǒng) 最后物聯(lián)網(wǎng)控制系統(tǒng)會(huì)將識(shí)別到的植 物階段結(jié)合植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù)輸出植物最佳的 生長(zhǎng)環(huán)境 系統(tǒng)架構(gòu)圖如圖 1 所示 圖 1 系統(tǒng)架構(gòu)圖 百度 AI 是植物階段識(shí)別的核心 建立模型后 利用上傳的訓(xùn)練集圖像 人工標(biāo)注各個(gè)階段的圖 片 就可以讓平臺(tái)進(jìn)行模型訓(xùn)練 云平臺(tái)不僅可以 根據(jù)上傳的圖像建立識(shí)別模型 還能利用百度提供 的校驗(yàn)工具對(duì)模型進(jìn)行二次校驗(yàn) 用于判斷模型的 效果是否符合預(yù)期的目標(biāo) 樹(shù)莓派是一款低成本的微型計(jì)算機(jī) 可以利用 Python 語(yǔ)言快速開(kāi)發(fā)圖像采集程序 樹(shù)莓派將采集 到的圖像通過(guò)百度提供的 API接口識(shí)別出植物所處 的生長(zhǎng)階段 識(shí)別后 將識(shí)別到的數(shù)據(jù)上報(bào)給物聯(lián) 網(wǎng)控制系統(tǒng) 給控制系統(tǒng)的控制提供依據(jù) 植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù)中的數(shù)據(jù)是由實(shí)驗(yàn)獲得 利用實(shí)驗(yàn)室得到植物在各個(gè)階段生長(zhǎng)所需最佳環(huán) 境數(shù)據(jù) 植物生長(zhǎng)環(huán)境參數(shù)一般是一個(gè)范圍值 控 制系統(tǒng)在滿(mǎn)足植物最低生長(zhǎng)需求的情況下 應(yīng)根據(jù) 種植需求動(dòng)態(tài)調(diào)整控制策略 物聯(lián)網(wǎng)控制系統(tǒng)每個(gè)環(huán)境因素的控制應(yīng)包括 傳感器和執(zhí)行器 形成一個(gè)閉環(huán)系統(tǒng) 這樣才能保 證環(huán)境控制達(dá)到預(yù)期目標(biāo) 控制系統(tǒng)應(yīng)根據(jù)實(shí)際項(xiàng) 目需求進(jìn)行調(diào)整 不同的植物控制的參數(shù)應(yīng)有不同 的側(cè)重 例如水培環(huán)境下無(wú)需對(duì)水分進(jìn)行調(diào)控 3 建立AI模型 3 1 EasyDL簡(jiǎn)介 EasyDL 圖像是百度云平臺(tái)提供的一種可以進(jìn) 行多樣化分析的人工智能模型 使用時(shí)只需提供訓(xùn) 練集圖像 可以實(shí)現(xiàn)對(duì)圖像的內(nèi)容進(jìn)行分類(lèi) 也可 以實(shí)現(xiàn)對(duì)目標(biāo)檢測(cè)和定位 因此 EasyDL 圖像適合 的場(chǎng)景多 目前多用于安防監(jiān)控和工業(yè)場(chǎng)景 8 9 目前 EasyDL 能夠支持訓(xùn)練圖像分析 圖像分 類(lèi)和物體檢測(cè)三種不同場(chǎng)景下的模型 EasyDL 基 本使用流程如圖 2 所示 28 陳文印等 百度 AI 環(huán)境下的植物生長(zhǎng)階段識(shí)別研究 第 8 期 建立模型 創(chuàng)建數(shù)據(jù)集 訓(xùn)練模型 發(fā)布模型 上傳訓(xùn)練圖片 標(biāo)注訓(xùn)練圖片多人標(biāo)注 在線(xiàn)標(biāo)注 智能標(biāo)注 校驗(yàn)?zāi)Ｐ?圖 2 EasyDL 基本使用流程 首先 需要選擇模型類(lèi)型中的物體檢測(cè)并建立 模型 然后 創(chuàng)建數(shù)據(jù)集將訓(xùn)練圖片上傳 同時(shí)需 要對(duì)其進(jìn)行標(biāo)注 訓(xùn)練 訓(xùn)練后可以對(duì)其進(jìn)行二次 校驗(yàn) 校驗(yàn)結(jié)果不理想可以重新訓(xùn)練模型 直到模 型符合預(yù)期 最后發(fā)布所需的模型進(jìn)行應(yīng)用 3 2 生長(zhǎng)階段模型訓(xùn)練 1 建立模型 建立模型時(shí) 需要選擇模型類(lèi)型 該項(xiàng)目選擇 物體檢測(cè)模型 創(chuàng)建模型后需要選擇標(biāo)注模板 并 填寫(xiě)模板名稱(chēng) 業(yè)務(wù)介紹 個(gè)人信息等內(nèi)容 以便 管理模型 建立模型操作如圖 3 所示 圖 3 建立模型 2 上傳訓(xùn)練圖片 建立模型后 要把所需訓(xùn)練的圖片上傳至模型 中 為訓(xùn)練模型做準(zhǔn)備 打開(kāi)模型管理界面 選擇 數(shù)據(jù)總覽功能然后創(chuàng)建數(shù)據(jù)集 在創(chuàng)建數(shù)據(jù)集時(shí)標(biāo) 注模板要注意 如果選矩形標(biāo)注框在標(biāo)注時(shí)也要選 擇矩形標(biāo)準(zhǔn)框 為了使模型能夠更加準(zhǔn)確 導(dǎo)入的 圖片不能太少 上傳圖片操作如圖 4 所示 2023 年 福 建 電 腦 29 圖 4 創(chuàng)建數(shù)據(jù)集并上傳圖片 3 標(biāo)注圖片 開(kāi)始訓(xùn)練模型前 還需要對(duì)圖片進(jìn)行標(biāo)注 EasyDL 提供了三種標(biāo)注方式 在線(xiàn)標(biāo)注 多人標(biāo) 注和智能標(biāo)注 在線(xiàn)標(biāo)注和多人標(biāo)注都是人工標(biāo)注 準(zhǔn)確率較 高 在線(xiàn)標(biāo)注依靠個(gè)人對(duì)進(jìn)行標(biāo)注 若上傳的圖片 數(shù)量較大 則存在標(biāo)注時(shí)間長(zhǎng) 標(biāo)注疲勞等問(wèn)題 多人標(biāo)注功能可通過(guò)添加團(tuán)隊(duì)成員郵箱的方式來(lái) 組建標(biāo)注團(tuán)隊(duì) 這樣多人同時(shí)標(biāo)注可以縮短總的標(biāo) 注時(shí)間 但標(biāo)注標(biāo)準(zhǔn)有差異可能導(dǎo)致準(zhǔn)確度較低 圖片較多時(shí) 也可以選擇智能標(biāo)注功能以減少 數(shù)據(jù)標(biāo)注的人力投入 數(shù)據(jù)集中的難例圖片能夠被 智能標(biāo)注自動(dòng)篩選出來(lái) 使用時(shí) 用戶(hù)只要對(duì)其中 30 左右難例數(shù)據(jù)進(jìn)行標(biāo)注即可 經(jīng)過(guò)測(cè)試 智能 標(biāo)注相對(duì)于前面兩種標(biāo)注方式 準(zhǔn)確率最低 標(biāo)注圖片操作如圖 5 所示 圖 5 標(biāo)注圖片 4 訓(xùn)練及校驗(yàn)?zāi)Ｐ?訓(xùn)練模型時(shí) 還需要選擇參數(shù) 包括數(shù)據(jù)集 部署方式和訓(xùn)練方式 還有選擇算法 接下來(lái)就可 以開(kāi)始訓(xùn)練 每次訓(xùn)練結(jié)束后 需對(duì)模型進(jìn)行校驗(yàn) 查看模型的模型 mAP mean Average Precision 精確度和召回率 若訓(xùn)練后測(cè)試參數(shù)不理想 應(yīng)選 擇繼續(xù)優(yōu)化模型效果直到滿(mǎn)足應(yīng)用 校驗(yàn)?zāi)Ｐ筒僮魅鐖D 6 所示 5 模型發(fā)布 模型訓(xùn)練結(jié)束后 需要將模型發(fā)布提供應(yīng)用接 30 陳文印等 百度 AI 環(huán)境下的植物生長(zhǎng)階段識(shí)別研究 第 8 期 口調(diào)用 選好部署方式和版本型號(hào)后輸入接口地址 和服務(wù)名稱(chēng) 隨后提交申請(qǐng)發(fā)布 后臺(tái)會(huì)有審核人 員審核該模型 通常情況下申請(qǐng)發(fā)布的第二天就可 以審核完成 圖 6 校驗(yàn)?zāi)Ｐ?4 圖片采集 4 1 OpenCV OpenCV 是一個(gè)開(kāi)源的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué) 處理的軟件庫(kù) 能夠運(yùn)行在多種操作系統(tǒng)上 并支 持多種編程語(yǔ)言 在 Pycharm 的終端中輸入 pip install opencv p ython 進(jìn)行運(yùn)行 若出現(xiàn)安裝失敗的情況 屬于正 常事件 可能是因?yàn)?pip 使用的是國(guó)外的服務(wù)器 下載速度較慢 只需重新運(yùn)行直到 OpenCV 下載成 功即可 打開(kāi) Python 的命令提示窗口 輸入 import cv2 命令 回車(chē)后如果未報(bào)錯(cuò)并且出現(xiàn)了新的提 示符 則表示 OpenCV 庫(kù)安裝成功 若出現(xiàn)報(bào)錯(cuò) 則安裝失敗 OpenCV 安裝成功如圖 7 所示 圖 7 驗(yàn)證 OpenCV 4 2 OpenCV圖像采集 調(diào)用攝像頭打開(kāi) 判斷是否讀取到圖片 將讀 取到的圖片左右調(diào)換正常顯示 否則左右顛倒 生 成一個(gè)攝像頭窗口 如果輸入 s 則截圖 將所截 取的圖片保存在 存儲(chǔ)圖片的路徑 并 設(shè)置圖片 格式為 png 繼續(xù)循環(huán) 當(dāng)輸入為 q 時(shí)退出 循環(huán)停止捕獲并關(guān)閉攝像頭窗口 參考代碼如下 import cv2 cap cv2 VideoCapture 0 打開(kāi)攝像頭 while True ret frame cap read 判斷是否讀 取到圖片 frame cv2 flip frame 1 將圖像左 右調(diào)換回來(lái)正常顯示 cv2 imshow capture frame 生成攝 像頭窗口 if cv2 waitKey 1 0 xFF ord s 截圖 cv2 imwrite 圖片名字 png frame 保存路徑及圖片格式 if cv2 waitKey 1 0 xFF ord q 退出 break cap release 停止捕獲 cv2 destroyAllWindows 關(guān)閉攝像頭窗口 代碼運(yùn)行結(jié)果如圖 8 所示 圖 8 拍攝圖片 5 階段識(shí)別 5 1 百度身份認(rèn)證 想要使用 Python 調(diào)用百度 AI 需獲 取到百度 AI 中的 App Key Secret Key 和 Model API URL 才能運(yùn)行成功 各個(gè)字段定義如表 1 所示 參考官方文檔獲取通信令牌 獲取令牌時(shí)數(shù)據(jù) 以 json 形式響應(yīng) 參考代碼如下 def getToken 獲取 Token response requests get tockenHost 2023 年 福 建 電 腦 31 if response return response json access token return 表1 各個(gè)字段定義 字段 值 API KEY API 接口驗(yàn)證序號(hào) SECRET KEY 密鑰 MODEL API URL 接口地址 5 2 生長(zhǎng)階段識(shí)別 獲取到相應(yīng)數(shù)據(jù)即可判斷植物處于哪個(gè)時(shí)期 參考代碼如下 def getResult img 獲取圖像處理結(jié)果 with open img rb as f imgBase64 base64 b64encode f rea d 二進(jìn)制方式打開(kāi)圖片文件 response requests post data animal Host data image imgBase64 if response return response json 存入 字典中 return 數(shù)據(jù)保存后 會(huì)將數(shù)據(jù)通過(guò)樹(shù)莓派上傳至物聯(lián) 網(wǎng)控制系統(tǒng) 物聯(lián)網(wǎng)控制系統(tǒng)會(huì)根據(jù)植物生長(zhǎng)環(huán)境 數(shù)據(jù)庫(kù)所反饋結(jié)果進(jìn)行調(diào)控環(huán)境 若返回?cái)?shù)據(jù)與種植結(jié)果有誤差時(shí) 例如根據(jù)種 植記錄 植物當(dāng)種植階段應(yīng)該在成長(zhǎng)一期 結(jié)果返 回內(nèi)容為成長(zhǎng)二期 甚至被識(shí)別為成熟期 此時(shí)就 需要對(duì)結(jié)果進(jìn)行人工校準(zhǔn) 6 測(cè)試 6 1 測(cè)試環(huán)境搭建及流程 一開(kāi)始需要將樹(shù)莓派連接一個(gè)完成訓(xùn)練并發(fā) 布成功的百度 AI 模型 攝像頭和物聯(lián)網(wǎng)控制系統(tǒng) 還有植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù)為植物環(huán)境調(diào)配保駕護(hù) 航 構(gòu)成一個(gè)植物工廠(chǎng)的智能調(diào)控系統(tǒng) 首先需要設(shè)置時(shí)間定時(shí)采集圖片 在到達(dá)設(shè)定 的時(shí)間后樹(shù)莓派控制攝像頭對(duì)植物進(jìn)行圖片采集 并將采集上來(lái)的圖片進(jìn)行識(shí)別 其次會(huì)把識(shí)別出來(lái) 的結(jié)果上傳至物聯(lián)網(wǎng)控制系統(tǒng) 物聯(lián)網(wǎng)控制系統(tǒng)會(huì) 依據(jù)植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)匹配 接著判斷 識(shí)別的結(jié)果是否出現(xiàn)誤差 若生長(zhǎng)階段出現(xiàn)誤差則 通知值班人員進(jìn)行對(duì)環(huán)境的手動(dòng)調(diào)配 如果無(wú)誤差 則根據(jù)植物生長(zhǎng)環(huán)境數(shù)據(jù)庫(kù)對(duì)該植物進(jìn)行最佳的 環(huán)境調(diào)控 6 2 測(cè)試結(jié)果 通過(guò)測(cè)試過(guò)程及結(jié)果表明 該系統(tǒng)程序響應(yīng)速 度快 信息處理快 識(shí)別結(jié)果準(zhǔn)確 具 有良好的實(shí) 用性 可以有效地使用在實(shí)際應(yīng)用中 使得用戶(hù)可 以快速的對(duì)植物生長(zhǎng)狀態(tài)進(jìn)行識(shí)別 以 達(dá)到對(duì)植物 生長(zhǎng)環(huán)境精準(zhǔn)控制的效果 識(shí)別結(jié)果如圖 9 所示 圖 9 識(shí)別結(jié)果 7 結(jié)論 本文設(shè)計(jì)了一個(gè)基于百度 AI 和樹(shù)莓派相結(jié)合 的識(shí)別系統(tǒng) 配合物聯(lián)網(wǎng)控制系統(tǒng)構(gòu)成的一個(gè)智能 調(diào)控系統(tǒng) 通過(guò)實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)的可行性 實(shí)用 性和便捷性 該系統(tǒng)能夠?qū)崟r(shí)快速地識(shí)別植物生長(zhǎng) 階段 并進(jìn)行環(huán)境調(diào)配 實(shí)現(xiàn)植物工廠(chǎng)自動(dòng)化精準(zhǔn) 調(diào)控 參 考 文 獻(xiàn) 1 常欽 植物工廠(chǎng)拓展農(nóng)業(yè)生產(chǎn)邊界 甘肅農(nóng)業(yè) 2023 02 1 2 辜松 劉厚誠(chéng) 謝忠堅(jiān)等 數(shù)字化生產(chǎn)植物工廠(chǎng)的構(gòu)建null以華南農(nóng)業(yè) 大學(xué)植物工廠(chǎng)為例 農(nóng)業(yè)工程技術(shù) 2020 40 07 10 13 3 羅娟 蔡騁 多線(xiàn)索植物種類(lèi)識(shí)別 西北農(nóng)林科技大學(xué)信息工程學(xué)院 2020 56 05 160 165 4 王芳元 非結(jié)構(gòu)環(huán)境下病蟲(chóng)害識(shí)別方法研究 博士學(xué)位論文 中國(guó)科 學(xué)技術(shù)大學(xué) 合肥 2020 5 吳尚蓉 基于光譜和圖像的倒伏冬小麥產(chǎn)量評(píng)估方法 碩士學(xué)位論 文 中北大學(xué) 太原 2013 6 任明康 基于多傳感器數(shù)據(jù)融合的植物工廠(chǎng)監(jiān)控系統(tǒng)設(shè)計(jì) 碩士學(xué)位 論文 防災(zāi)科技學(xué)院 廊坊 2 022 7 張素萍 基于阿里云的工業(yè)生產(chǎn)現(xiàn)場(chǎng)環(huán)境監(jiān)測(cè)系統(tǒng)設(shè)計(jì) 工業(yè)控制計(jì) 算機(jī) 2022 35 10 17 19 21 8 百度 EasyDL 圖像文檔 w9h 2022 4 12 9 張喜紅 王玉香 基于百度AI 中藥材品鑒助手系統(tǒng)的設(shè)計(jì) 新余學(xué)院學(xué) 報(bào) 2019 24 02 25 28