開 發(fā) 案例 現代計算機 2020 04 中 文章編號 1007 1423 2020 11 0098 05 DOI 10 3969 j issn 1007 1423 2020 11 021 基于AR 的溫室智能控制系統設計 牛麗 蘇州市職業(yè)大學計算機工程學院 蘇州215104 摘要 增強現實是一種將虛擬物體和真實環(huán)境有機融合的技術 它的最終目標是增強用戶對真實世界的體驗 AR技術應 用到溫室控制系統中 借助傳感器對溫室環(huán)境參數及AR對作物生長狀態(tài)的監(jiān)測 并且可以可視化顯示作物的生長 狀態(tài) 溫室環(huán)境 作物生長調節(jié)策略 降低溫室大棚使用者自身文化素質及農作經驗的要求 關鍵詞 增強現實 溫室 調節(jié)策略 可視化 基金項目 江蘇開放大學 十三五 規(guī)劃課題 開放教育虛擬實驗室構建及應用研究 No 19TXZC 06 蘇州市職業(yè)大學 青藍工 程 資助項目 0 引言 我國是一個農業(yè)大國 人口眾多 為滿足巨量人口 對蔬菜 水果等農產品在數量 質量上提出的更高的要 求 溫室大棚利用信息化 智能化和自動化科學技術來 提高農業(yè)種植產量和效率成為解決這一問題的優(yōu)選 1 溫室是設置一個人為的氣象環(huán)境 創(chuàng)造一個適合作物 生長的條件 來滿足生物生長對溫度等條件的滿足 溫室環(huán)境是由光照 溫度 濕度 土壤狀況等因素構成 的 溫室通過控制溫室環(huán)境 使其在不適宜作物生長的 季節(jié)進行栽培 從而達到對作物調節(jié)產期 促進生長發(fā) 育 防治病蟲害及提高產量的目的 為創(chuàng)造作物生長 所需的最佳環(huán)境條件 這類溫室控制系統基本上是利 用傳感器對溫室內的環(huán)境參數進行監(jiān)測 獲取相關參 數 根據這些參數按設定的程序給出相應的反饋與操 作 調節(jié)溫室環(huán)境參數 1 2 控制系統并未對作物本身 的生長狀態(tài)進行監(jiān)測 無法獲知給定的環(huán)境調節(jié)參數 是否與植物當前的生長周期完全匹配 系統無法實時 地 可視化地反映作物是否處于健康的生長狀態(tài) 導 致作物生產人員只能利用環(huán)境參數間接促進作物生 長 或通過各種檢測設備對作物進行檢測 利用較為專 業(yè)的農業(yè)知識對檢測數據進行分析 獲知生長狀態(tài) 為了實現溫室大棚控制系統對作物生長狀態(tài)的有效監(jiān) 控 農作物生產人員與農作物的生長狀態(tài)進行實時的 可視化互動 實現作物分析數據的可視化顯示 設計基 于增強現實的溫室智能控制系統 1 增強現實技術 增強現實 AugmentedReality AR 是利用計算機 技術產生文本 圖形圖像 模型動畫 聲音視頻等虛擬 對象 并將這些虛擬對象與圖像采集設備中的現實世 界相融合 疊加在指定位置或物體上 輔助用戶對真實 世界的理解 為了實現虛擬對象與現實世界的場景信 息精確地疊加 融合 AR系統利用計算機分析大量的 場景信息和定位數據 實現虛擬物體在真實場景中的 注冊 3 如圖1為一種AR技術的結構示意圖 一般 實現AR具有以下步驟 1 圖像采集設備 例如相機 拍攝現實世界的場 景信息 設備固定 或者移動都可以 開 發(fā) 案例 現代計算機 2020 04 中 圖1一種AR技術的結構示意圖 2 圖形圖像模塊對現實世界的場景及圖像采集 設備的位置信息進行分析 生成相應的虛擬對象信息 例如文本 圖形圖像 模型視頻等 3 圖像渲染模塊將現實世界的場景信息與虛擬 對象信息進行疊加 融合 4 顯示模塊將融合后的圖像 文本等信息進行顯 示 實現增強現實 還可以通過佩戴立體顯示眼鏡來增 強用戶觀看效果 2 利用AR 技術的溫室控制系統的總體結構 設計 本系統根據溫室作物生長溫度 濕度 土壤狀況 生長狀況等實際需求出發(fā) 為了實現溫室較高程度的 智能控制 棚內作物生長自助分析及作物生長狀況數 據的可視化 設計基于增強現實技術的溫室智能控制 系統 系統總體結構如圖2所示 它包括圖像采集設 備 微型投影儀 監(jiān)測溫室環(huán)境的傳感器 控制器 數據 庫 人機接口 環(huán)境參數調節(jié)機構等組成 圖2 基于AR的溫室智能控制系統結構圖 人機接口是實現系統與用戶之間信息輸入與輸出 的交互接口 數據庫是該系統的重要組成部分 用來存 儲溫室作物生長問題的特征信息與數據 為控制器判 斷作物生長情況提供必要的依據 以及控制系統運行 過程中產生的各種中間信息 控制器是系統的核心 利 用傳感器信息 調用數據庫信息進行綜合處理 輸出圖 像信息及作物生長調節(jié)策略 并控制環(huán)境參數調節(jié)機 構 監(jiān)測溫室環(huán)境的傳感器獲取溫室作物生長的相關 環(huán)境信息 被控制器獲取并作為判斷作物生長狀況的 參考信息 環(huán)境參數調節(jié)機構根據控制器發(fā)出的信息 啟動相關執(zhí)行機構 例如噴水 改變光照 通風等 圖像 采集設備與微型投影儀都與控制器相連 圖像采集設 備獲取圖像信息并傳輸給控制器 經控制器處理后 再 輸出圖像信息 經過渲染 通過微型投影儀實時輸出虛 擬對象 虛擬對象與真實場景虛實融合 實現可視化的 圖像 數據顯示功能 共同呈現給生產者 增強現實技 術要求虛擬物體必須融合到真實世界的準備位置 這 樣才能實現虛擬對象與真實場景的準確疊加 這個過 程就是AR系統的注冊 2 2 1 1 注冊實現 注冊實現 注冊就是要確定虛擬對象在真實空間坐標系中的 位置 從而實現將虛擬對象實時地 準確地在顯示器上 顯示 完成真實環(huán)境與虛擬對象的結合 所以注冊的實 現首先要解決的是確定世界 相機及圖像平面之間坐 標系的關系 坐標系之間關系變換如圖3所示 圖3 坐標系變換關系 點P在世界坐標系中的坐標為 xw yw zw 在相機 坐標系中的坐標為 xc yc zc 在圖像坐標系中的坐標 為 u v 且使相機光心作為原點 光軸作為Zc軸 相機坐標系原點OC與圖像坐標系原點O間距離為相 機間距f 從世界坐標系轉換到相機坐標系屬于物體 不會發(fā)生形變的剛體變換 只需要進行旋轉和平移 開 發(fā) 案例 現代計算機 2020 04 中 相機坐標系通過焦距對角矩陣和畸變系數轉換到圖像 坐標系 點P從世界坐標系轉換到圖像坐標系由式 1 與 2 表示 3 Zc u P K c w T W P 1 Z c u v 1 f x 0 u 0 0 0 f y v 0 0 0 0 0 1 r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 0 0 0 1 x w y w z w 1 2 式中 Zc為相機坐標系下Z軸分量 U P為P點在圖 像坐標系中的坐標矩陣 K為機內部參數矩陣 其中fx 和fy是以像素為單位的焦距參數 u 0和 v 0為圖像物理 坐標系原點在圖像坐標系中的坐標 c w T為像機外部參 數矩陣 從世界坐標系到相機坐標系 物體運動涉及到 旋轉和平移 繞著不同的坐標軸旋轉不同的角度 平移 不同的距離 得到相應的旋轉參數 r 11 r 33 平移矩陣 t 1 t 3 因此 在給定物體在世界坐標系及圖像坐標系 中的坐標值計算得到 c w T進行轉換坐標系 使渲染生成 得虛擬對象在現實場景中的正確位置進行疊加結合 完成注冊 2 2 2 2 控制策略 控制策略 通過對棚內環(huán)境參數及作物的圖像采集 利用相 似圖像的匹配 將相機采集的圖像與數據庫中存儲的 特征圖像進行比對 找出與數據庫中相似度最高的圖 片 再提取存儲在數據庫中相應的特征信息 以評定目 前農作物的生長狀態(tài) 4 結合存儲的作物生長階段的 特征信息與監(jiān)測到當前植物的生長環(huán)境信息 系統給 出作物生長調節(jié)策略 使溫室環(huán)境與作物生長相匹配 控制器同時將狀態(tài)數據及相應的調節(jié)策略進行圖像轉 化 獲得虛擬顯示對象 結合真實場景將虛擬顯示對象 直接顯示在AR系統的顯示器上 此外 在需要時系 統可借助AR系統的圖像采集設備感知人體手勢 5 或 者人機接口發(fā)出指令 通過控制器處理實現手動控制 系統的運行 控制策略是否正確取決于作物的圖像匹配的準確 性及數據庫中存儲的反映作物生長狀況圖像的完整與 豐富程度 為了便于圖像匹配 減少匹配時間 匹配過 程的復雜度 增強系統的實時性 根據各作物生長周期 特征劃分為若干個生長階段 例如黃瓜可以分為發(fā)芽 期 幼苗期 初花期及結果期 每個階段采集作物生長 不良 正常的圖像作為樣本存儲在數據庫 同時存儲相 應圖像對應的生長狀況及生長調節(jié)策略 系統采集圖 像后 人機對話要求使用者選擇作物名稱后 顯現生長 階段劃分提示 再選擇生長階段 系統直接與該作物該 生長階段下的圖像樣本進行匹配 系統控制策略流程 見圖4 圖4 控制策略流程圖 為避免采集圖像時作物周圍環(huán)境的光照 拍攝角 度 采集時振動等因數的影響 采用當前比較流行的圖 像匹配算法 尺度不變特征轉換算法 即SIFT ScaleInvariantFeatureTransform 算法 SIFT通常被 用于描述圖像的局部特征 它的實質通過構建尺度空 間 進行特征點查找 特征點方向計算 生成特征點描 述符 再根據特征向量進行匹配 6 利用特征點匹配圖 像的SIFT算法過程如下 1 尺度空間構建及特征點查找 在不同的尺度空間內進行特征點查找 高斯卷積 核是尺度變換的唯一變換核 也是唯一的線性核 8 這 樣需要通過高斯模糊來實現尺度空間構建 所以圖像 I x y 的尺度空間通過尺度空間的高斯函數和圖像的 卷積由式 3 與 4 表示 L x y G x y I x y 3 G x y 1 2 2 e x 2 y 2 2 2 4 式中 L x y 表示圖像對應的尺寸空間 G x y 是高斯卷積核 為尺度空間因子 表示圖像被高斯平 滑的程度 確定特征點所在位置 需要建立高斯金字塔 對 相鄰的兩層圖像相減做高斯差分 得到DoG Differ 開 發(fā) 案例 現代計算機 2020 04 中 enceofGauss 圖像 D x y 整個過程的變換函數由 式 5 表示 D x y G x y k G x y I x y L x y k L x y 5 圖像空間極值點是該點與它同尺度的8個相鄰 點 以及上下相鄰尺度對應的9 2個點共26個點中的 最大值點 7 DoG尺度空間中的極值點就是特征點 2 特征點方向及特征點描述 根據特征點查找的結果 為每個特征點指定基準 方向 將坐標軸旋轉為特征點方向 保證旋轉不變性 應用圖像梯度的方法求得特征點的穩(wěn)定方向 得到特 征點的三個信息 x y 即位置 尺度 方向 圖像 梯度模值 m x y 方向 x y 計算由式 6 與 7 表示 m x y L x 1 y L x 1 y 2 L x y 1 L x y 1 2 6 x y tan 1 L x y 1 L x y 1 L x 1 y L x 1 y 7 式中 L為特征點所在的尺度空間值 得到特征 點信息后 鄰域像素的梯度和方向通過直方圖進行統 計 按每10度一個區(qū)域將360度直方圖統計范圍是依 次劃分為36個區(qū)域 梯度的模值可按照 1 5 oct 的高斯分布加成 按尺度采樣的3 原則 鄰域窗口半 徑為3 1 5 oct 8 9 在特征點尺度空間內 將特征點的鄰域區(qū)域劃分 為4 4子區(qū)域 將每個子區(qū)域作為一個點計算每個點8 個方向的梯度信息 共產生4 4 8 128維向量表征 它 就是特征點的描述符 具體步驟如下 8 劃分的16 4 4 個子區(qū)域均取3 oct像素 那 么子區(qū)域邊長為3 oct 計算時需使用雙線性插值 法 所需圖像區(qū)域邊長為 4 1 3 oct 考慮到旋轉 因素得影響 實際計算特征點描述符所需的圖像區(qū)域 半徑由式 8 表示 r a di u s 4 1 3 2 o c t 2 8 將坐標軸旋轉為特征點的方向 保證旋轉不 變性 插值計算每個點八個方向的梯度 統計128個 梯度信息即為特征點的描述符 并對描述符進行歸一 化處理 按特征點的尺度對特征描述向量進行排序 3 特征向量匹配與相似度 取圖像中的一個特征點 找出該點與另一幅圖像 中歐氏距離最近的兩個點 如果最近的距離與次近的 距離的比值小于設定閾值0 6 9 那接受這一對匹配點 認定特征點向量匹配成功 那么 相識度就是圖像中 匹配成功的特征點數量與總特征點數量的百分比 3 溫室智能控制系統實現 該溫室智能控制系統主界面由系統維護 信息管 理 環(huán)境管理作物管理等部分組成 作物管理主要是對 當前種植作物的生長信息 病蟲害狀況 生長環(huán)境信 息 及AR采集的圖像信息及控制器給出的生長調節(jié) 策略的查看 信息管理主要是存儲與作物生長相關的 各種依據信息 主要用于控制器調用比對 給出調節(jié)策 略 只有農學專業(yè)人員才能提出并由系統管理員對數 據進行修改 添加 刪除等操作 普通用戶只能查詢 系統功能框圖如圖5所示 圖5溫室智能控制系統功能框圖 為使該系通更加實用 便捷 采用集成了圖像采集 設備 微型投影及顯示器與一體的AR眼鏡 進入溫室 大棚 佩戴AR眼鏡 當需要獲知農作物生長狀態(tài)時 通過行走到靠近并使CCD攝像頭靠近農作物 攝像頭 將自動采集該作物的圖像 存儲在作物管理功能塊 并將圖像數據輸出給控制器 控制器對圖像進行識別 分析處理 控制器調用信息管理功能塊內依據信息 并將分析結果圖像轉化及圖形渲染后 利用微型投影 儀將具有農作物生長狀態(tài) 溫室環(huán)境參數及環(huán)境參數 調節(jié)策略的圖像信息投影在AR眼鏡上 生長信息 調 節(jié)策略存儲在作物管理功能塊中的作物生長信息中 將真實場景與虛擬顯示對象相互融合 共同呈現給生 開 發(fā) 案例 現代計算機 2020 04 中 產者 實現可視化的數據顯示功能 圖6為使用AR眼 鏡靠近作物結果期黃瓜的顯示圖 系統結果顯示準確 使用方便 信息豐富 使用效果良好 圖6 結果期黃瓜AR顯示圖 4 結語 通過增強現實技術應用于農業(yè)溫室智能控制系 統 具有較高程度的智能控制和自助分析功能 能夠提 供一系列可視化的分析數據 使用者不需要運用較為 專業(yè)的農業(yè)知識對檢測數據進行分析 即可獲知植物 的生長狀態(tài) 降低了系統對使用者自身文化素質及農 作經驗的限制 同時也可避免人為判定過程中一些因 素被忽略的可能性 另外 本系統需要以若干溫室大棚 作物的圖像特征與信息作為數據庫的基礎 分析獲得 需要改變的環(huán)境參數 作物生長匹配策略 進而采取相 應的措施 實現溫室有效地智能控制 由于系統利用圖 像相似度識別 需要不斷地補充 更新相關的數據 特 征圖像等信息 才能保證系統控制的智能性 準確性 DesignofGreenhouseInteIIigentControISystemBasedonAR NIULi SchoolofComputerEngineering SuzhouVocationalUniversity Suzhou215104 Abstract ARisatechnologythatintegratesvirtualobjectswiththerealenvironment Itsultimategoalistoenhancetheuser sexperienceofthereal world ARtechnologyisappliedtothegreenhousecontrolsystem Thesensorcanmonitorthegreenhouseenvironmentalparameters AR monitorthegrowthstateofthecrop andcanvisuallydisplaythegrowthstateofthecrop thegreenhouseenvironment andthecropgrowth regulationstrategy Itreducestherequirementsoftheculturalqualityofthegreenhouseusersandtheexperienceoffarming Keywords AugmentedReality Greenhouse AdjustmentStrategy Visualization 參考文獻 1 張伏 王唯 張亞坤 王俊 李樹強 PLC和MCGS組態(tài)軟件在溫室控制中的應用 J 農機化研究 2014 10 205 206 2 秦懷斌 李道亮 郭理 農業(yè)物聯網的發(fā)展及特征技術應用進展 J 農機化研究 2014 4 246 248 3 劉明 移動增強現實跟蹤技術及在農業(yè)展示中的應用研究 D 西南大學 2014 13 15 4 崔永杰 蘇帥 王霞霞 等 基于機器視覺的自然環(huán)境中稱猴桃識別與特征提取 J 農業(yè)機械學報 2013 05 247 252 5 張鳳軍 戴國忠 彭曉蘭 虛擬現實的人機交互綜述 J 中國科學 2016 46 12 1171 1721 6 張靜 袁振文 張曉春 等 基于SIFT特征和誤匹配逐次去除的圖像拼接 J 光電技術應用2016 37 1 136 140 7 完文韜 楊成禹 改進的SIF丁算法在圖像特征點匹配中的應用 J 長春理工大學學報 自然科學版 2018 41 1 44 47 8 陳晗蜻 SIFT特征匹配技術研究與應用 D 南京 南京理工大學 2017 9 李玉峰 李廣澤 補紹湖 等 基于區(qū)域分塊與尺度不變特征變換的圖像拼接算法 J 光學精密工程 2016 5 1198 1204 作者簡介 牛麗 1980 女 江蘇連云港人 碩士 副教授 研究方向為移動應用開發(fā) 增強現實應用 收稿日期 2019 12 17 修稿日期 2020 01 20