農(nóng)業(yè)大數(shù)據(jù)管理整個生命周期
<p>1農(nóng)業(yè)大數(shù)據(jù)管理整個生命周期文 孫忠富 褚金翔 杜克明 鄭飛翔農(nóng)業(yè)大數(shù)據(jù)就是運(yùn)用大數(shù)據(jù)理念、 技術(shù)和方法, 解決農(nóng)業(yè)或涉農(nóng)領(lǐng)域數(shù)據(jù)的采集、 存儲、 計算與應(yīng)用等一系列問題, 是大數(shù)據(jù)理念在農(nóng)業(yè)上的應(yīng)用和實踐。農(nóng)業(yè)涵蓋區(qū)域廣大, 涉及領(lǐng)域和內(nèi)容寬泛, 影響因素眾多, 數(shù)據(jù)采集復(fù)雜,決策管理閑難, 正因如此, 農(nóng)業(yè)是產(chǎn)生大數(shù)據(jù)的無盡源泉。由于農(nóng)業(yè)自身的特殊性, 農(nóng)業(yè)數(shù)據(jù)必如大量的文字、影像 、 圖片、 動畫和聲音然從過去的基于結(jié)構(gòu)化的關(guān)系型數(shù)據(jù), 向等形式的超媒體素材,以及專家經(jīng)驗、 知半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變。 相對于可識庫、 模型庫等。 非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)出快以用二維表結(jié)構(gòu)來邏輯表達(dá)實現(xiàn)的數(shù)據(jù)來速增長的勢頭 , 其數(shù)量將大大超過結(jié)構(gòu)化說, 農(nóng)業(yè)更適用于非結(jié)構(gòu)化的數(shù)據(jù)表達(dá) ,數(shù)據(jù)。農(nóng)業(yè)生產(chǎn)過程的主體是生物 , 易受5 8高科技與產(chǎn)業(yè)化 月刊行業(yè)前瞻外界環(huán)境影響 , 加上生物的多樣性和不確展到相關(guān)上下游產(chǎn)業(yè) (種子培育,化肥生產(chǎn),定性、 個體與群體差異性以及人的管理等農(nóng)機(jī)生產(chǎn) ,詞料生產(chǎn) , 屠宰業(yè), 肉類加工業(yè)因素 , 都決定了對數(shù)據(jù)的采集、 處理和分等 ) , 并整合宏觀經(jīng)濟(jì)背景的數(shù)據(jù) , 包括統(tǒng)析等有著很高的要求。計數(shù)據(jù)、 進(jìn)出口數(shù)據(jù)、價格數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、乃至氣象數(shù)據(jù)等, 覆蓋了整個農(nóng)業(yè)產(chǎn)業(yè)鏈。農(nóng)業(yè)大數(shù)據(jù)特點(diǎn)( 4 )數(shù)據(jù)變異性大作為大數(shù)據(jù)的子集, 農(nóng)業(yè)大數(shù)據(jù)在大首先 , 影響農(nóng)業(yè)的因素異常復(fù)雜, 包數(shù)據(jù)的共同特征之外,還具有如下特點(diǎn):括生物、 環(huán)境、 社會等方方面面 , 都決定( 1 )涵蓋面廣了對數(shù)據(jù)的采集、 挖掘與分析應(yīng)用的難度。從地域來看 ,以國內(nèi)區(qū)域數(shù)據(jù)為核心, 其次,農(nóng)業(yè)生產(chǎn)過程的主體是生物, 易受借鑒國際農(nóng)業(yè)數(shù)據(jù)作為有效參考 ; 不僅包括外界環(huán)境和管理等因素制約 ,致使在隨機(jī)全國層面數(shù)據(jù),還應(yīng)涵蓋省市數(shù)據(jù),甚至性與不確定性、 多樣性與變異性、個體形地市級和基層部門的數(shù)據(jù),為精準(zhǔn)區(qū)域研狀與群體差異性等特征非常明顯等。 另外,究提供基礎(chǔ) ;從力度來看, 不僅應(yīng)包括統(tǒng)整個農(nóng)業(yè)生產(chǎn)過程的很多環(huán)節(jié), 目前距離標(biāo)計數(shù)據(jù),還包括涉農(nóng)經(jīng)濟(jì)主體的基本信息、 準(zhǔn)化、 指標(biāo)化、 定量化和精準(zhǔn)化的要求相投資信息、 股東信息、專利信息 、 進(jìn)出口差甚遠(yuǎn), 都是農(nóng)業(yè)大數(shù)據(jù)面臨的技術(shù)挑戰(zhàn)。信息、招聘信息 、媒體信息、坐標(biāo)信息等。( 2 )數(shù)據(jù)復(fù)雜智慧農(nóng)業(yè)的核心內(nèi)容從農(nóng)業(yè)大數(shù)據(jù)所涉及的主體范圍來看 ,關(guān)于智慧農(nóng)業(yè)目前尚無公認(rèn)的定義和包括農(nóng)、林、 牧、水產(chǎn)、獸醫(yī) 、 園藝、 土統(tǒng)一的標(biāo)準(zhǔn), 綜合多方資料與分析, 智慧壤等整個農(nóng)業(yè)科學(xué)領(lǐng)域,其中主要對象又農(nóng)業(yè)的核心內(nèi)容可以歸納為以下幾個方面:涉及動物、植物、 微生物、昆蟲、 生態(tài)等( 1 )涵蓋范圍 : 整個農(nóng)業(yè), 是全部的而生命基礎(chǔ)學(xué)科,以及環(huán)境科學(xué)、食品科學(xué)不是局部的, 是全過程的而不是階段性的 ;等。 面對如此龐大的數(shù)據(jù)資源,從專業(yè)應(yīng)( 2 ) 技術(shù)手段 : 主要是基于各種先進(jìn)用來看,應(yīng)分步實施,首先是構(gòu)建農(nóng)業(yè)領(lǐng)的信息與網(wǎng)絡(luò)技術(shù), 包括感知、傳輸和智域的專業(yè)數(shù)據(jù)資源, 其次應(yīng)逐步有序規(guī)劃能處理等技術(shù), 實現(xiàn)以自動化生產(chǎn)、 最優(yōu)專業(yè)的子領(lǐng)域數(shù)據(jù)資源, 例如針對某一作化控制、 數(shù)字化與網(wǎng)絡(luò)化服務(wù)、 智能化決物或某一領(lǐng)域的全過程數(shù)據(jù)采集,挖掘分策管理為主要生產(chǎn)方式 ;析, 預(yù)測和決策等。( 3 )整體目標(biāo) : 實現(xiàn)農(nóng)業(yè)高效、 優(yōu)質(zhì)、( 3 ) 數(shù)據(jù)鏈長 節(jié)能、 環(huán)??沙掷m(xù)發(fā)展。“智慧農(nóng)業(yè)”是個農(nóng)業(yè)大數(shù)據(jù)以農(nóng)業(yè)領(lǐng)域為核心 ( 涵蓋龐大的系統(tǒng), 或者說只是一個頂層的虛擬種植業(yè)、林業(yè)、畜牧業(yè)等子行業(yè) ) , 逐步拓概念。其具體實現(xiàn)是由各領(lǐng)域的子系統(tǒng)組2 0 1 5 年 5 月號總第2 2 8 期5 9成 , 如智能設(shè)施農(nóng)業(yè)、智能農(nóng)情、 智能植保、 利用衛(wèi)星搭載高精度感知設(shè)備, 獲取了土壤、智能灌溉、 智能市場管理等子系統(tǒng)。 隨著墑情、 水文等極為精細(xì)的農(nóng)業(yè)資源信息, 可以智慧農(nóng)業(yè)不斷深入發(fā)展, 物聯(lián)網(wǎng) 、 云計算、 配合農(nóng)業(yè)資源調(diào)度專家系統(tǒng) , 實現(xiàn)智慧決策 ;大數(shù)據(jù)等先進(jìn)技術(shù)將更多地得到應(yīng)用。 充( 2 )在農(nóng)業(yè)生態(tài)環(huán)境的監(jiān)測和管理方分融合各領(lǐng)域知識庫、 模型庫、 運(yùn)用推理、 面, 利用傳感器感知技術(shù)、 信息融合傳輸分析等機(jī)制 , 進(jìn)行預(yù)測并提供智能化控制技術(shù)和互聯(lián)網(wǎng)技術(shù) , 構(gòu)建了農(nóng)業(yè)生態(tài)環(huán)境和決策管理 , 是智慧農(nóng)業(yè)的關(guān)鍵所在。監(jiān)測網(wǎng)絡(luò), 實現(xiàn)對農(nóng)業(yè)生態(tài)環(huán)境的自動監(jiān)測 , 獲取了大量的監(jiān)測數(shù)據(jù), 為智慧農(nóng)業(yè)智慧農(nóng)業(yè)的發(fā)展方向的發(fā)展提供了數(shù)據(jù)支持 ;現(xiàn)代設(shè)施農(nóng)業(yè)因基礎(chǔ)設(shè)施相對完備,可( 3 )在農(nóng)業(yè)生產(chǎn)過程的精細(xì)管理方面 ,控環(huán)境條件較好。 在設(shè)施農(nóng)業(yè)中 , 通過自動在大田種植、 設(shè)施農(nóng)業(yè)、 果園生產(chǎn)、 畜禽化網(wǎng)絡(luò)監(jiān)控系統(tǒng), 實時采集溫室大棚內(nèi)各種水產(chǎn)養(yǎng)殖作業(yè)等方面, 獲得了大量的數(shù)據(jù),環(huán)境要素參數(shù) ( 如空氣溫濕度、 土壤溫濕度、 為實現(xiàn)生產(chǎn)過程的智能化控制和科學(xué)化管0 2 、 光照、 露點(diǎn)溫度等環(huán)境參數(shù) ) , 自動理提供了數(shù)據(jù)依托, 為提高資源利用率和開啟或者關(guān)閉指定設(shè)備 ( 如灌溉、 遮陽、 通勞動生產(chǎn)率奠定基礎(chǔ) ;風(fēng)、 加溫制冷等設(shè)備 ) ;根據(jù)用戶需求, 既( 4 ) 在農(nóng)產(chǎn)品質(zhì)量溯源方面 , 通過對為設(shè)施農(nóng)業(yè)綜合信息提供自動監(jiān)測手段, 也農(nóng)產(chǎn)品生產(chǎn)、流通、 銷售過程的全程信息能為環(huán)境自動化控制和智能化管理提供科學(xué)感知、傳輸、融合和處理, 實現(xiàn)農(nóng)產(chǎn)品“從依據(jù)。 另外, 本研究團(tuán)隊近年來研發(fā)的全國農(nóng)田到餐桌”的全程追溯,獲得了大量的小麥苗情物聯(lián)網(wǎng)監(jiān)控與診斷系統(tǒng),通過實時中間數(shù)據(jù) , 為農(nóng)產(chǎn)品質(zhì)量安全保駕護(hù)航 ;監(jiān)測農(nóng)田現(xiàn)場作物與環(huán)境信息、 各種災(zāi)害信( 5 ) 在農(nóng)產(chǎn)品物流方面, 利用條形碼息等 , 可以及時發(fā)布作物長勢和災(zāi)情信息 ,技術(shù)和射頻識別技術(shù)實現(xiàn)產(chǎn)品信息的采集為田間優(yōu)化管理、 采取有效的防災(zāi)減災(zāi)措施跟蹤,獲得了大量的渠道數(shù)據(jù), 可大大提提供信息服務(wù)。這些技術(shù)正在改變農(nóng)業(yè)管理高農(nóng)產(chǎn)品在倉儲和貨運(yùn)中的效率,推動智理念和生產(chǎn)方式,盡管還很不完善 , 但巳展慧物流的發(fā)展。示出智慧農(nóng)業(yè)的初級形態(tài)??傮w上看, 目前智慧農(nóng)業(yè)的發(fā)展尚處面臨的挑戰(zhàn)于初級階段,距離真正的“智慧”型還相農(nóng)業(yè)大數(shù)據(jù)技術(shù)目前處于起步階段,差很遠(yuǎn)。但通過大數(shù)據(jù)的挖掘分析, 必然主要面臨的以下幾個問題。極大助推動智慧農(nóng)業(yè)的發(fā)展。( 1 ) 非結(jié)構(gòu)化數(shù)據(jù)的處理( 1 ) 在農(nóng)業(yè)資源的精細(xì)監(jiān)測和調(diào)度方面,農(nóng)業(yè)大數(shù)據(jù)的來源不同 , 有的來自物6 0高科技與產(chǎn)業(yè)化 月刊行業(yè)前瞻聯(lián)網(wǎng)中的射頻設(shè)備, 有的來自農(nóng)業(yè)信息化確率不再是主要指標(biāo)。 如何在農(nóng)業(yè)大數(shù)據(jù)的網(wǎng)站 , 有的來自各種先進(jìn)的移動終端等, 處理的實時性和準(zhǔn)確率之間取得平衡, 將這就導(dǎo)致數(shù)據(jù)類型從以結(jié)構(gòu)化數(shù)據(jù)為主轉(zhuǎn)是未來農(nóng)業(yè)大數(shù)據(jù)研究的熱點(diǎn)。向結(jié)構(gòu)化、 半結(jié)構(gòu)化 、 非結(jié)構(gòu)化三者的融合。( 4 )數(shù)據(jù)質(zhì)量與安全結(jié)構(gòu)化數(shù)據(jù), 即行數(shù)據(jù), 存儲在數(shù)據(jù)庫里,農(nóng)業(yè)自身的復(fù)雜性決定了數(shù)據(jù)的多源可以用二維表結(jié)構(gòu)來邏輯表達(dá)實現(xiàn),而非復(fù)雜性, 使數(shù)據(jù)質(zhì)量控制異常困難, 數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)則不方便用數(shù)據(jù)庫二維邏輯表管理和質(zhì)量控制技術(shù)難度大 ; 另外, 數(shù)據(jù)來表現(xiàn) ,非結(jié)構(gòu)化包括所有格式的辦公文安全問題, 數(shù)據(jù)共享和知識產(chǎn)權(quán)等問題,檔、文本、 圖片 、 、 、各類報也給大數(shù)據(jù)研究帶來了諸多挑戰(zhàn)。農(nóng)業(yè)作表、 圖像和音視頻信息等。 如何將這些非為中國的基礎(chǔ)產(chǎn)業(yè) , 面臨著農(nóng)產(chǎn)品需求不結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一的存儲, 如何分析斷增加 、 資源緊缺、 氣候變化導(dǎo)致災(zāi)害頻處理這些數(shù)據(jù), 以及如何對數(shù)據(jù)進(jìn)行展示發(fā)、生態(tài)安全脆弱、 生物多樣性持續(xù)下降等 將是未來必須解決的問題。等嚴(yán)峻挑戰(zhàn)。 夯實以農(nóng)業(yè)物聯(lián)網(wǎng)、云計算( 2 ) 實時性的保證技術(shù)為核心的農(nóng)業(yè)信息化基礎(chǔ), 建立以大隨著時間的流逝,數(shù)據(jù)中所蘊(yùn)含的知數(shù)據(jù)為支撐的農(nóng)業(yè)信息化服務(wù)、開拓智慧識價值往往也在衰減 ,因此實時性也是農(nóng)農(nóng)業(yè)新局面, 實現(xiàn)農(nóng)業(yè)信息化的跨越式發(fā)業(yè)大數(shù)據(jù)分析過程中必須考慮的問題。 尤展,是農(nóng)業(yè)現(xiàn)代化的必由之路。其是在與天氣、 環(huán)墳狀況相關(guān)的數(shù)據(jù)分析移動互聯(lián)網(wǎng) 、 物聯(lián)網(wǎng)和云計算發(fā)展的的方面 , 大數(shù)據(jù)的分析不及時可能會導(dǎo)致必然結(jié)果是走進(jìn)大數(shù)據(jù)時代,從本質(zhì)上看,農(nóng)業(yè)生產(chǎn)災(zāi)害的發(fā)生 。 由于數(shù)據(jù)量的密集,這些都是獲取數(shù)據(jù)和信息的手段, 產(chǎn)生大能否在所能接受的時間內(nèi)完成指定工作也數(shù)據(jù)、 創(chuàng)造大智慧才是終極目標(biāo)。 在大數(shù)成為農(nóng)業(yè)大數(shù)據(jù)技術(shù)發(fā)展的關(guān)鍵問題。據(jù)時代 , 數(shù)據(jù)就是一切, 擁有數(shù)據(jù)就意味( 3 ) 數(shù)據(jù)的挖掘與分析著擁有價值, 就可以產(chǎn)生智慧, 產(chǎn)生財富。農(nóng)業(yè)大數(shù)據(jù)的異構(gòu)性導(dǎo)致農(nóng)業(yè)數(shù)據(jù)的在新一輪農(nóng)業(yè)現(xiàn)代化建設(shè)中, 要將農(nóng)業(yè)大類型多種多樣, 并且由于數(shù)據(jù)集過大 ,使數(shù)據(jù)納入國家農(nóng)業(yè)信息化發(fā)展戰(zhàn)略, 夯實得傳統(tǒng)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等算法不再智慧農(nóng)業(yè)的基石,讓大數(shù)據(jù)創(chuàng)造出真正的適用于對農(nóng)業(yè)大數(shù)據(jù)的挖掘。一方面 , 云智慧 ,支撐智慧農(nóng)業(yè)的穩(wěn)健發(fā)展。明計算是農(nóng)業(yè)大數(shù)據(jù)處理的主要工具,傳統(tǒng)作者單位: 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研翅斤的算法并不能直接適用于農(nóng)業(yè)大數(shù)據(jù)的處注 : 本文主要參考了 大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應(yīng)理平臺 ;另一力面 ,農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用有 用展望一文 ( 孫忠富等, 中國農(nóng)業(yè)科技導(dǎo)報, 2 0 1 3 ,一個很重要的特點(diǎn)就是實時性, 算法的準(zhǔn) 5 ( 6 ) : 6 3 7 1 , 其它參考文獻(xiàn)從略 )2 0 1 5 年 5 月號總第 2 2 8期6 1</p>