第4 5卷 第5期 光譜學(xué)與光譜分析V o l 4 5 N o 5 p p 1 3 1 0 1 3 1 8 2 0 2 5年5月 S p e c t r o s c o p y a n d S p e c t r a l A n a l y s i s M a y 2 0 2 5 高光譜成像的草莓缺陷檢測(cè)及可視化 趙路路1 2 周松斌1 2 劉憶森1 2 龐錕錕1 2 殷澤軒1 2 陳 紅1 2 1 廣東省科學(xué)院智能制造研究所 廣東廣州 5 1 0 0 0 0 2 廣東省現(xiàn)代控制技術(shù)重點(diǎn)實(shí)驗(yàn)室 廣東廣州 5 1 0 0 0 0 摘 要 草莓在采摘 運(yùn)輸 貯藏 包裝和銷售過(guò)程中容易造成不同程度損傷與缺陷 如淤傷 凍傷 真菌 感染等 給果農(nóng)和銷售商帶來(lái)較大的經(jīng)濟(jì)損失 高光譜技術(shù)是光譜傳感與視覺(jué)技術(shù)的結(jié)合 可實(shí)現(xiàn)水果各類 品質(zhì)缺陷的無(wú)損檢測(cè) 然而 目前高光譜水果檢測(cè)的建模方法仍存在兩個(gè)方面的問(wèn)題 首先 輸入信息主要 采用平均光譜為主 對(duì)高光譜的圖像信息利用不足 其次 目前卷積網(wǎng)絡(luò)已成為高光譜信息處理的發(fā)展趨 勢(shì) 但卷積網(wǎng)絡(luò)存在感知域較小 難以獲得譜段或圖像信息的長(zhǎng)程關(guān)系 為解決上述問(wèn)題 實(shí)現(xiàn)多種草莓缺 陷的準(zhǔn)確檢測(cè)與識(shí)別 提出空間光譜變換網(wǎng)絡(luò) S S T N 對(duì)四類 健康 瘀傷 凍傷 感染 草莓的近紅外高光 譜數(shù)據(jù) 9 0 0 1 7 0 0 n m 進(jìn)行分類 S S T N以V i s i o n T r a n s f o r m e r V i T 網(wǎng)絡(luò)為主體 將高光譜數(shù)據(jù)塊進(jìn)行位 置編碼作為輸入信息 從而實(shí)現(xiàn) 圖譜聯(lián)合 建模 其內(nèi)部的多頭注意力機(jī)制還可捕獲長(zhǎng)距離譜段 圖像關(guān) 系 實(shí)驗(yàn)方面 以1 2 8個(gè)健康 1 2 8個(gè)淤傷 1 2 8個(gè)凍傷 1 1 8個(gè)感染 共計(jì)5 0 2個(gè)草莓作為樣本 按照1 1 的比例隨機(jī)劃分訓(xùn)練集和測(cè)試集 進(jìn)行分類建模實(shí)驗(yàn) 結(jié)果顯示 S S T N模型的分類準(zhǔn)確率最高 達(dá)到 9 9 2 0 相比于一維卷積神經(jīng)網(wǎng)絡(luò) 1 D C N N 二維卷積神經(jīng)網(wǎng)絡(luò) 2 D C N N 和注意力卷積網(wǎng)絡(luò) C B A M C N N 精度分別提升了3 8 3 3 及1 5 為了能夠進(jìn)一步可視化各類草莓缺陷的具體位置 將訓(xùn)練 好的2 D C N N C B A M C N N和S S T N模型分別與S c o r e C A M結(jié)合進(jìn)行可視化 缺陷可視化結(jié)果顯示 C B A M C N N模型中的卷積注意力機(jī)制能夠提升缺陷定位的準(zhǔn)確性 而具有多頭注意力機(jī)制的S S T N模型結(jié) 合S c o r e C A M獲得最佳的可視化效果 能夠準(zhǔn)確的顯示出缺陷的位置和缺陷形狀輪廓 該研究為建立一種 快速 無(wú)損 自動(dòng)化的草莓缺陷檢測(cè)方法提供參考 關(guān)鍵詞 草莓缺陷 高光譜 S c o r e C A M 可視化 中圖分類號(hào) O 6 5 7 3 文獻(xiàn)標(biāo)識(shí)碼 A DOI 1 0 3 9 6 4 j i s s n 1 0 0 0 0 5 9 3 2 0 2 5 0 5 1 3 1 0 0 9 收稿日期 2 0 2 4 0 7 0 3 修訂日期 2 0 2 4 1 1 1 8 基金項(xiàng)目 國(guó)家自然科學(xué)基金面上項(xiàng)目 6 2 2 7 5 0 5 6 廣東省自然科學(xué)基金面上項(xiàng)目 2 0 2 4 A 1 5 1 5 0 1 1 6 2 8 廣東省科學(xué)院發(fā)展專項(xiàng)資金項(xiàng)目 2 0 2 2 G D A S Z H 2 0 2 2 0 1 0 1 0 8 資助 作者簡(jiǎn)介 趙路路 1 9 9 5年生 廣東省科學(xué)院智能制造研究所工程師 e m a i l l l z h a o g i i m a c c n 通訊作者 e m a i l y s l i u g i i m a c c n 引 言 草莓 S t r a w b e r r y 為薔薇科 草莓屬植物 原產(chǎn)于南美 2 0世紀(jì)傳入我國(guó) 目前已成為我國(guó)重要的經(jīng)濟(jì)水果之一 然 而 由于草莓沒(méi)有較厚的果皮包裹 且果實(shí)十分柔軟 因此 在采摘 包裝 冷凍儲(chǔ)存 運(yùn)輸?shù)冗^(guò)程中 容易形成機(jī)械損 傷 真菌 細(xì)菌感染 凍傷 果肉沾污等品質(zhì)缺陷 給果農(nóng)和 商家造成極大的經(jīng)濟(jì)損失 目前草莓采摘期后的品質(zhì)檢測(cè)一 般采用人工目檢 該方法存在著受主觀影響大 效率低 準(zhǔn) 確性差等問(wèn)題 且早期的淤傷 感染 凍傷等質(zhì)量缺陷僅通 過(guò)人工目測(cè)不易識(shí)別 因此 發(fā)展快速無(wú)損的草莓缺陷檢測(cè) 與可視化技術(shù) 對(duì)于發(fā)現(xiàn)草莓的早期缺陷 1 降低草莓的食 品安全風(fēng)險(xiǎn) 預(yù)測(cè)草莓的貨架期 2 研究草莓缺陷的發(fā)展規(guī) 律 降低各環(huán)節(jié)的草莓浪費(fèi)等具有重要意義 具有迫切的行 業(yè)需求與較高的實(shí)際應(yīng)用價(jià)值 3 5 近年來(lái) 高光譜成像作為一種新興的無(wú)損檢測(cè)技術(shù) 由 于集成了光譜信息和成像信息 且具有較高的光譜和空間分 辨率 在水果品質(zhì)與安全檢測(cè)方面受到研究者的廣泛關(guān)注 例如 L i u等 6 使用連續(xù)投影算法 S P A 選擇最佳波長(zhǎng) 并 比較偏最小二乘判別分析 P L S D A 支持向量機(jī) S V M 和 反向傳播神經(jīng)網(wǎng)絡(luò) B P N N 算法 以識(shí)別擦傷和真菌感染的 草莓 基于全波段的支持向量機(jī) S V M 模型最高分類精度達(dá) 9 6 9 1 Z h a n g等 7 使用主成分分析 P C A 從草莓的光譜 數(shù)據(jù)獲取最佳波長(zhǎng)后 基于特征光譜數(shù)據(jù)結(jié)合紋理特征建立 支持向量機(jī) S V M 分類模型 以區(qū)分三種成熟度的草莓 分 類準(zhǔn)確率達(dá)到了8 5 以上 S h e n等 8 采集不同冷藏時(shí)間草 莓的可見光和近紅外 V i s N I R 光譜數(shù)據(jù) 基于競(jìng)爭(zhēng)自適應(yīng) 重加權(quán)采樣 C A R S 選取特征波長(zhǎng)后 建立偏最小二乘判別 分析 P L S D A 分類模型 其分類準(zhǔn)確率達(dá)到9 7 4 傳統(tǒng) 機(jī)器學(xué)習(xí)方法的局限性在于 一般采用平均光譜進(jìn)行建模 未能充分利用草莓高光譜數(shù)據(jù)的圖像信息 也較難通過(guò)該類 方法實(shí)現(xiàn)缺陷的可視化與定位 當(dāng)前 深度學(xué)習(xí)方法 尤其是深度卷積神經(jīng)網(wǎng)絡(luò) C N N 在高光譜數(shù)據(jù)處理方面取得突破 逐漸成為高光譜 數(shù)據(jù)處理的發(fā)展趨勢(shì) 相比于上述傳統(tǒng)方法僅采用草莓的平 均光譜建模 卷積網(wǎng)絡(luò)能夠更好的利用草莓高光譜數(shù)據(jù)的空 間信息 實(shí)現(xiàn) 光譜 空間 信息聯(lián)合建模 L i u等 9 創(chuàng)建一種 用于光譜空間分類和有效波長(zhǎng)選擇的雙分支卷積神經(jīng)網(wǎng)絡(luò) 2 B C N N 模型對(duì)健康草莓和淤傷草莓進(jìn)行識(shí)別 通過(guò)同時(shí) 提取光譜和空間信息 其判別準(zhǔn)確率高達(dá)9 9 G a o等 1 0 采 集早熟草莓和成熟草莓的高光譜圖像并提取了前3個(gè)主成分 空間特征圖像 使用預(yù)訓(xùn)練好的A l e x N e t卷積神經(jīng)網(wǎng)絡(luò)對(duì)草 莓成熟度進(jìn)行分類 準(zhǔn)確率達(dá)到9 8 6 C h u n等 1 1 對(duì)比了 1 D C N N V G G 1 9和R e s N e t 5 0等基于卷積的深度網(wǎng)絡(luò) 發(fā) 現(xiàn)R e s N e t 5 0對(duì)于草莓的灰霉病感染具有最好的識(shí)別精度 并能夠顯著的提早灰霉病感染的識(shí)別期 卷積神經(jīng)網(wǎng)絡(luò)中的 卷積窗具有良好的局部上下文建模能力 但是受到C N N的 卷積窗尺寸限制 其信息感知域有限 難以處理高光譜數(shù)據(jù) 中的長(zhǎng)距離譜段或圖像塊的依賴關(guān)系 因此 也有學(xué)者利用 空洞卷積網(wǎng)絡(luò)等手段 來(lái)增大卷積操作的感知域 從而提升 光譜數(shù)據(jù)處理過(guò)程中的長(zhǎng)程相關(guān)性分析能力 1 2 除了分類識(shí)別研究 也有不少研究者采用深度學(xué)習(xí)方法 進(jìn)行水果的缺陷可視化與定位方面的工作 這類研究主要分 為兩類 一類是直接采用深度網(wǎng)絡(luò)進(jìn)行缺陷區(qū)域定位 例 如 L u等 1 3 采用Y O L O網(wǎng)絡(luò)并采用可見光圖像和近紅外圖 像對(duì)草莓缺陷進(jìn)行定位 輸出缺陷位置坐標(biāo) 另一類方法采 用類激活映射 C A M 方法 主要是梯度類激活映射 G r a d C A M 方法進(jìn)行 田有文等 1 4 采用i m R e s N e t 5 0模型進(jìn)行藍(lán) 莓果蠅病蟲害的識(shí)別檢測(cè) 并發(fā)現(xiàn)G r a d C A M可以實(shí)現(xiàn)病蟲 害部位的可視化 E c h i m等 1 5 則采用G r a d C A M方法可視 化草莓葉子上的病蟲害侵害部位 目前G r a d C A M是最常見 的可視化方式之一 但仍然存在著對(duì)梯度依賴大 網(wǎng)絡(luò)梯度 飽和或梯度消失的問(wèn)題 使G r a d C A M的可視化出現(xiàn)錯(cuò)誤或 嚴(yán)重噪聲 本文提出空間光譜變換網(wǎng)絡(luò) S S T N 進(jìn)行四類 健康 瘀傷 凍傷 感染 草莓高光譜數(shù)據(jù)分類 該方法以V i s i o n T r a n s f o r m e r V i T 網(wǎng)絡(luò)為基礎(chǔ) 以整個(gè)高光譜數(shù)據(jù)進(jìn)行分塊 編碼作為輸入 與傳統(tǒng)C N N的方法相比 V i T以具有多頭 注意力的T r a n s f o r m e r為基本結(jié)構(gòu) 因此具有更強(qiáng)大的全局 建模能力 1 6 從而可以捕獲長(zhǎng)距離譜段或圖像塊之間的關(guān) 系 使得高光譜數(shù)據(jù)的 全局圖譜融合 建模成為可能 此 外 采用S c o r e C A M方法結(jié)合S S T N網(wǎng)絡(luò)對(duì)草莓的淤傷 凍 傷 腐爛等缺陷進(jìn)行可視化 S c o r e C A M是G r a d C A M方法 的進(jìn)一步改進(jìn) 它采用置信度來(lái)獲得權(quán)重 從而擺脫了對(duì)梯 度的依賴性 實(shí)現(xiàn)對(duì)草莓缺陷位置的高精度可視化與定位 此外 通過(guò)對(duì)比S c o r e C A M分別與S S T N 2 D C N N及注意 力卷積網(wǎng)絡(luò) C B A M C N N 結(jié)合的可視化效果圖 可以分析 不同注意力機(jī)制對(duì)于缺陷定位與可視化效果的影響 驗(yàn)證了 多頭注意力機(jī)制在缺陷可視化中的優(yōu)勢(shì) 1 實(shí)驗(yàn)部分 實(shí)驗(yàn)對(duì)象為草莓 在獲取各類草莓樣本后 通過(guò)高光譜 成像系統(tǒng)采集各類草莓樣本的光譜數(shù)據(jù) 將各類草莓樣本的 光譜數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)預(yù)處理后 輸入到不同的分類模型中 并 對(duì)各分類模型進(jìn)行評(píng)價(jià) 最后通過(guò)不同分類模型結(jié)合S c o r e C A M進(jìn)行草莓缺陷定位與可視化 整個(gè)實(shí)驗(yàn)的檢測(cè)流程如 圖1所示 圖1 基于高光譜成像的草莓缺陷檢測(cè)流程圖 Fig 1 Flowchartofstrawberrydefectdetection basedonhyperspectralimaging 1 1 樣品 所有的草莓樣品都是從中國(guó)廣州當(dāng)?shù)氐某兴?gòu)買 共 計(jì)5 0 2個(gè) 為了提高模型的穩(wěn)健性和泛化性能 草莓樣品購(gòu) 于不同季節(jié) 包括四個(gè)不同品種 紅顏 紅寶 雙流和章姬 實(shí)驗(yàn)前 對(duì)健康草莓樣本進(jìn)行人工目檢 保證其外觀無(wú)缺陷 及損傷 共選取1 2 8個(gè)草莓作為健康草莓樣品 具有缺陷的草莓樣品具體包括淤傷 凍傷 和腐爛三 類 其中淤傷的草莓樣品是通過(guò)使用機(jī)械振動(dòng)和壓力模擬包 裝和運(yùn)輸過(guò)程中的損傷過(guò)程 在受到損傷后的3 0 m i n內(nèi) 采 集淤傷草莓的高光譜圖像 共計(jì)1 2 8個(gè)淤傷草莓樣本 凍傷 草莓樣品是將草莓樣品在 1 的溫度下持續(xù)放置0 5 6 h 然后從冷庫(kù)將凍傷草莓取出 在室溫下放置4 h后 采 集凍傷草莓的高光譜圖像 共計(jì)1 2 8個(gè)凍傷草莓樣本 腐爛 的草莓樣本是通過(guò)對(duì)健康草莓注射灰葡萄孢的孢子溶液 灰 葡萄孢的孢子溶液濃度為1 1 0 5 C F U m L 1 注射深度為 2 m m 在注射后的2 4 8 4 h的存儲(chǔ)期內(nèi) 采集腐爛草莓的 高光譜圖像 共計(jì)1 1 8個(gè)腐爛草莓樣本 各類草莓的部分樣 品如圖2所示 1 2 高光譜數(shù)據(jù)采集 所有草莓樣品的圖像數(shù)據(jù)用近紅外 N I R 高光譜成像系 統(tǒng)采集 如圖3所示 該系統(tǒng)主要由計(jì)算機(jī) 高光譜相機(jī) 1131第5期 趙路路等 高光譜成像的草莓缺陷檢測(cè)及可視化 S p e c i m S p e c t r a l I m a g i n g L t d F i n l a n d 光源模塊 電源模 塊 控制器和位移臺(tái)等組成 相機(jī)鏡頭與位移臺(tái)表面的垂直 距離為2 8 c m 光源模塊由4個(gè)5 0 W的鹵素?zé)艚M成 它們放 置在兩個(gè)相對(duì)的框架中 與位移臺(tái)表面成4 5 角 高光譜相 機(jī)以2 0 0 H z的幀率逐行掃描草莓樣品 獲得空間維度 2 5 6 3 2 0 6 4 0 波段數(shù) 像素?cái)?shù) 幀數(shù) 的三維數(shù)據(jù) 高光 譜相機(jī)的光譜分辨率為5 n m 所獲得的光譜范圍在8 8 5 1 7 3 3 n m 去除首尾兩端噪聲大的光譜數(shù)據(jù) 保留1 0 0 0 1 6 0 0 n m范圍的光譜用于后續(xù)建模分析 圖2 各類草莓樣品 Fig 2 Thestrawberrysamples 圖3 高光譜成像系統(tǒng) a 系統(tǒng)示意圖 b 系統(tǒng)真實(shí)圖 Fig 3 Hyperspectralimagingsystem a S c h e m a t i c d i a g r a m o f s y s t e m b R e a l s y s t e m d i a g r a m 1 3 數(shù)據(jù)預(yù)處理 預(yù)處理是將原始高光譜數(shù)據(jù)轉(zhuǎn)換成適應(yīng)各模型的標(biāo)準(zhǔn)數(shù) 據(jù)立方體 預(yù)處理包括三個(gè)步驟 高光譜圖像校正 光譜一 階導(dǎo)數(shù)預(yù)處理和高光譜圖像分割 圖像校正是為了減小暗電 流 光源強(qiáng)度不均勻以及鏡頭不同位置透過(guò)率的差異等因素 對(duì)原始高光譜圖像的干擾 其校正公式如式 1 所示 R Rr a w RdR w Rd 1 式 1 中 R是校正后的高光譜圖 Rr a w是原始高光譜圖像 Rw標(biāo)準(zhǔn)白板獲取的光譜圖像 Rd是將光源關(guān)閉和遮擋相機(jī) 鏡頭采集的光譜暗電流圖像 對(duì)圖像校準(zhǔn)后的高光譜數(shù)據(jù)進(jìn) 行S a v i t z k y G o l a y S G 一階導(dǎo)數(shù)預(yù)處理及歸一化處理 用 于消除光譜中的基線漂移 提高光譜的平滑性 最后 使用 2131光譜學(xué)與光譜分析 第4 5卷 分水嶺算法 1 7 去除高光譜圖像的背景 并從整個(gè)高光譜圖 像中提取草莓樣品的三維光譜數(shù)據(jù)用于后續(xù)建模分析 其中 單個(gè)草莓?dāng)?shù)據(jù)的空間維度為1 8 0 1 2 0 1 2 0 波段數(shù) 像素 數(shù) 像素?cái)?shù) 1 4 空間光譜變換網(wǎng)絡(luò) SSTN V i s i o n T r a n s f o r m e r V i T 以其強(qiáng)大的全局建模能力而受 到廣泛關(guān)注 并且V i T中的注意力機(jī)制可以捕獲長(zhǎng)距離譜段 之間的關(guān)系 可以更好地對(duì)光譜序列建模 1 8 1 9 為了有效利 用草莓?dāng)?shù)據(jù)集中光譜特征的序列屬性 檢測(cè)不同缺陷的草 莓 如圖4所示 基于V i T構(gòu)建了空間光譜變換網(wǎng)絡(luò) S S T N 分類模型 S S T N主要由光譜映射模塊 T r a n s f o r m e r 編碼器和基于多層感知機(jī) M L P 分類器組成 圖4 空間光譜變換網(wǎng)絡(luò) SSTN 模型結(jié)構(gòu)圖 Fig 4 Structurediagramofthespatialspectraltransformationnetwork SSTN model 1 4 1 光譜映射模塊 為了同時(shí)使用高光譜圖像維與光譜維的信息 將完整的 高光譜數(shù)據(jù)作為模型輸入 由于高光譜數(shù)據(jù)為三維光譜數(shù) 據(jù) 而T r a n s f o r m e r編碼器則以一維序列作為輸入 因此需 要進(jìn)行光譜映射 將高光譜數(shù)據(jù)進(jìn)行分塊 拉伸 編碼操作 轉(zhuǎn)化為一維序列 首先 將輸入的光譜圖像x RN W C分割 成N個(gè)獨(dú)立的圖像塊xp RN P2 C 然后 進(jìn)行拉伸操作 將各圖像塊拉伸為D維度的一維序列 最后 為了保持高光 譜各圖像塊的位置信息 從而讓S S T N能夠?qū)崿F(xiàn)全局的圖像 注意力 引入位置編碼E作為各圖像塊的位置信息并送入 T r a n s f o r m e r編碼器中 上述步驟中 H W 是原始光譜圖像 的分辨率 C是光譜通道的數(shù)量 P P 是每個(gè)圖像塊的分 辨率 N HW P2是得到圖像塊的數(shù)量 1 4 2 T r a n s f o r m e r編碼器 T r a n s f o r m e r編碼器旨在通過(guò)多頭自注意力層獲取高光 譜圖像中各圖像塊之間的關(guān)系 包括波段之間關(guān)系與圖像塊 之間關(guān)系 從而同步感知光譜維與圖像維的光譜信息 具體 地 定義三個(gè)可學(xué)習(xí)的權(quán)重矩陣查詢Q 鍵K和值V 使用 點(diǎn)積運(yùn)算出所有鍵K的查詢 然后使用s o f t m a x函數(shù)計(jì)算值 V的權(quán)重 自注意力的輸出定義如式 2 所示 A t t e n t i o n Q K V s o f t m a xQK T dk V 2 式 2 中 dk是K的維數(shù) 將查詢Q 鍵K和值V投影h次 然后將結(jié)果合并組成多頭注意力 這些平行注意力計(jì)算的每 一個(gè)結(jié)果被稱為頭 多頭自注意力的定義如式 3 所示 M u l t i H e a d Q K V c o n c a t h e a d 1 h e a dh W0 3 式 3 中 h e a di A t t e n s i o n QWQi KWKi VWVi WQi Rdm o d e l dQ WKi Rdm o d e l dK WVi Rdm o d e l dV W0 Rh dV dm o d e l是參數(shù)矩陣 1 4 3 M L P分類器 通過(guò)T r a n s f o r m e r編碼器提取的信息會(huì)輸入到M L P分 類器中 用于融合多頭注意力的信息 并輸出分類結(jié)果 M L P由兩個(gè)全連接和一個(gè)高斯誤差線性單元 G E L U 激活 組成 G E L U公式為 G E L U x x x12 1 e r fx2 4 式 4 中 x 為高斯積累分布函數(shù)e r f x x 0 e t2 dt 1 5 分類對(duì)比模型 為了驗(yàn)證S S T N模型的性能 選擇一維卷積網(wǎng)絡(luò) 1 D C N N 二維卷積網(wǎng)絡(luò) 2 D C N N 注意力卷積網(wǎng)絡(luò) C B A M C N N 三種具有代表性的分類方法建立對(duì)比模型 1 5 1 一維卷積神經(jīng)網(wǎng)絡(luò) 1 D C N N 采用平均光譜作為輸入 構(gòu)建典型的1 D C N N模型作為 對(duì)比模型 1 D C N N模型架構(gòu)由3個(gè)一維卷積層 2個(gè)池化 層和2個(gè)全連接層組成 卷積層的卷積核尺寸均為1 5 步 長(zhǎng)為1 卷積核數(shù)量為1 6 激活函數(shù)為R e L u函數(shù) 池化層均 采用1 3的平均池化層 兩個(gè)全連接層的節(jié)點(diǎn)數(shù)分別為1 6 和4 采用交叉熵函數(shù)作為網(wǎng)絡(luò)的損失函數(shù) 并使用A d a m 優(yōu)化器實(shí)現(xiàn)訓(xùn)練過(guò)程中神經(jīng)網(wǎng)絡(luò)的權(quán)值優(yōu)化 模型的學(xué)習(xí)率 3131第5期 趙路路等 高光譜成像的草莓缺陷檢測(cè)及可視化 和迭代次數(shù)分別設(shè)置為0 0 0 0 5和5 0 0 1 5 2 二維卷積神經(jīng)網(wǎng)絡(luò) 2 D C N N 為了實(shí)現(xiàn)圖像與光譜信息的融合 以三維高光譜數(shù)據(jù)作 為輸入信息 建立2 D C N N模型作為對(duì)比模型 所構(gòu)建的 2 D C N N的模型架構(gòu)由3個(gè)二維卷積層 2個(gè)池化層和2個(gè) 全連接層組成 該網(wǎng)絡(luò)卷積層的卷積核尺寸為5 5 卷積層 的步長(zhǎng)為1 1 卷積核數(shù)量為1 6 池化層采用3 3的平均 池化層 兩個(gè)全連接層的節(jié)點(diǎn)數(shù)分別為1 4 4和4 模型的學(xué) 習(xí)率和迭代次數(shù)分別設(shè)置為0 0 0 1和1 0 0 其他參數(shù)的選取 與1 D C N N模型保持一致 1 5 3 注意力卷積網(wǎng)絡(luò) C B A M C N N 為了與S S T N的多頭注意力進(jìn)行對(duì)比 將C B A M注意 力機(jī)制與2 D C N N結(jié)合 進(jìn)行草莓的分類以及缺陷可視化 C B A M是一種混合注意力模型 它通過(guò)在通道和空間兩個(gè)維 度上產(chǎn)生注意力特征圖信息 然后分別與之前的原輸入特征 圖進(jìn)行相乘 進(jìn)行自適應(yīng)特征修正 產(chǎn)生混合注意力特征 圖 從而實(shí)現(xiàn)特征的增強(qiáng) 提升分類效果 C B A M的基本過(guò) 程可表示為 F Mc F F 5 F Mc F F 6 其中 F RC H W為網(wǎng)絡(luò)主干生成的特征圖 Mc RC 1 1為 光譜維通道注意力特征圖 Ms R1 H W為圖像維通道注意 力特征圖 表示元素級(jí)相乘 最終得到的F 為混合注意力 特征圖 C B A M C N N除添加混合注意力機(jī)外 其余所有參 數(shù)設(shè)置與2 D C N N保持一致 1 6 模型評(píng)價(jià)指標(biāo) 將各類草莓樣本按照1 1的比例隨機(jī)劃分訓(xùn)練集和測(cè) 試集 最終得到2 5 1個(gè)數(shù)據(jù)作為訓(xùn)練集 2 5 1個(gè)數(shù)據(jù)作為測(cè) 試集 并建立草莓四分類模型 為公平對(duì)比模型表現(xiàn) 所有 建模方法采用一致的樣本集劃分 以準(zhǔn)確率 A c c u r a c y 精 準(zhǔn)率 P r e c i s i o n 召回率 R e c a l l 和F 1值 F 1 s c o r e 作為評(píng) 價(jià)指標(biāo) 以評(píng)估各模型的優(yōu)劣 各評(píng)價(jià)指標(biāo)定義如式 7 式 1 0 所示 A c c u r a c y TP TNTP TN FP FN 7 P r e c i s i o n TPTP FP 8 R e c a l l TPTP FN 9 f 1 2 r e c a l l p r e c i s i o nr e c a l l p r e c i s i o n 1 0 其中 TP為將正類預(yù)測(cè)為正類的個(gè)數(shù) FN為將正類預(yù)測(cè)為 負(fù)類的個(gè)數(shù) FP為將負(fù)類預(yù)測(cè)為正類的個(gè)數(shù) 1 7 基于Score CAM的草莓缺陷可視化方法 S c o r e C A M是一種類激活映射 C A M 的可視化解釋方 法 與其他類激活映射 C A M 的方法不同 S c o r e C A M通過(guò) 每個(gè)激活映射在目標(biāo)類上的正向傳遞得分來(lái)獲得其權(quán)重 從 而擺脫了對(duì)梯度的依賴 最終由權(quán)重和激活映射的線性組合 得到結(jié)果 2 0 S c o r e C A M包含三個(gè)步驟 通過(guò)模型提取特征圖 這 也是所有C A M系列方法共有的步驟 對(duì)特征圖上采樣 然后將其作為掩碼信息與原始圖進(jìn)行點(diǎn)乘并重新輸入到模型 中 得到模型對(duì)新圖像的預(yù)測(cè)分?jǐn)?shù) 然后 將預(yù)測(cè)分?jǐn)?shù)與模 型對(duì)原始基線圖像 b a s e l i n e i m a g e 的預(yù)測(cè)分?jǐn)?shù)相減 所得差 值稱為置信度提升值 C I C 代表特征圖對(duì)模型預(yù)測(cè)目標(biāo)類 別置信度的貢獻(xiàn) 其求解過(guò)程如式 1 1 所示 使用C I C分 數(shù)作為權(quán)重 與相應(yīng)的特征圖進(jìn)行加權(quán)線性組合 然后應(yīng)用 R e L U激活函數(shù)來(lái)生成最終的S c o r e C A M可視化結(jié)果 突出 顯示對(duì)模型決策有重要影響的圖像區(qū)域 C Akl f X Hkl f xb 1 1 其中Hkl s U p Akl 1 2 式 1 1 和式 1 2 中 Akl代表特征圖 U p 代表將特征圖 上采樣和原始圖尺寸相同 s 代表歸一化至 0 1 X代 表原始輸入 xb代表基圖片 2 結(jié)果與討論 2 1 光譜分析 健康 淤傷 凍傷 感染四類共計(jì)5 0 2個(gè)草莓樣品的原 始平均光譜與預(yù)處理后的平均光譜見圖5 從原始平均光譜 圖5 a 可見1 2 0 0和1 4 5 0 n m附近有吸收峰 1 2 0 0 n m的 吸收峰主要是由碳水化合物對(duì)光譜吸收引起 1 4 5 0 n m處的 吸收峰主要是由水分對(duì)光譜吸收引起 四類草莓樣本近紅外 光譜的譜帶整體趨勢(shì)接近一致 光譜輪廓互有交疊 僅通過(guò) 肉眼不易區(qū)分不同類別 如圖5 b 所示 通過(guò)對(duì)光譜數(shù)據(jù)進(jìn) 行S G一階導(dǎo)數(shù)預(yù)處理 可實(shí)現(xiàn)對(duì)原始平均光譜數(shù)據(jù)進(jìn)行基 線校正和平滑的效果 使各類草莓的特征更加明顯 從而提 高鑒別的準(zhǔn)確率 2 2 分類結(jié)果對(duì)比 圖6 a b c d 展示了1 D C N N 2 D C N N C B A M C N N和S S T N模型在訓(xùn)練過(guò)程中的測(cè)試集準(zhǔn)確率和 訓(xùn)練損失變化曲線 由圖6 a 可見 1 D C N N模型的收斂較 為緩慢 但測(cè)試集精度平穩(wěn)提升 由圖6 b 和圖6 c 可見 2 D C N N和C B A M C N N以圖像信息為主進(jìn)行建模 模型收 斂較快 但過(guò)程中測(cè)試集精度出現(xiàn)震蕩 然后逐漸平穩(wěn) 由 圖6 d 可見 相比于2 D C N N和C B A M C N N S S T N綜合 光譜與圖像信息 訓(xùn)練過(guò)程中測(cè)試集的預(yù)測(cè)精度波動(dòng)較小 最終達(dá)到最高分類精度 為評(píng)價(jià)各模型的穩(wěn)健性和泛化性能 將各模型的預(yù)測(cè)集 準(zhǔn)確率 精準(zhǔn)率 召回率以及F 1值的均值列于表1 通過(guò)對(duì) 比各模型的表現(xiàn)可得出 采用光譜與圖像信息結(jié)合的方法 2 D C N N C B A M C N N及S S T N 表現(xiàn)總體優(yōu)于僅使用光譜 維信息作為輸入方法 1 D C N N 采用注意力機(jī)制的方法 C B A M C N N及S S T N 的表現(xiàn)總體優(yōu)于其他未加入注意力 機(jī)制的方法 1 D C N N及2 D C N N 說(shuō)明通過(guò)使用圖像維信 息以及注意力機(jī)制能夠明顯提升草莓各類品質(zhì)缺陷的識(shí)別效 果 相比于三種對(duì)比方法 S S T N方法取得了最優(yōu)的準(zhǔn)確率 精準(zhǔn)率 召回率以及F 1值 其平均準(zhǔn)確率相比1 D C N N 2 D C N N C B A M C N N分別提升了3 8 3 3 及1 5 為了進(jìn)一步展示各模型的分類效果 計(jì)算其混淆矩陣 結(jié)果 如圖7所示 4131光譜學(xué)與光譜分析 第4 5卷 圖5 光譜數(shù)據(jù)預(yù)處理 a 原始平均光譜 b S G一階導(dǎo)數(shù)預(yù)處理 Fig 5 Spectraldatapreprocessing a O r i g i n a l a v e r a g e s p e c t r a b S G f i r s t o r d e r d e r i v a t i v e p r e p r o c e s s i n g 圖6 準(zhǔn)確率與損失變化 a 1 D C N N b 2 D C N N c C B A M C N N d S S T N Fig 6 Variationsofaccuracyandloss a 1 D C N N b 2 D C N N c C B A M C N N d S S T N 表1 五種分類模型的性能比較 Table1 Theperformancecomparisonof fiveclassificationmodels 模型準(zhǔn)確率 精準(zhǔn)率 召回率 F 1值 1 D C N N 9 5 6 1 9 5 6 2 9 5 7 0 9 5 6 2 2 D C N N 9 6 0 1 9 6 5 5 9 6 0 9 9 6 0 5 C B A M C N N 9 7 6 0 9 7 6 4 9 7 6 1 9 7 6 2 S S T N 9 9 2 0 9 9 1 2 9 9 2 6 9 9 1 8 2 3 草莓缺陷可視化 采用S c o r e C a m方法實(shí)現(xiàn)草莓缺陷的定位與可視化 并 分別在2 D C N N C B A M C N N及S S T N上添加S c o r e C A M 以對(duì)比不同網(wǎng)絡(luò)缺陷定位與可視化的效果 如圖8所示 基 于S c o r e C A M方法可以較好地顯示淤傷 凍傷和腐爛三種 缺陷的位置 其中 凍傷會(huì)對(duì)整個(gè)草莓的組織產(chǎn)生影響 缺 陷區(qū)域顯示為除了草莓葉以外的所有果肉區(qū)域 而淤傷和腐 爛表現(xiàn)為草莓的局部缺陷 對(duì)比不同分類網(wǎng)絡(luò)對(duì)于缺陷定位 的效果 可以得出2 D C N N模型結(jié)合S c o r e C A M可以大致顯 5131第5期 趙路路等 高光譜成像的草莓缺陷檢測(cè)及可視化 圖7 混淆矩陣 Fig 7 Theconfusionmatrices 圖8 草莓缺陷的可視化圖 Fig 8 Thevisualizationsofstrawberrydefects 6131光譜學(xué)與光譜分析 第4 5卷 示出缺陷區(qū)域 但準(zhǔn)確度不高 不少非缺陷區(qū)域也會(huì)被高 亮 C B A M C N N模型相比于2 D C N N添加了C B A M注意力 機(jī)制 在分類模型建立過(guò)程中會(huì)對(duì)缺陷區(qū)域提高權(quán)重 因此 可以顯著提升定位的準(zhǔn)確性 且對(duì)于淤傷和腐爛兩種缺陷 在非缺陷區(qū)域的干擾明顯降低 而由圖8可見 S S T N模型 因?yàn)椴捎昧硕囝^注意力機(jī)制 所以對(duì)于缺陷的定位相比于 C B A M更加準(zhǔn)確 且在缺陷處的成像更加清晰 3 結(jié) 論 采用高光譜成像技術(shù)結(jié)合深度學(xué)習(xí)實(shí)現(xiàn)草莓品質(zhì)缺陷的 識(shí)別與定位 分別建立1 D C N N 2 D C N N C B A M C N N和 S S T N模型 進(jìn)行健康 淤傷 凍傷 腐爛四種草莓的分類 結(jié)果表明 1 D C N N 2 D C N N C B A M C N N和S S T N在測(cè) 試集上的總體準(zhǔn)確率分別為9 5 6 1 9 6 0 1 9 7 6 4 和 9 9 2 0 其中 S S T N模型內(nèi)部引入多頭注意力機(jī)制 可以 獲取各光譜序列之間的關(guān)系 更好地捕捉光譜圖像中的長(zhǎng)距 離依賴關(guān)系 并且可實(shí)現(xiàn)光譜信息與圖像信息的同步提取與 融合 其準(zhǔn)確率 精準(zhǔn)率 召回率 F 1值優(yōu)于其他對(duì)比方法 使用S c o r e C A M結(jié)合2 D C N N C B A M C N N和S S T N 模型 實(shí)現(xiàn)草莓的缺陷定位與可視化 結(jié)果表明 S c o r e C A M結(jié)合各類深度學(xué)習(xí)模型 均可成功可視化各類草莓缺 陷的位置 其中S S T N由于采用了多頭注意力機(jī)制 所得缺 陷可視化圖比C B A M C N N采用的混合卷積注意力機(jī)制更加 精確 綜合實(shí)驗(yàn)結(jié)果表明 S S T N方法結(jié)合S c o r e C A M可成 功實(shí)現(xiàn)健康與多種缺陷草莓的識(shí)別與分類 并準(zhǔn)確實(shí)現(xiàn)缺陷 的定位與可視化 為實(shí)現(xiàn)基于高光譜的草莓品質(zhì)在線檢測(cè)提 供了方法 References 1 S h a n t h i n i K S F r a n c i s J G e o r g e S N e t a l F o o d C o n t r o l 2 0 2 5 1 6 7 1 1 0 7 9 4 2 K t e n i o u d a k i A E s q u e r r e C A N u n e s C M D N e t a l B i o s y s t e m s E n g i n e e r i n g 2 0 2 2 2 2 1 1 0 5 3 L i u Q S u n K Z h a o N e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 1 9 1 5 3 1 5 2 4 S i e d l i s k a A B a r a n o w s k i P Z u b i k M e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 1 8 1 3 9 1 1 5 5 W e n g S Y u S D o n g R e t a l I n t e r n a t i o n a l J o u r n a l o f F o o d P r o p e r t i e s 2 0 2 0 2 3 1 2 6 9 6 L i u Q S u n K P e n g J e t a l F o o d A n a l y t i c a l M e t h o d s 2 0 1 8 1 1 5 1 5 1 8 7 Z h a n g C G u o C L i u F e t a l J o u r n a l o f F o o d E n g i n e e r i n g 2 0 1 6 1 7 9 6 1 1 8 S h e n F Z h a n g B C a o C e t a l J o u r n a l o f F o o d P r o c e s s E n g i n e e r i n g 2 0 1 8 4 1 e 1 2 8 6 6 9 L i u Y Z h o u S H a n W e t a l A n a l y t i c a C h i m i c a A c t a 2 0 1 9 1 0 8 6 4 6 1 0 G a o Z S h a o Y X u a n G e t a l A r t i f i c i a l I n t e l l i g e n c e i n A g r i c u l t u r e 2 0 2 0 4 3 1 1 1 C h u n S W S o n g D J L e e K H e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 2 4 2 1 4 1 1 2 9 1 8 1 2 T I A N Q i n g l i n G U O B a n g j i e Y E F a w a n g e t a l 田青林 郭幫杰 葉發(fā)旺 等 S p e c t r o s c o p y a n d S p e c t r a l A n a l y s i s 光譜學(xué)與光譜分 析 2 0 2 2 4 2 3 8 7 3 1 3 L u Y G o n g M L i J e t a l A g r o n o m y 2 0 2 3 1 3 9 2 2 1 7 1 4 T I A N Y o u w e n W U W e i L I N L e i e t a l 田有文 吳 偉 林 磊 等 T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 農(nóng)業(yè)機(jī)械學(xué)報(bào) 2 0 2 3 5 4 1 3 9 3 1 5 E c h i m S V T i a t u I M C e r c e l D C e t a l E x p l a i n a b i l i t y D r i v e n L e a f D i s e a s e C l a s s i f i c a t i o n U s i n g A d v e r s a r i a l T r a i n i n g a n d K n o w l e d g e D i s t i l l a t i o n C o n f e r e n c e o n A g e n t s a n d A r t i f i c i a l I n t e l l i g e n c e 2 0 2 3 d o i 1 0 4 8 5 5 0 a r X i v 2 4 0 1 0 0 3 3 4 1 6 D o s o v i t s k i y A B e y e r L K o l e s n i k o v A e t a l A n I m a g e i s W o r t h 1 6 1 6 W o r d s T r a n s f o r m e r s f o r I m a g e R e c o g n i t i o n a t S c a l e 2 0 2 0 d o i 1 0 4 8 5 5 0 a r X i v 2 0 1 0 1 1 9 2 9 1 7 B i e n i e k A M o g a A P a t t e r n R e c o g n i t i o n 2 0 0 0 3 3 6 9 0 7 1 8 H u X Y a n g W W e n H e t a l S e n s o r s 2 0 2 1 2 1 5 1 7 5 1 1 9 H o n g D H a n Z Y a o J e t a l I E E E T r a n s a c t i o n s o n G e o s c i e n c e a n d R e m o t e S e n s i n g 2 0 2 2 6 0 1 2 0 W a n g H W a n g Z D u M e t a l P r o c e e d i n g s o f t h e I E E E C V F C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n W o r k s h o p s 2 0 2 0 1 1 1 d o i 1 0 1 1 0 9 C V P R W 5 0 4 9 8 2 0 2 0 0 0 0