吴向峰1 刘辉军2 邹哲祥1 任彬烽1 宋佳松1 张小全1

关键词 苹果；果腐病；可见-近红外光谱；卷积神经网络

Pilot Study of Monitoring Fruit Rot in Apples Based on Near Infrared Spectroscopy

WU Xiang-Feng¹ LIU Hui-Jun² ZOU Zhe-Xiang¹

REN Bin-Feng¹ SONG Jia-Song¹ ZHANG Xiao-Quan¹

Abstract In order to achieve the rapid screening and monitoring of fruit rot in imported apples, a rapid and non-destructive testing technology of fruit rot based on visible-near infrared diffuse reflection spectroscopy was established. In this paper, a tungsten halogen lamp of 10 W was used as the light source, while an integrating sphere combined with optical fiber was used to collect the diffuse reflection spectrum of apples, which can effectively avoid the burning of apples by light source irradiation. Furthermore, a rapid screening model of fruit rot in apples based on convolutional neural network was established, with which spectral characteristic information can be learnt and extracted by itself without any complex spectral preprocessing. The testing time was only about 0.25 s, which provides powerful technical support for the rapid screening and monitoring of fruit rot in apples.

Keywords apple; fruit rot; visible-near infrared spectroscopy; convolutional neural network

随着人民群众消费水平的不断提高，国内市场对高档苹果的需求逐渐增加，当前国内市场高档苹果供应被国外垄断。2019年我国进口苹果数量出现较大幅度增长，创历史新高，达12.52万t，较2018年增长94.08%。而苹果在生长或者储藏过程中，会被外部病原微生物侵染形成侵染性病害，这些由病原微生物引起的苹果病害会互相传染，可能使得附近的健康苹果也被感染，因此对苹果病害的检测十分重要。而且进口苹果中的微生物可能对国内的苹果种植环境带来巨大危害，每年给国家造成的经济损失将高达上千万元。

苹果果腐病是苹果生产过程中危害其内部品质的主要病害，也是国家明令检疫的苹果病害。苹果果腐病一般由以链格孢菌为主的半知菌亚门真菌侵染所致，病菌产生的分生孢子借助气流和昆虫进行传播，从开裂的花瓣、花蕊、花萼部位侵入，先定殖在花柱上，然后向心室扩散^[1]。感染果腐病的苹果果肉呈苦涩味，不适于食用，且含有致癌物质，危害人体健康。

处于潜伏期的病害果，在进口检查环节无法简单地通过外观进行识别，目前监管部门只能采用人工抽检结合生化检测的方法进行破坏性检测，不仅耗时，而且抽检过程具有偶然性和不确定性。如果能在进口监管环节及时发现处于潜伏期的病害果，可以提高进口病害苹果的拦截率，保护国内消费者的利益，守护国门生物安全。因此，开展对苹果果腐病病害的无损检测方法和技术研究十分必要。

目前，苹果病虫害的无损检测方法主要有红外光谱^[2]、X光图像^[3]、介电常数^[4]、声学特性^[5]、核磁共振^[6]等技术。其中，近红外光谱技术通过获取苹果内部含氢基团（-XH）官能团在谱区的倍频和合频吸收信息，可反映苹果的内部组成和结构信息^[7-8]，具有快速、无损、便携和成本低等特点，在水果病虫害方面备受关注。

Upchurch等^[9]较早将近红外光谱技术用于苹果的褐变分析。郭志明等^[10]研究建立的基于透射光谱技术的苹果内部缺陷在线检测系统对苹果腐心病识别率达90%。Mogollón等^[11]利用透射光谱进行了苹果早期苦痘病的检测和分级。刘燕德等^[12]研究表明利用近红外漫反射光谱技术进行柑橘黄龙病的检测有较好的可行性。Khatiwada等^[13]对储藏180 d的苹果进行了内部褐变检测。然而，在相关苹果果腐病光谱检测中，多采用透射方式，使用的光源功率大，常使用100 W和250 W的卤素灯，易灼伤水果，且模型多采用光谱预处理结合机器学习方法，复杂的光谱预处理影响模型的稳定性，也加大了建模难度^[14-16]。

本文搭建了基于近红外漫反射光谱技术的苹果果腐病快速、无损监测装置，使用小功率光源，利用卷积神经网络原理建立苹果果腐病监测模型，无需光谱预处理，可实现进口苹果现场快速初筛监测，然后将初筛有疑似果腐病的苹果送往实验室，采用分离培养方法或分子生物学检测方法加以确认，从而提高了进口苹果有害疫情疫病的拦截率，满足海关进出口监管需要。本研究成果为苹果果腐病快速筛查和相关便携式设备研制提供理论依据，对提高我国进口苹果监管能力及保障进口苹果质量具有重大意义。

1 材料与方法

1.1 样品制作

由于难以从市场中批量获取自然果腐病苹果样品，本研究团队委托杭州某检测技术有限公司实验室制作了果腐病苹果样品及健康苹果样品。为减少苹果产地、品种、大小和年份等对苹果光谱的影响，采用国产苹果为实验样品进行了探索研究。其主要的制作工艺如下：

(1)技术人员从市场上采购收集了一些产自陕西省白水县某果园的果腐病苹果样品。链格孢菌是苹果果腐病样品的主要病原菌，利用其腐烂部分的真菌孢子培养复合病原菌制备样品。

(2)技术人员分批次从市场上购买苹果，将这些样品分成3份，其中，1份为健康苹果样品，1份从果萼注射真菌孢子制备成无表面缺陷的果腐病苹果样品，1份从苹果赤道浅表面注射真菌孢子制备成表面略有腐烂的果腐病苹果样品。

样品制作完成后，将其在室内常温条件下放置7 d，完成光谱数据采集后，立即切开样品确认状态。图1为部分健康苹果样品；图2为部分不同程度果腐病苹果剖面和健康苹果剖面，根据受病害严重程度划分，从左至右分别为：严重、一般、轻微、较少、无（健康），其中，选取的无表面缺陷的果腐病苹果样品中有4种程度分布（严重、一般、轻微、较少）的数量差不多；图3为部分表面腐烂苹果及剖面图，苹果果核完好。由此可见，样品制作方法较为合理。本研究共选取了341个有效苹果样品，样品数量分布统计，见表1。

图1 部分健康苹果样品

Fig.1 Typical healthy apple samples

严重 一般 轻微 较少 无（健康）

图2 部分果腐病苹果和健康苹果剖面图

Fig.2 Cutaway views of rotten apples and healthy apples

图3 部分表面腐烂苹果及剖面图

Fig.3 Typical surface rotten apples and their cutaway views

表1 样品数量分布统计

Table 1 Statistics of sample quantity distribution

1.2 光谱数据采集

试验使用蔡司的MCS600阵列式光纤光谱仪，光源模型采用10 W的卤钨灯，并结合自制的积分球漫反射附件，采集光谱波长为450～980 nm，分辨率约为3 nm，每条样品光谱含159个数据点，积分时间为250 ms。苹果漫反射光谱测量系统结构如图4所示，光源经光纤相连积分球的入射端，并在被测面形成均匀的光斑，出射光经光纤到达光谱仪并输出光谱信号，入射端和出射端夹角约为90°。沿苹果赤道随机选择3个面进行测量，取平均光谱为苹果光谱。

图4 苹果光谱测试系统

Fig.4 Spectral measuring system for apples

1.3 建模方法

按样品状态分为健康苹果、果腐病苹果和表面腐烂苹果3类，分别使用基于偏最小二乘判别方法PLSDA（Partial Least Squares Discriminant Analysis）和卷积神经网络方法建立苹果果腐病的监测模型。

1.3.1 PLSDA

PLSDA是建立在线性判别分析（Linear Discriminant Analysis, LDA）基础上的，并结合了主成分分析方法，是光谱多元校正分析中最常用的方法，需要进行一定的光谱预处理。PLSDA模型中，目标类别变量采用二进制表示，利用光谱变量与类别变量的相关性，取得两者间的最大协方差。本文用“1” 表示属于某一类别，“0”表示不属于该类别，临界值可以取0.5。本文中分别用“001”“010”“100”代表健康苹果、果腐病苹果和表面腐烂苹果的类别。

1.3.2 一维卷积神经网络

本文借鉴LeNet网络，利用1个7层的卷积神经网络实现对苹果果腐病的监测。网络包含1个输入层、2个卷积层、2个池化层、1个全连接层和1个Softmax输出层，具体网络结构如图5所示。激活函数采用Sigmoid函数，池化层采用最大值池化。Softmax分类器将输出层的结果转化为非负值，并归一化得到苹果类别的概率，实现对苹果类别的预测。

图5 一维卷积神经网络的结构示意图

Fig.5 Schematic diagram of one dimensional convolutional

neural network

(1)

式（1）中，x为全连接层的输出向量；w_i为第i个神经元对应的权重系数；k为输出类别数，本文中k为3。

网络的损失函数采用交叉熵，并在损失函数Loss中加入了L2正则项 λ ₁，使网络权重系数w在较小的水平，以提高模型的稳定性。

Loss=
 (2)

式（2）中，N为样品总数；y_n为第n个样品的真实类别；为该样品的类别预测结果。所用卷积神经网络的主要参数，见表2。

表2 卷积神经网络结构

Table 2 Structure of convolutional neural network

1.4 模型评价及软件

模型评价指标采用训练集和测试集的判别正确率。卷积神经网络（Convolutional Neural Networks, CNNs）模型采用Python语言在Jupyter平台完成。PLSDA使用了PLS_toolbox_70工具箱。

2 结果与讨论

2.1 光谱特征分析

图6为不同类别苹果样品的平均光谱图，可以看出，在670 nm附近叶绿素有明显的吸收峰，水或氢氧基团在760 nm附近有较强的吸收峰。

当光源射入苹果，一部分光被苹果表面反射，一部分光进入苹果内部，并与果实内部组织发生复杂的吸收、投射和散射等现象。健康苹果漫反射光谱在644 nm、715 nm、810 nm附近有较明显的波峰，其中，715 nm附近是反射率变化最明显的区域^[11,17]。苹果的细胞间隙介质为空气，果心腐烂后呈水渍状，果实变软，内部组织间隙变大，导致散射和透射作用增强，反射率减小。健康苹果在710 nm处的反射峰最高，果腐病苹果的反射率低于健康苹果，果腐病苹果从中心向外扩散腐烂，内部腐烂区多呈黑色或褐色，对光的吸收能力较强，且果心腐烂越严重，反射率越低。苹果表面腐烂的区域一般呈棕褐色，光大多被吸收，反射光线较少，其反射率最小，从机理上提示了可见-近红外漫反射测量苹果果腐病具有一定的可行性，不同发病程度的光谱也较清楚地反映了样品波长反射率的变化。

2.2 模型结果

基于PLSDA和CNNs的苹果果腐病判别模型采用的训练集和测试集保持一致，分别从各类别的苹果样品中随机选择50%的样品放入训练集，训练集和测试集的样品组成，见表1。采用了平滑、Savitzky-Golay（SG）一阶导数、二阶导数、多元散射校正（MCS）等方法进行PLSDA模型的光谱预处理，其中，SG一阶导数效果最好。CNNs模型中无光谱预处理。

表3为2种模型对苹果类别的判别结果。PLSDA模型训练集的正确识别率为72.51%，不能较好地区分健康苹果和果腐病苹果，会将35.11%的健康苹果误识别为果腐病苹果。CNNs模型训练集的正确识别率为98.83%，仅有2个表面腐烂的苹果被识别为健康苹果。在测试集中，PLSDA模型的正确识别率为67.06%，对健康苹果、果腐病苹果和表面腐烂苹果的正确识别率分别为67.74%、82.61%和41.94%，对果腐病苹果有较好的识别率，但易将健康苹果误识别为果腐病苹果，且不能识别表面腐烂苹果。CNNs模型在测试集中正确识别率为79.41%，对健康苹果、果腐病苹果和表面腐烂苹果的正确识别率分别为80.65%、97.83%和48.39%，尽管不能较好地识别表面腐烂苹果，但对健康苹果和果腐病苹果的识别率大大提高了。

表3 苹果类别检测结果

Table 3 Testing results of different types of apples

虽然PLSDA方法常被用于判别水果产地、成熟度等，但由于果实内部组成复杂，而且水果类产品的水分含量高达85%，其近红外光谱谱峰重叠严重，PLSDA模型不能有效克服光谱数据的非线性影响，结合预处理方法也难以有效提取样品的光谱特征。PLSDA和CNNs模型均不能较好地识别表面腐烂苹果，这可能与苹果表面腐烂程度有关。当表面腐烂程度较轻时，识别率较好；当表面腐烂扩散到果实内部时，样品光谱与果腐病苹果具有相似的特性。因此，在后续的试验中需要讨论苹果表面腐烂程度对模型的影响。

2.3 CNNs模型的卷积核

可见-近红外光谱具有谱峰宽的特性，物质内部不同组分的吸收峰重叠严重，直接导致PLSDA方法效果不理想。卷积神经网络利用大量迭代训练，通过卷积、非线性变换及池化等操作，可形成良好的自学习能力，能自动提取光谱特征。尽管随着卷积核的增加，网络可以提取更丰富的光谱特征，但当样品数量较少时，易导致模型网络的泛化能力差。参照LeNet-5网络，卷积层C1、C3的卷积核分别设为6和16，设置的卷积核长度、步长范围分别为2～15、1～10，试验表明当卷积核长度为9、步长为1时，模型达到最优。图7为CNNs模型中第1个卷积层的6个卷积核，可以看出，卷积核中的零元素较少，表明卷积有良好的平滑性能。卷积核的作用类似于分数阶微分，较常用的一阶、二阶微分光谱预处理方法，有利于提取光谱数据的渐变信息。卷积核（a） 和（d）分别近似于向前和向后微分，当样品光谱反射率变大时，输入光谱经卷积核（d）作用后，输出特征呈减小的趋势；当样品光谱反射率增大时，输出光谱经卷积核（a）作用后，输出特征呈增大的趋势，有利于提取稳定的光谱信息。传统光谱预处理方法理论并不成熟，尽管部分方法有较明确的物理意义，针对被测对象如何选择适当的预处理需结合丰富的经验，处理过程费时费力。近年来，卷积神经网络被逐渐用于近红外光谱模型的建模，其良好的特征提取能力可大大缩短模型的开发时间，但其可解释性也有待进一步研究^[18-20]。接下来，本研究团队将进一步研究苹果产地、品种、大小和年份等对苹果光谱以及CNNs模型的影响，以提高模型的稳健性。

3 结论

本文开展了利用近红外漫反射光谱技术进行苹果果腐病监测的探索研究，提出了一种基于一维卷积神经网络的苹果果腐病监测方法，建立了基于CNNs的苹果果腐病模型，分析结果表明：

(1)基于近红外漫反射光谱分析技术和卷积神经网络，可较好地实现苹果果腐病的监测，利用卷积神经网络可提取光谱特征，避免了复杂的光谱预处理。

(2)利用此方法可快速筛选出可疑的苹果，为苹果果腐病的快速监测提供了有力的技术支持。

(3)基于卷积神经网络的近红外漫反射光谱技术在进口苹果初筛中有较好的可行性，并可推广到其他类型产品的应用中。

基金项目：国家重点研发计划（2016YFF0203705-2），海关总署科研项目（2019HK058）

第一作者：吴向峰（1981—），男，汉族，福建福州人，硕士，工程师，主要从事近红外光谱检测分析工作，E-mail: 84913158@qq.com

1. 福州海关技术中心 福州 350001

2. 中国计量大学 杭州 310018

1. Technology Center of Fuzhou Customs District, Fuzhou 350001

2. China Jiliang University, Hangzhou 310018

反射率 (%)

波长 (nm)

图6 不同类别苹果样品的平均光谱图

Fig.6 Average spectra of different types of apple samples

参考文献

[1] 冯自鹏. 夹持式苹果霉心病检测装置设计[D]. 杨凌: 西北农林科技大学, 2017: 9.

[2] 雷雨, 何东健, 周兆永, 等. 苹果霉心病可见/近红外透射能量光谱识别方法[J]. 农业机械学报, 2016, 47(4): 193-200.

[3] 杨亮亮. 基于机器视觉和X射线的苹果霉心病检测方法研究[D]. 杨凌: 西北农林科技大学, 2009: 77.

[4] 蔡骋, 李永超, 马惠玲, 等. 基于介电特征选择的苹果内部品质无损分级[J]. 农业工程学报, 2013, 29(21): 279-287.

[5] 赵迎丽, 王亮, 张晓宇, 等. 苹果霉心病发病规律及采后无损检测技术研究进展[J]. 食品工业, 2019, 40(2): 256-266.

[6] 张相飞, 杜春华, 郝双红, 等. 陈皮石油醚相中抗苹果腐烂病菌活性物质研究[J]. 湖北农业科学, 2015, 54(13): 3150-3152.

[7] 韩东海, 刘新鑫, 鲁超, 等. 苹果内部褐变的光学无损伤检测研究[J]. 农业机械学报, 2006, 37(6): 86-88.

[8] 徐广通, 袁洪福, 陆婉珍. 现代近红外光谱技术及应用进展[J]. 光谱学与光谱分析, 2000, 20(2): 134-142.

[9] Upchurch B L , Throop J A , Aneshansley D J . Detecting internal breakdown in apples using interactance measurements[J]. Postharvest Biology and Technology, 1997, 10(1): 15-19.

[10] 郭志明, 黄文倩, 陈全胜, 等. 苹果腐心病的透射光谱在线检测系统设计及试验[J]. 农业工程学报, 2016, 32(6): 283-288.

[11] Mogollón R , Contreras C , Freitas S , et al. NIR spectral models for early detection of bitter pit in asymptomatic 'Fuji' apples[J]. Scientia Horticulturae, 2021, 280: 109945.

[12] 刘燕德, 肖怀春, 邓清, 等. 柑桔黄龙病近红外光谱无损检测[J]. 农业工程学报, 2016, 32(14): 202-208.

[13] Khatiwada B P , Subedi P P , Hayes C , et al. Assessment of internal flesh browning in intact apple using visible-short wave near infrared spectroscopy[J]. Postharvest Biology & Technology, 2016, 120: 103-111.

[14] Mizuki, TSUTA, Masatoshi, et al. Prediction of Internal Flesh Browning of "Fuji" Apple Using Visible-Near Infrared Spectra Acquired by a Fruit Sorting Machine[J]. Japan Journal of Food Engineering, 2019, 20(1): 7-14.

[15] Gabrils S , Mishra P , Mensink M , et al. Non-destructive measurement of internal browning in mangoes using visible and near-infrared spectroscopy supported by artificial neural network analysis[J]. Postharvest Biology and Technology, 2020, 166: 111206.

[16] Chang Y , Hsueh M , Hung S , et al. Prediction of Specialty Coffee Flavors Based on Near-Infrared Spectra Using Machine and Deep Learning Methods[J/OL]. https://doi.org/10.1002/jsfa.11116, [2021-05-15]. https://onlinelibrary.wiley.com.

[17] Clark C J , Mcglone V A , Jordan R B. Detection of Brownheart in 'Braeburn' apple by transmission NIR spectroscopy[J]. Postharvest Biology & Technology, 2003, 28(1): 87-96.

[18] LE Ba Tuan, 肖冬, 毛亚纯, 等. 可见、近红外光谱和深度学习CNN-ELM算法的煤炭分类[J]. 光谱学与光谱分析, 2018, 38(7): 2107-2112.

[19] 杜剑, 胡炳樑, 刘永征, 等. 基于卷积神经网络与光谱特征的夏威夷果品质鉴定研究[J]. 光谱学与光谱分析, 2018, 38(5): 1514-1519.

[20] 孙红, 李松, 李民赞, 等. 农业信息成像感知与深度学习应用研究进展[J]. 农业机械学报, 2020, 51(5): 1-17.

（文章类别：CPST-C）