Leaf image based cucumber powdery mildew recognition using image processing with color model

RESEARCH ARTICLE
Jeong-Lim Shim1Yeong-Soo Choi1*Yang-Hyun Cho1Jun-Won Hong1Dung Kim Nguyen1Xiang-Hui Kim Xin1

Abstract

This study was conducted to recognize powdery mildew disease on the leaves of cucumber cultivated in greenhouses using digital image processing and pattern recognition techniques. The image analyses of the leaves were done using the image toolbox in MATLAB. Given an original image in RGB color space, two kinds of normalized images of a mean-normalized image and an index-normalized image were transformed from the original image. RGB(red, green, and blue) components and HSI(hue, saturation, and intensity) color features were separated from original image and two normalized images respectively. The performance of the disease recognition were analyzed in related with an infected area calculated from the separated image. In order to test the effect of thresholding method, two optimal thresholding methods (Otsu's method and ISODATA algorithm) were applied to the all images which have RGB components and HSI color features separated from the original image, the mean-normalized image, and the index-normalized image. Optimal thresholding method is the way of choosing the threshold value automatically. The ISODATA algorithm resulted in overall better recognition of powdery mildew disease than Otsu's method in the case of bin=2. New image was obtained to test the effect of array operation of segmented images by array multiplication. The array multiplication could eliminate unnecessary information such as vestiges of powdery mildew disease, discoloration by other diseases and light. Also, Median filter operation was effective for noise elimination and reduction of image distortion.

Keyword



Introduction

작물 재배에 있어서 가장 큰 어려움은 병해충 방제이다. 병해충은 바이러스병, 검은무늬병, 잿빛곰팡이병, 역병, 마름병, 흰가루병, 진딧물, 온실가루이, 응애, 나방 등으로 재배작물의 종류에 따라 다양하다. 특히 오이재배에 자주 발생하는 흰가루병(Sphaerogheca fusca L.)은 잿빛곰팡이, 노균과 더불어 대표적인 병균이며, 재배자의 육안에 의한 판단에 의존하여 주로 화학농약에 의한 방제가 이루어져 왔다. 오이 잎에 감염된 흰가루병 방제 방법은 화학농약에 의존한 방제 외에도 다양한 방법이 있지만 가장 효과적으로 방제 작업이 이루어지기 위해서는 감염된 흰가루병을 조기 발견하는 것이다. 조기진단을 통한 흰가루병 방제는 작물피해를 최소화해주며 영상처리기법을 이용한 병해 조기진단 기술은 병해 조기진단 뿐만 아니라 작물 재배의 무인화를 위한 주요 기술로 활용될 수 있다.

최근 비파괴검사 기술에 의한 병충해의 조기 발견과 방제기술이 발전하고 있다. 진단기술로는 초분광(hyper spectral) 이미지를 이용하거나 컬러 이미지를 이용하는 방법이 주로 사용되고 있다. 초분광 이미지를 이용하는 방법(Moshou et al., 2004; Mahlein et al., 2013; Zhao et al., 2012; Kim et al., 2011; Juhua et al., 2011)은 clutter effect나 조명 영향에 의한 빈번한 calibration 등의 제약이 있어 최근에는 디지털 이미지에서 특징을 color image processing에 의해 진단하는 방법(AI-Hiary et al., 2011; Gulhane et al., 2011; Patil et al., 2011; Chaudhary et al., 2012; AI-Bashish et al., 2011; Pixia et al., 2013)과 딥러닝 기술을 이용한 진단기술(Zhang et al., 2017; Barbedo, 2016; Fuentes et al., 2017; Mohanty et al., 2016; Wang et al., 2017; Ferentino, 2018)이 급속히 발전하고 있다.

본 연구의 목적은 matlab을 이용한 color-based model 디지털 영상처리를 사용하여 오이의 흰가루병 진단 성능을 평가하는데 있으며, 구체적인 내용으로는 색상 정보를 통한 흰가루병 감염 여부 판단과 흰가루병 진단 성능평가 등을 수행하였다.

Materials and Methods

영상 수집

흰가루병

흰가루병은 토마토, 고추, 수박, 파프리카, 가지 등에서 발병되고, 오이에 발병하는 흰가루병 병원균은 가지과인 Sphaerotheca fuliginea으로 병원성이 약하다. 곰팡이의 일종으로 잎줄기의 표면에 마치 밀가루를 뿌려 놓은 것처럼 곰팡이 포자가 퍼져 있어 눈에 잘 띄고, 널리 분포하는 식물 병이다. 병원균의 종류별에 따라 병원성에 차이가 있고, 생육 온도도 차이가 있지만 대체로 15~25℃ 내외, 습도 50~80%의 다소 건조한 상태에서 잘 발생한다. 감염부위는 작물에 따라 잎, 줄기, 열매 등에 감염되고, 감염된 잎은 병이 진행되면서 병반이 커져 잎의 전면이 백색으로 된다. 이 곰팡이 분생포자의 퍼짐은 식물의 양분을 빼앗고, 광합성량을 감소시키며, 호흡 및 증산의 증가, 생장의 불 균일 등을 일으켜 수확량 감소를 초래한다.

영상 습득

본 연구에서 사용된 잎 영상은 5월 파종한 취청오이의 흰가루병에 감염된 잎을 10월 18일 맑은 날, 오후 3시경 전남 구례의 시설재배농가에서 습득한 것을 이용하였다. 시설재배에서의 실용화를 위해 오이 잎은 세척과정은 없으며, 암실 장비를 사용하지 않고 시설 안에서 흰가루병에 감염된 오이 잎의 칼라영상을 습득했다. 영상은 디지털 카메라(캐논, EOS 50D)를 사용하여 JPEG형식으로 저장되었다.

영상 분석 방법

칼라 RGB에서 HSI로의 전환

디지털 카메라로 습득한 빨강(Red)-녹색(Green)-파랑(Blue)으로 구성된 칼라영상을 MATLAB으로 정상 잎의 녹색 부분과 흰가루병에 감염된 잎의 흰 부분으로 각각 ROI (Region of Interest)를 설정하였다. 추출한 ROI 칼라영상들은 색상(Hue)-채도(Saturation)-명도(Intensity)로 구성된 HSI영상으로 변환시킨다. RGB 색모델은 HSI 색모델과 서로 변환 될 수 있으며 본 연구에서 사용한 변환식은 다음과 같다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/EQ_PASTJ_21-004_eq1.png (1)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/EQ_PASTJ_21-004_eq2.png(2)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/EQ_PASTJ_21-004_eq3.png (3)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/EQ_PASTJ_21-004_eq4.png(4)

평균, 표준편차 계산

원 영상을 ROI의 R, G, B, H, S, I 성분 영상으로 분리하고, 각 영상의 픽셀 평균과 표준편차의 평균, 최소값, 최대값을 계산한다. 여기서 ROI는 정상 잎의 녹색부분, 흰가루병에 감염된 잎의 흰 부분 둘로 나누고 10반복 하였다. 각 영상에서 얻은 픽셀 평균과 표준편차를 기준으로 본 연구에서 판단하고자 하는 흰가루병 초기단계의 잎의 픽셀 평균과 표준편차를 비교하였다.

흰가루병 진단 성능평가

흰가루병 진단 이미지 처리 과정은 Fig. 1과 같다. 습득한 칼라영상(원 영상의 크기 3456*2304)은 사이즈를 0.3배로 줄였다. 축소된 영상에서 전체 잎 약 30%의 ROI를 추출한 후 정규화의 효과를 알아보기 위해 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상 세 경우로 나눴다. 이때 ROI는 정확한 문턱치와 면적을 얻기 위해 사각형을 채택하였다. 여기서 평균값 정규화는 픽셀 평균값을 이용한 정규화이고, 인덱스 정규화는 농작물 재배지에서 식물(잡초, 작물)과 다른 부분(하늘, 토양)의 식별을 위해 R, G, B에서 G값을 극대화하는 것으로 농업에서 가장 많이 이용되는 방법이다. 각 추출된 영상을 HSI영상으로 변환시키고, R, G, B, H, S, I 구성요소 부호화 기술을 사용하여 감염된 오이 잎 영상을 분리하였다. 분리된 영상은 비교할 수 있는 패턴 형성을 위하여 각 구성요소의 히스토그램과 픽셀값 확인에 사용되었다. 문턱치(threshold) 설정방법을 이용한 이진화 영상의 효과를 알아보기 위해 각 구성요소 영상은 R, G, B, H, S, I 성분 영상에 시행착오법, 자동 문턱치 설정방법의 Otsu 방법과 IDODATA 방법을 이용해 이진화 영상을 생성했다. 흰가루병 검출이 가장 잘 된 문턱치에 의해 선택된 이진화 영상들의 배열곱셈을 통해 이진화 영상을 재구성하고, 재구성된 이진화 영상과 원 영상을 육안으로 비교하여 흰가루병 검출이 잘 되었는지를 판단한다. 흰가루병 검출성능을 평가하기 위해 재구성된 이진화 영상에 중간 필터링 연산, 팽창 연산, 오픈 연산을 사용하여 흰가루병 감염면적을 비교한다. 성능평가를 위한 영상 처리는 Matlab의 Image Processing ToolBox를 이용하여 실시하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F1.png

Fig. 1. Flow chart of disease detection algorithm

흰가루병에 감염된 잎 면적 계산

흰가루병은 ‘전체 잎에 random으로 분포하고 있다’고 가정하고, ROI는 전체 잎의 중간 지점으로 약 30%를 선택하였다. 이진화 효과를 높이기 위하여 이진화 효과가 우수한 구성요소 이진화 영상들의 배열곱셈을 통해 이진화 영상을 재구성 시켰다. 이때 흰가루병은 논리연산 1이다. 재구성한 이진화 영상은 필요 효과를 분석하기 위해 중간값 필터 연산과 모폴로지의 팽창, 오픈 연산을 시켜 총 4가지 경우(연산없음, 중간값 필터, 팽창, 오픈)의 면적을 비교한다. 재구성한 이진화 영상의 1값의 합을 사각형 ROI면적(M×N)으로 나눈 후 100을 곱하여 ROI에서의 흰가루병에 감염된 잎 면적을 구하였다(식 5).

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/EQ_PASTJ_21-004_eq5.png (5)

Results and Discussion

색상 정보를 통한 흰가루병 감염 여부 판단

색상 정보를 통해 흰가루병 감염을 판단하고자 정규화 하지 않은 오이 잎의 영상을 흰가루병에 감염된 흰색 잎 부분, 흰가루병에 감염되지 않은 녹색 잎 부분, 녹색 부분과 흰색 부분이 같이 있는 부분 세 가지로 구분했다. 흰가루병에 감염된 흰색 잎 부분, 흰가루병에 감염되지 않은 녹색 잎 부분, 녹색 부분과 흰색 부분이 같이 있는 부분 세 가지 경우를 각 10개 샘플에 대해서 R, G, B, H, S, I 성분에 대한 픽셀 평균값을 구하였다. 예로서 Fig. 2는 Green 성분에 관한 픽셀 평균값을, Fig. 3에는 hue 성분에 관한 픽셀 평균값을 그래프로 나타낸 것이다.

픽셀 표준편차를 분석하기 위하여 픽셀 평균을 구한 경우와 마찬가지 방법으로 픽셀 표준편차 값을 구하였다. 예로서 Fig. 4는 RED 성분에 관한 픽셀 표준편차값을, Fig. 5에는 SATURATION 성분에 관한 픽셀 표준편차값을 그래프로 나타낸 것이다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F2.png

Fig. 2. Pixel mean values for GREEN component.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F3.png

Fig. 3. Pixel mean values for HUE component.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F4.png

Fig. 4. Pixel Standard deviation of infected, normal, mixed leaf by RED component image.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F5.png

Fig. 5. Pixel Standard deviation of infected, normal, mixed leaf by SATURATION component image.

R 성분 영상에서 흰가루병에 감염된 ROI의 픽셀 표준편차 값에 대한 평균값은 26.7, 최대값은 38.6, 최소값은 15.9이고, 흰가루병에 감염되지 않은 ROI의 픽셀 표준편차 값에 대한 평균값은 6.2, 최대값은 7.7, 최소값은 3.8이고, 섞여 있는 ROI의 픽셀 표준편차 값에 대한 평균값은 22.4, 최대값은 30.5, 최소값은 15.4이다. 픽셀 평균값과는 달리 픽셀 표준편차 값은 감염되지 않은 ROI의 범위와 감염된 ROI의 범위, 섞여 있는 ROI의 범위가 서로 달라 흰가루병 감염 여부를 판단할 수 있었다. 하지만 픽셀 평균값과 마찬가지로 감염된 ROI의 픽셀 표준편차 범위와 섞여 있는 ROI의 픽셀 표준편차 범위는 비슷하기 때문에 픽셀 표준편차 값으로 흰가루병 초기 단계를 구별하기에는 다소 무리가 있다. 이와 마찬가지로 R, G, B, I 성분 영상에서는 픽셀 평균값으로 감염된 ROI와 감염되지 않은 ROI의 구분은 확실하나, 섞여 있는 ROI는 감염된 ROI와의 차이가 크지 않기 때문에 흰가루병 감염의 확인은 가능하나 흰가루병 초기 단계를 구별하기는 어렵다고 판단된다. 픽셀 표준편차 값에서 감염된 ROI과 감염되지 않은 ROI의 구별은 R, G, B, I 성분 영상에서는 구별 가능하나 차이가 크지 않아 확실한 구별은 어렵고, 섞여 있는 ROI는 감염된 ROI와의 차이는 크지 않지만 정상 ROI와의 차이는 크기 때문에 흰가루병 감염 여부의 구별은 가능하나 흰가루병 초기 단계를 구별하기는 어렵다고 판단된다. 감염되지 않은 녹색 부분과 흰가루병에 감염된 흰색 부분에 대한 픽셀 평균과 표준편차 값을 비교하면 흰가루병의 감염 여부는 판별이 된다고 보고하였다(Vijayakumar, 2012). 하지만 감염되지 않은 녹색 부분과 흰가루병에 감염된 흰색 부분이 같이 있는 흰가루병 초기 단계의 판단에서는 각 성분의 픽셀 평균과 표준편차만으로 명확한 판별이 어렵다고 판단된다. Table 1은 흰가루병에 감염된 흰색 부분, 감염되지 않은 녹색 부분, 감염되지 않은 부분과 감염된 잎이 같이 있는 부분 세 가지 경우에 대해 10개 샘플의 R, G, B, H, S, I 성분에 대한 평균과 표준편차의 평균값, 최대값, 최소값을 표로 정리한 것이다.

Table 1. Pixel mean values and standard deviation of R, G, B, H, S, I components. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Table_PASTJ_21-004_T1.png

감염 판단을 위한 이진화와 정규화의 효과

공통적으로 원 영상자료에서 그림자로 인한 어두운 곳과 빛 반사로 인한 밝은 곳은 정확히 흰가루병을 판단하기 어려웠고, 진행 중인 흰가루병과 흰가루병 흔적의 정확한 구별도 어려웠다 문턱치 설정방법을 이용한 이진화 영상의 효과에서 시행착오법은 이 세 영상의 각 구성요소 이진화 영상 중에서 흰가루병 검출을 가장 잘 했지만 영상이 바뀔 때마다 정상 잎과 감염된 잎의 픽셀값을 확인하여 매번 다른 문턱치를 지정해줘야 하는 번거로움 때문에 본 연구에서는 사용하기 어렵다고 판단했다. 또한, 본 연구에서의 영상의 히스토그램 형태는 두 개의 봉우리처럼 뚜렷하게 나누어져 있지 않아 Otsu 방법으로 만들어진 이진화 영상은 흰가루병 검출이 어려웠다. ISODATA 방법은 bin의 값에 따라 이진화 영상이 다르게 나타나기 때문에 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상 모두에서 흰가루병을 잘 검출하는 bin을 찾기 위해서 bin의 값을 2~10까지 반복하였다. 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상 모두에서 흰가루병 검출이 잘된 bin 값은 Table 2에서 bin=2인 경우였다. 흰가루병이 가장 잘 검출된 ISODATA 방법의(bin=2) R, G, B, H, S, I 이진화 영상은 원 영상과 평균값 정규화 영상에서 R, G, B, I 이진화 영상이 비슷한 패턴을 보였고, 인덱스 정규화 영상에서 R, B, S, I 이진화 영상이 비슷한 패턴을 보였다. 이진화 효과를 높이기 위하여 이진화 효과가 우수한 ISODATA 이진화 영상 중에서 흰가루병이 잘 검출된 구성요소 이진화 영상들의 배열곱셈을 통해 이진화 영상을 재구성시켰다. 세 영상에서 흰가루병 검출 효과가 우수한 이진화 영상들과 배열곱셈을 통한 재구성한 이진화 영상을 비교한 경우, 배열곱셈 통한 이진화 영상에서 흰가루병 검출이 가장 적게 확인되었고, 실제 감염면적 1을 기준으로 원 영상은 0.7~1.0배, 평균 정규화는 1.4~2.2배, 인덱스 정규화는 2.3~6.0배의 면적을 산출해 냈다. 이러한 결과는 영상처리의 특성상 진행 중인 흰가루병, 흰가루병의 흔적, 다른 질병으로 인한 변색, 온실가루이 등을 구별이 어렵기 때문으로 판단된다. 재구성한 이진화 영상은 대체적으로, 원 영상은 흰가루병 흔적은 검출하지 못하고, 진행 중인 흰가루병 중에서도 특히 흰가루병이 밀집되어 있는 부분만을 찾았다. 빛 반사에 대한 영향은 거의 없었으나, 이는 R, G, B, H, S, I 요소에서 흰가루병 검출의 패턴이 비슷한 요소만을 골라 이진화 영상을 재구성했기 때문이라고 판단된다.

Table 2. Examples of R, G, B, H, S, I ocmponent images binarized by thresholding with ISODATA algorithm at bin=2 http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Table_PASTJ_21-004_T2.png

평균값 정규화 영상은 흰가루병의 흩어 뿌려짐과 집중 정도에 따라 그 형상을 비슷하게 찾아냈지만 흰가루병 흔적까지 찾기 때문에 검출된 부분이 진행 중인 흰가루병인지 흔적인지 정확한 판단이 어려웠다. 인덱스 정규화 영상은 흰가루병의 흔적이나 미세한 부분까지도 찾아내며 실제 흰가루병 면적 보다 더 넓은 범위를 찾는 경향이 강해 넓게 흩어진 흰가루병도 한 곳에 집중된 형상으로 이진화 영상을 얻어낸다. 평균값 정규화 영상과 마찬가지로 진행 중인 흰가루병과 흔적의 정확한 판단은 어려웠다. 빛 반사에 대한 영향은 거의 없었지만 그림자가 진 곳의 흰가루병은 세 가지 영상 중에서 가장 잘 검출해냈다. Fig. 6처럼 재구성한 이진화 영상은 각각 의미 있는 결과를 나타냈다. 공통적으로 패턴이 비슷한 영상들만으로 이진화 영상을 재구성했기기 때문에 흰가루병 검출의 효과가 좋았고, 원 영상에서 빛의 영향을 줄일 수 있었지만, 정규화를 함으로써 빛의 영향이 줄어듦을 알 수 있었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F6.png

Fig. 6. Re-transformed binary images.

필터링에 따른 감염면적의 변화

이진화 효과가 우수한 bin=2인 ISODATA 이진화 영상 중에서 패턴이 비슷한 구성요소인 원 영상, 평균값 정규화 영상(R, G, B, I), 인덱스 정규화 영상(R, B, S, I)의 이진화 영상들을 배열곱셈을 통해 이진화 영상을 재구성한다. 세 가지 경우의 재구성한 이진화 영상에 대해 필터 효과를 분석하기 위해 중간필터링, 팽창 연산, 오픈 연산을 이용하여 그 결과를 확인해 보았다. 공통적으로 중간필터링과 오픈연산을 적용시킨 이진화 영상의 면적은 원래 면적에 비해서 줄어들었고, 팽창 연산을 적용시킨 이진화 영상의 면적은 늘어났다. 아무런 처리를 하지 않은 면적을 1로 가정했을 때, 중간 필터링 연산은 0.8~ 1.0로 평균 0.9이고, 오픈 연산은 0.7~ 0.9로 평균 0.9이며, 팽창 연산은 1.2~ 1.9로 평균 1.4이였다. 이 결과로 중간 필터링 연산이 이진화 영상에서의 왜곡이 적고, 노이즈 제거 효과는 크다는 것을 알 수 있었다.

실제 흰가루병에 감염된 면적을 확인하기 위해서 Fig. 7과 같이 흰가루병에 감염된 오이 잎 영상을 그림판에서 열어 흰가루병을 제외한 녹색 잎 부분에 검정색을 입히고 이진화 영상을 얻어 면적을 구했다. 그 후 실제 감염된 흰가루병 면적과 영상처리 과정을 거쳐 얻어진 흰가루병에 감염된 면적을 비교했다. 빛 반사 영향을 받는 부분을 제외하면 흰가루병이 진하게 뭉쳐 있는 경우에는 재구성한 이진화 영상 중 원 영상의 면적이 실제 흰가루병 면적과 가까웠고, 흩어 뿌려져 있는 경우에는 그림판에서 흰가루병의 픽셀 작업이 어렵기 때문에 실제 흰가루병 면적이 정확하지 않지만, 평균적으로 중간 필터링을 한 평균값 정규화 영상에서의 면적이 실제 흰가루병 면적과 가까웠다. Table 3은 실제 흰가루병 면적과 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상에서 재구성한 이진화 영상으로 검출해 낸 흰가루병 면적, 그리고 재구성한 이진화 영상에 중간 필터링, 팽창, 오픈 연산을 통하여 면적 변화를 나타낸 것이다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Figure_PASTJ_21-004_F7.png

Fig. 7. Original images (above) and binarized images (below).

Table 3. Filtering effects on diagnosis http://dam.zipot.com:8080/sites/pastj/images/PASTJ_21-004_image/Table_PASTJ_21-004_T3.png

흰가루병은 특별한 모양을 가지지 않고 밀가루를 뿌려 논 모양이기 때문에 육안으로는 영상에서 픽셀 하나하나를 정확히 구분할 수 없다. 그리고 연구에 사용된 오이 잎 중에는 흰가루병에 감염된 흔적이 많이 존재했다. 영상처리로 검출된 흰가루병은 현재 진행 중인 흰가루병 외에 흔적까지 흰가루병으로 판단되지만 그림판에서 수작업을 할 경우 흰가루병 흔적들을 제외하고 현재 진행 중인 흰가루병만 남겼기 때문에 실제 흰가루병 면적과 수작업을 한 영상에서의 흰가루병 면적 간에는 작고 큰 오차가 발생했다. 이처럼 흰가루병의 피복도는 다양한 변수가 존재하기 때문에 면적만 가지고는 정확한 판단이 어려우므로 수치로 된 면적 외에도 이진화 영상을 육안으로 함께 확인할 필요가 있다고 판단되었다.

오이 흰가루병은 진행될수록 오이 생장과 상품성 수량에 큰 영향을 미친다. 일반적으로 양질의 오이 생산량을 위해 흰가루병에 감염된 잎 면적은 상품가치가 뚝 떨어지는 흰가루병 발병도 25%보다 낮게 기준을 잡아야 한다. 이진화를 통해 검출된 흰가루병에 감염된 잎 면적은 흰가루병의 흔적 외에도 빛의 영향, 다른 질병, 해충 등으로 인해 감염 면적이 크게 나올 수 있기 때문에 흰가루병에 감염된 잎 면적이 5% 이상이 되면 흰가루병 방제를 시작해야하고, 15% 이상이면 흰가루병 방제가 시급하다고 할 수 있다.

Conclusion

본 연구는 디지털 이미지의 color model을 이용한 시설재배 작물인 오이에 발생하는 흰가루병의 조기진단 기술을 개발하기 위하여 수행되었다. 정규화의 효과를 알아보기 위해 원 영상, 평균값 정규화 영상(픽셀 평균값을 이용한 정규화), 인덱스 정규화 영상(인덱스를 이용한 정규화) 세 경우로 나누고, 각 영상을 빨강(R), 녹색(G), 파랑(B), 색상(H), 채도(S), 명도(I) 구성요소로 오이 잎 영상을 분리하였다. 분리된 영상은 각 구성요소의 히스토그램과 픽셀값 확인에 사용되었다.

문턱치(threshold) 설정방법을 이용한 이진화 영상의 효과를 알아보기 위해 각 구성요소 영상은 시행착오 방법, Otsu 방법 그리고 ISODATA 방법을 이용해 구성요소 이진화 영상을 생성하고, 이진화된 영상에서 흰가루병의 감염정도는 감염면적을 기준으로 판단하였다. 분석 결과, 시행착오 방법은 실용성이 부족하다고 판단되었고, 자동 문턱치 설정방법 중에서 Otsu 방법보다는 bin=2인 ISODATA 방법으로 생성된 이진화 영상에서 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상 모두 흰가루병 검출이 잘 되는 것으로 나타났다. 세 경우의 이진화 영상에서 원 영상과 평균값 정규화 영상은 R, G, B, I 이진화 영상이, 인덱스 정규화 영상은 R, B, S, I 이진화 영상이 각각 흰가루병 검출 효과가 우수하였다.

이진화의 효과를 높여주기 위하여 bin=2인 ISODATA 방법을 이용한 이진화 영상에서 구성요소 이진화 영상을 배열곱셈을 통해 이진화 영상을 재구성 시켰다. 흰가루병에 감염된 면적과 재구성한 이진화 영상으로 검출된 흰가루병 감염 면적을 비교했을 경우, 원 영상은 16.4%, 평균값 정규화 영상은 –133.7%, 인덱스 정규화 영상은 –274.8%의 평균 오차를 나타내었다. 여기서 큰 오차를 가짐에도 불구하고 평균값 정규화 영상이 가장 좋은 결과를 가져왔다고 판단할 수 있는 이유는 진행 중인 흰가루병 외에 흰가루병 흔적, 다른 질병으로 인한 변색, 온실 가루이 같은 해충 등 흰가루병으로 오인할 만한 요소들이 공존하고 있기 때문으로 판단되었다.

필터 효과를 분석하기 위하여 재구성한 이진화 영상에 중간값 필터링, 팽창 연산, 오픈 연산을 사용하여 흰가루병 검출성능을 평가하기 위해 계산된 감염면적을 비교하였다. 실제 감염면적을 1로 보았을 때, 중간값 필터링 연산은 0.8~ 1.0로 평균 0.9이고, 오픈 연산은 0.7~ 0.9로 평균 0.9이며, 팽창 연산은 1.2~ 1.9로 평균 1.4이였다. 이 결과를 통해 중간값 필터링 연산이 이진화 영상의 왜곡이 덜하고, 노이즈 제거에 효과가 크다고 판단되었다.

영상의 정규화 처리는 흰가루병 검출의 정확도 향상에 기여하는 것으로 나타났다. 특히 평균값 정규화 영상은 흰가루병 검출 효과가 가장 우수하였고, 인덱스 정규화 영상은 빛과 그림자의 영향을 감소시킬 수 있는 것으로 분석되었다. 중간 필터링 연산은 노이즈 발생이 적고, 이진화 영상에서의 왜곡이 적었다. 검출하고자 하는 조건에 따라 원 영상, 평균값 정규화 영상, 인덱스 정규화 영상을 알맞게 사용하면 흰가루병 흔적 외에도 노이즈 제거, 미세한 흰가루병 분포 변화까지도 진단이 가능할 것으로 판단된다.

후속 연구에서는 이미지에 영향을 주는 조명, 촬영 조건 등의 영향 분석과 함께 딥러닝 기술의 적용이 수행될 예정이다.

Acknowledgements

본 결과물은 농림축산식품부의 재원으로 농림식품기술기획평가원의 농식품기술융합창의인재양성사업의 지원을 받아 연구되었음(320001-4)

References

1 AI-Bashish, D., Braik, M., Bani-Ahmad, S., 2011. Detection and classification of leaf diseases using K-means-based segmentation and neural networks based classification. Inform. Technol. J., 267-275.  

2 AI-Hiary, H., Bani-Ahmad, S., Reyalat, M., Braik, M., ALRahamneh, Z., 2011. Fast and accurate detection and classification of crop diseases. Int. Comput. Appl. 17:31-36.  

3 Barbedo, J.G.A., 2018. Factors influencing the use of deep learning for plant disease recognition. Biosyst. Eng. 172:84-91.  

4 Chaudhary, P., Chaudhary, A.K., Cheeran, A.N., Godara, S., 2012. Color transform based approach for disease spot detection on plant leaf. Int. J. Comput. Sci. Telecommun. 3(6): 65-70.  

5 Ferentinos, K.P., 2018. Deep learning models for plant disease detection and diagnosis. Comput. Electron. Agric. 145:311-318.  

6 Fuentes, A., Kim, Y.S., Park, D.S., 2017. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition. Sensors. 17:2022.  

7 Gulhane, V.A., Gurjar, A.A., 2011. Detection of diseases on cotton leaves and its possible diagnosis. Int. Image Processing. 5(5):590-598.  

8 Juhua, I., Dacheng, W., Yingying, D., Wenjiang, H., Jindi, W., 2011. Developing an aphid damage hyperspectral index for detecting aphid (Hemiptera: Aphididae) damage levels in winter wheat.  

9 Kim, Y., Glenn, D.M., Park J., Ngugi, H.K., Lehman, B.L., 2011. Hyperspectralimage analysis for water stress detection of apple trees. Comput. Electron. Agric. 77:155-160.  

10 Lin, K., Gong, L., Huang, Y., Liy, C., Pan J., 2019. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network. Frontiers in Plant Science. 10(155).  

11 Mahlein, A.K., Rumpf, T., Welke, P., Dehne, H.W., Plumer I., Steiner U., Oerke, E.C., 2013. Development of spectral indices for detecting and identifying plant disease. Rem. Sens. Environ. 128:21-30.  

12 Mohanty, S.P., Hughes, D.P., Salathe, M., 2016. Using deep learning for image-based plant disease detection. Front. Plant Sci. 7:1419.  

13 Moshou, D., Bravo, C., West, J., Wahlen, S., mcCartney, A., Ramom, H., 2004. Automatic detection of yellow rust in wheat using refelectance measurements and neural networks. Compt. Electron. Agric. 44:173-188.  

14 Patil, J.K., Kumar, R., 2011. Color Feature Extraction of Tomato Leaf Diseases. 2(2):72-74.  

15 Pixia, D., Xiangdong, W., 2013. Recognition of greenhouse cucumber disease based on image processing technology. Open J. Appl. Sci. 3:27-31.  

16 Vijayakumar, J., 2012. Early Detection of Powdery Mildew Disease for Betelvine Plants Using Digital Image Analysis. International Journal of Modern Engineering Research. 2(4):2581-2583.  

17 Wang, G., Sun, Y., Wang, J., 2017. Automatic image-based plant disease severity estimation using deep learning. Comput. Intell. Neurosci. 2017:1-8.  

18 Zhang, S., Wu, X., You, Z., Zhang L., 2017. leaf image based cucumber disease recognition using sparse representation classification. Comput. Electron. Agric., 134:135-141.  

19 Zhao, Y., He, Y., Xu, X., 2012. A novel algorithm for damage recognition on pest-infested rape leaves. Compt. Electron. Agric. 89:41-50.