Disease symptom detection for automatic forecasting in onion fields

Research Article
Seung-Hoon Han1Kyeong-Min Kang1Dae-Hyeon Lee1*

Abstract

In this study, the suspected area of ​​downy mildew in onion images was detected. To this end, image processing-based disease area detection method and deep learning-based disease area detection method were used. The evaluation was calculated based on the area, thereby providing criteria for disease detection. 1000 images were collected using the automatic image collection device, and this was sampled at 224×224. As a result of checking the image for 10 days, it was confirmed that the onion leaves affected by downy mildew browned and bent over time. Algorithms were implemented using these features. The image processing-based disease area detection method consists of image noise filtering, HSV conversion, color distance calculation, detection by distance threshold, detection by blob detection, and area rate calculation. As a result of doing this, it was found that browned leaves and surrounding soil were detected together. For deep learning based disease area detection method, VGG16 model was used to transfer learning. And CAM was created by summing and normalizing the feature map and GAP output from the model. As a result of this implementation, unlike the image processing-based method, results similar to the suspected pathogen-determined areas were visually displayed. In conclusion, it was confirmed that the deep learning method was superior to the image processing-based method by automatically outputting the suspected area of ​​downy mildew. In addition, if deep learning is used, it is judged that alerting of downy mildew according to the activation level will be possible.

Keyword



Introduction

국내 인구의 지속적인 증가로 농작물 생산량 확보가 필요하지만, 농업 노동력 감소로 인한 1인당 재배면적 증가 등에 따라 생산성 향상에 어려움을 겪고 있다. 또한, 농작업의 경우 대부분 경험 기반의 시각적인 작물 관리가 전체 노동 중 많은 비중을 차지할 뿐만 아니라, 이는 작업자의 건강상태와 주변환경에 의존되어 일관적인 작업이 어려워 생산성과 노동 효율을 저하시키고 농업생산물의 품질 일관화를 어렵게 한다.

양파는 전 세계적으로 재배되는 주요 양념 채소 중 하나이며, 단위면적당 수확량은 5.7 ton/10 a로 전 세계에서 가장 높은 생산성을 보이고 있다. 양파 재배는 일반적으로 노지에서 재배하여 병해충 관리를 위한 시각적 예찰이 필요하다. 특히, 노균병(downy mildew)은 양파의 생산량을 감소시키 주요 병충해로 알려져 있으며, 1960년대부터 Peronospora destructure 병원균에 의해 유발된다고 보고되어 왔다(Hildebrand and Sutton, 1982). 이와 같은 절대활물 기생균은 양파 성장을 방해하지만 효과적인 질병의 방제 및 육안 예찰로 인한 노동 효율 증진에 어려움이 있어 기술적 대안이 필요하다.

최근 기술집약적 농업 재배를 위해 다양한 센서, 네트워크 및 데이터 분석 기술을 통해 농업을 계량화하고 이를 기반으로 자동, 원격 제어하는 스마트 농업기술에 대한 연구가 활발히 진행되고 있으며(Lee te al., 2010), 영상 처리를 통한 병해충 예찰 자동화(Mahlein, 2016)와 잡초 검출(Tellaeche et al., 2011) 관련된 연구도 활발히 수행되고 있다. 특히, 딥러닝(deep neural network, DNN) 등 영상 인식 기술을 이용한 병해충 검출(Mohanty et al., 2016), 잡초 검출(Alessandro et al., 2017) 등과 같은 연구에서도 성과를 보이고 있다(Khirade and Patil, 2015). 영상 인식 기술을 이용하면 넓은 노지에서 재배하는 양파의 병해충 증상도 효율적으로 잡아낼 수 있다. 이는 노동력 절감과 동시에 생산량을 높일 수 있을 것이다.

본 논문에서는 양파 영상을 이용한 실시간 질병 검출 기술 개발을 목적으로 실시하였으며, 자동 영상 수집 시스템에서 수집된 영상을 영상처리 기반 모델과 딥러닝 기반 모델을 각각 이용하여 양파 영상 내 노균병 의심영역을 검출하였다. 영상처리 모델을 통한 성능 평가와 딥러닝 모델을 이용한 학습 및 성능 평가는 검출된 면적을 기반으로 계산되었으며 질병 검출에 대한 기준을 제시하였다.

Materials and Methods

영상 데이터 개요

본 연구에서는 자동 영상 수집 시스템 장치를 통해 수집된 양파재배지 영상이 이용되었다. 노균병은 Fig. 1과 같이 잎이 갈변되고, 습도가 높을 때에는 뒷면에 하얀색이나 회색의 곰팡이가 만들어진다는 특징이 있으며, 본 연구에서는 이와 같은 증상을 영상 내 학습 대상 영역으로 선정하였다. 학습 데이터에 이용된 영상은 2018년 5월 10일부터 25일까지 전남 무안 국립식량과학원 작물센터에서 영상 획득 시스템 장치의 PTZ (pan-tilt-zoom)형 카메라(HDWC-S322MIR, Honeywell International Inc., USA)를 노면에서 약 1.7 m 높이에 설치하여 수집되었다. 이때, 카메라는 32배 오토포커싱 광학줌이 가능하며, 1920×1080 픽셀 해상도로 영상 수집이 가능하다. 총 수진된 영상은 1000장이며, 각각의 영상은 이동창(sliding windows) 방식을 이용하여 순차적으로 좌측상단부터 순차적으로 224×224 크기로 샘플링한 후, horizontal flip, random crops & re-scales, color jittering, rotation 등 증강작업을 수행하여 Fig. 2와 같이 전처리되었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F1.png

Fig. 1. Downy mildew in onion leaves.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F2.png

Fig. 2. Collecting learning data for onion disease awareness.

영상처리 기반 질병 영역 검출

영상 획득 시스템 장치를 구성하여 영상처리 알고리즘을 개발되었는데 Fig. 3과같이 색상모델 변환(HSV conversion), 색 거리 계산(color distance calculation), 거리 문턱치별 탐지(detection by distance threshold), 얼룩 영역을 통한 면적 검출(detection by blob detection), 면적율 계산(Area percentage estimation)으로 구성되었다. 영상 내 잡음 제거는 입력된 데이터에 low-pass 필터를 이용하여 전처리 과정을 통하여 잡음을 제거 하였다. 색상모델 변환은 RGB 모델을 HSV 모델로 변환하며, HSV는 빛의 효과에 강인한 장점이 있으며 식(1) ~ (3)과 같이 계산된다. 식에서 R, G, B의 값은 0 ~ 1 사이의 값이며, MAX는 R, G, B의 값 중에 최대값을 나타내고 MIN은 R, G, B 값 중 최소값을 나타낸다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/PASTJ_20-024_eq1.png (1)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/PASTJ_20-024_eq2.png (2)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/PASTJ_20-024_eq3.png (3)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F3.png

Fig. 3. Flow chart for disease symptom detection using image processing.

색 거리 계산은 필터링한 이미지를 RGB 픽셀 값으로 계산하여 HSV로 변환 후 임의의 색상과의 거리를 계산하여 각 픽셀의 색과 특정 색과의 거리가 측정되었다. 거리 문턱치별 탐지는 HSV 변환 후 영상 히스토그램을 시각적으로 검사하는 문턱치(threshold) 처리 방법을 통해 문턱치 이하이면 검정색, 문턱치 초과면 노랑색으로 나누었다. 이때, 문턱치 값은 색상모델의 히스토그램 및 시행착오를 통해 채널별 관심영역 범위를 설정하였다. 얼룩 영역을 통한 면적 검출은 측정된 데이터가 문턱치 처리 방법을 거친 후 얼룩 영역을 통해 양파 잎의 갈변된 부분이 검출되었다.

영상 학습 기술 (Deep learning)

본 연구에서는 영상 기반 실시간 작물 모니터링 시스템을 통해 수집되는 영상에 포함된 노균병 발병도를 인식하기 위해 인공 신경망 모델이 이용되었다. 질병 영역 검출을 위한 딥러닝 기반 구조로는 높은 영상 인식이 가능한 VGG16 합성곱 신경망 모델이 이용되었으며, 이미 학습된 파라미터를 연구목적 데이터집합에 적합하도록 일부를 추가로 학습하는 전이학습(transfer learning) 방법이 사용되었다. 전이학습은 빠른 학습이 가능하다는 장점과 상대적으로 적은 데이터 규모로 효과적인 지도학습이 가능하다는 장점이 있다.

객체 검출(object detection)은 대상체의 클래스 분류와 위치정보까지 검출해야 하므로 학습을 위해 모든 영상의 객체의 클래스와 위치정보를 별도로 작성되었다.VGG16 모델의 입력 영상데이터는 224 × 224 픽셀이고, 모델의 합성곱 신경망 필터 개수가 각각 64, 128, 256, 512인 네트워크로 구성되어 있으며 각각 2, 2, 3, 6회 반복된다. 필터 크기는 3 × 3으로 동일하며, 풀링으로는 최댓값 풀링(max pooling)을 이용되었다. 마지막 합성곱 신경망 이후에는 image-level localization을 위한 GAP (global average pooling)과 classification을 위한 완전연결계층(fully connected layers)로 구성되었다.

이후 모델에서 출력되는 최종 특징맵과 GAP의 가중치를 곱하고 전체를 합산 및 정규화하여 CAM (class active map)이 작성되었다. CAM은 해당 영상이 정상, 질병, 장애물 및 바닥 중 어떤 클래스로 어떻게 추론되었는지를 특징맵의 활성화 정도로 가시화해준다. 붉은색에 가까울수록 학습모델의 질병 징후가 높다고 판단되는 것이며, 푸른색일 경우 질병이 아닌 것으로 평가된다.

소프트웨어 및 하드웨어 환경

영상처리 및 딥러닝 모델 학습은 오픈소스 기반 파이썬(version 3.6, Python Software Foundation, Wilmington, CA, USA)을 이용하여 개발하였으며, 이때 파이썬의 다양한 함수 및 기능 지원이 가능한 아나콘다 통합 플랫폼(version 3.5, Anaconda, Austin, TX, USA)을 이용하였다. 인공신경망 구현은 Pytorch (version 4.0, Berkeley Software Distribution, San Mateo, CA, USA)를 이용하였으며, 영상처리 및 시각화는 OpenCV (version 3.4.1, Berkeley Software Distribution, Santa Clara, CA, USA) 라이브러리를 사용하였다. 딥러닝 모델 학습을 위한 하드웨어는 병렬 처리를 위해 GPU (GeForce gtx1070ti, Nvidia, Santa Clara, CA, USA) 기반으로 구성되었다. 소프트웨어 및 하드웨어 환경 정보는 Table 1에 나타냈다.

Table 1. Specification of development environment in this study.http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Table_PASTJ_20-024_T1.png

실험방법 및 성능평가

수집된 및 전처리된 학습데이터는 15,000장으로 정상(normal), 질병(disease), 장애물(obstacle) 및 바닥(ground)의 클래스로 분류되었다. 이때, 정상 및 질병영역은 작물 재배 영역 내에서 구분되며, 장애물은 작업자, 표지판 등 영상과 작물 사이에 위치한 객체, 바닥은 재배지 통행을 위한 주행로이다. 학습데이터는 Table 2와 같이 학습 시 필요한 훈련 집합(training-set), 검증 집합(validation-set) 및 테스트 집합(test-set)으로 분류하였으며 각각 8,840, 3,080, 3,080장으로 약 6:2:2의 구성비를 가진다. 본 연구에서 사용된 영상 데이터는 기존 분야의 모델 학습에서 사용된 데이터에 비해 비교적 적은 규모로 과적합(overfitting) 등의 문제가 발생하기 쉽다. 이에 본 실험에서는 적은 규모의 데이터로 학습 효과를 극대화할 수 있는 교차검증(cross-validation) 방법을 사용하여 학습 성능을 검증하였다. 부분데이터의 크기는 16으로 설정하였으며, 이를 고려한 학습률(learning rate)은 0.001로 설정하였다. 학습은 총 100회 반복 실시하였으며 반복 1회마다 훈련 집합을 이용한 가중치 갱신을 진행하였다.

출력된 영상의 면적율 계산은 검출된 데이터를 통해 이진화 영상과 기존 영상을 육안으로 비교하여 노균병 검출이 잘 되었는지 확인한 후 양파 잎 간의 질병 면적 발병률이 계산되었다. 이후, 딥러닝 기반으로 검출된 영역의 CAM 값을 이용하여 전체면적에 대한 검출영역의 비율을 평가 한 후 이를 이용하여 양파 질병 증상에 대한 알람 기준을 제시하였다.

Table 2. Dataset composition for deep learning. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Table_PASTJ_20-024_T2.png

Results and Discussion

영상 수집 결과

작물의 생육 변화를 확인하기 위하여 양파 잎의 변화를 측정하고자 동일한 장소에서 10일동안 측정한 결과, Fig. 4와 같이 시간이 지남에 따라 양파 잎의 색이 갈변되는 것을 확인되었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F4.png

Fig. 4. Variation of onion leaves in onion fields filmed for 10 days.

영상처리 기반 질병 영역 검출

Fig. 5는 육안으로 확인 가능한 노균병 의심 영역으로 일반 생육에 비해 갈변 및 잎이 구부러짐 등이 관찰됨을 알 수 있다. Fig. 6은 영상처리를 이용하여 질병 증상 영역을 검출한 결과로 기존에 육안으로 확인된 영역이 포함되어 있지만 이외의 영역도 포함하고 있다. 이는 색상 기반으로 검출된 방법으로 해당 색상 영역을 만족한 경우는 모두 포함되어 이를 해결하기 위한 추가적인 방법이 필요한 것으로 판단된다. 발병율을 계산한 결과는 Table 3와 같으며 4개의 샘플에 대해서 4.4 ~ 5.3%로 관찰되었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F5.png

Fig. 5. The realm of doubt through the human eye.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F6.png

Fig. 6. The realm of doubt derived through the Image processing.

Table 3. Results of disease recognition through Image processing. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Table_PASTJ_20-024_T3.png

딥러닝 기반 질병영역 검출

Fig. 7은 학습 모델에서 출력된 최종 특징맵과 GAP의 가중치를 이용하여 CAM을 통해 양파 영상의 질병 활성화맵을 작성한 결과이다. 총 8개의 샘플을 확인한 결과, 학습모델이 나타낸 노균병 의심 영역이 육안을 통해 선정된 영역과 유사하게 나타났다. 이는 영상처리 기반 질병 영역 검출 방식과 달리, 흙과 같이 검출이 불필요한 부분은 검출이 되지 않았다.

활성화 문턱값에 따른 발병도는 Table 4와 같으며 8개의 샘플에 대해서 0.2 ~ 12.8% 로 범위를 가졌다. 95% 수준으로 기준을 가장 높게 설정했을 때는 샘플 1, 2, 5에서 0.7%로 가장 낮게 나타났으며, 샘플 4에서 12.8%로 가장 높게 나타났다. 이를 활용하면 발병도를 수준별로 분류가 가능할 것으로 판단된다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Figure_PASTJ_20-024_F7.png

Fig. 7. Activation map of samples using CAM.

Table 4. The Severity by samples according to activation threshold. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-024_image/Table_PASTJ_20-024_T4.png

Conclusion

본 논문에서는 자동 영상 수집 시스템 장치를 통해 수집된 양파 밭 영상에서 노균병 의심 영역을 시각화하여 질병 검출에 대한 기준 제시를 목적으로 수행되었다. 이에 영상처리 기반 방식과 딥러닝 기반 방식이 이용 및 평가되었다.

영상처리 기반 노균병 검출 방식을 통해 출력된 영상에서는 잎의 갈변 부분 뿐만 아니라 흙과 같은 비슷한 색을 띈 부분들을 갈변 부분으로 인식하는 오류가 발생되었다. 이에 연속 촬영된 영상에서 생장 상태에 관한 정보와 양파 잎 주변의 다른 환경 요소들의 정보를 이용하여 오류를 해소하는 연구들이 추가적으로 필요한 것으로 판단된다.

딥러닝 기반 노균병 검출 방식은 영상 획득 시스템 장치를 통해 수집한 영상 데이터를 노균병의 발병도를 기준으로 영상의 질병 활성화맵을 작성하여 노균병 의심 영역을 시각화하였다. 이를 위해 전이학습 모델로 VGG16을 이용하였으며, 존재 유무 정보만으로 객체 검출이 가능한 약지도 학습 방법이 이용되었다. 이후 신경망에서 출력된 최종 특징맵과 GAP의 가중치를 곱하고 전체를 합산 및 정규화 과정을 통해 CAM을 작성하여 활성화 수준에 따른 활성화 정도를 가시화하였다. 그 결과, 학습 모델이 제시한 영상 속 활성화 정도에 따른 의심 영역은 육안을 통해 선정된 영역과 유사하게 나타났다.

따라서, 딥러닝 기반 노균병 검출 방식에서의 질병 활성화 수준에 따른 노균병의 면적 비율을 활용하면 수준별 발병도로 분류가 가능할 것으로 판단된다. 이를 이용하면 양파 재배의 실시간 자동 모니터링 및 질병 검출에 대한 기준을 제시하여 활성화 수준에 따른 작업자 알림 경보가 가능할 것으로 판단된다.

Acknowledgement

본 연구는 2019년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구입니다(No. 2019R1G1A1003023).

References

1  Alessandro SF, Daniel MF, Gercina GS, Hemerson P, Marcelo TF. 2017. Weed detection in soybean crops using ConvNets. Computers and Electronics in Agriculture 143:314-324. 

2  Hildebrand PD, Sutton JC. 1982. Weather variables in relation to an epidemic of onion downy mildew. Phytopathology 72:219-224. 

3  Khirade SD, Patil AB. 2015. Plant disease detection using image-processing. 2015 International Conference on Computing Comminication Control and Automation:768-771. 

4  Lee EJ, Lee KI, Kim HS, Kang BS. 2010. Development of agriculture Environment monitoring system using integrated senor Module. Journal of the Korea Contents Association 10(2):63-71. 

5  Mahlein AK.. 2016. Plant disease detection by inaging sensors - parallels and specific demands for precision agriculture and plant phenotyping. Plant Disease 100(2):241-251. 

6  Mohanty SP, Hughes DP, Salathe M. 2016. Using deep learning for image-based plant disease detection. Frontiers in plant Science 7:1419. 

7  Tellaeche A, Pajares G, Burgos-Artizzu XP, Ribeiro A. 2011. A compute vision approach for weeds identification through support vector machines. Applied Soft Computing 11:908-915.