Study on Fire Blight Forecasting Using Rotary-Wing Drone

Research
Hyun-Jung Kim1*Jun-Woo Park2Chan-Seok Ryu22Tae-Hwan Kang3*

Abstract

The fire-blight disease is one of the contagious diseases infecting apples, pears, and some other species belonging to the Rosaceae family. Due to its extremely strong infectivity, once the infection is confirmed in the orchard, all of the tress located within 100 m must be destroyed and then the orchard is prohibited to cultivate the Rosaceae trees for 5 years. In South Korea, since fire-blight was confirmed for the first time in Ansung area in 2015, the infection is still being detected every year. Traditional methods to observe fire-blight requires a lot of costs and time, and also the pathogen can be transmitted by the inspectors from the infected orchard to the normal One. Therefore, it is necessary to develop a remote, unmanned monitoring system for fire-blight to prevent the communication of fire-blight. The pear tree image data were obtained at some pear orchards in Cheonan, using a multi-spectral camera with 4 spectral bands (red, green, blue, red-edge, and NIR) attached on a rotary-wing drone (DJI Phantom 4 PRO V2.0). The flight altitude was 15 m. Using Pix4D software, the still-cut images were connected into a single image and the spectral reflection values of the infected and normal tress were calculated from each band. As a result, the NIR band showed the most potential to identify the infected area in the orchard.

Keyword



Introduction

Erwinia amylovora 병원균에 의해 발생하는 화상병은 배와 사과등 장미과목에 생기는 세균성 병해의 일종이다 (Kim and Yun, 2018). 화상병에 감염된 과수는 「식물방역법」에 근거한 ‘화상병 예찰·방제 지침’에 따라 모두 폐기되며, 감염이 의심되는 개체가 발견되는 즉시 매몰된다. 화상병 감염이 확진되는 경우에는 해당 과수원 전체 및 반경 100 m이내의 기주 식물까지 모두 매몰되며, 해당 구역에서는 향후 5년간 동종 과수의 재배가 금지되어 피해가 심각하다(Jeong at al, 2018). 또한, 화상병이 발병할 경우 과일 수출에 문제가 발생하며 미국, 유럽 등 40개 이상의 국가로부터 심각한 경제적 손실을 야기한다(이 등, 2015). 그 동안 식물 검역을 이유로 배와 사과의 수입을 금지했던 우리나라에 화상병이 정착된다면 과수 산업은 큰 경제적 피해를 막지 못할 것으로 예상된다(황 등, 2012; 김과 조, 2007). 국내에서는 2015년 5월 경기도 안성지역에서 화상병이 발생한 이후로 매년 피해가 발생하고 있다. 현재까지 화상병에는 뚜렷한 치료법이 없고, 한 번 감염되면 피해 규모가 큰 만큼 예방하는 것이 매우 중요하다. 본 연구는 현재 국내 과수 원예 산업 분야에서 가장 큰 이슈 중 하나인 화상병의 확산 및 추가 전염에 의한 2차 피해를 예방하기 위한 화상병 예찰 시스템 개발에 관한 기초 연구로서, 회전익 드론(DJI팬텀4PRO V2.0)에 Red, Green, Blue, Red-Edge 및 NIR 밴드를 갖는 Red-Edge M Multispectral Sensor을 이용하여 화상병의 감염여부를 확인하기 위한 영상을 취득하였다.

Materials and Methods

본 실험에서는 Red-Edge M 센서를 사용하여 Red, Green, Blue, Red-Edge 및 NIR 밴드의 영상을 고도 15 m 상공에서 취득하였으며, ENVI 프로그램을 이용하여 화상병 발병지역의 Red, Green, Blue, Red-Edge 및 NIR 영역의 히스토그램을 분석하였다. 또한, Pix4D 프로그램을 이용하여 촬영된 영상을 접합한 후에 밴드별로 정상과수와 화상병 감염과수의 반사 값을 추출하여 분석하였으며, 접합된 영상의 NDVI, NIR 및 Red-edge을 지도화하였다. Fig. 1은 2018년 6월 7일 천안시 입장면 독정리에서 화상병 발병지역 촬영에 사용된 자율비행경로와 영상취득 모습을 나타낸 것이다. Fig. 2은 본 실험에서 사용한 회전익 드론이며, Table1 은 회전익 드론의 주요 제원을 나타낸 표이다. Fig. 3은 멀티영상취득 센서인 Red-Edge M의 사양을 나타낸 것이다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F1.png

Fig. 1. Autonomous flight path in Cheonan

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F2.png

Fig. 2. Rotary-wing Drone for image acquisition (DJI Phantom 4 Pro V2.0)

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F3.png

Fig. 3. Red-Edge M Sensor and spectrum characteristics for Multi-Spectral image acquisition

Table 1. Rotary-Wing Drone specification(DJI Phantom 4 Pro V2.0)Model DJI Phantom4 Pro http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Table_PASTJ_19-003_T1.png

Results and Discussion

Red Band (668 nm) 영상 히스토그램 분석

충남 천안시 입장면 독정리에 위치한 배 과수원에서 Red-Edge M 멀티스펙트럴 센서로 고도 15 m 상공에서 촬영한 영상을 이용하여 단일밴드인 Red, Green, Blue, Red-Edge 및 NIR 영상의 휘도(intensity)와 빈도(frequench)를 분석하였다. Fig. 4은 천안시 입장면에서 취득한 배 화상병 감염과수와 비감염 과수의 Red Band (668 nm) 영상의 히스토그램 분석 결과를 나타낸 것이다. Fig. 4에서 보는 바와 같이 배 화상병 감염 과수의 Peak Intensity은 42로 나타났고, 영상에서 화상병과 정상과수를 분리하기 위해 휘도값의 범위를 35-50으로 설정하여 화상병 영상을 분석하였다. Fig. 5는 화상병 감염부위가 촬영된 Red Band (668 nm) 원본 영상으로서, 상기 이치화 휘도 범위를 35-50으로 설정하여 영상처리한 결과를 나타낸 것이다. Fig. 5에서 보는 바와 같이 화상병 발병 부위가 검출되는 것을 알 수 있으나 그와 더불어 배 과수원 바닥의 음영 부분이 함께 검출되는 것으로 나타났다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F4.png

Fig. 4. Red Band (668 nm) histogram

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F5.png

Fig. 5. Red Band (668 nm) image processing results using histogram

Green Band (560 nm) 영상 히스토그램 분석

Fig. 6에 천안 입장면에서 취득한 배 화상병 감염과수와 비감염 과수 Green Band (560 nm) 영상의 히스토그램 분석 결과를 나타내었다. Fig. 6에 나타낸 바와 같이 배 화상병 감염 과수의 Peak Intensity는 40으로 나타났고, 영상에서 화상병과 정상과수를 분리하기 위한 이치화 휘도값의 범위를 30-45으로 설정하여 분석하였다. Fig. 7에 화상병 감염부위가 촬영된 Green Band(560 nm)를 상기 이치화 휘도 범위를 30-45으로 설정하여 영상 처리한 결과를 나타내었다. Fig. 7에 나타낸 바와 같이 화상병 발병 부위가 검출되지만 전술한 바와 같이 배 과수원 바닥의 음영부분이 함께 정상과수도 화상병으로 검출되었다. 이것은 Fig. 7에서 보는 바와 같이 이치화 휘도값 범위 30-45 내부에 정상과수에 대한 빈도 값이 높았기 때문으로 판단된다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F6.png

Fig. 6. Green Band (560 nm) histogram

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F7.png

Fig. 7. Green Band (560 nm) image processing results using histogram

Blue Band (457 nm) 영상 히스토그램 분석

배 화상병 감염과수와 비감염 과수의 Blue Band (457 nm) 영상의 히스토그램 분석 결과를 Fig. 8에 나타내었다. Fig. 8에 나타낸 바와 같이 배 화상병 감염 과수의 Peak Intensity는 56으로 나타났고, 영상에서 화상병과 정상과수를 분리하기 위해 이치화 휘도값의 범위를 42-65으로 설정하였다. Fig. 9(a)은 화상병 감염부위가 촬영된 Blue Band (457 nm) 원본 영상으로서 상기 이치화 휘도 범위를 42-65으로 설정하여 영상 처리한 결과는 Fig. 9(b)와 같다. Fig. 9에서 보는 바와 같이 화상병 발병 부위가 배 과수원 바닥의 음영부분이 함께 검출되는 것으로 나타났고, 이것은 전술한 바와 같이 이치화 휘도값 범위안에 정상과수에 대한 빈도 값이 높게 나타났기 때문으로 판단된다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F8.png

Fig. 8. Blue Band (457 nm) histogram

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F9.png

Fig. 9. Blue Band (457nm) image processing results using histogram

Red-Edge Band (717 nm) 영상 히스토그램 분석

Fig. 10은 천안 입장면에서 취득한 배 화상병 감염과수와 비감염 과수의 Red-Edge Band (717 nm) 영상에 대한 히스토그램을 분석한 것이다. Fig. 10에서 보는 바와 같이 배 화상병 감염 과수의 Peak Intensity는 66이었고, 영상에서 화상병과 정상과수 이치화를 위한 휘도값의 범위를 58-73으로 설정하여 분석하였다. 그 결과, Fig. 11에 나타낸 바와 같이 화상병 발병 부위가 검출되는 것을 알 수 있으나 그와 더불어 배 과수원 바닥의 음영부분이 함께 검출되는 것으로 나타났다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F10.png

Fig. 10. Red-Edge Band(717 nm) histogram

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F11.png

Fig. 11. Red-Edge Band (717 nm) Image Processing Results Using Histogram

NIR Band (840 nm) 영상 히스토그램 분석

Fig. 12에 배 화상병 감염과수와 비감염 과수의 NIR Band (840 nm) 히스토그램을 분석하여 나타내었다. Fig. 12에서 보는 바와 같이 배 화상병 감염 과수의 Peak Intensity는 76으로 나타났고, 화상병 감염 영상에서 화상병과 정상과수를 분리하기 위해 휘도값의 범위를 68-82로 설정하여 이치화 하였다. Fig. 13(a)은 화상병 감염부위가 촬영된 NIR Band (840 nm) 원본 영상으로서 상기 이치화 휘도 범위를 68-82으로 설정하여 영상 처리한 결과는 Fig. 13(b)와 같다. Fig. 13에서 보는 바와 같이 화상병 발병 부위가 명확하게 검출되는 것을 알 수 있으나 영상의 일부 부분에서 과수원 바닥의 음영부분이 함께 검출되는 것으로 나타났다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F12.png

Fig. 12. NIR Band(840 nm) histogram

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F13.png

Fig. 13. NIR Band(840 nm) image processing results using histogram

NIR Band (840 nm) 영상 히스토그램을 이용한 분석

Fig. 14(a)는 천안 입장면에서 취득한 NIR Band (840 nm) 스틸영상을 위치와 고도 정보를 이용하여 전체 포장으로 투영한 정사영상을 나타낸 것이다. Fig. 14(a)에서 보는 바와 같이 배 과수원의 중앙부위에 화상병 발병과수가 5지점 예찰되었다. Fig. 14(b)는 전술한 멀티스펙트럴 파장대별 히스토그림 분석결과 화상병 감염부위 검출이 가장 양호했던 NIR Band (840 nm) 히스토그램 분석 결과를 정사영상에 적용한 결과를 나타낸 것이다. Fig. 14(b)에서 보는 바와 같이 배 과수원 중앙부위에 5곳 중 2곳의 위치가 일치하는 것으로 나타났으나 배 과수원의 다른 위치에서도 화상병 발병과 유사한 경향의 결과를 도출하는 것으로 나타났다. 이것은 전술한 바와 같이 NIR Band (840 nm) 히스토그램 분석에서 휘도값의 범위 68-82안에 정상과수의 빈도값이 존재하기 때문으로 판단된다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_19-003_image/Figure_PASTJ_19-003_F14.png

Fig. 14. NIR Band(840 nm) Image Processing Results Using Histogram

Conclusion

본 연구는 화상병은 Erwinia amylovora 병원균에 의해 배, 사과 등 장미과 식물을 기주로 삼아 발병하는 세균성 병해의 일종으로서 막대한 경제적 손실을 발생시키고 있는 화상병의 신속한 예찰 기술 개발을 위한 기초 연구로서 수행되었다. Red, Green, Blue, Red-Edge 및 NIR 센서를 사용하여 감염과수의 분광특성을 분석한 결과, NIR센서에서 화상병 검출이 가능한 것을 알 수 있었다. 그러나 고도 15 m 에서 촬영한 스틸영상은 영상에서는 검출이 어려웠는데 이는 공간분해능이 1.04 cm/pixel으로 매우 낮아 정사영상으로 변환할 경우 화상병 발병부위가 정사영상에 투영되지 못했기 때문으로 판단된다. 따라서 향후 화상병 발병부위의 명확한 검출을 위해서는 해상도가 높은 센서 또는 자율비행고도를 조절하여 높은 공간분해능으로 촬영한 영상을 이용하여 분석할 필요가 있다고 판단된다.

Acknowledgements

본 연구는 농촌진흥청 공동연구사업(과제번호: PJ012776)의 지원에 의해 수행되었음

References

1  김태균 , 조재환 . (2007). [ 한미 FTA 시리즈 4] 한미 FTA 를 해부한다 (4). 시선집중 GSnJ, (38), 1-16.  

2  이영기 , 명인식 , 최효원 , 심홍식 , (2015), 우리나라 과수 화상병의 발생양상 , 한국농약과학회 학술발표대회 논문집 , 189-189.  

3  황해성 , 권헌중 , 강삼석 , 박교선 , 정경호 , 조광식 , 김성철 , 고상욱 , (2012), FTA 대응 한국 과수 연구 방향 . 한국원예학회 학술발표지 , 41-41.  

4  Kim MS, Yun SC. 2018. MARYBLYT Study for Potential Spread and Prediction of Future Infection Risk of Fire Blight on Blossom of Singo Pear in Korea. Research in Plant Disease . 24 (3):182-192. [in​ Korean]  

5  Jeong US, Kim SS, Kim TH, Seo ST. 2018. Sharing Loss Compensation between the Owner and the Lessee Caused by Disease Control Order for Fire Blight in Fruit., 45 (2), 291-314. .[in ​Korean]