Distinguishing Growth Inhibition and Developing of Model for Predicting Growth by Salinity Stress in Soybean (Glycine Max(L.) Merr.) using Unmanned Aerial Vehicle-based Spectral Imagery

RESEARCH ARTICLE
Si-Hyeong Jang1Chan-Seok Ryu1*Ye-Seong Kang1Jun-Woo Park1Tae-yang Kim1Kyeong-Suk Kang1

Abstract

This study was conducted to distinguish the growth inhibition caused by salinity stress in soybeans in reclaimed land and to predict the growth using hyperspectral and multispectral imagery. When classified into normal growth and growth inhibition groups using each growth (fresh weight, height and leaf area), hyperspectral and multispectral data of soybean by k-means, it is matched with 100% in hyperspectral and 90% in multispectral based on classification result (reference) by using growth data. Considering development of a multispectral sensor for predicting the growth of soybeans, the hyperspectral data of full width at half maximum (FWHM) 5 nm were merged to FWHM 10, 25 and 50 nm based on commercially available band pass filters, and PLSR models for each FWHM were developed. The model’s performances were evaluated by coefficient of determination (R2), root mean squares error (RMSE) and relative error (RE). As a result, the performances were R2≥0.72 and RE≤30.9% regardless of FWHM in the models for predicting each growth data (fresh weight, height and leaf area). It presents the possibility of developing a general-purpose multispectral sensor for predicting the growth of not only soybean but also various crops. When a commercially available multispectral sensor was used, its performance did not deviate significantly from the hyperspectral result. Therefore, it presents that the sensor can also be used to predict growth. The results of this study will contribute to stabilizing the cultivation of crops threatened by salinity stress.

Keyword



Introduction

국내 전체 면적의 약 70%는 산지로 되어있으며 나머지 30%의 토지는 도시 개발로 인해 경지면적이 부족한 상황이다. 이에 대응해서 안정적인 식량 수급과 식량 자급률을 증대를 위해 2020년 말까지 전체 경지면적 (약 168만ha) 중 약 13%에 해당하는 면적 (13만ha)의 대규모 간척지 농업 조성계획이 진행하고 있다 (KERI., 2012). 간척지 농업 초기 1970년대에는 쌀 수량 확보를 위해서 벼농사 위주로 개발되었으나 2000년대 이후 생활패턴이 변화하면서 1인당 쌀 소비량이 급격히 감소하면서 쌀 과잉공급 문제가 일어나고 있다 (Park et al., 2009). 최근 쌀의 자급률을 조정하고 타 작물들의 자급률을 높이기 위해 간척지에서는 논을 타곡물 및 밭작물 경지로 전환하기 위한 정책을 펼치고 있다. 그러나 높은 염농도의 간척지에서는 작물 재배 시 삼투압 작용으로 인해 수분과 영양분을 정상적으로 흡수하지 못해 (Bresler et al., 1982) 결국 생육 장해로 인해 수확량 감소와 품질 저하가 발생할 가능성이 높다 (Lee et al., 2000). 그렇기 때문에 적절한 제염 기술과 함께 간척지와 같은 광범위한 면적의 작물 생육상태를 빠르게 관찰하여 안정적인 재배 관리를 도울 수 있는 기술 적용은 필수적이다.

무인기와 분광 영상 센서를 적용한 원격탐사 기술은 광범위한 면적의 작물 생육상태를 원하는 시기에 비파괴적으로 관찰할 수 있게 한다 (Mahesh et al., 2015). 낮은 고도에서 비행하는 무인기는 소형화된 영상 센서와 함께 장시간 안정적인 비행과 함께 고해상도 영상 취득이 가능하며 (Stehr, 2015), 그 영상에 포함된 visible, near-infrared (NIR) 및 thermal-infrared (TIF) 영역의 데이터들이 작물의 생육 상태를 관찰할 수 있게 한다. 이 기술을 이용하여 무인기에 다중분광 센서를 탑재하여 벼와 콩의 작황을 예측하는 것과 (Kang et al., 2016; Lee et al., 2019), 초분광 영상 데이터에 머신 러닝 기법을 적용해 봄감자의 염해를 판별하는 연구가 진행되어 왔다 (Kang et al., 2019).

본 논문에서는 무인기에 탑재된 초분광 및 다중분광 영상을 이용하여 여러 제염 기술이 투입된 간척지 콩 (Glycine Max(L.) Merr.)의 염 스트레스에 의한 생육 장해를 판별하고 그 생육을 예측할 수 있는 모델을 개발하였다. Full width at half maximum (FWHM) 5 nm의 초분광 영상 데이터는 상용화 되어있는 band pass filter (BPF) 기준으로 FWHM 10, 25 및 50 nm로 각각 평준화한 후 다변량 회귀분석법인 partial least squares regression (PLSR) 분석하여 생육 (생체중, 초장 및 엽면적) 예측모델을 개발하고 다중분광 센서 개발 가능성을 검토하였다. 기존의 상용화 되어있는 다중분광 영상 데이터는 식생지수를 이용한 simple linear regression (SLR) 분석을 통해 생육 모델을 개발하고 초분광 결과와 비교하여 기존 센서의 활용 가능성을 검토하였다.

Materials and Methods

실험 설계

본 실험은 Fig. 1에 나타낸 것처럼 전라북도 김제시 광활면에 위치한 새만금 간척지 내 콩 재배 실험 포장 (35°49'38.2"N 126°41'17.6"E)에서 수행하였다. 실험 포장은 간척지 밭 토양 아래에 암거 배수 시설 종류에 따라 관행암거, 무굴착, 무굴착석고, 무굴착석고 지하수위와 암거 배수 시설이 설치되지 않은 대조구로 총 5개 필지로 구성하였다. 실험에 사용된 콩의 품종은 대풍이며 재식밀도는 0.8×0.2 m로 2019년 6월 25일에 파종하였다. 분광 영상 및 샘플링은 V5시기인 2019년 7월 31일에 실시하였으며 그림자와 같이 반사값에 부정적인 영향을 미치는 왜란을 최소화하기 위해 정오에 분광 영상을 취득하였으며 필지당 3주씩 4반복하여 총 20개 샘플을 채취하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Figure_PASTJ_20-049_F1.png

Fig. 1.Location in Study Field.

분광 영상 취득 및 처리

무인기 하단부에 초분광 및 다중분광 센서를 탑재하여 콩 분광 영상을 취득하였다. 다중분광 센서는 초점거리는 8 mm, 크기는 8.2×6.7×6.45 cm, 무게는 약 420 g이며 파장 영역은 Blue (475±20 nm), Green (560±20 nm), Red (668±14 nm), Red edge (717±12 nm), NIR(840±57 nm) 그리고 원적외선 (8-14 ㎛) 총 6개로 구성되어 있는 Altum (Micasense Inc., USA)을 이용하였다. 초분광 센서는 초점거리 16 mm, 크기는 8.2×6.7×6.45 cm, 무게는 680 g이며 파장 범위는 400-1,000 nm, 총 155개의 파장 영역으로 구성된 line scan방식의 MicroHSI 410 SHARK (Corning Inc., USA)를 이용하였다. 무인기는 회전익으로 크기는 88.3×88.6×39.8 cm, 최대 탑재 하중은 1.45kg인 Matrice 200 v2 (DJI Technology Co. Ltd., China)를 이용하였다.

무인기 자동 비행 소프트웨어는 안드로이드 기반 어플리케이션인 DJI Pilot (DJI Technology Co. Ltd., China)을 이용하였으며 센서마다 공간해상도 사양이 다르기 때문에 3.5 cm/pixel의 영상을 취득할 수 있는 고도로 비행하였다. 취득된 여러 다중분광 영상과 line별 초분광 영상은 각각 무인기 맵핑 소프트웨어 Pix4d mapper pro (Pix4d S.A., Switzerland)와 ENVI 5.3 (Exelis Visuall Information Solution Inc., USA)를 이용하여 자이로 및 기하 보정과 함께 정사 영상을 생성하였다.

정사 영상 내 식생 영역의 분광데이터를 추출하기 위해 영상처리 소프트웨어 ENVI 5.3를 이용하였다. 식생 영역을 강조하기 위해 equation 1을 이용하여 식생 지수 NDVI (Normalized difference vegetation index) 영상으로 변환 후 threshold하여 콩 캐노피 영역의 반사값을 추출하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/EQ_PASTJ_20-049_eq1.png (1)

염 스트레스에 의한 생육 장해 판별 및 생육 예측 모델 개발

먼저 염 스트레스에 의한 생육 장해와 정상 생육 그룹으로 나누기 위해 제염 시설별 콩 생육 데이터인 생체중, 초장, 엽면적으로 비지도 분류법인 K-means를 이용하였다. 비파괴적으로 염 스트레스에 의한 생육 장해 판별 가능성을 확인하기 위해 초분광 및 다중분광 영상에서 추출된 반사값으로 동일하게 K-means 분석하여 생육 장해 및 정상 생육 그룹으로 나눈 후 생육 데이터에서 나뉜 그룹과의 일치도를 검증하였다. 검증된 각 그룹 샘플들의 분광값을 spectral angle mapper법으로 염 스트레스에 의한 생육 장해 판별 지도를 작성하였다.

염 스트레스에 의한 콩 생체중, 초장 및 엽면적을 예측하기 위해 다중분광 및 초분광 반사값을 이용하여 선형 회귀 모델을 개발하였다. 많은 파장 (독립변수)의 반사값을 포함한 초분광은 calibration 모델과 leave-one-out (LOO)법을 이용한 validation 모델을 생성하는 다변량 회귀분석 중 하나인 PLSR법을 이용하였다. 그러나 초분광 센서는 다중분광 센서에 비해 영상 취득 과정이 복잡하고 광량 및 지형과 같은 환경 조건 변화에 민감하게 반응하며 비교적 높은 가격을 형성하고 있어 상용화에 불리하다 (Xiang & Tian, 2011). 그렇기 때문에 상용화된 다중분광 센서의 BPF 기준 10, 25 및 50 nm FWHM으로 각각 평준화한 후 회귀모델을 개발하고 그 성능을 검증하여 다중분광 센서로의 개발 가능성을 확인하였다. 적은 파장의 다중분광은 equation 1을 이용하여 NIR과 green 파장으로 산출된 green NDVI (GNDVI)와 함께 SLR 분석하여 콩 생육 예측모델을 개발 후 초분광 결과와 비교하여 상용화되어 있는 센서의 활용 가능성을 확인하였다. 그 예측모델들은 coefficient of determination (R2), root mean square error (RMSE) 및 relative error (RE)로 성능을 평가하였다.

Results and Discussion

염 스트레스에 의한 생육 장해 판별

Table 1에 제염 시설별 콩 생육 (생체중, 초장 및 엽면적), 초분광 및 다중분광 데이터를 각각 K-means로 정상 생육과 염 스트레스로 인한 생육 장해 그룹으로 분류한 결과를 나타내었다. 콩 생육 데이터를 이용한 분류 결과, 대체로 대조구와 관행 암거 및 무굴착 암거 시설에서는 염 스트레스로 인한 생육 장해 그룹으로 분류되었고 무굴착 석고와 무굴착 석고 지하수위 제염 시설에서는 정상 생육 그룹으로 분류되었다. 초분광 영상 데이터를 이용한 분류 결과에서는 생육 데이터 결과와 100% 일치하였지만 다중분광 영상 데이터는 90% 일치하는 생육 장해 유무 판별 성능을 보였다. 그 원인은 다중분광 영상 데이터에 비해 초분광은 많은 파장의 변수를 포함하고 있어 생육 장해를 판별하기에 더 유의한 변수를 포함하고 있을 확률이 높기 때문이다 (Kang et al., 2018).

Table 1. Matching rate between classification results of each hyperspectral, multispectral data based on them by growth data using k-means. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Table_PASTJ_20-049_T1.png

CC: Circular culvert

NEC: No excavation culvert

UGUC: Unexcavated gypsum underground culvert

UGC: Unexcavated gypsum culvert

N: Number

G: Growth

H: Hyperspectral

M: Multispectral

O : Growth inhibition group by salinity stress

X : Normal growth group

Ref: Reference

정상 생육과 염 스트레스로 인한 생육 장해 그룹으로 나뉜 콩 캐노피 반사값을 초분광 및 다중분광 영상에 기초해 SAM 분석한 염 스트레스 판별 지도를 각각 Fig. 2 (a)와 (b)에 나타내었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Figure_PASTJ_20-049_F2.png

Fig. 2.Maps distinguished into normal growth (cyan) and growth inhibition (red) groups using hyperspectral (a) and multispectral (d) imagery.

Fig. 3에서 정상 생육 그룹과 염 스트레스로 인한 생육 장해 그룹의 초분광 및 다중분광 반사 곡선 그래프를 비교하였을 때 둘 모두 visible영역의 반사값에서는 큰 차이를 보이지 않았으나 red edge (700 nm) 이후 영역의 반사값에서 차이를 보였다. 이 결과는 red edge와 NIR영역에서 생육 장해를 판별을 위한 유의 변수를 포함하고 있다는 것을 보여준다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Figure_PASTJ_20-049_F3.png

Fig. 3.Curves of hyperspectral (a) and multispectral (b) reflectance distinguished into normal growth and growth inhibition groups.

생육 예측 모델

Table 2에 초분광 반사값을 각 FWHM으로 평준화하여 콩의 생체중을 예측하기 위한 PLSR모델을 나타내었다. 콩의 생체중 calibration 모델 성능은 모든 FWHM에서 latent variables (LVs) 3개로 R2≥0.82, RMSE≤0.74 kg/m²와 RE≤24.8%였으며 validation 모델 성능은 모든 FWHM에서 R2≥0.73, RMSE≤0.92 kg/m²와 RE≤30.9%로 나타났다.

Table 2. PLSR model for predicting fresh weight by hyperspectral reflectance for each FWHM of soybean canopies. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Table_PASTJ_20-049_T2.png

uFull width at half maximum

vNumber of the samples

wStandard deviation

xLatent variables

yRoot mean squares error

zRelative error

각 FWHM의 초분광 반사값을 이용해 콩의 초장과 엽면적을 예측하기 위한 PLSR모델을 각각 Tables 3와 4에 나타내었다. Calibration과 validation 모델의 콩의 초장 예측결과에서는 모든 FWHM에서 LVs 2개로 R2≥0.80, RMSE≤3.88 cm와 RE≤8.26%로 나타났으며, 콩의 엽면적에서는 모든 FWHM에서 마찬가지로 LVs 2개로 R2≥0.72, RMSE≤423 cm²와 RE≤28.6%로 나타났다. 이 모든 생육 예측을 위한 모델에서 적은 LVs와 calibration과 validation 모델 사이에 성능 차이가 크지 않은 것으로 보아 다변량 데이터의 문제점인 overfitting은 일어나지 않은 것으로 판단된다. 또한 FWHM에 상관없이 동일한 예측 성능을 보여 낮은 가격의 BPF를 활용할 수 있는 것뿐만 아니라 추후 다양한 작물의 생육을 예측하기 위한 범용적인 다중분광 센서 개발에도 유리할 것으로 보인다.

Table 3. PLSR model for predicting fresh weight by hyperspectral reflectance for each FWHM of soybean canopies. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Table_PASTJ_20-049_T3.png

uFull width at half maximum

vNumber of the samples

wStandard deviation

xLatent variables

yRoot mean squares error

zRelative error

Table 2. PLSR model for predicting fresh weight by hyperspectral reflectance for each FWHM of soybean canopies. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Table_PASTJ_20-049_T4.png

uFull width at half maximum

vNumber of the samples

wStandard deviation

xLatent variables

yRoot mean squares error

zRelative error

Fig. 4는 다중분광에서 콩의 생육 예측에 유리했던 NIR과 Green파장으로 산출된 식생지수 GNDVI를 이용하여 콩의 생체중, 초장 및 엽면적을 예측하기 SLR모델을 보여준다 (Kang et al., 2016). 생체중과 엽면적 예측모델에서는 각각 R2=0.78, RMSE=0.88kg/m², RE=29.5%와 R2=0.77, RMSE=409cm², RE=27.8%로 나타나 Table 2와 4에 초분광 calibration과 validation 모델 사이의 성능을 나타내었다. 초장 예측모델에서는 Table 3에 초분광 모델들보다 성능이 다소 낮아졌지만 R2=0.75, RMSE=4.67cm와 RE=9.85%의 성능을 보였다. 결과적으로 기존에 상용화된 다중분광 센서를 이용하여도 염 스트레스에 의해 생육 장해를 입은 콩의 생육을 예측하는 것이 가능할 것으로 보인다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-049_image/Figure_PASTJ_20-049_F4.png

Fig. 4.SLR model for predicting fresh weight (a), height (b) and leaf area (c) with GNDVI calculated by multispectral reflectance.

Conclusion

본 연구는 무인기에 탑재된 초분광 및 다중분광 센서를 이용하여 간척지의 콩 염 스트레스에 의한 생육 장해 유무를 판별하고 피해 정도를 예측하기 위해 수행되었다. K-means를 이용하여 콩의 생육 데이터 (생체중, 초장, 엽면적)를 이용해 정상 생육과 생육 장해 그룹으로 나누었다. 마찬가지로 K-means로 초분광 및 다중분광 반사값을 이용해 각각 분류한 결과, 초분광은 생육 장해 유무를 100% 판별하였으나 다중분광은 90%의 판별 성능을 보였다.

각 FWHM별 초분광 데이터를 이용하여 콩 생체중, 초장 및 엽면적을 예측하기 위한 PLSR 예측 모델 결과, FWHM에 상관없이 R2≥0.72와 RE≤30.9%의 성능을 보였으며, 기존 상용화된 다중분광 데이터를 이용하여 SLR분석한 모델 결과에서도 R2≥0.75와 RE≤29.5%의 성능으로 활용이 가능한 것으로 판단되었다. 이 연구를 시점으로 염 스트레스로에 의한 콩과 타작물들의 시계열별 생육 변화에 따른 분광 데이터 수집과 함께 염 스트레스로 위협받는 간척지 작물들의 재배 안정성을 확보하기 위한 범용적인 다중분광 센서 개발로 나아갈 필요가 있다.

Acknowledgement

본 연구는 농촌진흥청 연구사업 (세부과제명: 영상기법 활용 간척지 작물 염해 예측 기술 개발, 세부과제번호: PJ013884042020)의 지원에 의해 이루어진 것임.

References

1  Bresler E, McNeal BL Carter DL. (1982). Saline and sodic soils. Spring – Verlag Berlin Heidelberg New York, 167-171. 

2  Kang, Y. S., Kim, S. H., Kang, J. G., Hong, Y. K., Sarkar, T. K., Ryu, C. S. (2016). Estimation of leaf dry mass and nitrogen content for soybean using multi-spectral camera mounted on unmanned aerial vehicle. Journal of Agriculture & Life Science, 50(6), 183-190. 

3  Kang, Y. S., Ryu, C. S., Kim, S. H., Jun, S. R., Jang, S. H., Park, J. W., Song, H.Y., (2018). Yield prediction of chinese cabbage (Brassicaceae) using broadband multispectral imagery mounted unmanned aerial system in the air and narrowband hyperspectral Imagery on the Ground. Journal of Biosystems Engineering, 43(2), 138-147.  

4  Kang, K.S., Ryu, C.S., Jang, S.H., Kang, Y.S., Jun S.R., Park, J.W., Lee, S.H. (2019). Application of hyperspectral imagery to decision tree classifier for assessment of spring potato (Solanum tuberosum) damage by salinity and drought.Korean Journal of Agricultural and Forest Meteorology, 21(4), 317-326. [in Korean] 

5  Lee S. H., S. H. Yoo, S. I. Seol, Y. An, Y. S. Jung, S. M. Lee. (2000). Assessment of salt damage or upland-crops in dae-ho reclaimed soil.Korean Journal of Environmental Agriculture. 19 (4) 358-363. [in Korean]  

6  Lee, K., An, H., Park, C., So, K., Na, S., & Jang, S. (2019). Estimation of rice grain yield distribution using UAV imagery. Journal of The Korean Society of Agricultural Engineers, 61(4), 1-10. [in Korean] 

7  Mahesh, S., Jayas, D. S., Paliwal, J., & White, N. D. G. (2015). Hyperspectral imaging to classify and monitor quality of agricultural materi als. Journal of Stored Products Research , 61 , 17-26. 

8  Korea Rural Economic Institute(KREI). 2012. A study on the comprehensive planning for agricultural use of reclaimed land. 163 pp. [in Korean] 

9  Park, H. K., Choi, M. G., Park, T. S., Ku, B. I., Kim, Y. D., Ko, J. K., Kim, B. K. (2009). Effect of low nitrogen fertilizer application on growth, yield and quality of rice. The Journal of the Korean Society of International Agriculture , 21 (4), 252-260. [in Korean] 

10  Stehr, N. J. (2015). Drones: The newest technology for precision agriculture. Natural Sciences Education , 44 (1), 89-91.  

11 Xiang, H., & Tian, L. (2011). Development of a low-cost agricultural remote sensing system based on an autonomous unmanned aerial vehicle (UAV).Biosystems engineering , 108 (2), 174-190.