Basic tests of yield monitoring sensors for potato harvesters

Research Article
Bo-Eun Jang1Young-Kyun Jang1Milon Chowdhury1Sun-Ok Chung1*

Abstract

Yield monitoring of potato is cruicial because it could provide total yield and income information instantly. In this study, the potentials sensors were evaluated in a small-sized potato harvester. Mass-based (i.e., load cell) and volume-based (i.e., CCD camera) sensors were selected and tested under laboratory conditions. For mass-based sensing, the potatoes discharged from the transportation part struck the spring loaded plate before they are stored to the collecting bag. Load cell signals by the impact force were calibrated to the mass of the potatoes. Effects of potato dropping height on load cell were investigated for single potato and multiple potatoes. For volume-based sensing, a CCD camera was installed above the transportation part so that the top and side images of the potatoes were captured. Area and volume were obtained from the original images and calibrated to the mass of potatoes. The calibration tests of potato showed linear calibrations with R2 of 0.98 for potatoes dropped from a height of 30 cm for the mass-based and 0.37 for volume-based approaches. This study showed the effectiveness of real-time potato yield monitoring. Further study is necessary to investigate the effects of vibration and harvester inclination on data acquisition during field application.

Keyword



Introduction

수확량 모니터링은 정밀농업 중 하나의 농법으로 정밀농업에 기초가 되는 기술이며, 농민들에게 즉각적인 수확량과 소득정보를 제공한다 (Thomas et al., 1999; Chung et al., 2016). 감자 수확량 측정은 농민들의 주요 관심사이다. 하지만, 최근 곡물 및 기타 여러 작물을 위한 상업적인 수확량 모니터링 시스템이 개발되었지만 소형 감자 밭에 사용할 수 있는 수확량 모니터링 시스템 개발은 미비한 수준이다.

수확량 모니터링 시스템은 주로 질량 또는 체적 유량 센서로 구성된다. 감자 수확량 감지 기술에 대한 많은 연구들이 보고되었으며, 감자 수확량 측정을 위해 질량 유량을 기초로 한 모니터링이 개발되어왔다 (Demmel and Auernhammer, 1999). 감자의 무게를 추정하기 위해 이미지 기반 수확량 모니터링 시스템이 실험실 조건에 따라 테스트되었고 (Persson et al., 2004), 벨트 컨베이어 (Campbell et al., 1994)와 바운스 보드 (Ehlert, 2000)에서 로드 셀이 감자 수확량을 측정하기 위해 사용되었다. Hofstee와 Molema (2002, 2003)는 감자 덩이줄기 각각의 부피를 추정하기 위해 수확기 컨베이어에 머신 비전 시스템을 개발하였으며 Tokunaga 와 Shoji (2006)는 감자 덩이줄기 각각의 무게를 측정하기 위해 충격 기반 센서를 사용하였다.

로드 셀은 다양한 작업조건에 적용할 수 있어 상업용 센서로 작물 수확량 모니터링에 사용된다. 로드 셀로 구성된 충격 기반 수확량 센서는 센서가 받는 임펄스를 통해 양파 알뿌리 각각의 무게를 측정하기 위해 개발되었으며, 임팩트 플레이트가 있는 30 mm 쿠션은 상대적 오차가 2.0% 미만이었다 (Qarallah et al., 2008). Shoji 등은 (2002) 충격 기반 곡물 센서를 개발하였으며, 토마토 수확기를 위한 로드 셀이 장착된 연속 질량 유량형 로드/수확량 모니터 개발 연구도 진행되었다 (Pelletier and Upadhyaya, 1999). 또한, 질량 유량 센서 기반 땅콩 수확량 모니터링 시스템이 개발되었으며, R2 값의 범위는 0.89~0.96으로 수확된 적재 중량과 높은 상관관계를 보였다 (Thomasson et al., 2006). 실험실에서 고정된 고구마의 이미지 기반 수확량 모니터링 시스템이 개발 및 테스트되었으며, 실험에 의해 측정된 고구마 무게는 실제 무게와 높은 상관관계(R2 = 0.96)가 있는 것으로 확인되었다 (Gogineni et al., 2002).

정확한 수확량 추정 및 맵핑을 위해 수확량 모니터링 시스템의 수확량 센서들의 적절한 설치, 교정 및 작동은 매우 중요하며 수확량 센서의 최적 장착 구성의 선택은 다양한 작업 조건에서 기능을 하기 위하여 필수적이다. 따라서, 감자 수확량 모니터링 시스템을 개발하기 위해서는 실험실 조건 하에서 적절한 데이터 수집 하드웨어 및 소프트웨어의 시험이 필요하다.

한국에서 농작물 생산과 스마트 팜의 기계화는 대중적인 트렌드이며, 특히 소규모 농지에 대한 개발이 이루어지고 있다. 감자는 기계화가 필요한 작물 중 하나. 농민들의 필요에 따라 토양에서 감자를 캐내고, 감자에 묻은 토양과 잔존재를 털어내어 자루에 담는 트랙터 부착형 수확기가 개발되고 있다. 수확 작업 중 실시간으로 감자 수확량을 측정하기 위한 수확량 모니터링 센서는 측정, 공간 참조 및 수확량 맵핑에 유용하다.

따라서 본 연구의 목적은 실험실 테스트를 통해 센서들의 기능을 비교함으로써 소규모 감자 수확에 적합한 감자 수확량 모니터링 시스템의 초기 개념을 개발하는 것이다.

Materials and Methods

감자수확량 모니터링 시스템

수확량 모니터링시스템의 주요 구성요소는 질량과 부피 기준으로 구분되며, Fig. 1에서 보여주는 것과 같다. 질량 기반 수확량 모니터링 시스템은 감자의 무게를 결정하기 위해 2개의 로드 셀과 임팩트 플레이트로 구성된다 (OBU-10; Bongshin Loadcell Co., Seongnam, Korea). 충격 흡수를 위해 폴리우레탄소재의 임팩트 플레이트로 구성되었다. 로드 셀은 NI 9949 터미널 커넥터 4채널 모듈(NI 9237, National Instruments, USA) 로 연결되었다. 4채널 데이터 로거를 사용하여 센서 데이터 수집하였으며, 센서 데이터 수집을 위해 LabVIEW (version 2015; National instrument; Austin, Texas, USA) 소프트웨어 프로그램을 이용하였다

체적 기반 수확량 모니터링시스템의 경우, 별도의 케이스와 조명없이 감자의 이미지를 취득하기 위해 1288 × 960 해상도의 CCD카메라(VLG-12M, Baumer, Germany)를 사용하였다. 카메라는 3.75 * 3.75 µm 픽셀 이미지를 RGB 3개 채널로 저장이 가능하다. 실험에 적용된 CCD 카메라의 상세사양은 Table 1과 같다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F1.png

Fig. 1. Test bench of the potato yield monitoring system showing arrangement and locations of the sensors.

Table 1. Specifications of the sensor modules. http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Table_PASTJ_20-014_T1.png

질량 기반 수확량 센싱

로드 셀을 이용한 수확량 측정

로드 셀을 이용한 실험은 수집부 바닥에 로드 셀을 설치하여 로드 셀의 개수 및 위치에 따른 센서 출력 값과 실제 적재 무게를 비교하였다. 감자 하나의 무게는 대략 200 ~ 600 g으로 추정할 수 있으며, 로드 셀 위 2 ~ 3 개의 감자의 하중이 가해질 수 있으므로 정격용량 49.03 N의 로드 셀을 선정하였다. 로드 셀의 단일 출력신호는 NI-USB6009 (National Instrument, Taxes, USA.)를 이용하여 PC에 데이터를 전송 및 변환하여 저장하였고, 측정된 로드 셀의 출력 값과 저울로 측정한 무게를 비교하여 교정식을 계산하였다. 교정식 삽입 후 저울로 측정한 감자의 무게와 센서 측정 무게를 비교하였다. 폴리우레탄 폼 소재의 임팩트 플레이트는 컨베이어의 출구 아래의 수평면에 배치되었다. 플레이트는 10 mm 두께의 폴리우레탄 커버를 부착한 아크릴 플레이트(300 mm × 180 mm × 3 mm)로 계측한 2개의 로드 셀로 구성되었으며, 로드 셀은 임팩트 플레이트로부터 145 mm 간격으로 배치되었다. (Fig. 2). 측정 정확도 및 가격을 고려하여 로드 셀의 위치 및 개수를 변화하며 실험을 진행하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F2.png

Fig. 2. Arrangement of the impact plate and load cells for sensing weight of potatoes.

체적 기반 수확량 센싱

CCD카메라와 이미지 획득

비전 카메라를 이용한 실험은 수직이송부에서 수집부로 떨어지는 위치에 카메라를 설치하여 이송되는 감자의 속도 별 개수를 고려하여 면적을 측정한 뒤 부피를 계산하였다. 계산된 부피를 무게로 교정하여 실제 저울로 측정한 감자의 무게와 비교분석 하였다. Fig. 3은 이미지 기반 데이터 수집 시스템의 주요 구성요소를 보여주고 있다. CCD카메라는 감자의 이미지 영상 획득을 위해 1288 × 960 해상도의 지속적인 스캐닝을 통해 비디오 영상 출력이 가능한 1/3인치 칩으로 구성되었다. 카메라 셔터는 조명조건을 고려하여 50초 간격으로 촬영이 가능하도록 설정하였고, 카메라 렌즈는 잘 노출되도록 위치조정 되었다. 감자의 이미지 획득을 위해 Baumer GAPI 2.6 (GAPI SDK v2.10, Baumer, Germany) 카메라 익스플로러로 PC와 연결하여 사용하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F3.png

Fig. 3. Arrangement of the volume-based yield sensing of potatoes.

실험 및 분석 방법

기초실험은 로드 셀과 비전카메라를 이용하여 비교 분석하였다. 수집부에 로드 셀을 설치하여 로드 셀의 개수, 감자의 측정 높이 별 충격력에 따른 센서 출력 값을 무게로 교정한 뒤 실제 저울로 측정한 감자의 무게를 비교하였다. CCD 카메라를 이용한 실험은 수평 이송부에서 수집부로 떨어지는 위치에 카메라를 설치하여 이송되는 감자의 속도 별 개수를 고려하여 면적을 측정한 뒤 부피를 계산하였다. 계산된 부피를 무게로 교정하여 실제 저울로 측정한 감자의 무게와 비교 및 분석하였다. 실험 요소로 로드 셀의 배열, 감자의 두께, 감자의 낙하높이로 결정하였으며, 감자의 충격을 기반으로 1 kHz 신호를 기록하였다. 15개의 각각 다른 크기의 감자를 이용하여 기본성능 테스트가 진행되었다. 감자의 낙하 높이는 0, 10, 20, 30, 40 cm로 단일 및 다중 감자 상태에 대한 실험을 진행하였다. 교정 중에 결정계수(R2)가 계산되었다. 감자의 형상 추출을 위해 이미지를 획득하고 처리하였으며, 획득한 영상은 화이트 픽셀 수를 계산하기위해 획득영상의 격자영상으로 처리하였고 획득한 감자 이미지에서 총 픽셀 수에 대하여 수치 데이터를 모델화 하기 위한 가장 일반적인 접근법인 선형회귀모델법을 이용하여 무게를 교정하였다.

Results and Discussion

로드 셀을 이용한 수확량 측정 및 교정

각각 다른 높이에서 떨어진 감자로부터 로드 셀을 통해 받은 충격은 개별적인 감자의 무게로 변환된 후, 교정되었다. 0, 10, 20 cm 높이에서 떨어진 감자는 R2 값이 0.97로써 유사한 결과를 보였다. Fig. 4는 다른 높이에서 떨어진 감자의 실제 무게와 교정된 무게 사이의 관계를 보여주고 있다. 로드 셀의 수량에 따른 정밀도 분석을 통해 센서 2개를 이용하여 측정했을 때가 1개를 사용하여 측정하였을 때보다 정밀도가 높다는 것을 알 수 있었다. 센서의 개수가 1개일 때 R2 = 0.89, 2개일 때는 R2 = 0.924로 나타났으며, 로드 셀을 이용한 방법의 경우 센서의 개수가 늘어날수록 정확도가 증가하였다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F4.png

Fig. 4. Sensor output by potato dropping height between the impact plate and the potato at a distance of 0 cm (a), 10 cm (b), 20 cm (c), 30 cm (d), and 40 cm (e).

CCD카메라를 이용한 수확량 측정 및 교정

감자의 무게를 교정하기 위해 그레이 스케일 이미지를 사용하여 격자 영상 이미지 프로세스 분석을 진행하였다. Fig. 5는 획득한 영상의 감자 영역의 픽셀 수를 계산한 것이다. 왼쪽의 영상은 기본 원본 영상의 감자 상태를 나타내고 있으며, 오른쪽은 격자 영상 이미지 분석을 통해서 도출된 영상을 보여주고 있다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F5.png

Fig. 5. Examples showing image processing of each potato: original image (left) and binary image (right).

CCD카메라를 이용하여 각각의 감자의 단면적을 측정하였고, 화이트 픽셀의 양으로부터 중량을 나타내는 함수를 교정하였다. 실제 감자의 무게와 규격의 픽셀 값 분석을 통하여 0.37의 상관계수(R2)가 도출되었고, 관련 방정식은 Fig. 6과 같이 교정된 곡선을 나타낼 수 있다. 여기서 감자 무게 보정을 위하여 선형 회귀 법을 이용하여 분석을 진행하였다.

Y = 0.002X - 38.5 (1)

여기서, X는 픽셀(Pixels), Y는 감자의 실제중량(Actual weight of potatoes)이며, CCD 카메라를 활용하여 이송 속도 별 감자 개수에 대한 부피를 무게로 교정하여 실제 감자 무게와 비교하였을 때, 평균 R2 = 0.95의 결과를 보여주었다.

http://dam.zipot.com:8080/sites/pastj/images/PASTJ_20-014_image/Figure_PASTJ_20-014_F6.png

Fig. 6. Calibration curve for potato yield sensing based on actual weight and pixel-value analysis.

수확량 센서의 성능 비교

가장 적절한 임팩트 플레이트와 CCD카메라 위치를 결정하기 위해 결정 계수(R2) 값을 가진 교정 결과로 성능 비교 분석을 진행하였으며, 교정 시험 결과, 로드 셀과 CCD카메라를 이용하여 감자 수확량 모니터링이 가능하다는 결과를 보여주고 있다.

로드 셀이 받은 충격 하중과 감자의 실제 무게 사이의 로드 셀 교정 시험 결과 선형관계를 보여주었다. 감자를 0, 10, 20 cm에서 떨어뜨려 교정한 결과 R2값이 0.97인 유사한 결과가 나타났으나, 30cm 높이에 있는 로드 셀은 보다 높은 R2값을 가진 선형 보정을 초래하였다.

감자의 R2값이 0.37인 화이트 픽셀 수 와 실제 무게사이의 교정 결과에서 선형 관계를 계산하였다. 이미지 기반 수확량 센싱은 감자의 무게를 측정하는데 사용될 수 있지만, 질량기반 센싱과 비교하면 효과적이지 않다. 하지만, 감자 수확의 진동, 경사, 운행속도 등 현장의 환경에 따라 결과 값이 달라질 수 있다.

Conclusion

정밀농업기술 중 수확량모니터링 기술을 일부 선진국과 개발도상국에서 증가추세에 있다. 감자 수확량 모니터링시스템을 목표로 감자의 수확량 감지를 위한 센서의 적절한 위치와 측정방법을 결정하기 위해 다른 센서와 비교하기 위한 기본성능시험이 수행되었다.

로드 셀이 있는 임팩트 플레이트는 감자의 무게를 결정하기위해 실험조건에 따라 개발하여 테스트가 진행되었다. 임팩트 플레이트의 최적의 위치를 결정하기 위해 컨베이어 출구 쪽에서의 다양한 감자 낙하높이 조건으로 시험을 진행하였다.

각각의 감자 무게를 교정하기 위해 이미지 기반 감자 수확량 모니터링 시스템 시험을 진행하였다. CCD카메라는 감자 이미지를 획득하는데 이용되었고, 이미지 처리기법은 격자영상에서 감자의 픽셀 수를 추정하기 위해 적용하였으며, 감자의 무게를 교정하기위해 선형 회귀법을 사용하였다.

본 연구를 통해 감자 수확량 모니터링을 위한 로드 셀과 CCD카메라 기반 수확량 모니터링 시스템의 가능을 보여주었다. 하지만 수확기 작업 시 발생하는 진동에 의해 정확한 면적 측정이 되지 않는 문제가 발생할 수 있으며, 이러한 문제를 해결하기 위한 카메라의 고정 및 위치, 수량 및 데이터 처리에 대해 고려해야한다. 현장 적용을 위하여 진동 및 수확기 경사의 영향을 조사하기 위해서는 더 많은 연구가 필요할 것이다.

Acknowledgements

본 결과물은 농림축산식품부의 재원으로 농림식품기술기획평가원의 농식품 기술융합 창의인재양성사업의 지원을 받아 연구되었음(320001-4)

References

1  Campbell RH, Rawlins SL, Han SF. 1994. Monitoring methods for potato yield mapping. American Society of Agricultural Engineers. Meeting(USA). 

2  Chung SO, Choi MC, Lee KH, Kim YJ, Hong SJ, Li M. 2016. Sensing technologies for grain crop yield monitoring systems: A review. Journal of Biosystems Engineering 41(4): 408-417. 

3  Demmel M, Auernhammer H. 1999. Local yield measurement in a potato harvester and overall yield patterns in a cereal-potato crop rotation. American Society of Agricultural and Biological Engineers 99:11. 

4  Ehlert D. 2000. Measuring mass flow by bounce plate for yield mapping of potatoes. Precision Agriculture 2(2): 119–130.  

5  Gogineni S, Thomasson JA, Wooten JR, White JG, Thompson PR, Shankle M. 2002. Image-based sweetpotato yield and grade monitor. American Society of Agricultural and Biological Engineers, Paper number: 021169 

6  Hofstee JW, Molema GJ. 2002. Machine vision based yield mapping of potatoes. American Society of Agricultural and Biological Engineers Paper number: 021200. 

7  Hofstee JW, Molema GJ. 2003. Volume estimation of potatoes partly covered with dirt tare. American Society of Agricultural and Biologica Engineers Paper number: 031001. 

8  Lee YJ, Kim KD, Lee HS. 2018. Vision-based Potato Detection and Counting System for Yield Monitoring. Journal of Biosystems Engineering 43(2): 103-109. 

9  Pelletier G, Upadhyaya SK. 1999. Development of a tomato load yield monitor. Computers and Electronics in Agriculture 23:103-117.  

10  Persson DA, Eklundh L, Algerbo PA. 2004. Evaluation of an optical sensor for tuber yield monitoring. Transactions of the American Society of Agricultural Engineers 47(5): 851-1856. 

11  Qarallah B, Shoji K, Kawamura T. 2008. Development of a yield sensor for measuring individual weights of onion bulbs. Biosystems Engineering 100: 511- 515.  

12  Shoji K, Kawamura T, Horio H. 2002. Impact-based grain yield sensor with compensation for vibration and drift. Journal of Japanese Society of Agricultural Machinery 64(5): 108-115. 

13  Thomas DL, Perry CD, Vellidis G, Durrence JS, Kutz LJ, Kvien CK, Boydell B, Hamrita TK. 1999. Development and implementation of a load cell yield monitor for peanut. Applied Engineering in Agriculture 15(3): 211-216. 

14  Thomasson JA, Sui R, Wright GC, Robson AJ. 2006. Optical peanut yield monitor: development and testing. Applied Engineering in Agriculture 22(6):809-818.  

15  Tokunaga J, Shoji K. 2006. Technology and Intelligent Control for Bioproduction Systems (Bio-Robotics III). pp. 239-243. Sapporo, Japan.