Introduction
국내 전체 농업 중 논농업 기계화 비율은 지난 30년간 매년 평균 2% 수준으로 증가하여 2019년에는 98.4%로 나타났으며, 경운 ∙ 정지에서 수확까지 작업이 확대되었다. 또한, 국내 농기계시장은 최근 5년간 연 평균 9,525억 원 규모로 2%의 성장세를 유지하고 있으며, 특히, 대표 농업 기계인 트랙터의 경우 4900억 원으로 2018년에 비해 2019년에는 6.3% 증가한 것으로 나타났다(Choi and Hong, 2019). 하지만 높은 수준의 논농업 기계화와 농기계시장 비율의 증가에 비해 밭농업의 기계화율은 2019년 60.2%에 머무르고 있다. 이러한 문제의 요인으로 밭작물 재배는 동일한 국가 내에서 지역 환경에 따라 다양한 종류의 작물 재배와 같은 작물을 재배하더라도 작업환경, 경사도, 재배 방식 등의 차이가 있다. 또한 농업기계 기술은 작물에 따라 다양한 모델의 개발이 요구되며, 이는 제조사뿐만 아니라 농업생산에서도 비효율적이다. 이는 트랙터 지상고와 작업기의 높이의 가변 조절 기능 개발을 통해 해결 가능하며, 이와 관련하여 농용 트랙터에 접촉식 지상고 측정 센서 개발 및 경작 깊이 제어시스템 성능평가(Lee et al., 2008), 농용트랙터의 지상고 자동 조절을 위해 유압실린더를 이용한 지상고 제어 (Lee et al., 2017) 등이 진행되었다. 또한 트랙터 자동제어를 위해서는 지상고 높이 제어뿐만 아니라 작업기의 제어와 작물 높이의 측정이 필요하며, 이는 다양한 영상 장치를 통해 가능하다. 영상장치 중 스테레오 카메라는 2개의 카메라를 이용하여 영상정보를 취득하는 방식으로 피사체까지의 거리 등 3D 정보의 계산이 가능한 장점이 있어(Han et al., 2011; Jiang et al., 2008; Kise and Zhang, 2008), 다양한 분야에서 객체 검출 및 높이 등 표현형에 대한 정보 분석 관련 연구에 많이 활용되고 있다(Cho and Hong, 2010).
따라서 본 연구는 밭작물의 높이에 따른 트랙터 지상고와 작업기 자동제어를 목적으로 실시되었다. 스테레오 비전 기반의 작물 인식 시스템을 개발을 개발하였으며, 트랙터에 장착한 후 다양한 작물 조건에 따른 인식 성능을 평가하였다.
Material and Method
스테레오 영상 수집
스테레오 카메라(stereo camera)는 두 카메라의 양안 시차(disparity)를 이용하여 피사체까지의 거리, 피사체의 높이 등의 측정이 가능하다. 양안 시차는 두개의 카메라로 획득한 기준 영상과 목표 영상에서 동일하게 나타난 한 점의 위치 차이로 Fig. 1과 같으며, 우측 영상을 기준 영상으로 생각한다면 좌측 영상에서의 동일한 점은 우측 영상에서의 점보다 우측에 위치한다. 이와 같이 본 연구에서는 두 개의 카메라를 설치 및 피사체를 촬영하여 동시에 2장의 화상을 획득한 후 시차 값들을 이용하여 시차 영상을 구하였으며, 흑백 영상으로 표현하였다.
좌표계 변환
스테레오 카메라로 시차 영상을 작성하고 좌표계 변환을 이용하여 영상 좌표계 영상을 월드 좌표계로 변환하여 카메라의 거리, 작물의 높이를 평가한다. 본 논문에서는 변환 행렬을 직접 구하는 방법인 좌표계 변환 방법을 사용하였다. 좌표계 변환 방법이란 선형변환 행렬 T가 있을 때, 각각의 좌표축 단위벡터들이 변환 T에 의하여 어디로 가는지 알 수 있다면 T를 구할 수 있다. 예로, T에 의해 X축 단위 벡터 (1, 0, 0)가 (a1, a2, a3)로 가고, Y축 단위 벡터 (0, 1, 0)가 (b1, b2, b3), Z축 단위 벡터 (0, 0, 1)가 (c1, c2, c3)가 된다면 변환 행렬 T는 식(1)과 같다. 식(2)을 이용하여 X축을 Xc, Y축을 Yc, Z축을 Zc로 보내는 변환 행렬 R을 구하면, Fig. 2를 참조하여 각각의 단위 벡터가 어디로 이동해야 하는지를 알 수 있다. 단위 벡터가 이동하였을 경우 변환 행렬은 식(3)과 같다.
(1)
(2)
(3)
작물 높이 인식 방법
작물의 높이는 스테레오 카메라로부터 수집된 2개의 영상을 이용하여 시차 맵을 작성한 뒤 시차 맵에서 작물의 테두리 검출(edge detection), 좌표 변환을 통한 높이 계산 순서로 진행하였다. 테두리 검출 방식은 시차 맵을 이용하여 계산된 거리 정보를 기준으로 배경과의 경계면을 검출하였다. 일정 임계값보다 높은 값을 통과시킨 후 주변 픽셀과의 불연속점을 이용하여 배경과 피사체 간의 윤곽선을 Fig. 3과 같이 검출하였다. 이렇게 분할된 피사체를 기준으로 검출된 영역의 좌표계 변환을 통해 작물의 실제 높이를 계산하였으며 Fig. 4와 같다.
실험 방법
본 연구를 위해 사용된 트랙터(TM52, TYM, Korea)는 Table 1와 같이 52 kW급으로 3,350 × 1,720 × 2,530 크기를 가지며, 스테레오 카메라(MT9V024, On Semiconductor, USA)는 Table 2와 같이 무게는 80g이며 크기는 100(L) × 30(H) × 35(D) mm3이다. 스테레오 카메라는 작물의 높이를 측정하고 카메라의 흔들림을 최소화할 수 있는 트랙터 전방의 낮은 위치인 전방 웨이트(front weight)에 설치하였다. 또한, 브라켓(bracket)을 제작하여 설치한 후 전방 웨이트와의 충돌을 피하기 위해 카메라의 높이 조절과 정확한 작물높이 측정을 위해서 카메라의 각도를 정면을 향하도록 Fig. 5와 같이 장착하였다. 실험은 청양 필드에서 밭작물(배추, 감자, 깨, 무, 콩)을 대상으로 트랙터는 본 시스템을 적용하기 위한 플랫폼으로써 장착만 하였으며, 성능 평가는 정지 상태의 트랙터에서 작물의 높이 측정을 실시하였으며, 각 작물에 대해서 측정 거리 2 m, 카메라 측정 높이 5수준(420, 440, 460, 480, 500 mm)의 조건에서 3회 반복 측정하여 시험을 진행하였다. 작물 높이 측정 정확도는 작물별 최고 높이를 5번 측정한 값들의 평균값을 실측값으로 설정 후 측정 거리와 카메라 측정 높이 수준에 따른 작물 측정 높이의 오차를 통해 측정하였으며, 각각의 실험의 정확도의 평균값으로 나타내었다.
Results and Discussion
작물별 높이 평가 결과
Fig. 6 ~ 10과 같이 각 작물에 대해서 카메라 높이에 따라 성능을 시험하였으며, 오차를 분석한 결과는 Table 3와 같다. 결과를 보면 카메라의 높이에 따라 작물별 최대 오차는 콩이 3.99 mm, 최소 오차는 배추가 0.08 mm로 나타났으며,
오차가 존재하지만 값들의 차이가 크지 않은 것을 볼 수 있다. 콩의 경우 작물의 특성상 잎의 분포가 균일하지 않아 시차 영상이 실제 작물의 크기를 정확하게 반영하지 못하며, 작물의 크기가 실제 작물보다 크게 측정되었다. 감자, 무, 깨, 배추의 경우 작물의 잎의 분포가 비교적 균일하여 실제와 시차 영상을 이용한 측정에 큰 차이가 없었다. 특히 배추의 경우 작물의 특성상 작물의 간격이 규칙적이고 잎의 분포가 고르기 때문에 시차 영상을 이용한 측정에 있어 보다 정확한 결과가 나타났다.
높이 평가 성능 분석
측정 거리 2 m, 카메라 측정 높이 5수준 데이터 측정 결과, 오차율은 5% 미만으로 나타났으며, 각각의 작물에서 Fig. 11과 같이 5수준의 촬영 높이에서 배추가 가장 작은 1.4%의 오차율을 보이고 콩이 가장 큰 4.7%의 오차율을 보였다. 콩의 경우 작물들이 생장하는 위치가 균일하지 않아 측정값에 있어서 상대적으로 큰 오차율을 보인다. 특히 배추는 비교적 작물의 높이가 비교적 균일하고 작물의 잎의 밀집도가 높아 오차율이 낮고 스테레오 카메라를 이용한 작물 높이 인식에 좋은 결과를 보였다.
Conclusion
본 연구에서는 밭작물에 따른 트랙터 지상고를 포함한 작업기의 자동제어를 목적으로, 영상 기반 실시간 작물 인식 시스템을 개발하였다. 스테레오 비전 기반의 작물 인식 시스템을 개발하여 실시간 영상 내 작물 영역 검출 및 높이를 평가하였으며, 주요 결과는 다음과 같다. 스테레오 영상 기반의 작물 인식 및 높이를 평가할 수 있는 시스템을 개발하였으며, 실제 트랙터에 장착하여 성능을 평가하였다. 배추, 감자, 깨, 무, 콩 5개 작물에 대해 영상을 수집하였으며, 스테레오 카메라로 촬영된 영상의 시차 영상을 작성하고 좌표계 변환을 이용하여 월드 좌표계 영상을 카메라 좌표계로 변환하여 카메라의 거리, 작물의 높이를 평가하였다. 성능 평가는 측정 거리 2 m, 측정 높이 5수준에 대해 실시하였으며, 각각의 작물의 평가된 높이와 실제 높이와의 오차를 계산하였다. 대부분의 작물에서 오차는 5% 미만으로 나타나 실시간 높이 평가가 가능하였으며, 배추의 경우 오차가 1.4%로 5가지 작물 중 가장 높은 성능을 나타났다. 영상 처리를 이용해서 작물 높이를 측정한 이전의 연구(Lee et al., 2004)의 오차는 6.3%로 나타났으며, 이전의 연구와 비교해서 본 연구는 높은 성능을 보였다. 본 연구에서 개발된 작물의 실시간 높이 평가가 가능한 작물 높이 평가 시스템을 통해 향후 트랙터 제품 적용을 위해서는 다양한 환경에서 수집된 데이터를 통해 영상 노이즈 제거 및 영역 인식 알고리즘의 최적화가 필요할 것으로 판단되었다.
