인공지능을 활용한 경관 지각반응 예측모델 개발 가능성 기초연구^† - 머신러닝 기법을 중심으로 -

본 연구는 최근 신재생에너지 사업으로 주목받는 풍력발전시설의 경관을 연구 대상으로 선정했다. 이는 경관 지각반응 예측모델 개발 가능성에 대한 기초연구를 진행함에 있어 데이터의 수집이 용이하고 시설과 경관의 구분이 뚜렷하여 예측 모델의 평가 기준을 적용하고 학습과 예측평가를 통한 연구 진행에 적합하다고 판단했다. 이에 풍력발전에 관련된 이미지 데이터를 수집하여 연구데이터를 구축한다. 이를 위한 연구의 범위는 다음과 같다. 인터넷 검색엔진 네이버, 다음, 구글과 이미지 기반 소셜네트워크서비스인 인스타그램의 검색어 ‘풍력발전’으로 수집되는 이미지를 기초자료로 한정하여 연구를 진행하였다.

본 연구의 머신러닝을 활용한 경관 지각반응 예측모델 개발 가능성 기초연구를 위해 먼저 연구 데이터 구축과정을 진행하였다. 이에 따라 예측모델 구성에 필요한 풍력발전시설 경관에 관한 자료수집을 진행했다. 이후 수집한 데이터를 정제하고 학습데이터와 평가데이터로 구분하였으며, 학습데이터는 추가로 예측모델의 평가 기준 학습을 위해 전처리를 진행하였다. 평가 기준 3가지 중 경관의 선호 기준은 관련 전공자 30명의 설문지를 통해 설정하였다. 이와 같은 과정을 통해 연구 데이터 구축을 진행하였다. 다음은 예측모델의 생성 및 선정 과정으로 지도학습에 사용되는 다양한 분류 알고리즘을 활용하여 예측모델을 생성하고 성능평가를 통해 생성된 예측모델 중 본 연구에 적합한 예측모델을 선정하였다. 마지막으로 결과 및 고찰을 통해, 연구 과정을 통해 생성한 예측모델로 지각반응 평가를 수행하였다. 이에 따른 예측모델의 결과를 해석하고 평가데이터의 추가적인 검증과정을 거친다. 이러한 검증과정에서도 경관의 선호 기준은 관련 전공자 30명의 설문지를 통해 설정하였다. 이러한 과정을 통한 예측모델의 성능지표와 검증결과의 성능지표 비교분석을 진행하여 경관분석의 관점에서 머신러닝의 활용성을 알아보았다. 연구 과정의 흐름도는 Figure 1과 같다.

Figure 1. Flow of the research process

Download Original Figure

본 연구에 필요한 데이터는 풍력발전에 관련된 이미지 데이터로 한정하였다. 이미지 데이터의 수집 채널은 검색엔진 네이버, 다음, 구글 3개 사 이미지 검색과 이미지 기반 SNS 인스타그램의 해시태그 검색을 이용하였다.

머신러닝에 연구에 활용할 데이터이기 때문에 데이터의 양이 많은 것이 좋다고 판단되어 ‘풍력발전’ 검색 키워드와 ‘풍력발전’ 해시태그로 검색되는 모든 이미지를 수집하였다. 이를 위하여 파이선 주피터 노트북 환경에서 selenium 모듈과 beautifulsoup 모듈을 활용한 코드로 동적 페이지 웹 크롤링을 진행하였다. 데이터의 수집 결과는 Table 1과 같으며 수집된 데이터의 예시는 Figure 2와 같다.

Figure 2. Examples of data collection

Download Original Figure

본 연구를 진행하기 위하여 수집한 이미지 데이터 정제과정을 수행하였다. 연구에 적합한 이미지 데이터를 확보하기 위하여 인물, 음식, 광고, 접사 등 불용사진과, 2장 이상 수집된 중복사진, 풍력발전 시설 자체만 촬영하여 경관이 담기지 않은 사진을 제거했다. 또한, 사진의 크기가 너무 작아 경관과 풍력발전시설이 식별하기 어려운 사진도 제외하였다. 이를 통하여 본 연구에서 적합한 이미지 데이터 2,080장을 선정했다. 일차적으로 정제한 이미지 데이터 2,080장을 모두 활용하여 모델을 학습시키면 우수한 모델을 생성할 수 있으나, 학습데이터에 평가 기준을 부여하기 위한 전처리를 위해 데이터의 한정이 필요하다. 이에 따라 머신러닝에 활용되는 데이터분석 프로그램 오렌지의 ‘Data Sampler’ 기능을 활용하여 전체의 20%인 416장을 무작위 추출하였다. 이 중 학습에 사용하기 어려운 20장은 제외하고 총 396장의 이미지 데이터로 한정했다. 이후 머신러닝 지도학습 모델의 평가 기준을 설정했다. 경관 지각반응 예측모델은 풍력발전시설의 경관을 대상으로 3가지 평가 기준을 가지도록 구성했다. 본 연구에서 설정한 학습데이터의 평가 기준은 아래와 같고 평가 기준을 정리한 것은 Table 2와 같다.

첫 번째로 풍력발전시설 경관의 유형을 기준으로 선정하였다. 본 연구의 평가대상은 일반적인 풍력발전시설의 입지 유형과는 차이를 가지는 개념으로 시설의 입지만으로 판단하기보다 이미지 데이터에 나타나는 경관의 유형에 초점을 맞추었다. 따라서 해양경관이 포함된 ‘풍력발전시설 해양경관’과 육상경관이 포함된 ‘풍력발전시설 육상경관’으로 구분하였다.

두 번째로 경관의 시거리에 따른 분할을 기준으로 선정하였다. 경관을 지각하고 반응하는데 시점과 대상 사이의 시거리는 매우 중요한 역할을 한다. 이에 시거리 분할에 관한 선행연구 고찰을 통해 대상물에 따른 근경, 중경, 원경 분류를 확인하였다. 이 분류기준을 통해 풍력발전시설은 자연환경이나 인간의 특징으로 구분하기보다 건축물의 특징을 바탕으로 구분해야 한다고 판단했다. 따라서 풍력발전시설 경관의 근경역은 풍력발전시설이 독립적이고 상세하게 인식 가능한 영역으로 중경역은 시설군이 경관의 일부로서 인식되는 영역, 원경역은 시설이 군집 형태로 나타나며 지형의 형태나 스카이라인이 더 돋보이는 영역으로 구분하여 연구를 진행하였다.

세 번째로 경관의 선호를 기준으로 선정하였다. 경관의 선호는 경관의 좋고 나쁨을 뜻하는데 이를 연구자가 단독으로 판단하면 주관적인 개입으로 문제가 따른다. 따라서, 관련 분야 전공자를 대상으로 학습데이터 396장의 선호를 알아보기 위한 설문을 진행하였다. 총 30명의 응답을 받았으며 산술평균값을 통하여 좋고 나쁨을 구분하였다.

이와 같은 평가 기준에 따라 학습데이터 396장을 분류했다. 학습데이터 구축 결과는 Table 3과 같다.

다음으로 평가데이터 선정을 진행했다. 평가데이터 선정에는 1차 정제를 거친 이미지 데이터 2,080장 중에서 학습데이터로 사용된 396장을 제외한 나머지 1,684장을 사용했다. 데이터분석 프로그램 오렌지의 ‘Data Sampler’ 기능을 활용하여 50장의 이미지 데이터를 무작위 추출하였다. 평가데이터의 수량은 머신러닝의 일반적인 학습데이터와 평가데이터의 비율인 8:2를 적용하여 이에 적합한 수량을 선정해 진행하였다(Park, 2019).

본 연구는 머신러닝에 활용되는 University of Ljubljana의 데이터분석 프로그램 오렌지 버전 3.33을 이용하여 앞서 진행한 학습데이터 정제 및 평가 기준에 따라 모델을 생성하였다. 생성 모델의 알고리즘은 지도학습 분류 모델에 활용되는 것 중 본 연구에 적합하다고 생각되는 kNN, SVM, Random Forest, Logistic Regression, Neural Network를 활용하였다.

본 연구에 적합한 알고리즘을 활용하여 평가 기준 3가지를 통합한 모델 생성 결과 평가 기준에 따른 12가지 분류 중 3개의 분류가 학습데이터의 수량 부족으로 인한 교차검증이 제대로 이루어지지 않아 오류가 발생했다. 교차검증이 제대로 이루어질 수 없어서 성능 수치도 아주 낮게 나타났다. 이처럼 평가 기준 3가지를 통합한 모델은 다층구조로 이루어져 학습데이터의 수량 부족에 따른 문제가 발생하였다. 해당 문제는 학습데이터의 부족으로 야기되었기 때문에 데이터 증강(data augmentation)을 통해 문제를 해결하고자 했다(Shorten and Khoshgoftaar, 2019). 소량의 학습데이터에서 야기되는 문제 해결을 위한 데이터 증강에는 다양한 방법이 있으며 그러한 다양한 방법을 활용하여 학습데이터가 늘어날수록 모델의 정확도를 높일 수 있다. 그러나, 본 연구에서는 기본적인 기하학적 변환(geometric transformations)의 수직축을 기준으로 좌우 뒤집기(vertical flipping)를 활용했다. 이는 경관을 대상으로 하는 연구이기 때문에 시점이나 관점이 변화되면 기존의 경관을 잃어버릴 수 있기 때문이다. 따라서, 데이터의 증강을 통한 수량은 많지 않지만 기존 데이터의 특성의 변화가 최소화된 방법을 사용하여야 한다(Zhang et al., 2020). 이에 따라 본 연구에서는 수직축을 기준으로 좌우 뒤집기(vertical flipping)만 이용하여 데이터 증강을 진행했다. 이를 통해 데이터 증강을 마친 학습데이터 792장을 활용하여 다시 모델을 생성했다. 이를 통해 학습데이터 부족으로 야기된 문제를 해결하고 성능 수치가 우수한 모델 생성이 가능했다.

다음으로 평가 기준별 별도 모델을 생성하였을 땐 학습데이터 부족에 따른 문제는 발생하지 않았다. 그러나 기준별 별도 모델의 경관 유형 기준 모델과 시거리 기준 모델은 성능 수치가 높게 나타났으나 선호 기준 모델은 낮은 성능 수치를 기록했다. 따라서, 평가 기준별 별도 모델도 성능 수치를 높여 예측 능력 향상을 위하여 데이터 증강을 진행했다. 앞선 3가지 평가 기준 통합 모델 생성과 같이 기하학적 변환(geometric transformations)의 좌우 뒤집기(vertical flipping)만 이용하여 데이터 증강을 진행했다.

데이터 증강을 마친 792장의 학습데이터를 활용하여 다시 모델을 생성했다. 이를 통해 성능 수치가 낮게 나타나던 선호 기준 모델의 수치가 높아졌으며 경관 유형 기준 모델과 시거리 기준 모델의 성능 수치도 향상되었다. 이에 따라 평가 기준별 별도 모델도 성능 수치가 우수한 모델 생성이 가능하였다.

본 연구에서 서술하고 있는 평가 기준별 통합 모델과 평가 기준별 별도 모델의 차이는 학습의 구조에 따라 구분이 된다. 평가 기준별 통합 모델의 경우 하나의 평가 데이터가 3가지 평가 기준이 다층구조로 이루어져 한번에 평가를 받는 구조로 이루어져 있으며, 평가 기준별 별도 모델의 경우 하나의 평가 데이터가 3가지 평가 기준이 개별적으로 모델을 구성하고 각각 평가를 받은 후 결과의 합으로 이루어져 있다. Figure 3은 모델 구조의 차이점을 보여주는 도식이다.

Figure 3. Differences between criterion-integrated and criterion-separate model structures

Download Original Figure

예측모델 생성 과정을 통해 도출된 모델은 기본 학습데이터를 통한 평가 기준 통합 모델, 데이터 증강을 통한 평가 기준 통합 모델, 기본 학습데이터를 통한 기준별 별도 모델, 데이터 증강을 통한 기준별 별도 모델 총 4개이다. 생성된 모델 중 본 연구에 가장 적합한 예측모델의 선정 과정을 수행하고자 모델의 성능평가를 진행하였다. 지도학습의 분류 모델 성능평가에는 혼동행렬(confusion matrix)이 기본적으로 사용된다. 이는 모델이 전체 데이터 중에서 어떤 부분을 얼마나 맞히고 틀렸는지에 대한 수를 표시한 매트릭스이다. 이를 통해 다양한 평가지표를 계산할 수 있다(aSSIST, 2021). 지도학습 분류 모델의 성능평가에 사용되는 지표는 AUC(area under the curve), CA(classification accuracy), F1, precision, recall, logloss가 있다. 본 연구의 예측모델 성능평가 또한 앞서 서술한 내용을 바탕으로 혼동행렬(confusion matrix)의 확인 및 ROC(receiver operating characteristic) Curve 그래프를 통한 AUC(area under the curve) 확인, 교차검증(cross-validation)을 통한 주요 지표 확인을 통해 모델 성능평가를 수행했다. 이러한 지표를 종합적으로 비교, 분석하였으며 평가지표 중 F1 수치와 logloss 수치를 선정의 중요지표로 판단했다(aSSIST, 2021).

기본 학습데이터를 통한 평가 기준 통합 모델은 성능평가 지표를 통해 선택된 SVM(support vector machine) 알고리즘의 F1 수치가 0.422, logloss 수치가 1.324로 매우 낮은 수치를 기록하였으며 혼동행렬과 산점도에서도 뚜렷한 기준선이 나타나지 않았다. 반면, 데이터 증강을 통한 평가 기준 통합 모델은 성능평가 지표를 통해 선택된 neural network 알고리즘의 F1 수치가 0.950, logloss 수치가 0.218로 매우 높게 나타났으며 혼동행렬과 산점도에서도 유의미한 기준선이 나타남을 알 수 있었다. 이처럼 지도학습 분류 모델에서 다층구조로 이루어진 모델에서 학습데이터의 부족이 유발하는 모델 성능 저하를 확인하였으며 데이터 증강 이후 우수한 성능평가를 받을 수 있음을 알 수 있었다. 다음으로 기본 학습데이터를 통한 기준별 별도 모델은 경관, 시거리, 선호 기준에 따른 모든 모델에서 SVM(support vector machine)이 우수 알고리즘으로 선택되었으며 F1 수치는 경관이 0.882, 시거리가 0.855, 선호가 0.690으로 나타났으며 logloss 수치는 경관이 0.253, 시거리가 0.323, 선호가 0.604로 나타났다. logloss 수치의 경우 모델이 전반적으로 양호함을 보여주고 있었으나 선호 기준 모델이 F1 수치가 높지 않아 정확도가 떨어지는 모습을 확인할 수 있었다. 이는 혼동행렬과 산점도에서도 확인할 수 있었다. 반면, 데이터 증강을 통한 기준별 별도 모델은 경관, 시거리, 선호 기준에 따른 모든 모델에서 neural network가 선택되었으며 F1 수치는 경관이 0.986, 시거리가 0.973, 선호가 0.952로 나타났으며 logloss 수치는 경관이 0.033, 시거리가 0.100, 선호가 0.126으로 나타났다. 해당 모델의 경우 F1 수치에 따른 정확도와 logloss에 따른 정답 선택 확신이 매우 높은 모델임을 알 수 있었다. 또한, 혼동행렬의 예측 정확도가 높아짐을 알 수 있었고 산점도에서도 분명한 구분과 오답의 양이 확연히 줄어든 것을 알 수 있었다.

이처럼 데이터 증강을 통한 기준별 별도 모델이 가장 좋은 성능평가를 받았으며 우수한 성능을 보여줌을 알 수 있었다. 이에 본 연구의 경관 지각 예측모델로서 데이터 증강을 통한 기준별 별도 모델을 선정하여 연구를 진행하였다. Table 4는 선정된 예측모델의 성능평가 지표를 정리한 것이다.

예측모델의 구조는 평가 기준에 따른 모델이 별도로 존재하며 예측을 진행할 때 3가지 모델의 평가를 각각 받도록 구성되어 있다. 즉, 평가 기준에 따른 모델은 별도의 의사 결정 구조를 가지고 있으며 평가데이터는 3번의 평가를 모두 받아서 결과를 예측하는 구조로 구성되어 있다. 예측모델의 구조는 Figure 4와 같다.

Figure 4. Structure of the prediction model

Download Original Figure

앞서 수행한 과정을 통해 확정된 풍력발전시설 경관 지각반응 예측모델을 통해 평가데이터 예측을 실행하였다. 도출된 예측 결과를 살펴보았을 때 본 연구의 예측모델의 3가지 평가 기준에 의한 평가를 모두 받았으며 이에 따라 결과가 도출되었다. 이를 통해 풍력발전시설 경관 지각반응 예측모델의 정상 구동을 확인할 수 있었다. 평가데이터는 총 50매이며 모델을 통한 예측 결과는 아래 Table 5와 같다.

본 연구를 통해 구현한 풍력발전시설 경관 지각반응 예측모델의 검증을 위해 예측 결과와 평가데이터를 비교 검증하였다. 비교 검증을 위해서 평가 기준에 따른 판단과 관련 전공자 30명을 대상으로 추가 설문을 진행하여 경관 선호를 조사하였다. 비교․검증의 결과 평가 경관 유형에 따른 모델에서는 오답이 하나도 없었으며 시거리에 따른 모델에서는 하나의 오답이 선호에 따른 모델에서는 두 개의 오답이 나타났다. Data No. 0653과 Data No. 0989는 학습데이터의 선호 기준과 검증 설문의 선호 판단에 차이가 나타나 오답을 선택한 것으로 판단되며, 다음 Data No. 1451의 경우 시거리에 따른 기준 판단에 오류가 나타났는데 이는 가까이 위치한 바람개비 조형물을 풍력발전기로 오인하여 발생한 것으로 생각된다. 이는 예측모델의 객체 인식 오류로 보인다. 이처럼, 총 50매의 평가데이터에서 오답으로 검증된 데이터는 3개로 나타났다. 오답으로 검증된 데이터의 예측내용과 검증내용의 비교는 Table 6과 같고 오류로 검증된 데이터는 Figure 5와 같다.

Figure 5. Incorrect validation evaluation data

Download Original Figure

풍력발전시설 경관 지각반응 예측 결과를 통해 평가를 진행했다. 모델 성능평가 지표와 예측 결과를 바탕으로 도출된 혼동행렬(confusion matrix)을 활용한 지표를 비교하여 분석했다. 예측 결과 혼동행렬(confusion matrix)은Figure 6과 같다.

Figure 6. Results of prediction confusion matrix

Download Original Figure

예측모델의 성능평가 지표와 예측 결과 도출 지표의 비교․분석을 통해 보았을 때 결과 도출 지표의 수치가 예측모델 성능보다 상회하고 있음을 알 수 있다. 반면 선호 기준 모델의 precisiom 지표, ‘양성 진단 정확성’ 수치가 낮아졌는데 이는 평가데이터 예측 결과에서 오답의 빈도가 예측모델 성능보다 높기 때문으로 보인다. 하지만 앞서 예측모델의 선정 과정과 같이 종합적으로 판단하기 위해 F1 수치와 logloss 수치를 중요지표로 보고 판단하였다. 이에 따라, 예측모델의 성능평가 지표와 예측 결과 도출 지표의 F1 수치를 비교해 보았을 때, 예측모델 성능평가는 경관 유형에 따른 기준이 0.986, 시거리에 따른 기준이 0.973, 선호에 따른 기준이 0.952로 나타나고 예측 결과 도출 지표에서는 경관 유형에 따른 기준이 1, 시거리에 따른 기준이 0.980, 선호에 따른 기준이 0.955로 예측모델의 성능보다 좋은 결과를 얻었다고 판단된다. 또한, logloss 수치를 비교해 보면 예측모델 성능평가에서 경관 유형에 따른 기준이 0.033, 시거리에 따른 기준이 0.100, 선호에 따른 기준이 0.126으로 나타나고, 예측 결과 도출 지표에서는 경관에 따른 기준이 0, 시거리에 따른 기준이 0.03492, 선호에 따른 기준이 0.063213으로 예측모델의 성능보다 좋은 결과를 얻었다고 판단된다. 이처럼 풍력발전시설 경관 지각반응 예측 결과를 혼동행렬(confusion matrix)을 활용해 평가해본 결과 예측모델의 성능 이상의 성과를 도출했다고 판단된다. 아래 Table 7은 예측모델 성능평가 지표와 예측 결과 도출 지표의 비교를 나타낸다.