1. 서론
우리나라의 정원박람회는 1997년 고양꽃박람회를 시작으로 2023년까지 약 58회1)에 이르며, 이러한 행사를 통해 일반인들은 정원에 대한 전시, 교육, 체험 등을 통해 다양한 정원 문화를 체험한다. 정원은 미학적인 측면에서는 경관 감상의 장소로, 문화적인 측면에서는 대중들과 소통하는 역할을 한다. 또한, 지역의 자연생태와 문화현상이 반영된 고유의 장소성을 담고 있으며, 문화현상과 미적 감상, 체험 등을 내포하는 문화적 산물로써의 역할도 수행한다(박미옥 등, 2017).
디자인의 한 영역으로서 전시 정원은 시각적 특성에 따른 비주얼 커뮤니케이션 의미를 가지며 건축, 미술과 같이 이미지 인식을 통해 영향을 미친다. 전시 정원은 주로 박람회를 통해 진행되고, 공모 형식으로 작품이 선정된다. 이때 유사성 판단을 위한 객관적 기준 및 방법의 부재로 인해 작품 선정 과정에 있어 유사성 논쟁이 발생하기도 한다. 타 분야에서의 디자인의 유사 판단은 형태를 중심으로 이루어지고 있으며 객관적 근거 제시가 미흡하고, 대법원 판결을 통해 동일 디자인의 유사 유무를 판단하는데 의존하고 있다(김지인, 2020; 서홍석, 2022). 건축 분야에서는 담론을 통한 정성적 연구가 진행되었으며(김영선과 최재필, 2020), 섬유 디자인 분야에서는 섬유 패턴을 통한 디자인 유사성을 분석하였다(이병우 등, 2020). 국외에서는 주로 컴퓨터 비전, 인공지능, 기계 학습 및 디자인 분야에서 유사성 분석에 관한 연구가 진행되었고(Kolaczyk and Crovella, 2003; Zhu et al., 2017; Gao et al., 2019), 이러한 연구는 유사성 측정 및 디자인 분석에 대한 다양한 방법 제시로 유사성 평가에 대한 효율적이고 정량적인 접근 방식을 보여주고 있다. 하지만, 국내외 연구에서 디자인 유사성에 관한 조경 디자인 분야의 정량적인 연구는 없는 실정이다.
따라서 본 연구의 목적은 심층학습을 활용한 DRG(Deep Recognition of similarity in show Garden design)모형을 구축하고 가이드라인을 제시하는 것이다. 이를 위해 VGG-16과 ResNet50 모델을 활용하여 전시 정원의 유사성을 객관적으로 판단하는 알고리즘을 설계하였다. 또한, 실험 결과를 토대로 전시 정원 유사성 판단의 가이드라인을 제시하여 향후 정원박람회에서의 유사성 판단에 활용할 수 있을 것이다. 이러한 연구를 통해 정원박람회의 전시 정원 공모에서의 유사성 논쟁을 객관적으로 판단하고, 딥러닝을 통한 정량적 분석이 정원 문화의 발전과 작가의 창의성 보호에 기여할 수 있을 것으로 기대한다.
2. 이론적 고찰
1980년대 쿠니히코 후쿠시마(Kunihiko Fukushima)는 7개의 층을 가진 인공신경망인 ‘네오크니트론’을 개발하여 딥러닝의 시작을 알렸다. 김대수(2020)는 딥러닝이 네오크니트론의 높은 복잡성으로 인해 실용화되지는 못하였으나, 1984년에 미국의 PDP 그룹이 제안한 다층 퍼셉트론 신경망 모델의 개발로 인해 딥러닝이 활성화되었다고 하였다. 딥러닝은 심층신경망을 이용하는 크게는 세개의 층의 정보를 전달받아 스스로 학습 및 훈련하는 과정을 거친다. 세 개의 층은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성된다. 입력층은 다차원 배열 형태의 입력 데이터를 효과적으로 활용하여 이미지를 인식하는 것이고, 은닉층은 신경망의 핵심 구성 요소로써 입력 데이터로 추출한 특징들을 조합하고 병합하는 역할을 수행한다. 마지막으로 최종 결과 값을 나타내는 출력층에서는 주어진 입력 데이터에 대한 최종 예측 또는 분류를 수행하며, 분류한 클래스에 따라 다양한 형태의 결과 값을 도출한다(Figure 1 참조). 본 연구는 딥러닝의 구조에 기반하여 입력층에는 전시 정원의 이미지가 입력 데이터로 사용되고, 은닉층에서는 입력으로 들어온 이미지들의 다양한 특징을 추출하기 위한 컨볼루션(convolution), 평균값 풀링(pooling), 활성 함수 적용 등의 연산이 수행된다. 마지막으로 출력층에서는 입력으로 들어온 이미지들간의 유사도 값이 제공된다.
딥러닝을 구현하는 대표적인 심층신경망 모델은 합성곱 신경망(convolution neural network, CNN)으로써, 이는 주로 객체 인식, 분류 및 탐지 등을 위한 패턴을 찾는데 유용하며 자율 주행 자동차, 로봇과 같은 컴퓨터 비전(computer vision), 3차원 이미지 등에 활용되고 있다. CNN 구조는 이미지가 입력되면 특징적인 필터를 중심으로 특징 맵이 생성되고, 각각의 특징 맵은 연산을 통해 컨볼루션(convolution), 풀링(pooling), 완전 연결(fully-connected)로 통과하며 합성곱 연산을 진행한다(Figure 2 참조). 이때, 풀링 연산은 합성곱 연산의 결과로 나타난 이미지의 크기를 압축하여 특징을 추출하는 연산이며, 특징 맵에서 가장 큰 값을 선택하는 최대 연산(max pooing)과 평균값을 선택하는 평균 풀링(average pooling)으로 선택하여 진행할 수 있다.
CNN구조를 기반으로 하는 딥러닝 모델에는 AlexNet, VGG, GooleNet, ResNet모델 등이 있으며, 그 중VGG-16 모델은 총 16개의 계층을 사용하여 2014년 ILSVR대회2)에서 우승할 정도로 높은 성능을 가진다(장병탁, 2017; Simonyan and Zisserman, 2014). ResNet은 CNN의 깊이를 152개 층을 사용한 모델로써 ResNet의 주요 장점은 잔차학습(residual learning)을 사용하여 학습의 효율을 증가시킴으로써 오차를 줄이는 것이다. 딥러닝을 이용한 데이터 기반의 정량적 유사성 연구는 섬유 디자인 및 컴퓨터 공학 분야 등에서 활발히 진행되고 있다. 이병우 등(2020)은 섬유디자인 분야에서 발생하는 지식재산권 관련 문제에 대응하기 위해 딥러닝 기술을 활용하여 유사디자인을 선별하는 연구를 진행하였다. AlexNet과 VGG-16 모델을 이용하여 진행한 연구에서 섬유이미지 총 300장을 회전 이미지와 색상변경 이미지를 생성하여 유사도가 높은 항목 Top3, Top5를 통해 유사이미지를 찾을 수 있는 모델을 구축하였다. 또한, 노은솔(2021)은 딥러닝 기술을 활용하여 풀림방지 코팅 볼트의 양품과 불량품을 식별하기 위해 CNN 기반의 VGG-16 모델을 학습시키는 방법을 연구하였다. 마지막 합성곱층과 분류층을 미세 조정하여 97%의 높은 정확도를 도출하여 성능을 입증하였다. 김준섭(2021)은 지문의 습기 및 상처 등의 불확실한 이미지의 정확한 구분을 위해 VGG-16과 ResNet50 모델을 비교 분석하였으며, 지문 특징점을 추출한 데이터를 활용하여 VGG-16 모델이 우수함을 도출하였다. 그러므로 본 연구에서는 CNN 구조 중, 이미지 분류 결과의 오차율이 낮은 두 모델 VGG와 ResNet모델을 활용하고, 대중적으로 접근 가능하고 알고리즘 구성이 용이한 VGG-16과 ResNet50 모델을 기반으로 유사성 분석을 진행하였다.
3. 연구 방법
본 연구는 국외 대표적인 정원박람회 중 쇼몽가든페스티벌과 국내의 대표적인 정원박람회인 서울정원박람회 및 코리아가든쇼의 전시정원 평면 이미지를 활용하였다. 쇼몽가든페스티벌은 1992년에 시작되어 체계적인 아카이브를 보유하고 있으며, 매년 다양한 주제의 공모전이 진행되며 형태와 소재 등에서 시대를 선도하고 있다(권진욱, 2012). 또한, 다양한 분야의 작가들이 참여하여 예술적 창의성과 독창성을 보여주는 특징이 있어 딥러닝의 이미지 인식 학습에 적합한 데이터로 평가하였다. 쇼몽가든페스티벌의 공식 홈페이지에 공개된 1994년부터 2020년까지의 작품 중, 가독성이 있는 평면 이미지를 수집하여 총 278개의 작품을 선정하였다(https://domaine-chaumont.fr/). 전시 정원은 정원박람회에 전시되는 작품 중 작가 정원의 수상 작품에 해당하며 연구 데이터는 분석 시, 식별 가능한 평면 마스터플랜 이미지로 제한하였다.
한편, 쇼몽가든페스티벌의 동일집단과 비교를 위한 타집단간의 실험을 위해 국내 대표적인 정원박람회인 서울정원박람회와 코리아가든쇼의 전시 정원 평면 이미지를 활용하였다. 본 연구에서 사용된 이미지는 저작권 및 개인정보 보호를 고려하여 해당 정원박람회의 홈페이지와 백서에 수록된 이미지를 기반으로 선정하였다. 서울정원박람회 백서에 수록된 2017, 2018, 2020년도 수상작 중 가독성이 있는 평면 이미지 총 27개를 선별하였고(https://festival.seoul.go.kr/garden/), 코리아가든쇼의 이미지는 2021, 2022, 2023년까지의 수상작 중 총 17개의 평면 이미지로 데이터를 구성하였다(https://koreagardenshow.com/).
본 연구는 데이터 처리와 시각화를 위해 인텔(Intel)이 제공하는 쥬피터 노트북의 통합개발환경을 선택하였고, 이는 다양한 함수가 내장된 라이브러리를 안정적으로 활용하기 위함이다. 또한, 이미지 및 비디오 처리를 위해 OpenCV를 사용하였으며(http://docs.opencv.org/), 개발 언어는 파이썬(Python) 언어를 사용하였다. 파이썬은 1991년에 처음으로 발표된 프로그래밍 언어로, 데이터 수집, 분석, 시각화에 용이한 특징을 가지고 있다. 행렬이나 배열과 같은 데이터 처리를 위해서 넘파이(NumPy) 라이브러리를 활용하였고, 딥러닝의 뉴런 네트워크를 구현하는 데 도움을 주는 케라스(Keras)와 머신러닝 및 인공지능을 위한 라이브러리 소스로 사용되는 텐서플로우(TensorFlow)를 사용하였다.
딥러닝을 활용한 유사성 비교에서는 각 데이터의 면적과 스케일 차이를 고려하여 정확한 비교 결과를 얻기 위해 이미지 크기를 동일하게 조정하는 것이 필요하다. 이를 위해 특정 면적을 가진 빈 여백 이미지를 마련하고, 그 내부에 쇼몽가든페스티벌, 서울정원박람회, 코리아가든쇼의 이미지를 해당하는 스케일에 맞게 삽입하는 방식으로 데이터를 생성하였다. 이때, 동선과 수목의 일반적으로 통용되는 너비와 길이 등으로 스케일화 하였다.
본 연구는 전시 정원의 유사성을 판단하기 위해 세 가지 요인에 따른 비교실험을 진행하였다. 첫째, 데이터 증강을 통해 확장된 데이터로 모델의 정확도를 비교하였다. 둘째, 쇼몽가든페스티벌의 독특한 외곽형태를 배제한 형태적 특성의 영향을 살펴보았다. 셋째, 색채(무채색과 유채색)의 영향을 알아보기 위해 회색조 변경으로 전처리하여 이미지 인지를 실험하였다. 이러한 실험을 통해 전시 정원의 유사성 영향에 미치는 요인을 파악하고, 이를 바탕으로 평면 이미지의 유사성을 더 정확하게 파악하는 모형을 구축하였다. 다음은 기준별 데이터 구축 방법과 그에 대한 설명이다.
딥러닝은 많은 양의 데이터를 활용하여 모델을 학습하고 정확도를 향상하는 과정을 거친다. 예를 들어, 이병우 등(2020)은 섬유디자인 분야에서 데이터 증강을 위해 이미지를 회전시키는 방법을 사용하여 유사성의 정확도를 높일 수 있었다. 본 연구에서도 충분한 양의 학습 데이터를 구축하여 모델 정확도를 향상하기 위해 노력할 필요가 있다.
쇼몽가든페스티벌 원본 이미지 50cm × 50cm의 바탕에 33cm × 31cm 크기로 스케일을 조정하고, 해상도는 130dpi, 2559 × 2559 픽셀로 설정하였다(Figure 3 좌 참조). 데이터 확장을 위해 원본 이미지를 90, 180, 270도로 회전하여 각 이미지당 3개의 추가 이미지를 구축하였고, 각 이미지는 X일련번호_90, X일련번호_180, X일련번호_270과 같은 표기로 식별하였다. 데이터 확장을 위해 이미지를 원하는 각도로 출력하여 각도 및 스케일 변환이 가능한 getRotationMatrix2D를 적용하였다. 또한, 원본 이미지의 스케일 및 각도의 변형이 있더라도, 학습을 통해 원본 이미지의 최적 특성을 파악하여 정확하게 이미지를 분류할 수 있도록 하는 방법인 wrapAffine 함수를 적용하였다. wrapAffine 함수는 각도, 스케일, 이미지 크기 등을 조율하는 함수로써 openCV에 포함되어 활용하기에 용이하다. 즉, 쇼몽가든페스티벌의 원본 이미지의 회전된 값들을 학습함으로써 이미지가 변형되더라도 원본 이미지를 정확하게 인식할 수 있게 된다. 이와 같은 방법으로 서울정원박람회와 코리아가든쇼 데이터도 동일한 방식으로 증강하여 각각 'S일련번호_90', 'K일련번호_90'과 같이 표기하였다.
쇼몽가든페스티벌의 전시 정원 개별 부지는 독특한 나팔꽃 모양을 나타낸다. 이는 다른 전시 정원과 비교할 때 외형의 특이성으로 인해 유사성 평가에 영향을 줄 수 있을 것으로 판단하여 외형적 특성을 배제한 요인을 설정하였다. 구체적으로 정원의 경계부를 배제한 형태적 특성에 집중한 이미지 크기를 설정하여 내부 형태를 비교하여 유사성을 검토하였다. 내부의 형태를 잘 나타내는 이미지 크기, 16cm × 16cm로 정사각형 필터를 제작하고, 그 외부는 여백을 남겨 데이터를 구성하였다. 쇼몽가든페스티벌, 서울정원박람회 및 코리아가든쇼의 이미지 총 322개를 이와 같이 제작하고 각각 일련번호 ‘Y일련번호’, ‘S일련번호_s’, ‘K일련번호_k’로 표기하였다(Figure 3 우 참조).
전시 정원의 평면 이미지에는 바닥면, 지형, 동선, 수 공간, 장식물 등 정원을 구성하는 다양한 요소가 포함되어 있다. 유사성과 표절을 판단하기 위해서는 부분적 요소의 비교가 아닌 이러한 요소들을 종합적으로 비교해야 한다(조재신과 송요순, 2016). 또한, 정원 설계에 영향을 미치는 설계적 특성을 통해 전시 정원의 공간을 형성하는 다양한 요소 중에서 형태가 중요한 영향을 미칠 수 있다고 인식되어, 평면도 상의 전체적인 구성 요소인 형태를 중심으로 유사성을 분석하였다.
딥러닝의 합성곱신경망 모델은 전시 정원 평면 이미지를 RGB의 색상으로 인식한다. 그러나 색채는 디자인 유사성 평가에 영향을 미치는 것으로 판단하여 본 연구는 이를 회색조인 그레이스케일로 변경하여 색채 변화를 배제하였다. 색채환경에 따른 유사도 비교실험은 두 가지로 구분하여 진행하였다. 첫째, 회색조 이미지의 유사도 비교를 통해 우수한 모델 성능과 이미지 크기를 분석하였다. 이를 위해, 회색조 원본 이미지와 90도, 180도, 270도 회전한 회색조 이미지 간의 유사도를 비교하였다. 둘째, 원본 이미지와 회색조 이미지 간 유사도 비교를 통해 색채 정보의 영향을 확인하였다. 회색조 전처리를 위해 OpenCV의 cvtColor 함수를 사용하여 RGB 이미지를 회색조 이미지로 변환하였다(Table 1 참조).
|
|
|
|
| X277 Original | X277 Grayscale | X278 Original | X278 Grayscale |
전시 정원의 유사성을 측정하기 위해 개발된 모델은 “딥레스코가든(DRG: Deep Recognition of similarity in show Garden design)”로 명명하며, 이하 DRG로 지칭한다. 해당 모델은 다음과 같은 단계로 구성하였다(Figure 4 참조). 데이터 설정에 따른 이미지 입력으로 전체 이미지 유사성 비교를 데이터 증강을 통한 이미지를 구축하고, 가정에 의한 전시 정원 유사성 분석에 영향을 주는 요인으로 형태적 특성, 색채 환경에 따른 이미지를 생성하였다. 딥러닝 작용을 위한 효율적인 이미지 사이즈 224 × 224픽셀(이하 224픽셀)과 448 × 448픽셀(이하 448픽셀)의 90dpi로 조정하여 유사성 비교를 진행하였는데, 이는 이미지 해상도가 높을수록 화질이 향상되고 이미지 크기가 클수록 정확도가 우수하기 때문이다(이호정, 2020).
각 이미지 데이터를 VGG-16, ResNet50의 모델에 적용하여 은닉층과 풀링 과정을 거치는 과정으로 설계하였으며 합성곱 신경망을 통해 도출된 결과물을 1차원적 수치로 표현하기 위해 GAP(global average pooling) 층을 추가하였고, 학습 과정 시, 입력 데이터 흐름이 앞으로만 전달되는 피드포워드(feed-forwarding)과정을 거쳐 추출하였다. 마지막으로, 이미지 특징 정보와 같은 두 변수 간의 관련성을 정량적으로 나타내는 데 많이 활용되는 피어슨 상관계수를 통해 두 이미지 데이터 간의 관계를 평가하였다. 즉, 원본 이미지와 유사하다고 선별하는 이미지의 순위 평가(Top1-Top5)로 유사성을 분석하는 것이다.
4. 전시 정원 이미지 유사성 인지 모형(DRG) 실험 결과
원본 이미지와 90도, 180도, 270도 회전한 이미지 비교 실험으로 224픽셀과 448픽셀로 구분하여 살펴보았으며, 각 모델별 성능 차이를 비교하였다. 이미지 유사성은 DRG 모형의 판단 기준인 피어슨 상관계수를 통해 0에서 1사이의 결과 값을 도출하고 1에 가까울수록 유사성이 높은 것으로 분석하였다.
VGG-16 모델의 픽셀 간 실험에서는 448픽셀 이미지의 정확도가 높게 나타났고, 90도 회전한 이미지와 원본 이미지 간 비교에서 총 556개 이미지 중, Top5 내에 원본 이미지와 유사한 이미지로 선별한 이미지는 총 536개로 정확도 96%를 도출하였다. 또한, 180도 회전한 이미지와 원본 이미지간의 유사도 비교 실험에서는 Top5내에 원본 이미지와 유사한 이미지를 493개 도출하는 것으로 89%의 정확도를 나타냈다(Table 2 참조). 이미지 사이즈에 따른 정확도 차이를 보이는 예로, ‘X186’ 이미지는 1순위로 90도 회전한 이미지를 선별하였으며, 448픽셀에서 0.907의 높은 유사성을 도출하였다. 270도 회전한 이미지와 원본 이미지의 비교에서 1순위로 회전한 이미지를 0.906%의 높은 유사도를 나타냈다. ‘X116’ 이미지 또한 1순위로 90도 회전한 이미지가 0.889의 정확도를 도출하였다(Table 3 참조).
ResNet50 모델 실험 결과, 피어슨 상관계수에 의한 수치값은 448픽셀의 실험에서 이미지 간 정확도가 높게 나 타났다. 90도 회전한 이미지와 가장 유사하다고 판단한 이미지 개수는 224픽셀, 448픽셀로 구별할 수 있는데 전자 의 경우가 총 152개 후자의 경우에 총 456개를 선별하였다. 180도 회전한 이미지와 원본 이미지 간의 비교실험에서도 원본 이미지와 유사한 1순위 이미지로 224픽셀에서 35%, 48픽셀에서 87%를 나타냄으로써 448픽셀에서의 정확도가 높음을 알 수 있었다(Table 2 참조). 그 예로, 이미지 ‘X102’는 224픽셀에서 상이한 이미지(‘X95’)를 1순위로 선별하였으나, 448픽셀에서는 1순위로 90도 회전한 같은 이미지(‘X102_90’)를 0.996 수치로 선별하였다. 또한, ‘X165’이미지의 경우, 448픽셀에서 180도 회전한 동일한 이미지를 1순위로 선별하였으며, ‘X133’이미지의 경우 두 픽셀 모두 1순위로 270도 회전한 이미지를 동일한 이미지로 선별하였고, 이 중에서 448픽셀이 0.998로 높은 정확도를 나타냈다(Table 4 참조).
동일 집단 간 비교는 쇼몽가든페스티벌의 외곽선이 없는 이미지(Y 시리즈) 총 278장과의 원본 이미지와의 유사도 비교실험으로써 VGG-16과 ResNet50 모델로 분석하였다. VGG-16 모델에서의 유사도는 224픽셀에서 Top5 3%로 낮은 정확도를 나타냈으며, 448픽셀에도 Top5 6%를 나타내는 등 낮은 정확도를 보였다. ResNet50 모델에서도 448픽셀의 Top5 2%를 나타내며 유사성을 낮게 도출하였다. 이는 외부 형태에 따른 유사성 비교에서는 쇼몽가든페스티벌의 외곽형태가 영향을 미친다는 결론을 내릴 수 있다(Table 5 참조).
VGG-16 모델 실험 결과, 448픽셀일 때 ‘X92’이미지와 가장 유사하다고 선별한 Top1의 ‘Y92’이미지는 원본 이미지의 외곽형태를 배제한 이미지로써 0.793의 유사성을 도출하였으며, ‘X236’이미지가 Top1으로 선별한 ‘Y236’이미지는 유사율 0.744를 도출하였다(Table 6 참조).
| Model | Original Image | Top1 | Top2 | Top3 | Top4 | Top5 |
|---|---|---|---|---|---|---|
| VGG-16 |
|
|
|
|
|
|
| X92 | Y92 | Y185 | Y138 | X138 | X66 | |
| 0.793 | 0.705 | 0.685 | 0.689 | 0.686 | ||
|
|
|
|
|
|
|
| X236 | Y236 | X118 | X108 | X232 | X47 | |
| 0.744 | 0.65 | 0.64 | 0.625 | 0.612 |
타집단간 비교에서는 쇼몽가든페스티벌, 서울정원박람회, 코리아가든쇼에서 수집된 총 322작품을 대상으로 분석하였다. 동일 집단 간 비교에서와 같이, 16cm × 16cm의 정사각형 이미지로 재생성하고, 그 외부를 여백처리함으로써 내부형태에 집중하여 비교분석할 수 있게 하였다. 실험 결과, VGG-16 모델에서는 총 644작품의 이미지 중, 448픽셀에서 Top5에 92개의 동일 이미지를 선별하여 14% 유사성을 도출하였다. 이는 ResNet50 모델의 448픽셀에서의 수치보다 높은 결과값을 도출하여 VGG-16 모델의 성능을 높게 평가할 수 있었다(Table 7 참조).
픽셀 간의 차이를 나타내는 예시로 이미지 ‘K1’은 448픽셀에서 ‘K1_k’이미지를 유사성 1순위로 선별하였으며 0.992수치의 높은 유사성을 도출하였다. 또한, ‘S15’와 ‘X111’이미지에서도 448픽셀에서 원본 이미지의 내부 형태를 보여주는 이미지를 1순위로 선별하는 등 448픽셀의 실험 결과가 우수한 것으로 나타났다(Table 8 참조).
전시 정원의 평면 이미지는 단순한 시각적 요소를 넘어, 디자인의 독창적인 개념과 컨셉을 표현하는 색채 언어로 기능한다. 그러므로 색채 환경에 따른 실험은 회색조 간 이미지 비교 및 회색조와 원본 이미지 간 비교실험으로 진행하였다.
회색조 원본 이미지와 회색조 회전 이미지(90도, 180도, 270도)간 비교실험으로 데이터 증강 실험방법과 동일하게 진행하였다. 실험 결과, 448픽셀에서 VGG-16 모델의 경우 Top3 47%, Top5 53%의 유사성을 도출하여 ResNet 50 모델의 38%, 46%보다 높은 정확도를 나타냈다(Table 9 참조). 두 모델 VGG-16, ResNet50에서의 정확도 수치값이 1에 가까운 결과를 보였고, 일부 이미지는 5순위(Top5) 범위 내의 분석 이미지가 원본 이미지와는 상이한 결과를 분석하였다. 즉, ‘X100’ 이미지는 448픽셀에서 회색조 이미지와 상이한 이미지(‘X180’)를 선별하였으나 수치상으로는 1에 가까운 높은 결과를 도출하였음을 알 수 있었다(Table 10 참조). 픽셀간 성능 차이에 있어서 224픽셀과 448픽셀은 수치값이 무의미할 정도로 높은 정확도를 보이므로 색채환경이 이미지 유사도 판단에 영향을 주는 것으로 해석할 수 있다
원본 이미지와 회색조 이미지 간의 유사성 비교를 통해 색채가 유사성 평가에 미치는 영향을 살펴보았다. 실험 결과, VGG-16 모델의 448픽셀 환경에서 1순위(Top1)가 전체 556개 이미지 중 67개 이미지를 선별하여 12%의 정확도를 도출하였다. 한편, ResNet50 모델에서는 두 픽셀에서 1-2%의 정확도를 도출하여 낮은 성능 결과를 나타냈다(Table 11). VGG-16 모델에서 원본 이미지가 회색조에 가까운 흑백의 이미지를 띄는 경우, 1-5순위의 이미지는 같은 색채 계열을 선택하는 경향을 보였고, RGB의 색채 계열의 이미지는 그와 유사한 이미지를 선별하는 것을 알 수 있었다. 예를 들어, ‘X6’이미지의 경우 Top1(1순위)-Top5(5순위)에 같은 회색조 계열의 이미지를 선별하였으며, ‘X277’이미지는 같은 RGB이미지를 TOP5(5순위)에 선별하였다(Table 12 참조). 이를 통해 유사성 판단에 색채가 영향을 미치는 것으로 판단된다.
| Model | Original Image | Top1 | Top2 | Top3 | Top4 | Top5 |
|---|---|---|---|---|---|---|
| VGG-16 |
|
|
|
|
|
|
| X6 | X6_회색조 | X18 | X22 | X20 | X17 | |
| 0.879 | 0.866 | 0.864 | 0.847 | 0.834 | ||
|
|
|
|
|
|
|
| X277 | X277_회색조 | X188 | X270 | X258 | X104 | |
| 0.736 | 0.694 | 0.692 | 0.688 | 0.676 |
본 실험 결과를 토대로 전시 정원과 같은 소규모 정원의 유사성 판단을 위한 정량적 측정은 다음과 같은 단계로 설계하였다(Figure 5 참조). DRG 모형의 최적화를 위해 쥬피터 노트북을 통한 통합개발환경을 사용하고, 넘파이, 케라스, 텐서플로우 등의 라이브러리를 이용하여 분석환경을 구축한다. 둘째, 최적화된 결과 도출을 위한 이미지 크기를 448 × 448픽셀의 90dpi로 조율된 이미지를 사용하고 50 × 50cm 바탕에 스케일을 맞춘 이미지 크기로 조정한다. 이때, 딥러닝 기본 색채인 RGB칼라를 사용한다.
정원의 외곽형태가 같은 전시 정원(이하 동일 집단)과 외곽형태가 다른 전시 정원(이하 타 집단)으로 나누어 비교실험을 진행하되, 동일 집단간 비교에서는 데이터 증강과 형태적 특성 비교 실험으로 유사성을 판단하며 타 집단간 비교를 위해서 형태적 특성을 비교하는 방법을 제안한다. 이때, 동일 집단 간 비교실험에서 데이터 증강은 ResNet50 모델을, 그 외 동일 집단과 타 집단간 형태적 특성비교실험에서는 VGG-16 모델을 적용함을 제안한다. 이렇게 적용된 모델은 피어슨 상관 계수를 통해 유사성 일치를 위한 수치값으로 표현된다.
수치 1에 가까울수록 원본 이미지와 유사하다고 판단하며, 본 실험 결과를 통해 0.7 ~ 1 사이에 가까운 수치들이 Top1(1순위)로 도출됨을 알 수 있었다. 그러나 전시정원 평면 이미지는 다양한 형태가 중첩되는 양상을 보이므로 향후 연구에서는 이미지 특성을 고려한 분석이 수반될 필요가 있다.
5. 결론
본 연구는 전시 정원의 유사성 인지를 위한 정량적 방법인 DRG모형을 개발하고 가이드라인을 제시하는데 목적이 있다. DRG모형은 딥러닝 모델 중 CNN기반의 VGG-16과 ResNet50 모델을 활용하여 알고리즘을 구축하였고, 연구를 위한 데이터는 쇼몽가든페스티벌과 서울정원박람회 및 코리아가든쇼의 전시 정원 이미지를 대상으로 하였다.
이를 위한 실험 방법은 전시 정원이 가지는 대상지의 외곽 형태의 영향과 내부 형태 비교로 구분하여 진행하였다. 실험 결과, 외곽 형태가 같은 전체 이미지의 유사성 비교에서는 ResNet50 모델이 Top3 94%, Top5 96%로 VGG-16 모델보다 우수함을 알 수 있었고, 서로 다른 전시 정원의 이미지 분석을 위해 형태에 집중한 필터를 적용한 실험에서는 VGG-16 모델이 Top5 6% 결과를 도출하여 ResNet50 모델의 Top5 2%보다 우수함을 도출하였다. 또한, 외부 및 내부 형태의 변화가 유사성 측정에 영향을 미치며, 이미지 색상이 유사성 판단에 영향을 미치는 것을 알 수 있었다. 이를 기반으로 DRG모형의 가이드라인을 제시하였고, 448픽셀의 90dpi, 원본 색상의 RGB칼라를 기본으로 사용함을 제안하였다. 각 전시정원의 특성으로 구분하여 전체 이미지 비교에서는 ResNet50 모델을, 형태적 특성에 따른 내부 형태의 비교에서는 VGG-16 모델을 사용함이 적합함을 도출하였다.
하지만, 피어슨 상관 계수를 통해 도출한 수치값들의 범위가 실험 환경에 따라 다양하게 나타난 것으로 보아, 단순한 수치값으로는 의미를 명확하게 이해하는데 한계가 있음을 알 수 있었다. 저작권 보호와 개인정보 보호를 위한 데이터의 양적 구성이 연구의 한계로 나타났고 이는 딥러닝 수치 결과에 영향을 줄 수 있을 것이다. 또한, 동일 작가의 작품이 여러 해 수록되어 중복되거나 전시 주제의 유사성에서 오는 결과의 영향 등이 수치값에 영향을 줄 수 있으므로 향후, 구체적인 기준을 통한 심층적인 연구가 진행되어야 할 필요가 있다. 더불어 본 연구는 형태 및 색채의 영향에 한정하여 실험을 하였으므로 향후 식물 소재 및 조형물 등 세부적인 요소의 유사성이 미치는 영향 등에 관한 연구도 진행되어야 할 것이다. 다양한 정보를 함축하고 있는 전시 정원 이미지의 특성으로 인해 오는 결과의 한계를 보완하여 유사성 수치값을 높이기 위한 추가적인 알고리즘 설계도 수반될 수 있을 것이다. 마지막으로 다양한 데이터 셋의 환경에서 오는 추가적인 검증과 실제 전시 정원 공모 과정에 적용하여 DRG모형의 실용성을 검증해 볼 필요가 있을 것이다.
DRG모형은 유사성 판단의 객관적 기준을 확립하기 위한 기초 작업으로써 의미가 있다, DRG모형을 활용하여 색채 환경 및 형태적 특성과 같은 유사성에 관한 분석에 대한 높은 이미지 그룹을 추출할 수 있을 것이며, 유사성 판단에 대한 차후 연구를 위한 1차적 필터링 역할을 할 수 있을 것이다. 이를 통해 전시정원의 공모전에서 참가작품을 공평하게 평가하는 메커니즘을 마련할 수 있을 것으로 기대한다.
