모델 사이즈를 고려한 효율적인 신경망 아키텍처 탐색 방법

Abstract

최적의 아키텍처를 찾는 과정을 자동화해주는 NAS는 방대한 양의 연산을 필요로 하기 때문에 시간이 오래 걸린다. 이를 줄이기 위해 본 논문에서는 신경망 모델의 크기가 제한되어 있을 때 이를 초과하면 학습하지 않고 정해진 정확도의 점수를 부여하는 방법을 제안한다. Autokeras를 이용하여 DNNs 아키텍처를 Random, Bayesian, Greedy 서치 알고리즘에 따라 탐색한 후 각각의 성능을 평가하였다. 실험 결과 기존 NAS보다 전반적인 시간 소요가 크게 감소했다. Greedy에서 정확도가 가장 높게 나왔으며 Random에서 가장 짧은 수행 시간을 보였다. 이 방법은 NAS를 더 빠르고 효율적으로 수행할 수 있음을 보여준다.