활성화 함수의 근사화 오차가 Denoising Diffusion Implicit Models의 추론 성능에 미치는 영향 분석

Abstract

디퓨전 모델은 높은 계산 자원을 요구해 자원 제한적인 환경에서 사용이 어렵다는 한계점이 있다. 특히, 복잡한 연산이 요구되는 Swish 같은 비선형 활성화 함수는 양자화, 뉴로모픽 컴퓨팅 등 저전력 인공지능 기술의 적용에 걸림돌이 되고 있다. 이를 해결하기 위한 첫 단계로써 본 논문은 활성화 함수의 근사화 오 차가 디퓨전 모델에 미치는 영향을 알아본다. Denoising diffusion implicit model (DDIM)을 사용하였으 며, 디퓨전 모델에서 주로 사용되는 Swish 함수의 입력 구간을 나누어 노이즈를 주입해 추론 성능을 분 석하였다. 이러한 실험을 통해 Swish 함수를 근사화할 때 근사화 에러에 취약한 부분을 파악할 수 있었 다. 이 연구의 결과는 자원 제한적인 환경에서 디퓨전 모델을 활용하기 위한 여러 연구에 도움을 줄 수 있을 것으로 기대한다.