한양대 컴퓨터소프트웨어학부 서지원 교수 연구팀이 최근 딥러닝 모델을 효율적으로 학습하는 알고리즘을 개발하였다. 해당 기술은 딥러닝 모델 학습에서 사용되는 드롭아웃(Dropout) 알고리즘을 개선한 ‘자이로 드롭아웃(Gyro Dropout)’ 이라는 기술로 모델의 일반화를 높이도록 학습하여 추론 정확도를 높이는 기술이다.

기존의 드롭아웃 알고리즘은 딥러닝 모델의 서브 네트워크들을 랜덤하게 학습하여 이들의 합집합으로 이루어진 전체 네트워크의 정확도를 높이도록 학습을 한다. 그 과정에서 각 서브 네트워크들은 한번 씩만 학습이 된다. 서 교수 연구팀은 서브 네트워크 하나의 학습 횟수를 늘리고 학습되는 서브 네트워크의 개수를 줄였을 때에 학습 효율과 일반화 성능이 높아지는 것을 확인하고, 이를 최적화하는 자이로 드롭아웃 알고리즘을 설계하였다.

서 교수 연구팀은 자이로 드롭아웃 알고리즘을 적용하여 알렉스넷(AlexNet), 레즈넷(ResNet) 등의 컴퓨터 비전 모델과 버트(BERT) 등의 자연어 처리 모델의 성능이 향상됨을 실험으로 밝혀냈다. 또한 자이로 드롭아웃을 적용할 때에 그래픽 처리 장치(GPU)에서 드롭아웃 되는 뉴런들의 계산을 효율적으로 생략할 수 있는 자이로 드롭아웃의 변형 알고리즘도 설계하였으며, 이를 적용하였을 때에 딥러닝 모델의 학습 속도를 최대 30% 향상시킬 수 있음을 입증했다.

서 교수 연구팀은 자이로 드롭아웃 알고리즘과 관련 연구 결과를 머신러닝 시스템 분야의 우수 학술대회인 MLSys에서 발표하였다. 발표 직후, 실리콘밸리 기반 스타트업 MosaicML에서 연구 결과에 관심을 보였고 협업을 제안하였다. MosaicML은 인공지능 학습을 쉽고 편리하게 수행할 수 있는 오픈소스 소프트웨어 ‘컴포저(Composer)’와 클라우드 플랫폼을 제공하는 기업이다.

서지원 교수와 연구팀의 석/박사과정 학생인 이준열, 박기현 학생은 MosaicML과 협업하여 자이로 드롭아웃 알고리즘을 MosaicML의 오픈소스 시스템인 컴포저 버전 0.12에 공개하였다.