박사과정 박병준 연구원(지도교수 한동석)이 제1저자로 참여한 논문 “Hypercube Neural Topologies: Enhancing Depth Efficiency and Gradient Flow in Deep Networks”이 인공지능 이론 및 방법론 분야의 저명 국제 학술지인 IEEE Transactions on Neural Network and Learning Systems에 게재됐다. 해당 학술지는 Impact Factor 9.7, JCR 상위 2.5%에 해당하는 국제 저명 학술지로, 신경망 이론, 기계학습 알고리즘, 지능형 시스템 설계 등 인공지능 핵심 분야의 선도적 연구를 다루는 권위 있는 학술지이다.

본 연구는 초심층 인공지능 모델을 보다 안정적이고 효율적으로 학습시키기 위한 새로운 설계 방법론을 제안했다. 일반적으로 딥러닝 모델은 층을 깊게 쌓을수록 복잡한 표현을 학습할 수 있지만, 모델이 지나치게 깊어질 경우 학습 신호가 약해지거나 정보 전달이 불안정해져 성능 향상으로 이어지지 못하는 한계가 있다. 연구팀은 이러한 문제를 신경망 배치 구조 자체에서 해결하기 위해 초입방체(hypercube) 토폴로지를 딥러닝 아키텍처에 도입하였다. 기존 신경망이 계산 경로를 하나의 길고 순차적인 구조로 구성하는 데 초점을 두었다면, 본 연구는 여러 방향으로 균형 있게 연결된 초입방체 구조를 통해 정보와 학습 신호가 더 짧고 다양한 경로로 전달되도록 설계했다. 그 결과, 추가적인 파라미터나 연산량 증가 없이도 매우 깊은 신경망에서 안정적인 학습이 가능함을 확인하였다.

이번 성과는 인공지능 모델을 단순히 더 크게 만드는 기존의 접근을 넘어, 모델 구조를 어떻게 설계해야 더 효율적이고 안정적인 학습이 가능한가에 대한 새로운 원천 기술을 제시했다는 점에서 의미가 크다. 특히 제안된 초입방체 기반 구조는 과적합을 크게 완화하고, 데이터양 대비 적절한 모델 규모를 설계해야 하는 딥러닝 개발 과정의 부담을 줄일 수 있는 가능성을 보였다.

또한 본 연구에서 제안한 구조는 명시적인 잔차 연결(residual connection)에 의존하지 않고도 우수한 수치적 견고성을 나타냈으며, 기존 아키텍처가 수렴에 실패할 수 있는 저정밀도 부동소수점 연산 환경에서도 안정적인 학습 가능성을 유지한다. 이는 향후 대규모 인공지능 모델의 효율적 학습, 저전력 온디바이스 AI, 임베디드 비전 시스템, 실시간 지능형 시스템 등 다양한 분야로 확장될 수 있을 것으로 기대된다.

* 논문 링크

https://ieeexplore.ieee.org/document/11570843

* 지능신호처리 연구실 (iSPL) 홈페이지

https://sites.google.com/view/wilco/