트랜스포머 아키텍처의 혁신: 내부 ‘되새김질’ 메커니즘을 통한 HBM 효율화

트랜스포머 아키텍처의 혁신: 내부 ‘되새김질’ 메커니즘을 통한 HBM 효율화

2025년 2월 25일 최근 메릴랜드 대학교 연구팀이 제안한 새로운 트랜스포머 아키텍처는 기존 대규모 언어 모델(LLM)의 메모리 사용 패러다임을 근본적으로 변화시켰습니다. 이 접근법은 체인 오브 쏘트(Chain-of-Thought, CoT)의 외부 언어화 과정을 제거하고, 레이턴트 스페이스 내부에서 반복적인 ‘되새김질’ 연산을 수행함으로써 HBM 메모리 사용량을 기존 대비 90% 이상 감소시켰습니다. 35억 파라미터 모델에서 48GB의 캐시 데이터를 4.8GB로 압축한 사례는 하드웨어 제약 환경에서의 LLM 배포 가능성을 열었다는 점에서 주목할 만합니다.

기존 트랜스포머 아키텍처의 메모리 한계

레이어별 캐시 누적 문제

전통적인 트랜스포머는 12~24개의 레이어로 구성되며, 각 레이어마다 독립적인 키-밸류(KV) 캐시를 생성합니다. 1.5B 파라미터 모델 기준 레이어당 1GB의 캐시가 필요할 경우, 24레이어 구조에서는 24GB의 HBM 용량이 전적으로 캐시 저장에 소모됩니다. 이는 모델 파라미터 저장에 필요한 메모리(약 3GB FP16 기준)를 월등히 초과하는 수치로, GPU 간 통신 대역폭의 70% 이상이 캐시 동기화에 사용되는 주요 원인으로 작용했습니다.

체인 오브 쏘트의 역설적 부작용

CoT 기법은 복잡한 추론 과제에서 23%의 정확도 향상을 가져오지만, 부가적인 텍스트 생성으로 인해 문맥 길이가 4.7배 증가하는 문제가 발생합니다. 이는 레이어 수(n)와 문맥 길이(L)에 선형적으로 증가하는 메모리 요구량(O(nL))을 갖는 트랜스포머 구조상 치명적인 오버헤드로 작용하며, 8K 토큰 문맥 처리 시 48GB HBM을 초과하는 현상을 유발합니다.

신형 아키텍처의 기술적 혁신

리커런트 블록 설계

새로운 아키텍처는 프리루(Pre-LU) 모듈을 통해 입력을 768차원의 레이턴트 벡터로 변환한 후, 단일 리커런트 블록을 최대 128회 반복 적용합니다. 각 반복 주기에서 캐시 슬롯은 기존 트랜스포머의 레이어별 누적 방식이 아닌 고정 위치 덮어쓰기(overwrite) 방식을 채택, 24레이어 구조 대비 48:1의 메모리 효율 개선을 달성했습니다.

동적 캐시 관리 알고리즘

롤링 KV 캐시(rolling KV cache) 메커니즘은 슬라이딩 윈도우 어텐션과 결합되어 최신 512토큰의 문맥만을 유지합니다. 쓰기 포인터는 순환 버퍼(circular buffer) 방식으로 관리되며, 0.87의 마스킹 임계값을 적용해 과거 토큰의 점진적 폐기 전략을 구현합니다. 이는 8K 토큰 처리 시 기존 614MB에서 38MB로의 메모리 감소를 가능케 합니다.

성능 평가 및 실무적 적용

계산-통신 오버헤드 감소

H100 GPU 8개를 활용한 분산 학습 환경에서, 신형 아키텍처는 3.2TB/s의 GPU 간 통신 대역폭을 420GB/s로 감소시켰습니다. 이는 All-to-All 통신 패턴을 전문가 모듈당 4개의 타겟 GPU로 제한함으로써 달성된 결과로, 92%의 통신량 감소 효과가 있습니다.

실제 과제 성능

GSM8K 수학 문제 해결 과제에서 3.5B 파라미터 모델은 8회 반복 시 47.2% → 58.6%의 정확도 향상을 보였으며, 이는 175B 규모 모델 대비 82%의 성능 달성에 해당합니다. 특히 FP8 양자화를 적용한 KAIST의 상보형 트랜스포머 칩과 결합 시, 625배의 전력 효율 개선(400mW 기준)과 0.4초 대응 속도를 확인할 수 있었습니다.

관련 기술 심화 분석

KV 캐시 최적화 기법

vLLM 프레임워크의 페이지드 어텐션(paged attention)은 GPU 메모리를 4KB 페이지 단위로 관리하며, 불연속 메모리 영역에 분산 저장된 KV 캐시를 효율적으로 접근합니다. 이 기법은 Hugging Face의 연속 메모리 할당 방식 대비 3.2배의 메모리 활용도 향상을 제공합니다.

트랜스포머의 진화 방향

최신 연구 동향은 MoE(Mixture of Experts) 구조와 결합된 하이브리드 방식을 지향합니다. DeepSeek-V3는 16개의 전문가 모듈을 두되, 토큰당 4개의 전문가만 활성화하는 전략으로 계산-통신 중복을 72% 감소시켰습니다. 또한 ZeRO-3 최적화 기법을 통해 1.2TB 모델의 학습을 256 GPU 클러스터에서 가능하게 했습니다.

결론 및 산업적 영향

이 기술 혁신은 엔비디아 H100 시리즈의 HBM3e 수요를 장기적으로 40% 감소시킬 전망입니다. 클라우드 인프라 측면에서 100억 파라미터 모델의 추론 비용을 $0.003/1k 토큰 수준으로 낮출 수 있으며, 엣지 디바이스에서의 LLM 구동 가능성을 3년 앞당길 것으로 예상됩니다. 향후 연구과제로는 양자화 저항성 개선(현재 8비트에서 12.7% 정확도 손실)과 다중 모달 확장성이 주목받고 있습니다.