H100

트랜스포머 아키텍처의 혁신: 내부 ‘되새김질’ 메커니즘을 통한 HBM 효율화2025년 2월 25일 최근 메릴랜드 대학교 연구팀이 제안한 새로운 트랜스포머 아키텍처는 기존 대규모 언어 모델(LLM)의 메모리 사용 패러다임을 근본적으로 변화시켰습니다. 이 접근법은 체인 오브 쏘트(Chain-of-Thought, CoT)의 외부 언어화 과정을 제거하고, 레이턴트 스페이스 내부에서 반복적인 ‘되새김질’ 연산을 수행함으로써 HBM 메모리 사용량을 기존 대비 90% 이상 감소시켰습니다. 35억 파라미터 모델에서 48GB의 캐시 데이터를 4.8GB로 압축한 사례는 하드웨어 제약 환경에서의 LLM 배포 가능성을 열었다는 점에서 주목할 만합니다.기존 트랜스포머 아키텍처의 메모리 한계레이어별 캐시 누적 문제전통적인 트랜스..