마벨 테크놀로지(Marvell Technology·$MRVL)가 최근 발표한 260레인 CXL 스위치 'Structera S 30260'를 통해 AI 인프라의 메모리와 스토리지 병목 현상을 해소하기 위한 새로운 전략을 제시했다. 대규모 언어 모델(LLM)의 처리량 증가로 인해 데이터센터의 부담이 단순한 연산 성능을 넘어서 메모리 용량, 대역폭 및 데이터 이동 구조로 확대되고 있다. 이러한 변화를 해결하기 위해 마벨은 CXL 스위치를 통해 다음 단계의 아키텍처 변화를 준비하고 있다.

마벨은 3월 17일, 전시회의 일환으로 개최되는 '퓨처 오브 메모리 앤드 스토리지 2026'(Future of Memory and Storage 2026)에서 AI 인프라에 대한 메모리 및 스토리지 혁신을 주제로 발표할 예정이다. 이번 일정에서는 '확장 가능한 AI 인프라를 위한 데이터 스토리지 혁신', '메모리 중심 시대: CXL과 확장 가능한 AI 인프라의 미래', 그리고 '범용 CXL-PNM: 메모리 집약형 AI 워크로드의 메모리 월 돌파'와 같은 심도 있는 주제들이 다뤄질 예정이다.

주요 초점은 ‘AI 메모리 월의 돌파’로, LLM의 크기 증가와 길어지는 컨텍스트 윈도로 인해 저장해야 할 이전 문맥의 양이 증가하고 있다. 이를 위해 필요한 데이터인 KV 캐시는 AI 모델이 대화나 문맥 정보를 재계산하지 않도록 돕는다. 이 데이터는 추론의 속도와 비용을 직접적으로 불리한 영향을 미치므로, 처리량을 증대시키기 위한 조치가 필수적이다.

Structera S 30260은 랙 단위 메모리 풀링을 지원하며, 최대 48테라바이트의 공유 메모리를 통해 CPU, GPU 및 XPU와 같은 가속기가 서버 외부의 분리형 메모리 자원에 접속할 수 있도록 설계됐다. CXL 3.0을 지원하며 최대 집계 대역폭은 초당 4테라바이트에 이른다. 마벨의 데이터센터 스위치 사업부 부사장 리시 처그(Rishi Chugh)는 “AI 메모리 월을 돌파하려면 메모리를 고정된 자원이 아닌 공유 가능한 자원으로 전환해야 한다”고 강조했다.

마벨의 테스트 결과, 16테라바이트의 메모리 풀을 GPU 8개와 CPU 서버 2개가 공동으로 사용했을 때, 추론 처리량은 4.8배로 개선되었고, 첫 토큰 생성 시간은 82.7% 단축되었다. 이처럼 메모리의 효율적 운영이 AI 인프라의 성능을 크게 향상시킬 수 있음을 보여준다.

또한, 스토리지 부분에서도 엔비디아($NVDA)가 블루필드-4 기반 CMX 컨텍스트 메모리 스토리지 플랫폼을 통해 긴 문맥 추론을 위한 KV 캐시에 플래시 기반의 저장 계층을 도입하고 있다. 엔비디아 측은 긴 문맥과 에이전트형 워크로드를 통해 초당 토큰 처리량과 전력 효율성을 최대 5배까지 향상시키는 것을 목표로 하고 있다.

마벨은 엔비디아와의 협력을 통해 AI 인프라의 발전에 기여하고 있으며, 3월 31일 NVLink Fusion을 기반으로 AI 팩토리 및 AI-RAN 생태계에서의 협력도 발표한 바 있다. 이를 통해 두 회사는 실리콘 포토닉스 기술에서도 협업하기로 했다.

이번 발표는 가상자산이나 토큰 발행 관련 정보보다도, AI 데이터센터에서 필요로 하는 반도체, 메모리 및 스토리지 인프라에 초점을 맞추고 있다. 비트코인 채굴 기업들이 자신들의 기존 전력을 활용해 AI 및 고성능 컴퓨팅으로 사업을 확장하는 경향과는 차별화된 방향이다. 그러나 특정 가상자산 가격이나 토큰 수요와의 연관성은 명확히 밝혀지지 않았다.

Structera S 30260의 고객 샘플링은 2026년 3분기에 시작될 예정이다. 한편, 기존의 Structera S 20256 CXL 2.0 스위치는 이미 생산 단계에 있다.