Cerebras는 44GB 칩에 조 단위 AI 모델을 어떻게 나눠 담을까?

한 칩의 용량을 넘으면 계층을 나눠 배치한다

Cerebras는 온칩 메모리가 44 GB인 WSE-3T 여러 개에 모델의 계층을 나눠 배치한다고 설명한다. 중간 계산값은 다음 웨이퍼로 전달한다.

회사는 Kimi K3를 약 3조 파라미터로 놓고 4비트 가중치, 8비트 KV 캐시, 평균 256k 요청 길이를 가정했다. 선형 어텐션 69개 계층은 두 개씩 배치해 웨이퍼 35개가 필요하다. KV 캐시 공간을 남겨야 하는 전체 어텐션 24개 계층은 하나씩 배치해 총 59개를 계산했다.

가중치만 산술적으로 계산하면 3조 × 4비트 ÷ 8 = 1.5 TB다. 이를 93개 계층으로 나누면 평균 약 16.1 GB다. 이 값에는 요청별 캐시와 다른 실행 메모리가 포함되지 않으므로, 전체 용량을 44 GB로 단순히 나눈 몫만으로 필요한 칩 수를 정할 수 없다.

모델 카드의 총 파라미터는 2.8조다

Moonshot AI의 Kimi K3 모델 카드는 총 파라미터를 2.8T, 토큰당 활성 파라미터를 104B로 표기한다. 총량은 약 2조 8,000억, 활성량은 1,040억이다. Cerebras 설명의 ‘약 3조’는 계산 예시를 위한 규모 표현이다.

MoE 모델에서 일부 파라미터만 활성화된다는 사실과 전체 가중치를 저장하는 문제는 별개다. 활성 파라미터 수만으로 전체 가중치의 저장량을 계산하면 필요한 메모리를 과소평가하게 된다.

웨이퍼 59개는 서버 59대를 뜻하지 않는다

CS-4 제품 설명은 시스템 하나에 WSE-3 Turbo 세 개가 들어간다고 명시한다. 또한 칩을 같은 랙 안이나 다른 랙에 연결할 수 있는 I/O 구조를 설명한다. 모델 배치의 단위인 웨이퍼와 판매 시스템의 단위를 구분해야 하는 이유다.

CS-4는 연산·전원·I/O를 나눠 구성한 Nexus 플랫폼을 사용한다. 각 웨이퍼 패키지에는 전원 변환, 직접 수랭, 고속 I/O와 제어 전자장치가 함께 들어간다. 따라서 칩 개수만으로 구매할 서버 수나 데이터센터 설치 비용까지 확정할 수는 없다.

메모리에 들어간다는 계산과 응답시간 측정은 다르다

Cerebras의 전용 추론 Metrics 문서는 요청·토큰·지연시간을 별도로 제공한다. 첫 토큰이 도착하기까지의 시간인 TTFT도 지연시간 지표다. p95 TTFT가 0.5초라면 요청의 95%가 0.5초 안에 첫 토큰을 받았다는 뜻이지, 답변 전체가 그 시간에 끝났다는 뜻은 아니다.

해당 API는 전용 추론 고객을 대상으로 직전 완료된 1분의 데이터를 집계한다. 실제 서비스 도입을 판단할 때는 모델을 적재할 수 있는지와 별도로, 사용할 요청 길이에서 첫 응답이 얼마나 빨리 도착하는지 확인해야 한다.

자주 묻는 질문

이 계산을 장비 선택에 활용하려면 전체 가중치, 계층별 여유 공간, 실제 시스템 구성, 요청 지연을 순서대로 구분해야 한다.