GPU-unlock으로 RTX 30의 AI 성능도 2배 빨라질까?

2배의 대상은 특정 연산의 명령 발행 속도다

Zagitta의 GPU-unlock은 GA102·GA103·GA104·GA106 칩에서 FP16·BF16 입력을 사용하고 FP32로 누산하는 연산의 명령 발행 속도를 두 배로 높인다고 설명한다. 누산은 곱셈 결과를 더해 가는 과정이다. 이 주장의 대상은 GPU가 특정 연산 명령을 처리하는 속도다.

프로젝트가 설명하는 동작 시점은 NVIDIA 드라이버가 GPU를 사용하기 전이다. Linux 커널 모듈이 초기 부팅 단계에서 설정을 바꾸고 GPU를 리셋한 뒤 일반 드라이버가 연결된다. 게임이나 AI 앱 안에서 켜는 성능 옵션과는 다르다.

3090 Ti의 BF16은 약 80%, FP16은 약 35% 늘었다

README가 인용한 applepines의 RTX 3090 Ti 실험은 전력 한도 450W, 8192³ 크기의 밀집 행렬 곱셈, FP32 누산, 5회 측정의 중앙값이라는 조건을 명시한다.

증가율은 공개된 전후 수치로 계산한 값이다. 이 표의 원 실험에는 수정한 NVIDIA 610.43.02 드라이버와 별도의 초기 부팅 훅이 쓰였다. 현재 프로젝트가 일반 드라이버와 동작한다고 설명하더라도, 표의 실험 조건까지 현재 배포본의 기본 환경으로 바뀌는 것은 아니다.

같은 카드에서도 입력 정밀도에 따라 증가율이 다르다. TFLOPS는 해당 행렬 연산의 처리량이므로, 이 수치를 곧바로 챗봇 응답 속도나 이미지 생성 시간으로 바꿀 수는 없다.

입력을 읽는 속도와 답을 쓰는 속도를 나눠 본다

NVIDIA의 추론 최적화 설명에서 프리필은 입력 토큰을 병렬로 처리해 첫 새 토큰에 필요한 상태를 만드는 단계다. 디코드는 이후 토큰을 하나씩 생성하는 단계로, 메모리에서 데이터를 옮기는 속도가 중요한 병목이 된다.

차이는 사용자 보고에서도 보인다. robertoetcheverryr의 Zotac RTX 3090·350W 환경에서는 16k 프롬프트 처리량이 초당 2594토큰에서 3009토큰으로 늘었다. 같은 보고의 16k 디코드 속도는 초당 96.8토큰에서 97.2토큰으로 거의 같았다.

이 수치는 한 사용자가 전날 기준값과 해제 후 결과를 비교한 사례다. 4k 프롬프트 처리도 거의 같았다고 보고했다. 따라서 긴 입력을 처리하는 시간이 문제인지, 답변 토큰을 생성하는 시간이 문제인지부터 구분해야 성능 개선이 자신의 작업에 의미가 있는지 판단할 수 있다.

unlocked 로그만으로 성능 향상을 확정할 수 없다

GA102-250 기반 RTX 3080 Ti 20GB OEM 카드의 보고는 해제 과정과 설정 유지가 확인됐는데도 BF16 처리량이 늘지 않았다고 설명한다. 해당 보고는 일반 소매용 12GB 모델과 다른 카드임을 명시한다. 같은 제품군 이름만으로 결과를 묶으면 안 되는 사례다.

보고자가 제시한 하드웨어 퓨즈 관련 원인은 가설이다. 확인된 보고 내용은 해당 카드에서 설정 변경이 곧 성능 증가로 이어지지 않았다는 것이다.

부팅 순서도 조건이다. 프로젝트 문서상 이미 NVIDIA 드라이버가 연결된 카드에는 부팅 후 모듈을 수동으로 올려도 효과가 없다. 도입 여부를 판단할 때는 카드 식별 정보, 실제 연산 결과, 초기 부팅 적용 상태를 각각 봐야 한다.

자주 묻는 질문

판단 기준은 ‘해제 성공’ 표시보다 자신의 작업에서 줄어든 시간이다. 같은 카드·전력 조건에서 입력 처리와 출력 생성을 나눠 비교해야 변화의 의미를 알 수 있다.