
추론 비용은 18개월 만에 280분의 1이 됐지만(AI Index 2025) 데이터센터 전력은 2030년까지 2배로 늘어난다(IEA). 총소유비용(TCO) 항목별 해부, 프리필·디코드 병목, KV 캐시 산식과 70B 모델 실계산, Orca·vLLM·추측 디코딩의 실증 수치까지 — 같은 GPU에서 단가가 5배 벌어지는 구조를 문헌 근거로 짚었다. 토큰노믹스 특집 1/3.
서론 — 반대로 달리는 두 개의 곡선
인공지능(AI) 추론 비용이 가파르게 떨어지고 있다. 스탠퍼드대 인간중심AI연구소(HAI)가 발간한 'AI Index 2025'에 따르면, GPT-3.5급 성능(MMLU 64.8점)을 내는 모델의 추론 비용은 2022년 11월 100만 토큰당 20.00달러에서 2024년 10월 0.07달러(제미나이-1.5-플래시-8B 기준)로 낮아졌다. 18개월 만에 280분의 1 수준이 된 셈이다. 보고서는 같은 기간 AI 하드웨어 비용이 연 30%씩 하락하고 에너지 효율은 연 40%씩 개선된 점을 배경으로 꼽았다.
반대 방향의 곡선도 있다. 국제에너지기구(IEA)는 '에너지와 AI(Energy and AI)' 보고서에서 전 세계 데이터센터 전력 소비가 2024년 415테라와트시(TWh)에서 2030년 약 945TWh로 2배 이상 증가할 것으로 내다봤다. 연평균 15% 증가율로 여타 부문 전력 수요 증가 속도의 4배를 웃돌며, 2030년에는 세계 전력 소비의 3%에 이른다는 전망이다. 성장의 최대 동인으로는 AI가 지목됐다.
단가는 급락하는데 총투입은 급증한다 — 효율 개선이 오히려 총사용량 확대로 이어지는 이른바 '제번스의 역설(Jevons paradox)'이 AI 인프라에서 재연되고 있다는 분석이다. 산업 전체로는 수요 확대의 신호지만, 개별 사업자의 사정은 다르다. 시장 가격이 280분의 1로 떨어지는 동안 자사 클러스터의 생산 원가가 같은 속도로 내려가지 않았다면, 그 격차는 곧 수익성 악화로 직결된다.
이번 특집이 출발점으로 삼는 질문이다. 토큰 생산원가(cost-per-token)는 무엇으로 구성되며, 각 항목은 무엇이 결정하는가. 이번 편에서는 원가를 분자와 분모로 해부한다. 서빙 소프트웨어의 정량 효과와 온프레미스-API 간 손익분기점(BEP) 분석은 다음 편에서 다룬다.
프레임 — 산식과 용어
100만 토큰당 원가 = 시간당 총소유비용(TCO) ÷ (실효 처리량 tokens/s × 3,600) × 10^6글로벌 GPU 클라우드 원가 분석(세미애널리시스의 AI TCO 모델 등)이 공통적으로 사용하는 틀 역시 이 나눗셈이다. 분자는 시간당 인프라 총비용, 분모는 해당 시간에 실제 산출한 토큰 수다. 논의에 필요한 용어를 정리하면 다음과 같다.
용어 | 정의 | 의미 |
|---|---|---|
TTFT (첫 토큰 지연) | 요청 후 첫 토큰까지 걸리는 시간 — 프리필 성능 | 대화형 서비스의 체감 품질을 좌우 |
TPOT (토큰 간 지연) | 이후 토큰 사이의 간격 — 디코드 성능 | 생성 속도 체감, 배칭과 직결 |
MFU (모델 연산 활용률) | 이론 연산 성능 대비 모델 연산에 실제 사용된 비율 | 하드웨어 투자 대비 연산 회수율 |
MBU (대역폭 활용률) | 이론 메모리 대역폭 대비 실사용 비율 | 디코드 구간 효율의 척도 |
굿풋(goodput) | 지연 조건(SLA)을 지키며 낸 유효 처리량 | SLA 위반 토큰은 산출이 아닌 낭비 |
가동률(utilization) | 전체 시간 중 GPU가 유효 작업에 쓰인 비율 | 유휴 시간에도 비용은 계속 발생 |
단가를 낮추는 경로는 두 가지뿐이다. 분자(시간당 비용)를 줄이거나, 분모(실효 처리량)를 키우는 것이다. 결론부터 말하면, 분자는 구매·계약 시점에 대부분 고정되는 반면 분모는 일상 운영이 결정하며, 사업자 간 격차의 대부분은 분모에서 발생한다는 것이 업계 분석의 공통된 결론이다.
Ⅰ. 분자 — 시간당 총소유비용(TCO)의 해부
1. GPU 서버 자본비용 — 감가상각의 시계
8-GPU 노드 구매가를 내용연수로 나누면 시간당 감가상각비가 산출된다. 실무 쟁점은 세 가지로 요약된다.
내용연수 가정 — 서버 회계 수명은 통상 4~6년이며, 글로벌 하이퍼스케일러들은 최근 수년간 수명 연장(4→5→6년)으로 감가상각 부담을 낮춰 왔다. 다만 GPU는 일반 서버와 달리 세대교체(호퍼→블랙웰 등)가 상품성을 좌우한다. 신형이 토큰당 전력 효율을 크게 개선하면 구형은 장부상 수명이 남아도 '경쟁 수명'이 먼저 끝난다는 지적이 나온다.
잔존가치와 재배치 — 최신 워크로드에서 밀려난 GPU를 사내 배치 추론·실험용으로 돌릴 수 있는 조직은 실효 내용연수를 늘려 단가를 낮춘다. 재배치 역량 자체가 원가 경쟁력인 셈이다.
서버 외 자본비용 — GPU 간 초고속 연결망(인터커넥트·스위치·광모듈)과 고성능 스토리지는 클러스터 규모가 커질수록 총자본비용에서 상당한 비중을 차지한다.
2. 전력과 냉각 — 전력사용효율(PUE)은 재무 지표다
시간당 전력비 = IT 부하(kW) × PUE × 전기요금(원/kWh)전력사용효율(PUE)은 IT 장비가 1와트(W)를 쓸 때 시설 전체가 몇 W를 소비하는지를 나타내는 지표다. 업타임인스티튜트의 2025년 글로벌 데이터센터 서베이에서 응답 시설의 가중평균 PUE는 1.54로 6년째 사실상 제자리걸음을 했다. 하이퍼스케일 신축 시설이 1.1 안팎을 달성하는 것과 대비하면, 같은 IT 부하에서 시설 전력을 약 40% 더 쓰는 격차다((1.54−1.10)÷1.10≈40%). 전기요금이 총비용의 두 자릿수 비중을 차지하는 GPU 팜에서 이 차이는 그대로 토큰 단가에 반영된다.
냉각 비용은 이중적이다. 운영 전력으로서의 냉각은 PUE에 반영되지만, 고밀도 랙의 액체냉각 전환은 별도의 설비투자다. 공랭이 감당하던 랙당 수십 kW 수준을 최신 GPU 랙이 넘어서면서, 칩 직결 수냉(direct-to-chip)과 리어도어 열교환기가 신축 AI 데이터센터의 기본 사양으로 자리 잡는 추세다. 냉각 방식이 랙 밀도를, 랙 밀도가 상면 효율을, 다시 그것이 비용을 결정하는 연쇄 구조다.
IEA의 2030년 945TWh 전망이 시사하는 바는 분명하다. 전력은 이미 AI 인프라의 1차 제약 조건이며, PUE·랙 밀도·전력 조달 계약은 시설 부서의 지표가 아니라 최고재무책임자(CFO)의 지표가 됐다는 평가다.
3. 상면·인력·자본조달 비용
상면 비용 — 코로케이션 임차 또는 자가 시설 감가상각. 고밀도화가 진행될수록 kW당 과금 구조로 이동하는 추세다.
운영 인력·유지보수 — 규모의 경제가 크게 작동하는 항목이다.
자본조달 비용 — 수백억~수천억 원대 선투자에 따르는 이자·기회비용. 금리 환경이 토큰 단가에 스며드는 경로다.
4. 시간당 TCO 합산 — 가정 예시
비용 구조를 보이기 위한 가상의 예시다(특정 제품·시장 가격이 아니다). 8-GPU 노드 1대 기준 항목별 시간당 비용 비중을 합산하면 다음과 같은 구성이 된다.
항목 | 산정 방식(가정) | 비중(예시) |
|---|---|---|
서버 감가상각 | 노드 구매가 ÷ 5년(약 4만3,800시간) | 약 46% |
전력·냉각 | 노드 10kW × PUE 1.3 × 전기요금 | 약 25% |
네트워크·스토리지 | 클러스터 자본비용 배분 | 약 12% |
상면·운영 인력 | kW 과금 + 인건비 배분 | 약 10% |
자본조달 비용 | 가중평균자본비용(WACC) 반영 | 약 7% |
비중은 시설·계약 조건에 따라 달라지지만 두 가지 경향은 일반적이다. 감가상각과 전력이 총비용의 3분의 2 안팎을 차지하며, 전력 비중은 GPU 세대가 올라갈수록 커진다. 분자에서 운영자가 당장 움직일 수 있는 지렛대는 PUE·전력 계약·수명 연장 정도이고, 나머지는 구매 시점에 사실상 확정된다.
Ⅱ. 분모 — 실효 처리량, 세 겹의 손실을 통과한다
1. 추론의 두 단계 — 프리필과 디코드의 병목은 다르다
트랜스포머 추론은 성격이 다른 두 단계로 나뉜다(Pope et al., 2022).
프리필(prefill·프롬프트 처리) — 입력 토큰 전체를 병렬 처리한다. 행렬곱이 지배하는 연산 병목 구간으로, 첫 토큰 지연(TTFT)을 결정한다.
디코드(decode·토큰 생성) — 토큰을 하나 만들 때마다 모델 가중치 전체와 KV 캐시를 메모리에서 읽어야 한다. 연산량은 적고 데이터 이동이 지배하는 메모리 대역폭 병목 구간으로, 토큰 간 지연(TPOT)을 결정한다.
연산 강도(arithmetic intensity) 관점에서 배치 크기 1의 디코드는 읽어온 데이터 대비 연산이 극히 적어, 수백 테라플롭스(TFLOPS)급 연산 유닛이 대역폭을 기다리며 노는 상태가 된다. 배치를 키워 한 번의 가중치 읽기로 여러 요청의 토큰을 동시에 생성하는 것이 디코드 효율의 본질이며, KV 캐시와 배칭이 단가 논의의 중심에 놓이는 이유다.
2. KV 캐시 — 배치 확대를 가로막는 메모리 장벽
KV 캐시는 생성 중인 각 요청이 그동안 처리한 모든 토큰의 키(key)·값(value)을 보관하는 메모리다. 크기는 다음 산식으로 근사된다.
토큰당 KV 바이트 ≈ 2(K,V) × 층수 × KV헤드 수 × 헤드 차원 × 자료형 바이트공개 아키텍처 기준의 근사 예시를 들면, 80층·KV 헤드 8개(GQA)·헤드 차원 128의 70B급 모델을 FP16으로 서빙할 경우 토큰당 약 2×80×8×128×2바이트, 즉 약 320KB가 필요하다. 8K 컨텍스트 요청 하나가 약 2.6GB를 점유하고, 배치 32면 KV 캐시만 80GB급 — GPU 한 장의 고대역폭메모리(HBM)를 KV 캐시가 잠식해 배치를 더 키우지 못하는 상황이 실제로 발생하는 배경이다. KV 헤드 수를 줄인 GQA(Ainslie et al., 2023)가 이 장벽을 낮췄고, KV 캐시 양자화와 프리픽스 공유가 그 위에 더해진다.
시스템 차원의 낭비도 크다. vLLM 논문(Kwon et al., 2023)의 측정에 따르면 기존 서빙 시스템들은 사전 예약과 단편화로 KV 캐시 메모리의 60~80%를 낭비했다. 페이지 단위로 관리하는 페이지드어텐션(PagedAttention)은 낭비를 4% 미만으로 줄여 동일 지연 기준 처리량을 2~4배 끌어올린 것으로 보고됐다.
3. 배칭·디코딩 기법 — 실증된 개선 폭
기법 | 핵심 원리 | 보고된 효과(원 논문) |
|---|---|---|
연속 배칭(Orca) | 요청 단위가 아닌 반복(iteration) 단위 스케줄링 — 끝난 요청 자리를 즉시 새 요청으로 충원 | 동일 지연 기준 최대 36.9배 처리량(Yu et al., OSDI 2022) |
페이지드어텐션(vLLM) | KV 캐시의 페이지 단위 관리로 단편화 제거 | 처리량 2~4배(Kwon et al., SOSP 2023) |
추측 디코딩 | 소형 모델이 초안 작성, 대형 모델이 병렬 검증 — 출력 분포 불변 | 2~3배 가속(Leviathan et al., ICML 2023) |
프리필·디코드 분리 | 병목이 다른 두 단계를 별도 GPU 풀에서 서빙 | SLA 준수 굿풋 개선(Zhong et al., OSDI 2024 · Qin et al., 2024) |
주목할 대목은 위 수치들이 하드웨어 추가 투자 없이 소프트웨어와 스케줄링만으로 달성됐다는 점이다. 연산 활용률(MFU)도 마찬가지다. 구글이 PaLM 학습에서 보고한 MFU 46.2%(Chowdhery et al., 2022)는 정교한 병렬화·파이프라인 튜닝의 결과였으며, 튜닝되지 않은 파이프라인이 그 절반에도 못 미치는 사례는 지금도 흔하다는 게 업계의 평가다.
4. 가동률 — 유휴 시간에도 비용은 발생한다
마지막 계수는 가장 단순하지만 간과되기 쉽다. 트래픽의 시간대 편차, 학습 작업 사이의 스케줄링 공백, 프로젝트 대기 중인 유휴 클러스터가 모두 가동률을 깎는다. 전체 시간 기준 가동률이 40%라면 생산된 토큰 하나가 부담하는 시간당 비용은 그만큼 커진다. 야간 유휴 시간에 배치성 워크로드(대량 요약·임베딩·평가)를 채우는 스케줄링, 학습·추론 혼용 풀 운영이 분모를 지키는 실무 수단으로 꼽힌다.
Ⅲ. 종합 — 같은 GPU에서 벌어지는 5배의 단가 격차
이를 종합한 가상의 예시다. GPU 1장의 시간당 TCO를 4,000원, 이론 최대 처리량을 초당 1만 토큰으로 가정한다.
시나리오 | 효율(MFU×배칭) | 가동률 | 실효 tokens/s | 100만 토큰당 원가 |
|---|---|---|---|---|
A. 무튜닝·방치 | 20% | 40% | 800 | 약 1,389원 |
B. 부분 튜닝(배칭 도입) | 40% | 60% | 2,400 | 약 463원 |
C. 관측·최적화·고가동 | 50% | 80% | 4,000 | 약 278원 |
A와 C의 단가 차이는 같은 하드웨어, 같은 전기요금에서 정확히 5배다(1,389원÷278원). Ⅱ장의 문헌 수치(2~4배, 36.9배, 2~3배)를 감안하면 보수적인 폭이라는 평가도 가능하다. 이번 연재의 첫 번째 결론이 여기서 나온다. 토큰 단가의 지배 변수는 구매 단가가 아니라 운영 효율이다.
Ⅳ. 처리량 대 지연 — SLA가 곧 원가 정책이다
배치를 키우면 단가는 내려가고 개별 요청의 지연은 올라간다. Pope et al.(2022)이 정식화한 이 상충관계를 경제 관점으로 읽으면, 지연 SLA를 정하는 순간 원가의 하한선도 함께 정해진다는 의미가 된다. 굿풋 기준으로 SLA를 어긴 토큰은 산출이 아니라 낭비다.
워크로드 | 지연 요구 | 배칭 여지 | 단가 성격 |
|---|---|---|---|
대화형 챗·코파일럿 | TTFT 수백 ms, TPOT 수십 ms | 제한적 | 가장 비싼 토큰 |
에이전트·파이프라인 | 단계별 수 초 허용 | 중간 | 중간 |
배치 처리(요약·임베딩·평가) | 분~시간 단위 | 최대 | 가장 싼 토큰 |
같은 클러스터에서 나온 토큰이라도 SLA에 따라 원가가 다르다. 실무의 관리 단위가 '클러스터 평균 단가'가 아니라 워크로드별 배칭·라우팅 정책과 각각의 단가여야 하는 이유다. 프리필·디코드 분리 서빙(DistServe·Mooncake 계열)이 주목받는 것도 병목과 SLA가 다른 두 단계를 분리했을 때 SLA 준수 굿풋이 개선되기 때문이다.
Ⅴ. 단가 하락의 역설 — 관건은 '상대 원가 곡선'
서론의 두 곡선으로 돌아가면, 시장 가격 280분의 1과 전력 수요 2배가 동시에 성립하는 환경에서 산업의 총지출은 계속 늘어난다. 이런 환경에서 개별 운영자의 경쟁력은 절대 단가가 아니라 상대 원가 곡선 — 시장 단가의 하락 속도를 자사 원가의 하락 속도가 따라가는가 — 에서 갈린다는 분석이 나온다. 하드웨어 세대교체의 혜택은 모두에게 공평하게 돌아간다. 격차를 만드는 것은 같은 세대 하드웨어에서 분모를 얼마나 끌어올리는가, 곧 Ⅱ장의 운영 지렛대들이다.
Ⅵ. 시사점 — 측정 없이는 최적화도 없다
이 글에 등장한 변수는 모두 측정 가능한 운영 지표다. 최소한의 관리 지표는 다음과 같이 정리된다.
지표 | 확인 내용 | 개선 지렛대 |
|---|---|---|
실효 tokens/s(워크로드별) | 분모의 실측값 | 배칭 정책, 서빙 엔진 튜닝 |
MFU·MBU | 연산·대역폭 회수율 | 병렬화 전략, 커널 최적화 |
KV 캐시 점유·단편화 | 배치 확대의 장벽 | 페이지드어텐션 계열, GQA, 양자화, 프리픽스 공유 |
SLA 준수 굿풋 | 유효 산출 | 프리필·디코드 분리, 라우팅 |
가동률(전체 시간 기준) | 유휴 손실 | 야간 배치 충전, 혼용 스케줄링 |
전력·PUE(실측) | 분자의 최대 가변 항목 | 냉각 최적화, 부하 배치 |
측정되지 않는 지표는 개선되지 않는다. HawkEye가 GPU AI 데이터센터에서 겨냥하는 지점이 바로 여기다. GPU 텔레메트리를 실측하고 가동률·전력·워크로드 배치의 개선 여지를 검증된 권고로 제시해, 분자를 줄이고 분모를 키우는 것이다. '도입이 아니라 운영이 단가를 결정한다'는 명제는 토큰 경제에서 가장 선명하게 성립한다.
다음 편(9월) — 서빙 경제학 심화: 양자화·전문가혼합(MoE)까지 포함한 기법별 정량 효과, 온프레미스 대 API의 비용 곡선과 손익분기점(BEP), 저가동 GPU 팜의 적자 구조.
참고문헌
Stanford HAI, Artificial Intelligence Index Report 2025 — GPT-3.5급 추론 비용 $20.00 → $0.07/100만 토큰(2022.11~2024.10, 약 280분의 1), 하드웨어 비용 연 −30%·에너지 효율 연 +40%.
IEA, Energy and AI (World Energy Outlook Special Report), 2025 — 데이터센터 전력 415TWh(2024) → 약 945TWh(2030), 연 15% 성장, 세계 전력의 약 3%.
Uptime Institute, Global Data Center Survey 2025 — 가중평균 PUE 1.54, 6년 연속 정체.
Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways", 2022 (arXiv:2204.02311) — MFU 지표 정식화, 540B 학습 MFU 46.2%.
Pope et al., "Efficiently Scaling Transformer Inference", 2022 (arXiv:2211.05102) — 프리필·디코드 병목 구조, 지연-비용 상충관계.
Kwon et al., "Efficient Memory Management for Large Language Model Serving with PagedAttention" (vLLM), SOSP 2023 (arXiv:2309.06180) — KV 캐시 60~80% 낭비 측정, 처리량 2~4배.
Yu et al., "Orca: A Distributed Serving System for Transformer-Based Generative Models", OSDI 2022 — 연속 배칭, 동일 지연 최대 36.9배.
Leviathan et al., "Fast Inference from Transformers via Speculative Decoding", ICML 2023 (arXiv:2211.17192) — 출력 분포 불변 2~3배 가속.
Ainslie et al., "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints", EMNLP 2023 (arXiv:2305.13245) — KV 헤드 축소.
Zhong et al., "DistServe", OSDI 2024 · Qin et al., "Mooncake", 2024 (arXiv:2407.00079) — 프리필·디코드 분리 서빙.
SemiAnalysis, AI 데이터센터·GPU 클라우드 TCO 분석 시리즈 — 시간당 TCO 분해 프레임.
본문 예시 계산(Ⅰ-4, Ⅲ, KV 캐시 산식의 모델 수치)은 구조 설명을 위한 가정·근사값이며 특정 제품·시장 가격이 아닙니다.


