Home›Media›Insight

인사이트

보안·AI 인사이트부터 개발 블로그, 기술 리서치까지
— 현장에서 나온 이야기를 전합니다

HawkEye

호크아이 GPU 최적화 — 전력 상한부터 절감 증명까지

HawkEye Team호크아이 특집 3편55

H100 카드의 전력 상한을 608W에서 350W로 내렸더니 전력은 42.9% 줄고 처리량은 거의 그대로였다. 같은 값을 다른 카드, 다른 작업에 걸면 결과가 달라진다. HawkEye가 카드마다 값을 재서 정하고, 점검·승인·되돌리기를 거쳐 적용하고, 아낀 만큼을 예측과 실측으로 나눠 남기는 방법을 화면 7컷으로 정리했다.

이 글은 AI가 HawkEye 아키텍처 문서·구현을 근거로 작성하고 담당자가 검수한 콘텐츠다. 구조도는 설명을 위해 단순화했으며, 실제 동작 범위와 기본값은 환경과 설정에 따라 달라진다. 본문의 실측값은 자체적으로 테스트한 장비에서 특정 부하 조건으로 잰 값이고, 고객 환경의 결과를 보장하지 않는다.

지난 편에서는 서로 다른 시스템이 관측한 사실을 같은 자산과 시간축 위에 다시 놓는 수집 레이어를 다뤘다. 이번 편은 그 위에서 HawkEye가 제공하는 서비스 하나를 설명한다. GPU 서버의 전기요금을 줄이고, 줄인 만큼을 증명하는 일이다. 2편 끝에 예고한 AI DC Pack 가운데 GPU 전력과 비용 쪽을 먼저 다루고, 이상 징후 탐지는 그다음이다.

GPU 서버는 전기를 많이 쓴다. 카드 한 장이 최대 400W에서 700W까지 쓰고, 한 대에 여덟 장이 들어간다. 그런데 카드가 낼 수 있는 최대 성능과 지금 돌아가는 작업이 실제로 필요로 하는 성능 사이에는 차이가 있다. 그 차이만큼 전기가 더 나간다. HawkEye가 하는 일은 이 차이를 재서 줄이고, 줄인 결과를 숫자로 남기는 것이다. 카드의 연산 성능은 카탈로그에 고정된 값이지만, 전기요금은 실제로 쓴 kWh로 매겨진다.

이 서비스는 세 부분으로 이루어진다.

  • 얼마나 내려도 되는지 잰다. 카드 종류와 작업 종류별로 전력을 단계별로 낮추며 처리량을 함께 기록하고, 손실 없이 내릴 수 있는 지점을 찾는다.

  • 안전하게 적용하고, 문제가 생기면 되돌린다. 적용 전에 점검하고, 승인을 받고, 적용 뒤에는 지표를 지켜보다가 나빠지면 자동으로 원래 값으로 돌린다.

  • 아낀 만큼을 증명한다. 예측한 값과 실제로 잰 값을 나눠 표시하고, 어느 팀 몫인지까지 나눈다.

하지 않는 일도 있다. 어느 작업을 어느 서버에서 돌릴지는 고객의 클러스터 스케줄러가 정한다. HawkEye는 옮기면 얼마나 비는지를 계산해 권고할 뿐, 작업을 직접 옮기지 않는다.


1. 얼마나 줄어드는가

GPU 전력을 줄이는 방법 자체는 새롭지 않다. 카드에 걸린 전력 상한을 낮추거나 클럭을 고정하면 된다. 둘 다 GPU 드라이버가 이미 제공하는 기능이다. 어려운 것은 값을 정하는 일이다. 너무 낮추면 처리량이 크게 떨어지고, 안전하게만 잡으면 아끼는 것이 없다. 게다가 같은 값이라도 어떤 작업에는 손해가 없고 어떤 작업에는 크다.

전력 상한과 클럭 고정

두 방식 모두 전압과 주파수를 함께 낮춰 전력을 줄이는데, 운영자가 무엇을 직접 정하고 무엇을 하드웨어에 맡기는지가 다르다.


전력 상한

클럭 고정

운영자가 고정하는 값

전력 상한값(W)

SM 주파수(MHz)

하드웨어가 정하는 값

상한 아래에서 낼 수 있는 가장 높은 클럭

그 주파수가 쓰는 전력

부하가 변동할 때

상한 아래에서 부하에 따라 클럭이 오르내린다

부하와 무관하게 고정. 남는 전력을 쓰지 못한다

너무 낮췄을 때

작업이 실제로 필요한 전력 아래로 내려가는 순간 처리량이 급락한다

천천히 떨어진다 — 한 단계 내릴 때마다 성능과 전력이 같이 조금씩 줄어든다

전력 상한은 절감 폭이 얕은 대신 안전하고 클럭 고정은 깊다고 알려져 있지만, 자체적으로 테스트한 장비에서는 부하에 따라 반대로 나왔다. LLM 서빙에서 대부분을 차지하는 디코드 단계(토큰을 하나씩 만들어 내보내는 단계)는 메모리에서 값이 오기를 기다리는 시간이 길어 전력이 크게 남는다. 전력 상한은 이 남는 몫만 깎아내므로 처리량이 거의 줄지 않는다.

자체 테스트 실측

그래서 HawkEye는 이 값을 어림잡지 않고 직접 잰다. 카드 모델과 작업 종류별로 전력을 한 단계씩 내려가며 초당 처리량을 함께 기록한다. 이 절차는 카드 모델을 가리지 않는다. 드라이버가 전력값을 내주고 상한 조정을 받는 카드면 같은 방식으로 잰다. 고객이 "처리량은 몇 %까지 떨어져도 괜찮다"를 정하면, 그 선 안에서 실제로 측정된 가장 낮은 지점을 고른다. 재지 않은 지점은 보간해서 채우지 않는다.

아래 숫자는 확정값이 아니다. 자체적으로 테스트한 장비의 카드 세 종에 특정 LLM(Qwen2.5-14B, 디코드)을 올리고 부하가 안정된 시간대를 기준으로 잰 값이다. 이 셋으로 쟀다는 것이지, 지원 범위가 이 셋이라는 뜻이 아니다. LLM 모델과 배치 크기, 냉각 상태에 따라 달라지고, 같은 카드 모델이라도 개체마다 다르다. 그래서 이 표를 제품 기본값으로 쓰지 않는다. 고객 환경에서 같은 방식으로 다시 재고, 그 환경에서 나온 값을 쓴다.

장비 · 조건

전력 상한 결과

클럭 고정 결과

A100-SXM4-40G (기준 약 344W)

200W = 41.2% 절감, 처리량 손실 측정 노이즈 범위 / 175W = 49.9% 절감이지만 처리량 30% 손실 → 적용 보류

1065MHz = 35.1% 절감 · 4.0% 손실 / 720MHz = 44.5% 절감 · 16.2% 손실 → 보류

H100-SXM5-80G (기준 약 608W)

350W = 42.9% 절감, 손실 거의 없음 / 300W = 50.4% 절감이나 4.4% 손실 → 추가 관찰

1560MHz = 19.1% 절감 · 3.5% 손실 / 1140MHz = 44.4% 절감 · 16.6% 손실 → 보류

L40S-48G (GDDR, 기준 약 236W)

쓸 만한 절감 폭이 한 자릿수(%)에 그친다

210MHz까지 내려야 22.3% 절감, 대신 처리량 36.6% 손실(디코드)

표의 판정(보류 · 추가 관찰 · 적용)도 그 시간대에서 내린 판단이다. 같은 카드라도 부하가 바뀌면 판정이 바뀐다. 여섯 개 스윕을 모두 합치면 적용하지 않기로 한 지점이 더 많았다 — 적용 19곳, 비적용 30곳이다. 위 표에 실은 A100·H100 전력 상한 스윕만 놓고 보면 절반 이상이 적용 판정이라, 수단과 카드에 따라 결과가 갈린다.

이 결과에서 판단 규칙 둘을 정했다. 첫째, 메모리 종류부터 본다. HBM 메모리를 쓰는 카드(A100·H100·H200 등)에는 깊게 내릴 범위가 실제로 있지만, GDDR 메모리를 쓰는 카드(L40S·T4 등)에는 쓸 만한 범위가 좁다. 둘째, 작업 단계를 본다. 디코드처럼 전력이 남는 단계에서는 전력 상한이 낫고, 연산이 꽉 찬 단계에서는 결과를 예상하기 쉬운 클럭 고정이 낫다.

권장 기본값과 최적점

H100 스윕의 최적점은 350W에서 42.9%인데, 제품이 기본으로 권하는 H100 560W는 11% 안팎이다. 권장값이 더 얕은 이유는 다음과 같다. 최적점은 그 부하, 그 순간에 잰 값이다. 같은 카드라도 프리필(질문 전체를 한 번에 읽어 들이는 단계)이 섞이거나 배치 크기가 커지면 그 지점에서 처리량이 급격히 떨어진다. 반면 기본 권장값은 어떤 부하가 들어와도 처리량이 떨어지지 않는 쪽으로 잡는다. 그래서 두 값을 순서대로 쓴다. 기본값으로 시작해 손실 없는 절감부터 확보하고, 그다음에 고객 환경에서 직접 스윕을 돌려 허용선 안의 더 깊은 지점을 찾는다.

HawkEye는 카드 모델 등록부를 두고 모델별 정격, 조정 가능 범위, 권장 지점을 관리한다. 지금 지원하는 카드는 NVIDIA 데이터센터 GPU이고, 등록된 모델은 A100(40G·80G)·H100·H200·L40S·GH200·T4다. 권장 지점은 실제로 스윕을 돌린 카드에서 정했다 — A100 320W, H100 560W, L40S 250W, T4 64W. GH200 800W는 실측이 없어 정격의 0.8배로 잡아 둔 어림값이고, 화면에도 그렇게 적는다. 등록부에 없는 모델은 예측값을 만들지 않고 측정대기로 표시한다. H100 560W는 측정 지점 사이를 이은 값이다. 550W(11.8%)와 600W(6.3%) 사이다. 권장 기본값만은 이렇게 인접 두 측정점 사이에서 잡고, 화면에 보간값이라고 적는다. 스윕 결과를 고를 때는 측정점만 쓴다. 하한 아래로는 드라이버가 명령 자체를 거부하고(T4에 60W 미만을 걸면 오류로 떨어진다), 전압을 직접 건드리는 경로는 아예 만들지 않았다.

카드마다 측정 상태도 따로 붙는다. 전력 범위를 실제로 훑어 재 본 모델은 실측, 아직 재지 못했으면 측정대기, 조정 경로가 막혀 있으면 측정불가다. 측정 지점이 비어 있으면 비운 채로 둔다. 메모리 클럭도 지원 값이 하나뿐인 카드에서는 "단일 지원 클럭 — 조정 불가"라고 적어, 동작하지 않는 버튼을 남기지 않는다.

작업 단계에 따라 내릴 수 있는 깊이도 다르다. 디코드 중심이고 KV 캐시(앞서 만든 문맥을 담아 두는 GPU 메모리) 사용률이 70%를 넘으면 깊게 내리는 것을 허용한다. 프리필 중심이면 공장 기본값에서 50W까지만, 두 단계가 섞여 있으면 25W까지만 내린다.

장비 한 대의 전력 상한 화면 — 지금 288W를 쓰고 있고, 효율 구간(260~320W)과 현재 지점, 클럭 자동 저하 경고, 표본 60건의 실측 통계가 함께 뜬다. 데모 환경의 합성 시연 데이터다.

장비 한 대의 전력 상한 화면 — 지금 288W를 쓰고 있고, 효율 구간(260~320W)과 현재 지점, 클럭 자동 저하 경고, 표본 60건의 실측 통계가 함께 뜬다. 데모 환경의 합성 시연 데이터다.

예시 계산 — 서버 한 대의 월 절감액

아래는 위 실측값과 공시 단가로 계산한 예시다. 실제 절감액을 말하는 것이 아니라, 숫자의 자릿수를 가늠하기 위한 예시다. 카드는 실측이 있는 H100을 예로 든다.

H100 카드 한 장이 기준 약 608W에서 350W로 내려가면 258W가 준다. 여덟 장이면 약 2.06kW다. 이 부하 조건이 하루 24시간, 한 달(720시간) 그대로 이어진다고 가정하면 약 1,490kWh가 줄어든다. 여기에 산업용 고압A 선택Ⅱ 하계 단가를 곱하면 서버 한 대 기준 월 절감액은 다음 범위에 놓인다.

요금 시간대

단가

서버 한 대(H100 8장) 월 절감액

경부하

53.70원/kWh

약 8만 원

중간부하

79.20원/kWh

약 12만 원

최대부하

107.70원/kWh

약 16만 원

이 계산에서 뺀 것이 있다. 카드 전력만 셌고 냉각과 전원 장치 손실은 넣지 않았다. 부하가 한 달 내내 그 조건으로 이어지지도 않는다. 같은 서버라도 프리필이 섞이면 350W에서 처리량이 떨어져 이 지점을 쓸 수 없을 수 있다. 그래서 이 숫자는 고객 환경에서 같은 방식으로 다시 잰 뒤에야 의미가 있다. 다만 서버가 100대라면 자릿수가 월 천만 원 안팎으로 올라가고, 카드 전력 외의 몫이 더해지면 그보다 커질 수 있다는 정도는 이 계산으로 가늠할 수 있다.

여섯 가지 조정 수단

전기요금을 줄이는 수단은 전력 상한 외에도 있다. 놀고 있는 카드에 작업을 모아 돌리면 카드를 비울 수 있고, 요금이 비싼 최대부하 시간대의 작업을 싼 시간대로 옮기면 쓰는 전력량은 그대로여도 요금은 절반 가까이 준다. HawkEye가 다루는 수단은 여섯 가지이며, 조정 대상과 절감 폭, 실행 주체가 각각 다르다.

조정 수단

무엇을 조정하나

절감 폭

성능 손실

실행 주체

GPU 전력·클럭 조정

카드 전력 상한 또는 SM 클럭

크다 (HBM 카드 기준 최대 40%대)

설정에 따라 0%대 ~ 30%

서버마다 상주하는 노드 에이전트

CPU 주파수 조정

CPU 성능 상태와 전력 상한

중간

중간

노드 에이전트

CPU 유휴 상태 조정

절전 상태로 언제 내려갈지

작다

응답 지연이 늘 수 있다

노드 에이전트

작업 시간 이동

실행 시각 (요금 시간대 이동)

전력량은 그대로, 요금만 — 최대부하에서 경부하로 옮기면 단가가 약 절반으로 내려간다

없음 (마감만 지키면), 중단 없음

클러스터 스케줄러

자원 슬롯·우선순위 변경

우선순위 등급, 큐 등급, MIG 분할(한 장을 여러 인스턴스로 나눠 쓰기)

간접 (작업을 모아 돌려 카드를 비운다)

낮은 우선순위 작업이 밀린다. 인스턴스 구성을 바꾸면 약 30분 부분 중단

클러스터 스케줄러 (+ MIG 분할은 노드 에이전트)

작업 노드 이전

워크로드가 도는 노드

간접

체크포인트를 찍고 다시 시작하느라 15~60분 중단 — 영향 범위가 가장 크다

클러스터 스케줄러 + 워크로드 소유자

작업 시간을 옮길 때는 마감을 지킬 수 있는지를 먼저 본다. 예상 완료 시각과 마감을 견줘 여유가 2시간 이상이면 안전, 마감 전이지만 2시간 미만이면 주의, 마감을 넘기면 위험으로 표시하고, 마감 정보가 없으면 측정대기로 둔다. 대상도 장·단기 배치와 실험 작업으로 좁혔다. 응답이 늦으면 안 되는 추론과 사람이 앞에서 기다리는 대화형 작업은 후보에서 아예 뺀다.

전력을 조이면 장비 상태가 바뀌고, 상태가 바뀌면 경보가 늘어난다. 그 경보를 사람이 하나씩 읽고 닫는 시간도 결국 운영 비용이다. 절감 조치를 실제로 돌리기 시작하면 아낀 전기요금만큼을 운영자 시간으로 다시 잃을 수 있다는 뜻이다. 경보를 묶어 사람 손이 가는 건수를 줄이는 장치는 1편에서 트리아지를 다루며 정리했다.


2. 어떻게 적용하는가

값을 정한 뒤 바로 적용하지는 않는다. 카드에 상한을 거는 일은 운영 중인 서비스의 성능을 건드리는 일이라, HawkEye는 적용 앞뒤에 점검을 둔다. 1편에서 트리아지의 흐름을 증거 → 제안 → 승인 → 실행 → 감사로 정리했는데, 최적화 조치도 같은 골격을 쓴다. 다만 실행 앞뒤로 점검과 검증이 더 붙고, 되돌리는 길을 따로 둔다. 어느 단계에서든 막히면 뒤 단계는 실행되지 않는다.

단계

무엇을 검사하나

실패하면

시간 기준

권고

측정이 얼마나 촘촘한가 — 재야 할 표본 중 값이 들어온 비율이 기준을 넘는가

권고를 만들지 않는다

—

사전점검

대상 서버 전부에서 여덟 항목을 확인한다(아래 목록)

한 대라도 한 항목이 걸리면 제출을 거부하고 어느 서버의 어느 항목인지 돌려준다

서버당 5초, 전체 30초

승인

승인자와 사유, 역할이 갖춰졌는가

실행으로 넘기지 않는다

24시간 넘게 대기하면 상위 결재선으로 올린다

실행 직전 재점검

승인 시점과 지금 상태가 같은가

실행하지 않고 실패로 기록한다

사전점검과 동일

실행

카드마다 순차로 걸고, 상태 보고가 도착했는가

해당 서버를 실패 처리하고 남은 카드로 진행하지 않는다

상태 보고 p99 10초

검증

적용 후 지표가 예측 범위 안인가

자동 되돌리기로 넘긴다

조치별 관찰 시간

기록

상태가 바뀔 때마다 한 줄

—

보존 기본 1년, 최대 7년

사전점검에서 확인하는 여덟 항목은 카드 접근, 드라이버 버전, 목표 값의 허용 범위, 열 스로틀링 여부, 작업 단계별 허용 깊이, 같은 카드에서 진행 중인 조치, 워치독이 살아 있는지, 요금 시간대 여유(옮겨 갈 시간대에 마감까지 여유가 남는지)다. 사전점검은 몇 번을 돌려도 상태가 변하지 않도록 설계했다. 그래서 승인 시점에 한 번 더 돌려도 부담이 없다. 판단할 수 없으면 막는 것이 기본 동작이라, 시간 기준을 넘긴 사전점검도 실패로 친다.

승인과 실행 직전 재점검

승인 시점과 실제 적용 시점 사이에는 간격이 있고, 그 사이 다른 운영자가 장비 설정을 바꿨을 수 있다. 실행 직전에 사전점검을 다시 돌려 그때와 지금이 다르면 실행하지 않고 실패로 기록한다. 승인에는 승인자와 사유, 역할이 함께 남는다. 역할은 조치 종류에 따라 비용 책임팀·그린옵스 책임자 등으로 정해진다. 자동 승인은 기본으로 꺼져 있고, 켜더라도 허용 목록에 올린 조치 종류만 대상이며 그 목록의 기본값은 비어 있다.

배포 상세 — 권고값 700→560W(−20%)와 안전 판정·신뢰도가 먼저 보이고, 이 카드는 NVLink로 8장이 묶여 도메인 단위로만 조정된다는 안내가 적용 전에 뜬다. 실측 시험과 운영 적용이 나뉘어 있다. 데모 환경의 합성 시연 데이터다.

배포 상세 — 권고값 700→560W(−20%)와 안전 판정·신뢰도가 먼저 보이고, 이 카드는 NVLink로 8장이 묶여 도메인 단위로만 조정된다는 안내가 적용 전에 뜬다. 실측 시험과 운영 적용이 나뉘어 있다. 데모 환경의 합성 시연 데이터다.

상한이 걸리는 단위

승인 전에는 상한이 카드 몇 장에 걸리는지도 확인해야 한다. 하드웨어 구성에 따라 셋으로 갈린다. 아래 표의 도메인은 NVLink 같은 고속 링크로 묶여 한 덩어리처럼 계산하는 카드 묶음을 가리킨다.

구성

실제로 걸리는 범위

불가능한 것

왜

독립 카드

그 카드 한 장

없음

다른 카드와 계산을 나누지 않는다

도메인

묶음 전체 — 같은 값을 모든 카드에 차례로 걸고, 중간에 실패하면 역순으로 되돌린다

한 장만 따로 내리기

여러 장이 한 모델을 나눠 계산하는 작업은 단계마다 동기화해야 해서 전체 속도가 가장 느린 카드에 맞춰진다

MIG 분할 카드

물리 카드 전체

인스턴스별 상한 · 여러 조직이 섞여 쓰는 카드는 제안 자체를 안 한다

인스턴스는 연산과 메모리만 나눈다. 전력은 카드 단위로 공급되고, 인스턴스별로 조절할 방법도 없다

이 구분이 없으면 절감 계산이 어긋난다. 8장이 묶인 도메인에서 한 장만 상한을 내리면, 나머지 일곱 장은 그 한 장을 기다리면서 전력은 거의 그대로 쓴다. 절감은 한 장 몫만 나는데 예측은 여덟 장 몫으로 잡히고, 되돌릴 때는 일부만 복구되어 도메인이 서로 다른 상한을 가진 채 남는다. 반대로 도메인 단위로 걸면 절감이 합산된다 — H100 2장 도메인(기준 약 1,080~1,105W)에서 장당 상한을 내려 잰 값은 500W 10.1%, 450W 20.9%, 400W 26.7%였다. 다만 여러 장을 묶으면 그만큼 손실이 생겨 예측값에서 8%p를 미리 깎는다. 이 값은 2장 구성 장비에서 한 차례 잰 것이다.

같은 이유로 MIG 분할은 전력 조정 수단이 아니라 작업을 모아 돌리는 수단으로 분류했다. 인스턴스 7개로 나눈 A100에 가벼운 부하만 있으면 카드 전체 소비가 116~118W에 머무는데, 이때는 400W에서 150W까지 어떤 상한을 걸어도 절감이 −1.4% ~ +1.1%, 즉 0이다. 실제 절감은 작업을 모아 돌려 비운 카드를 절전으로 돌릴 때 나온다. 구성 정보가 안 잡힌 노드는 측정대기로 둔다.

감사 기록

상태가 한 번 바뀔 때마다 감사 기록이 한 줄 남는다. 되돌리기만 예외로, 서버마다 결과가 다를 수 있어 서버별 결과를 각각 남기고 그 위에 요약 한 줄을 붙인다. 기록은 덧붙이기만 되고 고치거나 지울 수 없다. 앞뒤 기록을 해시로 엮어 두어 중간을 빼내면 바로 표가 난다. 보존 기간은 조직별로 설정하고 기본 1년, 규제 산업 고객은 7년까지 늘린다. 시각 동기도 확인한다. HawkEye 실행 서버의 시각 오차가 기준(기본 0.5초)을 넘으면 실행을 거부한다. 시계가 틀리면 요금 시간대 판정이 틀리고, 그러면 절감액도 틀린다.

되돌리기 경로 세 가지

경로

언제 작동하나

누가 실행하나

어디로 되돌리나

실패하면

운영자 되돌리기

화면의 되돌리기 버튼

사람 (기록에 이름이 남는다)

조치 직전 값

재시도 3회(5초→15초→45초, 총 65초) 후 최종 실패 처리, 사람에게 올린다

임계 자동 되돌리기

조치 뒤 지표가 조치 전보다 정해진 배수만큼 나빠진 채로 일정 시간 이어질 때

시스템 (원래 승인 기록을 그대로 쓴다)

조치 직전 값

위와 동일

상한 워치독

HawkEye 실행 서버의 생존 신호가 60초 이상 끊길 때 (15초마다 확인)

독립 감시 프로세스

카드 공장 기본값

최상위 장애로 올리고 카드를 격리 표시

임계 자동 되돌리기의 기준은 아직 후보 단계다. 응답 지연 p95가 조치 전의 1.5배로 5분 지속, 오류율이 2배로 5분 지속, 토큰당 비용이 1.3배로 10분 지속 — 이 셋을 초기 후보로 잡고 검증하는 중이다. 되돌리기 자체의 목표 시간은 p95 5분, 최대 30분이고 이를 넘기면 그 자체가 장애로 분류된다.

상한 워치독(watchdog — 조치를 건 HawkEye 실행 서버가 멈춰도 카드를 기본값으로 되돌리는 독립 프로세스)은 평소 쓰는 감시 시스템과도, 조치를 실행하는 경로와도 떨어져 있고 알림도 따로 보낸다. 폐쇄망에서는 사내 문자로 나간다. 워치독 자신이 멈추면 새 조치는 막되 진행 중인 조치를 되돌리지는 않는다. 생존 신호를 주고받을 경로가 없으면 조치를 아예 시작하지 않는다. 되돌리기 자체가 실패하면 최상위 장애로 올리고, 해당 카드는 격리 상태로 표시되어 사람이 초기화를 확인하기 전까지 다시 쓰지 않는다.

적용 이력 — 시스템이 적용한 건과 운영자가 적용한 건을 한 타임라인에 놓는다. 데모 환경의 합성 시연 데이터다.

적용 이력 — 시스템이 적용한 건과 운영자가 적용한 건을 한 타임라인에 놓는다. 데모 환경의 합성 시연 데이터다.

자동 실행의 조건

초기 HawkEye의 최적화 화면은 권고와 시뮬레이션까지만 제공했고, 실제 명령은 운영자가 복사해 직접 실행했다. 지금은 실행 경로가 열려 있고, 조건이 셋 붙는다. 조직 설정에서 실행 기능이 켜져 있어야 하고, 실행을 승인할 권한이 역할로 부여되어 있어야 하고, 검증과 되돌리기 경로가 준비되어 있어야 한다. 셋 중 하나라도 빠지면 권고까지만 나온다.

실행 주체도 조정 수단마다 다른데, 작업을 다른 노드로 옮기는 수단만은 어느 쪽도 혼자 못 한다. 체크포인트를 찍는 일은 워크로드 소유자의 도구가 해야 하기 때문이다. 이 수단에서 HawkEye 실행 서버는 체크포인트 요청을 알리고 기다리고, 소유자가 체크포인트를 찍었다고 회신해야 다음 단계로 넘어간다. HawkEye가 대신하지 않는 단계를 의도적으로 남긴 것이다. 권한 사다리는 1편과 같다. 읽기 전용에서 조언·안내·검증으로 올라가고 승격은 결재를 거치며, 그 위에 언제든 내릴 수 있는 마스터 차단기가 있다.


3. 놀고 있는 카드는 어떻게 찾는가

전력 상한이 쓰고 있는 카드의 전력을 줄이는 일이라면, 이 절은 쓰지 않는 카드를 찾아 비우는 일이다. HawkEye는 절감 화면에서 얼마를 아끼는지를 보여주고, 배분 화면에서 얼마나 놀고 있고 얼마나 더 쓸 수 있는지를 보여준다. 배분 화면의 단위는 원화가 아니라 GPU-시간과 GPU 대수다. 카드를 재배치할 때는 그 단위가 필요하다.

카드는 최근 가동률에 따라 네 구간으로 나뉜다. 경계값은 화면과 집계 양쪽에서 같은 값을 쓴다.

구간

가동률

읽는 법

이어지는 행동

유휴

30% 미만

놀고 있다

비울 수 있다(권고 기준은 15%)

저활용

30 ~ 60% 미만

작업을 더 받을 수 있다

작업을 모아 돌릴 수 있다

적정

60 ~ 80% 미만

잘 쓰는 중이다

그대로 둔다

고활용

80% 이상

포화에 가깝다

절감 조치를 검토한다

구간 경계 30%와 권고 기준 15%가 다른 것은 쓰임이 다르기 때문이다. 30%는 카드를 훑어볼 때 쓰는 기준이다. 15%는 실제로 비우라는 권고가 나가는 기준이다. 잘못 짚으면 손실이 커서 더 보수적으로 잡았다. 놀고 있는 용량도 숫자로 센다. 놀고 있는 GPU-시간 = Σ(1 − 카드별 가동률) × 집계 시간. 하루 24시간 기준으로 환산하고, 합산 대상에는 그 시간에 실제로 값을 보고한 카드만 넣는다.

GPU 자원 현황 — 가동률·전력·온도 분포와 위험 상위 목록. 데모 환경의 합성 시연 데이터다.

GPU 자원 현황 — 가동률·전력·온도 분포와 위험 상위 목록. 데모 환경의 합성 시연 데이터다.

측정이 안 된 카드는 따로 표시한다

가동률 집계에는 값이 들어온 카드만 넣는다. 아직 수집이 연결되지 않아 값이 없는 카드는 가동률 0이 아니라 측정대기로 표시하고, 몇 장을 뺐는지 화면에 함께 적는다. 값이 없는 카드를 0으로 세면 실제로는 일하고 있는 카드가 놀고 있는 것으로 잡히고, 그 카드를 비우라는 권고가 나간다. 값을 읽을 경로 자체가 없는 카드는 측정불가로 두고 이유를 적는다.

값이 얼마나 최신인지는 그 노드에서 가장 최근에 들어온 표본을 기준으로 따진다. 90초 안에 들어온 값이면 실측, 90초에서 180초 사이면 측정대기, 180초를 넘기면 그 노드를 조치 대상에서 뺀다. 끊긴 노드를 마지막 값으로 계속 보여주면 멈춘 화면이 살아 있는 것처럼 보인다.

활용 시뮬레이터

활용 시뮬레이터는 목표 가동률을 정해 워크로드를 적은 수의 카드에 모아 돌리면 몇 장이 비는지를 보여준다. 월 증가율을 같이 넣어 "지금 모아 돌려도 반년 뒤에 다시 모자라는가"까지 본다.

값이 부풀지 않게 막는 장치가 있다. 목표 가동률이 현재 평균 이하이면 비는 카드 수를 0으로 고정한다. 카드별 가동률이 한쪽으로 치우쳐 있으면, 노드마다 따로 계산했을 때 목표가 평균보다 낮아도 카드가 남는 것처럼 나온다. 실제로 비는 카드가 아니다. 이 판정은 노드별 계산보다 먼저 돌리고, 운영자가 화면에서 보는 것과 같은 반올림된 평균값을 쓴다. 비는 카드 수도 모형이 계산한 값이라 예측으로 표시하고, 실측이라고 적지 않는다.

재배치 권고도 같은 원칙을 따른다. 어느 워크로드를 어느 노드로 옮기면 몇 장이 비는지는 계산해 보여주지만, 옮기는 일 자체는 고객의 클러스터 스케줄러가 한다. 언제 무엇을 우선할지는 운영자가 직접 정한다. 낮에는 추론을 먼저 돌리고 밤에는 배치 학습을 돌리는 식으로, 요일과 시간대를 주간 달력에 표시해 둔다. 클러스터에 연결되지 않은 상태라면 모든 시간대가 "미적용 — 클러스터 연결 필요"로 표시된다. 그 위에는 테넌트 단위 마스터 차단기가 있다. 켜면 재배치 권고가 전부 멈춘다. 이 차단기의 스위치는 서버가 상태 변경을 확인해 준 뒤에야 화면에서 바뀐다. 상태를 읽어오지 못하면 "정상 가동"이라고 표시하지 않는다.


4. 아꼈다는 것을 어떻게 보여주는가

절감액은 조치를 실행한 뒤에 확인한다. 월 절감액 하나만 보여주지 않고, 그 값이 예측인지 실측인지, 표본 몇 개에서 나왔는지, 어느 팀 몫인지를 같이 보여준다. 그 출발점은 효율의 정의다.

전력 효율 지수

효율을 카드 성능으로 재면 운영에 쓸 수 없다. 카탈로그의 연산 성능은 고정값이고, 매달 바뀌는 것은 그 카드가 얼마나 일했고 전기를 얼마나 썼는지뿐이다. 그래서 HawkEye는 효율을 전력 효율 지수(PEI, Power Efficiency Index)로 정의한다. 같은 전기로 얼마나 해냈는지를 잰다.

전력 효율 지수 = 유효 작업량 ÷ (전력(W) × 시간(초)) — 분모는 곧 에너지(J)다. 값이 클수록 같은 전기로 더 많이 해낸 것이다.

분모는 플랫폼이 직접 잰다. 카드 전력, 전원 장치, CPU 패키지 에너지는 이미 2편의 수집 경로로 들어온다. 문제는 분자다. 분자는 워크로드 종류마다 다르다.

대상

유효 작업량(분자)

어디서 오는가

GPU · 학습

초당 처리 샘플 수 × 배치 크기

워크로드가 선언한 작업 라벨

GPU · 추론

초당 토큰 수(LLM 서빙) 또는 초당 요청 수(배치 추론)

워크로드가 선언한 작업 라벨

GPU · HPC

실제 수행 연산량(텐서 가동률 × 피크 연산성능)

카드 프로파일 지표

CPU

실행 명령 수, 또는 초당 트랜잭션·요청 수

전력 카운터 + 작업 라벨

메모리

사용 대역폭 × 유효 캐시 적중률

호스트 지표 + 성능 카운터

호스트 종합

작업 한 단위를 처리하는 데 든 에너지(J) — 위 값들의 역수라서 작을수록 좋다

위 항목 집계

초당 토큰 수는 워크로드 안에서만 알 수 있는 값이라 밖에서 읽을 방법이 없다. HawkEye는 운영자가 작업에 붙여 둔 작업 라벨(쿠버네티스 라벨이나 배치 스케줄러의 작업 ID)을 기준으로 삼는다. 라벨에 적힌 처리량을 읽어 효율 지표로 만드는 경로는 아직 준비 중이고, 지금 동작하는 것은 반대쪽이다 — 라벨이 없는 작업은 값을 채우지 않고 측정불가로 떨어뜨린다.

라벨 없는 작업의 처리량을 0으로 기록하는 선택도 있었다. 그러면 화면에 빈칸이 없어지고 효율 값이 항상 채워지는데, 그 값은 전부 틀린다. HawkEye는 값을 만들지 않고 측정불가를 그대로 띄운다. 한 호스트 안에 라벨 붙은 작업이 너무 적으면 그 호스트의 효율도 측정불가로 표시한다. 그 대가로 도입 초기에는 화면에 측정불가가 많이 보이고, 라벨 부착률이 올라가야 채워진다. 그래도 화면에 뜬 숫자는 하나하나 근거를 되짚을 수 있다.

효율의 절댓값은 워크로드 종류에 따라 자릿수가 달라 팀 간 비교에 쓰기 어렵다. 그래서 권고 항목에는 변화량을 싣는다. 같은 자산 × 같은 워크로드 종류끼리 묶어 최근 30일 중앙값을 비교 기준으로 잡고, 조치 전후 차이를 백분율로 보여준다.

예측과 실측의 구분

적용 전 값은 예측이다. 적용 후에는 조치 전 30일과 적용 후 기간을 같은 시간축에 겹쳐 놓는다. 예측값은 점선으로 함께 그리고, 조치를 적용한 시점에 세로선을 긋는다. 그 위에서 다섯 가지를 예측 대비 실측으로 보여주고 어긋난 만큼을 오차(%p)로 적는다 — 전력 절감(kWh), 비용 절감(요금 시간대별로 쪼개서), 온도 하강(°C, p95), 성능 손실(%), 전력 효율 지수 변화(%). 예측이 맞았는지도 화면에 남는다.

예측 오차 추세 — 적용할 때마다 예측값과 실측값의 차이를 기록한다. 화면의 오차 수치는 합성 시연 데이터이며 실제 운영값이 아니다.

예측 오차 추세 — 적용할 때마다 예측값과 실측값의 차이를 기록한다. 화면의 오차 수치는 합성 시연 데이터이며 실제 운영값이 아니다.

모든 숫자 옆에 그 값이 어디서 왔는지가 붙는다.

표기

언제 붙나

화면에서 하는 일

예측

아직 적용하지 않았거나, 실측값을 넣고 모형으로 계산했을 때

점선으로 그리고 예측이라고 적는다. 실측과 같은 줄에 섞지 않는다

실측

해당 기간의 관측값이 직접 들어왔을 때

신뢰도를 높음·중간으로 나눠 적는다

측정대기

잴 수 있는 대상인데 값이 아직 도착하지 않았을 때

0으로 세지 않고 분모에서 뺀 뒤 뺀 수를 적는다

측정불가

잴 경로 자체가 없을 때 (라벨 없음, 미지원 벤더, 수집 미구성)

빈칸으로 두고 이유를 적는다

표본이 얼마나 들어왔는지도 함께 적는다. 전력은 10분 간격으로 기록한다. 하루면 표본 144개가 나오고, 그중 실제로 값이 들어온 표본이 몇 개인지를 백분율로 보여준다. 표본 144개 중 86개면 60%다. 수집이 끊겼거나 장비가 응답하지 않은 기간은 그만큼 비율을 떨어뜨린다. 이 비율은 미리 저장하지 않고 화면을 그릴 때마다 다시 센다. 장비를 새로 등록하거나 수집 방식을 바꾸면 "원래 들어왔어야 할 표본 수" 자체가 달라지기 때문이다.

이 비율은 권고 대상 여부도 정한다 — 60% 이상이어야 권고 대상이 되고 50% 미만이면 제외한다. 그 사이 50~60% 범위에서는 직전 상태를 그대로 둔다. 한 번 권고 대상으로 들어온 카드는 50% 밑으로 떨어질 때까지 남고, 밖에 있던 카드는 60%를 넘겨야 들어온다. 수집 상태는 정상·지연·오류·미구성·미지원·불명 여섯 가지로 따로 표시한다.

유휴 비용 — 산식과 요금 근거를 화면에서 그대로 열고, 팀별 비용에 미지정 행까지 남긴다. 데모 환경의 합성 시연 데이터다.

유휴 비용 — 산식과 요금 근거를 화면에서 그대로 열고, 팀별 비용에 미지정 행까지 남긴다. 데모 환경의 합성 시연 데이터다.

팀 단위 비용 배분

비용을 따라가는 경로는 조직 → 테넌트 구분 → 비용 책임팀 → 워크로드 → 자산까지 다섯 단계로 설계했다. 권고 항목마다 이 경로가 끝까지 이어졌는지를 5/5처럼 표시하고, 끊겼으면 어느 단계가 비었는지 이름을 적는다. 지금 운영에서 쓰는 범위는 비용 책임팀 단위까지이고, 프로젝트나 원가센터별로 나누는 기능은 아직 없다. 팀을 알 수 없는 행은 미지정으로 모으되 리포트에서 빼지 않는다. 빼면 팀별 합계가 전체 에너지 합계와 어긋나고, 리포트를 회계 자료로 쓸 수 없게 된다.

기본은 사용량 보고(showback)이고 청구 분할(chargeback)은 선택이다. 국내 데이터센터는 보통 하나의 전력 계약 아래 있고, 고지서는 월 단위로 회계팀에 일괄로 온다. 그래서 기본 모드는 각 팀이 무엇을 얼마나 썼는지 보여주는 보고이고, 청구 분할은 조직 설정으로 켜는 선택 기능으로 기본은 꺼져 있다. 월말 마감에 맞춰 조직·팀·월 단위로 스냅샷을 떠서 고정한다.

비교의 단위는 GPU-시간당 비용이다. 산식은 비용 합계 ÷ (활성 시간 합계 ÷ 3,600)이고, 팀별로 이 단가를 나란히 놓으면 어느 팀이 GPU 한 시간을 더 비싸게 쓰는지 드러난다. 여기에 요금 시간대 구성비를 겹치면 권고 순서가 정해진다. 어떤 팀의 사용량이 최대부하에 몰려 있다면, 그 팀에는 전력 상한보다 시간 이동 권고가 먼저 나가야 한다.

권고 표 — 대상·GPU 수·활용률·개선할 부분이 한 줄이고, 아직 값이 들어오지 않은 칸은 0이 아니라 측정대기로 둔다. 오른쪽에는 권고 건수와 최우선 권고가 모인다. 데모 환경의 합성 시연 데이터다.

권고 표 — 대상·GPU 수·활용률·개선할 부분이 한 줄이고, 아직 값이 들어오지 않은 칸은 0이 아니라 측정대기로 둔다. 오른쪽에는 권고 건수와 최우선 권고가 모인다. 데모 환경의 합성 시연 데이터다.


5. 시작하려면 필요한 것

HawkEye가 위 화면들을 채우는 데 필요한 입력은 셋이다.

첫째, 카드 전력을 읽을 수 있는 장비 접근이다. 드라이버가 전력값을 내주지 않으면 전력 효율 지수의 분모부터 비어 있다. 둘째, 작업 라벨이다. 처리량은 작업 안에 있는 값이라 밖에서 들여다볼 수 없다. 쿠버네티스라면 라벨, 배치 스케줄러라면 작업 ID이고, 붙이는 쪽은 워크로드를 올리는 팀이다. 관제 쪽에서 대신 붙일 수 없다. 셋째, 요금 단가다. 계약 종별과 시간대별 단가가 있어야 kWh가 원으로 바뀐다.

이 셋이 채워지기 전까지 화면은 측정불가로 남는다. HawkEye는 빈칸을 추정값으로 채우지 않는다.


맺음말

이 글에서 다룬 것은 GPU 전력을 재고, 상한을 정하고, 적용하고, 결과를 다시 재는 서비스다. 절감 기술 자체는 GPU 드라이버가 이미 제공한다. HawkEye가 더하는 것은 값을 정하는 측정, 적용 앞뒤의 점검과 되돌리기, 그리고 아낀 만큼을 예측과 실측으로 나눠 남기는 기록이다. 조치를 실제로 돌리려면 숫자보다 먼저 정해야 할 것이 있다. 무엇을 미리 확인하고, 누가 승인하고, 어디까지 자동으로 되돌리고, 모르는 값은 어떻게 표시할 것인가. 이번 편에서 정리한 것은 이 규칙들이다.

절감액은 예상한 값인지 실제로 잰 값인지, 표본 몇 개에서 나왔는지, 어느 팀 몫인지를 같이 적는다. 이 셋이 붙지 않은 숫자는 근거를 되짚을 수 없다.


다음 편 예고 — AI Agentic Security

이번 편의 골격인 사전점검·승인·검증·되돌리기는 보안 쪽에서도 그대로 쓴다. 에이전트가 조사와 대응 절차를 스스로 밟는 AI Agentic Security에서, 에이전트가 무엇을 근거로 움직이고 어디서 멈추는지를 다룬다.

#HawkEye
HawkEye Team티사이언티픽

도입 목적에 맞는
제품 구성이 필요하신가요?

운영 환경과 도입 목적에 맞는
제품·서비스 구성을 함께 검토합니다.

도입 문의하기