Home›Media›Insight

인사이트

보안·AI 인사이트부터 개발 블로그, 기술 리서치까지
— 현장에서 나온 이야기를 전합니다

GPU 도입 후 늘어난 운영 부담, 어떻게 줄일까?

제품전략팀 김기쁨10

에이전틱 옵저버빌리티 플랫폼 HawkEye 살펴보기

GPU 기반 AI 서비스를 운영하려면 장비 상태뿐 아니라 작업 배분과 전력, 부서별 이용 현황까지 살펴야 합니다. 이 글에서는 호크아이가 다루는 네 가지 운영 영역과, 관련 정보를 바탕으로 운영 판단과 개선을 이어가는 방식을 살펴봅니다.

기업의 AI 활용이 확대되면서, AI를 회사의 데이터와 업무에 맞게 운영할 수 있는 환경의 중요성도 커지고 있습니다. 내부 데이터를 어디에서 처리하고 누가 접근하도록 할지, 기존 업무 시스템과 어떻게 연결할지, 이용 규모가 커져도 필요한 성능을 유지할 수 있을지까지 고려해야 하기 때문입니다. 기업은 이러한 요구에 따라 자체 데이터센터나 클라우드 등을 활용해 자사에 맞는 AI 운영 환경을 마련합니다.

이 가운데 GPU 서버를 구축해 AI 모델을 운영하는 기업에는 새로운 관리 과제가 생깁니다. 일부 GPU에만 작업이 몰리지는 않는지, 필요한 처리 성능을 유지하면서 불필요한 전력 사용을 줄일 수 있는지 AI 인프라를 살펴야 합니다. 여러 부서가 함께 이용한다면 어디에서 얼마나 사용하는지, 사용량 증가가 실제 업무 수요에 따른 것인지도 확인해야 합니다.

호크아이는 AI 인프라 담당자가 GPU 활용 상태와 전력을 분석하고 개선할 지점을 찾는데 도움을 주는 운영 플랫폼입니다. 관련 서버·네트워크·로그를 함께 분석해 문제를 조사하고, 지원되는 GPU에서는 담당자의 승인 아래 전력 설정을 조정한 뒤 결과를 확인할 수 있습니다. 부서별 사용량 관리와 보안 초기 조사에 필요한 정보도 함께 제공합니다.

이 글에서는 이런 내용을 다뤄요

• AI 운영 환경을 구축한 뒤 마주하는 운영 과제
• 호크아이가 다루는 네 가지 운영 영역과 활용 가치
• GPU 활용 상태와 처리 성능·전력을 함께 살펴야 하는 이유
• 부서별 토큰 사용량을 실제 이용 현황과 비교하는 관점
• AI의 분석·권고와 사람의 판단·승인으로 이어지는 운영 방식

이런 분들께 도움이 돼요

• 사내 GPU 기반 AI 모델을 운영하는 기업 및 기관의 AI 인프라 담당자
• 서버·네트워크·로그와 GPU 상태를 함께 확인해야 하는 운영 담당자
• 부서별 AI 사용량과 비용 관리를 책임지는 담당자
• 인프라 정보를 활용해 보안 초기 조사를 수행하는 담당자

호크아이가 다루는 네 가지 운영 영역

GPU 기반 AI 모델도 서버와 네트워크 위에서 동작합니다. GPU 상태만으로 문제가 설명되지 않을 수 있고, 사용량이 늘었다고 해서 곧바로 장비 부족이나 낭비라고 판단할 수도 없습니다. 관련 정보를 함께 살펴야 다음에 무엇을 조사하고 개선할지 정할 수 있습니다.

호크아이는 이러한 운영을 IT 인프라, AI 인프라, 전력·사용량, 보안 운영이라는 네 가지 영역에서 다룹니다.

운영 영역

함께 살펴볼 정보

담당자가 얻는 도움

IT 인프라

서버·네트워크 상태, 자원 지표, 장비·시스템 로그

관련 정보를 대조하며 문제를 조사할 범위를 좁힘

AI 인프라

GPU 사용률·메모리·온도, 워크로드 현황과 분포

작업이 몰리거나 충분히 활용되지 않는 자원을 찾아 운영 개선 검토

전력·비용

전력·에너지, 작업 처리 성능, 토큰 사용량과 비용 정보

필요한 성능을 유지하면서 줄일 수 있는 낭비가 있는지 판단

보안 운영

보안 이벤트와 관련 로그, 자산·접근 정보

초기 조사에 필요한 근거와 추가 확인 사항을 정리

IT 인프라: 문제를 조사할 대상 좁히기

GPU 작업이 느려졌다고 해서 GPU 자체에 문제가 있다고 단정할 수는 없습니다. 연결된 서버나 네트워크에서도 조사할 단서를 찾을 수 있습니다. 관련 정보를 함께 보면 여러 화면을 오가며 기록을 맞추는 부담을 줄이고, 먼저 점검할 대상을 정할 수 있습니다.

ts-practical-hawkeye-fig01-same-time-not-cause-v1.png

(참고용 예시 이미지)

예를 들어 GPU 작업이 느려진 시간에 네트워크 오류도 늘었다면, 해당 작업이 그 네트워크 구간을 사용하는지 확인합니다. 관련이 있다면 연결된 장비 상태와 변경 이력을 더 살펴보고, 관련이 없다면 다른 원인을 조사합니다. 같은 시점에 변화가 나타났다는 사실은 조사할 단서이며, 원인이 확인됐다는 뜻은 아닙니다.

호크아이는 인프라아이(InfraEye)의 인프라 관측과 빅아이(BigEye)의 로그 분석을 통해 축적한 기술과 운영 경험을 바탕으로 이러한 정보를 함께 분석합니다. 담당자는 관련 기록과 AI가 정리한 근거를 검토하며 다음 조사 대상을 좁힐 수 있습니다.

AI 인프라: GPU 활용 상태 파악하기

일부 GPU에 작업이 몰려 있다면, 장비를 늘리기 전에 다른 GPU들의 활용 상태는 어떤지 현재의 작업 배분을 살펴볼 필요가 있습니다. 호크아이는 GPU별 상태와 실행 작업의 분포를 분석해 이러한 불균형을 파악하도록 합니다.

여기서 함께 살펴보는 것이 워크로드입니다. 워크로드는 GPU에서 실행하는 작업과 그 작업에 필요한 계산·메모리, 처리 방식 등의 특성을 뜻합니다. 같은 GPU라도 어떤 AI 모델을 실행하고 어떤 요청을 처리하느냐에 따라 필요한 메모리와 처리시간이 달라질 수 있습니다.

ts-practical-hawkeye-fig02-gpu-usable-state-v1.png

(참고용 예시 이미지)

따라서 GPU 사용률이 낮다는 이유만으로 다른 작업을 바로 배정할 수 있는 것은 아닙니다. GPU 메모리가 충분한지, 해당 작업이 그 GPU에서 실행될 수 있는지, 예약된 작업이 있는지까지 확인해야 합니다. 이러한 정보를 함께 살펴야 실제로 GPU가 부족한 것인지, 기존 장비를 더 활용할 여지가 있는지 구분할 수 있습니다.

AI 인프라는 GPU 서버뿐 아니라 스토리지와 네트워크 등을 포함하는 넓은 개념입니다. 이 가운데 호크아이는 GPU 활용과 전력 최적화에 초점을 맞춥니다. 담당자는 분석 결과를 바탕으로 작업 배분이나 추가 GPU 도입 필요성을 검토할 수 있습니다.

전력·사용량: 필요한 성능을 유지하면서 낭비 찾기

GPU의 전력을 낮추면 소비전력이 줄어들 수 있습니다. 하지만 같은 작업을 끝내는 시간이 크게 늘어난다면 전체 에너지 사용이나 비용은 기대만큼 개선되지 않을 수 있습니다. 따라서 전력과 함께 처리량, 응답시간과 작업 완료시간을 확인해야 합니다.

ts-practical-hawkeye-fig03-powercap-tradeoff-v1.png

(참고용 개념도)

호크아이는 GPU가 처리하는 작업과 전력을 함께 분석해 개선할 지점을 찾습니다. 지원되는 환경에서는 GPU의 전력 상한과 클록 설정을 조정하고 적용 전후의 변화를 확인할 수 있습니다. 전력 상한은 GPU가 사용할 수 있는 전력의 최대 허용값이며, 클록은 GPU의 동작 속도와 관련된 설정입니다.

설정을 조정할 때는 일정 시간 동안 처리한 작업의 양인 ‘처리량’과, 요청한 뒤 결과를 받기까지 걸리는 ‘응답시간’을 함께 봐야 합니다. 순간적인 전력뿐 아니라 작업을 완료할 때까지 사용한 누적 에너지도 비교해야 합니다. 장비와 작업 조건에 따라 결과가 달라지므로, 실제 운영 환경에서 필요한 성능이 유지되는지 확인하는 과정이 중요합니다.

부서별 토큰 사용량도 실제 이용 현황과 함께 살펴봅니다. 토큰은 언어모델이 입력과 출력의 텍스트를 처리할 때 사용하는 단위입니다. 기업이 여러 부서에 AI 서비스를 제공한다면, 어느 부서에서 얼마나 사용하는지 파악하는 기초 정보가 됩니다.

A부서의 토큰 사용량이 B부서보다 많더라도 곧바로 낭비라고 볼 수는 없습니다. 더 많은 업무를 처리했거나 긴 입력과 출력이 필요한 업무를 수행했을 수 있습니다. 반대로 실패한 요청의 반복이나 불필요한 재시도가 영향을 줬을 가능성도 살펴야 합니다.

호크아이의 부서별 이용 현황 분석은 이러한 차이를 검토하는 데 활용할 수 있습니다. 사용량 관리 책임자는 각 부서의 업무 특성과 이용 기록을 함께 확인해, 필요한 사용을 유지하면서 줄일 수 있는 낭비를 찾을 수 있습니다.

보안 운영: 초기 조사에 필요한 근거 정리하기

보안 담당자는 의심스러운 활동이 확인됐을 때 관련 로그와 장비 정보를 찾아 실제로 어떤 일이 있었는지 조사해야 합니다. 필요한 기록을 함께 정리하면 무엇부터 확인하고 어떤 정보를 더 확보할지 정하기 쉬워집니다.

보안 이벤트는 로그인·접근·설정 변경 등 보안 분석에 활용하는 활동 기록이나 알림을 뜻합니다. 이벤트가 있다는 사실 자체가 보안 사고를 의미하지는 않습니다.

호크아이는 관련 로그와 보안 이벤트를 인프라 운영 정보와 함께 분석해 의심 원인, 판단 근거와 추가 확인 사항을 정리합니다. 보안 담당자는 이를 바탕으로 원본 기록을 확인하고 실제 사고 여부와 대응 필요성을 검토합니다. 사고 판단과 차단, 심층 대응은 담당자와 보안 전문가가 맡습니다.

AI가 근거를 정리하고, 사람이 판단과 실행을 통제합니다

네 가지 영역에서 정보를 함께 살펴보더라도, 분석 결과가 실제 운영에 쓰이려면 다음 단계가 분명해야 합니다. 무엇을 근거로 개선안을 제시했는지, 누가 실행을 결정하는지, 변경 후 어떤 결과를 확인할지 정해야 합니다.

호크아이의 에이전틱 AI는 운영 정보를 조회·분석하고, 원인 후보와 대응 방법을 정리해 후속 절차로 이어가는 역할을 합니다

운영 단계

AI·플랫폼이 돕는 일

담당자가 확인하고 결정할 일

상황 파악

관련 경보·로그·장비 정보를 모아 요약

대상과 기간이 맞는지, 빠진 정보가 있는지 확인

분석·권고

원인 후보와 근거, 추가 조사·대응 방법 제시

설명이 근거와 맞는지, 다른 가능성과 업무 영향 검토

실행

지원되는 기능과 허용된 권한 안에서 조치

실행 여부와 대상·범위를 결정하고 필요한 승인 수행

결과 확인

변경 전후 상태와 실행·검증 이력 제공

개선과 부작용을 확인하고 유지·추가 조사·복구 판단

GPU 전력 설정을 변경하는 상황이라면, 담당자는 AI가 어떤 장비와 작업을 근거로 조정을 권고했는지 확인합니다. 허용할 성능 변화와 적용 범위를 정하고, 일부 대상에 먼저 시험 적용한 뒤 결과를 살펴볼 수 있습니다.

적용 후에는 설정 변경의 성공 여부와 함께 처리량·응답시간·전력 변화를 확인합니다. 성능 기준을 벗어나거나 다른 작업에 문제가 생기면 추가 적용을 멈추고, 지원되는 복구 절차에 따라 이전 설정으로 되돌릴지 판단합니다. 권고와 승인, 변경 내용, 검증 결과는 다음 운영에 활용할 수 있도록 이력으로 남깁니다.

이러한 흐름이 네 가지 영역의 모든 대상을 직접 제어한다는 뜻은 아닙니다. 상태 분석과 개선 권고, 실제 설정 변경은 구분되며, 실행은 지원되는 기능과 승인된 권한 안에서 이루어집니다.

적용 전에 확인할 조건

ts-practical-hawkeye-fig04-onprem-agentic-v1.png

호크아이는 고객 내부에서 실행하는 소형 언어모델(sLLM)과 에이전틱 AI를 결합한 온프레미스 환경을 중심으로 설계됐습니다. 온프레미스는 고객이 관리하는 내부 서버에 시스템을 설치·운영하는 방식입니다.

기업의 AI 모델이 직원의 업무 요청을 처리한다면, 호크아이 내부의 AI는 운영 데이터를 분석하고 개선 방법을 정리합니다. 운영 정보와 로그를 내부에서 분석해야 하는 조직은 이러한 구성을 검토할 수 있습니다.

실제 적용 기능과 설정 변경 범위는 도입 구성과 장비, 기존 시스템과의 연동 조건, 조직의 운영 정책에 따라 달라집니다. 적용을 검토할 때는 다음 사항을 확인해야 합니다.

  • 정보 연결: 필요한 GPU·서버·네트워크·로그와 사용량 기록을 연결할 수 있는지

  • 변경 범위: 어떤 설정 변경을 지원하며, 누가 이를 승인할 것인지

  • 검증 기준: 필요한 처리 성능과 시험 적용 범위, 복구 조건을 어떻게 정할지

  • 내부 운영: 망분리·폐쇄망 환경에서 AI 모델과 연동 구성요소, 업데이트를 어떻게 운영할지

마무리하며

AI 운영 환경을 구축한 이후에는 보유한 GPU로 필요한 일을 안정적으로 처리하고 있는지, 불필요하게 쓰이는 에너지와 비용은 없는지 살펴야 합니다. 문제가 생겼을 때 조사에 필요한 정보를 찾고, 조치 후 실제로 나아졌는지 확인하는 과정도 필요합니다. 호크아이는 IT 인프라와 AI 인프라, 전력·사용량, 보안 운영의 정보를 함께 살펴 이러한 판단의 근거를 마련합니다.

중요한 것은 더 많은 수치를 보는 데서 끝나지 않고, 분석한 정보를 담당자의 검토와 승인된 조치, 결과 확인으로 이어가는 것입니다. 우리 조직의 반복되는 운영 문제에서 이 과정이 어떻게 달라질 수 있는지 살펴보는 것이 호크아이의 활용 가치를 확인하는 출발점입니다.


제품전략팀 김기쁨티사이언티픽

도입 목적에 맞는
제품 구성이 필요하신가요?

운영 환경과 도입 목적에 맞는
제품·서비스 구성을 함께 검토합니다.

도입 문의하기