Home›Media›Insight

인사이트

보안·AI 인사이트부터 개발 블로그, 기술 리서치까지
— 현장에서 나온 이야기를 전합니다

Insight

LLM, 작은 모델로도 충분할까?

[TBD]89

LLM 도입을 고민하는 기업을 위한 평가 리포트 — 어느 정도 크기면 충분한지, 어떤 모델에게 어떤 작업을 맡겨야 하는지에 대한 리포트

LLM, 작은 모델로도 충분할까?

0.8B부터 27B까지, 오픈 웨이트 모델과 상용 API의 성능 비교

LLM을 서비스에 도입할 때 작은 모델로도 충분할지 고민하게 됩니다. 큰 모델을 쓰자니 GPU 메모리와 응답 속도가 부담이고, 작은 모델을 쓰자니 정확도가 걱정됩니다. 로그에서 고장 유형을 찾는 일과 코드를 작성하는 일에 필요한 능력도 다릅니다. 어느 정도 크기면 충분한지 판단하려면, 모델이 맡을 작업에서 얼마나 정확하고 빠르게 답하는지를 함께 봐야 합니다.

벤치마크 평가

모델과 배포 방식을 조합한 16개 구성을 공개 벤치마크 6종으로 평가했습니다. Qwen3.5 계열의 0.8B부터 27B까지 다섯 모델과 다른 계열의 오픈 웨이트 모델, 상용 API 4종을 포함했습니다. B는 파라미터 10억 개를 뜻합니다. 평가 문항은 벤치마크마다 70개씩 선정해 비교 대상 모델에 동일하게 사용했습니다.

벤치마크

평가 작업

채점 기준

LogEval Fault Diagnosis

로그를 읽고 고장 유형 진단

정답 문자열과 완전히 일치해야 정답

CTIBench MCQ

위협 인텔리전스 지식 4지선다

정답 일치율

CTIBench RCM

CVE 취약점 설명을 읽고 보기 없이 CWE ID 답변

CWE ID가 완전히 일치해야 정답

EvalPlus (HumanEval+, MBPP+)

함수 설명에 맞는 파이썬 함수 구현

숨은 테스트를 모두 통과해야 정답 (pass@1)

Spider

자연어 질문과 스키마를 바탕으로 SQL 작성

테스트 DB에서 SQL 실행 결과가 모두 정답과 일치해야 정답

BFCL v4 멀티턴

여러 턴의 대화에서 도구를 사용해 요청 처리

도구 실행 후 최종 상태가 정답 풀이와 일치해야 정답

표 1. 평가에 사용한 6개 벤치마크

점수는 0에서 1 사이이며 높을수록 좋습니다. 평균은 로컬 모델과 API에서 공통으로 측정한 5종을 기준으로 합니다. BFCL은 로컬 모델에서만 평가했습니다.

0.8B부터 27B까지, 성능은 얼마나 달라질까요?

먼저 Qwen3.5의 0.8B, 2B, 4B, 9B, 27B를 비교했습니다. 아래 그림의 왼쪽은 공통 5개 벤치마크의 평균이고, 오른쪽은 각 벤치마크의 점수입니다.

01_scaling_curve.png

그림 1. Qwen3.5 크기별 공통 5개 벤치마크 평균(왼쪽)과 벤치마크별 점수(오른쪽)

모델이 커질수록 평균 점수는 높아졌습니다. 0.8B에서는 0.21이었던 점수가 27B에서는 0.68까지 올랐는데요. 모든 구간에서 비슷한 폭으로 성능이 좋아진 것은 아닙니다. 4B와 9B의 평균은 각각 0.53과 0.55로 차이가 작았고, 27B에서 다시 0.68로 높아졌습니다.

작업에 따라 성능 차이도 달랐습니다. 보기 네 개 중 정답을 고르는 CTIBench MCQ는 0.8B의 0.46에서 27B의 0.69로 올랐습니다. 반면 보기 없이 CWE ID를 답하는 CTIBench RCM은 0.00에서 0.61로 올라 격차가 가장 컸습니다. SQL을 생성하는 Spider와 로컬 모델에서 별도로 평가한 BFCL도 각각 0.56만큼 올랐습니다. 이번 비교에서는 답을 직접 찾거나 여러 단계를 거쳐 결과를 완성하는 작업에서 큰 모델의 이점이 두드러졌습니다.

이번 평가에서는 모델을 키웠는데 점수가 낮아진 경우도 있었습니다. CTIBench MCQ에서는 2B(0.31)가 0.8B(0.46)보다 낮았고, LogEval에서는 9B(0.43)가 4B(0.49)보다 낮았습니다.

이번 Qwen3.5 결과를 바탕으로 후보를 고른다면, 범위가 좁고 보기가 정해진 분류 작업은 4B급부터 검토하겠습니다. 코드나 SQL 생성은 27B급을 먼저 평가하는 편이 낫겠습니다.

27B 모델은 상용 API와 얼마나 차이 날까요?

직접 운영할 만큼 성능이 나오는지 판단하기 위해, 27B 오픈 웨이트 모델과 상용 API가 같은 문항을 풀었을 때의 점수를 비교했습니다.

03_api_open_average.png

<p align="center">그림 2. 공통 5개 벤치마크 평균 점수 (청록색: 오픈 웨이트, 회색: 상용 API)</p>

평균이 가장 높은 모델은 Claude Opus 5로 0.77을 기록했습니다. Qwen3.8-27B(0.69)와 Qwen3.5-27B(0.68)는 GPT-5 mini(0.67), GPT-5(0.66), Claude Haiku 4.5(0.64)와 비슷한 수준이었습니다. Opus 5와는 약 0.08~0.09 차이가 났습니다.

같은 27B인 gemma-3-27b의 평균은 0.54로, Qwen3.5-27B보다 0.14 낮았습니다. 27B라는 크기만으로 API 수준의 성능을 기대하기는 어렵다는 뜻입니다.

평균이 비슷해도 잘하는 작업은 다릅니다

04_task_heatmap.png

그림 3. 모델과 벤치마크별 점수 (위 4행: 상용 API, 아래 3행: 오픈 웨이트)

Claude Opus 5는 다섯 벤치마크 중 네 개에서 가장 높은 점수를 기록했습니다. 예외는 CTIBench RCM으로, GPT-5 mini(0.64)가 가장 높았고 Qwen3.8-27B(0.63)와 Qwen3.5-27B(0.61)도 Opus 5(0.61)와 비슷했습니다.

EvalPlus에서는 Qwen3.8-27B가 0.83으로 Opus 5(0.87)를 제외한 모든 API보다 높았습니다. 코드 생성이 주된 용도라면 자체 배포 후보로 검토할 이유가 충분합니다. 반면 CWE 분류가 목적이라면 전체 평균만 보고 Opus 5를 선택할 필요는 없겠습니다.

평균이 0.64~0.69에 모여 있는 모델들도 개별 작업에서는 0.1~0.2포인트씩 차이가 납니다. 실제 용도가 정해져 있다면 해당 작업의 점수가 더 유용한 선택 기준입니다.

모델 크기로 추론 속도를 예상할 수 있을까요?

서비스에 필요한 정확도를 확보했다면 다음은 추론 속도입니다. NVIDIA H200 한 장에서 배치 1은 요청 하나의 생성 속도를, 배치 32는 동시 요청의 전체 처리량을 측정했습니다. 단위인 tok/s는 초당 생성하는 출력 토큰 수입니다.

05_throughput.png

그림 4. 동일 배치 조건에서 측정한 모델별 출력 처리량

같은 Qwen3.5 계열에서는 작은 모델이 빨랐습니다. 배치 1 처리량은 0.8B가 239 tok/s, 4B가 152 tok/s, 27B가 44 tok/s로, 모델이 커질수록 낮아졌습니다.

그런데 다른 계열까지 비교하면 크기와 속도의 순서가 달라집니다. Ministral 8B는 실제 파라미터 수가 8.4B인데도 배치 1에서 280 tok/s를 기록해 Qwen3.5-0.8B보다 빨랐습니다. 배치 32에서도 Phi-4 mini(3.8B)가 4,862 tok/s로 Qwen3.5-0.8B의 약 1.8배를 기록했습니다. 서로 다른 계열의 후보를 비교할 때는 파라미터 수만으로 속도를 예상하기 어렵습니다.

정확도가 요구 수준을 충족하는 모델이라면, 크기가 더 크다는 이유만으로 속도 비교에서 제외할 필요는 없습니다. 실제로 사용할 배치 크기와 서빙 엔진에서 처리량을 비교한 뒤 후보를 좁히는 편이 낫겠습니다.

실험 설정

  • GPU 실행: NVIDIA H200 1장, 추론 엔진 vLLM 0.27.1

  • 품질 평가: 벤치마크별 70문항, greedy decoding과 고정 seed

  • 속도 측정: 배치 1의 단일 요청 생성 속도와 배치 32의 전체 처리량


#Insight
[TBD]티사이언티픽

도입 목적에 맞는
제품 구성이 필요하신가요?

운영 환경과 도입 목적에 맞는
제품·서비스 구성을 함께 검토합니다.

도입 문의하기