같은 Claude 계정·같은 repo인데 PC마다 결과가 달랐다. 3대의 Mac에서 직접 측정해 'AI 작업환경 숙련도'의 정체를 추적하고, 통념을 데이터로 풀었다.
요즘 개발 현장에는 Claude Code, Codex 같은 AI 코딩 도구 이야기가 넘친다. 어떤 모델이 더 똑똑한지, 어떤 도구가 더 빠른지. 그런데 정작 "같은 도구·같은 모델을 쓰는데 왜 내 환경에서는 결과가 다른가" — 즉 본인의 작업환경 차이에 대한 이야기는 의외로 드물다. 이 글은 그 빈자리를, 우리 팀의 실제 작업과 내 개인 PC들을 토대로 직접 들여다본 기록이다.
AI로 개발하다 보면 가끔 설명하기 어려운 경험을 한다. 같은 Claude 계정, 같은 repo, 같은 branch, 비슷한 Mac, 심지어 한 글자도 안 바꾼 같은 질문. 그런데 어떤 PC에서 돌리면 AI가 우리 프로젝트를 오래 다룬 사람처럼 척척 해내고, 다른 PC에서는 공구는 다 있는데 손에 안 익은 사람처럼 헤맨다. 맥락을 자꾸 놓치고, 다시 설명해야 하고, 엉뚱한 파일을 건드린다.
곰곰이 생각해보니 그 느낌은 꼭 숙련공과 비숙련공의 차이를 닮아 있었다. 같은 공구함과 같은 작업 도면을 줘도, 숙련공은 어떤 연장을 언제 쓸지 알고 척척 해내지만, 비숙련공은 도면을 외웠어도 손이 따라주지 않는다. 새 PC가 딱 그 비숙련공이었다 — '저 부분은 건드리면 깨진다'거나 '이 작업은 저 공정에 맡긴다' 같은 걸 아직 모르는. 반대로 오래 쓴 PC는 같은 공구로 척척 해내는 숙련공이었다. 같은 사람(=모델)인데, 한쪽은 비숙련공이고 한쪽은 숙련공인 셈이다.
그래서 느낌으로 끝내지 않고 직접 측정했다. MacBook Pro 한 대와 Mac mini 두 대, 그리고 '갓 clone한 새 PC'까지 — 같은 repo·같은 계정으로 똑같은 작업을 시키고, 토큰·시간·턴 수를 숫자로 받아냈다. 그리고 결론을 미리 말하면, 그 '숙련도'의 정체는 의외로 둘로 쪼개진다.
PC를 바꾸면 왜 '다시 세팅'에 시간이 들까
현장에서 가장 자주 부딪히는 장면이 있다. 직원이 PC를 교체하면, 같은 사람·같은 repo·같은 계정인데도 '예전 수준'으로 일하기까지 며칠이 걸린다. repo를 clone하고 로그인까지 다 했는데도 그렇다. 분명 도면(매뉴얼)은 그대로 따라왔는데, 뭔가가 빠진 것이다.
이 '며칠'의 정체가 이 글의 핵심이다. 그것은 비숙련공이 도면을 다 외우고도 제 몫을 하기까지 필요한 시간 — 즉 도면 너머의 '겪어본 경험'과 '손에 맞춰둔 도구·전문가 연결'을 다시 갖추는 시간 — 과 정확히 같은 종류의 것이다. 다만 사람이 아니라 AI 작업환경에서 일어날 뿐이다.
Claude Code는 매 요청에 무엇을 함께 싣는가
이 현상을 이해하려면 Claude Code가 클라우드 모델에게 '질문만' 보내는 도구가 아니라는 점을 알아야 한다. 매 요청마다 그 PC의 로컬 상태를 함께 묶어 보낸다. 공식 문서 기준으로 그 층은 대략 이렇게 쌓인다.
같은 모델 위에 PC마다 다른 로컬 레이어가 쌓인다 — 이 차이가 결과를 가른다. 가운데 두 층(경험·도면)이 핵심이다.
조금 더 풀어 쓰면 이렇다.
CLAUDE.md·CLAUDE.local.md는 작업 디렉터리에서 상위로 거슬러 탐색되어, 덮어쓰지 않고 context에 누적된다. 현장으로 치면 공통 작업표준 위에 우리 팀 작업법이 겹쳐 쌓이는 셈..claude/rules/의 규칙 파일도 로드된다(경로 지정 규칙은 그 파일을 읽을 때만 불러와 context를 아낀다). '이럴 땐 이렇게' 같은 현장 규칙.auto memory 는
~/.claude/projects/<project>/memory/에 쌓이며 machine-local이다 — 다른 PC·클라우드와 자동 공유되지 않는다. 이게 바로 '경험'에 해당한다.skill · subagent · MCP · hook 은 단순 외부 도구가 아니라 '수행 방식' 자체를 바꾼다. 어떤 전문가(skill)가 호출되느냐에 따라 같은 질문도 전혀 다르게 처리된다. '이 작업은 어느 공정·전문가에게 맡기느냐'를 정해두는 도구·전문가 연결에 가깝다.
핵심 — '도면'은 따라오고, '경험과 도구·전문가 연결'은 안 따라온다
'새 PC에서 결과가 다른가?'의 답은 정확히 여기서 갈린다. 한 프로젝트의 로컬 구성을 git이 추적하느냐로 나눠보면, 둘은 깔끔하게 두 무더기로 떨어진다.
git clone으로 따라옴 — '작업 도면' | 안 따라옴 — '경험과 도구·전문가 연결'(새 PC 성능차의 정체) |
|---|---|
CLAUDE.md, settings.json | CLAUDE.local.md (gitignore — 어떤 전문가 skill을 켤지 정하는 스위치) |
skill 16개 (파일 자체) | auto memory (그 repo에서 겪은 일들 = 경험) |
rule 19개 | settings.local.json · MCP 설정(사용자별 = 연결해 둔 도구) |
그래서 새 PC는 공구함만 받은 비숙련공과 똑같다. 도면(skill·rule·CLAUDE.md)과 공구는 첫날 다 받았다. 하지만 '저 부분은 건드리면 깨진다'는 경험(memory) 도, '이 작업은 저 전문가에게 맡긴다'는 도구·전문가 연결(CLAUDE.local·MCP) 도 아직 없다. 연장은 다 갖췄는데, 아직 손에 익지 않은 상태. 그리고 PC를 바꿀 때 드는 '며칠'은, 바로 이 비숙련공이 숙련공이 되는 시간이다.
이 비유를 머리에 넣고 보면, 아래 네 가지 측정이 전부 같은 이야기를 다른 각도에서 하고 있다는 게 보인다.
측정 ① — '경험'(memory)만 지우면 어떻게 될까
가장 통제된 실험부터. 같은 PC·같은 repo·같은 프롬프트(그 repo에서 답이 memory에 쌓여 있을 법한 질문)로, auto memory만 잠시 비활성화하고 비교했다. 즉 '숙련공에게서 경험만 지우면?'을 시뮬레이션한 것이다. 측정은 claude -p --output-format json 의 메타데이터로 받았다.
막대가 길수록 더 오래·더 많이 일했다는 뜻. 경험(memory)을 지우니 같은 답을 내는 데 3배가 들었다.
같은 모델·repo·질문인데 memory만 빼도 3배 느려졌다. 흥미로운 건 둘 다 결국 정답을 찾았다는 것이다. 차이는 정확도가 아니라 '숙련공은 바로 해내고, 비숙련공은 뒤져가며 해낸다' 였다. 로컬 경험이 결과 품질이 아니라 '효율'에서 먼저 드러난다는 첫 단서다.
측정 ② — 잘 키운 숙련공 셋은 비슷하게 일한다
그럼 '잘 세팅된' PC끼리는 얼마나 다를까? 같은 repo를 가진 3대(MacBook Pro + Mac mini 2대)에 환경 스냅샷과 동일 프롬프트를 돌렸다. 셋 다 skill 16·rule 19·CLAUDE.local 활성 — 즉 모두 '숙련공'이다.
축 | PC A | PC B | PC C |
|---|---|---|---|
memory 파일 | 11 | 111 | 86 |
skill / rule | 16 / 19 | 16 / 19 | 16 / 19 |
MCP | 0 | 2 | 0 |
turns (warm) | 3~5 | 3~6 | 2~7 |
시간 (warm) | 14~30초 | 18~34초 | 13~35초 |
답변 | 정확 | 정확 | 정확 |
여기서 통념이 깨진다. memory가 11 vs 111로 10배 차이인데, 일하는 모습은 거의 같았다(3~6턴). '더 많이 쌓인 PC가 더 잘한다'는 건 착시였던 것이다. 비숙련공 때는 경험 유무가 크게 갈리지만(측정 ①), 일정 수준 이상 숙련되면 결국 비슷하게 수렴한다. 큰 차이는 '경험의 양'이 아니라 '숙련공이냐 비숙련공이냐'에서 났다.
한 가지 단서 — 같은 'skill 16개'라도 그 안의 내용·버전이 같다는 보장은 없다. branch가 다르거나, 누가 로컬에서 skill 파일을 손봤거나, Claude Code 버전이 다르면 같은 이름의 전문가가 다르게 정의돼 있을 수 있다. 이 글의 측정은 skill을 '개수'로만 셌다는 한계가 있다(내용 해시까지 맞춰 보는 건 다음 과제다). 그래서 핵심은 다시 '많이'가 아니라 '같은 내용으로 잘' 갖췄는가다.
측정 ③ — 진짜 '비숙련공'(갓 clone한 새 PC)
그래서 가장 궁금한 조건을 만들었다. 아무것도 세팅 안 된 새 PC. git 추적 파일만 체크아웃한 'clean clone'(memory 0, CLAUDE.local 없음, 단 도면인 skill·rule은 따라옴)을 그대로 재현해 돌렸다.
조건 | memory | CLAUDE.local | turns | 시간 | 비용 |
|---|---|---|---|---|---|
새 PC (clean clone) — '비숙련공' | 0 | 없음 | 3 | 18.5초 | $1.14 (cold) |
세팅된 PC (warm) — '숙련공' | 11~111 | 있음 | 3~6 | 14~34초 | $0.24~0.5 |
놀랍게도 이 작업에선 비숙련공(새 PC)도 숙련공만큼 정답을 냈다(3턴). 왜냐하면 이번 질문의 답은 '도면(skill·rule·CLAUDE.md)'에 있었고, 그 도면은 git clone으로 고스란히 따라왔기 때문이다. 즉 '숙련도'의 상당 부분은 repo에 커밋되어 새 PC로 전송된다. 차이는 cold-start 비용($1.14) 으로만 새어 나왔다.
종합하면, 새 PC에서 성능차가 나는지 아닌지는 '작업의 답이 도면에 있느냐, 경험에 있느냐'에 달렸다:
답이 도면/코드에 있는 작업 (구조·존재 여부 등) → skill·rule이 따라와 새 PC도 거의 동일. 차이는 cold 비용뿐.
답이 경험에 있는 작업 (우리 배포 방법·과거 장애 해결법·코드에 안 적힌 팀 관행) → memory가 안 따라오니 비숙련공은 처음부터 더듬어 찾는다 → 측정 ①처럼 3배 저하.
CLAUDE.local.md(도구·전문가 연결) opt-in도 안 따라옴 → 어떤 전문가(skill)가 자동 호출되는지가 달라져 복잡한 작업에서 결과가 갈린다.게다가 새 PC는 첫 실행마다 cold-start 비용 을 문다(아래).
함정 — 같은 PC인데 비용이 4배 흔들린 이유
측정 중 같은 PC·같은 프롬프트인데 비용이 $0.25~$1.03로 흔들렸다. 처음엔 '무거운 PC라 비싼가' 했지만 아니었다. 원인은 cold(캐시를 새로 씀 = cacheCreate) vs warm(캐시 적중 = cacheRead) 였다. 첫 콜은 프로젝트 컨텍스트를 캐시에 새로 쓰느라 비싸고, 이후 콜은 그 캐시를 읽기만 해서 싸다.
이게 중요한 이유 — 앞선 측정에서 한때 '무거운 PC가 9턴·43초로 3배 느리다'고 보였던 게, 다시 재보니 그냥 첫 cold 실행의 착시였다. warm으로 맞추면 3~6턴으로 수렴했다. 그러니 PC 간 비교는 반드시 cache 상태를 맞춰야 공정하다. 토큰이 3배여도 대부분이 싼 cacheRead면 비용은 1.1배일 수 있다 — 비용($)만 보지 말고 cacheRead·턴 수·지연을 함께 봐야 진짜 부담이 보인다.
덧붙이면, 같은 PC·같은 프롬프트인데 답을 한국어로 줬다 영어로 줬다 하고, 디테일도 매번 조금씩 달랐다. AI에는 지울 수 없는 실행 변동(노이즈)이 있다는 점도 측정에서 잊으면 안 된다.
그래서 무엇으로 재나 — ccusage는 하나의 예일 뿐
이 글의 모든 수치는 아래 도구로 모았다. 외부 검증을 거친 것만 적는다.
Claude Code 네이티브 — 추가 설치 없이
claude -p --output-format json가total_cost_usd·usage(input/output/cache 토큰)·num_turns·duration_ms를 준다. 대화형엔/cost·/usage도 있다.ccusage —
npx ccusage@latest로 설치 없이~/.claude로그를 읽어 daily/session 리포트.--json필드: inputTokens·outputTokens·cacheCreationTokens·cacheReadTokens·totalTokens·totalCost.OpenTelemetry(공식) —
CLAUDE_CODE_ENABLE_TELEMETRY=1로claude_code.token.usage(type=input/output/cacheRead/cacheCreation)·claude_code.cost.usage등을 OTLP로 내보낸다. 팀 대시보드의 정공법.커뮤니티 도구 — sniffly(로컬 대시보드)·ccflare(API 프록시+대시보드)·claude-monitor(실시간 TUI) 등.
단, 이 도구들은 전부 사용량 계측이지 품질 측정이 아니다. 품질은 따로(테스트 통과·관련 파일 적중·retry·사람이 고친 비율) 봐야 '많이 썼다'가 아니라 '잘 썼다'가 보인다. 그리고 모든 $ 값은 클라이언트 추정치이지 청구액이 아니다.
측정할 때 원칙 하나 — 원문 prompt·memory·transcript·코드는 수집에서 빼는 게 맞다. ~/.claude/projects/<project>/<session-id>.jsonl 엔 민감한 업무 맥락이 들어간다. 보고 싶은 건 직원 감시가 아니라 환경의 숙련도이므로, 집계 지표만 남기면 된다.
그래서 무엇을 하면 되나 — 비숙련공을 빨리 숙련공으로
여기까지가 '무슨 일이 일어나는가'였다면, 정작 써먹을 부분은 이것이다. 위 비유를 뒤집으면 처방이 바로 나온다.
노하우는 git에 커밋하라 — 자주 쓰는 작업법·금기·점검 절차를 skill·rule·CLAUDE.md로 적어 커밋하면, 그게 곧 '도면'이 되어 새 PC가 시작부터 숙련공에 가깝게 출발한다.
경험(memory)을 깨끗하게 관리하라 — 낡거나 서로 어긋나는 메모, 지나치게 긴 CLAUDE.md(공식 권장 200줄 이하)는 오히려 헷갈리게 한다. 좋은 경험만 남기고 죽은 정보는 지워야 '나쁜 경험'으로 오염되지 않는다.
도구·전문가 연결(CLAUDE.local·MCP) 템플릿을 팀이 공유하라 — 이건 git에 안 담기므로, 새 PC는 늘 맨손으로 시작한다. 표준 설정을 따로 배포해 두면 그 격차가 줄어든다.
branch·skill 버전을 맞춰라 — 같은 '16개'가 정말 같은 내용인지 확인하라(내용 해시 비교가 한 방법). 도면이 제각각이면 숙련공도 제각각으로 일한다.
cold/warm을 알고, 측정하라 — 첫 실행이 비싼 건 정상이다. 비용($)만 보지 말고 cacheRead·턴 수로 진짜 격차를 보라.
결론 — 레벨업하는 건 PC가 아니라 작업환경이다
"오래 쓴 PC가 더 잘한다"는 느낌은 허상이 아니었다. 처음의 '학습이 쌓인다'는 직관도 방향은 옳았다. 다만 학습되는 건 모델도 하드웨어도 아니라 그 PC의 작업환경이었고, 그 환경은 분명히 비숙련공에서 숙련공으로 '레벨업'한다.
- 1빈 PC (Lv.0 비숙련공)
- 2repo clone → 도면 전달
- 3CLAUDE.local 켜기 → 도구·전문가 연결
- 4쓸수록 memory 축적 → 경험
- 5팀 표준·검증 루프 (Lv.5 숙련공)
작업환경의 레벨업 경로. 가운데 두 칸(도면·연결)은 비교적 빨리 전달되지만, '경험'은 그 PC에서 직접 쌓아야 한다.
레벨업하는 건 하드웨어가 아니라 작업환경이다. 그리고 그 레벨은 두 종류로 갈린다 — git에 담겨 새 PC로 전달되는 '도면'(skill·rule·CLAUDE.md) 과, 그 PC에서 직접 쌓아야 하는 '경험과 도구·전문가 연결'(memory·CLAUDE.local·MCP).
그래서 직원이 PC를 바꿀 때 드는 '며칠'은 낭비가 아니라, 비숙련공이 도면 너머의 경험과 도구·전문가 연결을 다시 갖춰 제 몫을 하게 되는 시간 이다. 다행인 건 이 시간을 줄일 수 있다는 것이다 — 도면(git에 담기는 부분)을 잘 정리해 둘수록 새 PC가 받는 시작 레벨이 높아지고, 경험(memory)을 깨끗하게 관리할수록 잘못된 기억에 끌려가지 않는다.
무엇보다, 이 모든 게 측정 가능하다. 그래서 우리는 조만간 이 지표들을 사내에서 상시 관측하는 내부 시스템의 운영을 준비·검토하고 있다 — 컨텍스트가 얼마나 깔끔히 정리됐는지, 경험이 얼마나 잘 쌓였는지, 도구가 얼마나 갖춰졌는지, 토큰당 성과는 얼마인지. 개발자 PC의 스펙표에 CPU·RAM·SSD뿐 아니라 '작업환경 숙련도'가 한 줄 더 붙는 셈이다.
AI 시대의 개발환경은 장비가 아니라, 잘 가꾸고 잘 전달하면 함께 성장하는 작업 맥락이다. 그 맥락을 눈에 보이게 만드는 것 — 그게 우리가 다음으로 할 일이다.


