ChatGPT API 청구서를 처음 받아보고 당황한 경험 있으신가요? "분명 몇 번 안 썼는데 왜 이렇게 나온 거지?" 답은 보통 한 곳에 있습니다. 바로 토큰 계산법입니다.
API 요금은 "사용 횟수"가 아니라 "주고받은 토큰 수"로 매겨집니다. 같은 질문도 프롬프트를 어떻게 쓰냐, 어떤 모델을 고르냐, 시스템 메시지를 매번 보내냐에 따라 비용이 2~10배까지 벌어집니다. 토큰 구조부터 모델별 가격, 월 비용 시뮬레이션, 예산 초과를 막는 실전 설정까지 정리합니다.
토큰, 먼저 이것부터
OpenAI API는 텍스트를 토큰 단위로 처리합니다. 대략적인 기준:
- 영어: 1단어 ≈ 1~1.5토큰
- 한국어: 1글자 ≈ 2~3토큰 (한자 인코딩 특성)
- 1,000토큰 ≈ 영문 750단어 / 한국어 약 300~400자
한국어는 영어보다 토큰 소비가 2~3배 많습니다. 한국어 서비스 개발 시 반드시 감안해야 합니다.
모델별 요금표, 솔직하게 비교하면
| 모델 | 입력 (1M 토큰) | 출력 (1M 토큰) | 특징 |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 최신, 멀티모달 |
| GPT-4o mini | $0.15 | $0.60 | 저렴, 빠름 |
| GPT-4 Turbo | $10.00 | $30.00 | 128K 컨텍스트 (레거시) |
| GPT-3.5 Turbo | $0.50 | $1.50 | 경제적 (레거시) |
챗봇 하루 100건이면 월 얼마?
챗봇 서비스, 하루 100건 대화, 평균 대화당 입력 500토큰 + 출력 300토큰 기준 (월 입력 1.5M·출력 0.9M 토큰, 환율 1,450원/$):
| 모델 | 월 입력 비용 | 월 출력 비용 | 월 합계 |
|---|---|---|---|
| GPT-4o | 약 $3.75 | 약 $9.0 | 약 $12.75 (약 1.8만원) |
| GPT-4o mini | 약 $0.23 | 약 $0.54 | 약 $0.77 (약 1,100원) |
| GPT-3.5 Turbo | 약 $0.75 | 약 $1.35 | 약 $2.1 (약 3,000원) |
비용 줄이는 방법, 딱 5가지
- 모델 선택: 단순 작업은 GPT-4o mini, 복잡한 추론만 GPT-4o 사용
- 시스템 프롬프트 최적화: 불필요하게 긴 시스템 프롬프트 제거
- 캐싱 활용: 동일 질문에 대한 응답 캐싱으로 API 호출 감소
- 스트리밍: 응답 스트리밍으로 UX 개선 (비용 절감은 아님)
- Batch API: 실시간이 불필요한 작업은 Batch API로 50% 할인
토큰 수 사전 확인 방법
OpenAI의 tiktoken 라이브러리로 API 호출 전 토큰 수를 예측할 수 있습니다. Python 코드 예시:
import tiktoken; enc = tiktoken.encoding_for_model("gpt-4o"); len(enc.encode("텍스트"))
1,000건/일로 올라가면 달라지는 것들
하루 1,000건 대화, 평균 대화당 입력 800토큰 + 출력 500토큰 기준 (월 입력 24M, 출력 15M 토큰, 환율 1,450원/$):
| 모델 | 월 입력 비용 | 월 출력 비용 | 월 합계 |
|---|---|---|---|
| GPT-4o | $60 | $150 | 약 $210 (약 30.5만원) |
| GPT-4o mini | $3.60 | $9.00 | 약 $12.60 (약 1.8만원) |
OpenAI 공식 문서에 따르면, Batch API를 활용하면 위 비용에서 추가 50% 할인을 받을 수 있어 대량 처리 시 매우 유리합니다.
GPT-4o가 오히려 저렴한 경우가 있다
"비싼 모델 = 비싼 비용"이라고 단정하면 함정에 빠집니다. 핵심은 토큰 단가가 아니라 작업 완료까지 소비하는 총 토큰입니다.
예를 들어, 복잡한 데이터 정제 작업을 GPT-4o mini에 맡기면 프롬프트를 3~4번 재시도해야 원하는 결과가 나오는 경우가 많습니다. 반면 GPT-4o는 1회 호출로 끝나는 경우가 대부분입니다. 실제 수치로 비교하면 다음과 같습니다.
| 작업 | GPT-4o mini (재시도 포함) | GPT-4o (1회 완료) | 비용 차이 |
|---|---|---|---|
| JSON 스키마 변환 (500토큰 입력) | 3회 호출 × 입력 500 + 출력 400 = 총 2,700토큰 | 1회 × 입력 500 + 출력 350 = 총 850토큰 | mini $0.0019 vs 4o $0.0056 |
| 복잡한 SQL 생성 (1,200토큰 입력) | 4회 호출 × 입력 1,200 + 출력 600 = 총 7,200토큰 | 1회 × 입력 1,200 + 출력 500 = 총 1,700토큰 | mini $0.0050 vs 4o $0.0080 |
| 멀티스텝 추론 (2,000토큰 입력) | 5회 호출 × 입력 2,000 + 출력 800 = 총 14,000토큰 | 1회 × 입력 2,000 + 출력 700 = 총 2,700토큰 | mini $0.0069 vs 4o $0.0120 |
JSON 변환처럼 단순해 보이는 작업도 스키마가 복잡하면 mini의 재시도 비용이 누적됩니다. 단가만 비교하면 mini가 94% 저렴하지만, 재시도까지 포함한 실질 비용 차이는 2~3배 수준으로 좁혀집니다. 월 10만 건 이상 처리하는 서비스라면 작업 유형별로 모델을 분리하는 라우팅 전략이 필수입니다.
스타트업 vs 대기업 - 같은 서비스인데 API 비용이 10배 차이나는 이유
A사와 B사 모두 고객 문의 자동응답 챗봇을 운영합니다. 하루 처리량은 500건으로 동일한데, 월 API 비용은 A사 $45, B사 $480입니다. 어디서 차이가 날까요?
A사 (스타트업, 3인 개발팀)
- 모델: 일반 문의는 GPT-4o mini, 환불·법률 관련만 GPT-4o (비율 85:15)
- 시스템 프롬프트: 120토큰 (핵심 규칙만)
- 캐싱: Redis로 상위 200개 FAQ 응답 캐싱 (전체 요청의 35% 캐시 히트)
- 월 실제 API 호출: 약 9,750건 (캐시 제외)
B사 (대기업 사내 프로젝트)
- 모델: 전체 GPT-4o 단일 모델 사용
- 시스템 프롬프트: 2,800토큰 (부서별 규정, 예시 대화 20개 포함)
- 캐싱: 미구현 (보안 심사 미통과)
- 월 실제 API 호출: 15,000건 (동일 질문도 매번 호출)
비용을 분해하면 차이의 원인이 명확합니다. 시스템 프롬프트 길이 차이만으로 토큰 소비가 23배 벌어지고, 캐싱 유무로 호출 건수가 1.5배 차이납니다. 모델 선택까지 합치면 10배 이상 비용 격차가 생깁니다. 기술적으로 어려운 최적화가 아니라, 프롬프트 정리와 캐싱 도입만으로 대부분의 비용 절감이 가능합니다.
예산 폭탄 막는 설정 3가지
API 비용 최적화를 아무리 잘해도, 예상치 못한 트래픽 급증이나 프롬프트 인젝션 공격으로 하루 만에 수백 달러가 빠질 수 있습니다. 아래 3가지 설정은 반드시 적용해야 합니다.
1. OpenAI 대시보드 월별 사용 한도 설정
OpenAI 계정의 Settings > Billing > Usage limits에서 월별 하드 리밋을 설정합니다. 예를 들어 월 예산이 $50이면 하드 리밋을 $50, 소프트 리밋(경고 알림)을 $40으로 설정합니다. 하드 리밋에 도달하면 API 호출이 자동 차단되므로 예산 초과가 물리적으로 불가능합니다.
2. 요청당 max_tokens 제한
API 호출 시 max_tokens 파라미터를 반드시 설정합니다. 챗봇 응답이 보통 200토큰이면 max_tokens를 500 정도로 제한합니다. 이 값을 설정하지 않으면 모델이 4,096토큰까지 생성할 수 있어, 비정상 요청 하나가 정상 요청 20개 비용을 소모합니다.
3. 분당·일별 호출 횟수 제한 (Rate Limiting)
서버 측에서 사용자당 분당 호출 횟수를 제한합니다. 일반적인 챗봇이라면 사용자당 분당 5회, 일 100회면 충분합니다. Nginx의 limit_req_zone이나 API 게이트웨이의 Rate Limiting 기능을 활용하면 별도 개발 없이 적용 가능합니다. DDoS나 프롬프트 인젝션 반복 공격에 대한 1차 방어선 역할도 합니다.
이 3가지를 모두 적용하면 최악의 시나리오에서도 월 예산의 120% 이내로 비용을 통제할 수 있습니다. 서비스 출시 전 반드시 확인하세요.
자주 묻는 것들
가장 즉각적인 방법은 모델 선택 최적화입니다. 단순 분류, 요약, 포맷 변환 등은 GPT-4o mini로 충분하며, GPT-4o 대비 약 94% 저렴합니다. 그다음으로는 시스템 프롬프트 길이 최적화(불필요한 예시 제거), 응답 캐싱(동일 질문 재호출 방지), Batch API 활용(50% 할인) 순으로 효과가 큽니다.
OpenAI API 자체에는 캐싱 기능이 없으므로, 서버 측에서 구현해야 합니다. 가장 간단한 방법은 Redis나 Memcached에 입력 프롬프트의 해시값을 키로, API 응답을 값으로 저장하는 것입니다. 동일하거나 유사한 질문이 반복되는 FAQ 봇, 고객 상담 봇 등에서 API 호출을 30~50% 줄일 수 있습니다.
GPT-4o mini는 단순 텍스트 생성, 분류, 요약, 번역 등 대부분의 일반 작업에서 충분한 성능을 보입니다. GPT-4o는 복잡한 추론, 코드 생성, 멀티모달(이미지 분석) 작업에서 확실한 성능 차이를 보입니다. 많은 서비스에서 라우팅 방식을 사용해, 간단한 요청은 mini로, 복잡한 요청만 GPT-4o로 보내는 전략을 씁니다.
OpenAI의 토크나이저(tiktoken)는 영어 중심으로 설계되어, 한국어 1글자가 평균 2~3토큰으로 인코딩됩니다. 동일한 내용을 영어로 처리하면 한국어 대비 토큰 소비가 약 40~60% 줄어듭니다. 내부 처리는 영어로 하고 입출력만 한국어로 변환하는 방식으로 비용을 절감하는 방법도 있습니다.
핵심만 뽑으면
비용을 줄이고 싶다면 이 순서대로 확인하세요. 첫째, 모델을 용도별로 분리합니다. 단순 분류는 GPT-4o mini, 복잡한 추론은 GPT-4o처럼 나누면 비용이 20~30배 차이 납니다. 둘째, 시스템 프롬프트는 짧게 유지하고 반복 질문은 Prompt Caching으로 50% 할인을 받습니다. 셋째, max_tokens로 출력 한도를 걸고 usage 필드를 매일 로깅해서 이상치가 나오면 즉시 경보가 가도록 설정합니다. 이 세 가지만 잡아도 예기치 못한 대형 청구서가 나올 일은 거의 없습니다.
AI API 비용 및 환율 계산을 도와드립니다.
AI 비용 계산하기관련 계산기: GPU 클라우드 비교 · SaaS 비용 비교