콘텐츠로 이동

1-3. 추가 운영 팁

  • Budget alert를 월 단위로 별도 구성합니다. Budget은 자동 중단(하드캡)이 아닙니다.
  • 성공·오류·차단, 논리 요청과 시도(attempt), 재시도를 분리해 재시도 비용과 폭주를 봅니다.
  • max_completion_tokens 상한과 동시성·대기열을 관리합니다. 출력 길이가 비용과 지연을 좌우합니다.
  • 429에는 Retry-After와 지수 backoff + jitter를 쓰고, 필터 차단은 그대로 재시도하지 않습니다.
  • 모델 버전을 고정하고 retirement 공지와 API version 호환성을 변경 관리에 넣습니다.
  • 상시 운영에서는 수집 지연과 usage 확보율 경고를 추가합니다. 단발성 테스트에서 “트래픽 없음” 경고는 켜지 않습니다.
  • 비용 ledger를 trace sampling에 의존시키지 않습니다. 샘플링하면 비용 합계가 틀어집니다.
  • LAW의 일일 cap, 보존 기간, 접근 권한(RBAC), 수집 비용을 함께 모니터링합니다.
  • 정상 입력 코호트로 가드레일 오탐·누락과 한국어 품질을 별도로 평가합니다.
  • 로그에는 에러 객체 전체를 남기지 않습니다. SDK 에러 메시지에 사용자 원문이 섞일 수 있습니다.