1-1. 핵심 메트릭과 Alert 임계치¶
실제 리소스에서 az monitor metrics list-definitions로 이름·집계·차원을 먼저 확인하세요.
지원 여부는 SKU·클라우드·배포 유형에 따라 다르며, 정의가 있다는 것이 데이터가 채워진다는 뜻은 아닙니다.
| 신호 | 볼 곳 | 왜 보나 | Alert 시작점 |
|---|---|---|---|
| 서버·네트워크 오류율 | AzureOpenAIRequests(StatusCode 분할), 요청 로그 | 서비스 문제. 401/403은 설정 오류, 안전 차단은 분리 | 모델별 15분, 최소 20건, 5% 이상 |
| 429 비율 | AzureOpenAIRequests(StatusCode=429) | quota, 분당 한도, burst, 재시도 폭주 | 모델별 15분, 최소 20건, 5% 이상 |
| 총 소요 시간 p95 | 요청 로그의 DurationMs | 사용자 체감 지연 | 성공 호출, 모델별 15분, 최소 20건, 5초 초과 |
| 첫 응답 시간 p95 (streaming) | 요청 로그의 TTFT | 첫 글자가 늦게 뜨는 문제 | 모델별 15분, 최소 20개, 3초 초과 |
| 토큰 급증 | GeneratedTokens, ProcessedPromptTokens | 비용·quota 소진 징후 | 5분 GeneratedTokens 100,000 초과(시연값) |
| 추정 비용 급증 | 요청 로그의 추정 비용 | 예상 밖 지출 | 5분 합계 5 USD 이상 |
| 스트림 비정상 종료 | 요청 로그의 stream_incomplete | 종료 신호 누락·전송 오류 | live 15분 내 3건 이상 |
| 필터 서비스 실패 | 요청 로그의 filter_unavailable | 안전 검사를 못 한 응답 | 1건 이상 |
| PTU 사용률 (PTU 사용 시) | AzureOpenAIProvisionedManagedUtilizationV2 | 용량 계획 | 80~90% 지속 증가. 이 데모는 PAYG라 해당 없음 |
위 값은 시작점이며 모든 고객에 맞는 고정값이 아닙니다. 2주 이상 정상 패턴과 peak 트래픽, 모델·리전·SKU, 고객 SLO에 맞춰 보정하세요. 표본이 적으면 비율 경고 대신 일정 기간의 절대 오류 건수나 지속 실패를 경고로 씁니다.
공식 문서만으로 판단하기 어려운 해석 주의점입니다.
- TokenTransaction = 입력 + 출력입니다. ProcessedPromptTokens, GeneratedTokens와 다시 더하면 이중 계산입니다.
- 일반 Cognitive Services의
Latency,BlockedCalls,ClientErrors는 Azure OpenAI 전용 지표가 아닙니다. 혼용하지 마세요. - 메트릭의 평균 지연으로 p95를 만들 수 없습니다. p95는 요청별 DurationMs·TTFT 로그로 계산합니다.
- 진단 설정으로 내보낸 메트릭은 차원(모델 배포 등)이 평탄화될 수 있습니다. 모델별 분석은 Metrics API나 요청 로그로 하세요.
- 안전 관련 서비스 메트릭(RAI 계열)은 탐지량과 차단량이 다르고 분모가 다릅니다. 요청별 상세의 대체가 아닙니다.