Azure OpenAI API 모니터링 가이드와 데모¶
한눈에 보기¶
Azure OpenAI를 API로 직접 호출(에이전트 기능 없이)하는 팀 가이드: 실제 Azure 환경에서 검증한 데모입니다.
- 얼마나 쓰고 있나? 요청 수, 토큰, 지연, 429(한도 초과)를 어떤 메트릭으로 보고 언제 경고할지
- 얼마가 들고 있나? Azure 비용은 늦게 보이므로, 토큰 사용량에 단가를 곱해 거의 실시간으로 추정하는 방법
- 안전한가? 가드레일(Content Safety)이 무엇이고, 막힌 요청을 Log Analytics에서 볼 수 있는지
프롬프트·응답 원문과 API 키는 관측 데이터에 저장하지 않습니다.
고객 문의¶
이 저장소는 아래 두 가지 요건에 답하도록 구성했습니다.
1. 효율적인 AI 사용량 모니터링 구성
- 핵심 메트릭 가이드: Azure Metrics 기반 모니터링 시 공식 문서만으로는 판단이 어려운 부분이 있어, 메트릭 설명 및 실질적으로 주시해야 하는 메트릭과 적절한 경고(Alert) 임계치 설정 기준 권장
- 실시간 비용/토큰 모니터링 조언: 현재 Azure의 토큰 사용 비용이 메트릭 반영에 시차가 있어(약 1일 소요), 메트릭의 토큰 사용량에 토큰 단가를 매핑·계산하여 모니터링하는 방안을 고려 중입니다. 이에 대해 추천할 만한 구성 방식이나 Best Practice 검토
- 추가 추천 요청: Azure OpenAI 서비스 운영 시 실무적으로 도움 될 만한 추가 모니터링/운영 팁 (현재 API 모델 호출만 사용 중이며 에이전트 같은 기능은 사용하지 않음)
2. Azure OpenAI 가드레일(Content Safety) 모니터링 및 설정
- 가드레일 개념에 대한 기초 설명 및 효과적인 설정 가이드
- 가드레일에 의해 차단된 요청의 모니터링 가능 여부 확인 (현재 Log Analytics로 로그를 수집 및 적재 중)
| 요건 | 한 줄 답 | 자세히 |
|---|---|---|
| 1-1. 핵심 메트릭과 경고 기준 | 요청 수·429·오류율·지연(p95)·토큰·추정 비용 6가지를 모델별로 보고, 시작 임계치는 15분·최소 20건·5%입니다. | 메트릭·경고 가이드 |
| 1-2. 실시간 비용·토큰 | 응답의 usage × 단가표로 요청마다 계산해 Log Analytics에 쌓습니다. 메트릭 × 단가는 근사치로만 씁니다. | 가격 문서 |
| 1-3. 추가 운영 팁 | 429 backoff, 출력 토큰 상한, 월 Budget alert, 수집 지연·usage 확보율 경고, 모델 버전 관리 | 메트릭·경고 가이드 |
| 2-1. 가드레일 개념·설정 | 입력과 출력을 각각 심각도 임계치(Medium부터)로 분류해 차단합니다. 두 방향 모두, 모든 배포에 연결합니다. | Content Safety 문서 |
| 2-2. 차단 요청 조회 | 가능합니다. 호출부 로그를 Log Analytics에 적재하면 요청별로 볼 수 있습니다. 기본 진단 로그만으로는 보장되지 않습니다. | 차단 KQL |
먼저 알아둘 용어¶
| 용어 | 뜻 |
|---|---|
| 메트릭(Metrics) | Azure가 자동으로 모으는 숫자 시계열입니다. 요청 수, 토큰 수 같은 합계입니다. |
| Log Analytics(LAW), KQL | 로그를 쌓아 두는 저장소와 그 조회 언어입니다. 요청 한 건 한 건을 조회할 수 있습니다. |
| usage | API 응답에 들어 있는 토큰 수(입력·캐시·출력)입니다. 비용 계산의 기준입니다. |
| 429 | 한도(quota, 분당 요청·토큰) 초과 응답입니다. 가드레일 차단과 다릅니다. |
| TTFT, p95 | 첫 글자가 보일 때까지의 시간, 요청의 95%가 이 시간 안에 끝난다는 값입니다. 평균과 다릅니다. |
| 가드레일(Content filter) | 입력과 출력을 분류해 정책에 따라 허용·차단하는 통제입니다. |
사용량을 보는 세 가지 경로¶
Azure Monitor 문서만 읽으면 “메트릭에 비용이 1일 늦게 반영된다”로 끝나 보이지만, 실제로는 서로 다른 세 개의 시계가 있습니다. 각 경로가 잘하는 일이 달라서 하나만 쓰지 않고 함께 씁니다.
| 경로 | 잘하는 일 | 못하는 일 | 늦게 보이는 정도 |
|---|---|---|---|
| ① 호출부 usage 계측 | 요청별 토큰·비용·차단 상세, 모델별 비용 | 계측하지 않은 호출자는 볼 수 없음 | 응답 직후 ~ 수 분(수집) |
| ② Azure Metrics | 서비스 전체 요청 수·429·지연·토큰 합계 | 요청별 비용·캐시·롱컨텍스트·차단 원인 | 분 단위 |
| ③ Cost Management | 청구 기준의 확정에 가까운 비용 | 실시간 감시 | 약 1일(계약·offer별로 다름) |
“약 1일 지연”은 모든 메트릭의 일반 특성이 아니라 비용 데이터(③)의 특성입니다. 현재 지연 경로를 확인하고 API usage와 수집 지연을 함께 측정하세요. 이 데모의 목표는 거의 실시간인 운영 추정이며 확정 청구나 비용 하드캡이 아닙니다.