세 가지 화면: 무엇을 쓸까¶
Azure에서 같은 데이터를 보는 화면이 세 가지입니다. 목적이 달라서 역할을 나눠 쓰는 것을 권장합니다.
Shared Dashboard — 운영팀 요약 상황판¶
요청 수, 입력·출력 토큰, 마지막 byte까지의 시간, 총 추론 토큰 같은 서비스 메트릭 타일을 고정해 두는 첫 화면입니다. 자체 계산은 못 하므로 비용 같은 값은 Workbook 타일을 고정해 보여 줍니다. 추가 비용과 운영 부담이 가장 낮습니다.
Workbook — 분석 화면¶
기간, 모델 배포, live/fixture, Run UUID를 바꿔 가며 요청 추이, 결과별 호출(성공·429·오류), 모델별 비교, 비용 추정, 차단 요청을 분석합니다. KQL로 토큰 × 단가를 계산하고 가드레일 분석을 합니다. 무료입니다(로그 쿼리 비용만).
Managed Grafana — 지속 관제 화면¶
배포별 분할과 풍부한 시각화, 멀티소스 관제가 필요할 때 씁니다. 모델별 비용을 Metrics 소스 분할과 곱셈으로 보고, Grafana Alert로 계산된 비용에 직접 알림을 거는 구성도 가능합니다. 사용자 수 기준과 Standard 컴퓨트 요금이 들고 인스턴스·권한 관리가 필요합니다.
고객 질문별 비교¶
| 고객 질문 | Workbook | Shared Dashboard | Managed Grafana |
|---|---|---|---|
| 핵심 메트릭(요청·429·토큰·지연) | 가능 | 가능(차트 고정) | 가능, 시각화 가장 풍부 |
| 비용 추정(토큰 × 단가) | KQL로 계산 | 불가(Workbook 타일 고정) | KQL 또는 Transformation |
| 모델별 비용 구분 | 진단 설정 데이터로는 불가(차원 손실) | 원본에 따름 | 가능(Metrics 소스 분할 + 곱셈) |
| 캐시·롱컨텍스트 반영 | 근사만 | 해당 없음 | 근사만 |
| 가드레일 차단 건수·범주 | 가능 | 가능(차트 고정) | 가능 |
| 차단 내용 파악 | 앱/APIM 로그가 있을 때만 | 동일 | 동일 |
| Alert 운영 | Azure Monitor Alert | Azure Monitor Alert | Grafana Alert 또는 Azure Monitor Alert |
| 비용 | 무료(로그 쿼리 비용만) | 무료 | 사용자 수 + Standard 컴퓨트 |
| 운영 부담 | 낮음 | 매우 낮음 | 중간 |
최종 권장
- 기본 구성(이 고객에 적합): Workbook으로 분석 화면을 만들고, Shared Dashboard에 핵심 타일을 고정하고, 알림은 Azure Monitor Alert로 운영합니다. 추가 비용 없이 고객 질문 대부분을 커버합니다.
- Managed Grafana로 넘어갈 시점: 한 리소스에 여러 모델을 쓰면서 모델별 비용 알림까지 필요할 때, 또는 외부 시스템까지 통합 관제해야 할 때입니다.
- 공통 한계: 차단된 단어 파악과 정확한 비용 계산(캐시·롱컨텍스트)은 어떤 대시보드를 써도 메트릭만으로는 불가능합니다. 앱이나 APIM에서 요청별 로그를 남겨야 합니다.
항목별 근거와 이 저장소에서 확인한 사실은 화면 비교 상세에 있습니다.