2-1. 가드레일이란¶
생성 모델과는 별도로 입력과 출력을 분류해 정책에 따라 허용·차단하는 통제입니다. Azure OpenAI의 내장 content filtering은 Azure AI Content Safety로 동작합니다.
- Hate, Sexual, Violence, Self-harm 네 범주에 대해 safe / low / medium / high 심각도를 판정합니다.
- 기본 Medium 임계치는 Medium과 High를 차단하고 Low와 Safe는 통과시킵니다.
- 입력(Prompt)과 출력(Completion)을 각각 설정해야 합니다.
- 정확성 보장, 모든 prompt injection 방어, 모든 개인정보 제거를 보장하지 않습니다. system prompt만으로 대신할 수도 없습니다.