Evaluation
2개의 글
-
고정 프롬프트 기반 평가: 모델의 계획을 어떻게 검증할까
같은 입력과 기대 결과로 모델의 도구 선택과 인자를 비교하는 평가 방법. 구성 요소와 실행 흐름, 정답 이력 활용법, 실제 작업 성공과의 차이를 설명한다.
-
[번역·요약] Anthropic이 정리한 AI 에이전트 평가의 기본 구조
Anthropic의 Demystifying evals for AI agents를 바탕으로 task, trial, grader, harness와 반복 가능한 평가 운영법을 한국어로 풀어쓴 요약·해설.