Observability
2개의 글
전체 태그-
[Agent Eval 1] 관측에서 평가 자산으로: Trace-to-Eval Data Flywheel
OpenTelemetry와 Langfuse 계열 trace를 검색·선별·정제해 재현 가능한 평가 데이터로 승격하는 파이프라인.
-
[Agent Eval 구현 노트 4] 장시간 평가의 복구와 provenance
Checkpoint, resume identity, 실행 budget과 provenance를 이용해 대규모 평가를 운영 가능한 작업으로 만드는 방법.