이재원 Jaewon Lee

도구 선택 오류를 분석하고, 수정 전후의 개선과 다른 영역의 회귀를 함께 검증하는 평가 파이프라인 구축

• 경계 평가 — 실제 도구 선택과 기대 라우팅을 비교해 정답 영역 이탈·과잉 흡수와 개선·회귀를 분석
• 원인 분해 — 후보 누락·기능 미노출·오선택으로 실패를 분류해 수정 책임과 평가 범위를 구분
• 보강 루프 — 동일 후보군에서 기능 설명·라우팅 기준·도구 계약의 변경 효과와 다른 영역의 회귀를 검증
• 재현성 — JSON Schema·CI 사전 검증, 결정론적 채점과 실행 조건·코드 버전 기록으로 비교 기준 고정
• 검증 범위 — 라우팅 회귀를 평가하며, 도구 연쇄 호출·다단계 실행 경로·상태 변화 평가는 확장 과제로 분리

디바이스 어시스턴트 기능을 서버형 에이전트에 연결해 요청 라우팅·도구 실행·후속 대화 검증

• 연동·라우팅 — Bixby 기능을 OpenClaw 도구 인터페이스로 연결하고 Skill 기반 에이전트 선택·질의 구성 설계
• 멀티턴 처리 — 사용자 확인·값 선택 후 이전 요청을 이어가는 멀티턴 흐름 구현
• 안정성·실행 환경 — 이벤트 정규화·비정상 응답 방어·호출 로깅과 Docker Compose 실행 환경 구성

모델 제공자·도구 실행을 공통화하고 요청부터 결과까지 추적하는 제품 기반 구축

• 실행 구조 — 요청 해석부터 도구 선택·호출·실행까지 공통 인터페이스 설계
• 미들웨어 — 실행 정책·예외 처리를 공통화해 도구별 중복을 줄이고 실패 처리 경로 구성
• Provider 호환 — 제공자별 설정·응답 차이를 어댑터로 분리해 제품 코드의 결합도 완화
• 관측성 — Langfuse·OpenTelemetry로 요청·모델 판단·도구 실행을 추적하는 체계 구축
• 하네스 운영 — 제품 시나리오별 프롬프트·하네스 전략과 공통 설정 설계·운영