이재원 Jaewon Lee

tool-calling Re-Act 구조를 제안·PoC로 검증하고, 제품 개발용 런타임 구현·확장에 참여

• fine-tuned LLM planner가 생성한 계획에 따라 실행하던 흐름을 개선하기 위해, 도구 결과를 보고 다음 행동을 결정하는 tool-calling Re-Act 구조를 제안
  • tool loop·Skills·HITL을 Bixby와 연동해 검증
• PoC 검증 결과를 바탕으로 제품 개발용 런타임 구현에 참여하고, Bixby의 실행 흐름·도구·미들웨어를 구현·확장
  • 공통 미들웨어 예: 기기 상태·시간·첨부 정보를 모델 입력에 주입해 요청과 실행 환경을 함께 전달
• 후속 도구 호출에서 수행할 동작과 선행 결과 참조를 분리하도록 결과 전달 규칙·프롬프트를 설계·정비
• 방대하고 복잡한 Skill 지침을 독립 context에서 처리하도록 subagent 위임 실행 경로를 구현
  • Subagent별 reasoning effort override를 지원

평가기·평가 데이터·실행 및 결과 인터페이스를 담당하고 개발자의 품질 확인·정기 평가에 연결

• 에이전트의 도구 선택 정확도를 검증하는 평가기를 개발
  • 변경 전후 결과를 비교해 기존 정답의 회귀를 확인
  • Langfuse·OpenTelemetry를 연동해 실행을 추적하고, messages·기기·locale·시간 등 재실행에 필요한 입력을 trace에 보존
• 평가 실행·결과 인터페이스를 개발하고 IDE 개발팀과 협업해 CI·IDE 평가 도구를 제공
  • 에이전트·기능 탐색·도메인 개발자가 품질·회귀 평가와 function 누락 확인에 활용
  • 정기 CI 자동 평가와 담당자의 결과 보고 체계에 연결
• 기존 TC를 새 에이전트 구조에 맞춰 전환하고 다국어로 확장
  • 기존 TC의 발화·정답과 function capability를 활용해 새 에이전트 구조에 맞춰 AI 재라벨링하고, 기능 탐색 평가에서 누락된 정답 function 라벨을 보완
  • AI 번역으로 다국어 TC를 확장하고 localization 가이드를 작성·배포하며, 지역 개발팀에 번역 자연스러움·발화 의도·정답 라벨 검수를 요청

Codex 기반 후보 생성·반복 평가를 운영하고 최종 채택을 판단해 라우팅 정확도 개선에 기여

• 도구 선택 오류의 주요 유형을 선정하고, Codex 기반 KB·도구 설명 개선 루프를 운영
  • 기기·화면 설정처럼 발화 표현이 유사한 요청의 라우팅 오류를 분석 대상으로 선정
  • Codex가 오답 분석·후보 생성·부분 및 전수 평가를 반복하도록 구성
• 기존 정답을 유지하면서 대상 오답이 개선되는지 확인하고, 부분 평가를 통과한 후보의 전수 평가 결과를 검토해 최종 반영 여부를 판단
• 동일 모델·system prompt·평가 데이터를 유지하고 KB·도구 설명만 변경한 비교에서 라우팅 정확도 개선을 확인
  • 채택한 KB·도구 설명을 제품 개발 코드·데이터에 반영하고, AI 후보 생성 도구의 후속 확장을 도메인 개발자의 품질 이슈 분석·대응용 triage 서비스로 이관

LLM 연동과 provider 분리 정책을 구현하고, sampling 설정을 정비해 평가 재현성을 보완

• LLM을 기존 에이전트의 모델 호출 구조에 연동
• 모델 호출 간 KV 캐시 간섭을 줄이기 위해 provider 구성을 분리
  • DI 바인딩으로 신규 모델에도 provider 분리 정책이 적용되도록 강제
• 동일 입력의 도구 선택 변동을 줄이고 평가 재현성을 높이기 위해 sampling 설정을 명시
  • temperature·seed 설정이 실제 모델 호출에 전달되도록 보정
• provider 분리·프롬프트 경계 개선 등을 포함한 전체 변경 후 KV 캐시 적중률 개선에 기여

system prompt의 판단·실행 지침을 재설계하고, 조립 코드를 정비해 한국어 기본 프롬프트 분량을 축소

• 요청 해석·도구 호출·결과 처리·응답 생성의 판단 흐름에 맞춰 system prompt를 재구성하고, 공통 판단 절차·도구별 호출 규칙·응답 지침의 중복·충돌을 정리
  • 도구 호출 여부·대상 선택·입력 구성·결과 전달 지침을 통합
• 기존 고정 prefix·가변 context 분리 구조를 유지하며 불필요한 placeholder·조립 helper를 제거
  • 가변 context를 구성하는 지침·형식 문구를 코드에서 Markdown 템플릿으로 분리
• tool schema·대화 이력·턴별 context를 제외한 한국어 기본 system prompt 분량을 축소