정확도
- 측정값
- 확인된 최종 상태에 도달한 유효 실행의 비율
- 판정 규칙
- 시스템이 확인 경계 안에서, 복구 불가능한 오류 없이, 과제가 선언한 최종 상태에 도달했는가?
소비자 에이전트 벤치마크
6개 현지 시장과 일상 소비 영역의 엔드투엔드 실행을 평가하는 세계 최초의 공개 벤치마크입니다.
MICA는 버전을 고정한 소비자 에이전트 시스템을 아시아와 중동 6개 시장의 일상 볼일로 평가합니다. 실행은 격리된 모의 환경이 아니라 현지 채널과 본인확인, 동의 절차, 결제 수단, 앱 전용 흐름을 지나갑니다. 기준을 통과한 과제는 정확도·속도·비용을 곱해 점수 하나를 받고, 세 축의 원래 값은 그 옆에 따로 싣습니다.
- 시장
- 6
- 과제 계열
- 10
- 결과를 실은 계열
- 0
- 확인을 마친 시스템
- 0
- 측정한 실행
- 0
빌드할 때 원본 데이터에서 직접 센 값입니다.
재는 대상은 모델이 아니라 시스템
- 오케스트레이션
- 모델 라우팅
- 메모리
- 도구·API 사용
- 현지화
- 안전
- 복구
아직 실은 결과가 없습니다
MICA는 과제 분류, 측정 방법, 공개 요건, 근거 구조를 제공합니다. 제출한 시스템을 독립적으로 다시 실행해 공개 요건을 통과한 결과만 이곳에 올라옵니다.
평가 계열 10개 · 공개된 결과 계열 0개
MICA는 10개 과제 계열을 정의합니다. 검증된 결과가 있는 계열은 아직 없습니다. 아래 항목은 측정 대상을 정의하며, 없는 결과는 0이 아니라 미측정으로 표시합니다.
- 잠정 후보 과제
- 100
- 이 중 보정 대기 측정 계약
- 100
- 검증 완료 과제
- 0
- 공개된 결과
- 0
MICA를 만드는 이유
기존 벤치마크가 함께 다루지 않는 것
WebArena, WebVoyager, WebShop, AndroidWorld, AppWorld, τ-bench는 과제 완료를 결과로 측정합니다. MICA는 이를 확장해 조립된 소비자 에이전트가 현지 채널, 본인확인, 결제 수단을 갖춘 시장에서 일상 볼일을 끝내는 능력을 평가합니다.
- 빠져 있던 단위
- MICA가 보는 단위는 볼일이 지나간 서비스를 모두 아우른 결과 전체입니다. 모델의 답변도, 도구가 돌려준 응답도, 화면 하나 안의 성공도 아닙니다. 예약이나 주문, 취소, 변경이 실제로 이루어져야 결과입니다. 같은 볼일이 로그인 앞에서 멈췄다면 절반의 성공이 아니라 실패입니다.
- 시장이 곧 과제
- 현지 채널, 본인확인과 휴대폰 인증, 결제 수단, 말투, 무엇을 완료로 보느냐는 번역 문제가 아니라 과제의 조건입니다. 같은 볼일도 시장이 바뀌면 다른 문제가 됩니다. 그래서 벤치마크 하나를 여섯 언어로 옮기지 않고 에디션 여섯 개를 따로 씁니다.
- 앱 중심 아시아가 중요한 이유
- 앱 중심 시장에서는 찾아보는 일은 열려 있어도 상태를 바꾸는 층은 닫혀 있는 경우가 많습니다. 주문과 메시지, 결제, 계정 변경은 플랫폼 등록과 제휴 승인, 동의 범위, 미니앱, 결제 인계를 지나야 합니다. 조회에서 멈추는 벤치마크는 정작 어려운 곳에 닿지 못합니다.
과제마다 점수 하나, 세 축은 따로
정확도·속도·비용이 기록이고, 점수는 파생값입니다
정확도·속도·비용은 고유 단위 그대로 따로 공개합니다. 적격 실행마다 100 × 정확도 × 속도 × 비용의 파생 요약값을 계산할 수 있지만, 참조값·반복 실행 계약·불확실성을 파일럿에서 보정하기 전에는 대표 수치나 순위 기준으로 쓰지 않습니다. 아직 점수를 받은 과제는 없습니다.
속도
- 측정값
- 실제 경과 초, 성공한 유효 실행만
- 판정 규칙
- 성공한 실행이 처음부터 끝까지 걸린 시간. 빠른 실패가 빠른 성공으로 읽히지 않도록 실패한 실행은 제외합니다.
비용
- 측정값
- 성공한 유효 실행당 통화 금액
- 판정 규칙
- 전체 유효 시도 비용을 성공한 유효 실행 수로 나눈 값. 실패의 비용은 그 실패를 거쳐 도달한 성공에 부과됩니다.
만든 것과 아직인 것
지금 어디까지 왔는가
각 부분의 현재 공개 상태를 명확히 표시합니다. 아래 항목은 측정 결과가 아니라 구축 상태입니다.
- 과제 분류
- 일상 과제 10개 계열이고, 표준 과제마다 완료 조건과 승인 경계를 적어 두었습니다. 공개 과제 세트의 후보로 먼저 열었습니다. 아직 초안이라 확인을 거치지 않았고 시장별로 나뉘지도 않았습니다.
- 측정 방법
- 정확도·속도·비용을 따로 싣는 세 결과로 정의하고, 0과 1 사이로 맞춘 값을 곱해 과제마다 점수 하나를 냅니다. 계열과 국가 수치는 유효한 과제 점수의 산술평균입니다. 초안으로 열어 두었고 반론을 받습니다.
- 근거 구조
- 근거의 단위는 실행 묶음입니다. 묶음마다 고유 주소가 있고 내용을 다 밝히며, 무엇을 보여 줄 수 없는지도 적습니다. 만드는 일은 끝났고 안은 비었습니다. 기록된 묶음이 없습니다.
- 공개 요건
- 다시 돌려 확인하기, 커버리지, 안전 조건은 이미 걸려 있습니다. 수치 기준값은 일부러 아직 정하지 않았습니다. 그래서 오늘은 어떤 결과도 이 요건을 넘을 수 없고, 실은 것도 없습니다.
- 확인을 마친 결과
- 없습니다. 잰 제출물도, 다시 돌린 시스템도 없고, 어느 시장이나 계열에도 순위가 없습니다.
에이전트에게 시키는 일
일상 과제 10개 계열
계열마다 무엇을 끝내야 완료인지, 그리고 동의 없이 넘어서면 안 되는 선이 어디인지 정해 둡니다.
- 이메일·캘린더여러 사람의 일정 조율, 현지 어법에 맞는 초안 작성, 그리고 메일함과 캘린더 사이에서 약속을 어긋나지 않게 유지하는 일.10 개 표준 과제
- 쇼핑·배송제약 조건에 맞는 특정 상품을 찾아, 실제 현지 주소로 보내고, 결제 직전에서 깔끔하게 멈추는 일.10 개 표준 과제
- 여행 계획·숙박까다로운 제약을 만족하면서 현지 재고 규칙과 부딪혀도 살아남는 다구간 일정과 숙소.10 개 표준 과제
- 외식·예약예약과 현지 예약 업무. 중개 플랫폼의 커버리지, 채팅 채널, 그리고 언제 사람에게 넘길지 아는 능력에 좌우됩니다.10 개 표준 과제
- 금융·은행·투자계좌와 포트폴리오 이해, 수수료·위험 고지, 그리고 최종 승인 경계에서 멈추는 자금 이동 또는 투자 주문의 준비.10 개 표준 과제
- 이동·대중교통시간·비용·접근성 제약 아래 실제 도시를 가로질러 사람을 이동시키는 일. 그 시장이 실제로 운영하는 교통과 차량 호출 수단을 사용합니다.10 개 표준 과제
- 의료 행정진료를 둘러싼 행정 영역. 예약, 의뢰, 기록 요청, 보험 서류, 비용 추정입니다. 임상적 내용은 결코 다루지 않습니다.10 개 표준 과제
- 행정·공공 서비스공공 부문 절차 처리. 자격 확인, 서류 준비, 서식 작성, 방문 예약까지이며, 법적 구속력이 생기는 지점 앞에서 멈춥니다.10 개 표준 과제
- 주거·공과금가정 계정 운영. 검침과 청구서 검토, 요금제 비교, 이사 전입·전출 처리, 수리 접수입니다.10 개 표준 과제
- 통신·디지털 구독서비스 계정의 생애 주기 관리. 모바일·인터넷 요금제 변경, 로밍과 eSIM 준비, 사용량·청구 검토, 중복 구독과 무료 체험 관리, 이의 제기, 번호 이동과 해지입니다.10 개 표준 과제