근거

증거 등록부가 비어 있습니다. 측정된 시스템이 없으므로 열어 볼 집계도, 따라갈 계보도 없습니다. 그럼에도 아래에 모델을 전부 밝히는 이유는, 그것이 앞으로 MICA가 게시할 모든 수치에 대해 하는 약속이기 때문입니다.

단위

시스템 × 시장 × 과제 계열마다 하나의 집계 실행 셀. 셀 id는 system--market--family 형식이므로, 어떤 수치든 그 수치가 나온 정확한 구간까지 되짚을 수 있습니다.

담고 있는 것

유효 실행 수와 성공 실행 수, 성공한 유효 실행의 소요 시간, 전체 유효 시도의 소요 시간 기록, 총 유효 비용, 과제 커버리지, 중대 안전 사건.

담고 있지 않은 것

개별 시도, 타임스탬프, 대화 기록, 스크린숏, 도구 로그, 공급자 신원은 없습니다. 어떤 종류의 사용자 데이터도 없습니다. 데모 픽스처는 생성된 것이며, 실제 에디션이라면 합성 페르소나와 통제된 테스트 계정만 사용합니다.

수치를 도출하는 방식

정확도와 그 95% 신뢰구간, 속도 백분위수, 성공당 비용은 요청 시 셀로부터 계산합니다. 어떤 값도 두 번 저장하지 않습니다. 원값 축이 곧 기록이며, 점수는 그 기록을 대신해 저장되는 것이 아니라 거기서 도출됩니다.

점수가 매겨진 기록이 갖춰야 할 것

과제가 실행 가능해지면, 점수가 매겨진 기록은 그 시도 뒤의 모든 모델 호출을 공급자, 모델, 버전, 목적, 토큰, 비용, 지연, 순서와 함께 밝혀야 합니다. 정확도 원값, 지연 원값, 평가 실행 비용 원값, 그리고 성분 계산에 사용한 사전 등록 속도·비용 기준값도 함께 남깁니다.

오늘의 픽스처가 담고 있는 것

그중 아무것도 담고 있지 않습니다. 데모 픽스처는 집계 실행 셀일 뿐이며, 과제별 호출 계보도, 점수 성분도, 최종 점수도 없습니다. 배포된 등록부에는 셀 자체가 하나도 없습니다.

지위

기록된 셀이 없습니다. 그와 무관하게 공개 제한은 계속 작동합니다. 지수가 프리뷰 상태인 동안에는 어떤 것도 공개 대상으로 표시될 수 없습니다.