[Data] Seed 문장 교차 검수와 Gold V1 확정

[hywznn]

배경

초기 Seed는 라벨·분기 구조를 확인하기 위한 DRAFT이며 실제 학습 완료 데이터가 아닙니다. 대표 모델은 Intent·Domain 다중라벨 분류로 고정하고, Workflow·Slot은 Agent 보조 정답으로 분리합니다.

완료한 기반 작업

• 대표 모델과 데이터 역할을 dataset manifest로 고정
• Smoke Evaluation 18건 checksum 잠금
• REV-A·REV-B 블라인드 독립 검수 큐 생성
• Intent·Domain 경계 사례 가이드 V1 작성
• 분포·중복·누수·PII·준비 상태 리포트 자동화
• 검수 일치도와 불일치 큐 생성 자동화
• 팀 분류 검수와 전문가 Workflow 검수 범위 분리

남은 작업

• REV-A Intent·Domain 1차 검수
• REV-B Intent·Domain 1차 검수
• Exact Match·Macro Kappa와 불일치표 생성
• 불일치 합의 및 라벨 가이드 V1.1 반영
• 인터뷰 유래 문장의 동의·비식별 범위 확인
• 추가 2040건 작성으로 Gold Seed 6080건 확보
• 고위험 Workflow·필수서류·조치안 전문가 표본 검수
• 최종 평가셋 확장 계획 확정

완료 기준

• 분류용 Gold 모든 행에 두 명의 독립 검수와 합의 기록 존재
• 개인정보 패턴, Seed 중복, 평가셋 누수 0건
• Intent·Domain Macro Kappa 0.70 이상
• 고위험 Workflow는 전문가 확인 전 Agent 정답으로 사용하지 않음

관련 구현: PR #19

[hywznn]

현재 상태 · 2026-07-16

• Seed 문장 40건: 모두 DRAFT
• 6개 핵심 Intent: 각각 최소 5건 이상 포함
• 복합요청·모호요청·OUT_OF_SCOPE 포함
• 독립 평가사례 18건 분리
• Schema 및 교차참조 검증 통과

다음 작업

1. 팀원 두 명이 독립 검수
2. Intent·Domain 불일치 합의
3. Slot·누락·모호성 검수
4. 60~80건까지 보강 후 GOLD 승격

이 Issue가 현재 팀의 가장 먼저 처리할 데이터 작업입니다.

[hywznn]

Gold V1은 팀원 두 명의 합의만으로 확정하지 않습니다. 전문가 검수 기준은 #10에서 관리하며, high·critical 및 팀 불일치 사례는 전문가 검수 완료 후 승격합니다.