생성형 AI RLHF 텍스트 랭킹 데이터 라벨링·구축 사례

산업 분야: AI·소프트웨어 산업(추정입니다) · 데이터 유형: 텍스트 QA 응답 · 납품 형태: EXCEL 기반 평가 결과셋입니다.

프로젝트 개요

고객사는 RLHF QA셋의 정확성을 정교하게 평가해 LLM 성능을 강화하고자 했습니다. 여러 작업자가 참여하는 환경에서 답변 정확도, 편향성, 유해성, 할루시네이션 여부를 일관된 기준으로 평가하는 것이 핵심 과제였습니다.

• 산업 분야: AI·소프트웨어 기반 LLM 서비스(추정입니다)를 위한 데이터 라벨링 프로젝트입니다.
• 데이터 유형: 텍스트 기반 QA 프롬프트와 4개 후보 답변에 대한 평가·랭킹 데이터입니다.
• 라벨링 종류: 답변 품질 점수 라벨링(0~4점 스케일) 및 편향성·유해성·할루시네이션 여부 평가입니다.
• 작업 구조: 각 프롬프트에 대해 5명의 독립 작업자가 개별 평가를 수행하는 멀티 라벨 구조입니다.
• 품질 관리: 답변 그룹을 ABCDE로 분리 후 랜덤 업로드하여 편향을 줄이고 라벨링 품질을 관리했습니다.
• 규모: RLHF 학습용 QA셋 다수를 포함하는 약 수천~수만 건 단위의 AI 학습 데이터 구축 프로젝트입니다.

주요 작업 내용

젠다이브는 RLHF 특성을 고려해 평가 기준을 세분화하고, 독립 작업자 기반의 다중 평가 구조로 주관성을 줄였습니다. LabelStudio를 활용해 그룹별 답변을 무작위로 배치하고, 검수 프로세스를 통해 불량 데이터를 조기에 차단했습니다.

프로젝트 마무리 및 성과

젠다이브는 5명의 독립 작업자 구조와 단계별 검수 프로세스를 통해 RLHF 랭킹 데이터의 신뢰도를 높였습니다. 이를 기반으로 고객사는 보다 정교한 보상 모델을 설계하고, LLM의 안전성과 응답 품질을 점진적으로 개선할 수 있었습니다.

• 품질: RLHF 특화 평가 기준과 예시 중심 교육으로 작업자 간 편차를 줄이고, 점수 일관성을 확보했습니다.
• 관리: 다중 평가 결과를 기반으로 이상 패턴을 탐지하고, 재작업 루프를 운영해 불량 데이터를 조기에 걸러냈습니다.
• 확장성: LabelStudio 기반 워크플로와 EXCEL 스키마를 표준화해, 이후 데이터 규모 확장 시에도 동일 프로세스로 대응 가능하도록 설계했습니다.

젠다이브 파트너 데이터 라벨링 서비스

RLHF, 랭킹, 안전성 평가 등 생성형 AI 프로젝트는 단순 분류 작업과는 다른 전문성을 요구합니다. 젠다이브는 AI 학습 데이터 특성에 맞춘 프로세스로, 기존 라벨링 업체와는 다른 방식으로 프로젝트를 설계합니다.

• 복합 기준이 필요한 생성형 AI 평가에 특화된 가이드 설계 역량을 보유해, 정확성·안전성·편향성 등 여러 축의 평가 항목을 하나의 일관된 라벨링 체계로 정리합니다.
• 다중 작업자·다중 검수 기반의 관리 프로세스를 통해 작업자별 편차와 오류를 체계적으로 관리하고, RLHF용 데이터셋의 신뢰도를 높입니다.
• 고객사 파이프라인에 맞춘 스키마 설계와 결과 데이터 정제를 지원해, 납품 즉시 모델 학습·평가 환경에 연동 가능한 실무형 AI 학습 데이터를 제공합니다.