이 블로그의 모든 모델 리뷰와 벤치마크는 아래 절차를 따릅니다. 여러분이 직접 저희 결론을 판단하고, 함께 공개하는 원문과 대조해 볼 수 있도록 이 방법론을 공개합니다.
무엇을 평가하는가
저희는 BelinDoc에서 사용 가능한 AI 번역 모델을, 추상적인 리더보드가 아니라 실제로 사람들이 문서 번역기에 맡기는 작업으로 테스트합니다. 표준 모델 벤치마크는 최대 여덟 가지 문서 시나리오를 다루며, 시나리오마다 하나의 특정 약점을 집중적으로 검증합니다(초기 리뷰나 특정 주제에 집중한 리뷰는 더 적은 수를 사용하며, 정확한 개수를 해당 글에 명시합니다).
| 시나리오 | 번역 방향 | 검증하는 것 |
|---|---|---|
| 학술 초록 | 영어 → 중국어 | 전문 용어, 수동태, 격식 있는 문어체 |
| 법률 계약 조항 | 영어 → 중국어 | 중첩된 장문, 정밀성, 법률 용어 |
| 코드가 포함된 기술 문서 | 영어 → 중국어 | 백틱 안의 식별자는 번역되지 않고 유지되어야 함 |
| 문학 산문 | 중국어 → 영어 | 고전적 색채의 문체, 리듬, 이미지 |
| 만화 대사 | 일본어 → 영어 | 구어체, 캐릭터 목소리, 문장 끝 종조사 |
| 마크다운 표 | 영어 → 중국어 | 표 구조, 오류 코드, 단위 |
| 장문 용어 일관성 | 영어 → 중국어 | 다의어 하나가 여러 단락에 걸쳐 일관되게 번역되는지 |
| OCR 노이즈 | 영어 → 중국어 | 원문에 스캔 아티팩트가 포함됨; 모델은 오류를 그대로 옮기지 않고 의도를 복원해야 함 |
가능한 경우 이전 라운드의 원문을 그대로 재사용하여, 단일 리뷰 안의 모델끼리만이 아니라 시간에 따른 결과를 비교할 수 있게 합니다.
각 라운드는 현행 플래그십 모델들을 같은 무대에서 나란히 테스트합니다. 예를 들어 OpenAI, Anthropic, Google, DeepSeek의 최신 세대와 비교를 위한 이전 세대를 함께 다룹니다.
어떻게 채점하는가
- 모든 셀을 여러 번 실행하고 중앙값을 취합니다. 단일 API 호출은 서버 측 변동성의 영향을 받으며, 한 번의 샘플로 결론을 내리는 것은 운을 발견인 양 발표하는 셈입니다.
- 이중 블라인드 심사이며, 심사위원은 참가자가 아닙니다. 후보 번역은 A / B / C… 로 익명화되고(라운드마다 독립적으로 재배치됨), 두 명의 독립적인 LLM 심사위원이 충실성, 유창성, 용어, 스타일, 서식의 다섯 가지 지표로 1–5점을 매깁니다. 어느 심사위원도 참가자 명단에 포함되지 않으며, 모델이 자신의 출력을 채점하게 하면 편향이 생깁니다.
| 지표 | 측정하는 것 |
|---|---|
| 충실성 | 의미가 보존되고 누락·날조가 없음 |
| 유창성 | 자연스러운 목표 언어 표현 |
| 용어 | 일관되고 업계 표준에 맞는 용어 |
| 스타일 | 원문의 문체와 톤 일치 |
| 서식 | 레이아웃, 표, 구조 보존 |
점수를 어떻게 집계하는가. 다섯 가지 지표에는 동일한 가중치를 부여합니다. 각 번역에 대해 심사위원별로 다섯 지표의 평균을 낸 뒤, 두 심사위원의 값을 다시 평균합니다. 특정 시나리오에서의 모델 점수는 반복 실행의 중앙값이고, 전체 점수는 시나리오별 점수의 평균입니다. 점수당 비용 = 모델의 호출당 비용 ÷ 전체 점수.
어떻게 공정성을 유지하는가
- 모든 모델에 동일한 프롬프트. 모든 후보는 하나의 동일하고 최소한인 지시로 번역하므로, 프롬프트 엔지니어링이 아니라 모델 자체를 측정합니다.
- 블라인드 라벨. 심사위원은 모델 이름이 아니라 번역문만 봅니다. 라벨은 심사위원마다 독립적으로 섞습니다.
- 원문 공개. 모든 리뷰는 후보 번역과 함께 원문을 공개하므로, 채점을 믿음으로 받아들이는 대신 실제 출력과 대조해 확인할 수 있습니다.
품질을 넘어서
번역 품질만으로 결정이 끝나지는 않으므로, 각 라운드는 지연 시간(표준 샘플 번역 소요 시간), 비용(점수당 비용 비교 포함), 그리고 서식 보존도 함께 기록합니다. 서식 보존은 표, 단(column), 구조가 출력물에 그대로 살아남는지를 뜻하며, 마크다운 표와 OCR 노이즈 시나리오로 검증합니다. 다만 이들은 전체 문서가 아니라 텍스트 조각 단위의 테스트이며, 여러 페이지에 걸친 대용량 문서나 스캔 PDF에서는 동작이 달라질 수 있습니다(한계 항목 참조).
데이터와 기록 관리
각 글은 시나리오마다 원문, 각 모델의 번역, 지표별 점수를 보여주므로, 어떤 결과든 페이지에 실린 실제 출력과 대조해 확인할 수 있습니다. 그 이면에는 전체 원본 번역, 심사 점수, 집계 스크립트가 보관되어 있으며, 각 글의 수치는 그 보관 자료에서 그대로 가져옵니다.
얼마나 자주 갱신하는가
모델이 새 버전을 출시하거나 주요 업데이트가 적용되면 리뷰를 다시 실행하고, 오래된 수치를 그대로 두는 대신 해당 글을 개정합니다. 각 글에는 결과가 얼마나 최신인지 알 수 있도록 최종 갱신 날짜가 표시됩니다.
편집 독립성
- 공개 고지: BelinDoc은 저희 자체 제품입니다. 저희가 테스트하는 것과 동일한 모델로 구동되기 때문에 이 비교에 포함됩니다.
- 저희가 지는 경우도 공개합니다. 경쟁 모델이나 서드파티 도구가 특정 시나리오에서 저희가 추천할 선택지보다 더 나은 결과를 내면 그대로 밝힙니다. 리뷰는 트레이드오프에 정직할 때만 유용합니다.
- 저희는 결과를 미화하려고 샘플을 골라내지 않으며, 사후에 점수를 조정하지 않습니다.
한계
- 심사위원은 사람 번역가가 아니라 LLM입니다. LLM 심사위원은 충실성이나 용어처럼 확인 가능한 지표에서는 상당히 신뢰할 만하지만, "스타일"은 더 신중하게 받아들이세요.
- 모델 출력은 실행마다 달라집니다. 반복 실행의 중앙값을 취하면 이를 줄일 수 있지만, 점수는 여전히 신중한 참조 지표일 뿐 모든 문서에 대한 보장은 아닙니다.
- 각 라운드는 한정된 시나리오 집합과 명시된 언어 방향을 다룹니다. 한 분야에서의 우수한 결과가 다른 분야에서도 같은 결과를 보장하지는 않습니다.
저희 테스트에 대해 궁금한 점이 있으신가요? 문의하기.