진행 방식

참가자는 환자의 시작 정보와 활력징후를 바탕으로 문진, 진찰, 검사를 수행하는 Doctor Agent를 개발합니다. 환자의 전체 정보는 공개되지 않으며, 허용된 인터페이스를 통해 필요한 정보를 획득합니다.

SAY
대화 (문진 · 설명)

환자에게 질문해 병력과 증상 등 진단 단서를 수집하고, 필요한 설명을 전달합니다.

EXAM
신체진찰

진찰 동작 하나를 문장으로 요청하고 소견을 확인합니다.

TEST
검사

혈액·영상 검사 하나를 문장으로 요청하고 결과를 확인합니다. 예선에서는 사용하지 않습니다.

DIAGNOSE
초진 기록 · 최종 진단

수집한 정보를 종합해 S·O·A·P 칸으로 나눈 초진 기록과 주진단 1개를 제출합니다.

한 증례당 최대 50턴의 상호작용을 허용합니다. 문진·진찰 선택은 필요에 따라 반복할 수 있습니다. 행동별 입력 규칙은 참가 규칙에 있습니다.

평가 기준

예선 공식 평가는 대회 서버가 gpt-6.1-sol을 이용해 증례마다 100점 만점으로 자동 채점합니다. 예선 최종 평가는 GPT(gpt-6.1-sol)·Claude·Gemini 세 모델이 각각 채점한 점수의 평균을 사용합니다. 점수는 아래 여섯 영역으로 이루어집니다.

영역배점보는 것
정보수집25필요한 문진·진찰을 실제로 했고 기록했는가
진단추론15주진단이 정확하고 근거와 감별진단이 타당한가. 주진단은 5점 척도로 판정합니다(Sequential Diagnosis with Language Models, Nori et al., Microsoft AI, 2025)
검사·추적10필요한 검사와 추적 계획을 세웠는가
안전15처치 결정이 적절하고 환자에게 해롭지 않은가
의사소통15환자와 잘 소통하고 필요한 설명을 했는가
효율20불필요한 진료 행동을 줄였는가. 예선은 나머지 절반을 모델 사용 비용으로 매기고, 본선은 20점 모두 진료 행동으로 매깁니다
  • 채점은 서버에 기록된 대화·진찰·검사 로그와 제출한 초진 기록·최종 진단을 근거로 합니다. 질문하지 않은 내용을 기록에 적어도 수행한 것으로 인정되지 않습니다.
  • 초진 기록의 판단 근거와 향후 계획, 환자와 나눈 대화도 평가에 반영됩니다.
  • 미제출, 시간 초과 등 무효 증례는 0점입니다.
  • 영역 안의 세부 채점 항목, 증례별 평가 기준과 채점 프롬프트는 공개하지 않습니다. 리더보드에는 팀별 총점만 표시하고, 영역별 점수는 우리 팀 제출 화면에서 볼 수 있습니다.

예선과 본선

구분예선본선
Doctor 모델고정 LLM openai/gpt-6-luna (2026-10-13부터)참가자가 선택·학습한 모델
평가자동 채점(gpt-6.1-sol) · 최종 평가는 GPT(gpt-6.1-sol)·Claude·Gemini 세 모델 평균자동 평가 40 + 발표 자료 30 + 의사 평가 30(상위 5팀)
순위예선 최종 평가 결과와 검증 자료 확인 후 본선 진출팀 확정자동 평가·발표 자료 합계 상위 5팀에 의사 평가를 더해 수상팀 확정
  • 공식 평가는 팀별 하루 예선 3회, 본선 1회까지이며, 리더보드는 공식 평가의 총점을 보여 줍니다. 예선 종료 시점의 리더보드는 최종 순위가 아닙니다.
  • 단계별 최종 평가에는 팀이 선택한 제출 하나를 사용합니다.
  • 본선 최종 점수(100점)는 자동 평가 40점 + 발표 자료 30점 + 의사 평가 30점입니다. 자동 평가는 최종 평가 점수(100점 만점)를 40점으로 환산합니다. 발표 자료는 메일로 제출한 발표 자료를 문제 접근 타당성, 결과 해석 및 임상 고려, 확장성 및 창의성, 전달력 4개 항목(각 7.5점)으로 평가합니다. 자동 평가와 발표 자료의 합(70점) 상위 5팀은 의료진이 초진 기록을 평가하고(30점), 이 5팀은 100점 합계로, 6위 이하는 70점 합계로 순위를 정합니다.

본선 증례와 채점

본선 증례는 OSCE-SimBench(NeurIPS 2026 Evaluations and Datasets Track, Apache-2.0)의 증례 생성 방식을 바탕으로 만들었습니다. OSCE-SimBench는 한국어 OSCE 문진을 위한 가상 표준화 환자 프레임워크로, 문진 체크리스트와 환자 시나리오 작성, 대화 시뮬레이션, 자동 채점을 다룹니다. N.O.V.A. 본선은 이 문진 중심 방식에 신체진찰 결과표와 검사(TEST) 결과표를 더했고, 모든 증례는 의사의 검토를 거쳐 사용합니다.

  • 본선 증례는 1차·2차·3차 병원의 외래 초진 환자입니다. 문진과 진찰에 검사 결과까지 종합해야 진단할 수 있는 증례가 포함됩니다.
  • 검사는 client.test("간기능검사 하겠습니다")처럼 검사 하나를 30자 이내 문장으로 요청하며 1턴을 씁니다. 여러 검사를 한꺼번에 요청하거나 검사가 아닌 요청(TEST_NOT_SPECIFIC)은 턴을 쓰지 않고 거절됩니다.
  • 모든 본선 증례는 같은 공통 검사 목록을 씁니다. 증례에 원래 없는 검사에는 그 환자에게 맞는 정상 결과가 들어 있습니다.
  • 조직검사와 유전자검사는 처방할 수 있지만 결과는 항상 "결과는 추후 확인 가능"으로 나옵니다. 필요한 상황에서 처방했는지는 평가에 반영됩니다.
  • 본선의 효율 영역은 진료 행동만으로 매깁니다(2026-10-31 변경). 예선에서 Doctor 모델 사용 비용으로 매기던 10점은 본선에 없고, 진료 시간도 점수에 넣지 않습니다. 진료 행동 점수가 효율 20점을 모두 차지합니다(본선 안내 참고). 진료 시간은 제한 시간(30분) 안에만 들면 됩니다.
  • 본선 공개 샘플 1건(검사표 포함)은 참가 안내에서 내려받을 수 있고, 로컬 개발 키트에서도 TEST를 시험할 수 있습니다.

개발 및 제출

개발 단계에서는 공개된 샘플 증례로 에이전트를 실험합니다. 제출 코드의 샘플 검증은 공개 샘플 증례로 채점한 참고 점수를 우리 팀에만 보여 주며, 리더보드에는 반영되지 않습니다. 샘플 검증은 가상 환자·진찰 판정·채점에 공식 평가(gpt-6.1-sol)보다 가벼운 gpt-6-luna를 쓰므로, 이 참고 점수는 실제 점수와 다를 수 있습니다. 리더보드 점수는 공식 평가(예선 하루 3회, 예선 리더보드 5증례)에서만 나오며, 예선 마지막 최종 평가는 10증례로 채점합니다.

  • 예선은 평가 서버에 준비된 고정 LLM openai/gpt-6-luna를 사용하며(2026-10-13부터. 그 전의 openai/gpt-oss-20b는 제공자 응답 지연이 잦아 교체), 모델 파일은 제출하지 않습니다. 본선 모델은 H200 GPU 절반(MIG, 약 70GB)에서 로드·실행되어야 합니다(2026-11-02 0시부터. 그 전 평가는 A6000 48GB에서 실행한 뒤 H200에서 다시 평가해 점수를 교체).
  • 제출 파일: run.py와 requirements.txt를 포함한 ZIP 파일, 최대 50MB
  • 샘플 검증은 공식 평가 횟수를 사용하지 않습니다. 리더보드 제출은 샘플 검증 없이도 할 수 있습니다.
  • 채점 증례 원문과 실행 산출물은 참가자에게 제공하지 않습니다.
개발 가이드 보기