Q&A

제출한 코드를 대회 서버의 격리된 환경에서 실행하며, 예선은 자동 채점한 점수만으로 평가합니다. 평가 영역과 배점은 상단 메뉴의 ‘진행 및 평가’에 있습니다.

예선은 평가 서버에 준비된 고정 LLM openai/gpt-6-luna를 모든 팀이 동일하게 사용하며(2026-10-13부터. 그 전에는 openai/gpt-oss-20b), 파인튜닝은 허용되지 않습니다. 본선에서는 A6000 48GB급 GPU 한 장에서 실행되는 모델이라면 파인튜닝한 모델도 자유롭게 제출할 수 있습니다.

네. 논문 등 연구 출판에 사용할 수 있는 라이선스의 데이터·모델·도구라면 사용할 수 있으며, 출처를 명시해야 합니다. 다만 제출하는 추론 코드에서 외부 API를 호출할 수는 없습니다.

운영 문의와 질문은 [email protected]으로 보내 주세요. 팀명을 함께 적어 주시면 확인에 도움이 됩니다. 여러 팀에 도움이 되는 질문은 답변과 함께 이 Q&A에 올립니다.

운영진 공지입니다.

1. 예선 리더보드 제출(공식 평가) 하루 3회로 확대

예선 리더보드 제출(공식 평가) 횟수를 팀당 하루 1회에서 하루 3회로 늘렸습니다.

- 적용: 10월 16일(금) 반영 시점부터 바로 적용됩니다. 오늘 이미 1회를 쓴 팀도 오늘 2회를 더 제출할 수 있습니다.
- 기준: 팀·단계별, KST 0시 초기화

남은 횟수는 대시보드의 '오늘 공식 평가'와 '+ 새 제출' 창에서 확인할 수 있습니다.

2. 개발 크레딧 추가 지급

모든 팀에 개발 크레딧을 추가로 지급했습니다(10월 16일). 따로 신청하실 필요는 없으며, 개발·API 화면의 크레딧 잔여 비율에 이미 반영되어 있습니다.

3. 샘플 검증 관련 자주 묻는 질문

Q1. 같은 파일을 여러 번 샘플 검증했는데 점수 차이가 큽니다.
Doctor 모델과 가상 환자의 답변은 실행마다 조금씩 달라 같은 코드라도 진료 흐름이 바뀔 수 있습니다. 특히 최종 진단이 달라지면 진단·추론 영역 점수가 크게 달라집니다. 서버 오류가 아닙니다. 버전을 비교할 때는 각 버전을 여러 번 검증해 평균과 편차를 함께 보시기를 권합니다(샘플 검증은 하루 10회). 이러한 편차를 줄이기 위해 예선 최종 평가에서는 세 모델(GPT·Claude·Gemini)이 각각 3번씩, 총 9번 채점한 점수의 평균을 사용할 예정입니다.

Q2. 샘플 검증과 리더보드의 효율 점수 차이가 큽니다.
효율 점수는 채점 모델이 판단해서 매기지 않습니다. 진료 행동(턴) 수와 Doctor 모델 사용 비용을 정해진 공식에 넣어 계산하며, 두 부분이 절반씩입니다. 샘플 검증과 리더보드는 Doctor 모델, 비용 단가, 턴 계산 방식, 공식이 모두 같습니다. 예선 최종 평가도 같은 공식을 쓰므로, 채점 모델과 관계없이 같은 진료 기록이면 같은 효율 점수가 나옵니다.

같은 턴 수인데도 점수 차이가 큰 이유는 증례입니다. 턴 수 부분의 기준은 증례마다 따로 정해져 있으며(기준은 공개하지 않습니다), 공개 샘플 3증례(C01·C03·C10)는 리더보드 증례보다 기준이 넉넉한 편입니다. 모델 사용 비용 부분은 일정 사용량을 넘으면 지수적으로 깎입니다.

그래서 샘플 검증의 효율 점수만으로는 리더보드 효율 점수를 가늠하기 어렵습니다. 운영진도 이 점을 확인해 검토하고 있으며, 바뀌는 내용이 있으면 Q&A와 메일로 공지하겠습니다. 제출 버전을 고르실 때 효율 영역은 리더보드 점수를 기준으로 보시기를 권합니다.

예선 결과에 따라 10팀이 본선에 진출합니다.

운영진 공지입니다. 예선 리더보드 제출(공식 평가)을 10월 13일 오후부터 받습니다.
제출 페이지의 '+ 새 제출'에서 '리더보드 제출'을 선택합니다. 팀당 하루 1회(KST 0시 초기화)이며, 공개되지 않은 예선 증례 5개로 평가합니다. 점수는 리더보드에 팀별 최고점으로 표시되고, 샘플 검증(하루 10회)은 그대로 쓸 수 있습니다.

운영진 공지입니다.

1. Doctor 모델 변경: 예선 Doctor 모델이 openai/gpt-oss-20b에서 openai/gpt-6-luna로 바뀝니다. 10월 13일 새벽 기존 모델 제공자의 응답 지연으로 다수 팀의 샘플 검증이 중단된 데 따른 조치입니다. 코드 수정은 필요 없습니다. client.chat()에서 model을 생략하거나 이전 ID를 적어도 그대로 Doctor로 처리됩니다. reasoning_effort는 low·medium·high까지만 쓸 수 있고, temperature는 보내도 무시됩니다(모델 기본값만 지원). 가격은 100만 토큰당 입력 152원·캐시 입력 15원·출력 761원입니다. gpt-6-luna는 추론 토큰이 더 많이 나올 수 있으니 max_tokens를 넉넉히 두세요.

2. 개발 크레딧 복구: 개발 기간 중 서버 장애가 있었던 점을 고려해 모든 팀의 개발 크레딧을 지급액(40,000원)으로 되돌렸습니다.

3. 오늘 12:30 기준 횟수 초기화: 10월 13일 12:30(KST) 이전의 샘플 검증, 개발 샘플 세션, 개발 키 모델 호출은 기록만 남고 일일 횟수에서 모두 제외되었습니다. 오늘 횟수는 모든 팀이 전부 남아 있습니다. 새벽에 "서버 장애"로 중단된 샘플 검증은 다시 실행되지 않고 "취소됨"으로 표시되니, 필요하면 제출을 다시 올려 주세요. 서버 장애로 중단된 실행은 앞으로도 횟수에서 차감되지 않습니다.

4. 개발 샘플 세션 한도: 개발 키로 서버에서 여는 샘플 세션(create_sample)은 팀당 하루 20개에서 100개로 늘렸습니다. 한국시간 0시에 초기화됩니다. 제출 후 샘플 검증은 하루 10회로 그대로입니다.

5. 리더보드(공식 평가) 오픈 일정은 별도로 안내드립니다.