벤치마크 누르면 그 벤치마크만 보입니다
측정 방법 의료 영상 모델
영상 모델은 과제마다 지표가 다릅니다 — 판독문 생성은 RadGraph F1·CheXbert F1·GREEN 같은 판독문 지표, 분류는 AUROC 등. 문항(영상)마다 0~1 점수를 받아 평균을 주 지표로 보이고, 95% 구간은 부트스트랩(2,000회)으로 구합니다. 주 지표 밖의 지표는 실행 상세에 적습니다.
채점은 측정한 쪽 파이프라인이 하고, 이 앱은 채점된 문항 점수 파일을 받습니다. 원내 영상은 밖으로 나가지 않습니다 — 공개판에는 점수만 올라갑니다.
병리·흉부 X선 분류와 VQA — opencxr 가 잰 집계만 받습니다. 자체 서빙 공개 모델 7종, thinking 끔·temperature 0. 짧게 답하게 하고, 답을 읽어 낼 수 없으면 512토큰까지 풀이를 허용한 뒤 최종 답을 한 번 더 묻습니다. 외부 판정 모델은 쓰지 않고, 끝내 읽어 낼 수 없는 답은 오답으로 셉니다. AUROC 는 첫 토큰 확률로 p(yes)/(p(yes)+p(no)) 를 잽니다. 95% 구간은 문항(영상) 부트스트랩 1,000회입니다. 모두 공개 테스트셋이라 모델 학습 자료에 들어갔을 수 있습니다.
판독문 생성의 주 지표는 LC-GREEN(길이 통제 GREEN) — GREEN 은 맞춘 소견 ÷ (맞춘 소견 + 임상적으로 중요한 오류)라서, 정상 소견까지 길게 쓰면 맞춘 소견이 늘고 「빠뜨린 소견」 오류가 줄어 점수가 오릅니다. LC-GREEN 은 CheXalign(Hein 외 2025)의 정의대로 검사마다 GREEN ÷ max(판독문 단어 수 ÷ 정답 판독문 단어 수, 1)을 구해 평균합니다. 정답보다 긴 판독문만 넘친 만큼 깎고, 짧은 판독문은 GREEN 그대로입니다. 단어 수는 GREEN 판정 모델이 본 글 기준입니다. 95% 구간은 검사 부트스트랩 2,000회입니다. 원래 GREEN·평균 단어 수와 길이에 덜 민감한 RadGraph F1·RaTEScore·RadCliQ 도 함께 적습니다.
벤치마크 누르면 그 벤치마크만 보입니다
수술 중 저혈압 예측
선택 편향의 크기 AUROC · 같은 모델, 평가 표본만 바꿈
측정 방법 Yang HL et al. BJA 2025;135:571–581 의 방법
VitalDB 공개 자료에서 전신마취·동맥관 수술(성인, 이식·대동맥 수술 제외)의 1분 동맥압으로 다음 1분 평균 MBP ≤ 65 mmHg(저혈압)를 예측합니다. 입력 1분은 저혈압이 아니어야 하고, 파형이 깨진 구간은 원 논문 코드의 기준으로 거릅니다.
평가 표본 — 편향 없음: 모든 1분. 민감도 1·2: 저혈압과 헷갈리기 쉬운 비저혈압 표본을 일부 뺌. 편향: 저혈압 직전 구간과, 30분 내내 MBP > 75 인 구간 가운데처럼 쉬운 대조만 고른 방식(많은 선행 연구가 이렇게 평가). 같은 모델이라도 편향 표본에서 성능이 크게 부풀어 보입니다.
지표 — 경보/시·PPV·특이도는 민감도 85% 가 되는 문턱에서 잽니다(표본 1개 = 1분이라 시간당 경보 = 60 × 경보 수 / 표본 수). 95% 구간은 수술 단위 부트스트랩 1,000회(문턱도 매번 다시)입니다.
학습 — 학습이 필요한 모델은 원 논문의 10등분(수술 단위)으로 교차검증해, 모든 수술이 한 번씩 테스트에 들어간 예측을 모아 잽니다. 「편향 없음 학습」·「편향 학습」은 학습 표본을 고른 방식입니다. 원 논문과 표본 정의가 조금 달라 사건율(편향 없음 4–5%, 논문 2.4–2.7%)이 다르고, MAP-only AUROC 는 논문과 0.01–0.02 안에서 맞습니다.
ECG 리듬·전도 판독
사람 판독과 비교
측정 방법 공개 가중치 그대로 · 같은 정답 · 같은 지표
테스트셋 — iRhythm(Hannun 2019, Nat Med): 단일 유도 패치 30초 328명. 심장내과 전문의 위원회 합의가 정답이고, 전문의 6명의 개별 판독이 함께 공개되어 있습니다. 정답은 기록 단위 — 30초 안 어디든 그 리듬이 있으면 양성입니다. CODE-test(Ribeiro 2020, Nat Commun): 브라질 12-lead 827명, 전문의 2명이 일치한 판독(다르면 세 번째)이 정답이고 전공의·의대생 판독이 함께 있습니다. PTB-XL(Wagner 2020, Sci Data): 공식 10번째 묶음 2,198건의 SCP 진술.
모델 — 가중치가 공개된 7개를 다시 학습하지 않고 그대로, 각자 공식 코드의 전처리로 돌립니다: Ribeiro 2020(CC BY 4.0), ECGFounder 12-lead·단일 유도(MIT), DeepECG EfficientNetV2·WCR(Apache-2.0), ECG-FM(MIT), openecg(Apache-2.0). 10초보다 긴 기록은 겹치지 않는 10초 창(ECG-FM 은 5초)으로 나눠 창 점수의 최댓값을 씁니다. 단일 유도 모델은 12-lead 셋에서 자기 학습 유도(openecg II, ECGFounder I)를 받고, 12-lead 모델은 단일 유도 셋에 넣지 않습니다.
라벨 대응 — 모델마다 출력 라벨이 달라, 자기 출력에 대응 라벨이 있는 항목만 평가합니다(여럿이면 최댓값). † 는 뜻이 더 넓은 근사 대응입니다 — 예: openecg 의 avb 는 방실차단의 종류를, bbb 는 좌·우를 가르지 않고, DeepECG 의 Bradycardia 는 동서맥보다 넓습니다. * 는 그 모델의 학습 자료에 테스트셋의 원천이 들어 있다는 표시입니다(openecg·ECG-FM × PTB-XL). 대응표는 계산 전에 고정했습니다.
지표 — 항목별 AUROC(주 지표)와 AUPRC. 95% 구간은 환자 단위 부트스트랩 2,000회입니다. 사람 비교는 사람 판독자(무리 평균)의 민감도가 되는 문턱에서 모델의 특이도를 잽니다. 순위는 항목마다 따로 매기고, 공개판에는 집계만 싣습니다 — 기록별 점수·파형은 싣지 않습니다.
ICU 심정지 예측
평가 표본에 따라 AUROC · 같은 예측, 평가 표본만 바꿈
입실 단위 경보
쓸 수 있는 구간 입실 결과별 5분 구간 비율
측정 방법 같은 자료 · 같은 나누기 · 같은 평가
자료 — SCOPE v1.0(KHDP icu-cardiac-arrest, CC BY 4.0): 서울대병원 내과·외과 중환자실 2019-10 ~ 2023-12 입실 4,517건. 첫 사건(퇴실 4,095 · 사망 348 · 심정지 74) 전 최대 48시간의 ECG II(500 Hz). 심정지 시각은 CPR 또는 제세동을 시작한 시각으로, 의료진이 검토했습니다.
과제와 평가 표본 — 사건 시각에 맞춰 자른 5분 구간 하나로, 구간 끝에서 0.5–24시간 안에 심정지가 오는지 맞힙니다. 모든 입실에서 사건 30분 안 구간은 뺍니다. 편향 없음: 모든 입실의 모든 구간(심정지 입실의 24–48시간 전 구간은 음성). 논문 방식: 심정지 0.5–24시간 전 구간 대 심정지 없는 입실에서 무작위로 고른 연속 24시간(Lee 2023 의 설계). 음성 = 퇴실·사망: 음성을 한쪽 입실로만 — 사망 직전 구간은 어려운 음성입니다.
방법 — B0 APACHE II(입실 때 점수), B1 심박수 평균·표준편차 + 로지스틱 회귀, B2 HRV 삼각 지수 하나(낮을수록 위험). M1 은 Lee 2023(npj Digit Med)의 레시피: 250 Hz, 0.5 Hz 고역·전원선 필터, NeuroKit2 R 파, 품질 지수 0.9 이상 박동이 80% 넘는 구간만, HRV 45개 → BorutaShap → LightGBM(베이즈 최적화, 입실 단위 5-fold AUPRC) → Beta 보정. M2 는 SCOPE 기술 검증 코드(COPE_ECG)의 간이 Boruta(특징 15개)와 LightGBM 고정값·탐색 범위. 원 모델 가중치가 공개되지 않아, 두 레시피를 fold 마다 SCOPE 에서 다시 학습합니다.
나누기와 지표 — 입실 단위 층화 5-fold. 특징 고르기·조정·보정은 학습 fold 안에서만 하고, 학습이 있는 방법은 학습 fold 의 「논문 방식」 표본으로 학습합니다. 모든 방법을 같은 구간(품질 조건을 통과한 구간)으로 평가합니다. 주 지표는 5분 구간 AUROC, 95% 구간은 입실 단위 부트스트랩 2,000회입니다. 경보/시·PPV·특이도는 민감도 85% 문턱에서 잽니다(시간당 경보 = 12 × 경보 수 / 구간 수). 설계는 계산 전에 고정했습니다.
한계 — 품질 조건 때문에 쓸 수 있는 구간이 전체의 약 20% 입니다. 환자 ID 가 없어 같은 환자의 다른 입실이 다른 fold 에 들어갈 수 있습니다. SCOPE 는 모든 입실이 사건 직전 48시간이라, 음성 구간은 늘 퇴실 직전(안정기)이나 사망 직전입니다 — 실제 병동의 모든 시간과 다릅니다. 쓸 수 있는 양성 구간이 있는 심정지 입실이 70건이라 구간이 넓습니다.
벤치마크 누르면 그 벤치마크만 보입니다
응답 속도 불러오는 중…
불러오는 중…
모델 측정한 모델과 그 부르는 길
측정 방법 모든 실행에 같은 지시문·채점
지시문: 「다음은 (시험 이름) 문제다. 보기 중 정답 하나를 고르라. … 답의 알파벳(A~E) 하나만 마지막 줄에 정답: X 형식으로 쓰라.」(prompt mcq-ko-v1). 채점은 본문의 마지막 정답: X, 없으면 끝부분의 마지막 A~E.
같은 모델의 양자화판(FP8·FP4·Int4 등)은 데이터셋마다 원본과 정확도 차이가 2%p 안이고 두 비율 검정으로도 다르지 않으면(|z| < 1.96) 원본 줄 하나로 합쳐 보이고, 양자화판 정확도는 그 줄 밑에 적습니다. 위의 「양자화 · 따로」를 고르면 나눠 봅니다.
기본 설정: 추론(생각) 켬 · temperature 0.6 · top_p 0.95 · max_tokens 16,000. 모델은 LLM 게이트웨이(llm.snuh.org)·snuop 라우터(llm.snuop.net)·API 를 통해 이름으로 불렀고, 라우터가 다른 모델로 대체한 응답(X-Model-Routed … fallback)은 무효로 뺐습니다.
데이터셋은 글로만 된 문항(그림·표 없음)입니다. 한국 국가시험(KMLE·KorMedMCQA·KMMLU 보건)과 영어·중국어·일본어·프랑스어 공개 의료 벤치마크(MedQA·MedMCQA·PubMedQA·MMLU·MedXpertQA 등)이며, 출처·라이선스는 데이터셋마다 적었습니다. KMLE 2025·2026 은 원내에서 전사한 비공개 문항입니다. 2024년 의사 문항은 국시원 가답안과 150/150 일치를 확인했습니다.