高雄醫學大學名譽教授
劉克明
2022年美國醫學院臨床實習醫學生訓練的特徵
美國“全國醫學考核委員會 (NBME)”為了分析與醫學院實習相關的趨勢,並收集有關“全國醫學考核委員會(NBME®)”臨床科學評估組合的回饋,於 2022 年 10 月進行了 “臨床實習醫學生訓練特徵調查 (Characteristics of Clinical Clerkships Survey)”。該調查收集了有關醫學院實習醫學生的結構、內容和評估的資訊。美國國內和國際醫學院的實習主任(Clerkship Directors) 應邀參加,並提出分析報告”2022年美國醫學院臨床實習醫學生訓練特徵的調查(2022 CHARACTERISTICS OF CLINICAL CLERKSHIPS SURVEY)”。筆者獲得Dr. Beth Gallagher (Director (Interim), Customer Success Program and Stakeholder Management, NBME)同意翻譯,謹供臺灣醫學教育界師長專家參考。
在此報告中,我們可以找到有關 2022 年美國臨床實習醫學生調查的特徵匯總結果。這項調查並不是對實習醫學生訓練的結構和形式的普查或審計,其結果不能推廣到所有實習醫學生的人口。但是,我們可以看到醫學院三年級學生、傳統的、基於學科的實習和臨床科學測驗 (Clinical Science Exams) 在這種情況下的運用趨勢。
一、一些調查結果重點包括:
二、實習醫學生訓練的特徵(CHARACTERISTICS OF CLERKSHIPS ):
2020 | 2022 |
6 週 (38%) | 6 週 (30%) |
8 週 (29%) | 4 週 (27%) |
三、實習醫學生訓練的評估 (ASSESSMENT IN CLERKSHIPS):
回覆者分享了他們在管理實習醫學生訓練期間的評估數量和類型的訊息。大多數主任表示,他們在整個實習醫學生訓練期間進行一到六次(任何類型的)的評估。
未進行評估實習醫學生訓練成果 4%、評估一到三次 47%、四到六次 25%、七到十次 12%,超過十一次 12%。
幾乎所有評估 (94%) 都會進行多項選擇題考試,超過一半 (58-59%) 會進行“基於工作場所的評估 (Workplace-based assessment)”和/或“客觀結構化臨床測驗(objective structured clinical examination,簡稱OSCE)”。
1 | 多項選擇題考試(Multiple-choice question exam) | 94% |
2 | 基於工作場所的評估 (Workplace-based assessment) | 59% |
3 | 臨床表現測驗(Clinical performance exam, OSCE) | 58% |
4 | 個別項目(Individual project) | 34% |
5 | 臨床文件審查(Clinical documentation review) | 34% |
6 | 多源評估(Multisource assessment) | 32% |
7 | 敘事評估(Narrative assessment) | 30% |
8 | 自我評估(Self-assessment) | 24% |
9 | 口試(Oral exam) | 16% |
10 | 電腦個案機模擬 (Computer case simulations) | 15% |
11 | 群組項目(Group project) | 11% |
12 | 簡答題 (Short answer question) | 8% |
13 | 其他(Other) | 8% |
14 | 長篇論文問題 (Long-form essay question) | 3% |
前 2 個評分(非常有效/有效)評級(Top 2 Box scores (Very effective /effective) rating) | 衡量學生對內容/結構的理解 (Measuring students understanding of content/constructs) |
使學生能夠展示技能能力(Enabling students to demonstrate skill competence) | 確定需要進一步學習的領域 (Identifying areas requiring further study) |
口試 (Oral exam) | 90% | 66% | 90% |
基於工作場所的評估 (Workplace-based assessment) | 78% | 83% | 71% |
多源評估(Multisource assessment) | 77% | 84% | 70% |
臨床表現測驗(Clinical performance exam, OSCE) | 74% | 77% | 61% |
敘事評估(Narrative assessment) | 68% | 64% | 43% |
多項選擇題考試(Multiple-choice question exam) | 66% | 41% | 67% |
臨床文件審查(Clinical documentation review) | 64% | 70% | 43% |
電腦個案機模擬 (Computer case simulations) | 63% | 59% | 70% |
簡答題 (Short answer question) | 60% | 47% | 53% |
個別項目(Individual project) | 57% | 46% | 38% |
自我評估(Self-assessment) | 51% | 49% | 53% |
長篇論文問題 (Long-form essay question) | 50% | 33% | 50% |
群組項目(Group project) | 32% | 21% | 42% |
四、全國醫學考核委員會考試屬性的重要性(IMPORTANCE OF NBME EXAM ATTRIBUTES):
調查回覆者評估了不同屬性在他們決定使用“全國醫學考核委員會(NBME) “考試時的重要性。從 2020 年 1 月到 2022 年 10 月,三個屬性的重要性增加了:內容的相關性 (Relevance of content),最新/當前內容 (Up-to-date/current content),以及對教師提供的績效回饋(Performance feedback provided to faculty)。
按 2022 年重要性排序 -- 前兩個評估:非常/極其重要 (Top Two Box: Very/Extremely Important) |
2020 (A) |
2022 (B) |
∆WAVE OVER WAVE | |
1 | 內容的相關性(Relevance of content) | 81% | 89%A | 8% |
2 | 最新/當前內容 (Up-to-date/current content) | 73% | 87%A | 14% |
3 | 全國比較數據 (National comparison data) | 83% | 86% | 3% |
4 | 適當的難度 (Appropriate level of difficulty) | 80% | 85% | 5% |
5 | 為學生練習 USMLE 類型問題 (Practice for student with USMLE type questions) |
77% | 85% | 8% |
6 | 內容的深度(Depth of content) | 77% | 83% | 6% |
7 | 內容的廣度 (Breadth of content) | 76% | 83% | 7% |
8 | 與往年評估的一致性 (Consistency with prior year assessments) | 83% | 82% | -1% |
9 | 與全國的課程保持一致 (Alignment to national curriculum) | 76% | 82% | 6% |
10 | 與學校的課程保持一致 (Alignment to school curriculum) | 70% | 80% | 10% |
11 | 現成產品的便利性 (Convenience of off-the-shelf product) | 79% | 74% | -5% |
12 | 對學生表現提供回饋 (Performance feedback providedto students) | 61% | 71% | 10% |
13 | 評估 USMLE 的準備情況* (To gauge readiness for USMLE*) | 66% | 70% | 4% |
14 | 多種問題形式 (Variety of question formats) | 50% | 60% | 10% |
15 | 滿足 LCME 要求 (Fulfills LCME requirement) | 54% | 60% | 6% |
16 | 對教師提供的績效回饋(Performance feedback provided to faculty) | 42% | 59%A | 17% |
*字母表示α = .05 水平的比例之間的統計顯著性 (*Letter indicates statistical significance between proportions at the α = .05 level)。
五、實習醫學生訓練和考試評分 (CLERKSHIP AND EXAM GRADING):
評分的方法或採通過/未通過 | 榮譽 (Honors)、高分及格 (High Pass)、及格(Pass)、不及格 (Fail) | 通過/未通過 (Pass/Fail) | 高分及格 (High Pass)、及格(Pass)、不及格 (Fail) | 其他 例如:最高榮譽/榮譽 (High honors/honors)、高分及格/及格/低分及格(High pass/pass/low pass)、甲/乙/丙等 (A/B/C etc.,)、優秀/良好/滿意/不及格 (Outstanding/good/satisfactory/fail) |
59% | 17% | 2% | 22% |
1-10% | 11-20% | 21-30% | 31-40% | 41-50% | 51-60% | 61-70% | 71%以上 | 未確定 | 其他 | |
2020 | 4% | 21% | 41% | 8% | 5% | 1% | 0% | 3% | 3% | 13%B |
2022 | 3% | 21% | 39% | 13% | 4% | 1% | 1% | 2% | 13%A | 3% |
大約 30% 運用全國醫學考核委員會臨床學科測驗的實習醫學生訓練主任並不了解全國醫學考核委員會的評分指南(NBME’s Grading Guidelines)。評分指南由具有全國代表性的實習醫學生訓練主任小組制定,以協助學校和機構為參加 NBME 臨床學科測驗的學生設定及格標準和榮譽標準 (Setting passing and honors standards)。每兩到三年,全國醫學考核委員會會與教師們一起對指南進行審查,以更新並確保指南的持續適用性。MyNBMESMService Portal 提供了每項測驗的評分指南。
大多數 2022年調查回覆者表示,他們的機構要求學生通過全國醫學考核委員會學科測驗,並使用測驗成績來確定榮譽水準的表現。此與 2020 年的結果類似。
通過分數 | 榮譽級表現 | ||
1 | 整個學年的百分位數排名 | 33% | 32% |
2 | 全國醫學考核委員會提供的評分指南 | 31% | 25% |
3 | 特定的學科的百分位數排名 | 17% | 14% |
4 | 學年/參考組 | 9% | 14% |
5 | 平均表現 | 9% | 5% |
6 | 未確定 | 9% | 11% |
7 | 其他 | 7% | 12% |
回覆者用於確定通過的最低正確分數百分比是多少?
回覆者回應中位數最低通過率等於正確率60%。
回覆者用於確定榮譽的最低正確分數百分比是多少?
回覆者回應中位數最小值等值百分比正確分數用於確定榮譽表現80%。
幾乎所有回覆者都使用全國醫學考核委員會臨床科學科目測驗來評估學生在課程/實習結束時的知識,45% 的回覆者使用該測驗來確定學生的擅長程度/最低的能力(Mastery/minimal competency)。
使用全國醫學考核委員會臨床科學科目測驗的目的(Purpose of Using NBME Exam):
1 | 在課程/實習醫學生訓練結束時評估學生的知識 | 97% |
2 | 在確定擅長的/最低的能力 | 45% |
3 | 供學生練習美國醫師執照考試 (USMLE) | 36% |
4 | 作為升級的要求 | 30% |
5 | 確定學生的強項和弱項 | 28% |
6 | 為了學生的自評 | 25% |
7 | 確定有風險的學生 | 24% |
8 | 提供補救措施 | 17% |
9 | 為了滿足美國醫學教育評鑑委員會(Liaison Committee on Medical Education,簡稱LCME)的要求 | 8% |
10 | 使學生有資格獲得先修課程 | 5% |
11 | 在學年結束時評估學生知識 | 4% |
12 | 作為課程複習的一部分 | 2% |
13 | 其他 | 4% |
六、客制化評估服務 (NBME Customized Assessment Services):
92% 的回覆者在實習醫學生訓練期間不使用“全國醫學考核委員會客制化評估服務(NBME Customized Assessment Services,簡稱CAS)”。一些使用 CAS 的回覆者也使用臨床科學學科測驗,但其他人則不使用。缺乏意識 (Awareness) 是在實習醫學生訓練評估中不使用 CAS 的主要原因 (53%)。隨著最近添加的臨床科學內容,CAS 可以成為實習醫學生訓練主任在傳統實習醫學生訓練中創建期中測驗的有用工具,或則在縱向整合的實習醫學生訓練或混合的實習醫學生訓練中創建適合其課程的客制化測驗。
未使用客制化評估服務的主要原因(Reasons for not using CAS):
1 | 不知道全國醫學考核委員會客制化評估服務 | 53% |
2 | 更喜歡使用國家比較數據進行評估 | 13% |
3 | 太昂貴 | 9% |
4 | 我們創造我們自己的評估 | 9% |
5 | 題庫沒有包含足夠的與我的課程相符的內容 | 2% |
6 | 我們應用其他評估產品 (非全國醫學考核委員會) | 4% |
7 | 不知道客制化評估服務的臨床內容 | 10% |
8 | 其他 | 8% |
結論 (CONCLUSION):
全國醫學考核委員會感謝實習醫學生訓練主任分享了 2022 年臨床實習特徵調查的訊息。結果顯示了實習醫學生訓練主任所承受的時間和角色壓力,以及他們在課程和評分方面可能面臨的變動。全國醫學考核委員會將繼續加強臨床科學測驗和其他評估資源,以滿足實習醫學生訓練的需求。
致謝:
承蒙Dr. Beth Gallagher, Director (Interim), Customer SuccessProgram and Stakeholder Management(she/her/hers).NBME,3750 Market Street, Philadelphia PA. 19104, USA.同意翻譯,謹此致謝。
參考文獻
2022 CHARACTERISTICS OF CLINICAL CLERKSHIPS SURVEY.
https://www.nbme.org/sites/default/files/2023-03/2022_NBME_Clerkship_Director_Survey_Report.pdf