北醫附醫教學部教學型主治醫師、胸腔外科專任主治醫師、北醫學大學專任助理教授
邱欣怡

勝任能力導向醫學教育之計畫評估與邏輯模型應用

---

一、緣起於推動勝任能力導向醫學教育的挑戰

  在推動能力導向醫學教育（CBME）過程中面臨著多重挑戰。首先要界定和確定要評量的能力(competency assessment)，因為醫學實踐的多樣性和不斷變化的醫療環境。其次，開發有效的評量工具來準確衡量這些能力也具有複雜性，尤其是對於難以觀察或量化的能力。此外，將能力評量無縫地整合到臨床實踐中並不容易，需要克服時間限制和後勤問題等障礙。同時，確定能力評量的適當時間點也是一個難題，因為不同的能力可能在不同的時期發展，需要持續進行評估。此外，提供教師必要的培訓和支援，以有效評量能力也是一項考驗，特別是對於對CBME原則或評量方法不熟悉的教師。在有效的計畫評估(program evaluation)中，資源的適當分配也是一個重要考量，包括時間、人力和財務支援，特別是對於資源有限的機構。最後，提供及時和有意義的反饋給學習者，並對需要額外支援的學習者實施有效的補救措施，雖然是必要的，但也是一個具有挑戰性的任務。總體而言，應對這些困境需要採取系統性的方法，並在各利害關係人之間進行持續的合作，並致力於CBME計畫的持續品質改進(continuing quality improvement)。

二、教育訓練計劃評估的定義及重要性

  「教育訓練計畫評估」的定義是指系統地收集和分析與計畫的設計、實施和結果相關的信息，以監控和提高教育訓練計畫的質量及有效性。評估過程是通過例行的、系統的、刻意的信息收集來確認訓練計畫的成效，從中發現或確定有助於計畫成功的因素或需要解決的問題。換句話說，計畫評估試圖從計畫內部和外部評鑑(accreditation)來識別造成計畫結果變化的因素，同時確定這些變化的來源，哪些是期望的結果，哪些是不期望的結果，以評估模型有效評估整個過程。教育訓練計畫評估所需的信息通常通過測量過程來進行收集，而評估過程的具體測量工具、策略或評估的選擇受許多因素影響，包括對計畫成功或缺點的理解等評估問題。在許多醫學教育計畫中，來自學員的評量(assessment)數據對評估過程至關重要，因此評估過程可能需要更多的測量，除了學員的成績數據外，還包括多方面來源以及連續性的信息。

  教育計劃評估在教育變革過程中扮演著重要的角色，因為教育計劃需要因應時代的變化而調整。設計評估計劃是必要的，以獲得反饋信息並指導計劃的持續發展。評估計劃的變革不僅對學習者產生明顯影響，也涉及到其他參與教育計劃的人，包括學習者、教師、教學管理者、行政人員及其他醫療專業人員以及各種利益關係人。因此，有效的計劃評估應該關注變革的存在、變革的本質以及是否被認定成功。

  過去，評估計劃的要素和結果通常以線性（因果關係）的方式進行評估。然而，最近的研究認為教育計劃是一個複雜的系統，其中要素和計劃之間存在非線性的關係。因此，現代的計劃評估方法更注重這種複雜性。教育者開始評估他們的教育計劃的原因通常有內部和外部的因素。外部因素可能來自評鑑機構或醫學教育認證組織，也可能是為了獲得教育創新的研究計畫補助，或是對其他團體或個人負責。當教育者能夠利用有用的知識來維持教育計劃的發展時，評估過程也體現了對社會的責任。

三、邏輯模型理論應用於教育訓練計畫評估

  系統理論(system theory)對邏輯模型(logic model)評估⽅法所造成的影響，可以從它對訓練計畫內容的組成部分與訓練計畫的情境之間的關係中可以看出(Frechtling, 2007)。邏輯模型(logic model)的架構能夠讓計劃評估的發展更加有條理。如果過度簡化計劃評估的過程，可能無法符合教育管理者或社會的需求，然⽽，通過建⽴反饋循環和計畫組成部分之間的循環交替，邏輯模型(logic model)可以提供教育者⼀個評估結構，也將系統理論融⼊教育計劃的思考中。

  邏輯模型(logic model)的結構側重於變⾰過程也包含教育創新的系統，這種⽅法的基礎假設是已經了解「教育計劃的⽅法」與「預期結果」之間的關係，因此，邏輯模型(logic model)⽅法會簡化⼤多數教育環境的⾮線性複雜性，所以當教育者清楚地理解他們的計劃為⼀個動態系統，並且也能記錄預期和⾮預期結果時，此時邏輯模型(logic model)最有效(Van Melle et al., 2021)。邏輯模型(logic model)的四個基本組成定義（圖1）。導入每個基本組成的複雜程度，會隨著評估者的判斷或計劃主持人的資源而有不同。當使用邏輯模型(logic model)進行計畫規劃時，大多數人會從期望的結果(outcome)開始，然後回推其他的基本組成(output, activity, input)，這樣的方式也很實用(Frechtling, 2007)。 對於比較複雜的訓練計畫，邏輯模型(logic model)可以擴展到多個層次(Frechtling, 2007)。

1. 輸⼊(Inputs)：包括預期或實際可用於教育計劃的所有相關資源，包括實體知識，另外，投⼊可能包括資金來源、設施、教師技能、教師時間、員工時間、員工技能、教育技術和機構文化等。定義訓練計畫的輸⼊，也就是定義了新的訓練計畫起點或現有訓練計畫的當前狀態，重要的是，盤點相關的資源可以使所有利益相關人能夠確認那些資源對能用於計劃中，另外計畫資源的完整記錄，對於以後想要學習的它的其他⼈也很有幫助。
2. 活動(Activities)：需要詳細說明教育訓練計劃的活動、策略、或是創新變化。活動通常會按照計畫中指定的順序發生，因為有明確的活動排序，才能夠確認後續的活動是否被之前活動執行前後或期間所影響(Frechtling, 2007)。
3. 輸出(Outputs)：訓練計畫活動所產⽣的指標。每個活動(activity)必須至少有一個output，儘管單個output可能鏈接到多個活動(activities)。在教育計劃中，輸出(output)可能包括參加教育訓練活動的學員⼈數、設計參與此計劃教師的專長與特徵及教育訓練模塊的數量。
4. 結果(Outcomes)：outcomes定義了計劃活動的短期、中期和長期變化。訓練計劃的成果(outcomes)可能包括學習者所獲得或能表現出的知識或技能、計劃參與者在臨床中應用新知識或技能，或幫助學員在增進病⼈照護。這樣的訓練計畫所帶來的結果(outcomes)，也許可以反映在個⼈、團體或組織的層面的改變。

  能力導向醫學教育（CBME）推動過程中的挑戰，包括確定評估的能力、開發有效的評估工具、整合能力評估到臨床實踐中、確定評估時間點、提供教師培訓和支援、適當分配資源以及提供有意義的反饋給學習者等。教育訓練計劃評估對監控和提高教育訓練計劃的質量及有效性至關重要。邏輯模型方法可以應用於教育訓練計畫的評估中，通過定義輸入、活動、輸出和結果來建立評估結構，以幫助理解計劃內部和外部因素之間的關係，並確保計畫的持續發展和改進。

參考文獻

1. Frechtling, J. A. (2007). Logic modeling methods in program evaluation (Vol. 5): John Wiley & Sons.
2. Van Melle, E., Hall, A. K., Schumacher, D. J., Kinnear, B., Gruppen, L., Thoma, B., . . . Collaborators, I (2021). Capturing outcomes of competency-based medical education: The call and the challenge. Med Teach, 1-7.