台北慈濟醫院教學部暨家庭醫學科
劉子弘醫師
臨床工作環境的數位評量:台北慈濟醫院臨床能力評估app
多年以來,以工作場所為基礎的評估(workplace-based assessment)通常是以紙本表單進行,用於臨床技能、溝通技能、團隊工作紀錄、跨領域團隊合作教學、專業素養等的評量。對應George Miller所提出的能力金字塔,這類評估反映了學員實作(does)的能力,通常是應用已經過信效度分析、被廣泛使用的評估工具,諸如大家熟悉的迷你臨床演練評量(Mini-CEX)、操作型技能直接觀察評量(DOPS)、以及近年來全世界蔚為潮流的以能力為基礎的醫學教育(competency-based medical education)下發展的可信賴專業活動(entrustable professional activities,EPA)。對學生來說,評估採用紙本表單的問題在於可能遺失、僅部分完成或損壞;對教師來說,他們需要去確認表單是否已繳交或遺失、收集表單及追蹤繳交的進度,這也常常造成行政工作上的麻煩。
臨床工作的環境是高度動態的,而且存在許多的伺機學習(opportunistic learning)。這些學習機會常常沒有被善用,就算有,也不容易被做成書面紀錄。請試想以下的狀況:一個臨床學員在臨床工作環境發現了一個學習的機會,並且找到一位能夠幫他進行能力評估的評估者教師。這個時候,學員告訴教師可以利用手上的手機軟體(mobile app),即時選取適合的表單,就能對學員進行評估。完成評估前,教師可以給予學員該項被評核的臨床任務的回饋,並跟學員確認有掌握到可以精進的重點,再送出評估結果。這個評估的結果在完成後會立即上傳到雲端,在後台存檔以備後續查詢,並同時回饋到學員的手機軟體上,讓學員可以馬上查詢。這樣學員就有機會在往後的臨床訓練中,及早知道自己不足的地方,來尋求更多對應的學習機會,並且請教師對他進行下次的評估。這樣的手機軟體可以提升臨床評估者進行以工作場所為基礎的評估的機會,在目前的資訊技術上是完全可行的,並且是可靠且安全的。
基於上述的考量,台北慈濟醫院教學部針對以工作場所為基礎的評估,尤其是EPA評估的部分,開發了「臨床能力評估」這樣一款手機軟體,包括iOS跟Android系統的套件。這個軟體有幾項好處:讓評估無紙化、可以記錄完成評估的次數、讓學員看到評估結果、提供可分析的數據。它同時鼓勵學員去進行評估,較紙本評估有更高的教育價值,包括教師能藉此給予學員高品質的回饋、學員能透過可見的評估紀錄進行反思實踐(reflective practice)。就有教師回報使用app填寫質性回饋時,可善用語音辨識的功能,在口述回饋內容給學員的同時,就能將語音轉換成文字記錄到app上,比傳統手寫文字回饋大幅減省時間。不過,開發這樣的軟體並不如想像中簡單。在手機的介面上,因為畫面空間有限,我們通常要強調使用者直覺式的功能操作,大過於呈現繁複的表單細節,讓操作的教師跟學員有好的使用者體驗。在學習資料分析(learning analytics)上,我們提供教師跟學員能縱覽評估項目的儀表板(dashboard),來追蹤評估的待評及已完成評估的次數,並能在各評估表單項目中看到評估成績、教師回饋內容以及前後成績變化的折線圖。(如圖一)本軟體有網頁板進行後台管理功能,讓管理者可以查詢學員完成評估的狀況,並可觀察長期趨勢、輸出統計資料。後台亦可新增不同的評估表單類型以及建立師生表單對應關係,以符合不同院區、不同職類或訓練階段的醫事人員的需求。
為求最理想的數位評量,我們必須尋求足夠的資訊科技支援,包括雲端存放及開發後的維護,在後台累積評估數據的同時,避免資料過載的問題,並跟學習管理系統(learning management system)或電子學習歷程檔案(e-portfolio)能有好的整合。接著要確保教師評估學員進行的真實性,比如設定好教師登入軟體的方式跟進行評估的權限。再來是讓學員跟教師熟悉軟體如何操作,並處理可能發生的抵抗,包括有人不願改變以往填寫表單的習慣時,我們要能妥善說明使用手機軟題進行評估的好處、教師操作上跟行政管理上的便利性。在COVID-19疫情肆虐的時代,將臨床工作環境帶入數位評量有幾項可能的優點,包括可以節省教師手寫回饋及師生行政間紙張傳遞的時間、促成更多臨床學習及即時評估機會的發生,並讓我們提早進入台灣醫學教育的下一階段:能收集足夠以工作場所為基礎的評估,讓臨床能力委員會(Clinical Competency Committee)能對學員進行更全面評核的時代。