Google眼疾診斷AI首次臨牀測試,但條件所限致結果不盡人意

現在AI在很多範疇內都有使用,而醫療則是其中一個可以受惠最大的領域。之前我們報導過Google有一個可以協助診斷糖尿病性視網膜病變(Diabetic Retinopathy,下稱DR)的AI,可以透過查看眼睛的圖片並尋找糖尿病性視網膜病的證據,在實驗室裏可以達到9成左右的準確率,而最近他們就把這個AI投入到了實際應用環境裏面進行測試,不過結果卻 不盡人意

先説明一點,那就是這種測試儘管結果可能與預期差很遠,但是對於改進這個AI以及相配套的測試流程是非常重要的,並且Google大方公開這次失敗的舉措也是值得嘉許。

根據Google公佈的實驗報告,這次的測試是在泰國的幾所診所進行的。DR的診斷過程一般是這樣的:護士每次會為一位糖尿病患者拍攝他們眼睛的照片,然後把照片分批傳送到眼科眼生那裏,然後由醫生評估並且發回結果,整個過程大概需時4至5星期。

而Google這個AI則是可以在幾分鐘內得到結果。如果確診,護士可以實時向患者提供初步建議而不用讓他們等上1個月時間。

但是在實際應用測試當中,由於每間診所供拍照採樣的環境以及條件都不同,再加上護士在這個篩查流程中有很大的自主權,因此AI診斷的實際效果不太好。

例如説,在眾多參加測試的診所中,只有兩所有足夠暗的獨立房間,保證病人的瞳孔可以足夠放大來拍出準備度高的照片,因此其他診所有很多照片都因為模糊或者有拍得不完整而被服務器拒收,簡單來説就是不符合系統的標準要求。

另外一點是,參與測試的診所的網速也是比較不穩定,有部分圖像需要最多一分半鐘才能夠完成上傳,這使得整個測試的樣本圖片也少了很多。同樣地,有40%至50%的病人認為他們最後還是要去醫院測查所以沒參與到測試當中,正如其中一位護士表示:

“比起測試準確度,病人更關心的是這需不需要額外的時間、需不需要去別的地方等等的檢查體驗。”

因此這次的測試最終的結果可以説是與AI本身的準確無關,而是更多的關於這個AI的實際應用環境。而AI背後的團隊也深切地認識到了這個問題:

“當出現新技術時,設計師、政策制定者等未必可以預測到所有隨時變化的問題以及它們的突發性。因此,作者認為在計劃這些測試的部署時,與各方提前溝通好,瞭解他們的價值觀、工作流程及規範是至關重要的。”

大家如果有興趣也可以點 這裏 去看看這篇報告,裏面包括了AI工具在臨牀環境中的工作方式以及所面臨的障礙,對於瞭解AI的應用還是很有幫助的。