[任務週報]20201228本周任務

上周完成：

AI收案相關

1. 認知AI之評估工具試收於助理
   • 總收案量：PEBL：5位 / CDVT：11位/SDMT：7位
   • 進行pilot之目的：
     1. 證明我們有能力分析這些注意力指標
     2. 證明注意力指標可以反映出注意力好壞的差異
   • 後續之試收：
     1. 目前我們的CDVT收了11位助理，試收的助理包含了多種情境：施測1次、2次、3次、4次、4次以上。
     2. 我們認為這些施測情境包含了受測者注意力最佳及注意力不佳之情境，且我們使用別人訓練好之套件的套件套用 (e.g., openface)，因此可分析出各情境之注意力狀況之生理指標。
     3. 使用描述性統計計算受試者出現生理指標之次數，作為暫定之評判指標
   • 目前階段可繼續進行之任務：
     • YTC＊：
       1. 進行雨彎之試收及彙整收案資料到雲端（12/25完成）
       2. 彙整目前受者測試收之狀況（12/28完成）
     • PCL＊：
       1. 彙整目前之收案狀況，寫成簡單的Note彙報給恭宏學長確認
       2. 可先安裝openpose及openface套件，以及先具備openpose及openface之相關知識（操作方式、如何分析等）
2. 榮總收案相關議題：
   • 已寄信給劉老師，預計2021/1/11那週開始收案
   • 後續收案安排：
     1. 擬先安排2-4周進行試收，確認環境、設備架設、邀約流程是否可流暢進行
     2. 收案時間：每周二、三、四之16:50~21:00（較能彈性調整場地）
     3. 收案對象：以住院患者為主
3. SDMT、CDVT修改錄影code
   • 待解決之問題：（12/31前）
     1. 重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料
     2. 練習時強制結束時仍可存下錄影檔

寫作

1. ABC-ML稿件：
   • 依據英文稿件撰寫之建議 -- for 初學者之原則撰寫，紀錄執行之困難。

其他

1. 修改「任務交接清單」及補充「任務交接SOP」確保檔案品質之具體項目，確保SOP之完整性。（12/24擬出欲準備之事項，並給欲交接之人填寫）
2. 修改CAT與ML發展測驗之差異及ML的短版與傳統測驗之差異（目前階段為了解CAT之計分方式、原理）
3. Pilot前導研究之查詢及PO部落格（完成初步大綱）

---

本周任務：

AI收案相關

1. 認知AI之評估工具試收於助理
   • 個人任務：
     1. 彙整目前之收案狀況，寫成簡單的Note彙報給恭宏學長確認（12/28完成）
     2. 安裝openpose及openface套件，以及先具備openpose及openface之相關知識（操作方式、如何分析等）
     3. 將輸出的結果與拍攝影片的方式產生的指標做比較：使用監督跟非監督（優先，因目前沒有正確答案）式學習的結果，比較注意力能力好壞與CDVT結果之相關性（暫定判斷指標為相關係數0.3~0.4），以測試本研究之方法學之可行性。後續再跟學長討論及確認
2. SDMT、CDVT修改錄影code
   • 待解決之問題：（12/31前）
     1. 重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料
     2. 練習時強制結束時仍可存下錄影檔

寫作

1. ABC-ML稿件：
   • 已完成中文大綱，固定討論時已與老師討論
   • 方法應包含二階段，修改方法之大綱後，結果之結構應與方法一致。

其他

1. 修改「任務交接清單」及補充「任務交接SOP」確保檔案品質之具體項目，確保SOP之完整性。（預計1/3完成「任務交接清單」之修改）
2. 修改CAT與ML發展測驗之差異及ML的短版與傳統測驗之差異（目前階段為閱讀Rasch簡介之文獻）
3. Pilot前導研究之查詢及PO部落格（補充各大綱之詳細內容）
4. AI EndNote Web之推薦應先以可直接應用的，相關程度高的文獻優先（大方向）

---

IRB追蹤：

機構	計劃案名稱	IRB狀態	負責人	下一階段
台大	發展人工智慧於中風患者及 發展遲緩兒童之動作、 注意力以及情緒評估系統	變更案通過	YJS＊	提出持續審查之變更
台大	發展中風患者動作、平衡及 行走能力之人工智慧評估系統	持續審查 送審中	PCL＊	-
台大	應用於思覺失調症患者之 人工智慧認知評估系統之 發展及驗證	新案通過	YTC＊	預計下周與精神科 邀約時間說明收案規劃
榮總	發展中風患者動作、平衡及 行走能力之人工智慧評估系統	變更案通過	YCC＊	預計2021/1月初開始收案
凱旋	思覺失調症同步二階層認知 功能篩檢＆AICS 發展	新案送審中	YCC＊	-
桃療	發展人工智慧輔助之 持續性注意力測驗	新案通過	YCC＊	2021/1月初聯絡唐主任，請 YTC到桃療了解環境

＊YJS: Yun Jer Shieh; PCL: Pei Chi Li; YTC: Yu Tzu Chen; YCC: Yu Chien Chang

[任務週報]20201221本周任務

上周完成：

AI收案相關

1. 認知AI之評估工具試收於助理（認知AI，目的：確認施測流程、工業用攝影機架設地點）
   • 預計完成時間：12/22前
   • 測試人數：
     • 總收案量：PEBL：4位 / CDVT：5位/SDMT：2位
     • 上週進度：PEBL：4位 / CDVT：2位/SDMT：2位
     • 本周預計：PEBL：1位 / CDVT：3位/SDMT：2位
   • 要攝影之評估工具：CDVT、SDMT
   • 不需攝影之評估工具：PEBL_PCPT、PEBL_Letter-Digit Task、PEBL_Spatial cuing
2. 解決完FPS問題
   • 討論結果為暫不使用工業用攝影機，確保影片之品質足夠供分析使用
   • 目前確認溝通coding使用之電腦與昀哲收案之電腦可保有25-30幀之畫面品質
3. SDMT、CDVT修改錄影code（認知AI）
   • 愉滋反應後，修改SDMT及CDVT遇到的Bug
   • 愉滋反應收案後須馬上更改檔名避免搞混，已增加語法自動化命名收案資料
   • 待解決之問題：（12/31前）
     1. 重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料
     2. 練習時強制結束時仍可存下錄影檔

其他

1. 修改CAT與ML發展測驗之差異(未PO)
2. ML的短版與傳統測驗之差異(未PO)

本周任務：

AI收案相關

1. 認知AI之評估工具試收於助理（認知AI）
   • 進行pilot之目的：
     1. 證明我們有能力分析這些注意力指標
     2. 證明注意力指標可以反映出注意力好壞的差異
   • 12/23確認後續之試收：
     1. 目前我們的CDVT收了8位助理，試收的助理包含了多種情境：施測1次、2次、3次、4次、4次以上。我們認為這些施測情境包含了受測者注意力最佳及注意力不佳之情境，且我們使用別人訓練好之套件的套件套用 (e.g., openface)，因此可分析出各情境之注意力狀況之生理指標。
     2. 使用描述性統計計算受試者出現生理指標之次數，作為暫定之評判指標
   • 目前階段可繼續進行之任務：
     • 愉滋：
       1. 進行雨彎之試收及彙整收案資料到雲端
     • 沛綺：
       1. 彙整目前之收案狀況，寫成簡單的Note彙報給恭宏學長確認
       2. 可先安裝openpose及openface套件，以及先具備openpose及openface之相關知識（操作方式、如何分析等）
2. SDMT、CDVT修改錄影code（認知AI）
   • 待解決之問題：（12/31前）
     1. 重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料
     2. 練習時強制結束時仍可存下錄影檔

寫作

1. ABC-ML稿件：
   • 先完成中文大綱，與老師討論
   • 依據英文稿件撰寫之建議 -- for 初學者之原則撰寫，紀錄執行之困難。

其他

1. 修改「任務交接清單」及補充「任務交接SOP」確保檔案品質之具體項目，確保SOP之完整性。（預計12/24完成，並給欲交接之人填寫）
2. 修改CAT與ML發展測驗之差異(未PO)
3. ML的短版與傳統測驗之差異(未PO)

[任務週報]20201214本周任務

上周完成：

資料分析

1. BBS-ML補上結果及給建議（12/11完成，12/14修改後給士捷學長）

AI收案相關

1. 確認署立彰化醫院收案之IRB（中風AI，12/9完成）
2. 台大中風AI IRB送持續審查（中風AI，12/11完成）
3. 解決完FPS問題後繼續CDVT、SDMT試收於助理（認知AI，目的：確認施測流程、工業用攝影機架設地點）（上週沒進度）
4. SDMT、CDVT修改錄影code（認知AI，下一議題為重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料）（上週沒進度）

其他

1. 撰寫CAT與ML發展測驗之差異(12/14PO，但需修改因此撤文)
2. ML的短版與傳統測驗之差異(未PO)

本周任務：

AI收案相關

1. 認知AI之評估工具試收於助理（認知AI，目的：確認施測流程、工業用攝影機架設地點）
   • 預計完成時間：12/22前
   • 測試人數：5-10人
   • 要攝影之評估工具：CDVT、SDMT、ToL
   • 不需攝影之評估工具：PEBL_PCPT、PEBL_Letter-Digit Task、PEBL_Spatial cuing
2. 解決完FPS問題
   • 目前確認FPS降低之問題會影響分析，暫時之解決方式為拔除工業用攝影機
   • 擬使用其他功能較強之筆電測試增加工業用攝影機後是否仍有FPS下降之問題（12/31前）
3. SDMT、CDVT修改錄影code（認知AI）
   • 目前解決方法為增加施測完畢後即關掉瀏覽器之語法
   • 待解決之問題：（12/31前）
     1. 重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料
     2. 練習時強制結束時仍可存下錄影檔

其他

1. 修改CAT與ML發展測驗之差異(未PO)
2. ML的短版與傳統測驗之差異(未PO)

[概念]電腦適性化測驗(computerized adaptive test，CAT)

適性測驗之定義

一種測驗方式可讓受試者僅針對符合其能力的題目作答，能有助於提高測驗效能。

適性測驗之方法

以中等難度的題目當作開始題目。若答錯第一題，則第二題則選擇較簡單之題目；若答對則給予較困難之題目。以此類推。

CAT定義

1. 以電腦代替施測者選擇題目給予受試者施測
2. 可快速選擇相稱於受試者能力之題目，連續估計受試者能力水準，使受試者的能力估計更加精確。

CAT優點

1. 較傳統測驗更提升施測效能，即能夠利用少數題目得到高度且準確的分數。
2. 較傳統測驗更能維持測驗之保密，避免洩題。
3. 於大規模的測驗計畫中，電腦化適性測驗聚有相當高的投資報酬率。

CAT缺點

1. 若受試者很少的情況下，電腦化適性測驗花費顯得較為不划算，部分原於電腦硬體與維護的投資。

參考資料

1. 適性測驗

[任務週報]20201207本周任務

上周完成：

資料分析

1. BBS-ML確認結果及準備PPT（12/1完成報告）

AI收案相關

1. 1個半天收案（中風AI，12/4收案），紀錄收案時遇到的問題，已確認上一次收案之問題皆獲得解決。
2. CDVT試收於助理
   • 工業攝影機位置設定問題（須找恭宏學長確認）
   • FPS問題（需確認是否為影片轉檔問題或拍攝畫面過少）
   • 重複施測會覆蓋到檔案（修改code）

其他

1. 研討會海報及送印（12/1送印，12/6完成張貼）
2. 研討會口報（12/4完稿，12/6完成報告）
3. 研究助理任務交接事宜（12/2使用影片紀錄交接檔案及完成「任務交接清單」之上傳）
4. 亞大論文上傳（12/4完成，12/8完成紙本送件）

本周任務：

資料分析

1. BBS-ML結果給謝老師（預計12/9完成）

AI收案相關

1. 解決完FPS問題後繼續CDVT、SDMT試收於助理（認知AI，目的：確認施測流程、工業用攝影機架設地點）
2. 聯絡衛生福利部豐原醫院確認署立彰化醫院收案之IRB（中風AI，確認是否可使用台大之IRB、送件流程初步了解，完成後回報謝老師）
3. SDMT、CDVT修改錄影code（認知AI，下一議題為重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料）

其他

1. 撰寫CAT與ML發展測驗之差異(PO blog)
2. ML的短版與傳統測驗之差異(PO blog)

[任務週報]20201130本周任務

上周完成：

資料分析

1. SIS-ML再測信度繪圖修改及確認結果

AI收案相關

1. 1個半天邀約個案（中風AI）
2. 1個半天收案（中風AI）
3. 確認二階認知測驗之錄音檔（認知AI，已於11/27完成。委任愉滋執行錄音。我負責協助詢問昀哲、確認錄音檔之品質、準備錄音設備及處理部分電腦相關事宜。後續交由謝昀哲驗收及聯絡工程師。）
4. SDMT修改錄影code（認知AI，目前完成可成功錄影練習題）
5. 認知AI之IRB（認知AI，委任愉滋執行修改。我負責確認回覆內容之文字潤飾及問題處理，已於11/26完成送出）

其他

1. 稿件給予意見（COTIME，於11/27早上完成）
2. 研討會海報（於11/29完成再版）
3. 研討會口報+寫作課（於11/26完成初版）
4. 研究助理任務交接事宜（於11/26傳遞給助理「任務交接清單」，11/28早上確認各任務之交接人）

本周任務：

資料分析

1. BBS-ML確認結果及準備PPT（預計11/30完成初版，請學長及老師確認後，12/1完成最終版）

AI收案相關

1. 1個半天收案（中風AI，12/4收案）
2. SDMT修改錄影code（認知AI，下一議題為重複施測時，可避免覆蓋原有之檔案，保有所有練習之錄影資料）

其他

1. 研討會海報及送印（需確認，預計12/1送印）
2. 研討會口報（需再修改，預計12/4前完稿）
3. 研究助理任務交接事宜（預計11/30將訊息傳遞給欲離開之助理及各交接人，撰寫填寫「任務交接清單」之SOP及擔任確認者，預計12/2交接）
4. 亞大論文上傳（預計12/4完成）

[統計]Bland-Altman圖 & limits of agreement

其實這篇不是第一篇關於B-A圖跟LoA了，但是這次在寫討論的時候還是說不出個所以然來。
直到我看到了一句話，突然解開畫B-A圖、算LoA跟使用ICC計算再測信度的差異（當然，也有老師的指點，只是在討論的當下我好像還沒有馬上抓到重點。）
抱歉這麼晚釐清，但是釐清真的很爽。

結論：兩者的差異在於ICC是計算團體層級的再測信度，B-A圖跟LoA因為是個別分數的散佈圖，所以能反映出個體層級的再測信度，這才是這兩者分開討論最主要的差異。

參考文獻：
wikipedia Inter-rater reliability

Bland and Altman have expanded on this idea by graphing the difference of each point, the mean difference, and the limits of agreement on the vertical against the average of the two ratings on the horizontal.
The resulting Bland–Altman plot demonstrates not only the overall degree of agreement, but also whether the agreement is related to the underlying value of the item. For instance, two raters might agree closely in estimating the size of small items, but disagree about larger items.

[檢核表]文獻閱讀

若遇到新的詞彙/概念/心理計量特性定義不統一時，確認各詞彙是否為同一概念之方法：

1.      尋找作者定義（前言、研究目的）

2.      確認本研究之研究目的

3.      作者使用什麼評估工具評估該向度）/作者使用什麼資料分析驗證該心理計量特性

4.      對於結果之解釋為何

5.      統一成實驗室中常使用/取得共識後之詞彙

[SOP]AI收案SOP初步構想

 有鑑於上周五收案時出現問題之應對，我認為需要寫出一個通用於各個AI收案之SOP。目的有二：

1.      認知AI單一施測者之準備

2.      新助理之AI收案訓練教程（含可能遇到的問題之解決方式）

我預期SOP完整之程度可同時教導新助理AI收案之流程及可讓助理於單獨收案時初步處理電腦當機問題。

[任務週報]20201102

 上周完成：

資料分析

1.      ABC-ML方法英文撰寫及和東穎第一次討論

AI收案相關

1.      PEBL評估工具熟悉及彙整

2.      1個半天邀約個案

3.      1個半天收案

本周任務：

資料分析

1.       ABC-ML方法及結果之英文撰寫+寫作課，預計在和東穎約第二次討論

AI收案相關

1.      4個半天收案

2.      確認認知AI第一階段施測清單

3.      CDVT語法更改

 

[檢核表]英文寫作checklist（方法）

 句子層級

1.      對自己做過的事情，應該用過去式

2.      評估工具的說明使用現在式

3.      闡述某件事情時，把說明目的的句子前移，做了什麼處置後移 (ex: To examine the PEBL, we…)

4.      the可能代表之前出現過的東西，a可呈現出目前闡述的為一個新的物品/概念，與前面提過的東西不一樣

5.      方法說明我們做了什麼可以直接使用we

[心得]英文寫作討論

與Lynn英文不同，Tonlin會調整句子結構，讓整個段落層級在闡述概念的時候更順暢。

除此之外，他也會說明修改的理由，且每個修改的理由都可以讓我覺得很有道理。

之前和Lynn討論時，有些無法理解的部分也有在這次討論而解惑。

 

約討論SOP

1.      將撰寫好的段落傳給Tonlin，並約下次討論時間

2.      Tonlin改好後回傳，並先看過修改處之備註

3.      借教室、準備外接鍵鼠及接大螢幕討論

[任務週報]20201019本周任務

 上周完成：

資料分析

1.          ABC-ML方法及結果撰寫+寫作課

AI收案相關

1.          PPT構想及製作

2.          分析工業攝影機的拍攝語法及改寫CDVT之拍攝語法

3.          彙整PEBL及二階認知評估工具之附件（評估內容、簡介等）給台大 & 凱旋IRB

4.          熟悉PEBL及二階認知評估工具之評估內容

5.          撰寫認知AI之SOP

本周任務：

資料分析

1.          ABC-ML方法之英文撰寫

AI收案相關

1.          完成PPT製作

2.          熟悉PEBL及二階認知評估工具之評估內容

l   初步中文指導語

l   評估工具之順序

l   各評估工具之可行性

l   預計下周互評及確認

3.          邀約個案（週五至臨床邀約到一位）

4.          分析工業攝影機的拍攝語法及改寫CDVT之拍攝語法

5.          撰寫認知AI之SOP