[紀錄]Openpose筆記

1. 擷取5位個案之Openpose之標註點：
   • 確認資料時發現Openpose在多個人的畫面中，並非依據由左到右之順序匯出個案資料，因此變成需要以人工提取該個案於兩個畫面之位置後提取個案之相關資訊
   • 目前彙整出來之收案資料中，每一位個案之照片都有其他人入鏡之狀況；且因為每個畫面出現施測者與受測者之規則不同，難以使用Python語法完成自動化。目前我先將所有Openpose資料匯出之後，以每個人頭部（第一標註點）的X座標做為判斷依據，提取2個可能是個案的座標，並且於過程中想到自動化的方法。
   • 之後資料處理自動化時，可將所有人頭部（第一標註點）的X座標進行排序後篩選出受測者。但是畫面是否有其他人入鏡，且如何請電腦判斷出入鏡者則需要再思考怎麼實現
     • （我目前想到的方法是計算每個入鏡者之無法判斷的點，若過多則代表該人物為入鏡者，藉此篩選出入鏡者）
   • Openpose使用之繪圖座標系中，Y軸的正向向下，X軸正向向右。因此在進行第一次核對時，除了核對各入鏡者之X座標外，也核對各入鏡者之Y座標，以確保數值正確 
2. 從75個標註點中提取X及Y座標，並依據UE的6個動作計算Y座標之變化量
   • 這部分可進行簡單之自動化，因此速度較快
   • 因為22張圖片我在進行處理時皆有標註該張圖片進行何種動作，因此也可進行簡單的計算以實現自動化

※ Openpose繪圖座標系之資料確認有與學長討論，並且參考其他人之經驗分享

Openpose參考資料(繪圖座標系)

[紀錄]Openpose問題釐清

與GHL討論之紀錄

1. 標記過慢與顯示卡、Openpose版本不同之相關性？
   • 理論上應該無關，但與片源之畫面及影片長度有關。本次標記過慢是因為畫面太大，使Openpose需要先將畫面進行處理後才能進行標記，進而影響處理速度。
2. 標記之精準度如何提升?
   • 因為Openpose之標記為運算後之結果，因此標記過程中勢必有誤差，但是只要兩個攝影機鏡頭其中有一個鏡頭有標註到個案正確的動作，誤差應該都在可接受之範圍。
   • 同第一題，若先將影像切成一半，則有可能將標註之精準度提升
3. Openpose標註後之數值如何處理&應用
   • 標註之資料以字典分別記錄畫面中不同人之關節點的標記，每個人都會記錄75個數值（25個標註點，每個點皆紀錄於麵畫面中之X座標， Y座標，精準度），目前我只需要使用X座標及Y座標

[遠距上班日報]20210521下班

今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 目前 Openpose影片標記之進度10/10（擬先用已經擷取之7人進行分析，此部分繼續讓第二台電腦繼續做取出的動作）
       • 目前統計出來，一位個案不包含行走之動作的話，使用GTX 970擷取1位個案約需花6~10小時不等（端看影片持續時間）
       • 本次擷取時有發現中間有許多示範或閒置的片段或許可以刪除，因此我認為這邊可以新增一個任務：整理出中風AI各個重點影片，以提升標記一位受測者之效率（但此部分還是要跟老師討論是否有必要，我預計如果可以將影片減掉那些受測者看示範影片的時間，並且只擷取出患側動作的影片，分析時間可能可以縮短至一半以上）
       • 另外一個增加分析的時間的方法為升級顯示卡，但目前顯示卡難以入手，且多被黃牛掃貨後以2、3倍金額出售，因此我認為前一個方法CP值較高
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢）
       • 目前擷取方式共分成21個圖片（統一每一位受測者都取21個圖片，每個圖片是標準環境分解動作的最終動作） 
         
         
         
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計最晚5/24完成）
     • 把openpose標註點讀取後，發現仍有部分圖片出現5個人（但這些圖片理應只有4位，多出來的一位可能為誤判，也可能不小心拍到家屬）
     • 若可完成上述資料預處理，那ANN的部分應可仿照目前所使用過的訓練ML模型的方法撰寫，可省去探索ML模型的時間（但如果訓練之結果不佳，可能需要修改資料處理的方法）
     • 我預期分析結果應該可以在預測上肢分數上有較高的精準度

[遠距上班日報]20210521上班

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前 Openpose影片標記之進度10/10（擬先用這7人進行分析）
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度07/10，預計先使用7個人進行分析，當作初步結果）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計5/20完成）
       • 目前構想是把各個最大動作的畫面擷取出來，並且將該動作變化的垂直距離作為input layer資料。
       • 上肢的動作總計6個，所以input layer資料會是這六個動作的重點關節垂直動作的變化。
       • 因為只取上肢的動作，因此預計會有2種模型：預測5個向度的分數的模型及預測上肢分數的模型。

[遠距上班日報]20210520下班

 今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前 Openpose影片標記之進度09/10（擬先用這7人進行分析）
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度07/10）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前完成讀取檔案）

取出OPENPOSE標註點時發現之問題：

1. 因為Openpose是利用運算法標記出每個人的關節點，因此有可能會有幾個畫面會被誤判（如：沒有人的地方會有人；個案明明手舉到最上方，但是Openpose仍標註受測者的手放在預備姿勢）。
2. 部分關節點誤判的畫面除了施測者離受測者太近以外，也可能因為衣服顏色太相近，導致關節點嚴重誤判。這個問題在目前人工篩選可用人工判斷而修改，但是如果之後是直接使用DNN的方式分析的話，如何請模型刪除這些資料可能也是一個問題。
   • 目前我想到的解決方法就是影片使用後製的方式讓影片中只有受測者，但是這樣的後製需要使用到的技巧跟軟體可能都不是初學者就可完成的。學長於之前教學時有提供一個方法，但目前我還沒有實際測試，可能要再跟學長討論是否可以使用OpenCV來解決，或是否有其他提升精準度的方法？
3. 日後收案時可能除了要讓施測者稍微遠離受測者避免影響受測者之肢體標註外，可能還需要調高環境亮度。部分攝影機之角度可能也要標準化，避免一些影響到標註的角度。

[遠距上班日報]20210520上班

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前 Openpose影片標記之進度07/10（擬先用這7人進行分析）
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度03/10）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（預計於第一位個案之畫面擷取完成後開始寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前完成讀取檔案）

[遠距上班日報]20210519下班

 今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 目前 Openpose影片標記之進度05/10
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度02/10）
     • 晚上時仍會進行Openpose影片標記及擷取AROM full range之圖片
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（預計於第一位個案之畫面擷取完成後開始寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前完成讀取檔案，預計今晚完成預處理）

挑選圖片時發現之問題：

1. 挑選圖片時發現有些圖片標記之精準度不佳，昨日處理影片時已經人工增加亮度，目前擷取完成之2位個案皆於每個動作都至少有1張frame有標記到80%精準度
2. Openpose標記關節點時發現若評估者距離受測者太進時容易誤判，下肢尤其明顯
3. 之後可能需要調整評估時評估者之位置，避免影響Openpose之標記

[記錄]openpose分析困難記錄及解決方式

1. 之前因為openpose安裝有問題，所以後來使用windows的免安裝版本，但是這個分析方式也有限制：必須要有NVIDIA顯示卡才可以執行
   • 只有CPU的內顯或使用AMD的顯示卡無法使用
   • 若要讓CPU的內顯或使用AMD的顯示卡可以使用，可能要分析他們所寫的code才有可能運作（放棄此解法，太花時間）
2. 目前的方法是將影片的每個畫面標記後存下，所以單支影片耗費的時間就會偏長，且非常佔儲存空間
   • 目前我的三台電腦都只有配置500G的SSD，容量都顯示紅條，因此採分流的方式
   • 將分析好後把所有的畫面及json檔案存到外接SSD（1T），分析時也用外接SSD讀取檔案

[遠距上班日報]20210519上班

今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 昨晚測試之結果，因分析必須有顯示卡才能執行，因此之後僅能投入二台電腦進行影片標記，目前影片標記之進度02/10
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（預計於第一位個案之畫面擷取完成後開始寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前尚未開始，預計5/20完成，可於openpose標記影片時同時處理）
2. 11:00與老師固定討論

[遠距上班日報]20210518下班

 今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 已確認及於第一次提及標準情境所分之5個向度與ML-5F可轉換成5個向度之處補上詳細之向度內容
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前使用兩台電腦人工剪取部分影片，並使用一台電腦擷取各影片標記openpose座標點後之畫面。（5/18已完成人工剪取影片之部分）
     • 之後將投入三台電腦皆進行影片標記，目前影片標記之進度01/10
   • 分析結果撰寫
     • 分析方法與老師討論後確認是否呼應計畫書（5/18已完成確認）
     • 撰寫結果部分以呈現重點為主（預計於第一位個案之畫面擷取完成後開始寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前尚未開始，預計5/20完成，可於openpose標記影片時同時處理）
2. 整理開會重點及議題及開會（5/18完成）

[遠距上班日報]20210518上班

 

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 修改期間發現標準情境所分之5個向度與ML-5F可轉換成5個向度之分數兩個「向度」的概念不同。文字應該在第一次提及處寫明有哪些向度，避免讀者混淆
   • 分析結果確認
     • 目前預計擷取之方法有二，都尚未進行測試，但已經有4位個案之數值可進行初步測試：
       1. 藉由Openpose所擷取之肢體資訊，計算出人體正中位置之數值，並擷取各肢體距離正中位置最遠之圖片做為個案做到AROM full range
       2. 藉由Openpose所擷取之肢體資訊，計算出4個方位最遠之標記點，計算出長方形之面積，取面積最大之圖片做為個案做到AROM full range
     • Openpose擷取之肢體資訊（尚有15位未擷取）
   • 分析結果撰寫
     • 分析方法撰寫（預計與學長討論及於今日繳交結果之初稿）
     • 目前擬於初步結果處撰寫如何處理Openpose所擷取之肢體資訊，輸入層為何，輸出層為何，使用何種模型進行分析
2. 整理開會重點及議題（尚未完成）

[遠距上班日報]20210517

 今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 排版修改（方法的部分修改完成）
   • 修改期間發現標準情境所分之5個向度與ML-5F可轉換成5個向度之分數兩個「向度」的概念不同。文字應該在第一次提及處寫明有哪些向度，避免讀者混淆
   • 分析結果確認
     • 目前預計擷取之方法有二，都尚未進行測試，但已經有4位個案之數值可進行初步測試：
       1. 藉由Openpose所擷取之肢體資訊，計算出人體正中位置之數值，並擷取各肢體距離正中位置最遠之圖片做為個案做到AROM full range
       2. 藉由Openpose所擷取之肢體資訊，計算出4個方位最遠之標記點，計算出長方形之面積，取面積最大之圖片做為個案做到AROM full range
     • Openpose擷取之肢體資訊尚有15位未擷取出來，預計今晚擷取完成
     • 目前擬於初步結果處撰寫如何處理Openpose所擷取之肢體資訊，輸入層為何，輸出層為何，使用何種模型進行分析
   • 分析結果撰寫
     • 人口學資料分析及表格製作（完成）
2. 中風AI重新評分（5/17已完成，並完成分數轉換）
3. 整理明日開會重點及議題（尚未完成）

[任務週報]20210511本周任務

本週任務：

AI收案相關

1. 中風AI之期中報告
   • 期中報告撰寫架構：
     1. 動作評估題目設計緣由（完成初稿）
     2. 動作評估題目設計架構（完成初稿）
     3. 動作評估測驗彙整表（完成初稿）
     4. 初步分析成果（進行可行性之撰寫，預計5/13完成）
        • 分析內容之初步構想：（使用什麼演算法、什麼模型去進行預測）
   • 中風AI影片品質問題
     • 愉滋評估時發現個案影片缺少，且部分影片有缺失（未錄製完整）
     • 推測品質缺失原因可能為當初收案時未有收案前、收案後之SOP，且亦未安排人力確認收案之品質，使影片流失
     • 補救方法：目前已找遍414所有可能保存檔案之電腦，皆未找到相關之影片。回推當時去收案之人員包含姿旻（評估人員）、我（攝影人員）、子群（攝影人員），備份之工作似乎是請姿旻幫忙，因此正在回溯當時姿旻、子群及我可能使用之電腦，並找尋是否有影片檔案之留檔。
2. 撰寫中風AI的SOP：和YW收案後認為有些地方當初沒有想過細節，有請YW將本次收案時遇到的問題及流程整理成一個WORD傳給我，目前待整理。
3. 撰寫桃療認知AI之IRB：本週確認IRB撰寫格式，目前依照YCC及學長提供之範本修改中，部分內容需向桃療IRB確認，預計下週一打電話詢問
4. 彙整凱旋所需之認知AI之任務及計畫相關內容給YCC彙整，擬與桃療IRB一同進行

寫作

1. ABC-ML短版發展
   1. 修改研究設計，目前以之前使用的模型進行重新分析（預計5/14完成）
2. PASS-ML已將目前之研究設計之彙整及分析之結果呈報老師，需修改文字撰寫的部分，預計5/13完成。

其他

1. AI EndNote Web文獻之推薦（近期無進度）
2. 整理目前所有Lab之電腦化測驗（近期無進度）
3. 修改CAT與ML發展測驗之差異及ML的短版與傳統測驗之差異（同上，嘗試彙整新想法並重新PO文）
4. 請惟鈞於5/14前將可進行課程之時間列出，以利安排課程。

---

IRB追蹤：(2021/3/8)

機構	計劃案名稱	IRB狀態	負責人	下一階段
台大	發展人工智慧於中風患者及 發展遲緩兒童之動作、 注意力以及情緒評估系統	其他事項 通過	YJS＊	-
台大	發展中風患者動作、平衡及 行走能力之人工智慧評估系統	變更案 通過	PCL＊	-
台大	應用於思覺失調症患者之 人工智慧認知評估系統之 發展及驗證	新案通過	YTC＊	等待AIC任務確認
榮總	發展中風患者動作、平衡及 行走能力之人工智慧評估系統	變更案通過	YCC＊	-
凱旋	思覺失調症同步二階層認知 功能篩檢＆AICS 發展	新案送審中	YCC＊	PCL需整理認知AI相關任務給YCC
桃療	發展人工智慧輔助之 持續性注意力測驗	新案通過	YCC＊	已開始收案

＊YJS: Yun Jer Shieh; PCL: Pei Chi Li; YTC: Yu Tzu Chen; YCC: Yu Chien Chang