[遠距上班日報]20210527上班

 今日預計任務：

• 應用於精神科個案之OT評估測驗之整理
  • 電腦化測驗之連結
  • 紙本測驗之表單
  • 各測驗之使用手冊（預計5/28完成，最晚Deadline5/31）
• ABC-ML重新審視是否需要重跑分析及撰寫稿件之修改
• 桃療IRB追蹤
• 桃療期中報告撰寫
• 台大中風AI修正同意書未提到施測者費用之錯誤
• 安排WJS之Python課程

[遠距上班日報]20210526下班

今日任務及進度回報：

• 期中報告資料整理及撰寫：
  • 跑各個向度之R-square
    • 解決方式：將5個分數獨立，分別訓練模型後report R-square，並且修改相關之表格
  • 增加結果各次標題之撰寫內容
  • 討論與結論獨立撰寫，使之符合論文之架構
  • 補上重點之citation
• 與謝老師定期討論
• 應用於精神科個案之OT評估測驗之整理
  • 電腦化測驗之連結
  • 紙本測驗之表單
  • 各測驗之使用手冊（預計5/28完成，最晚Deadline5/31）
• ABC-ML重新審視是否需要重跑分析及撰寫稿件之修改
• 桃療IRB追蹤
• 桃療期中報告撰寫
• 台大中風AI修正同意書未提到施測者費用之錯誤
• 安排WJS之Python課程

其他紀錄

學姊分享了高雄市政府如何應用Notion做出網頁，我認為可做為日後製作資料庫之參考

高雄市COVID-19疫情資訊站

之前我只有研究到怎麼建造資料庫，並且讓各資料庫在不同頁面進行連結，但是尚未實際進行過，若有時間可以研究看看

[遠距上班日報]20210526上班

 今日預計任務：

• 期中報告資料整理及撰寫（Deadline明日早上）：
  • 跑各個向度之R-square（資料分析，進行中，50%）
    • 解決方式：將5個分數獨立，分別訓練模型後report R-square，並且修改相關之表格
  • 增加結果各次標題之撰寫內容（寫作原則，進行中，50%）
  • 討論與結論獨立撰寫，使之符合論文之架構（寫作原則，進行中，50%）
  • 補上重點之citation
• 與謝老師定期討論
• ABC-ML重新審視是否需要重跑分析及撰寫稿件之修改
• 桃療IRB追蹤
• 桃療期中報告撰寫

[遠距上班日報]20210525下班

• 期中報告資料整理及撰寫（Deadline明日早上）：
  • 簡化第二階段之文字
  • 結果部分與學長確認後，如果欲預測的分數為5個向度的話，應該要有5個R-square，但是目前我只有一個R-square，理由是因為我將所有資料直接餵入模型，因此模型給的是5個R-square的平均值。（資料分析，進行中，50%）
    • 解決方式：將5個分數獨立，分別訓練模型後report R-square，並且修改相關之表格
  • 調整結果之呈現方式，使初步結果之各次標題與方法相同，並將方法相關之敘述撰寫於對應之次標題內，並增加內容（寫作原則，進行中，50%）
  • 討論與結論獨立撰寫，使之符合論文之架構（寫作原則，進行中，50%）
  • 補上重點之citation

• 與GHL學長之討論紀錄（目前有些想法，但是需與老師確認，預計明日固定時間討論時與老師確認）：
  1. 期中報告結束後AI-stroke資料分析之規劃（此部分要跟老師確認老師之想法），目前我的想法如下：
     • 優化AI模型之分析方法（以本次使用之方法為基礎，優化分析方式，為了促使每周有固定進度，擬與學長進行每周或每2周之固定討論）
     • 為之後資料分析之自動化進行規劃
       1. 將各個動作片段切出來
       2. 撰寫資料分析相關之code
       3. 進行評估時增加相關應對方法減少非相關人員入鏡之機會
  2. 因應目前無法收案之情況，我認為是一個可以好好處理目前我們收案資料之機會，並且可藉這次探索AI-stroke分析之經驗，設計明確目的及內容之任務，並進行任務之分工。

• ABC-ML重新審視是否需要重跑分析及撰寫稿件之修改
• 桃療IRB追蹤
• 桃療期中報告撰寫

[遠距上班日報]20210525上班

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）：
   • 簡化第二階段之文字
   • 確認初步結果若要整理成表格是否需要加入其他數值
   • 之後的呈現可能可將不同向度分開訓練模型，則可整理成內容較為豐富之表格
2. 13:30與GHL學長討論本次Openpose分析遇到之困難及之後之改善方向，欲討論之重點有二：
   1. 本次Openpose分析是否有需要改進之處，邏輯是否正確
   2. 之後優化之方向為何（收案上、資料分析上、影片上）
3. ABC-ML重新審視是否需要重跑分析及撰寫稿件之修改
4. 桃療IRB追蹤
5. 桃療期中報告撰寫

[紀錄]之後進行Openpose分析可能會遇到的問題及可能之解法

（須找學長討論可行性，及與老師討論實行之必要性）

• 目前的分析方法：將擷取出來的22個完成動作的畫面，標記出各動作開始及動作結束後，將二個畫面的25個標記點的數值相減，獲得(16,50)個數值
• 因為SKlearn只能餵入至多2維的數組，因此我將每位個案的(5,16,50)（5位個案，每個個案有16個動作，每個動作有各25個X,Y座標）reshape成(5,800)（每位個案有800個座標點）
• 用這個800個座標點去預測ML-5F五個向度的分數

因為後來我沒有將重點的動作擷取出來，因為後來發現這樣可能會十分費時。

然而，目前我的作法好像會有致命缺點，即是大部分的動作都沒有進行改變，因此這樣的預測結果可能是高估AI模型的預測能力的。

然而，目前我的資料裡面沒有整理個案患側的資料，且我也還沒想好以怎麼樣的判斷式去判斷個案的患側。但幸好本次納入分析的5人患側皆為左側。

之後如果要進行分析的話，必須要將個案患側的參數也納入，用來自動化判斷個案患側手

[遠距上班日報]20210524下班

今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）：已完成分析及撰寫初稿完成並傳給老師，預計明日會議時與老師討論。
2. 晚點將整理本次Openpose分析時遇到之問題，預計明日下午與GHL學長討論，欲討論之重點有二：
   1. 本次Openpose分析是否有需要改進之處，邏輯是否正確
   2. 之後優化之方向為何（收案上、資料分析上）

[遠距上班日報]20210524上班

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 已擷取5位個案之Openpose之資料並確保資料之正確性，預計今日完成分析並完成撰寫
   • 分析結果撰寫
     • 預計將初步分析之ML模型預測力以淺顯易懂之方式呈現（目前尚未知道ML模型訓練出來之結果是否如預期可有良好之預測力，若預測力不佳，可能要找老師或學長討論）
     • 我預計中午前跑完分析結果，若有問題提前提出

[紀錄]Openpose筆記

1. 擷取5位個案之Openpose之標註點：
   • 確認資料時發現Openpose在多個人的畫面中，並非依據由左到右之順序匯出個案資料，因此變成需要以人工提取該個案於兩個畫面之位置後提取個案之相關資訊
   • 目前彙整出來之收案資料中，每一位個案之照片都有其他人入鏡之狀況；且因為每個畫面出現施測者與受測者之規則不同，難以使用Python語法完成自動化。目前我先將所有Openpose資料匯出之後，以每個人頭部（第一標註點）的X座標做為判斷依據，提取2個可能是個案的座標，並且於過程中想到自動化的方法。
   • 之後資料處理自動化時，可將所有人頭部（第一標註點）的X座標進行排序後篩選出受測者。但是畫面是否有其他人入鏡，且如何請電腦判斷出入鏡者則需要再思考怎麼實現
     • （我目前想到的方法是計算每個入鏡者之無法判斷的點，若過多則代表該人物為入鏡者，藉此篩選出入鏡者）
   • Openpose使用之繪圖座標系中，Y軸的正向向下，X軸正向向右。因此在進行第一次核對時，除了核對各入鏡者之X座標外，也核對各入鏡者之Y座標，以確保數值正確 
2. 從75個標註點中提取X及Y座標，並依據UE的6個動作計算Y座標之變化量
   • 這部分可進行簡單之自動化，因此速度較快
   • 因為22張圖片我在進行處理時皆有標註該張圖片進行何種動作，因此也可進行簡單的計算以實現自動化

※ Openpose繪圖座標系之資料確認有與學長討論，並且參考其他人之經驗分享

Openpose參考資料(繪圖座標系)

[紀錄]Openpose問題釐清

與GHL討論之紀錄

1. 標記過慢與顯示卡、Openpose版本不同之相關性？
   • 理論上應該無關，但與片源之畫面及影片長度有關。本次標記過慢是因為畫面太大，使Openpose需要先將畫面進行處理後才能進行標記，進而影響處理速度。
2. 標記之精準度如何提升?
   • 因為Openpose之標記為運算後之結果，因此標記過程中勢必有誤差，但是只要兩個攝影機鏡頭其中有一個鏡頭有標註到個案正確的動作，誤差應該都在可接受之範圍。
   • 同第一題，若先將影像切成一半，則有可能將標註之精準度提升
3. Openpose標註後之數值如何處理&應用
   • 標註之資料以字典分別記錄畫面中不同人之關節點的標記，每個人都會記錄75個數值（25個標註點，每個點皆紀錄於麵畫面中之X座標， Y座標，精準度），目前我只需要使用X座標及Y座標

[遠距上班日報]20210521下班

今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 目前 Openpose影片標記之進度10/10（擬先用已經擷取之7人進行分析，此部分繼續讓第二台電腦繼續做取出的動作）
       • 目前統計出來，一位個案不包含行走之動作的話，使用GTX 970擷取1位個案約需花6~10小時不等（端看影片持續時間）
       • 本次擷取時有發現中間有許多示範或閒置的片段或許可以刪除，因此我認為這邊可以新增一個任務：整理出中風AI各個重點影片，以提升標記一位受測者之效率（但此部分還是要跟老師討論是否有必要，我預計如果可以將影片減掉那些受測者看示範影片的時間，並且只擷取出患側動作的影片，分析時間可能可以縮短至一半以上）
       • 另外一個增加分析的時間的方法為升級顯示卡，但目前顯示卡難以入手，且多被黃牛掃貨後以2、3倍金額出售，因此我認為前一個方法CP值較高
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢）
       • 目前擷取方式共分成21個圖片（統一每一位受測者都取21個圖片，每個圖片是標準環境分解動作的最終動作） 
         
         
         
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計最晚5/24完成）
     • 把openpose標註點讀取後，發現仍有部分圖片出現5個人（但這些圖片理應只有4位，多出來的一位可能為誤判，也可能不小心拍到家屬）
     • 若可完成上述資料預處理，那ANN的部分應可仿照目前所使用過的訓練ML模型的方法撰寫，可省去探索ML模型的時間（但如果訓練之結果不佳，可能需要修改資料處理的方法）
     • 我預期分析結果應該可以在預測上肢分數上有較高的精準度

[遠距上班日報]20210521上班

 今日預計任務：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前 Openpose影片標記之進度10/10（擬先用這7人進行分析）
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度07/10，預計先使用7個人進行分析，當作初步結果）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計5/20完成）
       • 目前構想是把各個最大動作的畫面擷取出來，並且將該動作變化的垂直距離作為input layer資料。
       • 上肢的動作總計6個，所以input layer資料會是這六個動作的重點關節垂直動作的變化。
       • 因為只取上肢的動作，因此預計會有2種模型：預測5個向度的分數的模型及預測上肢分數的模型。

[遠距上班日報]20210520下班

 今日任務及進度回報：

1. 期中報告資料整理及撰寫（結果撰寫）
   • 分析結果確認
     • 擷取已收案之影片各AROM full range之影片，預計擷取10人（視擷取速度增加人數）
     • 目前 Openpose影片標記之進度09/10（擬先用這7人進行分析）
     • 取出目前擷取完成之2人之AROM full range之圖片（暫時只取上肢,擷取進度07/10）
   • 分析結果撰寫
     • 撰寫結果部分以呈現重點為主（目前正在寫ANN的部分，預計5/20完成）
     • ANN的部分已完成輸出層的資料，可先進行資料預處理（目前完成讀取檔案）

取出OPENPOSE標註點時發現之問題：

1. 因為Openpose是利用運算法標記出每個人的關節點，因此有可能會有幾個畫面會被誤判（如：沒有人的地方會有人；個案明明手舉到最上方，但是Openpose仍標註受測者的手放在預備姿勢）。
2. 部分關節點誤判的畫面除了施測者離受測者太近以外，也可能因為衣服顏色太相近，導致關節點嚴重誤判。這個問題在目前人工篩選可用人工判斷而修改，但是如果之後是直接使用DNN的方式分析的話，如何請模型刪除這些資料可能也是一個問題。
   • 目前我想到的解決方法就是影片使用後製的方式讓影片中只有受測者，但是這樣的後製需要使用到的技巧跟軟體可能都不是初學者就可完成的。學長於之前教學時有提供一個方法，但目前我還沒有實際測試，可能要再跟學長討論是否可以使用OpenCV來解決，或是否有其他提升精準度的方法？
3. 日後收案時可能除了要讓施測者稍微遠離受測者避免影響受測者之肢體標註外，可能還需要調高環境亮度。部分攝影機之角度可能也要標準化，避免一些影響到標註的角度。