[機器學習]AI-DVT資料後續處理

AI-DVT分析

目前的情況

關於AI-DVT，目前的情況如下。
檢查資料的過程中，我認為應該可以使用眼睛的部分跟嘴巴的部分當作判斷依據
但是我剛剛有發現一些錯誤，詳細如下：

1. 眼睛的部分因為個案一開始的時候可能不熟悉，所以有些個案會先看鍵盤再作答，而這樣的動作可能會影響判斷
2. 嘴巴的部分，是我在評估時，有些個案會邊做邊講話，而依據我的理解，這個動作應屬於分心的動作，且Openpose可判斷出來
   但是我覺得這樣的數據仍然太少，依照目前的拍攝方法，Openpose好像沒有辦法抓到受測者的肢體動作。

與GHL學長討論的結果，目前我預計先只抓取眼睛（36～47、68、69）跟嘴巴（48～66）的數據當作分析資料，其他資料不納入分析。
詳細標記點如下圖所示。

目前遇到之困難

1. Colab一天大概只能分析完一位個案（目前約分析完8位個案）
   • 與GHL學長討論的結果，我們認為可以先將目前個案的影片以Python的套件裁剪成固定秒數的小影片，從中選取欲分析的影片，然後使用Openpose進行分析。這樣可有效減少欲分析的影片量。
   • 另一個解法是購買colab pro（每個月約台幣300元），可使分析任務更順利。
2. AI-DVT的分析方法
   • 應使用之前所學，尚未進行練習的LSTM模型，以解決以影片當作輸入層的問題。
   • 之前中風AI使用的方法是畫面當作輸入層，這可能導致模型訓練結果雖然有良好的模型分數，但是類化程度很差。

[機器學習]使用Colab的心得（更新Colab可使用時間）

最近嘗試使用Colab來分析AI-DVT的資料，結果發現Google是有限制GPU的分析用量的。之前還在查詢是否有其他解法，但今天有幸聽到「深度學習於電腦視覺」的課程內容提到分析的軟硬體的比較，如果要增加用量只能付費，但是價格不便宜。

20211004更新：Google colab每使用12hr會reset一次，連續使用約一周會被暫停使用GPU 24hr

以現在的分析量來說，一個Gsuite帳號一天大概可以分析一位個案的資料，所以如果需要分析完目前的91為個案的話，如果要縮短分析的時間，可能要使用不同的帳號來分析。
幸好分析的部分可以分開寫code，所以操作上並不會太困難。

關於AI-DVT，目前正在檢查資料的過程中，我認為應該可以使用眼睛的部分跟嘴巴的部分當作判斷依據。
但是我剛剛有發現一些錯誤，詳細如下：

1. 眼睛的部分因為個案一開始的時候可能不熟悉，所以有些個案會先看鍵盤再作答，而這樣的動作可能會影響判斷

2. 嘴巴的部分，是我在評估時，有些個案會邊做邊講話，而依據我的理解，這個動作應屬於分心的動作，且Openpose可判斷出來

但是我覺得這樣的數據仍然太少，依照目前的拍攝方法，Openpose好像沒有辦法抓到受測者的肢體動作。

目前我預計只抓取眼睛跟嘴巴的數據當作分析資料，其他資料不納入分析

這部分還要跟學長們討論看看，目前就依照現在已經標記的個案跑初步結果，並嘗試跑模型，看看預測結果如何。

[紀錄]之後進行Openpose分析可能會遇到的問題及可能之解法

（須找學長討論可行性，及與老師討論實行之必要性）

• 目前的分析方法：將擷取出來的22個完成動作的畫面，標記出各動作開始及動作結束後，將二個畫面的25個標記點的數值相減，獲得(16,50)個數值
• 因為SKlearn只能餵入至多2維的數組，因此我將每位個案的(5,16,50)（5位個案，每個個案有16個動作，每個動作有各25個X,Y座標）reshape成(5,800)（每位個案有800個座標點）
• 用這個800個座標點去預測ML-5F五個向度的分數

因為後來我沒有將重點的動作擷取出來，因為後來發現這樣可能會十分費時。

然而，目前我的作法好像會有致命缺點，即是大部分的動作都沒有進行改變，因此這樣的預測結果可能是高估AI模型的預測能力的。

然而，目前我的資料裡面沒有整理個案患側的資料，且我也還沒想好以怎麼樣的判斷式去判斷個案的患側。但幸好本次納入分析的5人患側皆為左側。

之後如果要進行分析的話，必須要將個案患側的參數也納入，用來自動化判斷個案患側手

[記錄]openpose分析困難記錄及解決方式

1. 之前因為openpose安裝有問題，所以後來使用windows的免安裝版本，但是這個分析方式也有限制：必須要有NVIDIA顯示卡才可以執行
   • 只有CPU的內顯或使用AMD的顯示卡無法使用
   • 若要讓CPU的內顯或使用AMD的顯示卡可以使用，可能要分析他們所寫的code才有可能運作（放棄此解法，太花時間）
2. 目前的方法是將影片的每個畫面標記後存下，所以單支影片耗費的時間就會偏長，且非常佔儲存空間
   • 目前我的三台電腦都只有配置500G的SSD，容量都顯示紅條，因此採分流的方式
   • 將分析好後把所有的畫面及json檔案存到外接SSD（1T），分析時也用外接SSD讀取檔案