2021年6月2日 星期三

[紀錄]中風AI分析後續處理20210602

中風AI分析分離各題動作影片之目的:

  1. 28個動作分開,為未來訓練模型及縮減題目做準備
    • 剪輯方法有二:
      1. 拍攝影片時,每個動作皆重新啟動程式,達成手動剪輯
        • 優點:可於拍攝時即完成影片之預處理,以減少後續處理之人力、時間成本。
        • 缺點:
          1. 僅可執行每個題目之切割,若要將題目內各單一步驟之動作切割,實行起來較為困難
          2. 題目與題目間拍攝的內容包含「示範」、「健側練習」、「患側練習」、「患側正式測驗1」、「患側正式測驗2」,實際操作時無法達成將各階段之影片分離出來,仍需要透過後續之影片處理以達成將各階段之影片分開
          3. 重啟程式需要時間讓影片存入,且若重啟時間太短,可能造成影片存取失敗,造成影像流失
          4. 重啟需要時間等待,若將各階段皆要中斷,勢必會增加施測時間,可能會增加受測者之負擔(記憶力不佳、時間難以配合等...)
      2. 一鏡到底,之後進行後續影片之裁減。
        • 優點:較省時,且可避免重啟時遇到之技術層面之問題。
        • 缺點:
          1. 需承擔一鏡到底之風險
          2. 後續處理可能耗費大量人力、時間成本


※ 考量到上述之目的,我認為動作的部分可不需要處理至單一步驟,但是受測者進行各階段之動作時仍需要分離出來。因此,即使於收案期間切割影片,後續仍需要將各階段之片段分離出來。 

※ 可於拍攝期間於各階段插入字卡或黑頻,以利之後自動化剪輯使用。

自動化剪輯影片片段之處理方式(構想):

  1. 以固定的畫面作為判斷標準
    • 可安插於各動作階段,但是難以安插於題目內之單一步驟動作
  2. 以Openpose之關節標記點作為判斷標準
    • 影片畫面並非標準化,且因設置於患側邊,需要分別撰寫不同患側邊之對應之參數。
    • 上次進行初步分析時,尚未進行Hand之分析,所以尚未確認Hand的標註品質,需要確認
    • 動作改變幅度太小,若要使用程式語言之判斷式實現,則判斷之參數可能要有顯著的差異。

沒有留言:

張貼留言