・長回しで取ったmp4ファイルを自動で分割するプログラムを作成

mp4ファイルにMediaPipe Handsを使うことで手を認識し、ジェスチャーの開始フレームと終了フレームを求め、ジェスチャーごとのmp4ファイルに分割

・自分で集めたデータを学習、ファインチューニングありとなしで検証

学習に使ったデータ：カメラ１台で撮影、10種類のハンドジェスチャーをそれぞれ20回ずつ

精度はどちらも100%になりましたが、t-SNEで可視化したものやcos類似度を見ると、ファインチューニングなしで学習したものは本質的に動作の特徴を学習できておらず、今回集めたジェスチャーのデータに過学習しているように見えます。

ファインチューニングによる負の転移は今のところ起きてないようなので、ファインチューニングが有効であるという前提で研究を続けます。

3~4歩程度の動画で40個のデータを作成。現在、７人分収集した。

合計280個で70%をtrain（196）, 20%をval（56）, 10%をtest（28）データとした。

白黒の動画にしたかったが、あまりうまくいかなかった（動画をなぜかのせれなかったので、スクショ）

import cv2

# 動画読み込みの設定

movie = cv2.VideoCapture('3.mp4')
# 動画ファイル保存用の設定

fps = int(movie.get(cv2.CAP_PROP_FPS))                        … Continue Reading ››