The pruning frame has a BUG in the library, hard to make progress.
Ⅰ.learn the different varities of the IoU:
2.DIoU:
https://ojs.aaai.org/index.php/AAAI/article/view/6999
3.CIoU：
https://ieeexplore.ieee.org/abstract/document/9520717
4.MPDIoU：
週報(SUN YUYA)
This week I start conducting experiments about long term tracking. Except for the experiments, I still read some papers about long term object tracking.
The experiments are as follows: On the basis of a simple siamese tracker(SiamFC++), I modified it to a long term tracker，which needs a mechanism to judge whether the target object is absent. The most concise way is to exploit the confidence score. So I want to find a relationship between the score and IOU. The specific results are shown in the figure.
From the picture, we can see that the fluctuation trend of score is basically consistent with that of iou. But only relying on the score is not enough. So we may conduct experiments on the sequence of scores.
The new papers are as follows:
I change my mind that I should read more new papers instead of conducting experiments in haste. The specific analysis of papers are as follows:
1. Adaptive and Background-Aware Vision Transformer for Real-Time UAV Tracking
The paper’s purpose:
To slove the problem that traditional CNN is too slow.
Contributions:
(1) The paper proposes a framework, where feature learning and template-search coupling are integrated into an efficient one-stream ViT to avoid an extra heavy relation modeling module.
(2)The proposed Aba-ViT exploits an adaptive and background-aware token computation method to reduce inference time.
(3)This approach adaptively discards tokens based on learned halting probabilities, which a priori are higher for background tokens than target ones.
(4) Very Fast ! 180 fps!
Personal Evaluation:
Too fast! And the paper provide the code. We can let it act as main tracker.
2. Boosting UAV Tracking With Voxel-Based Trajectory-Aware Pre-Training
The paper’s purpose:
（1）To slove the problem that the siamese tracker was trapped when facing multiple views of object in consecutive frames.
（2）The general image-level pretrained backbone can overfit to holistic representations, causing the misalignment to learn object-level properties in UAV tracking.
Contributions:
(1) Fully exploit the stereoscopic representation for UAV tracking. Specifically, a novel pre-training paradigm method is proposed.
(2) Through trajectory-aware reconstruction training (TRT), the capability of the backbone to extract stereoscopic structure feature is strengthened without any parameter increment.
Personal Evaluation:
No code. The paper is related to 3D tracking.
3. Compact Transformer Tracker with Correlative Masked Modeling
The paper’s purpose:
(1) Proving that the traditional selfattention structure is sufficient for information aggregation, and structural adaption is unnecessary.
Contributions:
(1) The paper attaches a lightweight correlative masked decoder which reconstructs the original template and search image from the corresponding masked tokens.
(2) The structure is very simple.
Personal Evaluation:
Release code. The evaluation on benchmark is very high. Nice paper. But the analysis of network is beyond my ability.
4. Continuity-Aware Latent Interframe Information Mining for Reliable UAV Tracking
The paper’s purpose:
(1) Mainly focuses on explicit information to improve tracking performance, ignoring potential interframe connections.
Contributions:
(1) A network can generate highly-effective latent frame between two adjacent frames.
(2) Fully explore continuity-aware spatial-temporal information.
Personal Evaluation:
Release code. The innovation points are very innovative.
週報(大塚)
・大ゼミ
研究方針を２つに分けていたため、タイトルと新規性が少しわかりにくいと言われました。
→研究成果が出たらもう少しわかりやすくまとめます。
・研究進捗
3次元再構成の品質が悪いという問題がありましたが、SDFStudioの実装が原因でした。
→Neuralangeloの公式実装を試したところかなり良い結果が得られたので、Neuralangeloの公式実装に乗り換えました。
今週の進捗（根来）
デンソーES提出
パナソニックES提出、Webテスト受験
ホンダOB個人面談、インターン面接
週報（白川）＃特許＃決定木結果＃大ゼミ
先生方からのご指摘
- 実際の血中アルコール濃度を検出しているわけではないので、検出→推定に変える。
- アルコールインターロックシステムに使える推定方法なので、アルコールインターロックシステムの名前を絡ませる。もしくは、アルコールチェッカーよりも優位な点を示す。
- 生体パラメータは飲酒以外でも変化するので、飲酒状態を推定しているとは言い切れないのでは？→精度の高さで言い切る必要あり。
- 個人のためだけのモデルであれば、システムの補完に使えないのでは？→汎用化した時の精度を示す必要ある。もしくは運転者は誰かわかるので運転中にデータ採取、学習を行える方法を提案する必要あり
機械学習を用いた生体信号分析による飲酒状態推定法の有効性検証
とかにしようと思う
スマートウォッチと鍵を一体化したシステム→教師なし学習で二値分類→人の手を一度加えラベル付け→二度目から飲酒推定可能
類似研究：特許検索サイト
- 公開特許：脈拍、体温が閾値を超えているか（特開2023-061171）→運転開始時からの変化量？
- 生体信号を非侵襲で測定する特許が出願されている→これにより生体信号の測定方法で突っ込まれても反論できる。
週報(野崎)
動画で中心窩レンダリングと物体検出を別々で行いました。大ゼミで指摘されたパワポの部分を直していました。
週報(豊永)
研究テーマを変えようか迷っています。
飯田(週報)
tensorflowではモデルの読み出しができなかったため、kerasを使用したところ読み出しに成功した。先週は、1匹分のモデルを作成し、識別を実行したが、犬の画像を猫と判別してしまったため、プログラムを見直す必要がある。
週報(西元)
大ゼミの発表のためのスライド作成をしました。
遠い人でも、認識できるように超解像について調べています。最初は一枚の画像を超解像してみようと思います。 RealESRGANというモデルが超解像するときに画像のぼやけが少なそうなので試してみます。一枚の画像からでは入力情報が足りなそうな場合は、難しそうですが一定時間の動画から複数枚の画像に分けて入力して超解像してみます。
今週の進捗(藤崎)
京セラ、NTT西日本、村田製作所に応募
申し訳ありませんが、自動車免許取得のため本日のゼミは欠席します。
意外と早く終わったので出れそうです。