・マスク画像を含めたデータセットに変換するプログラムの実装

・マスク画像ありの学習のための実装

・計算量削減のための実装

いずれのプログラムも動くことは確認していますが、計算資源が足りないのでそれぞれの実装の精度検証が追いついていません。

・大ゼミ

研究方針を２つに分けていたため、タイトルと新規性が少しわかりにくいと言われました。

→研究成果が出たらもう少しわかりやすくまとめます。

・研究進捗

3次元再構成の品質が悪いという問題がありましたが、SDFStudioの実装が原因でした。

→Neuralangeloの公式実装を試したところかなり良い結果が得られたので、Neuralangeloの公式実装に乗り換えました。

・Track-Anythingを用いてマスク画像を生成した

・マスク画像に対応したデータ形式に変換した

・学習自体はできたが、メッシュは上手く抽出できなかった

→おそらくモデルが悪いか、データセットが難しすぎるか

NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction（マスク画像を用いた損失関数などが記述されている論文）

・複数視点からのリアル画像を使ってメッシュを抽出することはできる（ただし、メッシュを抽出した時に結構ノイズが入る）

・今後の方針

→動画データからsegment anythingを使って自動マスク生成

→動画の１フレーム目で指定したオブジェクトの3Dモデルを生成

上の内容は1、２週間ぐらいでできるので、とりあえず終わらせます。

これぐらいの内容で卒業できることを保証してもらえれば、精度面で最先端の結果を出す方向で研究したいです。

あと、時間があれば微分可能レンダリングの勉強をしようと思ってます。

・「CVPR2023技術報告会」参加

・「NVIDIA 生成 AI Day 2023 Summer」参加

・「Amazon Web Services 基礎からのネットワーク＆サーバー構築」を読む

・Unreal Engine 5を使ってみる

・研究の目的、モチベーションなど、ざっくりまとめ↓

• 研究の目的

単眼カメラで撮影した動画あるいは画像群から高精度な３次元メッシュモデルを抽出すること

• モチベーション

・内々定者懇親会

・Neuralangelo: High-Fidelity Neural Surface Reconstructionを読む

・Neural Fieldsのメタサーベイ

・nerfstudioの公式ドキュメントとソースコードを読む

・大学のGPUサーバーでnerfstudioが動かせるようになりました。

・Diffusionモデル周りの勉強（確率分布、ベイズ推定、KLダイバージェンスなど）

・研究から離れすぎたので、研究に戻ります。

・ローカルのGPUでsdfstudioが動きました。(２日かかりました)

・NeRFの未観測エリアの補完にdiffusionモデルを使えないか検討しています。

・diffusionモデルの理解が浅いので、ゼロから実装しています。

・論文をいくつか読みました。

・SDFStudioが動きません。

・Nerfstudioの論文と公式ドキュメントを読みました。