【論文読み】Pay Attention to MLPs 日本語まとめ
Pay Attention to MLPsを読んだ。GooleResearchの論文で、computer vision のタスクには、self-attentionはあまり必要ないということを示している。最近は、convolution ...
【論文読み】ViViT: A Video Vision Transformer 日本語まとめ
忙しい人向け
どんな論文か
Transformerだけを用いた動画分類モデルを提案。先行研究と比べてどこがすごい
Transformer baseの手法は、大規模な学習データセットが必要だが、学習中にモデルを効 ...
【論文読み】Non-local Neural Networks
FAIRのTimeSformerを読んだので、関連研究のNon-local Neural Networksを確認する。
忙しい人向けどんな論文か
動画像間の長距離の依存性を捉えるためのnon-local 演算を提案。 ...
【論文読み】Video Action Transformer Network, まとめ
FAIRのTimeSformerの論文を読んだので、関連研究で紹介されていたVideo Action Transformer networkを確認する。
忙しい人向けどんな研究か
動画クリップの人間の行動を認識、定位 ...
【論文読み】TimeSformer論文解説まとめ
論文 Is Space-Time Attention All You Need for Video Understanding?についてまとめた。忙しい人向けと論文全体の精読の2部構成。
忙しい人向け
FAIR ...
【論文読み】A Survey on Visual Transformer 日本語まとめ,論文リンク
Transformerは、NLPの分野で大きな成功を収め、近年CV(Computer Vision)の分野にも応用されている。TransformerのCV分野への応用についてのsurvey論文であるKai Hanらの”A ...