deeplearning,論文

Pay Attention to MLPsを読んだ。GooleResearchの論文で、computer vision のタスクには、self-attentionはあまり必要ないということを示している。最近は、convolution ...

deeplearning,論文

忙しい人向け

どんな論文か

Transformerだけを用いた動画分類モデルを提案。

先行研究と比べてどこがすごい

Transformer baseの手法は、大規模な学習データセットが必要だが、学習中にモデルを効 ...

論文

FAIRのTimeSformerを読んだので、関連研究のNon-local Neural Networksを確認する。

忙しい人向け

どんな論文か

動画像間の長距離の依存性を捉えるためのnon-local 演算を提案。 ...

論文

FAIRのTimeSformerの論文を読んだので、関連研究で紹介されていたVideo Action Transformer networkを確認する。

忙しい人向け

どんな研究か

動画クリップの人間の行動を認識、定位 ...

論文

論文 Is Space-Time Attention All You Need for Video Understanding?についてまとめた。忙しい人向けと論文全体の精読の2部構成。

忙しい人向け

FAIR ...

deeplearning,論文

Transformerは、NLPの分野で大きな成功を収め、近年CV(Computer Vision)の分野にも応用されている。TransformerのCV分野への応用についてのsurvey論文であるKai Hanらの”A ...