物体検出
2018年に発表された検出モデル。検出タスクについては、検出対象となる前景よりもそれ以外の背景の出現頻度が非常に高いという特徴があり、それを解決するために、検出が難しい事例をより重視してモデルの最適化に反映するFocal lossと呼ばれる損失関数を導入したことが特徴。モデルの構造は1ステージの検出器とFeature Pyramid Network(FPN)と呼ばれる物体検出で標準的に用いられる特徴抽出器を組み合わせたもので、開発者は従来の2ステージ系の検出器と同等の精度を達成したとしている。
R-CNNの発表後、その欠点を改良した検出システムが発表されていく。2014年に発表されたSPPNetは、入力として固定サイズの画像しか受け取れないというR-CNNの欠点を解消した。2015年に発表されたFast R-CNNは、事前に画像全体に対してCNNを用いて特徴抽出を行い、そこに候補領域の情報を組み合わせることで、候補領域ごとにCNNを毎回適用しなければならないというR-CNNの欠点を解消した。さらに2015年に提案されたFaster R-CNNでは、前段の物体候補領域提案の部分がボトルネックとなっていたことに注目し、新たに物体候補領域提案の部分をニューラルネットワークを用いて置き換えた(Region Proposal Network(RPN)と呼ばれる)。これによりシステム全体がニューラルネットワークを用いて学習できるようになり、大幅な高速化を達成した。これ以降も、クラス分類・Bouding boxの座標推定に加え、Bounding box内の対象物体の領域を推定するブランチを追加しインスタンスセグメンテーション(英語版)を行えるようにしたMask R-CNN等、R-CNNから続く2ステージの検出システムは幅広く研究が進んでいる。
一方で、候補領域を予め抽出し、それについて検出・分類を行うという2ステージの検出システムは計算資源を要するため、特に携帯端末やウェアラブルデバイスといった容量や計算資源の限られた端末での応用が難しいという課題がある。そこで領域提案などを分離せず、入力からクラス分類・Bouding boxの座標推定までをエンドツーエンドで行う1ステージの検出システムの研究も進められている。
2017年に発表された手法。1ステージの手法で、前半のブロックで物体の有無及びおおまかな位置を検出し、後半のブロックで具体的な物体位置やクラスまで検出する。この2ブロックは接続されており、全体としてはend-to-endで学習ができる。設計者は2ステージ型の検出器の機構を参考にしたと述べており、このように2つのステップを設けることで、より正確な位置を検出することができる。