Transformers documentation

DETR

Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

DETR

Overview

DETR モデルは、Transformers を使用したエンドツーエンドのオブジェクト検出で提案されました。 Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov and Sergey Zagoruyko ルイコ。 DETR 畳み込みバックボーンと、その後にエンドツーエンドでトレーニングできるエンコーダー/デコーダー Transformer で構成されます。物体の検出。 Faster-R-CNN や Mask-R-CNN などのモデルの複雑さの多くが大幅に簡素化されます。領域提案、非最大抑制手順、アンカー生成などです。さらに、DETR は次のようにすることもできます。デコーダ出力の上にマスクヘッドを追加するだけで、パノプティックセグメンテーションを実行できるように自然に拡張されています。

論文の要約は次のとおりです。

物体検出を直接集合予測問題として見る新しい方法を紹介します。私たちのアプローチは、検出パイプラインにより、非最大抑制などの多くの手作業で設計されたコンポーネントの必要性が効果的に排除されます。タスクに関する事前の知識を明示的にエンコードするプロシージャまたはアンカーの生成。の主な成分は、 DEtection TRansformer または DETR と呼ばれる新しいフレームワークは、セットベースのグローバル損失であり、二部マッチング、およびトランスフォーマーエンコーダー/デコーダーアーキテクチャ。学習されたオブジェクトクエリの固定された小さなセットが与えられると、 DETR は、オブジェクトとグローバルイメージコンテキストの関係について推論し、最終セットを直接出力します。並行して予想も。新しいモデルは概念的にシンプルであり、多くのモデルとは異なり、特殊なライブラリを必要としません。他の最新の検出器。 DETR は、確立された、および同等の精度と実行時のパフォーマンスを実証します。困難な COCO 物体検出データセットに基づく、高度に最適化された Faster RCNN ベースライン。さらに、DETR は簡単に実行できます。統一された方法でパノプティックセグメンテーションを生成するために一般化されました。競合他社を大幅に上回るパフォーマンスを示していますベースライン

このモデルは、nielsr によって提供されました。元のコードはこちらにあります。

How DETR works

DetrForObjectDetection がどのように機能するかを説明する TLDR は次のとおりです。

まず、事前にトレーニングされた畳み込みバックボーンを通じて画像が送信されます (論文では、著者らは次のように使用しています)。 ResNet-50/ResNet-101)。バッチディメンションも追加すると仮定します。これは、バックボーンへの入力が画像に 3 つのカラーチャネル (RGB) があると仮定した場合の、形状 (batch_size, 3, height, width) のテンソル。 CNNのバックボーン通常は (batch_size, 2048, height/32, width/32) の形状の、新しい低解像度の特徴マップを出力します。これは次に、DETR の Transformer の隠れ次元 (デフォルトでは 256) に一致するように投影されます。 nn.Conv2D レイヤー。これで、形状 (batch_size, 256, height/32, width/32) のテンソルが完成しました。特徴マップは平坦化および転置され、形状 (batch_size, seq_len, d_model) のテンソルを取得します = (batch_size, width/32*height/32, 256)。したがって、NLP モデルとの違いは、シーケンスの長さが実際には通常よりも長くなりますが、「d_model」は小さくなります (NLP では通常 768 以上です)。

次に、これがエンコーダを介して送信され、同じ形状の encoder_hidden_states が出力されます (次のように考えることができます)。これらは画像の特徴として）。次に、いわゆる オブジェクトクエリがデコーダを通じて送信されます。これは形状のテンソルです (batch_size, num_queries, d_model)。通常、num_queries は 100 に設定され、ゼロで初期化されます。これらの入力埋め込みは学習された位置エンコーディングであり、作成者はこれをオブジェクトクエリと呼び、同様にエンコーダでは、それらは各アテンション層の入力に追加されます。各オブジェクトクエリは特定のオブジェクトを検索します。画像では。デコーダは、複数のセルフアテンションレイヤとエンコーダデコーダアテンションレイヤを通じてこれらの埋め込みを更新します。同じ形状の decoder_hidden_states を出力します: (batch_size, num_queries, d_model)。次に頭が２つオブジェクト検出のために上部に追加されます。各オブジェクトクエリをオブジェクトの 1 つに分類するための線形レイヤー、または「いいえ」オブジェクト」、および各クエリの境界ボックスを予測する MLP。

モデルは 2 部マッチング損失を使用してトレーニングされます。つまり、実際に行うことは、予測されたクラスを比較することです + グラウンドトゥルースアノテーションに対する N = 100 個の各オブジェクトクエリの境界ボックス (同じ長さ N までパディング) (したがって、画像にオブジェクトが 4 つしか含まれていない場合、96 個の注釈にはクラスとして「オブジェクトなし」、およびクラスとして「境界ボックスなし」が含まれるだけになります。境界ボックス)。 Hungarian matching algorithm は、検索に使用されます。 N 個のクエリのそれぞれから N 個の注釈のそれぞれへの最適な 1 対 1 のマッピング。次に、標準クロスエントロピー ( クラス)、および L1 と generalized IoU loss の線形結合 ( 境界ボックス) は、モデルのパラメーターを最適化するために使用されます。

DETR は、パノプティックセグメンテーション (セマンティックセグメンテーションとインスタンスを統合する) を実行するように自然に拡張できます。セグメンテーション）。 DetrForSegmentation はセグメンテーションマスクヘッドを上に追加します DetrForObjectDetection。マスクヘッドは、共同でトレーニングすることも、2 段階のプロセスでトレーニングすることもできます。ここで、最初に DetrForObjectDetection モデルをトレーニングして、両方の周囲の境界ボックスを検出します。「もの」（インスタンス）と「もの」（木、道路、空などの背景のもの）をすべて凍結し、すべての重みをフリーズしてのみトレーニングします。 25 エポックのマスクヘッド。実験的には、これら 2 つのアプローチは同様の結果をもたらします。ボックスの予測はハンガリー語のマッチングはボックス間の距離を使用して計算されるため、トレーニングを可能にするためにはこれが必要です。

Usage tips

DETR は、いわゆる オブジェクトクエリ を使用して、画像内のオブジェクトを検出します。クエリの数によって最大値が決まります単一の画像内で検出できるオブジェクトの数。デフォルトでは 100 に設定されます (パラメーターを参照) DetrConfig の num_queries)。ある程度の余裕があるのは良いことです (COCO では、著者は 100 を使用しましたが、COCO イメージ内のオブジェクトの最大数は約 70 です)。
DETR のデコーダーは、クエリの埋め込みを並行して更新します。これは GPT-2 のような言語モデルとは異なります。並列ではなく自己回帰デコードを使用します。したがって、因果的注意マスクは使用されません。
DETR は、投影前に各セルフアテンション層とクロスアテンション層の隠れ状態に位置埋め込みを追加します。クエリとキーに。画像の位置埋め込みについては、固定正弦波または学習済みのどちらかを選択できます。絶対位置埋め込み。デフォルトでは、パラメータ position_embedding_type は DetrConfig は "sine" に設定されます。
DETR の作成者は、トレーニング中に、特にデコーダで補助損失を使用すると役立つことに気づきました。モデルは各クラスの正しい数のオブジェクトを出力します。パラメータ auxiliary_loss を設定すると、 DetrConfig をTrueに設定し、フィードフォワードニューラルネットワークとハンガリー損失を予測しますは各デコーダ層の後に追加されます (FFN がパラメータを共有する)。
複数のノードにわたる分散環境でモデルをトレーニングする場合は、 modeling_detr.py の DetrLoss クラスの num_boxes 変数。複数のノードでトレーニングする場合、これは次のようにする必要があります元の実装で見られるように、すべてのノードにわたるターゲットボックスの平均数に設定されますこちら。
DetrForObjectDetection および DetrForSegmentation は次のように初期化できます。 timm ライブラリで利用可能な畳み込みバックボーン。たとえば、MobileNet バックボーンを使用した初期化は、次の backbone 属性を設定することで実行できます。 DetrConfig を "tf_mobilenetv3_small_075" に設定し、それを使用してモデルを初期化します。構成。
DETR は、最短辺が一定のピクセル数以上になり、最長辺が一定量以上になるように入力画像のサイズを変更します。最大 1333 ピクセル。トレーニング時に、最短辺がランダムにに設定されるようにスケール拡張が使用されます。最小 480、最大 800 ピクセル。推論時には、最短辺が 800 に設定されます。

使用できます DetrImageProcessor 用の画像 (およびオプションの COCO 形式の注釈) を準備します。モデル。このサイズ変更により、バッチ内の画像のサイズが異なる場合があります。 DETR は、画像を最大までパディングすることでこの問題を解決します。どのピクセルが実数でどのピクセルがパディングであるかを示すピクセルマスクを作成することによって、バッチ内の最大サイズを決定します。あるいは、画像をバッチ処理するためにカスタムの collate_fn を定義することもできます。 ~transformers.DetrImageProcessor.pad_and_create_pixel_mask。

画像のサイズによって使用されるメモリの量が決まり、したがって「batch_size」も決まります。 GPU あたり 2 のバッチサイズを使用することをお勧めします。詳細については、この Github スレッドを参照してください。

DETR モデルをインスタンス化するには 3 つの方法があります (好みに応じて)。

オプション 1: モデル全体の事前トレーニングされた重みを使用して DETR をインスタンス化する

>>> from transformers import DetrForObjectDetection

>>> model = DetrForObjectDetection.from_pretrained("facebook/detr-resnet-50")

オプション 2: Transformer についてはランダムに初期化された重みを使用して DETR をインスタンス化しますが、バックボーンについては事前にトレーニングされた重みを使用します

>>> from transformers import DetrConfig, DetrForObjectDetection

>>> config = DetrConfig()
>>> model = DetrForObjectDetection(config)

オプション 3: バックボーン + トランスフォーマーのランダムに初期化された重みを使用して DETR をインスタンス化します。

>>> config = DetrConfig(use_pretrained_backbone=False)
>>> model = DetrForObjectDetection(config)

Task	Object detection	Instance segmentation	Panoptic segmentation
Description	画像内のオブジェクトの周囲の境界ボックスとクラスラベルを予測する	画像内のオブジェクト (つまりインスタンス) の周囲のマスクを予測する	画像内のオブジェクト (インスタンス) と「もの」 (木や道路などの背景) の両方の周囲のマスクを予測します
Model	DetrForObjectDetection	DetrForSegmentation	DetrForSegmentation
Example dataset	COCO detection	COCO detection, COCO panoptic	COCO panoptic
Format of annotations to provide to DetrImageProcessor	{‘image_id’: `int`, ‘annotations’: `List[Dict]`} each Dict being a COCO object annotation	{‘image_id’: `int`, ‘annotations’: `List[Dict]`} (in case of COCO detection) or {‘file_name’: `str`, ‘image_id’: `int`, ‘segments_info’: `List[Dict]`} (in case of COCO panoptic)	{‘file_name’: `str`, ‘image_id’: `int`, ‘segments_info’: `List[Dict]`} and masks_path (path to directory containing PNG files of the masks)
Postprocessing (i.e. converting the output of the model to Pascal VOC format)	`post_process()`	`post_process_segmentation()`	`post_process_segmentation()`, `post_process_panoptic()`
evaluators	`CocoEvaluator` with `iou_types="bbox"`	`CocoEvaluator` with `iou_types="bbox"` or `"segm"`	`CocoEvaluator` with `iou_tupes="bbox"` or `"segm"`, `PanopticEvaluator`

つまり、COCO 検出または COCO パノプティック形式でデータを準備してから、次を使用する必要があります。 DetrImageProcessor pixel_values、pixel_mask、およびオプションを作成します。「ラベル」。これを使用してモデルをトレーニング (または微調整) できます。評価するには、まず、 DetrImageProcessor の後処理メソッドの 1 つを使用したモデルの出力。これらはできます CocoEvaluator または PanopticEvaluator のいずれかに提供され、次のようなメトリクスを計算できます。平均平均精度 (mAP) とパノラマ品質 (PQ)。後者のオブジェクトは元のリポジトリに実装されています。評価の詳細については、サンプルノートブックを参照してください。

Resources

DETR の使用を開始するのに役立つ公式 Hugging Face およびコミュニティ (🌎 で示されている) リソースのリスト。

Object Detection

カスタムデータセットの DetrForObjectDetection と DetrForSegmentation の微調整を説明するすべてのサンプルノートブックは、こちらで見つけることができます。。
参照: オブジェクト検出タスクガイド

ここに含めるリソースの送信に興味がある場合は、お気軽にプルリクエストを開いてください。審査させていただきます。リソースは、既存のリソースを複製するのではなく、何か新しいものを示すことが理想的です。

Transformers

DETR

Overview

How DETR works

Usage tips

Resources

DetrConfig

class transformers.DetrConfig

from_backbone_config

DetrImageProcessor

class transformers.DetrImageProcessor

preprocess

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DetrImageProcessorFast

class transformers.DetrImageProcessorFast

preprocess

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DetrFeatureExtractor

class transformers.DetrFeatureExtractor

__call__

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DETR specific outputs

class transformers.models.detr.modeling_detr.DetrModelOutput

class transformers.models.detr.modeling_detr.DetrObjectDetectionOutput

class transformers.models.detr.modeling_detr.DetrSegmentationOutput

DetrModel

class transformers.DetrModel

forward

DetrForObjectDetection

class transformers.DetrForObjectDetection

forward

DetrForSegmentation

class transformers.DetrForSegmentation

forward

call