質問: 完全畳み込みニューラルネットワークの前提条件 私は、さまざまなタイプの動物を識別するための完全に畳み込みの分類子を作成していると言います。今、動物がどの動物の部分(哺乳類、爬虫類、両生類など)に属しているかを私が知っていると仮定しましょう。この余分な情報を完全畳み込みネットワークにどのように提示すればよいですか? どんなアイデアや研究も非常に役に立ちます。 編集* 具体的には、ここで示されているドメイン適応に関心があります。この例では、完全に出力が入力と同じサイズ(すなわち、あるドメインから別のドメインに変換された画像)である場合には、プールまたはストライドを伴わない畳み込みネットワークである。この点で私はどのサイズの画像でもドメイン適応を実行できるようにしたいと考えています。入力に余分なチャンネルを追加するのが最も理にかなっているようですが、カテゴリ変数の束をワンホットエンコーディングしていると、多くのメモリが消費されます。
回答: 私は以前この問題について考えてきましたが、これを研究していない、あるいはこれを実装していない間に、わかりやすいものから明快なものまで、いくつかのアイデアがあります。 * 完全な畳み込みはしないでください。ただし、この情報を連結するための密なレイヤーを追加してください。 * カテゴリが1つだけの場合は、ワンホットエンコードして、ネットワーク上で余分なチャンネルとして入力したり、途中で入力したりすることができます。 * 前回の提案と同様ですが、最初または途中でブロードキャストするカテゴリの埋め込みについて学ぶ * 今回は、ワンホットエンコーディングを入力として使用して、たとえば8x8の埋め込みを学習し、これを画像の解像度にアップサンプリングします。 * 埋め込みをもう一度学びますが、今度はアップコンバージョンを使用して入力(または中間)サイズに調整します それがどれほど助けになるか教えてください!