(57)【要約】【課題】ニューラルネットワークの学習を従来よりも短縮して、モノクロ動画像をカラー化することが可能な動画像カラー化装置を提供する。【解決手段】動画像カラー化装置１は、特徴量抽出器により、モノクロ画像の特徴量を抽出するモノクロ画像特徴抽出手段１０と、特徴量修正器により、外部から入力された補助情報に基づいてモノクロ画像特徴抽出手段１０で抽出された特徴量を修正する特徴量修正手段１２と、外部からの指示により、特徴量修正手段１２による特徴量の修正を行うか否かを切り替える切替手段１１と、カラー推定器により、修正前の特徴量または修正後の特徴量からカラー情報を推定するカラー情報推定手段１３と、を備える。【選択図】図１
2020144778.tif 000002
【特許請求の範囲】
【請求項１】
モノクロ画像で構成される動画像をカラー化する動画像カラー化装置であって、
前記モノクロ画像を圧縮して特徴量を抽出する特徴量抽出器と、外部から入力される補助情報に基づいて前記特徴量を修正する特徴量修正器と、前記特徴量から前記モノクロ画像に対するカラー情報を推定するカラー推定器と、を予めニューラルネットワークで学習したカラー情報推定モデルを記憶するモデル記憶手段と、
前記特徴量抽出器により、前記モノクロ画像ごとに特徴量を抽出するモノクロ画像特徴抽出手段と、
外部からの指示により、前記特徴量の修正を行うか否かを切り替える切替手段と、
前記特徴量の修正を行う場合に、前記特徴量修正器により、外部から入力された前記補助情報に基づいて前記特徴量を修正する特徴量修正手段と、
前記カラー推定器により、修正前の特徴量または修正後の特徴量から前記カラー情報を推定するカラー情報推定手段と、
を備えることを特徴する動画像カラー化装置。
【請求項２】
前記モデル記憶手段は、前記補助情報の種類に応じて異なる特徴量修正器を複数記憶し、
前記特徴量修正手段は、入力された補助情報に対応する特徴量修正器により、前記特徴量を修正することを特徴とする請求項１に記載の動画像カラー化装置。
【請求項３】
動画像を構成するモノクロ画像を圧縮して特徴量を抽出する特徴量抽出器と、外部から入力される補助情報に基づいて前記特徴量を修正する特徴量修正器と、前記特徴量から前記モノクロ画像に対するカラー情報を推定するカラー推定器とを、ニューラルネットワークのカラー情報推定モデルとして学習するカラー情報推定モデル学習装置であって、
前記特徴量抽出器により、学習データであるモノクロ画像から特徴量を抽出するモノクロ画像特徴抽出手段と、
前記特徴量修正器により、学習データである補助情報に基づいて前記モノクロ画像特徴抽出手段で抽出された特徴量を修正する特徴量修正手段と、
前記カラー推定器により、前記モノクロ画像特徴抽出手段で抽出された修正前の特徴量と前記特徴量修正手段で修正された修正後の特徴量とから、それぞれ修正前カラー情報と修正後カラー情報とを推定するカラー情報推定手段と、
正解データであるカラー情報と、前記修正前カラー情報および前記修正後カラー情報との差分をそれぞれ計算する差分計算手段と、
前記差分計算手段で計算されたそれぞれの差分を共に小さくする方向に前記カラー情報推定モデルのパラメータを修正して、前記カラー情報推定モデルを学習するパラメータ修正手段と、
を備えることを特徴とするカラー情報推定モデル学習装置。
【請求項４】
前記特徴量修正器を更新する場合、
前記パラメータ修正手段は、前記特徴量修正器のパラメータのみを修正することを特徴とする請求項３に記載のカラー情報推定モデル学習装置。
【請求項５】
コンピュータを、請求項１または請求項２に記載の動画像カラー化装置として機能させるための動画像カラー化プログラム。
【請求項６】
コンピュータを、請求項３または請求項４に記載のカラー情報推定モデル学習装置として機能させるためのカラー情報推定モデル学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モノクロ動画像をカラー化するための動画像カラー化装置、カラー情報推定モデル生成装置およびそれらのプログラムに関する。
【背景技術】
【０００２】
近年、いわゆる機械学習技術を用いることにより、モノクロ画像（白黒画像）におけるカラー情報を推定するカラー推定手法が提案されている（非特許文献１、非特許文献２参照）。
図１２に、従来のモノクロ画像からカラー画像を推定する色推定ニューラルネットワーク（色推定ＮＮ）の例を示す。
図１２に示す色推定ＮＮ（Ｎ１Ｅ）は、モノクロ画像ＰＢＷを入力し、カラー画像ＰＣＬを推定するモデルである。モノクロ画像ＰＢＷは、カラー化の対象となる１ｃｈの明度成分（例えば、Ｌａｂ色空間におけるＬチャンネル）の画像である。カラー画像ＰＣＬは、明度成分に色成分を加えた３ｃｈ（例えば、Ｌａｂ色空間におけるＬａｂチャンネル）の画像である。なお、色推定ＮＮ（Ｎ１Ｅ）は、モノクロ画像ＰＢＷから、２ｃｈの色成分（例えば、Ｌａｂ色空間におけるａｂチャンネル）を推定し、元のモノクロ画像ＰＢＷと組み合わせてカラー画像ＰＣＬを生成することもできる。
この色推定ＮＮ（Ｎ１Ｅ）は、１枚のモノクロ画像ＰＢＷに対して１種類のカラー画像ＰＣＬしか生成できない。しかし、ニューラルネットによる色推定には誤りを含む場合がある。
【０００３】
そこで、出力される色をコントロールするための補助情報を入力して、カラー画像を推定する改良型の色推定ニューラルネットワークが提案されている（非特許文献３参照）。
図１３に、改良型の色推定ニューラルネットワーク（色推定ＮＮ）の例を示す。
図１３に示す色推定ＮＮ（Ｎ２Ｅ）は、モノクロ画像ＰＢＷと、補助情報である色指定ヒントＨＣＬおよび色境界ヒントＨＢＤとを入力し、カラー画像ＰＣＬを推定するモデルである。
色指定ヒントＨＣＬは、ユーザが色推定のヒントとして与える３ｃｈ（例えば、画素の位置と、Ｌａｂ色空間におけるａｂチャンネル）の情報である。色境界ヒントＨＢＤは、ユーザが色の境目を色境界のヒントとして与える１ｃｈ（例えば、画素の位置）の情報である。この色境界ヒントＨＢＤには、例えば、色の境目を指定する画素の位置に“１”、それ以外の箇所に“０”を指定する。なお、補助情報は指定されない場合もある。また、補助情報は、色指定、色境界等のみならず、画像のジャンル（アニメ、ドラマ、ニュース等）等といった画像に関連する情報であって、カラー化のヒントに利用可能なものであればよい。
このような色推定ＮＮを用いることで、モノクロ動画像の各フレーム（モノクロ画像）をカラー化し、カラー動画像を作成することが可能となる。
しかし、このような手法では、フレームごとに独立してカラー化を行うため、色バランスが変化するようないわゆる色ぶれが発生する場合がある。
【０００４】
そこで、カラー化済みのカラー画像を補助情報として入力し、モノクロ動画像からカラー動画像を推定する色伝播ニューラルネットワークを用いた動画像カラー化手法が提案されている（非特許文献３参照）。
図１４に、色伝播ニューラルネットワーク（色伝播ＮＮ）の例を示す。
図１４に示す色伝播ＮＮ（ＮＰ）は、モノクロ画像ＰＢＷをフレームとするモノクロ動画像と、参照カラー画像ＰＲＥＦとを入力し、フレームごとのカラー画像ＰＣＬを推定することでカラー動画像を推定するモデルである。
参照カラー画像ＰＲＥＦは、モノクロ動画像内の被写体を代表するキーフレーム（代表画像）を予めカラー化した３ｃｈ（例えば、Ｌａｂ色空間におけるＬａｂチャンネル）のカラー画像である。
なお、図１３の色推定ＮＮ（Ｎ２Ｅ）および図１４の色伝播ＮＮ（ＮＰ）は、図１２の色推定ＮＮ（Ｎ１Ｅ）と同様、モノクロ画像ＰＢＷから、２ｃｈの色成分（例えば、Ｌａｂ色空間におけるａｂチャンネル）を推定し、元のモノクロ画像ＰＢＷと組み合わせてカラー画像ＰＣＬを生成することもできる。
【０００５】
図１５に、従来の動画像カラー化手法（以下、従来手法）の概要について説明する。
図１５に示すように、従来手法は、ステップＳ１において、時系列に連続するモノクロ動画像を構成するモノクロ画像であるフレームＦｔ，Ｆｔ＋１，Ｆｔ＋２，Ｆｔ＋３，…から、キーフレーム（ここでは、Ｆｔ）を選択する。そして、従来手法は、ステップＳ２において、図１２または図１３の色推定ＮＮ（Ｎ１ＥまたはＮ２Ｅ）により、キーフレームＦｔから参照カラー画像を生成する。さらに、従来手法は、ステップＳ３において、図１４の色伝播ＮＮ（ＮＰ）により、残りのモノクロ画像であるフレームＦｔ＋１，Ｆｔ＋２，Ｆｔ＋３，…をカラー化し、ステップＳ２で生成した参照カラー画像と連結して、カラー動画像を生成する。
このように、従来手法は、２種類のニューラルネットワーク（色推定ＮＮ，色伝播ＮＮ）により、モノクロ動画像からカラー化した静止画フレーム群を、カラー動画像として生成する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa., “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. Of SIGGRAPH), 35(4):110, 2016.
【非特許文献２】Richard Zhang, Jun-Yan Zhu, Phillip Isola, Xinyang Geng, Angela S. Lin, Tianhe Yu and Alexei A. Efros. “Real-Time User-Guided Image Colorization with Learned Deep Priors,” in SIGGRAPH 2017.
【非特許文献３】遠藤伶，河合吉彦，望月貴裕，“色合いの一貫性を考慮した白黒映像カラー化システム”，２０１８年映像情報メディア学会年次大会講演予稿集，２２Ｂ−３，２０１８年８月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の動画像カラー化手法では、色推定ＮＮおよび色伝播ＮＮの２種類のニューラルネットワークを用いている。さらに、従来手法では、カラー動画像を推定するために、補助情報を用いて、カラー化の対象ごとに特化したニューラルネットワークを学習している。
一方、カラー画像を推定するためのニューラルネットワークを学習するには、大量のカラー画像が必要となる。例えば、２００万枚から８００万枚程度のカラー画像が必要となる。
そのため、従来手法のように、２種類のニューラルネットワークを用いて特化型のカラー動画像を推定するニューラルネットワークを学習するためには、膨大な時間を要するという問題がある。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、ニューラルネットワークの学習を従来よりも短縮して、モノクロ動画像をカラー化することが可能な動画像カラー化装置、カラー情報推定モデル生成装置およびそれらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明に係る動画像カラー化装置は、モノクロ画像で構成される動画像をカラー化する動画像カラー化装置であって、モデル記憶手段と、モノクロ画像特徴抽出手段と、切替手段と、特徴量修正手段と、カラー情報推定手段と、を備える構成とした。
【００１０】
かかる構成において、動画像カラー化装置は、モデル記憶手段に予め学習したカラー情報推定モデルを記憶する。このカラー情報推定モデルは、ニューラルネットワークで学習した特徴量抽出器と、特徴量修正器と、カラー推定器とで構成される。
特徴量抽出器は、モノクロ動画像を構成するモノクロ画像を圧縮して特徴量を抽出するニューラルネットワークである。
特徴量修正器は、外部から入力される補助情報に基づいて特徴量を修正するニューラルネットワークである。この補助情報は、カラー化のヒントとなる情報であって、カラー画像、指定画素の色、色の境界位置、画像が属するジャンル等である。
カラー推定器は、特徴量からモノクロ画像に対するカラー情報を推定するニューラルネットワークである。
【００１１】
動画像カラー化装置は、モノクロ画像特徴抽出手段によって、特徴量抽出器により、モノクロ動画像を構成するモノクロ画像ごとに特徴量を抽出する。
また、動画像カラー化装置は、切替手段によって、外部からの指示により、特徴量の修正を行うか否かを切り替える。
そして、動画像カラー化装置は、特徴量修正手段によって、特徴量の修正を行う場合に、特徴量修正器により、外部から入力された補助情報に基づいて前記特徴量を修正する。
そして、動画像カラー化装置は、カラー情報推定手段によって、カラー推定器により、修正前の特徴量または修正後の特徴量からカラー情報を推定する。
このように、特徴量を修正するか否かを切り替えることで、動画像カラー化装置は、特徴量抽出器およびカラー推定器で、従来の色推定ニューラルネットに相当するネットワークが構築されることになる。また、動画像カラー化装置は、特徴量抽出器、特徴量抽出器およびカラー推定器で、従来の色伝播ニューラルネットワークに相当するネットワークが構築されることになる。
これよって、動画像カラー化装置は、色推定ニューラルネットおよび色伝播ニューラルネットワークを構築する場合に、特徴量抽出器およびカラー推定器が共有した構成となる。
【００１２】
また、前記課題を解決するため、本発明に係るカラー情報推定モデル学習装置は、動画像を構成するモノクロ画像を圧縮して特徴量を抽出する特徴量抽出器と、外部から入力される補助情報に基づいて前記特徴量を修正する特徴量修正器と、前記特徴量から前記モノクロ画像に対するカラー情報を推定するカラー推定器とを、ニューラルネットワークのカラー情報推定モデルとして学習するカラー情報推定モデル学習装置であって、モノクロ画像特徴抽出手段と、特徴量修正手段と、カラー情報推定手段と、差分計算手段と、パラメータ修正手段と、を備える構成とした。
【００１３】
かかる構成において、カラー情報推定モデル学習装置は、モノクロ画像特徴抽出手段によって、特徴量抽出器により、学習データであるモノクロ画像から特徴量を抽出する。
そして、カラー情報推定モデル学習装置は、特徴量修正手段によって、特徴量修正器により、学習データである補助情報に基づいてモノクロ画像特徴抽出手段で抽出された特徴量を修正する。
さらに、カラー情報推定モデル学習装置は、カラー情報推定手段によって、カラー推定器により、モノクロ画像特徴抽出手段で抽出された修正前の特徴量と特徴量修正手段で修正された修正後の特徴量とから、それぞれ修正前カラー情報と修正後カラー情報とを推定する。
【００１４】
そして、カラー情報推定モデル学習装置は、差分計算手段によって、正解データであるカラー情報と、修正前カラー情報および修正後カラー情報との差分をそれぞれ計算する。
そして、カラー情報推定モデル学習装置は、パラメータ修正手段によって、差分計算手段で計算されたそれぞれの差分を共に小さくする方向にカラー情報推定モデルのパラメータを修正して、カラー情報推定モデルを学習する。
【００１５】
また、本発明は、コンピュータを、前記動画像カラー化装置として機能させるための動画像カラー化プログラムで実現することもできる。
また、本発明は、コンピュータを、前記カラー情報推定モデル学習装置として機能させるためのカラー情報推定モデル学習プログラムで実現することもできる。
【発明の効果】
【００１６】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、特徴量抽出器およびカラー推定器を共有して、色推定ニューラルネットおよび色伝播ニューラルネットワークを構築することができるため、学習する対象を減らし、学習時間を従来よりも短縮させることができる。
また、本発明によれば、特徴量修正器のみを独立して学習することができるため、異なる補助情報を用いた特化したカラー情報推定モデルを、学習時間を短縮して構築することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る動画像カラー化装置の構成を示すブロック構成図である。
【図２】図１の動画像カラー化装置で用いる特徴量抽出器の構成例を示すネットワーク構成図である。
【図３】図１の動画像カラー化装置で用いる特徴量修正器の構成例を示すネットワーク構成図である。
【図４】図１の動画像カラー化装置で用いるカラー推定器の構成例を示すネットワーク構成図である。
【図５】図１の動画像カラー化装置で用いる特徴量修正器の他の構成例を示すネットワーク構成図である。
【図６】本発明の実施形態に係る動画像カラー化装置の動作を示すフローチャートである。
【図７】本発明の実施形態に係るカラー情報推定モデル学習装置の構成を示すブロック構成図である。
【図８】本発明の実施形態に係るカラー情報推定モデル学習装置の動作を示すフローチャートである。
【図９】本発明の他の実施形態に係る動画像カラー化装置の構成を示すブロック構成図である。
【図１０】図９の動画像カラー化装置で用いる特徴量修正器の構成例を示すネットワーク構成図である。
【図１１】図９の動画像カラー化装置で用いる特徴量修正器の他の構成例を示すネットワーク構成図である。
【図１２】従来の色推定ニューラルネットワークの構成例を示すネットワーク構成図である。
【図１３】従来の他の色推定ニューラルネットワークの構成例を示すネットワーク構成図である。
【図１４】従来の色伝播ニューラルネットワークの構成例を示すネットワーク構成図である。
【図１５】従来の動画像カラー化手法の概要を説明するための説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について図面を参照して説明する。
＜動画像カラー化装置の構成＞
まず、図１を参照して、本発明の実施形態に係る動画像カラー化装置１の構成について説明する。
図１に示すように、動画像カラー化装置１は、モノクロ画像特徴抽出手段１０と、切替手段１１と、特徴量修正手段１２と、カラー情報推定手段１３と、モデル記憶手段１４と、を備える。
【００１９】
動画像カラー化装置１は、動画像のフレームがモノクロ画像ＰＢＷで構成されたモノクロ動画像について、予め準備した補助情報である参照カラー画像ＰＲＥＦを用いてカラー化するものである。
参照カラー画像ＰＲＥＦは、カラー化対象のモノクロ動画像の一部のフレーム（モノクロ画像ＰＢＷ）に対してカラー化を行った画像である。参照カラー画像ＰＲＥＦの数ｎは、特に限定するものではない。この参照カラー画像ＰＲＥＦは、異なる被写体が出現するたびに、新たな参照カラー画像を準備することが望ましい。例えば、カメラと被写体が動かない動画像であれば、参照カラー画像ＰＲＥＦは１枚でよい。また、カメラが動き、１秒ごとに新たな被写体が写り込む場合は、１秒あたりに参照カラー画像ＰＲＥＦを１枚準備することが望ましい。
【００２０】
参照カラー画像ＰＲＥＦを予めモノクロ画像ＰＢＷから生成するには、例えば、従来の色推定ニューラルネットワークを用いてモノクロ画像ＰＢＷから生成したカラー画像の中から、操作者が正しい色に近いと判断した画像を参照カラー画像ＰＲＥＦとして選択すればよい。この色推定ニューラルネットワークには、図１２，図１３に示した従来のものを用いることができる。
もちろん、参照カラー画像ＰＲＥＦは、図示を省略した画像エディタ装置によって、モノクロ動画像の中から選択したフレームを人手により個別に着色したものであっても構わない。
【００２１】
なお、参照カラー画像ＰＲＥＦは、必ずしも被写体が同じである必要はなく、異なる色合いでカラー化を行いたい場合、モノクロ動画像に対して、異なる参照カラー画像ＰＲＥＦを入力してもよい。例えば、補助情報として「青空」が映った参照カラー画像を用いる場合と、「夕焼け」が映った参照カラー画像を用いる場合とで、生成するカラー画像の色合いを変えることができる。
以下、動画像カラー化装置１の各構成について説明する。
【００２２】
モノクロ画像特徴抽出手段１０は、カラー化対象のモノクロ動画像のフレーム（モノクロ画像ＰＢＷ）ごとに、特徴量を抽出するものである。
モノクロ画像特徴抽出手段１０は、モデル記憶手段１４に記憶されている予め学習したカラー情報推定モデルＮの一部である特徴量抽出器ＮＢＷを用いて、モノクロ画像ＰＢＷの特徴量ＦＢＷを抽出する。
【００２３】
図２は、特徴量抽出器ＮＢＷの一例を示すネットワーク構成図である。
特徴量抽出器ＮＢＷは、図２に示すように、畳み込み層Ｃ１を含んだニューラルネットワークで構成することができる。特徴量抽出器ＮＢＷは、１チャンネル（例えば、Ｌａｂ色空間におけるＬチャンネル）で大きさ（Ｈ×Ｗ〔画素〕）のモノクロ画像ＰＢＷを予め定めたチャンネル数（ｃ）および大きさ（ｈ×ｗ〔画素〕）のデータに圧縮（エンコード）することで、モノクロ画像ＰＢＷの特徴量ＦＢＷを抽出する。
モノクロ画像特徴抽出手段１０は、抽出した特徴量ＦＢＷを切替手段１１に出力する。
【００２４】
切替手段１１は、外部からの指示により、モノクロ画像特徴抽出手段１０が抽出した特徴量ＦＢＷの修正を行うか否かを切り替えるものである。
切替手段１１は、外部からの指示に基づいて、特徴量ＦＢＷの出力先を特徴量修正手段１２またはカラー情報推定手段１３のいずれかに切り替える。なお、切替手段１１の出力がカラー情報推定手段１３に切り替えられた場合、動画像カラー化装置１は、特徴量ＦＢＷを修正せずにモノクロ画像ＰＢＷをカラー化する装置として動作する。
【００２５】
特徴量修正手段１２は、モノクロ画像特徴抽出手段１０が抽出したモノクロ画像ＰＢＷの特徴量ＦＢＷを、補助情報である参照カラー画像ＰＲＥＦに基づいて修正するものである。
特徴量修正手段１２は、モデル記憶手段１４に記憶されている予め学習したカラー情報推定モデルＮの一部である特徴量修正器ＮＭＤを用いて、モノクロ画像ＰＢＷの特徴量ＦＢＷを修正する。
【００２６】
ここで、図３を参照して、特徴量修正器ＮＭＤのネットワーク構成例について説明する。図３に示すように、特徴量修正器ＮＭＤは、畳み込み層Ｃ２，Ｃ３と特徴合成器Ｍ１とを含んだニューラルネットワークで構成することができる。
【００２７】
畳み込み層Ｃ２は、参照カラー画像ＰＲＥＦから特徴量を抽出するものである。
畳み込み層Ｃ２は、３チャンネル（例えば、Ｌａｂ色空間におけるＬａｂチャンネル）の参照カラー画像ＰＲＥＦを予め定めたチャンネル数（ｃ）および大きさ（ｈ×ｗ）のデータに圧縮（エンコード）することで、参照カラー画像ＰＲＥＦの特徴量を抽出する。この特徴量のチャンネル数および大きさは、モノクロ画像ＰＢＷの特徴量ＦＢＷと同じとする。なお、畳み込み層Ｃ２は、入力される参照カラー画像ＰＲＥＦの数だけ特徴量Ｆ１，Ｆ２，Ｆ３，…を抽出し、特徴合成器Ｍ１に出力する。
【００２８】
特徴合成器Ｍ１は、畳み込み層Ｃ２で抽出される参照カラー画像ＰＲＥＦの数に応じた特徴量Ｆ１，Ｆ２，Ｆ３，…を合成して合成特徴量ＦＸを生成する。
具体的には、特徴合成器Ｍ１は、複数の参照カラー画像ＰＲＥＦに対して、データ配列の同一の要素ごとに最大値を選択する、最小値を選択する、あるいは、要素ごとの値を加算するうちの何れかを行うことで、合成特徴量ＦＸを生成する。なお、特徴合成器Ｍ１が、最大値を選択するか、最小値を選択するか、あるいは、加算を行うかは、予め設定されているものとする。
これによって、特徴合成器Ｍ１は、参照カラー画像の枚数によらずに、固定長のデータ量の合成特徴量ＦＸを生成することができる。
特徴合成器Ｍ１は、生成した合成特徴量ＦＸを畳み込み層Ｃ３に出力する。
【００２９】
畳み込み層Ｃ３は、モノクロ画像ＰＢＷの特徴量ＦＢＷに、特徴合成器Ｍ１で生成された参照カラー画像ＰＲＥＦの合成特徴量ＦＸを畳み込むものである。
畳み込み層Ｃ３は、モノクロ画像ＰＢＷの特徴量ＦＢＷと合成特徴量ＦＸとを連結したチャンネル数（２×ｃ）、大きさ（ｈ×ｗ）のデータを、チャンネル数（ｃ）および大きさ（ｈ×ｗ）のデータに畳み込んで圧縮（エンコード）する。
これによって、畳み込み層Ｃ３は、モノクロ画像ＰＢＷの特徴量ＦＢＷを、参照カラー画像ＰＲＥＦの合成特徴量ＦＸで修正し、色の特徴を加味した修正特徴量ＦＭＤを生成することができる。
図１に戻って、動画像カラー化装置１の構成について説明を続ける。
特徴量修正手段１２は、修正した修正特徴量ＦＭＤをカラー情報推定手段１３に出力する。
【００３０】
カラー情報推定手段１３は、モノクロ画像特徴抽出手段１０で抽出されたモノクロ画像ＰＢＷの特徴量ＦＢＷ、または、特徴量修正手段１２で修正された修正特徴量ＦＭＤから、カラー情報を推定し、カラー画像を生成するものである。
カラー情報推定手段１３は、モデル記憶手段１４に記憶されている予め学習したカラー情報推定モデルＮの一部であるカラー推定器ＮＣＬを用いて、特徴量Ｆ（ＦＢＷまたはＦＭＤ）からカラー情報を推定する。
【００３１】
図４は、カラー推定器ＮＣＬの一例を示すネットワーク構成図である。
カラー推定器ＮＣＬは、図４に示すように、畳み込み層Ｃ４を含んだニューラルネットワークで構成することができる。カラー推定器ＮＣＬは、チャンネル数（ｃ）および大きさ（ｈ×ｗ）の特徴量Ｆを、３チャンネル（例えば、Ｌａｂ色空間におけるＬチャンネル）のチャンネル数で、モノクロ画像ＰＢＷと同じ大きさ（Ｈ×Ｗ）のカラー画像ＰＣＬを生成する。
カラー情報推定手段１３は、生成したカラー画像ＰＣＬをフレームとして順次出力することで、カラー動画像を生成する。
【００３２】
モデル記憶手段１４は、予め学習したカラー情報推定モデルＮを記憶するものである。このモデル記憶手段１４は、半導体メモリ等の一般的な記憶媒体で構成することができる。なお、カラー情報推定モデルＮの学習については、図７を参照して後で説明する。
以上説明したように、動画像カラー化装置１は、切替手段１１の切り替えによって、モノクロ画像ＰＢＷの特徴量ＦＢＷをそのままカラー情報推定手段１３に出力することで、色推定ニューラルネットワークとして機能する。
【００３３】
また、動画像カラー化装置１は、切替手段１１の切り替えによって、モノクロ画像ＰＢＷの特徴量ＦＢＷを修正した後、カラー情報推定手段１３に出力することで、色伝播ニューラルネットワークとして機能する。
このとき、特徴量を修正する特徴量修正器ＮＭＤは、特徴量抽出器ＮＢＷおよびカラー推定器ＮＣＬとは独立して構成されている。そのため、参照カラー画像ＰＲＥＦを変更する場合でも、特徴量修正器ＮＭＤだけを学習させればよく、学習時間を短縮させることができる。
【００３４】
なお、ここでは、図３で説明した特徴量修正器ＮＭＤを例に説明したが、特徴量修正器ＮＭＤは、図５に示すように、畳み込み層Ｃ３の後段に正規化手段Ｎ１および乗算手段Ｍ２を備えることとしてもよい。
正規化手段Ｎ１は、畳み込み層Ｃ３で演算された特徴量を正規化するものである。この正規化手段Ｎ１における正規化には、例えば、ソフトマックス関数を用いることができる。
乗算手段Ｍ２は、正規化手段Ｎ１で正規化された特徴量と、モノクロ画像ＰＢＷの特徴量ＦＢＷとを、要素ごとに乗算するものである。
このように正規化された特徴量に対して、モノクロ画像ＰＢＷの特徴量ＦＢＷを乗算することで、修正特徴量ＦＭＤは、修正前後で値の分布が変動し難くなるため、特徴量修正器ＮＭＤを学習するための時間を短くすることができる。
【００３５】
また、ここでは、図４で説明したカラー推定器ＮＣＬがカラー情報として３チャンネルの情報を推定するものとして説明したが、２チャンネル（例えば、Ｌａｂ色空間におけるａｂチャンネル）のカラー情報を推定するものであってもよい。その場合、カラー情報推定手段１３は、推定した２チャンネルのカラー情報に、対応するモノクロ画像ＰＢＷをＬチャンネルとして付加することでカラー画像ＰＣＬを生成すればよい。
なお、動画像カラー化装置１は、コンピュータを、前記した各手段として機能させるための動画像カラー化プログラムで動作させることができる。
【００３６】
＜動画像カラー化装置の動作＞
次に、図６を参照（構成については適宜図１〜図４参照）して、本発明の実施形態に係る動画像カラー化装置１の動作について説明する。なお、ここでは、切替手段１１は、出力先を特徴量修正手段１２に設定されているものとする。
【００３７】
ステップＳ１０において、特徴量修正手段１２は、モノクロ画像ＰＢＷの特徴量を修正するために用いる予めモノクロ動画像の一部のフレームをカラー化した複数の参照カラー画像ＰＲＥＦを入力する。
【００３８】
ステップＳ１１において、特徴量修正手段１２は、複数の参照カラー画像ＰＲＥＦから、特徴量を抽出する。具体的には、特徴量修正手段１２は、モデル記憶手段１４に記憶されている特徴量修正器ＮＭＤの畳み込み層Ｃ２によって、複数の参照カラー画像ＰＲＥＦごとに特徴量を抽出する。そして、特徴量修正手段１２は、特徴合成器Ｍ１によって、参照カラー画像ＰＲＥＦごとの特徴量を合成して合成特徴量ＦＸを生成する。特徴量修正手段１２は、生成した合成特徴量を、図示を省略したメモリに記憶しておく。
【００３９】
ステップＳ１２において、モノクロ画像特徴抽出手段１０は、カラー化対象のモノクロ動画像をフレーム（モノクロ画像ＰＢＷ）単位で入力する。
ステップＳ１３において、モノクロ画像特徴抽出手段１０は、モノクロ画像ＰＢＷごとに特徴量を抽出する。具体的には、モノクロ画像特徴抽出手段１０は、モデル記憶手段１４に記憶されている特徴量抽出器ＮＢＷの畳み込み層Ｃ１によってモノクロ画像ＰＢＷから特徴量ＦＢＷを抽出する。
【００４０】
ステップＳ１４において、特徴量修正手段１２は、ステップＳ１３で抽出されたモノクロ画像ＰＢＷの特徴量ＦＢＷを、ステップＳ１１で抽出された参照カラー画像ＰＲＥＦの特徴量（合成特徴量ＦＸ）で修正し、修正特徴量ＦＭＤを生成する。具体的には、特徴量修正手段１２は、モデル記憶手段１４に記憶されている特徴量修正器ＮＭＤの畳み込み層Ｃ３によって、モノクロ画像ＰＢＷの特徴量ＦＢＷと合成特徴量ＦＸとを連結したデータを、特徴量ＦＢＷと同じチャンネル数（ｃ）および大きさ（ｈ×ｗ）のデータに畳み込んで圧縮する。これによって、特徴量修正手段１２は、モノクロ画像ＰＢＷの特徴量ＦＢＷに色の特徴を加味した修正特徴量ＦＭＤを生成することができる。
【００４１】
ステップＳ１５において、カラー情報推定手段１３は、ステップＳ１４で修正された修正特徴量ＦＭＤから、カラー画像ＰＣＬを推定する。具体的には、カラー情報推定手段１３は、モデル記憶手段１４に記憶されているカラー推定器ＮＣＬの畳み込み層Ｃ４によって、修正特徴量ＦＭＤからカラー画像ＰＣＬを生成する。
【００４２】
ステップＳ１６において、モノクロ画像特徴抽出手段１０は、モノクロ画像ＰＢＷの入力が終了したか否かを判定する。ここで、モノクロ画像ＰＢＷの入力が終了していない場合（ステップＳ１６でＮｏ）、動画像カラー化装置１は、ステップＳ１２に戻って、次フレーム（モノクロ画像ＰＢＷ）のカラー化を行う。
一方、モノクロ画像ＰＢＷの入力が終了した場合（ステップＳ１６でＹｅｓ）、動画像カラー化装置１は、動作を終了する。
以上の動作によって、動画像カラー化装置１は、モノクロ画像ＰＢＷの特徴量を参照カラー画像ＰＲＥＦの特徴量で修正して、カラー画像ＰＣＬを生成することができる。
【００４３】
＜カラー情報推定モデル学習装置の構成＞
次に、図７を参照して、本発明の実施形態に係るカラー情報推定モデル学習装置２の構成について説明する。
図７に示すように、カラー情報推定モデル学習装置２は、モノクロ画像特徴抽出手段１０と、特徴量修正手段１２と、カラー情報推定手段１３Ｂと、モデル記憶手段１４と、差分計算手段２０と、パラメータ修正手段２１と、を備える。
【００４４】
カラー情報推定モデル学習装置２は、動画像カラー化装置１が用いるニューラルネットワークであるカラー情報推定モデルＮを学習するものである。
カラー情報推定モデル学習装置２は、モノクロ動画像の一部のフレーム（モノクロ画像ＰＢＷ）に対応する参照カラー画像ＰＲＥＦを用いて、モノクロ動画像を構成するモノクロ画像ＰＢＷが、正解データであるカラー画像ＰＣＬとなるように、カラー情報推定モデルＮを学習する。
【００４５】
なお、モノクロ動画像を構成するモノクロ画像ＰＢＷは、予め正解データであるカラー動画像を構成するカラー画像ＰＣＬから生成したものとする。例えば、モノクロ画像ＰＢＷには、Ｌａｂ色空間の３チャンネルで構成されたカラー画像ＰＣＬのＬチャンネルのみを用いればよい。また、参照カラー画像ＰＲＥＦは、元のカラー動画像から任意に選択した画像を用いればよい。
【００４６】
モノクロ画像特徴抽出手段１０は、モノクロ動画像のフレーム（モノクロ画像ＰＢＷ）ごとに特徴量を抽出するものである。なお、モノクロ画像特徴抽出手段１０は、図１で説明したモノクロ画像特徴抽出手段１０と同じものであるため、説明を省略する。ただし、モノクロ画像特徴抽出手段１０は、後記するパラメータ修正手段２１から再計算を指示された場合、新たなカラー情報推定モデルＮにより特徴量ＦＢＷの再計算を行う。
モノクロ画像特徴抽出手段１０は、抽出した特徴量ＦＢＷをカラー情報推定手段１３Ｂに出力する。
【００４７】
特徴量修正手段１２は、モノクロ画像特徴抽出手段１０が抽出したモノクロ画像ＰＢＷの特徴量ＦＢＷを参照カラー画像ＰＲＥＦに基づいて修正するものである。なお、特徴量修正手段１２は、図１で説明した特徴量修正手段１２と同じものであるため、説明を省略する。特徴量修正手段１２は、修正した修正特徴量ＦＭＤをカラー情報推定手段１３Ｂに出力する。
【００４８】
カラー情報推定手段１３Ｂは、モノクロ画像特徴抽出手段１０で抽出されたモノクロ画像ＰＢＷの特徴量ＦＢＷ、および、特徴量修正手段１２で修正された修正特徴量ＦＭＤから、それぞれカラー情報（修正前推定カラー画像Ｐ１ＣＬ，修正後推定カラー画像Ｐ２ＣＬ）を推定し、カラー画像を生成するものである。
なお、カラー情報推定手段１３Ｂは、特徴量ＦＢＷおよび修正特徴量ＦＭＤのそれぞれから２つのカラー画像を生成することを除いて、図１で説明したカラー情報推定手段１３と同様に、カラー情報推定モデルＮの一部であるカラー推定器ＮＣＬを用いて、カラー画像を生成する。
カラー情報推定手段１３Ｂは、生成した修正前推定カラー画像Ｐ１ＣＬおよび修正後推定カラー画像Ｐ２ＣＬをそれぞれ差分計算手段２０に出力する。
【００４９】
モデル記憶手段１４は、学習対象のカラー情報推定モデルＮを記憶するものである。このモデル記憶手段１４は、半導体メモリ等の一般的な記憶媒体で構成することができる。なお、学習後のカラー情報推定モデルＮは、図１に示したモデル記憶手段１４に記憶され、モノクロ動画像のカラー化に用いられる。
【００５０】
差分計算手段２０は、カラー情報推定手段１３Ｂで生成されたカラー情報（修正前推定カラー画像Ｐ１ＣＬ，修正後推定カラー画像Ｐ２ＣＬ）と、正解データであるカラー画像ＰＣＬとの差分をフレームごとに計算するものである。
差分計算手段２０は、修正前推定カラー画像Ｐ１ＣＬとカラー画像ＰＣＬとの差分ｄｉｆ１と、修正後推定カラー画像Ｐ２ＣＬとカラー画像ＰＣＬとの差分ｄｉｆ２とをそれぞれ計算する。なお、差分計算手段２０の計算には、画像間の一般的な差分計算を用いればよい。例えば、画素値の平均二乗誤差（ＭＳＥ〔Mean Square Error〕）を用いることができる。
【００５１】
また、差分計算手段２０の計算には、画像の種別を判定する別のニューラルネットワーク（例えば、物体認識済みネットワーク）を用いて差分を計算してもよい。その場合、例えば、修正前推定カラー画像Ｐ１ＣＬとカラー画像ＰＣＬとをそれぞれ物体認識済みネットワークに入力したときの中間層特徴量の差分をｄｉｆ１とする。また、修正後推定カラー画像Ｐ２ＣＬとカラー画像ＰＣＬとをそれぞれ物体認識済みネットワークに入力したときの中間層特徴量の差分をｄｉｆ２とする。
また、差分計算手段２０の計算には、他の差分計算方法を併用するようにしてもよい。
差分計算手段２０は、計算した差分ｄｉｆ１，ｄｉｆ２をパラメータ修正手段２１に出力する。
【００５２】
パラメータ修正手段２１は、差分計算手段２０で計算された差分ｄｉｆ１，ｄｉｆ２に基づいて、モデル記憶手段１４に記憶されているカラー情報推定モデルＮを修正するものである。
具体的には、パラメータ修正手段２１は、差分ｄｉｆ１，ｄｉｆ２を共に小さくする方向にパラメータを修正するものであり、パラメータを修正した場合には、モノクロ画像特徴抽出手段１０に対して再計算を指示し、修正前後の差分の変動量が予め定めた範囲で収束するまで修正を行う。なお、差分ｄｉｆ１，ｄｉｆ２を共に小さくするパラメータの方向が異なる場合は、その平均の値でパラメータを修正する。このパラメータの修正には、例えば、誤差逆伝播法を用いることができる。
【００５３】
また、パラメータ修正手段２１は、外部からの指示により、学習する対象を変更する。具体的には、パラメータ修正手段２１は、カラー情報推定モデルＮ全体を学習するモードと、カラー情報推定モデルＮのうちの特徴量修正器ＮＭＤのみを学習するモードとを切り替える。なお、特徴量修正器ＮＭＤのみを学習する場合、パラメータ修正手段２１は、特徴量抽出器ＮＢＷおよびカラー推定器ＮＣＬについては、パラメータを修正しないこととする。
【００５４】
これによって、補助情報である参照カラー画像ＰＲＥＦのみを他の画像に切り替えて特化したカラー情報推定モデルＮを構築する場合、カラー情報推定モデル学習装置２は、特徴量修正器ＮＭＤのみを学習させることで、学習量を減らし、学習時間を短縮させることができる。
以上説明したように、カラー情報推定モデル学習装置２は、動画像カラー化装置１で用いるカラー情報推定モデルＮを学習することができる。
なお、カラー情報推定モデル学習装置２は、コンピュータを、前記した各手段として機能させるためのカラー情報推定モデル学習プログラムで動作させることができる。
【００５５】
＜カラー情報推定モデル学習装置の動作＞
次に、図８を参照（構成については適宜図７参照）して、本発明の実施形態に係るカラー情報推定モデル学習装置２の動作について説明する。
なお、ステップＳ２０からステップＳ２４までの動作は、図６で説明した動画像カラー化装置１のステップＳ１０からステップＳ１４までの動作と同じであるため、説明を省略する。
【００５６】
ステップＳ２５において、カラー情報推定手段１３Ｂは、ステップＳ２１で抽出されたモノクロ画像ＰＢＷの特徴量ＦＢＷ、および、ステップＳ２４で修正された修正特徴量ＦＭＤから、それぞれカラー情報（修正前推定カラー画像Ｐ１ＣＬ，修正後推定カラー画像Ｐ２ＣＬ）を推定する。
【００５７】
ステップＳ２６において、差分計算手段２０は、正解データであるカラー画像ＰＣＬを入力する。
ステップＳ２７において、差分計算手段２０は、ステップＳ２５で推定されたカラー情報である修正前推定カラー画像Ｐ１ＣＬおよび修正後推定カラー画像Ｐ２ＣＬと、ステップＳ２６で入力した正解データであるカラー画像ＰＣＬとの差分をそれぞれ計算する。
ステップＳ２８において、パラメータ修正手段２１は、ステップＳ２７で計算された差分が小さくなる方向にカラー情報推定モデルＮのパラメータを修正する。
【００５８】
ステップＳ２９において、パラメータ修正手段２１は、予め定めた学習データ（モノクロ画像ＰＢＷ，参照カラー画像ＰＲＥＦ）の入力が終了したかにより、学習の終了を判定する。ここで、学習が終了していなければ（ステップＳ２９でＮｏ）、カラー情報推定モデル学習装置２は、ステップＳ２２に戻って、次のモノクロ画像ＰＢＷを入力し、学習を継続する。
一方、学習が終了した場合（ステップＳ２９でＹｅｓ）、カラー情報推定モデル学習装置２は、動作を終了する。
以上、本発明の実施形態に係る動画像カラー化装置１およびカラー情報推定モデル学習装置２について説明したが、本発明はこれらの構成に限定されるものではない。
【００５９】
＜他の実施形態＞
ここでは、モノクロ動画像をカラー化するための補助情報として、参照カラー画像を用いた例を示した。
しかし、補助情報は、参照カラー画像に限定されず、画像のジャンル情報や、図１３で説明した色指定ヒントや色境界ヒントを用いても構わない。
【００６０】
図９に、補助情報として、参照カラー画像以外に、色指定ヒントや色境界ヒントを用いた動画像カラー化装置１Ｂの構成例を示す
図９に示すように、動画像カラー化装置１Ｂは、モノクロ画像特徴抽出手段１０と、切替手段１１Ｂと、特徴量修正手段１２（１２Ａ，１２Ｂ）と、カラー情報推定手段１３と、モデル記憶手段１４Ｂと、を備える。
モノクロ画像特徴抽出手段１０、特徴量修正手段１２（１２Ａ）およびカラー情報推定手段１３は、図１で説明した動画像カラー化装置１と同じ構成であるため、説明を省略する。
【００６１】
切替手段１１Ｂは、外部からの指示により、モノクロ画像特徴抽出手段１０が抽出した特徴量ＦＢＷの修正を行うか否かを切り替えるものである。
切替手段１１Ｂは、外部からの指示に基づいて、特徴量ＦＢＷの出力先を特徴量修正手段１２Ａ、特徴量修正手段１２Ｂまたはカラー情報推定手段１３のいずれかに切り替える。なお、切替手段１１Ｂの出力がカラー情報推定手段１３に切り替えられた場合、動画像カラー化装置１Ｂは、補助情報を用いずにモノクロ画像ＰＢＷをカラー化する装置として動作する。
【００６２】
また、切替手段１１Ｂの出力が特徴量修正手段１２Ａに切り替えられた場合、動画像カラー化装置１Ｂは、補助情報として参照カラー画像ＰＲＥＦを用いてモノクロ画像ＰＢＷをカラー化する装置として動作する。
また、切替手段１１Ｂの出力が特徴量修正手段１２Ｂに切り替えられた場合、動画像カラー化装置１Ｂは、補助情報として色指定ヒントＨＣＬおよび色境界ヒントＨＢＤを用いてモノクロ画像ＰＢＷをカラー化する装置として動作する。
【００６３】
特徴量修正手段１２Ｂは、モノクロ画像特徴抽出手段１０が抽出したモノクロ画像ＰＢＷの特徴量ＦＢＷを、色指定ヒントＨＣＬおよび色境界ヒントＨＢＤに基づいて修正するものである。
特徴量修正手段１２Ｂは、モデル記憶手段１４Ｂに記憶されている予め学習したカラー情報推定モデルＮ２の一部である特徴量修正器ＮＭＤ２を用いて、モノクロ画像ＰＢＷの特徴量ＦＢＷを修正する。
【００６４】
ここで、図１０を参照して、特徴量修正器ＮＭＤ２のネットワーク構成例について説明する。図１０に示すように、特徴量修正器ＮＭＤ２は、畳み込み層Ｃ５〜Ｃ８と加算器Ｓとを含んだニューラルネットワークで構成することができる。
【００６５】
畳み込み層Ｃ５，Ｃ６は、ユーザが色推定のヒントとして与える３ｃｈ（例えば、画素の位置と、Ｌａｂ色空間におけるａｂチャンネル）の情報と、ユーザが色の境目を色境界のヒントとして与える１ｃｈ（例えば、画素の位置）の情報とを、それぞれ、同じチャンネル数Ｊに畳み込むものである。
【００６６】
加算器Ｓは、畳み込み層Ｃ５，Ｃ６で畳み込まれたＪチャンネル（Ｊｃｈ）のデータを要素ごとに加算するものである。なお、加算器Ｓを用いずに、畳み込み層Ｃ５，Ｃ６の出力を連結し、２×Ｊチャンネルの情報としてもよい。
【００６７】
畳み込み層Ｃ７は、加算器Ｓで加算されたデータを、予め定めたチャンネル数（ｃ）および大きさ（ｈ×ｗ）のデータに圧縮（エンコード）することで、補助情報である色指定ヒントＨＣＬおよび色境界ヒントＨＢＤの特徴量ＦＸを抽出する。この特徴量のチャンネル数および大きさは、モノクロ画像ＰＢＷの特徴量ＦＢＷと同じとする。
【００６８】
畳み込み層Ｃ８は、モノクロ画像ＰＢＷの特徴量ＦＢＷに、畳み込み層Ｃ７で生成された特徴量特徴量ＦＸを畳み込むものである。
畳み込み層Ｃ８は、モノクロ画像ＰＢＷの特徴量ＦＢＷと特徴量ＦＸとを連結したチャンネル数（２×ｃ）、大きさ（ｈ×ｗ）のデータを、チャンネル数（ｃ）および大きさ（ｈ×ｗ）のデータに畳み込んで圧縮（エンコード）する。
【００６９】
これによって、畳み込み層Ｃ８は、モノクロ画像ＰＢＷの特徴量ＦＢＷを、補助情報である色指定ヒントＨＣＬおよび色境界ヒントＨＢＤの特徴量ＦＸで修正し、特定の場所の色の特徴や色の境界の特徴を加味した修正特徴量ＦＭＤ２を生成することができる。
なお、特徴量修正器ＮＭＤ２は、図１１に示すように、畳み込み層Ｃ８の後段に正規化手段Ｎ１および乗算手段Ｍ２を備えることとしてもよい。
これによって、修正特徴量ＦＭＤ２は、修正前後で値の分布が変動し難くなるため、特徴量修正器ＮＭＤ２を学習するための時間を短くすることができる。
図９に戻って、動画像カラー化装置１Ｂの構成について説明を続ける。
【００７０】
モデル記憶手段１４Ｂは、予め学習したカラー情報推定モデルＮ２を記憶するものである。このモデル記憶手段１４Ｂは、半導体メモリ等の一般的な記憶媒体で構成することができる。
モデル記憶手段１４Ｂに記憶されるカラー情報推定モデルＮ２は、特徴量抽出器ＮＢＷ、複数の特徴量修正器ＮＭＤ，ＮＭＤ２およびカラー推定器ＮＣＬである。
以上説明したように、動画像カラー化装置１Ｂは、切替手段１１Ｂの切り替えによって、モノクロ画像ＰＢＷの特徴量ＦＢＷをそのままカラー情報推定手段１３に出力することで、色推定ニューラルネットワークとして機能する。
【００７１】
また、動画像カラー化装置１Ｂは、切替手段１１Ｂの切り替えによって、モノクロ画像ＰＢＷの特徴量ＦＢＷを参照カラー画像ＰＲＥＦ、あるいは、色指定ヒントＨＣＬおよび色境界ヒントＨＢＤで修正した後、カラー情報推定手段１３に出力することで、色伝播ニューラルネットワークとして機能する。
【００７２】
なお、ここでは、特徴量修正手段１２Ｂを、色指定ヒントＨＣＬおよび色境界ヒントＨＢＤに基づいて特徴量ＦＢＷを修正するものとしたが、いずれか一方のみで修正を行うものであってもよい。その場合、図１０，図１１において、畳み込み層Ｃ５，Ｃ６および加算器Ｓを省略して構成すればよい。
【００７３】
動画像カラー化装置１Ｂの動作は、切替手段１１Ｂによって、モノクロ画像ＰＢＷの特徴量ＦＢＷを修正する対象が異なるだけであるため、詳細な説明は省略する。
また、動画像カラー化装置１Ｂが使用するカラー情報推定モデルＮ２の学習は、図７で説明したカラー情報推定モデル学習装置２において、特徴量修正手段１２が、補助情報に応じて異なるだけであるため、詳細な説明は省略する。
【符号の説明】
【００７４】
１，１Ｂ  動画像カラー化装置
１０    モノクロ画像特徴抽出手段
１１，１１Ｂ  切替手段
１２，１２Ａ，１２Ｂ  特徴量修正手段
１３，１３Ｂ  カラー情報推定手段
１４，１４Ｂ  モデル記憶手段
２      カラー情報推定モデル学習装置
２０    差分計算手段
２１    パラメータ修正手段
Ｎ，Ｎ２  カラー情報推定モデル
ＮＢＷ  特徴量抽出器
ＮＭＤ，ＮＭＤ２  特徴量修正器
ＮＣＬ  カラー推定器
【図１】
2020144778.tif 000003
【図２】
2020144778.tif 000004
【図３】
2020144778.tif 000005
【図４】
2020144778.tif 000006
【図５】
2020144778.tif 000007
【図６】
2020144778.tif 000008
【図７】
2020144778.tif 000009
【図８】
2020144778.tif 000010
【図９】
2020144778.tif 000011
【図１０】
2020144778.tif 000012
【図１１】
2020144778.tif 000013
【図１２】
2020144778.tif 000014
【図１３】
2020144778.tif 000015
【図１４】
2020144778.tif 000016
【図１５】
2020144778.tif 000017