(57)【要約】【課題】モノクロ画像のカラー化において、手作業が少なく、自然な階調のカラー画像を得る。【解決手段】カラー化されるモノクロ画像の一部分又は全領域を、単一又は複数の参照カラー画像の一部分又は全領域と対応させ、対応付けられた画像領域に対して、参照カラー画像の輝度等の画像成分とその成分の近傍の平均や標準偏差等の統計量を入力信号とし、参照カラー画像の色情報を出力信号成分として教師信号を作り、ニューラルネットワークを用いて学習し、学習結果にもとづいてモノクロ画像をカラー化する。【選択図】図１
2004334814.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークを用いてモノクロ画像をカラー化する方法であって、単一又は複数のモノクロ画像をカラー化する際に、カラー化されるモノクロ画像の一部分又は全領域を、単一又は複数の参照カラー画像の一部分又は全領域と対応させ、参照カラー画像の対応領域に対してモノクロ画像の画像成分に対応する輝度等の画像成分及び画像成分の統計量等と色情報の関係を学習する方法。
【請求項２】
モノクロ画像の直像成分及び画像成分の統計量等を入力信号として前記学習結果を用いてモノクロ画像の一部分又は全領域をカラー化する方法。
【請求項３】
複数の対応領域がある場合、各々の領域に対して前記学習を行い、学習済みネットワークを作り、各々の学習結果を用いて該当領域をカラー化する方法。
【請求項４】
カラー化の対象であるが参照カラー画像とは対応関係のないモノクロ画像の領域に対しては前記学習済みネットワーク群を利用してカラー化し、請求項３に記載の方法でカラー化された対応領域と合わせてモノクロ画像の一部分又は全領域をカラー化する方法。
【請求項５】
前記学習において、参照カラー画像におけるモノクロ画像に対応付けられた画像領域中の適当に抽出された複数の画素の輝度とその近傍の画素の輝度の平均や標準偏差を入力信号とし、色情報を出力信号とし、これらを教師信号として学習させる場合の所定の回数繰返す学習ステップと、その時点の学習結果にもとづいてモノクロ画像をカラー化する方法。
【請求項６】
請求項１から５までに記載した方法をコンピュータに実行させるモノクロ画像のカラー化プログラム。
【請求項７】
請求項１から５までに記載した方法をコンピュータに実行させるモノクロ画像のカラー化プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は，ニューラルネットワークを用いて単一、あるいは複数のモノクロ画像をカラー化する方法に関するものである。
【０００２】
【従来の技術】
モノクロ画像のカラー化は一つの成分で表された画素に多次元の値を与えることになるので、本質的に正しい解は存在しない。このため、作業者の経験や勘に依存したカラー化が行われている。代表的な方法としては、輝度値を適当に区分して用意したカラーマップを用いて段階的に色付けする方法（従来手法１）、作業者が任意の色を選びモノクロ画像の任意の場所に直接色を塗る方法（従来手法２）がある。
【０００３】
一方、カラー画像である参照画像と、モノクロ画像である目標画像を用いて、参照画像から目標画像に色を移行するという手法（従来手法３）が提案されている（Ｔ．Ｗｅｌｓｈ，Ｍ．Ａｓｈｉｋｈｍｉｎ    ａｎｄ  Ｋ．Ｍｕｅｌｌｅｒ「Ｔｒａｎｓｆｅｒｒｉｎｇ  ｃｏｌｏｒ  ｔｏｇｒａｙｓｃａｌｅ  ｉｍａｇｅｓ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  ２００２，ｐｐ．２７７−２７９，２００２）。Ｗｅｌｓｈらはこの方法を用いて、いくつかのモノクロ画像の半自動的なカラー化に成功している。
【０００４】
【発明が解決しようとする課題】
上述した従来手法１では、輝度値とカラーマップの対応に物理的な意味がある場合等においては意図されたカラー画像を得ることができるが、一般のモノクロ画像を違和感のないカラー画像にすることは難しい。
【０００５】
従来手法２では、作業者が各々の領域に対して手作業で色付けしなければならず、その負担は大きなものになっている。
【０００６】
一方、従来手法３では、従来手法２に対して作業者の手作業を減らし、簡単なカラー化を行うものになっている。しかしながら、この手法では物体のエッジ部分や形状が入り組んでいる領域等でノイズ状の色分布になるという問題点がある。また、参照画像から抽出した色のみによってカラー化されるため、色の種類が制限される。自然な階調のカラー画像を得るためには、注意深く参照画像を選択し、参照画像から適切な画素を選択する必要がある。
【０００７】
本発明の目的は、モノクロ画像のカラー化において、前述した従来手法３の問題点を解決し、手作業が少なく、自然な階調のカラー画像を得ることにある。
【０００８】
【課題を解決するための手段】
カラー化されるモノクロ画像の一部分又は全領域を、単一又は複数の参照カラー画像の一部分又は全領域と対応させ、対応付けられた画像領域に対して学習用データを決定する。部分的な対応に対しては、Ｒｅｉｎｈａｒｄらの提案したｓｗａｔｃｈ（Ｅ．Ｒｅｉｎｈａｒｄ，Ｍ．Ａｓｈｉｋｈｍｉｎ，Ｍ．Ｇｏｏｃｈａｎｄ  Ｐ．Ｓｈｉｒｌｙ「Ｃｏｌｏｒ  Ｔｒａｎｓｆｅｒｂｅｔｗｅｅｎ  Ｉｍａｇｅｓ」，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ，ｖｏｌ．２１，ｎｏ．５，ｐｐ．３４−４１，２００１）を用いる（図４）。
【０００９】
入力信号として、参照カラー画像の画素のモノクロ画像の画像成分と対応づけられた輝度等の画像成分（以下対応画像成分と呼ぶ）と、その成分の近傍の平均や標準偏差等の統計量を用いる。出力信号は参照カラー画像の色情報である。これらを教師信号とし、各々の対応領域に対して教師信号と出力信号の類似度が最も大きくなるようにニューラルネットワークを用いて所定の回数だけ学習ステップを進め、学習済みネットワーク群を得る。
【００１０】
学習結果にもとづいて、モノクロ画像の対応領域をカラー化する。参照カラー画像と対応付けられていないカラー化対象領域に関しては、学習済みネットワーク群を利用してカラー化する。
【００１１】
【発明の実施の形態】
本発明の実施形態を、図１及び図２を参照して説明する。はじめに、カラー化される単一又は複数のモノクロ画像とカラー画像群を用意する。次に非カラー化領域決定部１０においてモノクロ画像群に対してカラー化の対象としない領域を決める。
【００１２】
参照カラー画像群選択部１１において用意したカラー画像群から参照カラー画像群を選択し、カラー化領域の対応付け部１２においてカラー化されるモノクロ画像の領域と参照カラー画像の領域を対応させる。図３に参照カラー画像とモノクロ画像の全領域が対応付けられる例を、図４にＲｅｉｎｈａｒｄらの提案したｓｗａｔｃｈの利用例として、参照カラー画像の一部分がモノクロ画像の一部分に対応する例を示す。
【００１３】
次に図２を参照して、図１の対応領域の学習済みネットワーク生成部１３を説明する。対応領域の学習済みネットワーク生成部１３は、主として入力信号成分決定部２０、出力信号成分決定部２１、入力信号生成部２２、教師信号生成部２３、ニューラルネットワークによる学習部２４、学習終了判断部２５から構成され、各々の対応領域に対してニューラルネットワークを利用した学習を行う。
【００１４】
入力信号成分決定部２０においては、はじめに対応画像成分を決める。例えば、これを輝度とすれば、参照カラー画像の成分をＹＵＶ（Ｙは輝度信号、ＵとＶは色差信号を表す）に変換し輝度を対応画像成分とする。次に参照カラー画像のある画素における対応画像成分と、その画素の近傍の画素の対応画像成分を用いて、平均、標準偏差等の統計量を算出し、対応画像成分、及び統計量を用いて入力信号成分を決定する。出力信号成分決定部２１では、出力信号となる色情報の成分を決定する。例えば、Ｕ、Ｖを出力信号成分とする。
【００１５】
次に入力信号生成部２２において、参照カラー画像上のモノクロ画像に対応付けられた画像領域の中から適当な方法で複数の画素を抽出する。均等抽出の例を図５に示す。抽出された参照カラー画像の複数の画素における入力信号成分を用いて入力信号を生成する。
【００１６】
参照カラー画像から抽出した画素の色情報の成分を出力信号とし、教師信号生成部２３において前記入力信号と合わせて教師信号を生成する。この後、ニューラルネットワークによる学習部２４において、ニューラルネットワークによって学習を行う。例えば、入力信号として抽出された各々の画素の輝度、及び近傍画素の輝度の平均、標準偏差の３つのものを用い、出力信号として色差信号ＵＶを用いる。図６に一つの画素に対するニューラルネットワークの一部分を示す。ニューラルネットワークの構造としては階層型ネットワークを用い、参照カラー画像の色差信号ＵＶを教師信号とし、誤差逆伝播学習法により、実際の出力と教師信号の誤差が減少するようにニューロン間の重みを所定の回数だけ修正することによって学習する。なお、所定の回数以下の場合であっても、学習の途中で誤差が敷居値以下になった場合は学習終了判断部２５に進む。
【００１７】
学習の終了は、学習終了判断部２５において判断される。はじめに誤差が敷居値以下になっているか、学習ステップが所定の回数分進められたかによって判断される。誤差が敷居値以下の場合は、学習に成功したものとし学習済みフラグを１とし、１４に進む。所定回数の学習ステップが終了し、誤差が大きい場合は、入力信号成分決定部２０に戻るかどうかが問い合わされる。入力信号成分決定部２０に戻らない場合は、学習済みフラグを１（学習に成功）、又は０（学習に失敗）に設定することで１４に進む。
【００１８】
対応領域に対する学習終了判断部１４では、学習済みフラグの値によって学習に失敗した対応領域を判断し、失敗した領域がある場合はカラー化領域の対応付け部１２に戻る。すべての対応領域で学習に成功している場合は、カラー化が行われる。
【００１９】
カラー化は、はじめに対応領域のカラー化部１５において、モノクロ画像の各々の対応領域の画素に対して、各々の学習済みネットワークを利用して出力として色情報を得ることによって行われる。例えば、輝度、及び近傍画素の輝度の平均、標準偏差の３つのものを与え、色差信号ＵＶを得ることによってモノクロ画像の対応領域の画素のＹＵＶが決定する。
【００２０】
モノクロ画像において対応領域以外にカラー化対象領域が存在する場合は、非対応領域のカラー化部１６において学習済みネットワーク群を利用してカラー化する。例えば、カラー化されたモノクロ画像の対応領域上の画素群に対して、画素の輝度、及び近傍画素の輝度の平均、標準偏差を求め、それらの平均値を各々の対応領域の代表値とする。対応領域以外の画素に対して、画素の輝度、及び近傍画素の輝度の平均、標準偏差を求め、代表値と比べることによって最も類似度の大きい対応領域を求め、その領域の学習済みネットワークを用いてカラー化する。このようにして、モノクロ画像におけるカラー化対象領域がカラー化される。終了処理部１７において、カラー化に成功したと判断すれば、カラー化処理を終了し、そうでない場合は、参照カラー画像群選択部１１まで戻る。
【００２１】
【発明の効果】
本発明によって、従来手法３の欠点である物体のエッジ部分や形状が入り組んでいる領域等でノイズ状の色分布になるという問題を解決できる。また、自然な階調のカラー画像を得ることができる。
【図面の簡単な説明】
【図１】本発明のモノクロ画像のカラー化処理装置の構成を表すブロック図
【図２】対応領域の学習済みネットワーク生成部の構成を表すブロック図
【図３】参照カラー画像とモノクロ画像の全領域が対応付けられた例
【図４】参照カラー画像とモノクロ画像がｓｗａｔｃｈによって対応付けられた例
【図５】参照カラー画像からの画素の抽出例
【図６】一つの画素に対するニューラルネットワークの一部分
【符号の説明】
１０  非カラー化領域決定部
１１  参照カラー画像群選択部
１２  カラー化領域の対応付け部
１３  対応領域の学習済みネットワーク生成部
１４  対応領域に対する学習終了判断部
１５  対応領域のカラー化部
１６  非対応領域のカラー化部
１７  終了処理部
２０  入力信号成分決定部
２１  出力信号成分決定部
２２  入力信号生成部
２３  教師信号生成部
２４  ニューラルネットワークによる学習部
３０  参照カラー画像
３１  カラー化されるモノクロ画像
４０  参照カラー画像
４１  参照カラー画像
４２  カラー化されるモノクロ画像
【図１】
2004334814.tif 000003
【図２】
2004334814.tif 000004
【図３】
2004334814.tif 000005
【図４】
2004334814.tif 000006
【図５】
2004334814.tif 000007
【図６】
2004334814.tif 000008