(57)【要約】  画像Ａの色信号Ｘと、画像Ｂの色信号ＸとＹから画像Ａの色信号Ｙの画像情報を生成する画像生成方法。画像Ａ色信号Ｘの各画素位置と画像Ｂ色信号Ｘ中の対応点の有無および対応点位置を推定し、推定された画像Ａ中の画素位置における色信号Ｙに、画像Ｂの対応位置における色信号Ｙの画像情報を設定し、対対応点がないと推定された、画像Ａ中の画素位置における色信号Ｙを、対応点がある画素に対して設定された色信号Ｙの画像情報から作成する。
2009051064.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像Ａの第１の色信号Ｘと、第２の画像Ｂの第１の色信号Ｘと第２の色信号Ｙとから、第１の画像Ａの第２の色信号Ｙの画像情報を生成する画像生成方法であって、
第１の画像Ａの第１の色信号Ｘの各画素位置と第２の画像Ｂの第１の色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定ステップと、
前記対応点推定ステップで対応点があると推定された、第１の画像Ａ中の画素位置における第２の色信号Ｙに、第２の画像Ｂの対応位置における第２の色信号Ｙの画像情報を設定する対応画像設定ステップと、
前記対応点推定ステップで対応点がないと推定された、第１の画像Ａ中の画素位置における第２の色信号Ｙを、前記対応画像設定ステップで設定された第２の色信号Ｙの画像情報から補間して作成する画像補間ステップと、
を実行することを特徴とする画像生成方法。
【請求項２】
請求項１に記載の画像生成方法において、
前記対応点推定ステップでの対応点の推定に使用される閾値を設定する閾値設定ステップと、
第１の画像Ａの第１の色信号Ｘと、前記対応画像設定ステップおよび前記画像補間ステップで生成された第１の画像Ａの第２の色信号Ｙとから、第１の画像Ａの第３の色信号Ｍを生成する第１の画像Ａ色変換ステップと、
第２の画像Ｂの第１の色信号Ｘと第２の色信号Ｙとから、第２の画像Ｂの第３の色信号Ｍを生成する第２の画像Ｂ色変換ステップと、
前記対応点推定ステップで求めた対応点における第１の画像Ａの第３の色信号Ｍと第２の画像Ｂの第３の色信号Ｍとの差分を求める差分作成ステップと、
前記差分作成ステップで得られる差分の合計を算出する生成差分合計ステップと、
前記閾値設定ステップで設定した閾値を予め定められた範囲内で変えながら前記対応点推定ステップと、前記対応画像設定ステップと、前記画像補間ステップと、前記第１の画像Ａ色変換ステップと、前記第２の画像Ｂ色変換ステップと、前記差分作成ステップと、前記生成差分合計ステップとを繰り返し実行した結果から、前記生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップと、
を更に実行することを特徴とする画像生成方法。
【請求項３】
請求項１に記載の画像生成方法において、
前記対応点推定ステップでの対応点の推定に使用される閾値を設定する閾値設定ステップと、
第１の画像Ａの別の色信号Ｏと第１の画像Ａの第２の色信号Ｙとの差分を求める差分作成ステップと、
前記差分作成ステップで得られる差分の合計を算出する生成差分合計ステップと、
前記閾値設定ステップで設定した閾値を予め定められた範囲内で変えながら前記対応点推定ステップと、前記対応画像設定ステップと、前記画像補間ステップと、前記差分作成ステップと、前記生成差分合計ステップとを繰り返し実行した結果から、前記生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップと、
を実行することを特徴とする画像生成方法。
【請求項４】
第１の画像Ａの第１の色信号Ｘと、第２の画像Ｂの第１の色信号Ｘと第２の色信号Ｙとから、第１の画像Ａの第２の色信号Ｙの画像情報を生成する画像生成装置であって、
第１の画像Ａの第１の色信号Ｘの各画素位置と第２の画像Ｂの第１の色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定部と、
前記対応点推定部で対応点があると推定された、第１の画像Ａ中の画素位置における第２の色信号Ｙに、第２の画像Ｂの対応位置における第２の色信号Ｙの画像情報を設定する対応画像設定部と、
前記対応点推定部で対応点がないと推定された、第１の画像Ａ中の画素位置における第２の色信号Ｙを、前記対応画像設定部で設定された第２の色信号Ｙの画像情報から補間して作成する画像補間部と、
を備えることを特徴とする画像生成装置。
【請求項５】
請求項４に記載の画像生成装置において、
前記対応点推定部が行う対応点の推定に使用される閾値を設定する閾値設定部と、
第１の画像Ａの第１の色信号Ｘと、前記対応画像設定部および前記画像補間部で生成された第１の画像Ａの第２の色信号Ｙとから、第１の画像Ａの第３の色信号Ｍを生成する第１の画像Ａ色変換部と、
第２の画像Ｂの第１の色信号Ｘと第２の色信号Ｙとから、第２の画像Ｂの第３の色信号Ｍを生成する第２の画像Ｂ色変換部と、
前記対応点推定部で求めた対応点における第１の画像Ａの第３の色信号Ｍと第２の画像Ｂの第３の色信号Ｍとの差分を求める差分作成部と、
前記差分作成部で得られる差分の合計を算出する生成差分合計部と、
前記閾値設定部で設定した閾値を予め定められた範囲内で変えながら前記対応点推定部と、前記対応画像設定部と、前記画像補間部と、前記第１の画像Ａ色変換部と、前記第２の画像Ｂ色変換部と、前記差分作成部と、前記生成差分合計部とによる処理を繰り返し実行した結果から、前記生成差分合計部で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部と、
を更に備えることを特徴とする画像生成装置。
【請求項６】
請求項４に記載の画像生成装置において、
前記対応点推定部が行う対応点の推定に使用される閾値を設定する閾値設定部と、
第１の画像Ａの別の色信号Ｏと第１の画像Ａの第２の色信号Ｙとの差分を求める差分作成部と、
前記差分作成部で得られる差分の合計を算出する生成差分合計部と、
前記閾値設定部で設定した閾値を予め定められた範囲内で変えながら前記対応点推定部と、前記対応画像設定部と、前記画像補間部と、前記差分作成部と、前記生成差分合計部とによる処理を繰り返し実行した結果から、前記生成差分合計部で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部と、
を備えることを特徴とする画像生成装置。
【請求項７】
請求項１に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラム。
【請求項８】
請求項１に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から色信号の画像情報を生成する技術に関するものである。
本願は、２００７年１０月１５日に出願された特願２００７−２６７５４１号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
図７は直線配列の多視点撮像系、図８は平面配列の多視点撮像系、図９はアーク状配列の多視点撮像系、図１０は球面配列の多視点撮像系のカメラ配置例を示す図である。【０００３】
一つのシーンを異なる方向から撮影する多視点撮像系が開発されている。多視点撮像系において、カメラ配置は、図７に示すように直線上に１次元配列であったり、図８に示すように平面上に２次元配列であったり、また、図９に示すようにアーク状に配列したものや、図１０に示すように球面状の配列したものなど、さまざまである。このような多視点撮像系を利用すれば、多面的な映像シーンをアーカイブする（１つにまとめる）ことが可能となる。【０００４】
さらに、多視点で撮影されたカメラ映像から、撮影されていない仮想カメラ位置の画像情報を生成する技術がある。これを画像合成技術と呼ぶ。画像合成では、元のカメラ映像は空間中のどの方向から撮影した画像情報であるかを示すカメラパラメータがわかっているとする。
画像合成には種々の方法がある。例えば、奥行き情報を推定して合成する方法がある。まず元のカメラ映像間で画像情報の対応点探索を行い視差情報を求め、視差情報からシーンの奥行き情報を推定する。そして、仮想カメラ位置の奥行き情報を推定して、対応する画像情報を元のカメラの画像情報から作成する（非特許文献１参照）。【０００５】
また、奥行き情報の推定まで行わずに、元画像の視差情報を利用して直接仮想カメラ位置の画像情報を作成する方法もある（非特許文献２参照）。【０００６】
あるいは、複数のカメラ映像からシーンに存在するオブジェクトの３次元モデル情報を推定しておき、仮想カメラ位置からの当該モデルの投影画像を生成する方法もある（非特許文献３参照）。【０００７】
このような撮像系では、通常Ｂａｙｅｒ配列（各画素に対するカラーフィルタのモザイク式配置方法）の画像信号で撮影し、Ｂａｙｅｒ配列からＲＧＢ信号やＹＵＶ信号（輝度Ｙ、色差Ｕ，Ｖ）へデモザイキングする。
デモザイキングとは、Ｂａｙｅｒ配列で撮影された画素位置におけるＲまたはＧまたはＢ信号から、各画素位置にＲＧＢの３色成分の信号を推定する処理である（非特許文献４参照）。デモザイキングは、解像度の低い各色成分の信号を高解像度化することに相当するため、超解像技術との組み合わせも報告されている（非特許文献５参照）。【０００８】
また、このような撮像系では、通常解像度の同じカメラを用いるが、解像度の異なるカメラを用いてもよい。解像度の高いカメラと解像度の低いカメラを組み合わせて用いることで、得られる画像情報の情報量を低減することが可能である。また、カメラのフォーカス位置や視野角を変えてもよい。この場合には、撮影される画像信号の解像度が同じであっても、実際に撮影されている領域部分の解像度が異なる。【０００９】
解像度の低い画像から解像度の高い画像を得る方法として、低解像度の画像中の画像信号にアップサンプリングフィルタを適用する拡大方法と、超解像を用いる方法が挙げられる。【００１０】
拡大方法では、周辺近傍の画像信号に対して適当なフィルタを適用して画像信号を得る。一方、超解像方法では、一般的に連続して撮影された複数の同じ解像度の画像情報を用いる（非特許文献６参照）。まず、目的の画像として、撮影された画像よりも大きな解像度の画像を定義しておく。すなわち、生成する対象の画素位置を定義しておく。そして、複数の撮影された画像の間で、対応関係を推定し、撮影して得られた画像信号を目的の画素位置に埋めていく。これにより高い解像度の画像情報を得る。【００１１】
他方、画像の色信号の表現方法には、ＲＧＢやＹＵＶといった形式がある。均等色空間としては、図１１に示すような、マンセルが考案したマンセル色空間が挙げられる。マンセル色空間では、色相・明度・彩度で色を表現する。
色相（Ｈｕｅ）は色味を示し、赤（Ｒ）、黄（Ｙ）、緑（Ｇ）、青（Ｂ）、紫（Ｐ）の５色相を基本とし、さらに中間に、黄赤（ＹＲ）、黄緑（ＧＹ）、青緑（ＢＧ）、青紫（ＰＢ）、赤紫（ＲＰ）を配して１０色相を定義する。【００１２】
明度（Ｖａｌｕｅ）は明るさを示し、完全吸収の理想の黒を０、完全反射の理想の白を１０とし、その間を知覚的に等歩度になるように１０段階に配列する。彩度（Ｃｈｒｏｍａ）は鮮やかさを示す。
マンセル記号は、ＨＶ／Ｃ（色相・明度／彩度）で表す。
マンセル色空間を図で示すと、色相は円周上に順序正しく配列されて色相環を形成し、彩度については、中心から遠ざかるに従って鮮やかな色になり彩度も大きくなる。このマンセル色空間の近似空間として、ＣＩＥＬ＊ａ＊ｂ＊空間やＣＩＥＬ＊ｕ＊ｖ＊空間等が提案されている。
【非特許文献１】Keita Takahashi and Takeshi Naemura,“Layered Light-Field Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530（2006.7）.
【非特許文献２】M. Droese, T. Fujii and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, pp.247-250, Poznan, Poland, Sept. 2004.
【非特許文献３】松山隆司、高井勇志、ウ  小軍、延原章平、「３次元ビデオ映像の撮影・編集・表示」、日本バーチャルリアリティ学会論文誌、Vol.7, No.4, pp.521-532, 2002.12．
【非特許文献４】椿、相澤、「画素混合画像からのデモザイキング」、情報科学技術フォーラム、pp.219-222, Sep.2003．
【非特許文献５】後藤知将、奥富正敏、「単板カラー撮像素子のＲＡＷデータを利用した高精細画像復元」、情処学論：コンピュータとイメージメディア、vol.45, no.SIG 8（CVIM 9）, pp.15-25, 2004.
【非特許文献６】田中正行、奥富正敏、「再構成型超解像処理の高速化アルゴリズムとその精度評価」、信学論  D-II vol.J88-D-II, no.11 , pp.2200-2209, 2005.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、色数の異なる多視点映像を扱うという発明者の着眼した新規な技術について、解像度の異なる複数のカメラを用いた場合に、低解像度の画像が失っている高周波成分の色信号の情報を復元することにより、主観的な品質の劣化を低減する方式を提供することを目的とする。
【課題を解決するための手段】
【００１４】
多視点撮像系で解像度の異なる複数のカメラを用いた場合には、低解像度の画像と高解像度の画像が混在することになる。また、同じ解像度のカメラで撮影した場合であっても、例えば、一部のカメラ映像の解像度を低減することで情報量を削減できるため、多視点画像の圧縮には好適な場合がある。この場合においても、低解像度の画像と高解像度の画像が混在することになる。【００１５】
本発明では、色信号ごとに解像度が異なる場合を想定する。例えば、Ｙ信号については当該複数の画像間で解像度は同じであるが、Ｕ信号やＶ信号については解像度が異なる場合がある。【００１６】
以上のような場合においては、ある色信号については解像度は同じであるが、別の色信号について低解像度の画像情報では、高周波成分が欠落している。
このため、低解像度で撮影されたカメラ位置の画像情報は、高解像度で撮影されたカメラ位置の画像情報に比べて、主観品質が劣化する問題がある。【００１７】
本発明は、上記問題点の解決を図り、低解像度の画像が失っている高周波成分の色信号の情報を復元することにより、主観的な品質の劣化を低減する技術を提供する。【００１８】
本発明の概要について説明する。
例えば、色数の異なる複数のカメラで同一シーンを撮影することにより、すべての色数を扱う場合よりも、扱う画像信号の総数を減らすことができる。したがって、多視点映像における一部の映像信号の色数を少なくすれば、多視点映像の符号量を大幅に下げることができる。
なお、色数とは、例えばＲＧＢ等の３色を指す。しかしながら、撮影されていない色があると、その色の部分だけ情報が欠落しており、主観品質が悪くなるため、多視点映像の符号量を削減しようとした場合に問題となる。【００１９】
本発明は、一部の映像信号について失われている色の情報を、他の映像信号を用いて復元する技術手段を提供することによって、この問題を解決する。そもそも色数の異なる多視点映像を扱うといったことは従来行われていなかった。本発明の課題は、色数の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
特に、本発明は複数の画像における画素間の対応点情報を利用することにより、他のカメラで撮影された色情報を使って、目的の画像の色情報を復元する。本発明の具体的な特徴は、以下のとおりである。【００２０】
本発明は、画像Ａの色信号Ｘと、画像Ｂの色信号ＸとＹから画像Ａの色信号Ｙの画像情報を生成する画像生成方法であって、画像Ａ色信号Ｘの各画素位置と画像Ｂ色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ａ中の画素位置における色信号Ｙに、画像Ｂの対応位置における第２の色信号Ｙの画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ａ中の画素位置における色信号Ｙを、対応画像設定ステップで設定された色信号Ｙの画像情報から作成する画像補間ステップと、を実行することを特徴とする。【００２１】
この画像生成方法によれば、他の画像に含まれる色信号の情報を使い、所望の画像に対する別の色信号の画像情報を生成することができる。
このとき生成する画素位置に対応する画像信号が他の画像にない場合には、周囲にある生成した高解像度の画像信号から補間して作成することにより画像情報の欠落を防ぐ。【００２２】
対応点の推定では、対応点情報を別途入力として与える場合と、対応点を画像情報を使って探索する場合が挙げられる。対応点情報を別途与える場合には、シーンの奥行き情報や幾何情報を予め推定しておき、そこから画像間の対応点を推定するようにしてもよい。【００２３】
対応点の探索では、対応する画素間で差分の絶対値を求めて、その値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、対応点はないと推定してもよい。
この場合の閾値を元の色信号の画像情報と一緒にファイル化しておくことも好適である。ファイル化された元の色信号の画像情報から他の色信号の画像情報を生成する際に、ファイルに含まれる閾値を使用することで、生成する際に常に同じ画像が得られることを保障できる。【００２４】
シーンを複数の方向から撮影する場合で、色信号の異なるカメラを利用する場合に、他のカメラの画像を利用して、所望のカメラの色信号の画像情報を生成することができる。
この方法は多視点画像だけではなく、単眼の動画像にも適用できる。すなわち、動画像中の各フレームの色信号が異なる場合に、他のフレームの色信号を利用して、所望のフレームの色信号の画像情報を生成することができる。【００２５】
上記画像生成方法において、対応点推定ステップでの対応点の推定に使用される閾値を設定する閾値設定ステップと、画像Ａ色信号Ｘと、対応画像設定ステップおよび画像補間ステップで生成された画像Ａ色信号Ｙとから、画像Ａの色信号Ｍを生成する画像Ａ色変換ステップと、画像Ｂ色信号Ｘと色信号Ｙとから、画像Ｂの色信号Ｍを生成する画像Ｂ色変換ステップと、対応点推定ステップで求めた対応点における画像Ａ色信号Ｍと画像Ｂ色信号Ｍとの差分を求める差分作成ステップと、差分作成ステップで得られる差分の合計を算出する生成差分合計ステップと、を閾値設定ステップで設定する閾値を変えながら実行し、生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップを更に実行するようにしても良い。【００２６】
この画像生成方法によれば、前述した発明の方法で色信号を生成する際に、対応点の推定誤差による劣化の大きさを別の色空間において検出し、劣化が最も小さくなるように、対応点の推定に利用する閾値を決定することができる。
別の色空間へ写像して劣化の度合いを測定する際に、写像する色空間の例としてはマンセル色空間における明度や彩度や色相が挙げられる。
生成される画像の主観品質上の劣化を最小化することで、主観品質の劣化を低減することができる。【００２７】
この閾値パラメータは、次のように利用できる。まず、この閾値を推定しておき、閾値パラメータとして元の画像情報に付随させておく。例えば、元の画像と他の画像と一緒に、この閾値パラメータもファイル化しておく。このファイルを再生する際は、元の画像と他の画像から、閾値パラメータを利用して、元の画像の色信号の画像情報を生成することができる。このとき、主観品質の劣化を最小化した画像を生成することができる。【００２８】
上記画像生成方法において、対応点推定ステップでの対応点の推定に使用される閾値を設定する閾値設定ステップと、画像Ａ色信号Ｏと画像Ａ色信号Ｙとの差分を求める差分作成ステップと、差分作成ステップで得られる差分の合計を算出する生成差分合計ステップと、を閾値設定ステップで設定する閾値を変えながら実行し、生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップを更に実行するようにしても良い。【００２９】
この画像生成方法によれば、前述した発明の方法で色信号を生成する際に、対応点の推定誤差による劣化の大きさを検出し、劣化が最も小さくなるように、対応点の推定に利用する閾値を決定することができる。このとき、元々持っている色信号（Ｏ）との差が最小となるように色信号を生成することができる。
また、得られる閾値パラメータは、前述した方法と同様に、閾値パラメータとしてファイル化して利用できる。【００３０】
本発明はまた、上記各方法により画像を生成する画像生成装置も提供する。
【発明の効果】
【００３１】
本発明によれば、異なる色信号で撮影されたカメラ位置の画像情報に対して、別の色信号で撮影されたカメラ位置の画像情報を利用して、所望の画像情報の色信号を生成することができる。これにより、主観品質の劣化を低減することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施例である、画像生成装置の構成を示す図である。
【図２】同実施例の、画像生成装置の動作を示すフローチャートである。
【図３】本発明の第２の実施例である、画像生成装置の構成を示す図である。
【図４】同実施例の、画像生成装置の動作を示すフローチャートである。
【図５】本発明の第３の実施例である、画像生成装置の構成を示す図である。
【図６】同実施例の、画像生成装置の動作を示すフローチャートである。
【図７】直線配列の多視点撮像系の例を示す図である。
【図８】平面配列の多視点撮像系の例を示す図である。
【図９】アーク状配列の多視点撮像系の例を示す図である。
【図１０】球面配列の多視点撮像系の例を示す図である。
【図１１】マンセル色空間を示す図である。
【符号の説明】
【００３３】
１０１、２０１、３０１  対応点推定部
１０２、２０２、３０２  対応画像設定部
１０３、２０３、３０３  画像補間部
２０４  画像Ａ色変換部
２０５  画像Ｂ色変換部
２０６、３０６  差分作成部
２０７、３０７  生成差分合計部
２０８、３０８  閾値設定部
２０９、３０９  閾値決定部
【発明を実施するための最良の形態】
【００３４】
図面を用いて本発明の画像生成装置の実施例を説明する。【００３５】
〔第１の実施例〕
第１の実施例として、別のカメラで撮影された画像Ａ色信号Ｘと、画像Ｂ色信号ＸとＹから、画像Ａ色信号Ｙを生成する場合の例を示す。【００３６】
図１に装置概要を示す。本実施例における画像生成装置は、画像Ａ色信号Ｘの各画素位置と画像Ｂ色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定部１０１と、対応点推定部１０１で対応点があると推定された、画像Ａ中の画素位置における色信号Ｙに、画像Ｂ色信号Ｙ中の対応位置の画像情報を設定する対応画像設定部１０２と、対応点推定部１０１で対応点がないと推定された、画像Ａ中の画素位置における色信号Ｙを、対応画像設定部１０２で設定された色信号Ｙの画像情報から作成する画像補間部１０３とを備える。【００３７】
ここで、対応点推定部１０１では、カメラパラメータもしくは既知のマッチング技術を用いて、画像Ａ色信号Ｘの各画素について（画像Ｂ色信号Ｘ中の）対応する画素の候補を（１〜複数）仮定し、対応する画素間で差分の絶対値を求めて、それら絶対値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、画像Ａ色信号Ｘの当該画素については対応点はないと推定するものとする。
画像補間部１０３では、画像Ａ色信号Ｘ中の画素で、対応点がないと推定された画素の色信号Ｙの画像情報を、対応点があるとして画像Ｂ色信号Ｙから画像情報を作成された画素位置の当該画像情報から作成する。このとき、画像Ｂから画像情報を作成された画素位置からの距離に応じて線形補間をする。【００３８】
以上を前提として、図１に示す画像生成装置は次のように動作する。図２は、そのフローチャートを示す。【００３９】
まず、対応点推定部１０１は、画像Ａ色信号Ｘと、画像Ｂ色信号Ｘの対応点の有無と位置を推定する（ステップＳ１０）。対応画像設定部１０２は、対応点推定部１０１で対応点があると推定された画素位置に、画像Ｂ色信号Ｙの画像情報を画像Ａ色信号Ｙとして設定する（ステップＳ１１）。画像補間部１０３は、上述のように、対応画像設定部１０２で既に設定された画像情報から補間して画像情報を作成する（ステップＳ１２）。以上により、画像Ａ色信号Ｙを生成する。【００４０】
また、対応点推定部１０１は、画素間で差分の絶対値を求めたが、推定する対象の画素を中心とする複数画素からなるブロックを使い推定してもよい。例えば、画像Ａの色信号Ｘの各画素について、画像Ｂ中の信号Ｘの対応する画素の候補を（１〜複数）仮定し、各候補を中心とする複数画素からなるブロック内の画素との差分の絶対値の合計を求めて、その合計値が最小となる候補の位置を対応点として推定してもよい。【００４１】
また、画像補間部１０３では、線形補間により画像情報を生成したが、非線形処理を用いて画像情報を生成してもよい。いずれも、対応画像設定部１０２で設定された画像情報を利用して生成する。【００４２】
以上の例では、別のカメラで撮影された画像Ａ色信号Ｘと、画像Ｂ色信号ＸとＹから画像Ａの色信号Ｙを生成したが、同じカメラで撮影した、ある時刻の画像Ａ色信号Ｘと、別の時刻の画像Ｂ色信号ＸとＹから、画像Ａ色信号Ｙを生成してもよい。【００４３】
上記実施例では、画像Ａ色信号Ｘと、画像Ｂ色信号ＸとＹから、画像Ａ色信号Ｙを作成したが、画像Ａと画像Ｂにおける色信号Ｙ以外の信号は複数あってもよい。画像Ａと画像Ｂの他の色信号が２つ（ＸとＺ）ある場合の例を次に示す。構成は同じであるが、次のように動作する。【００４４】
まず、対応点推定部１０１は、画像Ａ色信号Ｘと画像Ｂ色信号Ｘの対応点の有無と位置を、上述のように推定する。対応画像設定部１０２は、上述のように、対応点推定部１０１で対応点があると推定された位置における画像Ｂ色信号Ｙの画像情報を画像Ａ色信号Ｙへ設定する。次に、対応点推定部１０１は、画像Ａ色信号Ｚと画像Ｂ色信号Ｚの対応点の有無と位置を、色信号Ｘの場合と同様に推定する。そして、対応画像設定部１０２は、対応点推定部１０１で対応点があると推定された位置における画像Ｂ色信号Ｙの画像情報を画像Ａ色信号Ｙへ設定する。以上により、画像Ａ色信号Ｙを生成する。【００４５】
〔第２の実施例〕
次に、第２の実施例として、第１の実施例と同様に、別のカメラで撮影された画像Ａ色信号Ｘと、画像Ｂ色信号ＸとＹから、画像Ａ色信号Ｙを生成する場合の例を示す。
ただし、生成した画像情報を別の色空間へ写像して劣化の度合いを検出して、劣化の度合いを最小化するように閾値を求める場合の例を示す。【００４６】
図３に装置概要を示す。本実施例における画像生成装置は、
・予め設定した範囲で閾値を設定する閾値設定部２０８と、
・閾値設定部２０８で設定された閾値を使い、画像Ａ色信号Ｘの各画素位置と画像Ｂ色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定部２０１と、
・対応点推定部２０１で対応点があると推定された、画像Ａ中の画素位置における色信号Ｙに、画像Ｂ色信号Ｙ中の対応位置の画像情報を設定する対応画像設定部２０２と、
・対応点推定部２０１で対応点がないと推定された、画像Ａ中の画素位置における色信号Ｙを、対応画像設定部２０２で設定された色信号Ｙの画像情報から作成する画像補間部２０３と、
・画像Ａ色信号Ｘと対応画像設定部２０２および画像補間部２０３で設定・生成された画像Ａ色信号Ｙとから、画像Ａの色信号Ｍを生成する画像Ａ色変換部２０４と、
・画像Ｂ色信号Ｘと色信号Ｙとから、画像Ｂの色信号Ｍを生成する画像Ｂ色変換部２０５と、
・対応点推定部２０１で求めた対応点における画像Ａ色信号Ｍと画像Ｂ色信号Ｍとの差分を求める差分作成部２０６と、
・差分作成部２０６で得られる差分の合計（全対応点に関する）を算出する生成差分合計部２０７と、
・生成差分合計部２０７で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部２０９と
を備える。【００４７】
閾値設定部２０８では、閾値として１０から５０まで１０ずつ閾値を増加させるものとする。また、画像Ａ色変換部２０４と画像Ｂ色変換部２０５は、色空間をマンセル色空間の色相に相当する色信号（Ｍ）へ変換するものとする。このとき足りない色成分（即ち、彩度と明度）は、固定値を設定するものとする。【００４８】
以上を前提として、図３に示す画像生成装置は次のように動作する。図４に、そのフローチャートを示す。【００４９】
まず、閾値設定部２０８では、閾値を１０に設定する（ステップＳ２０）。
そして、対応点推定部２０１は、設定された閾値を使い、画像Ａ色信号Ｘと画像Ｂ色信号Ｘの対応点の有無と位置を推定する（ステップＳ２１）。
対応画像設定部２０２は、対応点推定部２０１で対応点があると推定された位置における画像Ｂ色信号Ｙの画像情報を画像Ａ色信号Ｙへ設定する（ステップＳ２２）。
画像補間部２０３は、対応点推定部２０１で対応点がないと推定された位置について、対応画像設定部２０２で既に設定された画像情報から補間して画像Ａ色信号Ｙの画像情報を作成する（ステップＳ２３）。【００５０】
画像Ａ色変換部２０４は、画像Ａの色信号ＸとＹから色相信号（色信号Ｍ）へ変換する（ステップＳ２４）。
画像Ｂ色変換部２０５は、画像Ｂの色信号ＸとＹから色相信号（色信号Ｍ）へ変換する（ステップＳ２５）。
差分作成部２０６は、画像Ａと画像Ｂの色相信号における差分を作成する（ステップＳ２６）。
生成差分合計部２０７は、差分の合計を求める（ステップＳ２７）。
以上の閾値設定部２０８から生成差分合計部２０７の処理を、閾値を１０ずつ増やしながら５０まで繰り返し実行する（ステップＳ２７、Ｓ２８）。
続いて、閾値決定部２０９は、生成差分合計部２０７で得られる値が最小となる場合の閾値を決定する（ステップＳ２９）。【００５１】
本実施例では、画像Ａ色変換部２０４と画像Ｂ色変換部２０５は、マンセル色空間の色相に相当する色信号へ変換したが、マンセル色空間の他の色信号、即ち、彩度や明度に変換してもよい。【００５２】
〔第３の実施例〕
次に、第３の実施例として、第１の実施例と同様に、別のカメラで撮影された画像Ａ色信号Ｘと、画像Ｂ色信号ＸとＹから、画像Ａ色信号Ｙを生成する場合の例を示す。
ただし、元々画像Ａ色信号Ｏ（Ｘとは異なる）を持っており、生成される色信号Ｙは、色信号Ｏの近似された信号とする。
そして、生成される色信号Ｙと色信号Ｏの差（劣化の度合い）を最小化するように、閾値を求める場合の例を示す。【００５３】
図５に装置概要を示す。本実施例における画像生成装置は、
・予め設定した範囲で閾値を設定する閾値設定部３０８と、
・閾値設定部３０８で設定された閾値を使い、画像Ａ色信号Ｘの各画素位置と画像Ｂ色信号Ｘ中の対応点の有無および対応点位置を推定する対応点推定部３０１と、
・対応点推定部３０１で対応点があると推定された、画像Ａ中の画素位置における色信号Ｙに、画像Ｂ色信号Ｙ中の対応位置の画像情報を設定する対応画像設定部３０２と、
・対応点推定部３０１で対応点がないと推定された、画像Ａ中の画素位置における色信号Ｙを、対応画像設定部３０２で設定された色信号Ｙの画像情報から作成する画像補間部３０３と、
・画像Ａ色信号Ｏと、対応画像設定部３０２および画像補間部３０３で設定・生成された画像Ａ色信号Ｙとの差分を求める差分作成部３０６と、
・差分作成部３０６で得られる差分の合計を算出する生成差分合計部３０７と、
・生成差分合計部３０７で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部３０９と
を備える。【００５４】
閾値設定部３０８では、閾値として１０から５０まで１０ずつ閾値を増加させるものとする。【００５５】
以上を前提として、図５に示す画像生成装置は次のように動作する。図６に、そのフローチャートを示す。【００５６】
まず、閾値設定部３０８では、閾値を１０に設定する（ステップＳ３０）。
そして、対応点推定部３０１は、設定された閾値を使い、画像Ａ色信号Ｘと画像Ｂ色信号Ｘの対応点の有無と位置を推定する（ステップＳ３１）。
対応画像設定部３０２は、対応点推定部３０１で対応点があると推定された位置における画像Ｂ色信号Ｙの画像情報を画像Ａ色信号Ｙへ設定する（ステップＳ３２）。
画像補間部３０３は、対応点推定部３０１で対応点がないと推定された位置について、対応画像設定部３０２で既に設定された画像情報から補間して画像Ａ色信号Ｙの画像情報を作成する（ステップＳ３３）。【００５７】
差分作成部３０６は、画像Ａ色信号Ｏと画像Ａ色信号Ｙにおける差分を作成する（ステップＳ３４）。
生成差分合計部３０７は、差分の合計を求める（ステップＳ３５）。
以上の閾値設定部３０８から生成差分合計部３０７の処理を、閾値を１０ずつ増やしながら５０まで繰り返し実行する（ステップＳ３６、Ｓ３７）。
続いて、閾値決定部３０９は、生成差分合計部３０７で得られる値が最小となる場合の閾値を決定する（ステップＳ３８）。【００５８】
以上の実施例では、複数のカメラ入力映像に対する処理を説明したが、本願発明による方法はこのような多視点画像だけではなく、単眼の動画像にも適用できる。すなわち、動画像中の各フレームの色成分が異なる場合に、他のフレームの画像の色信号を利用して、所望の画像の色信号を生成することができる。【００５９】
以上の画像生成の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００６０】
本発明によれば、異なる色信号で撮影されたカメラ位置の画像情報に対して、別の色信号で撮影されたカメラ位置の画像情報を利用して、所望の画像情報の色信号を生成することができる。これにより、主観品質の劣化を低減することができる。
【図１】
2009051064.tif 000003
【図２】
2009051064.tif 000004
【図３】
2009051064.tif 000005
【図４】
2009051064.tif 000006
【図５】
2009051064.tif 000007
【図６】
2009051064.tif 000008
【図７】
2009051064.tif 000009
【図８】
2009051064.tif 000010
【図９】
2009051064.tif 000011
【図１０】
2009051064.tif 000012
【図１１】
2009051064.tif 000013
【国際調査報告】
2009051064.tif 000014
2009051064.tif 000015