(57)【特許請求の範囲】
【請求項１】
入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、
３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、
前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、
前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、
前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える
画像処理装置。
【請求項２】
前記空白領域検出部は、互いに隣接する空白画素の集合が１つの空白領域となるように、複数の前記空白領域を検出し、
前記出力部は、複数の前記空白領域の各々の空白値のうちの最大の空白値が前記閾値以下である場合に、前記変換画像を出力する
請求項１に記載の画像処理装置。
【請求項３】
前記空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値である
請求項１または２に記載の画像処理装置。
【請求項４】
前記空白値は、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値である
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
さらに、前記空白領域近傍の画素の画素値に基づいて、前記空白領域の画素の画素値を補完する補完部を備え、
前記出力部は、前記空白値が前記閾値以下である場合に、前記空白領域の画素の画素値が補完された前記変換画像を出力する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記パラメータ入力部は、前記入力画像に対する視点位置の変更指示を前記変換パラメータの入力としてユーザから受け付け、
前記変換画像生成部は、前記変換パラメータによって特定される視点位置に基づいて射影変換を行うことにより、前記変換画像を生成する
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力する
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記出力部は、前記空白値が前記閾値より大きい場合に、前記変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、前記他の変換パラメータの入力を要求するための情報として出力する
請求項７に記載の画像処理装置。
【請求項９】
前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、前に出力された変換画像を出力する
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、
前記空白値が前記閾値より大きい場合に、前記入力画像に対応する変換パラメータと、前記パラメータ入力部によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出するパラメータ算出部を備え、
前記変換画像生成部は、さらに、算出された前記補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項１１】
前記パラメータ算出部は、前記空白値が前記閾値以下になるまで、前記補間変換パラメータが、前記パラメータ入力部によって受け付けられた変換パラメータから前記入力画像に対応する変換パラメータへ徐々に近付くように、前記補間変換パラメータを順に算出し、
前記変換画像生成部は、前記補間変換パラメータに基づいて、前記変換画像を順に生成し、
前記出力部は、前記変換画像を順に出力する
請求項１０に記載の画像処理装置。
【請求項１２】
前記出力部は、さらに、前記空白値と前記閾値との関係を示す情報を出力する
請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像処理装置は、集積回路として構成されている
請求項１〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力ステップと、
３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力ステップと、
前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成ステップと、
前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出ステップと、
前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力ステップとを含む
画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ユーザが、デジタルスチルカメラあるいはデジタルビデオカメラなどで撮影された画像を編集することが多くなっている。例えば、ユーザは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を介して入力画像内の一部領域を指定して、その一部領域に写っている被写体の像を拡大する。このような場合、被写体の像は、単に拡大または縮小されるだけであり、カメラを被写体に近づけて撮影されたような像を得ることはできない。【０００３】
また、複数の方向から被写体を撮影した入力画像を合成して３次元モデルを生成し、生成した３次元モデルにおいて、任意の視点位置から射影変換を行うことにより、被写体像を生成する方法が提案されている（例えば、特許文献１を参照）。このような方法によって、例えば、カメラを被写体に近づけて撮影したような被写体像、あるいは実際のカメラとは異なる方向から撮影したような被写体像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９０９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方法では、変換画像の画質が大きく劣化する場合がある。【０００６】
そこで、本発明の目的は、上記課題を鑑みてなされたものであり、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する場合に、変換画像の画質の劣化を抑制することができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える。【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本発明の一態様によれば、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する場合に、変換画像の画質の劣化を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画像処理装置の処理動作を示すフローチャートである。
【図３】図３は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。
【図４】図４は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。
【図５】図５は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。
【図６】図６は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。
【図７】図７は、実施の形態２に係る画像処理装置の処理動作を示すフローチャートである。
【図８】図８は、実施の形態３に係る画像処理装置の機能構成を示すブロック図である。
【図９】図９は、実施の形態３に係る画像処理装置の処理動作を示すフローチャートである。
【図１０Ａ】図１０Ａは、入力画像の一例を示す図である。
【図１０Ｂ】図１０Ｂは、深度データの一例を示す図である。
【図１１】図１１は、初期状態におけるＧＵＩの一例を示す図である。
【図１２】図１２は、入力変換パラメータに基づいて生成された変換画像を表示するＧＵＩの一例を示す図である。
【図１３】図１３は、補間変換パラメータに基づいて生成された変換画像（空白値＞閾値）を表示するＧＵＩの一例を示す図である。
【図１４】図１４は、補間変換パラメータに基づいて生成された変換画像（空白値＝閾値）を表示するＧＵＩの一例を示す図である。
【図１５】図１５は、空白領域が補完して得られた変換画像の一例を示す図である。
【図１６】図１６は、実施の形態１〜３の変形例に係る表示装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
（本発明の概要）
従来の方法では、変換画像の画質が大きく劣化する場合がある。例えば、射影変換により生成された変換画像内に、入力画像に対応する像が存在しない空白領域が発生する場合があり、このような場合に変換画像の画質が大きく劣化してしまう。
【００１２】
そこで、本発明の一態様に係る画像処理装置は、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える。
【００１３】
本構成によれば、変換画像において検出された空白領域の大きさに応じて、その変換画像を出力するか否かを切り替えることができる。したがって、空白領域が大きいために画質が大きく劣化した変換画像が出力されることを抑制することができる。さらに、このように空白領域が大きい場合に、例えば、他の変換パラメータに基づいて射影変換を行えば、空白領域を小さくすることも可能となり、変換画像の画質の劣化を抑制することができる。
【００１４】
例えば、前記空白領域検出部は、互いに隣接する空白画素の集合が１つの空白領域となるように、複数の前記空白領域を検出し、前記出力部は、複数の前記空白領域の各々の空白値のうちの最大の空白値が前記閾値以下である場合に、前記変換画像を出力してもよい。
【００１５】
一般的に、多くの小さな空白領域が離散的に存在する場合よりも、少しの大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きい。そこで、本構成によれば、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に変換画像を出力することができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【００１６】
例えば、前記空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
【００１７】
一般的に、画像の縁部に存在する空白領域よりも、画像の中心に存在する空白領域の方が画質の劣化に与える影響が大きい。そこで、本構成によれば、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いて、変換画像を出力するか否かを切り替えることができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【００１８】
例えば、前記空白値は、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
【００１９】
一般的に、同じ面積であれば縦横比が小さい（つまり縦幅と横幅とが近い）空白領域ほど、画質の劣化に与える影響が大きい。そこで、本構成によれば、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いて、変換画像を出力するか否かを切り替えることができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【００２０】
例えば、さらに、前記空白領域近傍の画素の画素値に基づいて、前記空白領域の画素の画素値を補完する補完部を備え、前記出力部は、前記空白値が前記閾値以下である場合に、前記空白領域の画素の画素値が補完された前記変換画像を出力してもよい。
【００２１】
この構成によれば、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完することができる。したがって、空白領域による画質の劣化を抑制することが可能となる。
【００２２】
例えば、前記パラメータ入力部は、前記入力画像に対する視点位置の変更指示を前記変換パラメータの入力としてユーザから受け付け、前記変換画像生成部は、前記変換パラメータによって特定される視点位置に基づいて射影変換を行うことにより、前記変換画像を生成してもよい。
【００２３】
この構成によれば、ユーザから受け付けられた、入力画像に対する視点位置の変更指示に基づいて、射影変換を行うことができる。
【００２４】
例えば、前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力してもよい。
【００２５】
この構成によれば、変換画像の画質の劣化が大きい場合に他の変換パラメータの入力を要求することが可能となる。その結果、他の変換パラメータに基づいて変換画像を生成することも可能となり、空白領域による画質の劣化が抑制された変換画像を生成することが可能となる。
【００２６】
例えば、前記出力部は、前記空白値が前記閾値より大きい場合に、前記変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、前記他の変換パラメータの入力を要求するための情報として出力してもよい。
【００２７】
この構成によれば、変換画像の画質の劣化が大きい場合に変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示することが可能となる。したがって、ユーザに変換パラメータの初期化を促すことができ、変換画像の画質の劣化を抑制することができる。また、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることも可能となる。
【００２８】
例えば、前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、前に出力された変換画像を出力してもよい。
【００２９】
この構成によれば、変換画像の画質の劣化が大きい場合に前に出力された変換画像を出力することができ、画質が劣化した変換画像が出力されることを防止することができる。
【００３０】
例えば、前記画像処理装置は、さらに、前記空白値が前記閾値より大きい場合に、前記入力画像に対応する変換パラメータと、前記パラメータ入力部によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出するパラメータ算出部を備え、前記変換画像生成部は、さらに、算出された前記補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成してもよい。
【００３１】
この構成によれば、変換画像の画質の劣化が大きい場合に、受け付けられた変換パラメータよりも入力画像に対応する変換パラメータに近い補間変換パラメータを自動的に算出することができる。したがって、変換画像の画質の劣化を抑制することが可能となる。
【００３２】
例えば、前記パラメータ算出部は、前記空白値が前記閾値以下になるまで、前記補間変換パラメータが、前記パラメータ入力部によって受け付けられた変換パラメータから前記入力画像に対応する変換パラメータへ徐々に近付くように、前記補間変換パラメータを順に算出し、前記変換画像生成部は、前記補間変換パラメータに基づいて、前記変換画像を順に生成し、前記出力部は、前記変換画像を順に出力してもよい。
【００３３】
この構成によれば、補間変換パラメータが徐々に入力画像に対応する変換パラメータに近付くように、補間変換パラメータを算出することができる。したがって、変換画像が予め定められた画質を満たすような変換パラメータを自動的に算出することが可能となる。つまり、変換画像の画質の劣化を抑制することができる。
【００３４】
さらに、この構成によれば、そのように算出された補間変換パラメータに基づいて生成された変換画像を順に出力することができる。したがって、変換画像の画質が向上していく様子をアニメーションのようにユーザに提示することが可能となる。
【００３５】
例えば、前記出力部は、さらに、前記空白値と前記閾値との関係を示す情報を出力してもよい。
【００３６】
この構成によれば、画質の劣化度合いをユーザに提示することができる。したがって、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【００３７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３８】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００３９】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４０】
（実施の形態１）
図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。この画像処理装置１００は、データ入力部１０１と、パラメータ入力部１０２と、変換画像生成部１０３と、空白領域検出部１０４と、出力部１０５とを備える。
【００４１】
データ入力部１０１は、入力画像１２１と、深度データ１２２と、撮影パラメータ１２３との入力を受け付ける。以下において、入力画像１２１と深度データ１２２と撮影パラメータ１２３との組み合わせを入力データという。
【００４２】
具体的には、データ入力部１０１は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）あるいはフラッシュメモリなどの記憶装置から入力データを読み出す。また例えば、データ入力部１０１は、ネットワークを介して接続された外部装置から入力データを取得する。
【００４３】
なお、深度データ１２２とは、入力画像の深度を示すデータである。入力画像がカメラによって撮影された画像である場合、深度とは、そのカメラから被写体までの距離を示す。具体的には、深度データ１２２は、例えば、入力画像を構成する各画素の深度値を含む。
【００４４】
撮影パラメータ１２３は、入力画像の撮影条件を示すパラメータである。本実施の形態では、撮影パラメータは、画角、深度の前端距離、および深度の後端距離を含む。なお、撮影パラメータ１２３は、必ずしも画角、深度の前端距離、および深度の後端距離を含む必要はない。例えば、深度データ１２２に含まれる深度値が正規化された値であれば、撮影パラメータ１２３は、深度の前端距離および深度の後端距離を含まなくてもよい。
【００４５】
パラメータ入力部１０２は、３次元モデルの射影変換に関するパラメータである変換パラメータ１２４の入力を受け付ける。例えば、パラメータ入力部１０２は、入力画像１２１に対する視点位置の変更指示を変換パラメータの入力としてユーザから受け付ける。
【００４６】
なお、変換パラメータ１２４は、必ずしも視点位置の変更指示である必要はない。例えば、変換パラメータは、射影変換の種類（例えば、透視射影あるいは正射影など）を示す情報であってもよい。また例えば、変換パラメータ１２４は、画角を示す情報であってもよい。
【００４７】
変換画像生成部１０３は、入力画像１２１と深度データ１２２と撮影パラメータ１２３とから得られる３次元モデルにおいて、変換パラメータ１２４に基づく射影変換を行うことにより、変換画像１３１を生成する。この変換画像生成部１０３の詳細については、他の図面を用いて後述する。
【００４８】
空白領域検出部１０４は、変換画像１３１において、空白画素の集合である空白領域を検出する。本実施の形態では、空白領域検出部１０４は、互いに隣接する空白画素の集合が１つの空白領域となるように、空白領域を検出する。
【００４９】
ここで、空白画素とは、変換画像内の画素であって入力画像内に対応する画素が存在しない画素である。つまり、空白画素とは、入力画像に写っていない画像に対応する位置の画素である。言い換えると、空白画素とは、画素値を有しない画素、または画素値が初期値のままである画素である。
【００５０】
なお、空白領域検出部１０４は、必ずしも互いに隣接する空白画素の集合を１つの空白領域として検出する必要はない。例えば、空白領域検出部１０４は、所定の範囲内に離散的に存在する（互いに隣接していない）空白画素の集合を１つの空白領域として検出してもよい。
【００５１】
出力部１０５は、空白領域の大きさを示す空白値が閾値以下である場合に、変換画像１３１を出力する。本実施の形態では、出力部１０５は、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に、変換画像１３１を出力する。
【００５２】
ここでは、空白値として、変換画像１３１の画素数に対する空白領域の画素数の比が用いられる。なお、空白値は、必ずしもこのような値である必要はない。例えば、空白値は、空白領域の画素数あるいは面積であってもよい。また例えば、空白値は、空白領域の横幅および縦幅の少なくとも一方であってもよい。
【００５３】
次に、以上のように構成された画像処理装置１００における各種動作を説明する。
【００５４】
図２は、実施の形態１に係る画像処理装置１００の処理動作を示すフローチャートである。以下では、ユーザから視点位置の変更指示が入力される場合について説明する。
【００５５】
まず、データ入力部１０１は、入力データの入力を受け付ける（Ｓ１０１）。続いて、パラメータ入力部１０２は、ユーザから視点位置の変更指示（変換パラメータ）の入力を受け付ける（Ｓ１０２）。具体的には、パラメータ入力部１０２は、例えば、画面に表示された入力画像に対して入力された視点位置の変更指示を取得する。この場合、ユーザは、例えば、マウスなどの入力手段を介して画面上の位置を指示することにより、視点位置の変更指示を入力する。
【００５６】
変換画像生成部１０３は、入力画像と深度データと撮影パラメータとから得られる３次元モデルにおいて、変更指示に従って視点位置を変更させて射影変換を行うことにより、変換画像を生成する（Ｓ１０３）。この変換画像を生成する処理については後述する。
【００５７】
続いて、空白領域検出部１０４は、変換画像において空白領域を検出する（Ｓ１０４）。ここでは、空白領域検出部１０４は、互いに隣接する空白画素の集合を１つの空白領域として検出する。
【００５８】
空白領域検出部１０４は、空白値が閾値以下であるか否か判定する（Ｓ１０５）。具体的には、空白領域検出部１０４は、複数の空白領域が検出された場合には、空白値の最大値が閾値以下であるか否かを判定する。この閾値は、変換画像の画質が空白領域によって劣化する度合いに応じて、実験的あるいは経験的に設定されればよい。
【００５９】
ここで、空白値が閾値以下である場合（Ｓ１０５のＹｅｓ）、出力部１０５は、変換画像を出力し（Ｓ１０６）、処理を終了する。その結果、例えば、視点位置の変更指示に応じて変換された変換画像が画面に表示される。
【００６０】
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、画像処理装置１００は、変換画像を出力せず、そのまま処理を終了する。その結果、例えば、入力画像がそのまま画面に表示される。つまり、ユーザによる視点位置の変更が制限される。
【００６１】
以上のように、画像処理装置１００は、空白領域の大きさに応じて、変換画像を出力するか否かを切り替えることができ、ユーザによる画像編集を制限することが可能となる。
【００６２】
次に、変換画像生成部１０３による変換画像を生成する処理について図３〜５を参照しながら詳細に説明する。ここでは、変換パラメータとして、視点位置の変更指示が入力された場合について説明する。
【００６３】
図３〜５は、実施の形態１に係る変換画像生成部１０３による処理の一例を説明するための図である。なお、図３〜５において、Ｘ軸方向およびＹ軸方向は、水平方向および垂直方向を示し、Ｚ軸方向は、深度方向（奥行き方向）を示す。
【００６４】
まず、図３に示すように、変換画像生成部１０３は、スクリーン座標系で表わされた入力画像１２１（図３の（ａ））と深度データ１２２とを用いて、射影座標系で表わされた３次元モデルを生成する（図３の（ｂ））。つまり、変換画像生成部１０３は、入力画像１２１と深度データ１２２とを用いて、射影座標系における画素の位置を示すベクトルＶｐ（ｘ，ｙ，ｚ）を画素ごとに算出する。
【００６５】
スクリーン座標系とは、表示画面に対応する２次元の座標系である。射影座標系とは、クリップ座標系あるいはデバイス座標系とも呼ばれ、カメラ座標系において射影変換を行うことにより得られる３次元の座標系である。カメラ座標系とは、ビュー座標系とも呼ばれ、視点（カメラ）位置および視線方向によって定義される３次元の座標系である。本実施の形態では、カメラ座標系において、視点位置は原点と一致し、視線方向はＺ軸方向（深度方向）と一致する。
【００６６】
続いて、変換画像生成部１０３は、撮影パラメータを用いて、３次元モデルを射影座標系からカメラ座標系に変換する（図３の（ｃ））。具体的には、変換画像生成部１０３は、式（１）〜（３）に示すように、射影座標系における各画素の位置を示すベクトルＶｐを、カメラ座標系における各画素の位置を示すベクトルＶｃへ変換する。なお、以下の式（１）〜（３）において、ベクトルＶｐおよびＶｃは、同次座標で表わされている。
【００６７】
【数１】
0005927541.tif 000002
【００６８】
ここで、ｘ’、ｙ’、ｚ’、およびｗ’は、以下の式（２）によって計算される。
【００６９】
【数２】
0005927541.tif 000003
【００７０】
ここで、行列Ｍｐｃは、射影行列Ｍｃｐの逆行列である。射影行列Ｍｃｐは、深度の前端距離ｚｎ、深度の後端距離ｚｆ、画角ｆｏｖＹ、およびアスペクト比Ａｓｐｅｃｔを用いて、以下の式（３）のように表わされる。
【００７１】
【数３】
0005927541.tif 000004
【００７２】
次に、図４に示すように、変換画像生成部１０３は、視点位置の変更指示に従って、カメラ座標系において３次元モデルの視点位置を変更する（図４の（ａ）および（ｂ））。具体的には、変換画像生成部１０３は、カメラ座標系における各画素の位置を示すベクトルＶｃを視点位置の移動方向と逆方向に移動させることにより、視点位置変更後の各画素の位置を示すベクトルＶｃ’を算出する。
【００７３】
続いて、変換画像生成部１０３は、視点位置が変更された３次元モデルを、カメラ座標系から射影座標系に変換する（図４の（ｃ））。具体的には、変換画像生成部１０３は、カメラ座標系における視点位置変更後の各画素の位置を示すベクトルＶｃ’を射影座標系における各画素の位置を示すベクトルＶｐ’に変換する。つまり、変換画像生成部１０３は、以下の式（４）に示すように射影変換を行うことにより、ベクトルＶｐ’を算出する。
【００７４】
【数４】
0005927541.tif 000005
【００７５】
本実施の形態では、式（４）に示す射影行列Ｍｃｐは、式（３）に示す射影行列Ｍｃｐと同一である。なお、ここで用いられる射影行列Ｍｃｐは、必ずしもこのような射影行列である必要はない。射影行列は、例えば、正射影行列であってもよいし、回転あるいは反転を伴う射影行列であってもよい。つまり、変換パラメータに射影行列を示す情報が含まれる場合は、変換パラメータが示す射影行列が用いられればよい。
【００７６】
最後に、図５に示すように、変換画像生成部１０３は、射影座標系で表わされた３次元モデルからスクリーン座標系で表わされた変換画像１３１を生成する（図５の（ａ）および（ｂ））。図５の（ｂ）に示すように、変換画像１３１内には空白領域１３２が存在する。この空白領域１３２は、入力画像内に対応する画素が存在しない空白画素の集合である。このような空白領域１３２の大きさを示す空白値（例えば画素数）を用いて、変換画像１３１を出力するか否かが決定される。
【００７７】
以上のように、本実施の形態に係る画像処理装置１００によれば、変換画像において検出された空白領域の大きさに応じて、その変換画像を出力するか否かを切り替えることができる。したがって、空白領域が大きいために画質が大きく劣化した変換画像が出力されることを抑制することができる。さらに、このように空白領域が大きい場合に、例えば、他の変換パラメータに基づいて射影変換を行えば、空白領域を小さくすることも可能となり、変換画像の画質の劣化を抑制することができる。
【００７８】
また一般的に、多数の小さな空白領域が離散的に存在する場合よりも、少数の大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きい。そこで、本実施の形態に係る画像処理装置１００によれば、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に変換画像を出力することができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【００７９】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態に係る画像処理装置は、変換画像内の空白領域を構成する画素の画素値を補完し、補完後の変換画像を出力する点が、実施の形態１に係る画像処理装置と主として異なる。
【００８０】
図６は、実施の形態２に係る画像処理装置１１０の機能構成を示すブロック図である。なお、図６において、図１と同様の構成部については、同一の符号を付し、説明を適宜省略する。
【００８１】
図６に示すように、本実施の形態に係る画像処理装置１１０は、さらに、補完部１１１を備える。
【００８２】
補完部１１１は、空白領域近傍の画素値に基づいて、空白領域の画素の画素値を補完する。具体的には、補完部１１１は、例えば、空白領域の画素の画素値として、空白領域に隣接する画素の画素値を設定する。また例えば、補完部１１１は、空白領域近傍の画素の画素値を用いて、空白領域の画素の画素値を内挿してもよい。
【００８３】
出力部１０５は、空白値が閾値以下である場合に、補完部１１１によって空白領域の画素の画素値が補完された変換画像を出力する。
【００８４】
次に、以上のように構成された画像処理装置１１０における各種動作について説明する。
【００８５】
図７は、実施の形態２に係る画像処理装置１１０の処理動作を示すフローチャートである。なお、図７において、図２と同様の処理が行われるステップには、同一の符号を付し、適宜説明を省略する。
【００８６】
実施の形態１と同様に、画像処理装置１１０は、ステップＳ１０１〜Ｓ１０５の処理を実行する。ここで、空白値が閾値以下の場合（Ｓ１０５のＹｅｓ）、補完部１１１は、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完する（Ｓ１１１）。続いて、出力部１０５は、空白領域の画素の画素値が補完された変換画像を出力する（Ｓ１１２）。
【００８７】
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、画像処理装置１１０は、そのまま処理を終了する。つまり、変換画像は出力されない。
【００８８】
以上のように、本実施の形態に係る画像処理装置１１０によれば、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完することができる。したがって、画像処理装置１１０は、空白領域による画質の劣化を抑制することが可能となる。
【００８９】
（実施の形態３）
実施の形態３に係る画像処理装置は、空白値が閾値より大きい場合に他の変換パラメータを自動的に生成する。そして、実施の形態３に係る画像処理装置は、新たに生成された他の変換パラメータに基づいて新たに変換画像を生成する。以下に、本実施の形態に係る画像処理装置について図面を参照しながら具体的に説明する。
【００９０】
図８は、実施の形態３に係る画像処理装置１１５の機能構成を示すブロック図である。なお、図８において、図１と同様の構成部については、同一の符号を付し、説明を適宜省略する。
【００９１】
図８に示すように、画像処理装置１１５は、データ入力部１０１と、パラメータ入力部１０２と、空白領域検出部１０４と、パラメータ算出部１１６と、変換画像生成部１１７と、出力部１１８とを備える。
【００９２】
パラメータ算出部１１６は、空白値が閾値より大きい場合に、入力画像に対応する変換パラメータと、パラメータ入力部１０２によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出する。例えば、パラメータ算出部１１６は、線形補間により補間変換パラメータを算出する。
【００９３】
ここで、入力画像に対応する変換パラメータとは、入力画像と深度データと撮影パラメータとから得られる３次元モデルにおいて射影変換を行うことによって入力画像を得るための変換パラメータである。以下において、この入力画像に対応する変換パラメータを初期変換パラメータという。また、パラメータ入力部１０２によって受け付けられた変換パラメータを入力変換パラメータという。
【００９４】
変換画像生成部１１７は、実施の形態１の変換画像生成部１０３と同様に、入力変換パラメータに基づく射影変換を行うことにより、変換画像を生成する。さらに、変換画像生成部１１７は、パラメータ算出部１１６によって補間変換パラメータが算出された場合、算出された補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する。
【００９５】
出力部１１８は、空白値が閾値以下であるか否かに関わらず、変換画像生成部１１７によって生成された変換画像を出力する。さらに、出力部１１８は、空白値と閾値との関係を示す情報を出力する。例えば、出力部１１８は、閾値に対する空白値の比あるいは閾値と空白値との差を示す情報を出力する。
【００９６】
次に、以上のように構成された画像処理装置１１５の各種動作を説明する。
【００９７】
図９は、実施の形態３に係る画像処理装置１１５の処理動作を示すフローチャートである。なお、図９において、図２と同様の処理が行われるステップには、同一の符号を付し、適宜説明を省略する。
【００９８】
変換画像生成部１１７は、ステップＳ１０２で受け付けられた変換パラメータ（入力変換パラメータ）に基づく射影変換を行うことにより、変換画像を生成する（Ｓ１１６）。出力部１１８は、生成された変換画像を出力する（Ｓ１１７）。
【００９９】
続いて、空白領域検出部１０４は、変換画像において空白領域を検出する（Ｓ１０４）。そして、空白領域検出部１０４は、検出された空白領域の大きさを示す空白値が閾値以下であるか否か判定する（Ｓ１０５）。ここで、空白値が閾値以下である場合（Ｓ１０５のＹｅｓ）、処理を終了する。
【０１００】
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、パラメータ算出部１１６は、補間変換パラメータを算出する（Ｓ１１８）。ここでは、パラメータ算出部１１６は、補間変換パラメータが入力変換パラメータから初期変換パラメータへ徐々に近付くように、補間変換パラメータを算出する。つまり、既に補間変換パラメータが算出されている場合に、パラメータ算出部１１６は、既に算出された補間変換パラメータよりも初期変換パラメータに近い補間変換パラメータを算出する。
【０１０１】
続いて、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する（Ｓ１０３）。そして、再び、ステップＳ１１７、Ｓ１０４、およびＳ１０５の処理が行われる。
【０１０２】
以上のように、パラメータ算出部１１６は、空白値が閾値以下になるまで、補間変換パラメータが入力変換パラメータから初期変換パラメータへ徐々に近付くように、補間変換パラメータを順に算出する。また、変換画像生成部１１７は、補間変換パラメータに基づいて、変換画像を順に生成する。また、出力部１１８は、変換画像を順に出力する。
【０１０３】
次に、以上のような画像処理において用いられるＧＵＩの具体例について説明する。以下では、図１０Ａおよび図１０Ｂに示すような入力画像１２１および深度データ１２２をデータ入力部１０１が受け付ける場合について説明する。
【０１０４】
図１１は、初期状態におけるＧＵＩ３００の一例を示す図である。初期状態では、入力画像１２１が表示される。また、ユーザは、このＧＵＩ３００を介して、変換パラメータ（ここでは、視点位置および画角）を指示することができる。図１１に示すように、ＧＵＩ３００は、オブジェクト３０１〜３０５を有する。
【０１０５】
オブジェクト３０１は、Ｘ軸方向（水平方向）、Ｙ軸方向（垂直方向）、およびＺ軸方向（深度方向）の各々における視点位置を示す値を表示および入力するためのテキストボックス３０１ｘ、３０１ｙ、３０１ｚを有する。ここでは、視点位置を示す値として、入力画像に対応する視点位置からの変化量が用いられている。ユーザは、このテキストボックス３０１ｘ〜３０１ｚに値を入力することにより、現在表示されている画像（ここでは入力画像１２１）の視点位置を変化させることができる。
【０１０６】
オブジェクト３０２は、視点位置を変化させるためのボタン３０２ｘ〜３０２ｚを有する。ボタン３０２ｘは、Ｘ軸方向の正または負の向きに視点位置を変化させるためのボタンである。また、ボタン３０２ｙは、Ｙ軸方向の正または負の向きに視点位置を変化させるためのボタンである。また、ボタン３０２ｚは、Ｚ軸方向の正または負の向きに視点位置が変化させるためのボタンである。ユーザは、これらのボタン３０２ｘ〜３０２ｚを押下することにより、現在表示されている画像の視点位置を変化させることができる。
【０１０７】
オブジェクト３０３は、画角を示す値を表示および入力するためのテキストボックスを有する。ユーザは、このテキストボックスに値を入力することにより、現在表示されている画像の画角を変化させることができる。
【０１０８】
オブジェクト３０４は、画角を変化させるためのスライドバーを有する。ユーザは、このスライドバーを左右に動かすことにより、現在表示されている画像の画角を変化させることができる。
【０１０９】
オブジェクト３０５は、空白値と閾値との関係を示す情報を表示するためのテキストと画像とを有する。ここでは、空白値と閾値との関係を示す情報として、閾値に対する空白値の比が用いられている。閾値に対する空白値の比の大きさに応じて、ハッチングされた領域が増減する。
【０１１０】
ここで、Ｘ軸方向の視点位置の変化量として「３０」が入力されたときのＧＵＩの変化を図１２〜図１４を用いて説明する。図１２は、入力変換パラメータに基づいて生成された変換画像１３１ａを表示するＧＵＩの一例を示す図である。図１３は、補間変換パラメータに基づいて生成された変換画像１３１ｂ（空白値＞閾値）を表示するＧＵＩの一例を示す図である。図１４は、補間変換パラメータに基づいて生成された変換画像１３１ｃ（空白値＝閾値）を表示するＧＵＩの一例を示す図である。ここでは空白領域は、黒塗りで表現されている。
【０１１１】
Ｘ軸方向の視点位置の変化量として「３０」が入力された場合、まず、以下の処理が行われる。
【０１１２】
まず、パラメータ入力部１０２は、Ｘ軸方向の視点位置の変化量として「３０」を示す変換パラメータの入力を受け付ける。そして、変換画像生成部１１７は、受け付けられた変換パラメータに基づく射影変換を行うことにより、変換画像１３１ａを生成する。出力部１１８は、生成された変換画像１３１ａを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ａから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１３０％」を出力する。
【０１１３】
その結果、図１２に示すように、変換画像１３１ａが表示され、オブジェクト３０５が更新される。ここでは、空白値は閾値より大きいので、さらに以下の処理が行われる。
【０１１４】
まず、パラメータ算出部１１６は、初期変換パラメータと入力変換パラメータとの間を補間することにより、補間変換パラメータを算出する。ここでは、パラメータ算出部１１６は、入力変換パラメータによって示される視点位置と初期変換パラメータによって示される視点位置との間を線形補間することにより、Ｘ軸方向の視点位置の変化量として「２５」を示す補間変換パラメータを算出する。そして、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、変換画像１３１ｂを生成する。出力部１１８は、生成された変換画像１３１ｂを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ｂから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１１０％」を出力する。
【０１１５】
その結果、図１３に示すように、変換画像１３１ｂが表示され、オブジェクト３０１とオブジェクト３０５とが更新される。ここでも、まだ空白値は閾値より大きいので、さらに以下の処理が行われる。
【０１１６】
まず、パラメータ算出部１１６は、初期変換パラメータと入力変換パラメータとの間を補間することにより、補間変換パラメータを算出する。具体的には、パラメータ算出部１１６は、前に算出された補間変換パラメータよりも入力変換パラメータに近い補間変換パラメータを算出する。ここでは、パラメータ算出部１１６は、Ｘ軸方向の視点位置の変化量として「２０」を示す補間変換パラメータを算出する。そして、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、変換画像１３１ｃを生成する。出力部１１８は、生成された変換画像１３１ｃを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ｃから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１００％」を出力する。
【０１１７】
その結果、図１４に示すように、変換画像１３１ｃが表示され、オブジェクト３０１とオブジェクト３０５とが更新される。ここでは、空白値は閾値と一致しているので、処理は終了する。
【０１１８】
以上のように、本実施の形態に係る画像処理装置１１５によれば、変換画像の画質の劣化が大きい場合に、入力変換パラメータよりも初期変換パラメータに近い補間変換パラメータを自動的に算出することができる。したがって、画像処理装置１１５は、変換画像の画質の劣化を抑制することが可能となる。
【０１１９】
また、本実施の形態に係る画像処理装置１１５によれば、補間変換パラメータが徐々に初期変換パラメータに近付くように、補間変換パラメータを算出することができる。したがって、画像処理装置１１５は、変換画像が予め定められた画質を満たすような変換パラメータを自動的に算出することが可能となる。つまり、画像処理装置１１５は、変換画像の画質の劣化を抑制することができる。
【０１２０】
さらに、画像処理装置１１５は、そのように算出された補間変換パラメータに基づいて生成された変換画像を順に出力することができる。したがって、画像処理装置１１５は、変換画像の画質が向上していく様子をアニメーションのようにユーザに提示することが可能となる。
【０１２１】
また、本実施の形態に係る画像処理装置１１５によれば、画質の劣化度合いをユーザに提示することができる。したがって、画像処理装置１１５は、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【０１２２】
なお、本実施の形態では、空白領域の画素値は、初期値（黒）のままであったが、実施の形態２と同様に、空白領域近傍の画素値に基づいて補完されてもよい。この場合、例えば図１５に示すように、画像処理装置１１５は、変換画像１３１ｃ内の空白領域の画素の画素値を補完することにより、変換画像１３１ｄを生成する。さらに、画像処理装置１１５は、生成された変換画像１３１ｄを出力する。これにより、画像処理装置１１５は、空白領域による画質の劣化を抑制することができる。
【０１２３】
なお、パラメータ算出部１１６は、必ずしも上記のように補間によって変換パラメータを算出する必要はない。例えば、パラメータ入力部１０２は、一般的な探索アルゴリズムを用いて空白領域が小さくなるような他の変換パラメータを探索してもよい。その結果、空白値が閾値以下となる変換画像を自動的に探索することが可能となる。
【０１２４】
以上、本発明の一態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれる。
【０１２５】
例えば、上記各実施の形態において、空白値は、空白領域を構成する画素の数であったが、必ずしも空白値は画素数である必要はない。例えば、空白値は、空白領域の位置に応じて重み付けされた値であってもよい。具体的には、空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
【０１２６】
一般的に、画像の縁部に存在する空白領域よりも、画像の中心に存在する空白領域の方が画質の劣化に与える影響が大きい。そこで、上記のように、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いることにより、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【０１２７】
また、空白値は、空白領域の形状に応じて重み付けされた値であってもよい。具体的には、空白値は、空白領域の縦横比（アスペクト比）が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。つまり、空白値は、空白領域の中心から境界線までの距離の変動が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。すなわち、空白値は、空白領域の形状が円に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
【０１２８】
一般的に、同じ面積であれば縦横比が小さい（つまり縦幅と横幅とが近い）空白領域ほど、画質の劣化に与える影響が大きい。そこで、上記のように、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いることにより、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
【０１２９】
なお、上記実施の形態１および２において、空白値が閾値より大きい場合にそのまま処理が終了されていたが、出力部１０５は、以下のように処理してもよい。
【０１３０】
例えば、出力部１０５は、空白値が閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力してもよい。これにより、画像処理装置は、変換画像の画質の劣化が大きい場合に他の変換パラメータの入力を要求することが可能となる。その結果、画像処理装置は、他の変換パラメータに基づいて変換画像を生成することも可能となり、空白領域による画質の劣化が抑制された変換画像を生成することが可能となる。
【０１３１】
また例えば、出力部１０５は、空白値が閾値より大きい場合に、変換画像を出力できないことを示す情報を出力してもよい。これにより、例えばユーザは、入力した変換パラメータに基づく変換画像が出力されないことを認識することが可能となる。
【０１３２】
また例えば、出力部１０５は、空白値が閾値より大きい場合に、変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、他の変換パラメータの入力を要求するための情報として出力してもよい。
【０１３３】
ここで、変換パラメータの初期化とは、変換パラメータを入力画像に対応する変換パラメータにリセットすることを意味する。また、指示をユーザから受け付けるためのオブジェクトとは、例えば、リセットボタンなどのＧＵＩオブジェクトである。また、強調表示するための情報とは、例えば、オブジェクトの点滅を指示する情報、オブジェクトの色を誘目性が高い色に変更することを指示する情報、あるいはオブジェクトのサイズを大きくすることを指示する情報などである。
【０１３４】
このようにオブジェクトを強調表示するための情報が出力された場合、例えば図１２に示すＧＵＩおいて、変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクト（図示なし）が強調表示される。
【０１３５】
これにより、画像処理装置は、ユーザに変換パラメータの初期化を促すことができ、変換画像の画質の劣化を抑制することができる。また、画像処理装置は、ユーザの操作性を向上させることも可能となる。
【０１３６】
また例えば、出力部１０５は、空白値が閾値より大きい場合に、前に出力された変換画像を出力してもよい。具体的には、出力部１０５は、例えば図１２のようなケースにおいて、変換画像１３１ａの代わりに、空白値が閾値以下であったときに出力された変換画像を出力してもよい。これにより、画像処理装置は、画質が劣化した変換画像が出力されることを防止することができる。
【０１３７】
なお、上記各実施の形態に係る画像処理装置は、表示装置に備えられてもよい。図１６は、実施の形態１、２または３の変形例に係る表示装置２００の機能構成を示すブロック図である。
【０１３８】
表示装置２００は、例えばテレビ、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータあるいは携帯電話などである。図１６に示すように、表示装置２００は、画像処理装置１００、１１０または１１５と表示部２０１とを備える。ここでは、画像処理装置１００、１１０または１１５は、表示部２０１に変換画像を出力する。表示部２０１は、変換画像を画像処理装置１００、１１０または１１５から取得した場合に当該変換画像を画面に表示する。具体的には、表示部２０１は、例えば、図１１〜図１４に示すようなＧＵＩを表示する。
【０１３９】
なお、上記各実施の形態において、変換画像は、２次元画像であったが、３次元画像であってもよい。つまり、変換画像生成部は、３次元画像を生成してもよい。例えば、変換画像生成部は、左目用画像および右目用画像の一方として上記の変換画像を生成してもよい。この場合、変換画像生成部は、さらに、左目用画像および右目用画像の他方として、上記の変換画像と視点位置が異なる画像を生成してもよい。そして、表示部は、このように生成された左目用画像および右目用画像を３次元表示してもよい。
【０１４０】
なお、左目用画像および右目用画像が生成された場合、空白領域検出部は、左目用画像および右目用画像の両方において空白領域を検出してもよい。この場合、空白値は、左目用画像内の空白領域の大きさを示す値と、右目用画像内の空白領域の大きさを示す値との統計的な代表値（例えば、最大値あるいは平均値など）であってもよい。
【０１４１】
また、上記各実施の形態における画像処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１００は、データ入力部１０１とパラメータ入力部１０２と変換画像生成部１０３と空白領域検出部１０４と出力部１０５とを有するシステムＬＳＩから構成されてもよい。
【０１４２】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１４３】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４４】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１４５】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１４６】
すなわち、このプログラムは、コンピュータに、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力ステップと、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力ステップと、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成ステップと、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出ステップと、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力ステップとを実行させる。
【０１４７】
なお、図１０Ａ〜図１５に示す画像の原画像として、以下の論文内の画像を利用した。
【０１４８】
（１）D. Scharstein and C. Pal. Learning conditional random fields forstereo. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition
(CVPR 2007), Minneapolis, MN, June 2007.
（２）H. Hirschmuller and D. Scharstein. Evaluation of cost functions for stereo matching. In IEEE Computer Society Conference on Computer Vision and Pattern
Recognition (CVPR 2007), Minneapolis, MN, June 2007.
【産業上の利用可能性】
【０１４９】
深度データを用いて入力画像を変換することができる画像処理装置、あるいはそれを備えるテレビ、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータあるいは携帯電話などとして利用することができる。
【符号の説明】
【０１５０】
１００、１１０、１１５    画像処理装置
１０１    データ入力部
１０２    パラメータ入力部
１０３、１１７    変換画像生成部
１０４    空白領域検出部
１０５、１１８    出力部
１１１    補完部
１１６    パラメータ算出部
１２１    入力画像
１２２    深度データ
１２３    撮影パラメータ
１２４    変換パラメータ
１３１、１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ    変換画像
１３２  空白領域
２００    表示装置
２０１    表示部
３００    ＧＵＩ
３０１、３０２、３０３、３０４、３０５    オブジェクト
３０１ｘ、３０１ｙ、３０１ｚ    テキストボックス
３０２ｘ、３０２ｙ、３０２ｚ    ボタン
【図１】
0005927541.tif 000006
【図２】
0005927541.tif 000007
【図３】
0005927541.tif 000008
【図４】
0005927541.tif 000009
【図５】
0005927541.tif 000010
【図６】
0005927541.tif 000011
【図７】
0005927541.tif 000012
【図８】
0005927541.tif 000013
【図９】
0005927541.tif 000014
【図１０Ａ】
0005927541.tif 000015
【図１０Ｂ】
0005927541.tif 000016
【図１１】
0005927541.tif 000017
【図１２】
0005927541.tif 000018
【図１３】
0005927541.tif 000019
【図１４】
0005927541.tif 000020
【図１５】
0005927541.tif 000021
【図１６】
0005927541.tif 000022