(57)【要約】  ２次元映像を３次元映像に変換するための立体映像処理装置であって、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出部（３３，３４）と、検出部（３３，３４）によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部（３３，３４）によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する正規化部（４１）と、正規化部（４１）によって出力された画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する奥行き情報生成部（４４）とを備える。
2011135760.tif 000002
【特許請求の範囲】
【請求項１】
２次元映像を３次元映像に変換するための立体映像処理装置であって、
前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出部と、
前記検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出部によって検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化部と、
前記正規化部によって出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成部とを備える
立体映像処理装置。
【請求項２】
前記画像特徴量は、互いに異なる第１画像特徴量と第２画像特徴量とを含み、
前記検出部は、前記第１画像特徴量のばらつき度合いを表す第１の値と、前記第２画像特徴量のばらつき度合いを表す第２の値とを検出し、
前記正規化部は、
（ｉ）前記検出部によって検出された第１の値が第１閾値未満である場合、ばらつき度合いを表す第１の値が前記第１閾値に近づくように前記第１画像特徴量を正規化して出力し、前記検出部によって検出された第１の値が前記第１閾値以上である場合、前記第１画像特徴量を正規化せずに出力し、
（ｉｉ）前記検出部によって検出された第２の値が第２閾値未満である場合、ばらつき度合いを表す第２の値が前記第２閾値に近づくように前記第２画像特徴量を正規化して出力し、前記検出部によって検出された第２の値が前記第２閾値以上である場合、前記第２画像特徴量を正規化せずに出力し、
前記立体映像処理装置は、さらに、前記正規化部によって出力された第１画像特徴量と第２画像特徴量との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、
前記奥行き情報生成部は、前記合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成し、
前記合成部は、前記第１の値が前記第２の値より大きい場合は、前記正規化部によって出力された第１画像特徴量を大きく重み付け、前記第２の値が前記第１の値より大きい場合は、前記正規化部によって出力された第２画像特徴量を大きく重み付けるように、前記重み付け加算を行う
請求項１記載の立体映像処理装置。
【請求項３】
前記検出部は、前記第１画像特徴量の最大値と最小値との差分、又は、前記第１画像特徴量の分散値を、前記第１の値として検出し、前記第２画像特徴量の最大値と最小値との差分、又は、前記第２画像特徴量の分散値を、前記第２の値として検出する
請求項２記載の立体映像処理装置。
【請求項４】
前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、
前記検出部は、前記輝度情報の最大値と最小値との差分である輝度差分値、及び、前記彩度情報の最大値と最小値との差分である彩度差分値の少なくとも１つを、前記ばらつき度合いを表す値として検出する
請求項１記載の立体映像処理装置。
【請求項５】
前記正規化部は、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値未満である場合に、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値となるように、前記輝度情報及び彩度情報の少なくとも１つを正規化する
請求項４記載の立体映像処理装置。
【請求項６】
前記検出部は、
前記輝度情報を抽出する輝度抽出部と、
前記輝度抽出部によって抽出された輝度情報の最大値と最小値との差分を算出することで、前記輝度差分値を検出する輝度差分算出部とを備え、
前記正規化部は、
前記閾値を記憶している記憶部と、
前記輝度差分値と前記閾値とを比較することで、前記輝度情報の正規化を行うか否かを判定する輝度比較部と、
前記輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する輝度値積算部と、
前記輝度比較部によって輝度情報を正規化すると判定された場合に、前記輝度積算値を正規化し、正規化後の輝度積算値を出力し、前記輝度比較部によって輝度情報を正規化しないと判定された場合に、前記輝度積算値を正規化せずに出力する輝度値正規化部とを備え、
前記奥行き情報生成部は、
前記輝度値正規化部によって出力された輝度積算値に基づいて、前記奥行き情報を生成する
請求項４又は５記載の立体映像処理装置。
【請求項７】
前記検出部は、さらに、
前記彩度情報を抽出する彩度抽出部と、
前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、
前記正規化部は、さらに、
前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、
前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、
前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、
前記立体映像処理装置は、さらに、
前記輝度値正規化部によって出力された輝度積算値と、前記彩度値正規化部によって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、
前記奥行き情報生成部は、
前記合成部によって出力された合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成する
請求項６記載の立体映像処理装置。
【請求項８】
前記合成部は、前記輝度差分値が前記彩度差分値より大きい場合は、前記輝度値正規化部によって出力された輝度積算値を大きく重み付け、前記彩度差分値が前記輝度差分値より大きい場合は、前記彩度値正規化部によって出力された彩度積算値を大きく重み付けるように、前記重み付け加算を行う
請求項７記載の立体映像処理装置。
【請求項９】
前記立体映像処理装置は、さらに、
前記輝度値正規化部によって出力された輝度積算値に乗じるための輝度用係数と、前記彩度値正規化部によって出力された彩度積算値に乗じるための彩度用係数とを生成する係数生成部と、
前記対象フレームの前のフレームの前記輝度用係数と前記彩度用係数とを記憶するメモリとを備え、
前記係数生成部は、
前記輝度差分値が前記彩度差分値より大きい場合に前記輝度用係数が前記彩度用係数より大きくなり、前記彩度差分値が前記輝度差分値より大きい場合に前記彩度用係数が前記輝度用係数より大きくなるように、前記輝度用係数及び前記彩度用係数を設定する係数設定部と、
前記係数設定部によって設定された輝度用係数及び彩度用係数と、前記前のフレームの輝度用係数及び彩度用係数との差が所定の範囲内に収まるように、前記係数設定部によって設定された輝度用係数及び彩度用係数を補正するリミッタとを備える
請求項８記載の立体映像処理装置。
【請求項１０】
前記検出部は、
前記彩度情報を抽出する彩度抽出部と、
前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、
前記正規化部は、
前記閾値を記憶している記憶部と、
前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、
前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、
前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、
前記奥行き情報生成部は、
前記彩度値正規化部によって出力された彩度積算値に基づいて、前記奥行き情報を生成する
請求項４又は５記載の立体映像処理装置。
【請求項１１】
前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、
前記検出部は、前記輝度情報の分散値及び前記彩度情報の分散値の少なくとも１つを、前記ばらつき度合いを表す値として検出する
請求項１記載の立体映像処理装置。
【請求項１２】
前記立体映像処理装置は、さらに、前記対象フレームがシーンチェンジのフレームであるか否かを判定するシーンチェンジ検出部を備え、
前記奥行き情報生成部は、前記対象フレームがシーンチェンジのフレームであると判定された場合と、前記対象フレームがシーンチェンジのフレームでないと判定された場合とのうち、前記対象フレームがシーンチェンジのフレームでないと判定された場合にのみ、前記奥行き情報を生成する
請求項１〜１１のいずれか１項に記載の立体映像処理装置。
【請求項１３】
前記立体映像処理装置は、さらに、前記対象フレームから顔領域を検出する顔検出部を備え、
前記奥行き情報生成部は、
前記顔領域の奥行き情報である第１奥行き情報を生成する第１奥行き情報生成部と、
前記正規化部によって出力された画像特徴量に基づいて、少なくとも前記顔領域以外の領域の奥行き情報である第２奥行き情報を生成する第２奥行き情報生成部と、
前記第１奥行き情報と前記第２奥行き情報とを合成することで、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報合成部とを備える
請求項１〜１２のいずれか１項に記載の立体映像処理装置。
【請求項１４】
前記奥行き情報生成部は、さらに、
前記顔領域の周辺領域を抽出する顔周辺領域抽出部と、
前記第２奥行き情報から前記周辺領域の奥行き情報を取得し、取得した周辺領域の奥行き情報に基づいて、前記顔領域の奥行き情報を前記周辺領域の奥行き情報に近づけるためのオフセット値を算出するオフセット算出部とを備え、
前記第１奥行き情報生成部は、
予め定められた奥行き情報と前記オフセット値とに基づいて、前記第１奥行き情報を生成する
請求項１３記載の立体映像処理装置。
【請求項１５】
前記顔周辺領域抽出部は、前記顔領域の下方の領域、又は、前記顔領域の上方及び左右方向の領域を、前記周辺領域として抽出する
請求項１４記載の立体映像処理装置。
【請求項１６】
前記立体映像処理装置は、集積回路として構成されている
請求項１〜１５のいずれか１項に記載の立体映像処理装置。
【請求項１７】
２次元映像を３次元映像に変換するための立体映像処理方法であって、
前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出ステップと、
前記検出ステップにおいて検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出ステップにおいて検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化ステップと、
前記正規化ステップにおいて出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成ステップとを含む
立体映像処理方法。
【請求項１８】
請求項１７記載の立体映像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元映像信号を３次元映像信号に変換するための立体映像処理装置に関し、特に、２次元映像信号から奥行き情報を生成する立体映像処理装置に関する。
【背景技術】
【０００２】
従来、液晶パネルなどを用いた映像表示装置は、２次元の映像を表示する装置として使用されてきた。その一方で、これら映像表示装置に、視差を有する３次元の映像を入力し、アクティブシャッタメガネ又は偏光板などを組み合わせて、３次元映像を鑑賞できる立体映像表示装置の開発及び販売が進んでいる。【０００３】
さらに近年、２次元の映像から３次元の映像を生成し、表示する立体映像表示装置の研究及び開発が進んでいる。例えば、特許文献１では、２次元映像内の各領域において、映像の遠近に関する画像特徴量（輝度又は彩度など）から、各領域の視差情報を算出し、３次元映像の生成を実現している。また、特許文献１では、入力される感覚ワードによって決定されるゲインを画像特徴量に乗じることで、３次元映像作成時に重視する感覚を選択できる機能を備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１９１３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、立体映像の品質を十分に向上させることができないという課題がある。【０００６】
例えば、特許文献１に記載の技術では、映像の遠近に関する画像特徴量から各領域の視差情報を算出する際に、各々の画像特徴量に対するゲインは、入力映像によらず決まっている。このため、例えば、輝度に重みを置いた変換をしている場合に、画像内で輝度値の分散が小さい映像が入力されると、画面全体で奥行き量が一定となり、立体感が弱くなるという問題がある。【０００７】
また、この問題を解決するため、特許文献１に記載の技術では、輝度値を正規化する。しかしながら、正規化によって元々乏しい情報を広げるために、エラーが発生し、あるいは、強調しすぎる結果、違和感のある３次元映像になるという問題がある。【０００８】
そこで、本発明は、立体映像の品質を十分に向上させることができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であって、前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出部と、前記検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出部によって検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化部と、前記正規化部によって出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成部とを備える。【００１０】
これにより、画像特徴量のばらつき度合いを表す値が閾値未満である場合に、ばらつき度合いを表す値を閾値に近づけるように、すなわち、閾値を超えないように画像特徴量を正規化するので、画像特徴量を適切に正規化することができる。つまり、情報量の乏しい画像特徴量を必要以上に正規化（拡大）することを防止することができ、画像特徴量の信頼性の低減を抑制することができる。よって、立体映像の品質を十分に向上させることができる。【００１１】
また、前記画像特徴量は、互いに異なる第１画像特徴量と第２画像特徴量とを含み、前記検出部は、前記第１画像特徴量のばらつき度合いを表す第１の値と、前記第２画像特徴量のばらつき度合いを表す第２の値とを検出し、前記正規化部は、（ｉ）前記検出部によって検出された第１の値が第１閾値未満である場合、ばらつき度合いを表す第１の値が前記第１閾値に近づくように前記第１画像特徴量を正規化して出力し、前記検出部によって検出された第１の値が前記第１閾値以上である場合、前記第１画像特徴量を正規化せずに出力し、（ｉｉ）前記検出部によって検出された第２の値が第２閾値未満である場合、ばらつき度合いを表す第２の値が前記第２閾値に近づくように前記第２画像特徴量を正規化して出力し、前記検出部によって検出された第２の値が前記第２閾値以上である場合、前記第２画像特徴量を正規化せずに出力し、前記立体映像処理装置は、さらに、前記正規化部によって出力された第１画像特徴量と第２画像特徴量との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、前記奥行き情報生成部は、前記合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成し、前記合成部は、前記第１の値が前記第２の値より大きい場合は、前記正規化部によって出力された第１画像特徴量を大きく重み付け、前記第２の値が前記第１の値より大きい場合は、前記正規化部によって出力された第２画像特徴量を大きく重み付けるように、前記重み付け加算を行ってもよい。【００１２】
これにより、複数の画像特徴量を用いて奥行き情報を生成する場合に、ばらつき度合いを表す値が大きい方の画像特徴量の影響が大きくなるようにすることができる。つまり、奥行き情報を生成する際に信頼性の低い画像特徴量を用いることが抑制され、精度の良い奥行き情報を生成することができる。【００１３】
また、前記検出部は、前記第１画像特徴量の最大値と最小値との差分、又は、前記第１画像特徴量の分散値を、前記第１の値として検出し、前記第２画像特徴量の最大値と最小値との差分、又は、前記第２画像特徴量の分散値を、前記第２の値として検出してもよい。【００１４】
これにより、最大値と最小値との差分、又は、分散値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、画像特徴量の信頼性の低減を抑制することができる。【００１５】
また、前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、前記検出部は、前記輝度情報の最大値と最小値との差分である輝度差分値、及び、前記彩度情報の最大値と最小値との差分である彩度差分値の少なくとも１つを、前記ばらつき度合いを表す値として検出してもよい。【００１６】
これにより、輝度差分値又は彩度差分値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。【００１７】
また、前記正規化部は、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値未満である場合に、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値となるように、前記輝度情報及び彩度情報の少なくとも１つを正規化してもよい。【００１８】
これにより、輝度差分値又は彩度差分値が閾値になるように、輝度情報又は彩度情報を正規化するので、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。【００１９】
また、前記検出部は、前記輝度情報を抽出する輝度抽出部と、前記輝度抽出部によって抽出された輝度情報の最大値と最小値との差分を算出することで、前記輝度差分値を検出する輝度差分算出部とを備え、前記正規化部は、前記閾値を記憶している記憶部と、前記輝度差分値と前記閾値とを比較することで、前記輝度情報の正規化を行うか否かを判定する輝度比較部と、前記輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する輝度値積算部と、前記輝度比較部によって輝度情報を正規化すると判定された場合に、前記輝度積算値を正規化し、正規化後の輝度積算値を出力し、前記輝度比較部によって輝度情報を正規化しないと判定された場合に、前記輝度積算値を正規化せずに出力する輝度値正規化部とを備え、前記奥行き情報生成部は、前記輝度値正規化部によって出力された輝度積算値に基づいて、前記奥行き情報を生成してもよい。【００２０】
これにより、輝度情報から奥行き情報を生成することができる。例えば、輝度が高い程、手前に飛び出して見えるような飛び出し量を示す奥行き情報を生成する。【００２１】
また、前記検出部は、さらに、前記彩度情報を抽出する彩度抽出部と、前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、前記正規化部は、さらに、前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、前記立体映像処理装置は、さらに、前記輝度値正規化部によって出力された輝度積算値と、前記彩度値正規化部によって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、前記奥行き情報生成部は、前記合成部によって出力された合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成してもよい。【００２２】
これにより、輝度情報と彩度情報とから奥行き情報を生成するので、より精度の高い奥行き情報を生成することができる。【００２３】
また、前記合成部は、前記輝度差分値が前記彩度差分値より大きい場合は、前記輝度値正規化部によって出力された輝度積算値を大きく重み付け、前記彩度差分値が前記輝度差分値より大きい場合は、前記彩度値正規化部によって出力された彩度積算値を大きく重み付けるように、前記重み付け加算を行ってもよい。【００２４】
これにより、最大値と最小値との差分が大きい画像特徴量を大きく重み付けるので、奥行き情報の生成の際に、最大値と最小値との差分が大きい画像特徴量の影響を大きくすることができる。最大値と最小値との差分が大きいことは、情報の信頼性が高いことを示しているので、信頼性の高い情報に基づいて奥行き情報を生成することができる。【００２５】
また、前記立体映像処理装置は、さらに、前記輝度値正規化部によって出力された輝度積算値に乗じるための輝度用係数と、前記彩度値正規化部によって出力された彩度積算値に乗じるための彩度用係数とを生成する係数生成部と、前記対象フレームの前のフレームの前記輝度用係数と前記彩度用係数とを記憶するメモリとを備え、前記係数生成部は、前記輝度差分値が前記彩度差分値より大きい場合に前記輝度用係数が前記彩度用係数より大きくなり、前記彩度差分値が前記輝度差分値より大きい場合に前記彩度用係数が前記輝度用係数より大きくなるように、前記輝度用係数及び前記彩度用係数を設定する係数設定部と、前記係数設定部によって設定された輝度用係数及び彩度用係数と、前記前のフレームの輝度用係数及び彩度用係数との差が所定の範囲内に収まるように、前記係数設定部によって設定された輝度用係数及び彩度用係数を補正するリミッタとを備えてもよい。【００２６】
これにより、前のフレームからの変化量を所定の範囲に抑えることができるので、急激な奥行きの変化を抑制することができ、視聴者の視覚的疲労を低減することができる。【００２７】
また、前記検出部は、前記彩度情報を抽出する彩度抽出部と、前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、前記正規化部は、前記閾値を記憶している記憶部と、前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、前記奥行き情報生成部は、前記彩度値正規化部によって出力された彩度積算値に基づいて、前記奥行き情報を生成してもよい。【００２８】
これにより、彩度情報から奥行き情報を生成することができる。例えば、彩度が高い程、手前に飛び出して見えるような飛び出し量を示す奥行き情報を生成する。【００２９】
また、前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、前記検出部は、前記輝度情報の分散値及び前記彩度情報の分散値の少なくとも１つを、前記ばらつき度合いを表す値として検出してもよい。【００３０】
これにより、分散値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。【００３１】
また、前記立体映像処理装置は、さらに、前記対象フレームがシーンチェンジのフレームであるか否かを判定するシーンチェンジ検出部を備え、前記奥行き情報生成部は、前記対象フレームがシーンチェンジのフレームであると判定された場合と、前記対象フレームがシーンチェンジのフレームでないと判定された場合とのうち、前記対象フレームがシーンチェンジのフレームでないと判定された場合にのみ、前記奥行き情報を生成してもよい。【００３２】
これにより、シーンチェンジの前後では奥行き情報の変化が激しくなりやすいので、対象フレームがシーンチェンジのフレームである場合は、奥行き情報を生成しない、すなわち、対象フレームを２次元画像として出力することで、視聴者の視覚的疲労を抑制することができる。【００３３】
また、前記立体映像処理装置は、さらに、前記対象フレームから顔領域を検出する顔検出部を備え、前記奥行き情報生成部は、前記顔領域の奥行き情報である第１奥行き情報を生成する第１奥行き情報生成部と、前記正規化部によって出力された画像特徴量に基づいて、少なくとも前記顔領域以外の領域の奥行き情報である第２奥行き情報を生成する第２奥行き情報生成部と、前記第１奥行き情報と前記第２奥行き情報とを合成することで、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報合成部とを備えてもよい。【００３４】
これにより、検出した顔領域の奥行き情報を、画像特徴量ではなく専用の処理に基づいて生成することができるので、精度の高い奥行き情報を生成することができる。【００３５】
また、前記奥行き情報生成部は、さらに、前記顔領域の周辺領域を抽出する顔周辺領域抽出部と、前記第２奥行き情報から前記周辺領域の奥行き情報を取得し、取得した周辺領域の奥行き情報に基づいて、前記顔領域の奥行き情報を前記周辺領域の奥行き情報に近づけるためのオフセット値を算出するオフセット算出部とを備え、前記第１奥行き情報生成部は、予め定められた奥行き情報と前記オフセット値とに基づいて、前記第１奥行き情報を生成してもよい。【００３６】
これにより、顔領域の奥行き情報を周囲の奥行き情報に近づけることができるので、違和感の少ない立体映像を生成することができる。【００３７】
また、前記顔周辺領域抽出部は、前記顔領域の下方の領域、又は、前記顔領域の上方及び左右方向の領域を、前記周辺領域として抽出してもよい。【００３８】
これにより、例えば、顔領域の下方には被写体の胴体が存在する場合が多く、胴体の奥行き情報に顔領域の奥行き情報を近づけることができ、違和感の少ない立体映像を生成することができる。【００３９】
なお、本発明は、立体映像処理装置として実現できるだけではなく、当該立体映像処理装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【００４０】
また、上記の各立体映像処理装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００４１】
本発明に係る立体映像処理装置及び立体映像処理方法によれば、立体映像の品質を十分に向上させることができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、本発明の実施の形態に係る立体映像視聴システムの構成の一例を示す図である。
【図２】図２は、本発明の実施の形態に係る立体映像表示装置の構成の一例を示すブロック図である。
【図３】図３は、本発明の実施の形態に係る映像信号処理部の構成の一例を示すブロック図である。
【図４】図４は、本発明の実施の形態に係る２Ｄ３Ｄ変換回路の構成の一例を示すブロック図である。
【図５】図５は、本発明の実施の形態に係る輝度及び彩度の積算値を算出する処理を説明するための図である。
【図６】図６は、本発明の実施の形態に係る正規化選択処理を説明するための図である。
【図７】図７は、本発明の実施の形態に係るパラメータ選択係数設定回路の構成の一例を示すブロック図である。
【図８】図８は、本発明の実施の形態に係る係数設定処理の一例を説明するための図である。
【図９】図９は、本発明の実施の形態に係る特徴量合成回路の構成の一例を示すブロック図である。
【図１０】図１０は、本発明の実施の形態に係る特徴量合成処理における値の変化を説明するための図である。
【図１１】図１１は、本発明の実施の形態に係る奥行き情報生成回路の構成の一例を示すブロック図である。
【図１２】図１２は、本発明の実施の形態に係る奥行き情報生成処理における値の変化を説明するための図である。
【図１３】図１３は、本発明の実施の形態に係る立体映像処理装置の動作の一例を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態の変形例に係る立体映像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４３】
以下、本発明の立体映像処理装置の実施の形態について、図面を参照しながら説明する。
【００４４】
本発明の実施の形態に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であり、検出部と、正規化部と、奥行き情報生成部とを備える。検出部は、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。正規化部は、検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。奥行き情報生成部は、正規化部によって出力された画像特徴量、すなわち、正規化後の画像特徴量、又は、正規化されていない画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。
【００４５】
図１は、本発明の実施の形態に係る立体映像視聴システムの構成の一例を示す図である。図１に示すように、本発明の実施の形態に係る立体映像視聴システムは、プレーヤ１と、立体映像表示装置２と、アクティブシャッタメガネ３とを備える。
【００４６】
プレーヤ１は、映像再生装置の一例であり、２Ｄの映像（２次元画像、平面画像）を再生し、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルを介して映像信号を立体映像表示装置２に送る。例えば、プレーヤ１は、映像コンテンツを格納するＨＤ（Ｈａｒｄ  Ｄｉｓｋ）ドライブ、又は、放送波を受信するアンテナを有する。そして、プレーヤ１は、ＨＤドライブ、若しくは、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ、登録商標）などの外部の記録媒体、又は、アンテナを介して受信した放送波から、映像コンテンツを取得する。プレーヤ１は、取得した映像コンテンツを２Ｄ映像信号として立体映像表示装置２に送信する。
【００４７】
立体映像表示装置２は、プレーヤ１が出力した２Ｄ映像信号を受け取り、受け取った２Ｄ映像信号を立体映像に変換する。本発明の実施の形態に係る立体映像は、視差を有する左目用映像４と右目用映像５とから構成される。視聴者（ユーザ）は、アクティブシャッタメガネ３を用いて左目用映像４を左目で、右目用映像５を右目で見ることで、３次元動画像を立体的に感じることができる。例えば、立体映像表示装置２は、左目用映像４と右目用映像５とを１フレーム毎に交互に表示する。
【００４８】
アクティブシャッタメガネ３は、立体映像表示装置２による映像の表示タイミングと同期している。具体的には、アクティブシャッタメガネ３は、立体映像表示装置２が左目用映像４を表示している時には、右目を遮光し、左目のみに光を透過させ、右目用映像５を表示している時には、左目を遮光し、右目のみに光を透過させる。この操作を高速に行うことで、アクティブシャッタメガネ３をかけた視聴者は、左目で左目用映像４を、右目で右目用映像５を見ることができる。左目用映像４及び右目用映像５に適切な視差をもたせることで、視聴者は立体映像を観察することができる。
【００４９】
なお、立体映像表示装置２への映像信号の入力は、Ｄ端子用ケーブル、又は、放送波を伝達する同軸ケーブルでもよい。また、有線のみならず、無線で入力する場合も対応可能である。また、立体映像表示装置２が表示する映像の視点数は３以上でもよい。また、立体映像表示装置２は、３次元的にボクセルを表示する体積表示型の表示装置でもよい。
【００５０】
なお、立体映像表示装置２及びアクティブシャッタメガネ３によって、視聴者の左目及び右目のそれぞれに異なる映像を見せる手法については、立体映像表示装置２から異なる偏光方式で左目用映像及び右目用映像を出力して、偏光メガネによって映像を分離する偏光方式でもよい。あるいは、パララックスバリア又はレンチキュラシートを用いて映像を分離する方式でもよい。なお、立体映像表示装置２が表示する映像の視点数が１以上であり、観察者の位置に合わせて異なる視点から見た映像を表示する方式でもよい。
【００５１】
図２は、本発明の実施の形態に係る立体映像表示装置２の構成の一例を示すブロック図である。図２に示すように、本発明の実施の形態に係る立体映像表示装置２は、外部信号受信部１１と、映像信号処理部１２と、映像表示部１３と、音声信号処理部１４と、音声出力部１５とを備える。
【００５２】
外部信号受信部１１は、ＨＤＭＩケーブルを介してプレーヤ１から出力された入力信号を受け取り、受け取った入力信号の中のデータフレームをデコードし、映像及び音声などの信号を出力する。
【００５３】
映像信号処理部１２には、外部信号受信部１１から出力された映像信号が供給される。映像信号処理部１２は、拡大及び縮小処理、映像の２Ｄ３Ｄ変換（平面画像から擬似立体画像への変換）を行い、２視点からなる３次元映像データを出力する。なお、映像信号処理部１２の詳細な構成については、後で説明する。
【００５４】
映像表示部１３は、映像信号処理部１２から出力された２視点の映像を受け取り、左目用映像と右目用映像とを１フレーム毎に交互に表示を行う。映像表示部１３は、例えば、液晶ディスプレイ、プラズマディスプレイパネル、又は、有機ＥＬディスプレイパネルなどである。
【００５５】
音声信号処理部１４は、外部信号受信部１１から出力された音声信号を受け、音質処理などを行う。
【００５６】
音声出力部１５は、音声信号処理部１４から出力された音声信号を、音声として出力する。音声出力部１５は、例えば、スピーカなどである。
【００５７】
なお、外部信号受信部１１及びその入力であるＨＤＭＩ信号は、チューナーと放送波とに置き換えることも可能である。
【００５８】
図３は、本発明の実施の形態に係る映像信号処理部１２の構成の一例を示すブロック図である。図３に示すように、本発明の実施の形態に係る映像信号処理部１２は、ＩＰ変換回路２１と、スケーラ２２と、２Ｄ３Ｄ変換回路２３と、画質改善回路２４とを備える。
【００５９】
ＩＰ変換回路２１は、外部信号受信部１１から入力された映像信号がインターレース形式の信号であった場合、ＩＰ変換処理を行ってプログレッシブ形式の映像信号に変換する。
【００６０】
スケーラ２２は、ＩＰ変換回路２１から出力された映像の解像度が、最終的に表示する映像表示部１３の解像度と異なっている場合に、拡大又は縮小処理を行うことで、映像表示部１３の解像度に合わせた映像データを出力する。
【００６１】
２Ｄ３Ｄ変換回路２３は、スケーラ２２から出力される２次元映像データを受け取り、受け取った２次元映像データを３次元映像データに変換する。例えば、２Ｄ３Ｄ変換回路２３は、２視点から見た映像信号を３次元映像データとして出力する。なお、２Ｄ３Ｄ変換回路２３の詳細な構成については、後で説明する。
【００６２】
画質改善回路２４は、２Ｄ３Ｄ変換回路２３から出力された各視点の映像データに対して、ガンマ処理及びエッジエンハンス処理などの画質改善処理を行い、処理後の映像信号を出力する。
【００６３】
図４は、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３の構成の一例を示すブロック図である。図４に示すように、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、輝度抽出部２９と、彩度抽出部３０と、輝度積算値算出回路３１と、彩度積算値算出回路３２と、輝度Ｍａｘ−Ｍｉｎ検出回路３３と、彩度Ｍａｘ−Ｍｉｎ検出回路３４と、輝度正規化選択回路３５と、彩度正規化選択回路３６と、所定値記憶部３７と、シーンチェンジ検出回路３８と、パラメータ選択係数設定回路３９と、メモリ４０と、選択的正規化回路４１と、特徴量合成回路４２と、顔領域検出回路４３と、奥行き情報生成回路４４と、視差変調回路４５とを備える。
【００６４】
輝度抽出部２９は、２次元映像の対象フレーム内の輝度情報を抽出する。具体的には、輝度抽出部２９は、スケーラ２２から出力された映像信号から輝度成分のみを抽出し、輝度データとして出力する。輝度データは、例えば、２次元映像の１フレーム内の画素毎の輝度値を示す輝度情報である。輝度情報は、第１画像特徴量の一例であり、映像内の奥行き情報の生成に使用される。
【００６５】
彩度抽出部３０は、２次元映像の対象フレーム内の彩度情報を抽出する。具体的には、彩度抽出部３０は、スケーラ２２から出力された映像データから彩度成分のみを抽出し、彩度データとして出力する。彩度データは、例えば、２次元映像の１フレーム内の画素毎の彩度値を示す彩度情報である。彩度情報は、第２画像特徴量の一例であり、映像内の奥行き情報の生成に使用される。
【００６６】
輝度積算値算出回路３１は、輝度値積算部の一例であり、輝度抽出部２９によって抽出された輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する。具体的には、輝度積算値算出回路３１は、輝度抽出部２９から出力された輝度データに含まれる輝度値の合計値を算出する。より具体的には、図５に示すように、輝度積算値算出回路３１は、２次元画像５１を複数のブロック５２に分割し、輝度値の合計値をブロック毎に輝度積算値として算出する。
【００６７】
彩度積算値算出回路３２は、彩度値積算部の一例であり、彩度抽出部３０によって抽出された彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する。具体的には、彩度積算値算出回路３２は、彩度抽出部３０から出力された彩度データに含まれる彩度値の合計値を算出する。具体的には、輝度積算値算出回路３１と同様にして、彩度積算値算出回路３２は、２次元映像を複数のブロックに分割し、彩度値の合計値をブロック毎に彩度積算値として算出する。
【００６８】
輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度差分算出部の一例であり、輝度抽出部２９によって抽出された輝度情報の最大値と最小値との差分を算出することで、輝度差分値を検出する。具体的には、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度抽出部２９から出力された輝度データの最大値と最小値との差分である輝度差分値α１を算出して、出力する。輝度差分値α１は、対象フレーム内の輝度情報の分散幅に相当する。つまり、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、対象フレーム内の輝度値の最大値と最小値との差分を算出し、算出した差分を輝度差分値α１として出力する。
【００６９】
彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度差分算出部の一例であり、彩度抽出部３０によって抽出された彩度情報の最大値と最小値との差分を算出することで、彩度差分値を検出する。具体的には、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度抽出部３０から出力される彩度データの最大値と最小値との差分である彩度差分値α２を算出して、出力する。彩度差分値α２は、対象フレーム内の彩度情報の分散幅に相当する。つまり、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、対象フレーム内の彩度値の最大値と最小値との差分を算出し、算出した差分を彩度差分値α２として出力する。
【００７０】
なお、最大値と最小値との差を求める前に、画像特徴量（輝度情報及び彩度情報）のヒストグラムを求め、それぞれの上下数％のデータを除外する処理を加えてもよい。
【００７１】
輝度正規化選択回路３５は、輝度比較部の一例であり、輝度差分値α１と所定の第１閾値とを比較することで、輝度情報の正規化を行うか否かを判定する。具体的には、輝度正規化選択回路３５は、輝度Ｍａｘ−Ｍｉｎ検出回路３３から出力される輝度差分値α１と、所定値記憶部３７から出力される正規化処理選択用の所定値とを比較する。そして、輝度正規化選択回路３５は、輝度積算値に対する正規化処理の要否を判定し、その結果である輝度正規化処理判定結果を出力する。輝度正規化処理判定結果は、輝度値を正規化するか否かを示す情報である。
【００７２】
彩度正規化選択回路３６は、彩度比較部の一例であり、彩度差分値α２と所定の第２閾値とを比較することで、彩度情報の正規化を行うか否かを判定する。具体的には、彩度正規化選択回路３６は、彩度Ｍａｘ−Ｍｉｎ検出回路３４から出力される彩度差分値α２と、所定値記憶部３７から出力される正規化処理選択用の所定値とを比較する。このとき、輝度正規化選択回路３５が用いる所定値（第１閾値）と、彩度正規化選択回路３６が用いる所定値（第２閾値）とは、同じ値でなくてもよい。彩度正規化選択回路３６は、彩度積算値に対する正規化処理の要否を判定し、彩度正規化処理判定結果を出力する。彩度正規化処理判定結果は、彩度値を正規化するか否かを示す情報である。
【００７３】
図６は、本発明の実施の形態に係る正規化選択処理の判定方法の一例を説明するための図である。
【００７４】
各特徴量において、Ｍａｘ−Ｍｉｎ値が正規化処理選択用の所定値未満である場合には、Ｍａｘ−Ｍｉｎ値が所定値になるような正規化処理が実行されるように、輝度正規化選択回路３５及び彩度正規化選択回路３６は、正規化処理の“要”を選択する。これに対して、Ｍａｘ−Ｍｉｎ値が所定値以上である場合には正規化処理を行わないように、輝度正規化選択回路３５及び彩度正規化選択回路３６は、正規化処理の“不要”を選択する。それぞれの選択結果は、選択的正規化回路４１に出力される。
【００７５】
要するに、輝度正規化選択回路３５は、輝度差分値α１が閾値未満の場合は、輝度値を正規化する必要があると判定し、輝度差分値α１が閾値以上の場合は、輝度値を正規化する必要はないと判定する。つまり、輝度正規化選択回路３５は、輝度差分値α１が閾値未満の場合は、正規化を行わないことを示す判定結果を出力し、輝度差分値α１が閾値以上の場合は、正規化を行うことを示す判定結果を出力する。
【００７６】
同様に、彩度正規化選択回路３６は、彩度差分値α２が閾値未満の場合は、彩度値を正規化する必要があると判定し、彩度差分値α２が閾値以上の場合は、彩度値を正規化する必要はないと判定する。つまり、彩度正規化選択回路３６は、彩度差分値α２が閾値未満の場合は、正規化を行わないことを示す判定結果を出力し、彩度差分値α２が閾値以上の場合は、正規化を行うことを示す判定結果を出力する。
【００７７】
特徴量のＭａｘ−Ｍｉｎ値が小さい場合、必要以上の正規化を行うと、本来乏しい特徴量の情報を強引に拡大するため、最終的に生成される奥行き情報の質が落ちてしまう。特徴量のＭａｘ−Ｍｉｎ値が大きい場合は、正規化を行わなくても、十分に質の高い奥行き情報を生成することができる。
【００７８】
一方で、Ｍａｘ−Ｍｉｎ値が小さい場合に正規化を行わないと、生成される奥行き情報がほぼ平面となり、立体感が失われる。そこで、正規化する量を所定値にとどめ、Ｍａｘ−Ｍｉｎ値が所定値以上の場合は正規化処理を行わないことにより、特徴量情報の信頼性を大きく低下させることなく、正規化することができる。
【００７９】
所定値記憶部３７は、画像特徴量の正規化を行うか否かを判定するための閾値となる所定値を記憶している記憶部である。所定値は、画像特徴量毎に異なっていてもよい。
【００８０】
シーンチェンジ検出回路３８は、シーンチェンジ検出部の一例であり、対象フレームがシーンチェンジのフレームであるか否かを判定する。具体的には、シーンチェンジ検出回路３８は、スケーラ２２から出力された映像データを受け取り、今入力されている映像データがシーンチェンジの瞬間であるか否かを判別し、シーンチェンジ検出結果を出力する。
【００８１】
例えば、シーンチェンジが起こる場合、シーンチェンジの前後で１フレーム内の輝度値の平均値の変化が大きい。したがって、シーンチェンジ検出回路３８は、対象フレームの輝度値の平均値と、対象フレームの前のフレームの輝度値の平均値とを比較し、変化量が所定の閾値以上であれば、対象フレームをシーンチェンジのフレームであると判定することができる。なお、シーンチェンジ検出回路３８は、対象フレームを含む、連続する複数のフレームをシーンチェンジのフレームとして判定してもよい。
【００８２】
また、ユーザが撮影の操作を行った場合などに撮影の開始であることを示す情報がストリームに含まれている場合は、シーンチェンジ検出回路３８は、当該情報を検出することで、対象フレームがシーンチェンジのフレームであるか否かを判定してもよい。
【００８３】
パラメータ選択係数設定回路３９は、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４のそれぞれから出力された輝度差分値α１及び彩度差分値α２、シーンチェンジ検出回路３８から出力されるシーンチェンジ検出結果、メモリ４０から出力される前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を受け取り、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２を出力する。パラメータ選択係数設定回路３９の詳細については、後で説明する。
【００８４】
メモリ４０は、対象フレームの前のフレームの輝度用係数ｋ１と彩度用係数ｋ２とを記憶するためのメモリである。つまり、メモリ４０は、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１及び彩度用係数ｋ２の値を記憶するためのメモリである。また、メモリ４０は、記憶された輝度用係数ｋ１及び彩度用係数ｋ２のフレームの次フレームの輝度用係数ｋ１及び彩度用係数ｋ２をパラメータ選択係数設定回路３９が算出する際に、記憶された輝度用係数ｋ１及び彩度用係数ｋ２を出力する。これらの輝度用係数ｋ１及び彩度用係数ｋ２については、後述する。
【００８５】
選択的正規化回路４１は、画像特徴量のばらつき度合いを表す値と閾値との比較結果に基づいて、画像特徴量の正規化を選択的に行う。つまり、選択的正規化回路４１は、正規化部の一例であり、画像特徴量のばらつき度合いを表す値が閾値未満である場合、ばらつき度合いを表す値が当該閾値に近づくように画像特徴量を正規化して出力する。また、選択的正規化回路４１は、画像特徴量のばらつき度合いを表す値が閾値以上である場合、画像特徴量を正規化せずに出力する。
【００８６】
具体的には、選択的正規化回路４１は、輝度値正規化回路４１ａと、彩度値正規化回路４１ｂとを備える。
【００８７】
輝度値正規化回路４１ａは、第１画像特徴量正規化部の一例であり、第１画像特徴量のばらつき度合いを表す第１の値が第１閾値未満である場合に、ばらつき度合いを表す第１の値が第１閾値に近づくように第１画像特徴量を正規化して出力する。また、輝度値正規化回路４１ａは、第１の値が第１閾値以上である場合に、第１画像特徴量を正規化せずに出力する。
【００８８】
具体的には、輝度値正規化回路４１ａは、輝度値正規化部の一例であり、輝度正規化選択回路３５によって輝度情報を正規化すると判定された場合に、輝度積算値算出回路３１によって出力される輝度積算値を正規化し、正規化後の輝度積算値を出力する。また、輝度値正規化回路４１ａは、輝度正規化選択回路３５によって輝度情報を正規化しないと判定された場合に、輝度積算値算出回路３１によって出力される輝度積算値を正規化せずにそのまま出力する。
【００８９】
なお、輝度値正規化回路４１ａから出力される輝度積算値を、輝度特徴量と記載する。つまり、輝度特徴量は、輝度差分値に応じて正規化された場合の輝度積算値、又は、正規化されていない場合の輝度積算値である。
【００９０】
彩度値正規化回路４１ｂは、第２画像特徴量正規化部の一例であり、第２画像特徴量のばらつき度合いを表す第２の値が第２閾値未満である場合に、ばらつき度合いを表す第２の値が第２閾値に近づくように第２画像特徴量を正規化して出力する。また、彩度値正規化回路４１ｂは、第２の値が第２閾値以上である場合に、第２画像特徴量を正規化せずに出力する。
【００９１】
具体的には、彩度値正規化回路４１ｂは、彩度値正規化部の一例であり、彩度正規化選択回路３６によって彩度情報を正規化すると判定された場合に、彩度積算値算出回路３２によって出力される彩度積算値を正規化し、正規化後の彩度積算値を出力する。また、彩度値正規化回路４１ｂは、彩度正規化選択回路３６によって彩度情報を正規化しないと判定された場合に、彩度積算値算出回路３２によって出力される彩度情報を正規化せずにそのまま出力する。
【００９２】
なお、彩度値正規化回路４１ｂから出力される彩度積算値を、彩度特徴量と記載する。つまり、彩度特徴量は、彩度差分値に応じて正規化された場合の彩度積算値、又は、正規化されていない場合の彩度積算値である。
【００９３】
要するに、選択的正規化回路４１は、輝度積算値算出回路３１から出力された輝度積算値に、輝度正規化選択回路３５から出力される判定結果に基づいて選択的に正規化を行い、輝度特徴量を出力する。同様に、選択的正規化回路４１は、彩度積算値算出回路３２から出力された彩度積算値に、彩度正規化選択回路３６から出力される判定結果に基づいて選択的に正規化を行い、彩度特徴量を出力する。
【００９４】
ここで、正規化とは、例えば、入力された値が１０から２０に分散していた場合、これを０から３０など、特定の範囲まで均一に広げる又は狭める処理を意味する。輝度正規化選択回路３５又は彩度正規化選択回路３６にて正規化処理を行わないと判定された場合、選択的正規化回路４１は、正規化処理を行わないと判定された画像特徴量をそのまま正規化後の画像特徴量として出力する。
【００９５】
特徴量合成回路４２は、合成部の一例であり、輝度値正規化回路４１ａによって出力された輝度積算値と、彩度値正規化回路４１ｂによって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する。具体的には、特徴量合成回路４２は、選択的正規化回路４１から出力された画像特徴量と、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１及び彩度用係数ｋ２とを受け取り、各画像特徴量に、対応した係数を乗じて出力する。すなわち、特徴量合成回路４２は、輝度特徴量と彩度特徴量とを、輝度用係数ｋ１及び彩度用係数ｋ２を用いて重み付け加算することで、合成特徴量を出力する。特徴量合成回路４２の詳細については、後で説明する。
【００９６】
顔領域検出回路４３は、顔検出部の一例であり、２次元映像の対象フレームから顔領域を検出する。具体的には、顔領域検出回路４３は、スケーラ２２から出力された映像データにおいて、顔と思われる領域を検出し、対象フレーム内における顔領域の位置及び顔の方向などを含んだ顔領域検出結果を出力する。
【００９７】
奥行き情報生成回路４４は、選択的正規化回路４１から出力された画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。例えば、奥行き情報は、輝度値が高い程、表示画面から視聴者の方向に飛び出して見えるような飛び出し量を示す情報である。あるいは、奥行き情報は、彩度値が高い程、表示画面から視聴者の方向に飛び出して見えるような飛び出し量を示す情報である。
【００９８】
本実施の形態では、奥行き情報生成回路４４は、特徴量合成回路４２によって生成された合成画像特徴量に所定の係数を乗じることで、奥行き情報を生成する。具体的には、奥行き情報生成回路４４は、特徴量合成回路４２から出力された合成画像特徴量を奥行き情報に変換するとともに、顔領域検出回路４３から出力された顔領域検出結果に基づいた奥行き情報を生成し、これらの奥行き情報を合成することで対象フレームの奥行き情報を出力する。
【００９９】
視差変調回路４５は、奥行き情報生成回路４４から出力された奥行き情報を基に、スケーラ２２から出力された映像データに対して視差をつけ、２視点から見た３次元映像データを生成し、出力する。
【０１００】
図７は、本発明の実施の形態に係るパラメータ選択係数設定回路３９の構成の一例を示すブロック図である。パラメータ選択係数設定回路３９は、係数生成部の一例であり、輝度値正規化回路４１ａから出力された輝度積算値に乗じるための輝度用係数と、彩度値正規化回路４１ｂから出力された彩度積算値に乗じるための彩度用係数とを生成する。
【０１０１】
図７に示すように、パラメータ選択係数設定回路３９は、係数設定回路６１と、セレクタ６２及び６３と、リミッタ６４とを備える。パラメータ選択係数設定回路３９は、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２を、対象フレームの輝度差分値α１及び彩度差分値α２、シーンチェンジ検出結果、並びに、前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値から生成する。
【０１０２】
輝度用係数ｋ１は、２次元映像の輝度値が奥行き情報の生成においてどれほどの影響力を示すものかを表す値であり、彩度用係数ｋ２は、２次元映像の彩度値が奥行き情報の生成においてどれほどの影響力を示すものかを表す値である。つまり、各係数は、画像特徴量の各分散幅の大きさに応じて、奥行き情報生成回路４４において生成される奥行き情報への影響が大きくなることを意味している。
【０１０３】
係数設定回路６１は、係数設定部の一例であり、輝度差分値α１が彩度差分値α２より大きい場合に輝度用係数ｋ１’が彩度用係数ｋ２’より大きくなり、彩度差分値α２が輝度差分値α１より大きい場合に彩度用係数ｋ２’が輝度用係数ｋ１’より大きくなるように、輝度用係数ｋ１’及び彩度用係数ｋ２’を設定する。具体的には、係数設定回路６１は、輝度Ｍａｘ−Ｍｉｎ検出回路３３から出力される輝度差分値α１と、彩度Ｍａｘ−Ｍｉｎ検出回路３４から出力される彩度差分値α２とを受け取り、以下の（式１）に基づいて輝度用係数ｋ１’及び彩度用係数ｋ２’を生成する。
【０１０４】
【数１】
2011135760.tif 000003
【０１０５】
図８は、本発明の実施の形態に係る係数設定処理の一例を説明するための図である。係数設定回路６１は、図８（ａ）に示すような輝度差分値α１及び彩度差分値α２が入力された場合、図８（ｂ）に示すような輝度用係数ｋ１’及び彩度用係数ｋ２’を出力する。図８に示す例では、入力された輝度差分値α１及び彩度差分値α２の比と、出力される輝度用係数ｋ１’及び彩度用係数ｋ２’の比とは等しい。また、出力される輝度用係数ｋ１’と彩度用係数ｋ２’とを足し合わせると１になる。
【０１０６】
Ｍａｘ−Ｍｉｎ値が小さい画像特徴量は、正規化処理の影響を大きく受けており、情報の信頼性に乏しい。このため、奥行き情報を生成する際に、Ｍａｘ−Ｍｉｎ値が小さい画像特徴量の影響力が大きいと、不自然な奥行きが生成される恐れがある。
【０１０７】
そのため、係数設定回路６１は、情報の信頼性が高い画像特徴量、具体的にはＭａｘ−Ｍｉｎ値が高い画像特徴量ほど、奥行き情報の生成に大きな影響力を持つように係数を設定することで、立体映像における奥行きの不自然さを軽減することが可能となる。
【０１０８】
セレクタ６２及び６３は、シーンチェンジ検出回路３８から出力されるシーンチェンジ検出結果を受け取り、現在の映像（対象フレーム）がシーンチェンジの瞬間であると判別していた場合は０を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。セレクタ６２及び６３は、対象フレームがシーンチェンジの瞬間でない場合には、係数設定回路６１から出力された輝度用係数ｋ１’及び彩度用係数ｋ２’を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。言い換えると、シーンチェンジ検出回路３８において、シーンチェンジを検出しない場合のみ、係数設定回路６１から出力された輝度用係数ｋ１’及び彩度用係数ｋ２’を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。
【０１０９】
３Ｄ映像において、シーンチェンジ時は注視点の奥行きが一瞬で大きく変化した場合、視聴者は、一時的に立体視ができなかったり、疲労感を覚えたりすることがある。特に、注視点が表示装置の表示面から大きく奥にあり、シーンチェンジによってその注視点が突然表示面から大きく手前に飛び出すような映像に瞬間的に切り替わった場合、あるいは、逆に手前から奥に切り替わった際に顕著である。
【０１１０】
そこで、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、シーンチェンジ時には奥行きを０、すなわち、通常の２Ｄ映像に近づけるような処理を行う。この処理により、シーンチェンジ時の奥行き量の変化が抑えることができる。
【０１１１】
リミッタ６４は、リミッタ処理を行う。リミッタ処理は、係数設定回路６１によって設定された輝度用係数ｋ１’及び彩度用係数ｋ２’と、前のフレームの輝度用係数ｋ１及び彩度用係数ｋ２との差が所定の範囲内に収まるように、係数設定回路６１によって設定された輝度用係数ｋ１’及び彩度用係数ｋ２’を補正することである。
【０１１２】
具体的には、リミッタ６４は、メモリ４０から入力される、前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を基に、セレクタ６２及び６３から出力される係数に対してリミッタ処理を行い、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を出力する。例えば、輝度に乏しい実写映像が入力されている状態において、編集作業などにより突然輝度に富んだ文字等が映像の一部に表示された場合、それまで奥行き情報生成において彩度重視の変換をしていたところで、急に輝度重視の変換に切り替わり、違和感につながる恐れがある。そこで、本発明の実施の形態に係るリミッタ６４は、輝度用係数ｋ１及び彩度用係数ｋ２のフレーム間の変化を緩やかにすることで、違和感を軽減することができる。
【０１１３】
図９は、本発明の実施の形態に係る特徴量合成回路４２の構成の一例を示す図である。図１０は、本発明の実施の形態に係る特徴量合成処理による値の変化を説明するための図である。以下、図９及び図１０を用いて特徴量合成回路４２の処理内容の一例を説明する。
【０１１４】
特徴量合成回路４２は、複数の種類の画像特徴量を用いて奥行き情報を生成する場合に、複数の種類の画像特徴量を合成する回路である。例えば、複数の種類の画像特徴量は、互いに異なる第１画像特徴量及び第２画像特徴量であり、具体的には、上述したような輝度情報及び彩度情報などである。
【０１１５】
図９に示すように、特徴量合成回路４２は、乗算器７１及び７２と、加算器７３とを備える。
【０１１６】
乗算器７１は、輝度値正規化回路４１ａから出力された輝度特徴量７４に、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１を乗じることで、図１０に示すように、重み付けされた輝度特徴量７５を出力する。
【０１１７】
乗算器７２は、彩度値正規化回路４１ｂから出力された彩度特徴量７６に、パラメータ選択係数設定回路３９から出力された彩度用係数ｋ２を乗じることで、図１０に示すように、重み付けされた彩度特徴量７７を出力する。
【０１１８】
加算器７３は、乗算器７１及び７２から出力された輝度特徴量７５及び彩度特徴量７６を加算することで、合成画像特徴量７８を出力する。
【０１１９】
このように、特徴量合成回路４２は、輝度差分値α１が彩度差分値α２より大きい場合は、輝度値正規化回路４１ａによって出力された輝度積算値を大きく重み付け、彩度差分値α２が輝度差分値α１より大きい場合は、彩度値正規化回路４１ｂによって出力された彩度積算値を大きく重み付けるように、重み付け加算を行う。
【０１２０】
要するに、特徴量合成回路４２は、第１画像特徴量のばらつき度合いを表す第１の値が、第２画像特徴量のばらつき度合いを表す第２の値より大きい場合は、第１画像特徴量を大きく重み付けするように、第１画像特徴量と第２画像特徴量との重み付け加算を行う。また、特徴量合成回路４２は、第２の値が第１の値より大きい場合は、第２画像特徴量を大きく重み付けするように、第１画像特徴量と第２画像特徴量との重み付け加算を行う。なお、第１画像特徴量及び第２画像特徴量はそれぞれ、第１の値及び第２の値に基づいて、正規化された場合と正規化されていない場合とを含んでいる。
【０１２１】
なお、２Ｄ３Ｄ変換回路２３が使用する画像特徴量が１種類の場合は、特徴量合成回路４２は無くてもよい。この場合には、選択的正規化回路４１から出力した画像特徴量は、後述する奥行き情報生成回路４４に出力される。
【０１２２】
図１１は、本発明の実施の形態に係る奥行き情報生成回路４４の構成の一例を示す図である。図１２は、本発明の実施の形態に係る奥行き情報生成処理の流れの一例を示す図である。以下、図１１及び図１２を用いて、本発明の実施の形態に係る奥行き情報の生成処理について説明する。
【０１２３】
図１１に示すように、奥行き情報生成回路４４は、乗算器８１と、特徴量変換係数記憶部８２と、顔奥行き処理部８３と、顔周辺領域抽出部８４と、視差オフセット算出部８５と、加算器８６と、奥行き情報合成部８７とを備える。
【０１２４】
乗算器８１は、第２奥行き情報生成部の一例であり、少なくとも顔領域以外の領域の奥行き情報である第２奥行き情報を生成する。具体的には、乗算器８１は、特徴量合成回路４２から出力された合成画像特徴量に一定の係数を乗じることで、特徴量を奥行き情報９１に変換して、出力する。本発明の実施の形態に係る乗算器８１は、図１２に示すように、対象フレーム全体、すなわち、顔領域を含む画像全体の奥行き情報を奥行き情報９１として生成する。
【０１２５】
特徴量変換係数記憶部８２は、画像特徴量に乗じる係数を記憶するためのメモリである。
【０１２６】
顔奥行き処理部８３は、第１奥行き情報生成部の一例であり、顔領域の奥行き情報である第１奥行き情報を生成する。具体的には、顔奥行き処理部８３は、顔領域検出回路４３から出力される顔領域検出結果９２を受け取り、顔領域奥行き情報９３を生成する。
【０１２７】
このとき生成される奥行きＤ１〜Ｄ６は、回路内部にて予め記録されている。顔向き及び顔領域の大きさなどに応じた複数の奥行き情報が予め記録されている。顔奥行き処理部８３は、顔領域検出結果９２に基づいて複数の奥行き情報から適切な奥行き情報を選択する。図１２に示す例では、この顔領域奥行き情報９３は、６つに分割されており、奥行き情報９１の領域分割より細かい単位で分割される。
【０１２８】
これにより、顔周辺部に対してより正確な奥行きを表現できる。一般的に、顔は観察者が注視しやすい箇所であるため、部分的に正確な奥行き表現を行うことにより、違和感を改善することができる。
【０１２９】
また、輝度及び彩度によって奥行き情報を生成した場合、肌色と黒色とが異なる奥行きと認識される。しかしながら、仮に、被写体の髪及び目などが黒色である場合、肌に対して髪及び目の奥行き情報が異なってしまう。そこで、顔に対して専用処理を行うことにより、肌と髪及び目とを一体のオブジェクトととらえて処理することが可能になり、奥行き情報の品質が向上する。
【０１３０】
顔周辺領域抽出部８４は、顔領域の周辺の領域である周辺領域を抽出する。具体的には、顔周辺領域抽出部８４は、顔領域検出結果９２を受け取り、顔周辺領域９４に示すような、顔領域の上方向及び左右方向に当たる顔周辺領域の奥行き情報９１の値を抽出する。顔周辺領域抽出部８４は、抽出した値を視差オフセット算出部８５に出力する。
【０１３１】
視差オフセット算出部８５は、顔領域の奥行き情報を周辺領域の奥行き情報に近づけるためのオフセット値を算出する。具体的には、視差オフセット算出部８５は、顔周辺領域抽出部８４によって抽出された値の平均値を算出し、視差オフセット値として出力する。つまり、視差オフセット値は、周辺領域の奥行き情報の値の平均値である。
【０１３２】
加算器８６は、視差オフセット算出部８５によって算出されたオフセット値と、顔領域奥行き情報９３とを加算することで、オフセット付き顔領域奥行き情報９５を生成する。つまり、顔領域奥行き情報９３は、顔が視差ゼロ面（例えば、ディスプレイの表示面）に位置するときの奥行き情報に相当し、視差オフセット値が加算されることで、周囲に合った立体感が表現される。
【０１３３】
奥行き情報合成部８７は、顔領域の奥行き情報である第１奥行き情報と、少なくとも顔領域以外の奥行き情報である第２奥行き情報とを合成する。具体的には、奥行き情報合成部８７は、第１奥行き情報の一例であるオフセット付き顔領域奥行き情報９５が、第２奥行き情報の一例である奥行き情報９１を上書きすることで合成され、合成奥行き情報９６を生成する。
【０１３４】
ここで、視差オフセット算出部８５がないと、顔が常に奥行き０の付近、すなわち、映像表示部の表示面付近の奥行きに存在することになる。しかし、顔の周辺領域が表示面より手前に飛び出していた場合、周辺領域より顔が奥側になるよう処理がなされる。
【０１３５】
通常、顔領域の上方向の領域及び左右方向の領域は、顔より奥にあることが多い。このため、不自然な奥行きとなって見えてしまう。そこで、まず、顔領域の周辺領域の奥行きを求め、そこから顔に相当する奥行きを手前に飛び出させることによって、より自然な奥行き情報を生成できる。
【０１３６】
なお、顔周辺領域抽出部８４は、顔周辺領域９４として、顔領域のすぐ下に当たる領域を抽出してもよい。この場合、抽出される領域には胴がある可能性が高いため、胴を基準として顔の奥行きを決定することになる。
【０１３７】
なお、顔周辺領域処理を行わない場合、奥行き情報合成部８７は不要である。なお、視差オフセット処理を行わない場合、顔周辺領域抽出部８４、視差オフセット算出部８５及び加算器８６は不要である。
【０１３８】
ここで、本発明の実施の形態に係る立体映像処理装置（２Ｄ３Ｄ変換回路２３）の動作について説明する。図１３は、本発明の実施の形態に係る立体映像処理装置の動作の一例を示すフローチャートである。
【０１３９】
２Ｄ３Ｄ変換回路２３に２次元映像の対象フレームが入力されると、シーンチェンジ検出回路３８は、対象フレームがシーンチェンジのフレームであるか否かを判定する（Ｓ１１）。対象フレームがシーンチェンジのフレームであると判定されると（Ｓ１１でＹｅｓ）、次フレームがある場合（Ｓ１９でＹｅｓ）、次フレームを対象フレームとして処理は継続される。
【０１４０】
対象フレームがシーンチェンジのフレームではないと判定された場合（Ｓ１１でＮｏ）、画像特徴量のばらつき度合いを表す値が検出される（Ｓ１２）。例えば、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度値の最大値と最小値との差分である輝度差分値を、ばらつき度合いを表す値として検出する。
【０１４１】
次に、ばらつき度合いを表す値が閾値未満であるか否かが判定される（Ｓ１３）。例えば、輝度正規化選択回路３５は、輝度差分値が閾値未満であるか否かを判定する。閾値以上であると判定された場合（Ｓ１３でＮｏ）、選択的正規化回路４１は、画像特徴量を正規化しない（Ｓ１４）。例えば、輝度値正規化回路４１ａは、ブロック毎の輝度積算値を正規化せずに、輝度特徴量として特徴量合成回路４２に出力する。
【０１４２】
ばらつき度合いを表す値が閾値未満であると判定された場合（Ｓ１３でＹｅｓ）、選択的正規化回路４１は、画像特徴量を正規化する（Ｓ１５）。例えば、輝度値正規化回路４１ａは、ブロック毎の輝度積算値を正規化して、輝度特徴量として特徴量合成回路４２に出力する。
【０１４３】
ばらつき度合いを表す値の検出（Ｓ１２）、正規化の要否の判定（Ｓ１３）及び正規化（Ｓ１５）は、画像特徴量毎に行われる。本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、画像特徴量として輝度と彩度とを用いるので、例えば、彩度についても同様の処理が行われる。
【０１４４】
具体的には、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度値の最大値と最小値との差分である彩度差分値を、ばらつき度合いを表す値として検出する（Ｓ１２）。そして、彩度正規化選択回路３６は、彩度差分値が閾値未満であるか否かを判定する（Ｓ１３）。
【０１４５】
彩度差分値が閾値以上であると判定された場合（Ｓ１３でＮｏ）、彩度値正規化回路４１ｂは、ブロック毎の彩度積算値を正規化せずに、彩度特徴量として特徴量合成回路４２に出力する（Ｓ１４）。彩度差分値が閾値未満であると判定された場合（Ｓ１３でＹｅｓ）、彩度値正規化回路４１ｂは、ブロック毎の彩度積算値を正規化して、彩度特徴量として特徴量合成回路４２に出力する（Ｓ１５）。
【０１４６】
特徴量合成回路４２は、画像特徴量の合成を行う（Ｓ１６）。例えば、特徴量合成回路４２は、輝度特徴量と彩度特徴量とを重み付け加算することで、合成画像特徴量を生成する。
【０１４７】
次に、奥行き情報生成回路４４は、合成画像特徴量に基づいて、対象フレームを３次元化するための奥行き情報を生成する（Ｓ１７）。例えば、奥行き情報生成回路４４は、合成画像特徴量に所定の係数を乗じることで、奥行き情報を生成する。このとき、奥行き情報生成回路４４は、上述したように、顔領域には顔領域専用の奥行き情報を生成してもよい。
【０１４８】
最後に、視差変調回路４５は、奥行き情報に基づいて対象フレームから３次元画像を生成する（Ｓ１８）。例えば、視差変調回路４５は、対象フレームと奥行き情報とを基に、互いに視差を有する左目用画像と右目用画像とを生成して３次元画像として出力する。
【０１４９】
次フレームが存在する場合（Ｓ１９でＹｅｓ）、次フレームを対象フレームとして上記の処理（Ｓ１１〜Ｓ１９）が繰り返される。次フレームが存在しない場合（Ｓ１９でＮｏ）、処理は終了する。
【０１５０】
以上のように、本発明の実施の形態に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であり、検出部と、正規化部と、奥行き情報生成部とを備える。検出部は、例えば、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４を含み、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。正規化部は、例えば、選択的正規化回路４１であり、検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。奥行き情報生成部は、例えば、奥行き情報生成回路４４であり、正規化部によって出力された画像特徴量、すなわち、正規化後の画像特徴量、又は、正規化されていない画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。
【０１５１】
このように、画像特徴量のばらつき度合いを表す値が閾値未満である場合に、ばらつき度合いを表す値を閾値に近づけるように画像特徴量を正規化するので、本発明の実施の形態に係る立体映像処理装置は、画像特徴量を適切に正規化することができる。つまり、情報量の乏しい画像特徴量を必要以上に正規化（拡大）することを防止することができ、画像特徴量の信頼性の低減を抑制することができる。
【０１５２】
したがって、奥行き情報を生成する際に信頼性の低い画像特徴量を用いることが抑制され、精度の良い奥行き情報を生成することができる。これにより、本発明の実施の形態に係る立体映像処理装置は、立体映像の品質を向上させることができる。
【０１５３】
また、本発明の実施の形態に係る立体映像処理装置は、パラメータ選択係数設定回路３９及び特徴量合成回路４２を備えており、奥行き情報の生成に複数の画像特徴量を用いる場合に、より信頼性の高い画像特徴量を用いて奥行き情報を生成する。これにより、立体映像の奥行き情報の精度をさらに向上させることができる。
【０１５４】
また、本発明の実施の形態に係る立体映像処理装置では、奥行き情報生成回路４４が、顔専用の奥行き情報の生成を行う。これにより、注目されやすい顔周辺において精度の高い立体映像の生成が可能となる。
【０１５５】
また、本発明の実施の形態に係る立体映像処理装置は、シーンチェンジ検出回路３８を備え、シーンチェンジの際には奥行きを０に近づけ、２次元映像に近づけることで、急激な奥行きの変動を防止する。これにより、シーンチェンジ時の視覚的疲労を低減することができる。
【０１５６】
以上、本発明に係る立体映像処理装置及び立体映像処理方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
【０１５７】
例えば、上記の実施の形態では、画像特徴量のばらつき度合いを表す値として画像特徴量の最大値と最小値との差分を用いたが、画像特徴量の分散値を用いてもよい。例えば、２Ｄ３Ｄ変換回路２３は、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４の代わりに、輝度分散値検出回路及び彩度分散値検出回路を備える。
【０１５８】
輝度分散値検出回路は、輝度情報の分散値（輝度分散値）を検出し、輝度正規化選択回路３５及びパラメータ選択係数設定回路３９に出力する。輝度正規化選択回路３５は、輝度分散値と閾値とを比較する。輝度正規化選択回路３５は、輝度分散値が閾値以上である場合は、正規化を行わないと判定し、輝度分散値が閾値未満である場合は、正規化を行うと判定する。
【０１５９】
彩度分散値検出回路は、彩度情報の分散値（彩度分散値）を検出し、彩度正規化選択回路３６及びパラメータ選択係数設定回路３９に出力する。彩度正規化選択回路３６は、彩度分散値と閾値とを比較する。彩度正規化選択回路３６は、彩度分散値が閾値以上である場合は、正規化を行わないと判定し、彩度分散値が閾値未満である場合は、正規化を行うと判定する。
【０１６０】
また、パラメータ選択係数設定回路３９は、輝度分散値と彩度分散値とに基づいて、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。具体的な処理は、輝度差分値と彩度差分値とを用いた場合と同様である。
【０１６１】
つまり、パラメータ選択係数設定回路３９は、輝度分散値が彩度分散値より大きい場合は、輝度特徴量が大きく重み付けられるように、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。また、パラメータ選択係数設定回路３９は、彩度分散値が輝度分散値より大きい場合は、彩度特徴量が大きく重み付けられるように、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。
【０１６２】
これにより、分散値の大きい画像特徴量が、奥行き情報の生成に大きな影響を与えるようにすることができる。したがって、分散値が小さく、情報量の乏しい画像特徴量による奥行き情報への影響を少なくすることができるので、奥行き情報の信頼性を高めることができる。
【０１６３】
また、画像特徴量は、対象フレーム内の輝度情報及び彩度情報ではなく、輝度コントラスト、又は、ブロック毎に含まれる高周波成分の量を用いてもよい。
【０１６４】
なお、本発明は、上述したように、立体映像処理装置及び立体映像処理方法として実現できるだけではなく、本実施の形態の立体映像処理方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１６５】
具体的には、本発明は、立体映像処理装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【０１６６】
また、上記実施の形態に係る立体映像処理装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１６９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。バイオ技術の適用等が可能性として考えられる。
【０１７０】
また、本発明の実施の形態に係る立体映像処理装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１７１】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１７２】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０１７３】
さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【０１７４】
また、上記立体映像処理装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る立体映像処理装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る立体映像処理装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。例えば、本発明に係る立体映像処理装置は、図１４に示すような構成でも実現することができる。
【０１７５】
図１４は、本発明の実施の形態の変形例に係る立体映像処理装置１００の構成の一例を示す図である。立体映像処理装置１００は、２次元映像を３次元映像に変換するための装置である。図１４に示すように、立体映像処理装置１００は、検出部１１０と、正規化部１２０と、奥行き情報生成部１３０とを備える。
【０１７６】
検出部１１０は、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。検出部１１０は、例えば、図４に示す輝度抽出部２９と、彩度抽出部３０と、輝度Ｍａｘ−Ｍｉｎ検出回路３３と、彩度Ｍａｘ−Ｍｉｎ検出回路３４とを備えていてもよい。
【０１７７】
正規化部１２０は、検出部１１０によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部１１０によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。正規化部１２０は、例えば、図４に示す輝度積算値算出回路３１と、彩度積算値算出回路３２と、輝度正規化選択回路３５と、彩度正規化選択回路３６と、所定値記憶部３７と、選択的正規化回路４１とを備えていてもよい。
【０１７８】
奥行き情報生成部１３０は、正規化部１２０によって出力された画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。奥行き情報生成部１３０は、例えば、図４に示す奥行き情報生成回路４４を備えていてもよい。
【０１７９】
また、上記の立体映像処理装置による立体映像処理方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る立体映像処理装置による立体映像処理方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る立体映像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。
【０１８０】
例えば、奥行き情報の生成に１つの画像特徴量のみを利用する場合は、画像特徴量の合成（Ｓ１６）を行う必要はない。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【０１８１】
本発明に係る立体映像処理装置及び立体映像処理方法は、立体映像の画質を十分に向上させることができるという効果を奏し、例えば、デジタルテレビなどの立体映像表示装置、デジタルビデオレコーダなどの立体映像再生装置などに利用することができる。
【符号の説明】
【０１８２】
１  プレーヤ
２  立体映像表示装置
３  アクティブシャッタメガネ
４  左目用映像
５  右目用映像
１１  外部信号受信部
１２  映像信号処理部
１３  映像表示部
１４  音声信号処理部
１５  音声出力部
２１  ＩＰ変換回路
２２  スケーラ
２３  ２Ｄ３Ｄ変換回路
２４  画質改善回路
２９  輝度抽出部
３０  彩度抽出部
３１  輝度積算値算出回路
３２  彩度積算値算出回路
３３  輝度Ｍａｘ−Ｍｉｎ検出回路
３４  彩度Ｍａｘ−Ｍｉｎ検出回路
３５  輝度正規化選択回路
３６  彩度正規化選択回路
３７  所定値記憶部
３８  シーンチェンジ検出回路
３９  パラメータ選択係数設定回路
４０  メモリ
４１  選択的正規化回路
４１ａ  輝度値正規化回路
４１ｂ  彩度値正規化回路
４２  特徴量合成回路
４３  顔領域検出回路
４４  奥行き情報生成回路
４５  視差変調回路
５１  ２次元画像
５２  ブロック
６１  係数設定回路
６２、６３  セレクタ
６４  リミッタ
７１、７２、８１  乗算器
７３、８６  加算器
７４、７５  輝度特徴量
７６、７７  彩度特徴量
７８  合成画像特徴量
８２  特徴量変換係数記憶部
８３  顔奥行き処理部
８４  顔周辺領域抽出部
８５  視差オフセット算出部
８７  奥行き情報合成部
９１  奥行き情報
９２  顔領域検出結果
９３  顔領域奥行き情報
９４  顔周辺領域
９５  オフセット付き顔領域奥行き情報
９６  合成奥行き情報
１００  立体映像処理装置
１１０  検出部
１２０  正規化部
１３０  奥行き情報生成部
【図１】
2011135760.tif 000004
【図２】
2011135760.tif 000005
【図３】
2011135760.tif 000006
【図４】
2011135760.tif 000007
【図５】
2011135760.tif 000008
【図６】
2011135760.tif 000009
【図７】
2011135760.tif 000010
【図８】
2011135760.tif 000011
【図９】
2011135760.tif 000012
【図１０】
2011135760.tif 000013
【図１１】
2011135760.tif 000014
【図１２】
2011135760.tif 000015
【図１３】
2011135760.tif 000016
【図１４】
2011135760.tif 000017
【手続補正書】
【提出日】平成24年6月8日(2012.6.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元映像信号を３次元映像信号に変換するための立体映像処理装置に関し、特に、２次元映像信号から奥行き情報を生成する立体映像処理装置に関する。
【背景技術】
【０００２】
従来、液晶パネルなどを用いた映像表示装置は、２次元の映像を表示する装置として使用されてきた。その一方で、これら映像表示装置に、視差を有する３次元の映像を入力し、アクティブシャッタメガネ又は偏光板などを組み合わせて、３次元映像を鑑賞できる立体映像表示装置の開発及び販売が進んでいる。
【０００３】
さらに近年、２次元の映像から３次元の映像を生成し、表示する立体映像表示装置の研究及び開発が進んでいる。例えば、特許文献１では、２次元映像内の各領域において、映像の遠近に関する画像特徴量（輝度又は彩度など）から、各領域の視差情報を算出し、３次元映像の生成を実現している。また、特許文献１では、入力される感覚ワードによって決定されるゲインを画像特徴量に乗じることで、３次元映像作成時に重視する感覚を選択できる機能を備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１９１３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、立体映像の品質を十分に向上させることができないという課題がある。
【０００６】
例えば、特許文献１に記載の技術では、映像の遠近に関する画像特徴量から各領域の視差情報を算出する際に、各々の画像特徴量に対するゲインは、入力映像によらず決まっている。このため、例えば、輝度に重みを置いた変換をしている場合に、画像内で輝度値の分散が小さい映像が入力されると、画面全体で奥行き量が一定となり、立体感が弱くなるという問題がある。
【０００７】
また、この問題を解決するため、特許文献１に記載の技術では、輝度値を正規化する。しかしながら、正規化によって元々乏しい情報を広げるために、エラーが発生し、あるいは、強調しすぎる結果、違和感のある３次元映像になるという問題がある。
【０００８】
そこで、本発明は、立体映像の品質を十分に向上させることができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であって、前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出部と、前記検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出部によって検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化部と、前記正規化部によって出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成部とを備える。
【００１０】
これにより、画像特徴量のばらつき度合いを表す値が閾値未満である場合に、ばらつき度合いを表す値を閾値に近づけるように、すなわち、閾値を超えないように画像特徴量を正規化するので、画像特徴量を適切に正規化することができる。つまり、情報量の乏しい画像特徴量を必要以上に正規化（拡大）することを防止することができ、画像特徴量の信頼性の低減を抑制することができる。よって、立体映像の品質を十分に向上させることができる。
【００１１】
また、前記画像特徴量は、互いに異なる第１画像特徴量と第２画像特徴量とを含み、前記検出部は、前記第１画像特徴量のばらつき度合いを表す第１の値と、前記第２画像特徴量のばらつき度合いを表す第２の値とを検出し、前記正規化部は、（ｉ）前記検出部によって検出された第１の値が第１閾値未満である場合、ばらつき度合いを表す第１の値が前記第１閾値に近づくように前記第１画像特徴量を正規化して出力し、前記検出部によって検出された第１の値が前記第１閾値以上である場合、前記第１画像特徴量を正規化せずに出力し、（ｉｉ）前記検出部によって検出された第２の値が第２閾値未満である場合、ばらつき度合いを表す第２の値が前記第２閾値に近づくように前記第２画像特徴量を正規化して出力し、前記検出部によって検出された第２の値が前記第２閾値以上である場合、前記第２画像特徴量を正規化せずに出力し、前記立体映像処理装置は、さらに、前記正規化部によって出力された第１画像特徴量と第２画像特徴量との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、前記奥行き情報生成部は、前記合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成し、前記合成部は、前記第１の値が前記第２の値より大きい場合は、前記正規化部によって出力された第１画像特徴量を大きく重み付け、前記第２の値が前記第１の値より大きい場合は、前記正規化部によって出力された第２画像特徴量を大きく重み付けるように、前記重み付け加算を行ってもよい。
【００１２】
これにより、複数の画像特徴量を用いて奥行き情報を生成する場合に、ばらつき度合いを表す値が大きい方の画像特徴量の影響が大きくなるようにすることができる。つまり、奥行き情報を生成する際に信頼性の低い画像特徴量を用いることが抑制され、精度の良い奥行き情報を生成することができる。
【００１３】
また、前記検出部は、前記第１画像特徴量の最大値と最小値との差分、又は、前記第１画像特徴量の分散値を、前記第１の値として検出し、前記第２画像特徴量の最大値と最小値との差分、又は、前記第２画像特徴量の分散値を、前記第２の値として検出してもよい。
【００１４】
これにより、最大値と最小値との差分、又は、分散値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、画像特徴量の信頼性の低減を抑制することができる。
【００１５】
また、前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、前記検出部は、前記輝度情報の最大値と最小値との差分である輝度差分値、及び、前記彩度情報の最大値と最小値との差分である彩度差分値の少なくとも１つを、前記ばらつき度合いを表す値として検出してもよい。
【００１６】
これにより、輝度差分値又は彩度差分値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。
【００１７】
また、前記正規化部は、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値未満である場合に、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値となるように、前記輝度情報及び彩度情報の少なくとも１つを正規化してもよい。
【００１８】
これにより、輝度差分値又は彩度差分値が閾値になるように、輝度情報又は彩度情報を正規化するので、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。
【００１９】
また、前記検出部は、前記輝度情報を抽出する輝度抽出部と、前記輝度抽出部によって抽出された輝度情報の最大値と最小値との差分を算出することで、前記輝度差分値を検出する輝度差分算出部とを備え、前記正規化部は、前記閾値を記憶している記憶部と、前記輝度差分値と前記閾値とを比較することで、前記輝度情報の正規化を行うか否かを判定する輝度比較部と、前記輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する輝度値積算部と、前記輝度比較部によって輝度情報を正規化すると判定された場合に、前記輝度積算値を正規化し、正規化後の輝度積算値を出力し、前記輝度比較部によって輝度情報を正規化しないと判定された場合に、前記輝度積算値を正規化せずに出力する輝度値正規化部とを備え、前記奥行き情報生成部は、前記輝度値正規化部によって出力された輝度積算値に基づいて、前記奥行き情報を生成してもよい。
【００２０】
これにより、輝度情報から奥行き情報を生成することができる。例えば、輝度が高い程、手前に飛び出して見えるような飛び出し量を示す奥行き情報を生成する。
【００２１】
また、前記検出部は、さらに、前記彩度情報を抽出する彩度抽出部と、前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、前記正規化部は、さらに、前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、前記立体映像処理装置は、さらに、前記輝度値正規化部によって出力された輝度積算値と、前記彩度値正規化部によって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、前記奥行き情報生成部は、前記合成部によって出力された合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成してもよい。
【００２２】
これにより、輝度情報と彩度情報とから奥行き情報を生成するので、より精度の高い奥行き情報を生成することができる。
【００２３】
また、前記合成部は、前記輝度差分値が前記彩度差分値より大きい場合は、前記輝度値正規化部によって出力された輝度積算値を大きく重み付け、前記彩度差分値が前記輝度差分値より大きい場合は、前記彩度値正規化部によって出力された彩度積算値を大きく重み付けるように、前記重み付け加算を行ってもよい。
【００２４】
これにより、最大値と最小値との差分が大きい画像特徴量を大きく重み付けるので、奥行き情報の生成の際に、最大値と最小値との差分が大きい画像特徴量の影響を大きくすることができる。最大値と最小値との差分が大きいことは、情報の信頼性が高いことを示しているので、信頼性の高い情報に基づいて奥行き情報を生成することができる。
【００２５】
また、前記立体映像処理装置は、さらに、前記輝度値正規化部によって出力された輝度積算値に乗じるための輝度用係数と、前記彩度値正規化部によって出力された彩度積算値に乗じるための彩度用係数とを生成する係数生成部と、前記対象フレームの前のフレームの前記輝度用係数と前記彩度用係数とを記憶するメモリとを備え、前記係数生成部は、前記輝度差分値が前記彩度差分値より大きい場合に前記輝度用係数が前記彩度用係数より大きくなり、前記彩度差分値が前記輝度差分値より大きい場合に前記彩度用係数が前記輝度用係数より大きくなるように、前記輝度用係数及び前記彩度用係数を設定する係数設定部と、前記係数設定部によって設定された輝度用係数及び彩度用係数と、前記前のフレームの輝度用係数及び彩度用係数との差が所定の範囲内に収まるように、前記係数設定部によって設定された輝度用係数及び彩度用係数を補正するリミッタとを備えてもよい。
【００２６】
これにより、前のフレームからの変化量を所定の範囲に抑えることができるので、急激な奥行きの変化を抑制することができ、視聴者の視覚的疲労を低減することができる。
【００２７】
また、前記検出部は、前記彩度情報を抽出する彩度抽出部と、前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、前記正規化部は、前記閾値を記憶している記憶部と、前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、前記奥行き情報生成部は、前記彩度値正規化部によって出力された彩度積算値に基づいて、前記奥行き情報を生成してもよい。
【００２８】
これにより、彩度情報から奥行き情報を生成することができる。例えば、彩度が高い程、手前に飛び出して見えるような飛び出し量を示す奥行き情報を生成する。
【００２９】
また、前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、前記検出部は、前記輝度情報の分散値及び前記彩度情報の分散値の少なくとも１つを、前記ばらつき度合いを表す値として検出してもよい。
【００３０】
これにより、分散値が閾値より小さいことは、情報量が乏しいことを意味するので、閾値に近づくように正規化することで、閾値を超えるような必要以上の正規化（拡大）を防止することができ、輝度情報又は彩度情報の信頼性の低減を抑制することができる。
【００３１】
また、前記立体映像処理装置は、さらに、前記対象フレームがシーンチェンジのフレームであるか否かを判定するシーンチェンジ検出部を備え、前記奥行き情報生成部は、前記対象フレームがシーンチェンジのフレームであると判定された場合と、前記対象フレームがシーンチェンジのフレームでないと判定された場合とのうち、前記対象フレームがシーンチェンジのフレームでないと判定された場合にのみ、前記奥行き情報を生成してもよい。
【００３２】
これにより、シーンチェンジの前後では奥行き情報の変化が激しくなりやすいので、対象フレームがシーンチェンジのフレームである場合は、奥行き情報を生成しない、すなわち、対象フレームを２次元画像として出力することで、視聴者の視覚的疲労を抑制することができる。
【００３３】
また、前記立体映像処理装置は、さらに、前記対象フレームから顔領域を検出する顔検出部を備え、前記奥行き情報生成部は、前記顔領域の奥行き情報である第１奥行き情報を生成する第１奥行き情報生成部と、前記正規化部によって出力された画像特徴量に基づいて、少なくとも前記顔領域以外の領域の奥行き情報である第２奥行き情報を生成する第２奥行き情報生成部と、前記第１奥行き情報と前記第２奥行き情報とを合成することで、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報合成部とを備えてもよい。
【００３４】
これにより、検出した顔領域の奥行き情報を、画像特徴量ではなく専用の処理に基づいて生成することができるので、精度の高い奥行き情報を生成することができる。
【００３５】
また、前記奥行き情報生成部は、さらに、前記顔領域の周辺領域を抽出する顔周辺領域抽出部と、前記第２奥行き情報から前記周辺領域の奥行き情報を取得し、取得した周辺領域の奥行き情報に基づいて、前記顔領域の奥行き情報を前記周辺領域の奥行き情報に近づけるためのオフセット値を算出するオフセット算出部とを備え、前記第１奥行き情報生成部は、予め定められた奥行き情報と前記オフセット値とに基づいて、前記第１奥行き情報を生成してもよい。
【００３６】
これにより、顔領域の奥行き情報を周囲の奥行き情報に近づけることができるので、違和感の少ない立体映像を生成することができる。
【００３７】
また、前記顔周辺領域抽出部は、前記顔領域の下方の領域、又は、前記顔領域の上方及び左右方向の領域を、前記周辺領域として抽出してもよい。
【００３８】
これにより、例えば、顔領域の下方には被写体の胴体が存在する場合が多く、胴体の奥行き情報に顔領域の奥行き情報を近づけることができ、違和感の少ない立体映像を生成することができる。
【００３９】
なお、本発明は、立体映像処理装置として実現できるだけではなく、当該立体映像処理装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００４０】
また、上記の各立体映像処理装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００４１】
本発明に係る立体映像処理装置及び立体映像処理方法によれば、立体映像の品質を十分に向上させることができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、本発明の実施の形態に係る立体映像視聴システムの構成の一例を示す図である。
【図２】図２は、本発明の実施の形態に係る立体映像表示装置の構成の一例を示すブロック図である。
【図３】図３は、本発明の実施の形態に係る映像信号処理部の構成の一例を示すブロック図である。
【図４】図４は、本発明の実施の形態に係る２Ｄ３Ｄ変換回路の構成の一例を示すブロック図である。
【図５】図５は、本発明の実施の形態に係る輝度及び彩度の積算値を算出する処理を説明するための図である。
【図６】図６は、本発明の実施の形態に係る正規化選択処理を説明するための図である。
【図７】図７は、本発明の実施の形態に係るパラメータ選択係数設定回路の構成の一例を示すブロック図である。
【図８】図８は、本発明の実施の形態に係る係数設定処理の一例を説明するための図である。
【図９】図９は、本発明の実施の形態に係る特徴量合成回路の構成の一例を示すブロック図である。
【図１０】図１０は、本発明の実施の形態に係る特徴量合成処理における値の変化を説明するための図である。
【図１１】図１１は、本発明の実施の形態に係る奥行き情報生成回路の構成の一例を示すブロック図である。
【図１２】図１２は、本発明の実施の形態に係る奥行き情報生成処理における値の変化を説明するための図である。
【図１３】図１３は、本発明の実施の形態に係る立体映像処理装置の動作の一例を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態の変形例に係る立体映像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４３】
以下、本発明の立体映像処理装置の実施の形態について、図面を参照しながら説明する。
【００４４】
本発明の実施の形態に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であり、検出部と、正規化部と、奥行き情報生成部とを備える。検出部は、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。正規化部は、検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。奥行き情報生成部は、正規化部によって出力された画像特徴量、すなわち、正規化後の画像特徴量、又は、正規化されていない画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。
【００４５】
図１は、本発明の実施の形態に係る立体映像視聴システムの構成の一例を示す図である。図１に示すように、本発明の実施の形態に係る立体映像視聴システムは、プレーヤ１と、立体映像表示装置２と、アクティブシャッタメガネ３とを備える。
【００４６】
プレーヤ１は、映像再生装置の一例であり、２Ｄの映像（２次元画像、平面画像）を再生し、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルを介して映像信号を立体映像表示装置２に送る。例えば、プレーヤ１は、映像コンテンツを格納するＨＤ（Ｈａｒｄ  Ｄｉｓｋ）ドライブ、又は、放送波を受信するアンテナを有する。そして、プレーヤ１は、ＨＤドライブ、若しくは、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ、登録商標）などの外部の記録媒体、又は、アンテナを介して受信した放送波から、映像コンテンツを取得する。プレーヤ１は、取得した映像コンテンツを２Ｄ映像信号として立体映像表示装置２に送信する。
【００４７】
立体映像表示装置２は、プレーヤ１が出力した２Ｄ映像信号を受け取り、受け取った２Ｄ映像信号を立体映像に変換する。本発明の実施の形態に係る立体映像は、視差を有する左目用映像４と右目用映像５とから構成される。視聴者（ユーザ）は、アクティブシャッタメガネ３を用いて左目用映像４を左目で、右目用映像５を右目で見ることで、３次元動画像を立体的に感じることができる。例えば、立体映像表示装置２は、左目用映像４と右目用映像５とを１フレーム毎に交互に表示する。
【００４８】
アクティブシャッタメガネ３は、立体映像表示装置２による映像の表示タイミングと同期している。具体的には、アクティブシャッタメガネ３は、立体映像表示装置２が左目用映像４を表示している時には、右目を遮光し、左目のみに光を透過させ、右目用映像５を表示している時には、左目を遮光し、右目のみに光を透過させる。この操作を高速に行うことで、アクティブシャッタメガネ３をかけた視聴者は、左目で左目用映像４を、右目で右目用映像５を見ることができる。左目用映像４及び右目用映像５に適切な視差をもたせることで、視聴者は立体映像を観察することができる。
【００４９】
なお、立体映像表示装置２への映像信号の入力は、Ｄ端子用ケーブル、又は、放送波を伝達する同軸ケーブルでもよい。また、有線のみならず、無線で入力する場合も対応可能である。また、立体映像表示装置２が表示する映像の視点数は３以上でもよい。また、立体映像表示装置２は、３次元的にボクセルを表示する体積表示型の表示装置でもよい。
【００５０】
なお、立体映像表示装置２及びアクティブシャッタメガネ３によって、視聴者の左目及び右目のそれぞれに異なる映像を見せる手法については、立体映像表示装置２から異なる偏光方式で左目用映像及び右目用映像を出力して、偏光メガネによって映像を分離する偏光方式でもよい。あるいは、パララックスバリア又はレンチキュラシートを用いて映像を分離する方式でもよい。なお、立体映像表示装置２が表示する映像の視点数が１以上であり、観察者の位置に合わせて異なる視点から見た映像を表示する方式でもよい。
【００５１】
図２は、本発明の実施の形態に係る立体映像表示装置２の構成の一例を示すブロック図である。図２に示すように、本発明の実施の形態に係る立体映像表示装置２は、外部信号受信部１１と、映像信号処理部１２と、映像表示部１３と、音声信号処理部１４と、音声出力部１５とを備える。
【００５２】
外部信号受信部１１は、ＨＤＭＩケーブルを介してプレーヤ１から出力された入力信号を受け取り、受け取った入力信号の中のデータフレームをデコードし、映像及び音声などの信号を出力する。
【００５３】
映像信号処理部１２には、外部信号受信部１１から出力された映像信号が供給される。映像信号処理部１２は、拡大及び縮小処理、映像の２Ｄ３Ｄ変換（平面画像から擬似立体画像への変換）を行い、２視点からなる３次元映像データを出力する。なお、映像信号処理部１２の詳細な構成については、後で説明する。
【００５４】
映像表示部１３は、映像信号処理部１２から出力された２視点の映像を受け取り、左目用映像と右目用映像とを１フレーム毎に交互に表示を行う。映像表示部１３は、例えば、液晶ディスプレイ、プラズマディスプレイパネル、又は、有機ＥＬディスプレイパネルなどである。
【００５５】
音声信号処理部１４は、外部信号受信部１１から出力された音声信号を受け、音質処理などを行う。
【００５６】
音声出力部１５は、音声信号処理部１４から出力された音声信号を、音声として出力する。音声出力部１５は、例えば、スピーカなどである。
【００５７】
なお、外部信号受信部１１及びその入力であるＨＤＭＩ信号は、チューナーと放送波とに置き換えることも可能である。
【００５８】
図３は、本発明の実施の形態に係る映像信号処理部１２の構成の一例を示すブロック図である。図３に示すように、本発明の実施の形態に係る映像信号処理部１２は、ＩＰ変換回路２１と、スケーラ２２と、２Ｄ３Ｄ変換回路２３と、画質改善回路２４とを備える。
【００５９】
ＩＰ変換回路２１は、外部信号受信部１１から入力された映像信号がインターレース形式の信号であった場合、ＩＰ変換処理を行ってプログレッシブ形式の映像信号に変換する。
【００６０】
スケーラ２２は、ＩＰ変換回路２１から出力された映像の解像度が、最終的に表示する映像表示部１３の解像度と異なっている場合に、拡大又は縮小処理を行うことで、映像表示部１３の解像度に合わせた映像データを出力する。
【００６１】
２Ｄ３Ｄ変換回路２３は、スケーラ２２から出力される２次元映像データを受け取り、受け取った２次元映像データを３次元映像データに変換する。例えば、２Ｄ３Ｄ変換回路２３は、２視点から見た映像信号を３次元映像データとして出力する。なお、２Ｄ３Ｄ変換回路２３の詳細な構成については、後で説明する。
【００６２】
画質改善回路２４は、２Ｄ３Ｄ変換回路２３から出力された各視点の映像データに対して、ガンマ処理及びエッジエンハンス処理などの画質改善処理を行い、処理後の映像信号を出力する。
【００６３】
図４は、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３の構成の一例を示すブロック図である。図４に示すように、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、輝度抽出部２９と、彩度抽出部３０と、輝度積算値算出回路３１と、彩度積算値算出回路３２と、輝度Ｍａｘ−Ｍｉｎ検出回路３３と、彩度Ｍａｘ−Ｍｉｎ検出回路３４と、輝度正規化選択回路３５と、彩度正規化選択回路３６と、所定値記憶部３７と、シーンチェンジ検出回路３８と、パラメータ選択係数設定回路３９と、メモリ４０と、選択的正規化回路４１と、特徴量合成回路４２と、顔領域検出回路４３と、奥行き情報生成回路４４と、視差変調回路４５とを備える。
【００６４】
輝度抽出部２９は、２次元映像の対象フレーム内の輝度情報を抽出する。具体的には、輝度抽出部２９は、スケーラ２２から出力された映像信号から輝度成分のみを抽出し、輝度データとして出力する。輝度データは、例えば、２次元映像の１フレーム内の画素毎の輝度値を示す輝度情報である。輝度情報は、第１画像特徴量の一例であり、映像内の奥行き情報の生成に使用される。
【００６５】
彩度抽出部３０は、２次元映像の対象フレーム内の彩度情報を抽出する。具体的には、彩度抽出部３０は、スケーラ２２から出力された映像データから彩度成分のみを抽出し、彩度データとして出力する。彩度データは、例えば、２次元映像の１フレーム内の画素毎の彩度値を示す彩度情報である。彩度情報は、第２画像特徴量の一例であり、映像内の奥行き情報の生成に使用される。
【００６６】
輝度積算値算出回路３１は、輝度値積算部の一例であり、輝度抽出部２９によって抽出された輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する。具体的には、輝度積算値算出回路３１は、輝度抽出部２９から出力された輝度データに含まれる輝度値の合計値を算出する。より具体的には、図５に示すように、輝度積算値算出回路３１は、２次元画像５１を複数のブロック５２に分割し、輝度値の合計値をブロック毎に輝度積算値として算出する。
【００６７】
彩度積算値算出回路３２は、彩度値積算部の一例であり、彩度抽出部３０によって抽出された彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する。具体的には、彩度積算値算出回路３２は、彩度抽出部３０から出力された彩度データに含まれる彩度値の合計値を算出する。具体的には、輝度積算値算出回路３１と同様にして、彩度積算値算出回路３２は、２次元映像を複数のブロックに分割し、彩度値の合計値をブロック毎に彩度積算値として算出する。
【００６８】
輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度差分算出部の一例であり、輝度抽出部２９によって抽出された輝度情報の最大値と最小値との差分を算出することで、輝度差分値を検出する。具体的には、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度抽出部２９から出力された輝度データの最大値と最小値との差分である輝度差分値α１を算出して、出力する。輝度差分値α１は、対象フレーム内の輝度情報の分散幅に相当する。つまり、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、対象フレーム内の輝度値の最大値と最小値との差分を算出し、算出した差分を輝度差分値α１として出力する。
【００６９】
彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度差分算出部の一例であり、彩度抽出部３０によって抽出された彩度情報の最大値と最小値との差分を算出することで、彩度差分値を検出する。具体的には、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度抽出部３０から出力される彩度データの最大値と最小値との差分である彩度差分値α２を算出して、出力する。彩度差分値α２は、対象フレーム内の彩度情報の分散幅に相当する。つまり、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、対象フレーム内の彩度値の最大値と最小値との差分を算出し、算出した差分を彩度差分値α２として出力する。
【００７０】
なお、最大値と最小値との差を求める前に、画像特徴量（輝度情報及び彩度情報）のヒストグラムを求め、それぞれの上下数％のデータを除外する処理を加えてもよい。
【００７１】
輝度正規化選択回路３５は、輝度比較部の一例であり、輝度差分値α１と所定の第１閾値とを比較することで、輝度情報の正規化を行うか否かを判定する。具体的には、輝度正規化選択回路３５は、輝度Ｍａｘ−Ｍｉｎ検出回路３３から出力される輝度差分値α１と、所定値記憶部３７から出力される正規化処理選択用の所定値とを比較する。そして、輝度正規化選択回路３５は、輝度積算値に対する正規化処理の要否を判定し、その結果である輝度正規化処理判定結果を出力する。輝度正規化処理判定結果は、輝度値を正規化するか否かを示す情報である。
【００７２】
彩度正規化選択回路３６は、彩度比較部の一例であり、彩度差分値α２と所定の第２閾値とを比較することで、彩度情報の正規化を行うか否かを判定する。具体的には、彩度正規化選択回路３６は、彩度Ｍａｘ−Ｍｉｎ検出回路３４から出力される彩度差分値α２と、所定値記憶部３７から出力される正規化処理選択用の所定値とを比較する。このとき、輝度正規化選択回路３５が用いる所定値（第１閾値）と、彩度正規化選択回路３６が用いる所定値（第２閾値）とは、同じ値でなくてもよい。彩度正規化選択回路３６は、彩度積算値に対する正規化処理の要否を判定し、彩度正規化処理判定結果を出力する。彩度正規化処理判定結果は、彩度値を正規化するか否かを示す情報である。
【００７３】
図６は、本発明の実施の形態に係る正規化選択処理の判定方法の一例を説明するための図である。
【００７４】
各特徴量において、Ｍａｘ−Ｍｉｎ値が正規化処理選択用の所定値未満である場合には、Ｍａｘ−Ｍｉｎ値が所定値になるような正規化処理が実行されるように、輝度正規化選択回路３５及び彩度正規化選択回路３６は、正規化処理の“要”を選択する。これに対して、Ｍａｘ−Ｍｉｎ値が所定値以上である場合には正規化処理を行わないように、輝度正規化選択回路３５及び彩度正規化選択回路３６は、正規化処理の“不要”を選択する。それぞれの選択結果は、選択的正規化回路４１に出力される。
【００７５】
要するに、輝度正規化選択回路３５は、輝度差分値α１が閾値未満の場合は、輝度値を正規化する必要があると判定し、輝度差分値α１が閾値以上の場合は、輝度値を正規化する必要はないと判定する。つまり、輝度正規化選択回路３５は、輝度差分値α１が閾値未満の場合は、正規化を行わないことを示す判定結果を出力し、輝度差分値α１が閾値以上の場合は、正規化を行うことを示す判定結果を出力する。
【００７６】
同様に、彩度正規化選択回路３６は、彩度差分値α２が閾値未満の場合は、彩度値を正規化する必要があると判定し、彩度差分値α２が閾値以上の場合は、彩度値を正規化する必要はないと判定する。つまり、彩度正規化選択回路３６は、彩度差分値α２が閾値未満の場合は、正規化を行わないことを示す判定結果を出力し、彩度差分値α２が閾値以上の場合は、正規化を行うことを示す判定結果を出力する。
【００７７】
特徴量のＭａｘ−Ｍｉｎ値が小さい場合、必要以上の正規化を行うと、本来乏しい特徴量の情報を強引に拡大するため、最終的に生成される奥行き情報の質が落ちてしまう。特徴量のＭａｘ−Ｍｉｎ値が大きい場合は、正規化を行わなくても、十分に質の高い奥行き情報を生成することができる。
【００７８】
一方で、Ｍａｘ−Ｍｉｎ値が小さい場合に正規化を行わないと、生成される奥行き情報がほぼ平面となり、立体感が失われる。そこで、正規化する量を所定値にとどめ、Ｍａｘ−Ｍｉｎ値が所定値以上の場合は正規化処理を行わないことにより、特徴量情報の信頼性を大きく低下させることなく、正規化することができる。
【００７９】
所定値記憶部３７は、画像特徴量の正規化を行うか否かを判定するための閾値となる所定値を記憶している記憶部である。所定値は、画像特徴量毎に異なっていてもよい。
【００８０】
シーンチェンジ検出回路３８は、シーンチェンジ検出部の一例であり、対象フレームがシーンチェンジのフレームであるか否かを判定する。具体的には、シーンチェンジ検出回路３８は、スケーラ２２から出力された映像データを受け取り、今入力されている映像データがシーンチェンジの瞬間であるか否かを判別し、シーンチェンジ検出結果を出力する。
【００８１】
例えば、シーンチェンジが起こる場合、シーンチェンジの前後で１フレーム内の輝度値の平均値の変化が大きい。したがって、シーンチェンジ検出回路３８は、対象フレームの輝度値の平均値と、対象フレームの前のフレームの輝度値の平均値とを比較し、変化量が所定の閾値以上であれば、対象フレームをシーンチェンジのフレームであると判定することができる。なお、シーンチェンジ検出回路３８は、対象フレームを含む、連続する複数のフレームをシーンチェンジのフレームとして判定してもよい。
【００８２】
また、ユーザが撮影の操作を行った場合などに撮影の開始であることを示す情報がストリームに含まれている場合は、シーンチェンジ検出回路３８は、当該情報を検出することで、対象フレームがシーンチェンジのフレームであるか否かを判定してもよい。
【００８３】
パラメータ選択係数設定回路３９は、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４のそれぞれから出力された輝度差分値α１及び彩度差分値α２、シーンチェンジ検出回路３８から出力されるシーンチェンジ検出結果、メモリ４０から出力される前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を受け取り、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２を出力する。パラメータ選択係数設定回路３９の詳細については、後で説明する。
【００８４】
メモリ４０は、対象フレームの前のフレームの輝度用係数ｋ１と彩度用係数ｋ２とを記憶するためのメモリである。つまり、メモリ４０は、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１及び彩度用係数ｋ２の値を記憶するためのメモリである。また、メモリ４０は、記憶された輝度用係数ｋ１及び彩度用係数ｋ２のフレームの次フレームの輝度用係数ｋ１及び彩度用係数ｋ２をパラメータ選択係数設定回路３９が算出する際に、記憶された輝度用係数ｋ１及び彩度用係数ｋ２を出力する。これらの輝度用係数ｋ１及び彩度用係数ｋ２については、後述する。
【００８５】
選択的正規化回路４１は、画像特徴量のばらつき度合いを表す値と閾値との比較結果に基づいて、画像特徴量の正規化を選択的に行う。つまり、選択的正規化回路４１は、正規化部の一例であり、画像特徴量のばらつき度合いを表す値が閾値未満である場合、ばらつき度合いを表す値が当該閾値に近づくように画像特徴量を正規化して出力する。また、選択的正規化回路４１は、画像特徴量のばらつき度合いを表す値が閾値以上である場合、画像特徴量を正規化せずに出力する。
【００８６】
具体的には、選択的正規化回路４１は、輝度値正規化回路４１ａと、彩度値正規化回路４１ｂとを備える。
【００８７】
輝度値正規化回路４１ａは、第１画像特徴量正規化部の一例であり、第１画像特徴量のばらつき度合いを表す第１の値が第１閾値未満である場合に、ばらつき度合いを表す第１の値が第１閾値に近づくように第１画像特徴量を正規化して出力する。また、輝度値正規化回路４１ａは、第１の値が第１閾値以上である場合に、第１画像特徴量を正規化せずに出力する。
【００８８】
具体的には、輝度値正規化回路４１ａは、輝度値正規化部の一例であり、輝度正規化選択回路３５によって輝度情報を正規化すると判定された場合に、輝度積算値算出回路３１によって出力される輝度積算値を正規化し、正規化後の輝度積算値を出力する。また、輝度値正規化回路４１ａは、輝度正規化選択回路３５によって輝度情報を正規化しないと判定された場合に、輝度積算値算出回路３１によって出力される輝度積算値を正規化せずにそのまま出力する。
【００８９】
なお、輝度値正規化回路４１ａから出力される輝度積算値を、輝度特徴量と記載する。つまり、輝度特徴量は、輝度差分値に応じて正規化された場合の輝度積算値、又は、正規化されていない場合の輝度積算値である。
【００９０】
彩度値正規化回路４１ｂは、第２画像特徴量正規化部の一例であり、第２画像特徴量のばらつき度合いを表す第２の値が第２閾値未満である場合に、ばらつき度合いを表す第２の値が第２閾値に近づくように第２画像特徴量を正規化して出力する。また、彩度値正規化回路４１ｂは、第２の値が第２閾値以上である場合に、第２画像特徴量を正規化せずに出力する。
【００９１】
具体的には、彩度値正規化回路４１ｂは、彩度値正規化部の一例であり、彩度正規化選択回路３６によって彩度情報を正規化すると判定された場合に、彩度積算値算出回路３２によって出力される彩度積算値を正規化し、正規化後の彩度積算値を出力する。また、彩度値正規化回路４１ｂは、彩度正規化選択回路３６によって彩度情報を正規化しないと判定された場合に、彩度積算値算出回路３２によって出力される彩度情報を正規化せずにそのまま出力する。
【００９２】
なお、彩度値正規化回路４１ｂから出力される彩度積算値を、彩度特徴量と記載する。つまり、彩度特徴量は、彩度差分値に応じて正規化された場合の彩度積算値、又は、正規化されていない場合の彩度積算値である。
【００９３】
要するに、選択的正規化回路４１は、輝度積算値算出回路３１から出力された輝度積算値に、輝度正規化選択回路３５から出力される判定結果に基づいて選択的に正規化を行い、輝度特徴量を出力する。同様に、選択的正規化回路４１は、彩度積算値算出回路３２から出力された彩度積算値に、彩度正規化選択回路３６から出力される判定結果に基づいて選択的に正規化を行い、彩度特徴量を出力する。
【００９４】
ここで、正規化とは、例えば、入力された値が１０から２０に分散していた場合、これを０から３０など、特定の範囲まで均一に広げる又は狭める処理を意味する。輝度正規化選択回路３５又は彩度正規化選択回路３６にて正規化処理を行わないと判定された場合、選択的正規化回路４１は、正規化処理を行わないと判定された画像特徴量をそのまま正規化後の画像特徴量として出力する。
【００９５】
特徴量合成回路４２は、合成部の一例であり、輝度値正規化回路４１ａによって出力された輝度積算値と、彩度値正規化回路４１ｂによって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する。具体的には、特徴量合成回路４２は、選択的正規化回路４１から出力された画像特徴量と、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１及び彩度用係数ｋ２とを受け取り、各画像特徴量に、対応した係数を乗じて出力する。すなわち、特徴量合成回路４２は、輝度特徴量と彩度特徴量とを、輝度用係数ｋ１及び彩度用係数ｋ２を用いて重み付け加算することで、合成特徴量を出力する。特徴量合成回路４２の詳細については、後で説明する。
【００９６】
顔領域検出回路４３は、顔検出部の一例であり、２次元映像の対象フレームから顔領域を検出する。具体的には、顔領域検出回路４３は、スケーラ２２から出力された映像データにおいて、顔と思われる領域を検出し、対象フレーム内における顔領域の位置及び顔の方向などを含んだ顔領域検出結果を出力する。
【００９７】
奥行き情報生成回路４４は、選択的正規化回路４１から出力された画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。例えば、奥行き情報は、輝度値が高い程、表示画面から視聴者の方向に飛び出して見えるような飛び出し量を示す情報である。あるいは、奥行き情報は、彩度値が高い程、表示画面から視聴者の方向に飛び出して見えるような飛び出し量を示す情報である。
【００９８】
本実施の形態では、奥行き情報生成回路４４は、特徴量合成回路４２によって生成された合成画像特徴量に所定の係数を乗じることで、奥行き情報を生成する。具体的には、奥行き情報生成回路４４は、特徴量合成回路４２から出力された合成画像特徴量を奥行き情報に変換するとともに、顔領域検出回路４３から出力された顔領域検出結果に基づいた奥行き情報を生成し、これらの奥行き情報を合成することで対象フレームの奥行き情報を出力する。
【００９９】
視差変調回路４５は、奥行き情報生成回路４４から出力された奥行き情報を基に、スケーラ２２から出力された映像データに対して視差をつけ、２視点から見た３次元映像データを生成し、出力する。
【０１００】
図７は、本発明の実施の形態に係るパラメータ選択係数設定回路３９の構成の一例を示すブロック図である。パラメータ選択係数設定回路３９は、係数生成部の一例であり、輝度値正規化回路４１ａから出力された輝度積算値に乗じるための輝度用係数と、彩度値正規化回路４１ｂから出力された彩度積算値に乗じるための彩度用係数とを生成する。
【０１０１】
図７に示すように、パラメータ選択係数設定回路３９は、係数設定回路６１と、セレクタ６２及び６３と、リミッタ６４とを備える。パラメータ選択係数設定回路３９は、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２を、対象フレームの輝度差分値α１及び彩度差分値α２、シーンチェンジ検出結果、並びに、前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値から生成する。
【０１０２】
輝度用係数ｋ１は、２次元映像の輝度値が奥行き情報の生成においてどれほどの影響力を示すものかを表す値であり、彩度用係数ｋ２は、２次元映像の彩度値が奥行き情報の生成においてどれほどの影響力を示すものかを表す値である。つまり、各係数は、画像特徴量の各分散幅の大きさに応じて、奥行き情報生成回路４４において生成される奥行き情報への影響が大きくなることを意味している。
【０１０３】
係数設定回路６１は、係数設定部の一例であり、輝度差分値α１が彩度差分値α２より大きい場合に輝度用係数ｋ１’が彩度用係数ｋ２’より大きくなり、彩度差分値α２が輝度差分値α１より大きい場合に彩度用係数ｋ２’が輝度用係数ｋ１’より大きくなるように、輝度用係数ｋ１’及び彩度用係数ｋ２’を設定する。具体的には、係数設定回路６１は、輝度Ｍａｘ−Ｍｉｎ検出回路３３から出力される輝度差分値α１と、彩度Ｍａｘ−Ｍｉｎ検出回路３４から出力される彩度差分値α２とを受け取り、以下の（式１）に基づいて輝度用係数ｋ１’及び彩度用係数ｋ２’を生成する。
【０１０４】
【数１】
2011135760.tif 000018
【０１０５】
図８は、本発明の実施の形態に係る係数設定処理の一例を説明するための図である。係数設定回路６１は、図８（ａ）に示すような輝度差分値α１及び彩度差分値α２が入力された場合、図８（ｂ）に示すような輝度用係数ｋ１’及び彩度用係数ｋ２’を出力する。図８に示す例では、入力された輝度差分値α１及び彩度差分値α２の比と、出力される輝度用係数ｋ１’及び彩度用係数ｋ２’の比とは等しい。また、出力される輝度用係数ｋ１’と彩度用係数ｋ２’とを足し合わせると１になる。
【０１０６】
Ｍａｘ−Ｍｉｎ値が小さい画像特徴量は、正規化処理の影響を大きく受けており、情報の信頼性に乏しい。このため、奥行き情報を生成する際に、Ｍａｘ−Ｍｉｎ値が小さい画像特徴量の影響力が大きいと、不自然な奥行きが生成される恐れがある。
【０１０７】
そのため、係数設定回路６１は、情報の信頼性が高い画像特徴量、具体的にはＭａｘ−Ｍｉｎ値が高い画像特徴量ほど、奥行き情報の生成に大きな影響力を持つように係数を設定することで、立体映像における奥行きの不自然さを軽減することが可能となる。
【０１０８】
セレクタ６２及び６３は、シーンチェンジ検出回路３８から出力されるシーンチェンジ検出結果を受け取り、現在の映像（対象フレーム）がシーンチェンジの瞬間であると判別していた場合は０を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。セレクタ６２及び６３は、対象フレームがシーンチェンジの瞬間でない場合には、係数設定回路６１から出力された輝度用係数ｋ１’及び彩度用係数ｋ２’を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。言い換えると、シーンチェンジ検出回路３８において、シーンチェンジを検出しない場合のみ、係数設定回路６１から出力された輝度用係数ｋ１’及び彩度用係数ｋ２’を輝度用係数ｋ１及び彩度用係数ｋ２として出力する。
【０１０９】
３Ｄ映像において、シーンチェンジ時は注視点の奥行きが一瞬で大きく変化した場合、視聴者は、一時的に立体視ができなかったり、疲労感を覚えたりすることがある。特に、注視点が表示装置の表示面から大きく奥にあり、シーンチェンジによってその注視点が突然表示面から大きく手前に飛び出すような映像に瞬間的に切り替わった場合、あるいは、逆に手前から奥に切り替わった際に顕著である。
【０１１０】
そこで、本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、シーンチェンジ時には奥行きを０、すなわち、通常の２Ｄ映像に近づけるような処理を行う。この処理により、シーンチェンジ時の奥行き量の変化が抑えることができる。
【０１１１】
リミッタ６４は、リミッタ処理を行う。リミッタ処理は、係数設定回路６１によって設定された輝度用係数ｋ１’及び彩度用係数ｋ２’と、前のフレームの輝度用係数ｋ１及び彩度用係数ｋ２との差が所定の範囲内に収まるように、係数設定回路６１によって設定された輝度用係数ｋ１’及び彩度用係数ｋ２’を補正することである。
【０１１２】
具体的には、リミッタ６４は、メモリ４０から入力される、前フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を基に、セレクタ６２及び６３から出力される係数に対してリミッタ処理を行い、対象フレームの輝度用係数ｋ１及び彩度用係数ｋ２の値を出力する。例えば、輝度に乏しい実写映像が入力されている状態において、編集作業などにより突然輝度に富んだ文字等が映像の一部に表示された場合、それまで奥行き情報生成において彩度重視の変換をしていたところで、急に輝度重視の変換に切り替わり、違和感につながる恐れがある。そこで、本発明の実施の形態に係るリミッタ６４は、輝度用係数ｋ１及び彩度用係数ｋ２のフレーム間の変化を緩やかにすることで、違和感を軽減することができる。
【０１１３】
図９は、本発明の実施の形態に係る特徴量合成回路４２の構成の一例を示す図である。図１０は、本発明の実施の形態に係る特徴量合成処理による値の変化を説明するための図である。以下、図９及び図１０を用いて特徴量合成回路４２の処理内容の一例を説明する。
【０１１４】
特徴量合成回路４２は、複数の種類の画像特徴量を用いて奥行き情報を生成する場合に、複数の種類の画像特徴量を合成する回路である。例えば、複数の種類の画像特徴量は、互いに異なる第１画像特徴量及び第２画像特徴量であり、具体的には、上述したような輝度情報及び彩度情報などである。
【０１１５】
図９に示すように、特徴量合成回路４２は、乗算器７１及び７２と、加算器７３とを備える。
【０１１６】
乗算器７１は、輝度値正規化回路４１ａから出力された輝度特徴量７４に、パラメータ選択係数設定回路３９から出力された輝度用係数ｋ１を乗じることで、図１０に示すように、重み付けされた輝度特徴量７５を出力する。
【０１１７】
乗算器７２は、彩度値正規化回路４１ｂから出力された彩度特徴量７６に、パラメータ選択係数設定回路３９から出力された彩度用係数ｋ２を乗じることで、図１０に示すように、重み付けされた彩度特徴量７７を出力する。
【０１１８】
加算器７３は、乗算器７１及び７２から出力された輝度特徴量７５及び彩度特徴量７６を加算することで、合成画像特徴量７８を出力する。
【０１１９】
このように、特徴量合成回路４２は、輝度差分値α１が彩度差分値α２より大きい場合は、輝度値正規化回路４１ａによって出力された輝度積算値を大きく重み付け、彩度差分値α２が輝度差分値α１より大きい場合は、彩度値正規化回路４１ｂによって出力された彩度積算値を大きく重み付けるように、重み付け加算を行う。
【０１２０】
要するに、特徴量合成回路４２は、第１画像特徴量のばらつき度合いを表す第１の値が、第２画像特徴量のばらつき度合いを表す第２の値より大きい場合は、第１画像特徴量を大きく重み付けするように、第１画像特徴量と第２画像特徴量との重み付け加算を行う。また、特徴量合成回路４２は、第２の値が第１の値より大きい場合は、第２画像特徴量を大きく重み付けするように、第１画像特徴量と第２画像特徴量との重み付け加算を行う。なお、第１画像特徴量及び第２画像特徴量はそれぞれ、第１の値及び第２の値に基づいて、正規化された場合と正規化されていない場合とを含んでいる。
【０１２１】
なお、２Ｄ３Ｄ変換回路２３が使用する画像特徴量が１種類の場合は、特徴量合成回路４２は無くてもよい。この場合には、選択的正規化回路４１から出力した画像特徴量は、後述する奥行き情報生成回路４４に出力される。
【０１２２】
図１１は、本発明の実施の形態に係る奥行き情報生成回路４４の構成の一例を示す図である。図１２は、本発明の実施の形態に係る奥行き情報生成処理の流れの一例を示す図である。以下、図１１及び図１２を用いて、本発明の実施の形態に係る奥行き情報の生成処理について説明する。
【０１２３】
図１１に示すように、奥行き情報生成回路４４は、乗算器８１と、特徴量変換係数記憶部８２と、顔奥行き処理部８３と、顔周辺領域抽出部８４と、視差オフセット算出部８５と、加算器８６と、奥行き情報合成部８７とを備える。
【０１２４】
乗算器８１は、第２奥行き情報生成部の一例であり、少なくとも顔領域以外の領域の奥行き情報である第２奥行き情報を生成する。具体的には、乗算器８１は、特徴量合成回路４２から出力された合成画像特徴量に一定の係数を乗じることで、特徴量を奥行き情報９１に変換して、出力する。本発明の実施の形態に係る乗算器８１は、図１２に示すように、対象フレーム全体、すなわち、顔領域を含む画像全体の奥行き情報を奥行き情報９１として生成する。
【０１２５】
特徴量変換係数記憶部８２は、画像特徴量に乗じる係数を記憶するためのメモリである。
【０１２６】
顔奥行き処理部８３は、第１奥行き情報生成部の一例であり、顔領域の奥行き情報である第１奥行き情報を生成する。具体的には、顔奥行き処理部８３は、顔領域検出回路４３から出力される顔領域検出結果９２を受け取り、顔領域奥行き情報９３を生成する。
【０１２７】
このとき生成される奥行きＤ１〜Ｄ６は、回路内部にて予め記録されている。顔向き及び顔領域の大きさなどに応じた複数の奥行き情報が予め記録されている。顔奥行き処理部８３は、顔領域検出結果９２に基づいて複数の奥行き情報から適切な奥行き情報を選択する。図１２に示す例では、この顔領域奥行き情報９３は、６つに分割されており、奥行き情報９１の領域分割より細かい単位で分割される。
【０１２８】
これにより、顔周辺部に対してより正確な奥行きを表現できる。一般的に、顔は観察者が注視しやすい箇所であるため、部分的に正確な奥行き表現を行うことにより、違和感を改善することができる。
【０１２９】
また、輝度及び彩度によって奥行き情報を生成した場合、肌色と黒色とが異なる奥行きと認識される。しかしながら、仮に、被写体の髪及び目などが黒色である場合、肌に対して髪及び目の奥行き情報が異なってしまう。そこで、顔に対して専用処理を行うことにより、肌と髪及び目とを一体のオブジェクトととらえて処理することが可能になり、奥行き情報の品質が向上する。
【０１３０】
顔周辺領域抽出部８４は、顔領域の周辺の領域である周辺領域を抽出する。具体的には、顔周辺領域抽出部８４は、顔領域検出結果９２を受け取り、顔周辺領域９４に示すような、顔領域の上方向及び左右方向に当たる顔周辺領域の奥行き情報９１の値を抽出する。顔周辺領域抽出部８４は、抽出した値を視差オフセット算出部８５に出力する。
【０１３１】
視差オフセット算出部８５は、顔領域の奥行き情報を周辺領域の奥行き情報に近づけるためのオフセット値を算出する。具体的には、視差オフセット算出部８５は、顔周辺領域抽出部８４によって抽出された値の平均値を算出し、視差オフセット値として出力する。つまり、視差オフセット値は、周辺領域の奥行き情報の値の平均値である。
【０１３２】
加算器８６は、視差オフセット算出部８５によって算出されたオフセット値と、顔領域奥行き情報９３とを加算することで、オフセット付き顔領域奥行き情報９５を生成する。つまり、顔領域奥行き情報９３は、顔が視差ゼロ面（例えば、ディスプレイの表示面）に位置するときの奥行き情報に相当し、視差オフセット値が加算されることで、周囲に合った立体感が表現される。
【０１３３】
奥行き情報合成部８７は、顔領域の奥行き情報である第１奥行き情報と、少なくとも顔領域以外の奥行き情報である第２奥行き情報とを合成する。具体的には、奥行き情報合成部８７は、第１奥行き情報の一例であるオフセット付き顔領域奥行き情報９５が、第２奥行き情報の一例である奥行き情報９１を上書きすることで合成され、合成奥行き情報９６を生成する。
【０１３４】
ここで、視差オフセット算出部８５がないと、顔が常に奥行き０の付近、すなわち、映像表示部の表示面付近の奥行きに存在することになる。しかし、顔の周辺領域が表示面より手前に飛び出していた場合、周辺領域より顔が奥側になるよう処理がなされる。
【０１３５】
通常、顔領域の上方向の領域及び左右方向の領域は、顔より奥にあることが多い。このため、不自然な奥行きとなって見えてしまう。そこで、まず、顔領域の周辺領域の奥行きを求め、そこから顔に相当する奥行きを手前に飛び出させることによって、より自然な奥行き情報を生成できる。
【０１３６】
なお、顔周辺領域抽出部８４は、顔周辺領域９４として、顔領域のすぐ下に当たる領域を抽出してもよい。この場合、抽出される領域には胴がある可能性が高いため、胴を基準として顔の奥行きを決定することになる。
【０１３７】
なお、顔周辺領域処理を行わない場合、奥行き情報合成部８７は不要である。なお、視差オフセット処理を行わない場合、顔周辺領域抽出部８４、視差オフセット算出部８５及び加算器８６は不要である。
【０１３８】
ここで、本発明の実施の形態に係る立体映像処理装置（２Ｄ３Ｄ変換回路２３）の動作について説明する。図１３は、本発明の実施の形態に係る立体映像処理装置の動作の一例を示すフローチャートである。
【０１３９】
２Ｄ３Ｄ変換回路２３に２次元映像の対象フレームが入力されると、シーンチェンジ検出回路３８は、対象フレームがシーンチェンジのフレームであるか否かを判定する（Ｓ１１）。対象フレームがシーンチェンジのフレームであると判定されると（Ｓ１１でＹｅｓ）、次フレームがある場合（Ｓ１９でＹｅｓ）、次フレームを対象フレームとして処理は継続される。
【０１４０】
対象フレームがシーンチェンジのフレームではないと判定された場合（Ｓ１１でＮｏ）、画像特徴量のばらつき度合いを表す値が検出される（Ｓ１２）。例えば、輝度Ｍａｘ−Ｍｉｎ検出回路３３は、輝度値の最大値と最小値との差分である輝度差分値を、ばらつき度合いを表す値として検出する。
【０１４１】
次に、ばらつき度合いを表す値が閾値未満であるか否かが判定される（Ｓ１３）。例えば、輝度正規化選択回路３５は、輝度差分値が閾値未満であるか否かを判定する。閾値以上であると判定された場合（Ｓ１３でＮｏ）、選択的正規化回路４１は、画像特徴量を正規化しない（Ｓ１４）。例えば、輝度値正規化回路４１ａは、ブロック毎の輝度積算値を正規化せずに、輝度特徴量として特徴量合成回路４２に出力する。
【０１４２】
ばらつき度合いを表す値が閾値未満であると判定された場合（Ｓ１３でＹｅｓ）、選択的正規化回路４１は、画像特徴量を正規化する（Ｓ１５）。例えば、輝度値正規化回路４１ａは、ブロック毎の輝度積算値を正規化して、輝度特徴量として特徴量合成回路４２に出力する。
【０１４３】
ばらつき度合いを表す値の検出（Ｓ１２）、正規化の要否の判定（Ｓ１３）及び正規化（Ｓ１５）は、画像特徴量毎に行われる。本発明の実施の形態に係る２Ｄ３Ｄ変換回路２３は、画像特徴量として輝度と彩度とを用いるので、例えば、彩度についても同様の処理が行われる。
【０１４４】
具体的には、彩度Ｍａｘ−Ｍｉｎ検出回路３４は、彩度値の最大値と最小値との差分である彩度差分値を、ばらつき度合いを表す値として検出する（Ｓ１２）。そして、彩度正規化選択回路３６は、彩度差分値が閾値未満であるか否かを判定する（Ｓ１３）。
【０１４５】
彩度差分値が閾値以上であると判定された場合（Ｓ１３でＮｏ）、彩度値正規化回路４１ｂは、ブロック毎の彩度積算値を正規化せずに、彩度特徴量として特徴量合成回路４２に出力する（Ｓ１４）。彩度差分値が閾値未満であると判定された場合（Ｓ１３でＹｅｓ）、彩度値正規化回路４１ｂは、ブロック毎の彩度積算値を正規化して、彩度特徴量として特徴量合成回路４２に出力する（Ｓ１５）。
【０１４６】
特徴量合成回路４２は、画像特徴量の合成を行う（Ｓ１６）。例えば、特徴量合成回路４２は、輝度特徴量と彩度特徴量とを重み付け加算することで、合成画像特徴量を生成する。
【０１４７】
次に、奥行き情報生成回路４４は、合成画像特徴量に基づいて、対象フレームを３次元化するための奥行き情報を生成する（Ｓ１７）。例えば、奥行き情報生成回路４４は、合成画像特徴量に所定の係数を乗じることで、奥行き情報を生成する。このとき、奥行き情報生成回路４４は、上述したように、顔領域には顔領域専用の奥行き情報を生成してもよい。
【０１４８】
最後に、視差変調回路４５は、奥行き情報に基づいて対象フレームから３次元画像を生成する（Ｓ１８）。例えば、視差変調回路４５は、対象フレームと奥行き情報とを基に、互いに視差を有する左目用画像と右目用画像とを生成して３次元画像として出力する。
【０１４９】
次フレームが存在する場合（Ｓ１９でＹｅｓ）、次フレームを対象フレームとして上記の処理（Ｓ１１〜Ｓ１９）が繰り返される。次フレームが存在しない場合（Ｓ１９でＮｏ）、処理は終了する。
【０１５０】
以上のように、本発明の実施の形態に係る立体映像処理装置は、２次元映像を３次元映像に変換するための立体映像処理装置であり、検出部と、正規化部と、奥行き情報生成部とを備える。検出部は、例えば、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４を含み、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。正規化部は、例えば、選択的正規化回路４１であり、検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。奥行き情報生成部は、例えば、奥行き情報生成回路４４であり、正規化部によって出力された画像特徴量、すなわち、正規化後の画像特徴量、又は、正規化されていない画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。
【０１５１】
このように、画像特徴量のばらつき度合いを表す値が閾値未満である場合に、ばらつき度合いを表す値を閾値に近づけるように画像特徴量を正規化するので、本発明の実施の形態に係る立体映像処理装置は、画像特徴量を適切に正規化することができる。つまり、情報量の乏しい画像特徴量を必要以上に正規化（拡大）することを防止することができ、画像特徴量の信頼性の低減を抑制することができる。
【０１５２】
したがって、奥行き情報を生成する際に信頼性の低い画像特徴量を用いることが抑制され、精度の良い奥行き情報を生成することができる。これにより、本発明の実施の形態に係る立体映像処理装置は、立体映像の品質を向上させることができる。
【０１５３】
また、本発明の実施の形態に係る立体映像処理装置は、パラメータ選択係数設定回路３９及び特徴量合成回路４２を備えており、奥行き情報の生成に複数の画像特徴量を用いる場合に、より信頼性の高い画像特徴量を用いて奥行き情報を生成する。これにより、立体映像の奥行き情報の精度をさらに向上させることができる。
【０１５４】
また、本発明の実施の形態に係る立体映像処理装置では、奥行き情報生成回路４４が、顔専用の奥行き情報の生成を行う。これにより、注目されやすい顔周辺において精度の高い立体映像の生成が可能となる。
【０１５５】
また、本発明の実施の形態に係る立体映像処理装置は、シーンチェンジ検出回路３８を備え、シーンチェンジの際には奥行きを０に近づけ、２次元映像に近づけることで、急激な奥行きの変動を防止する。これにより、シーンチェンジ時の視覚的疲労を低減することができる。
【０１５６】
以上、本発明に係る立体映像処理装置及び立体映像処理方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
【０１５７】
例えば、上記の実施の形態では、画像特徴量のばらつき度合いを表す値として画像特徴量の最大値と最小値との差分を用いたが、画像特徴量の分散値を用いてもよい。例えば、２Ｄ３Ｄ変換回路２３は、輝度Ｍａｘ−Ｍｉｎ検出回路３３及び彩度Ｍａｘ−Ｍｉｎ検出回路３４の代わりに、輝度分散値検出回路及び彩度分散値検出回路を備える。
【０１５８】
輝度分散値検出回路は、輝度情報の分散値（輝度分散値）を検出し、輝度正規化選択回路３５及びパラメータ選択係数設定回路３９に出力する。輝度正規化選択回路３５は、輝度分散値と閾値とを比較する。輝度正規化選択回路３５は、輝度分散値が閾値以上である場合は、正規化を行わないと判定し、輝度分散値が閾値未満である場合は、正規化を行うと判定する。
【０１５９】
彩度分散値検出回路は、彩度情報の分散値（彩度分散値）を検出し、彩度正規化選択回路３６及びパラメータ選択係数設定回路３９に出力する。彩度正規化選択回路３６は、彩度分散値と閾値とを比較する。彩度正規化選択回路３６は、彩度分散値が閾値以上である場合は、正規化を行わないと判定し、彩度分散値が閾値未満である場合は、正規化を行うと判定する。
【０１６０】
また、パラメータ選択係数設定回路３９は、輝度分散値と彩度分散値とに基づいて、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。具体的な処理は、輝度差分値と彩度差分値とを用いた場合と同様である。
【０１６１】
つまり、パラメータ選択係数設定回路３９は、輝度分散値が彩度分散値より大きい場合は、輝度特徴量が大きく重み付けられるように、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。また、パラメータ選択係数設定回路３９は、彩度分散値が輝度分散値より大きい場合は、彩度特徴量が大きく重み付けられるように、輝度用係数ｋ１及び彩度用係数ｋ２を生成する。
【０１６２】
これにより、分散値の大きい画像特徴量が、奥行き情報の生成に大きな影響を与えるようにすることができる。したがって、分散値が小さく、情報量の乏しい画像特徴量による奥行き情報への影響を少なくすることができるので、奥行き情報の信頼性を高めることができる。
【０１６３】
また、画像特徴量は、対象フレーム内の輝度情報及び彩度情報ではなく、輝度コントラスト、又は、ブロック毎に含まれる高周波成分の量を用いてもよい。
【０１６４】
なお、本発明は、上述したように、立体映像処理装置及び立体映像処理方法として実現できるだけではなく、本実施の形態の立体映像処理方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１６５】
具体的には、本発明は、立体映像処理装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【０１６６】
また、上記実施の形態に係る立体映像処理装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１６８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１６９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。バイオ技術の適用等が可能性として考えられる。
【０１７０】
また、本発明の実施の形態に係る立体映像処理装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１７１】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１７２】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０１７３】
さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【０１７４】
また、上記立体映像処理装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る立体映像処理装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る立体映像処理装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。例えば、本発明に係る立体映像処理装置は、図１４に示すような構成でも実現することができる。
【０１７５】
図１４は、本発明の実施の形態の変形例に係る立体映像処理装置１００の構成の一例を示す図である。立体映像処理装置１００は、２次元映像を３次元映像に変換するための装置である。図１４に示すように、立体映像処理装置１００は、検出部１１０と、正規化部１２０と、奥行き情報生成部１３０とを備える。
【０１７６】
検出部１１０は、２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する。検出部１１０は、例えば、図４に示す輝度抽出部２９と、彩度抽出部３０と、輝度Ｍａｘ−Ｍｉｎ検出回路３３と、彩度Ｍａｘ−Ｍｉｎ検出回路３４とを備えていてもよい。
【０１７７】
正規化部１２０は、検出部１１０によって検出された値が閾値未満である場合、ばらつき度合いを表す値が閾値に近づくように画像特徴量を正規化して出力し、検出部１１０によって検出された値が閾値以上である場合、画像特徴量を正規化せずに出力する。正規化部１２０は、例えば、図４に示す輝度積算値算出回路３１と、彩度積算値算出回路３２と、輝度正規化選択回路３５と、彩度正規化選択回路３６と、所定値記憶部３７と、選択的正規化回路４１とを備えていてもよい。
【０１７８】
奥行き情報生成部１３０は、正規化部１２０によって出力された画像特徴量に基づいて、２次元映像を３次元映像に変換するための奥行き情報を生成する。奥行き情報生成部１３０は、例えば、図４に示す奥行き情報生成回路４４を備えていてもよい。
【０１７９】
また、上記の立体映像処理装置による立体映像処理方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る立体映像処理装置による立体映像処理方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る立体映像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。
【０１８０】
例えば、奥行き情報の生成に１つの画像特徴量のみを利用する場合は、画像特徴量の合成（Ｓ１６）を行う必要はない。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【０１８１】
本発明に係る立体映像処理装置及び立体映像処理方法は、立体映像の画質を十分に向上させることができるという効果を奏し、例えば、デジタルテレビなどの立体映像表示装置、デジタルビデオレコーダなどの立体映像再生装置などに利用することができる。
【符号の説明】
【０１８２】
１  プレーヤ
２  立体映像表示装置
３  アクティブシャッタメガネ
４  左目用映像
５  右目用映像
１１  外部信号受信部
１２  映像信号処理部
１３  映像表示部
１４  音声信号処理部
１５  音声出力部
２１  ＩＰ変換回路
２２  スケーラ
２３  ２Ｄ３Ｄ変換回路
２４  画質改善回路
２９  輝度抽出部
３０  彩度抽出部
３１  輝度積算値算出回路
３２  彩度積算値算出回路
３３  輝度Ｍａｘ−Ｍｉｎ検出回路
３４  彩度Ｍａｘ−Ｍｉｎ検出回路
３５  輝度正規化選択回路
３６  彩度正規化選択回路
３７  所定値記憶部
３８  シーンチェンジ検出回路
３９  パラメータ選択係数設定回路
４０  メモリ
４１  選択的正規化回路
４１ａ  輝度値正規化回路
４１ｂ  彩度値正規化回路
４２  特徴量合成回路
４３  顔領域検出回路
４４  奥行き情報生成回路
４５  視差変調回路
５１  ２次元画像
５２  ブロック
６１  係数設定回路
６２、６３  セレクタ
６４  リミッタ
７１、７２、８１  乗算器
７３、８６  加算器
７４、７５  輝度特徴量
７６、７７  彩度特徴量
７８  合成画像特徴量
８２  特徴量変換係数記憶部
８３  顔奥行き処理部
８４  顔周辺領域抽出部
８５  視差オフセット算出部
８７  奥行き情報合成部
９１  奥行き情報
９２  顔領域検出結果
９３  顔領域奥行き情報
９４  顔周辺領域
９５  オフセット付き顔領域奥行き情報
９６  合成奥行き情報
１００  立体映像処理装置
１１０  検出部
１２０  正規化部
１３０  奥行き情報生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２次元映像を３次元映像に変換するための立体映像処理装置であって、
前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出部と、
前記検出部によって検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出部によって検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化部と、
前記正規化部によって出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成部とを備える
立体映像処理装置。
【請求項２】
前記画像特徴量は、互いに異なる第１画像特徴量と第２画像特徴量とを含み、
前記検出部は、前記第１画像特徴量のばらつき度合いを表す第１の値と、前記第２画像特徴量のばらつき度合いを表す第２の値とを検出し、
前記正規化部は、
（ｉ）前記検出部によって検出された第１の値が第１閾値未満である場合、ばらつき度合いを表す第１の値が前記第１閾値に近づくように前記第１画像特徴量を正規化して出力し、前記検出部によって検出された第１の値が前記第１閾値以上である場合、前記第１画像特徴量を正規化せずに出力し、
（ｉｉ）前記検出部によって検出された第２の値が第２閾値未満である場合、ばらつき度合いを表す第２の値が前記第２閾値に近づくように前記第２画像特徴量を正規化して出力し、前記検出部によって検出された第２の値が前記第２閾値以上である場合、前記第２画像特徴量を正規化せずに出力し、
前記立体映像処理装置は、さらに、前記正規化部によって出力された第１画像特徴量と第２画像特徴量との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、
前記奥行き情報生成部は、前記合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成し、
前記合成部は、前記第１の値が前記第２の値より大きい場合は、前記正規化部によって出力された第１画像特徴量を大きく重み付け、前記第２の値が前記第１の値より大きい場合は、前記正規化部によって出力された第２画像特徴量を大きく重み付けるように、前記重み付け加算を行う
請求項１記載の立体映像処理装置。
【請求項３】
前記検出部は、前記第１画像特徴量の最大値と最小値との差分、又は、前記第１画像特徴量の分散値を、前記第１の値として検出し、前記第２画像特徴量の最大値と最小値との差分、又は、前記第２画像特徴量の分散値を、前記第２の値として検出する
請求項２記載の立体映像処理装置。
【請求項４】
前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、
前記検出部は、前記輝度情報の最大値と最小値との差分である輝度差分値、及び、前記彩度情報の最大値と最小値との差分である彩度差分値の少なくとも１つを、前記ばらつき度合いを表す値として検出する
請求項１記載の立体映像処理装置。
【請求項５】
前記正規化部は、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値未満である場合に、前記輝度差分値及び前記彩度差分値の少なくとも１つが前記閾値となるように、前記輝度情報及び彩度情報の少なくとも１つを正規化する
請求項４記載の立体映像処理装置。
【請求項６】
前記検出部は、
前記輝度情報を抽出する輝度抽出部と、
前記輝度抽出部によって抽出された輝度情報の最大値と最小値との差分を算出することで、前記輝度差分値を検出する輝度差分算出部とを備え、
前記正規化部は、
前記閾値を記憶している記憶部と、
前記輝度差分値と前記閾値とを比較することで、前記輝度情報の正規化を行うか否かを判定する輝度比較部と、
前記輝度情報を複数のブロックに分割し、ブロック毎に輝度値を積算することで、ブロック毎の輝度積算値を算出する輝度値積算部と、
前記輝度比較部によって輝度情報を正規化すると判定された場合に、前記輝度積算値を正規化し、正規化後の輝度積算値を出力し、前記輝度比較部によって輝度情報を正規化しないと判定された場合に、前記輝度積算値を正規化せずに出力する輝度値正規化部とを備え、
前記奥行き情報生成部は、
前記輝度値正規化部によって出力された輝度積算値に基づいて、前記奥行き情報を生成する
請求項４又は５記載の立体映像処理装置。
【請求項７】
前記検出部は、さらに、
前記彩度情報を抽出する彩度抽出部と、
前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、
前記正規化部は、さらに、
前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、
前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、
前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、
前記立体映像処理装置は、さらに、
前記輝度値正規化部によって出力された輝度積算値と、前記彩度値正規化部によって出力された彩度積算値との重み付け加算を行うことで、合成画像特徴量を生成する合成部を備え、
前記奥行き情報生成部は、
前記合成部によって出力された合成画像特徴量に所定の係数を乗じることで、前記奥行き情報を生成する
請求項６記載の立体映像処理装置。
【請求項８】
前記合成部は、前記輝度差分値が前記彩度差分値より大きい場合は、前記輝度値正規化部によって出力された輝度積算値を大きく重み付け、前記彩度差分値が前記輝度差分値より大きい場合は、前記彩度値正規化部によって出力された彩度積算値を大きく重み付けるように、前記重み付け加算を行う
請求項７記載の立体映像処理装置。
【請求項９】
前記立体映像処理装置は、さらに、
前記輝度値正規化部によって出力された輝度積算値に乗じるための輝度用係数と、前記彩度値正規化部によって出力された彩度積算値に乗じるための彩度用係数とを生成する係数生成部と、
前記対象フレームの前のフレームの前記輝度用係数と前記彩度用係数とを記憶するメモリとを備え、
前記係数生成部は、
前記輝度差分値が前記彩度差分値より大きい場合に前記輝度用係数が前記彩度用係数より大きくなり、前記彩度差分値が前記輝度差分値より大きい場合に前記彩度用係数が前記輝度用係数より大きくなるように、前記輝度用係数及び前記彩度用係数を設定する係数設定部と、
前記係数設定部によって設定された輝度用係数及び彩度用係数と、前記前のフレームの輝度用係数及び彩度用係数との差が所定の範囲内に収まるように、前記係数設定部によって設定された輝度用係数及び彩度用係数を補正するリミッタとを備える
請求項８記載の立体映像処理装置。
【請求項１０】
前記検出部は、
前記彩度情報を抽出する彩度抽出部と、
前記彩度抽出部によって抽出された彩度情報の最大値と最小値との差分を算出することで、前記彩度差分値を検出する彩度差分算出部とを備え、
前記正規化部は、
前記閾値を記憶している記憶部と、
前記彩度差分値と前記閾値とを比較することで、前記彩度情報の正規化を行うか否かを判定する彩度比較部と、
前記彩度情報を複数のブロックに分割し、ブロック毎に彩度値を積算することで、ブロック毎の彩度積算値を算出する彩度値積算部と、
前記彩度比較部によって彩度情報を正規化すると判定された場合に、前記彩度積算値を正規化し、正規化後の彩度積算値を出力し、前記彩度比較部によって彩度情報を正規化しないと判定された場合に、前記彩度積算値を正規化せずに出力する彩度値正規化部とを備え、
前記奥行き情報生成部は、
前記彩度値正規化部によって出力された彩度積算値に基づいて、前記奥行き情報を生成する
請求項４又は５記載の立体映像処理装置。
【請求項１１】
前記画像特徴量は、前記対象フレーム内の輝度情報及び彩度情報の少なくとも１つであり、
前記検出部は、前記輝度情報の分散値及び前記彩度情報の分散値の少なくとも１つを、前記ばらつき度合いを表す値として検出する
請求項１記載の立体映像処理装置。
【請求項１２】
前記立体映像処理装置は、さらに、前記対象フレームがシーンチェンジのフレームであるか否かを判定するシーンチェンジ検出部を備え、
前記奥行き情報生成部は、前記対象フレームがシーンチェンジのフレームであると判定された場合と、前記対象フレームがシーンチェンジのフレームでないと判定された場合とのうち、前記対象フレームがシーンチェンジのフレームでないと判定された場合にのみ、前記奥行き情報を生成する
請求項１〜１１のいずれか１項に記載の立体映像処理装置。
【請求項１３】
前記立体映像処理装置は、さらに、前記対象フレームから顔領域を検出する顔検出部を備え、
前記奥行き情報生成部は、
前記顔領域の奥行き情報である第１奥行き情報を生成する第１奥行き情報生成部と、
前記正規化部によって出力された画像特徴量に基づいて、少なくとも前記顔領域以外の領域の奥行き情報である第２奥行き情報を生成する第２奥行き情報生成部と、
前記第１奥行き情報と前記第２奥行き情報とを合成することで、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報合成部とを備える
請求項１〜１２のいずれか１項に記載の立体映像処理装置。
【請求項１４】
前記奥行き情報生成部は、さらに、
前記顔領域の周辺領域を抽出する顔周辺領域抽出部と、
前記第２奥行き情報から前記周辺領域の奥行き情報を取得し、取得した周辺領域の奥行き情報に基づいて、前記顔領域の奥行き情報を前記周辺領域の奥行き情報に近づけるためのオフセット値を算出するオフセット算出部とを備え、
前記第１奥行き情報生成部は、
予め定められた奥行き情報と前記オフセット値とに基づいて、前記第１奥行き情報を生成する
請求項１３記載の立体映像処理装置。
【請求項１５】
前記顔周辺領域抽出部は、前記顔領域の下方の領域、又は、前記顔領域の上方及び左右方向の領域を、前記周辺領域として抽出する
請求項１４記載の立体映像処理装置。
【請求項１６】
前記立体映像処理装置は、集積回路として構成されている
請求項１〜１５のいずれか１項に記載の立体映像処理装置。
【請求項１７】
２次元映像を３次元映像に変換するための立体映像処理方法であって、
前記２次元映像の対象フレーム内の画像特徴量のばらつき度合いを表す値を検出する検出ステップと、
前記検出ステップにおいて検出された値が閾値未満である場合、ばらつき度合いを表す値が前記閾値に近づくように前記画像特徴量を正規化して出力し、前記検出ステップにおいて検出された値が前記閾値以上である場合、前記画像特徴量を正規化せずに出力する正規化ステップと、
前記正規化ステップにおいて出力された画像特徴量に基づいて、前記２次元映像を前記３次元映像に変換するための奥行き情報を生成する奥行き情報生成ステップとを含む
立体映像処理方法。
【請求項１８】
請求項１７記載の立体映像処理方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011135760.tif 000019
【図２】
2011135760.tif 000020
【図３】
2011135760.tif 000021
【図４】
2011135760.tif 000022
【図５】
2011135760.tif 000023
【図６】
2011135760.tif 000024
【図７】
2011135760.tif 000025
【図８】
2011135760.tif 000026
【図９】
2011135760.tif 000027
【図１０】
2011135760.tif 000028
【図１１】
2011135760.tif 000029
【図１２】
2011135760.tif 000030
【図１３】
2011135760.tif 000031
【図１４】
2011135760.tif 000032
【国際調査報告】
2011135760.tif 000033
2011135760.tif 000034