(57)【要約】  三次元（３Ｄ）映像に最適な奥行き強調の効果を得るように、入力映像信号から奥行き情報を算出する奥行き情報抽出部（１０）と、入力映像信号が二次元（２Ｄ）映像信号である場合に奥行き情報に基づいて当該２Ｄ映像信号を３Ｄ映像信号である第１の映像信号に変換する２Ｄ／３Ｄ変換部（１１）と、奥行き情報に応じて補正係数を算出する補正係数計算部（１２）と、入力映像信号と第１の映像信号とのいずれかを選択して出力する選択部（１３）と、当該選択部（１３）の出力に対して補正係数に基づいて強調処理を行い出力映像信号として出力する輪郭強調処理部（２）とを設ける。
2013054454.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号から奥行き情報を算出する奥行き情報抽出手段と、
前記入力映像信号が二次元映像信号である場合に前記奥行き情報に基づいて当該二次元映像信号を三次元映像信号である第１の映像信号に変換する二次元三次元変換手段と、
前記奥行き情報に応じて補正係数を算出する補正係数計算手段と、
前記入力映像信号と前記第１の映像信号とのいずれかを選択して出力する選択手段と、
前記選択手段の出力に対して前記補正係数に基づいて強調処理を行い出力映像信号として出力する強調処理手段とを備えたことを特徴とする映像信号処理装置。
【請求項２】
前記入力映像信号が二次元映像信号である場合に、前記選択手段は前記第１の映像信号を選択し、前記出力映像信号が三次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記入力映像信号が二次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、前記出力映像信号が二次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
前記入力映像信号が三次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、前記出力映像信号が三次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項５】
前記入力映像信号が三次元映像信号である場合に、前記奥行き情報抽出手段は前記入力映像信号の左右の２枚の信号から奥行き情報を抽出することを特徴とする請求項４記載の映像信号処理装置。
【請求項６】
前記入力映像信号が三次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、
前記出力映像信号から二次元の第２の映像信号を生成する三次元二次元変換手段を更に備えたことを特徴とする請求項１記載の映像信号処理装置。
【請求項７】
前記補正係数計算手段は、前記奥行き情報の上限値と下限値との差が大きくなるような奥行き変換処理を行うことを特徴とする請求項１〜６のいずれか１項に記載の映像信号処理装置。
【請求項８】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報のいずれかに対して平滑フィルタをかけることを特徴とする請求項１〜７のいずれか１項に記載の映像信号処理装置。
【請求項９】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報のいずれかに対して、第１の奥行き値より大きくかつ第２の奥行き値より小さい場合に一定の値である第３の奥行き値に変換する補正量調整を行うことを特徴とする請求項１〜８のいずれか１項に記載の映像信号処理装置。
【請求項１０】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報のいずれかに対して、第１の奥行き値より小さい第４の奥行き値よりも前記奥行き情報の値が小さい場合に負の奥行き値に変換する補正量調整を行うことを特徴とする請求項１〜９のいずれか１項に記載の映像信号処理装置。
【請求項１１】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報のいずれかに対して、前記入力映像信号の輝度が第１の輝度値以下又は第２の輝度値以上の場合に前記奥行き情報の値を小さく補正する過補正抑制処理を行うことを特徴とする請求項１〜１０のいずれか１項に記載の映像信号処理装置。
【請求項１２】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報のいずれかに対して、前記入力映像信号の輝度が第３の輝度値以上の場合に前記奥行き情報の値を抑制する膨張色抑制処理を行うことを特徴とする請求項１〜１０のいずれか１項に記載の映像信号処理装置。
【請求項１３】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報又は過補正抑制処理後の奥行き情報又は膨張色抑制処理後の奥行き情報のいずれかに対して、１フレーム内の奥行き情報の最小値と最大値との差が大きければ輪郭強調を行い、１フレーム内の奥行き情報の最小値と最大値との差が小さければ輪郭強調を行わない輪郭補正量調整を実行することを特徴とする請求項１〜１２のいずれか１項に記載の映像信号処理装置。
【請求項１４】
前記補正係数計算手段は、奥行き平均値が小さい場合は前記補正量調整の変換曲線を入力値の小さい側へ移動し、奥行き平均値が大きい場合は前記補正量調整の変換曲線を入力値の大きい側へ移動することを特徴とする請求項９又は１０に記載の映像信号処理装置。
【請求項１５】
前記出力映像信号が三次元の映像信号である場合は、奥行き情報の平均値、最大値、最小値などの特徴量を左右で同じ値を用いることを特徴とする請求項１〜１４のいずれか１項に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置に関し、特に奥行き情報を使用した輪郭強調技術に関するものである。
【背景技術】
【０００２】
ある従来技術によれば、原画像から奥行き情報を抽出して、手前側は輪郭をくっきりさせ、奥側は輪郭をぼかすことで、立体感のある二次元（２Ｄ）映像を実現する（特許文献１参照）。【０００３】
また、他の従来技術によれば、奥行きの分布に基づいて輪郭強調の補正量を決定することで、２Ｄ映像の最適な奥行き強調を実現する（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６４７２２号公報
【特許文献２】特開２００８−２１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術を単純に三次元（３Ｄ）映像に適用した場合、左目（Ｌ）画像及び右目（Ｒ）画像のそれぞれから奥行き情報を抽出するため、Ｌ／Ｒ画像の奥行き情報間に整合性が取れず、正しい奥行き感を得られない。また、３Ｄ映像の奥行きと輪郭強調の奥行き情報との整合性が取れない。【０００６】
本発明の目的は、３Ｄ映像に最適な奥行き強調の効果を得ることができる映像信号処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明によれば、例えば２Ｄ／３Ｄ奥行き強調にて、２Ｄ／３Ｄ変換で生成される奥行き情報を用いて、手前側はくっきりさせ、奥側はぼかすことで、立体感のある３Ｄ映像を実現する。【０００８】
具体的には、本発明に係る映像信号処理装置は、入力映像信号から奥行き情報を算出する奥行き情報抽出手段と、前記入力映像信号が２Ｄ映像信号である場合に前記奥行き情報に基づいて当該２Ｄ映像信号を３Ｄ映像信号である第１の映像信号に変換する２Ｄ／３Ｄ変換手段と、前記奥行き情報に応じて補正係数を算出する補正係数計算手段と、前記入力映像信号と前記第１の映像信号とのいずれかを選択して出力する選択手段と、前記選択手段の出力に対して前記補正係数に基づいて強調処理を行い出力映像信号として出力する強調処理手段とを備えた構成を採用したものである。
【発明の効果】
【０００９】
本発明によれば、２Ｄ／３Ｄ変換前の映像から奥行き情報を生成して、２Ｄ／３Ｄ変換及び３Ｄ映像に対する輪郭強調処理に適用することで、３Ｄ映像に最適な奥行き強調の効果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る映像信号処理装置の構成例を示すブロック図である。
【図２】図１の映像信号処理装置にて入力信号が２Ｄ映像信号である場合の入力信号波形の例を示すタイミング図である。
【図３】図１の映像信号処理装置にて２Ｄ映像信号から変換により得られた３Ｄ映像信号と、変換前の２Ｄ映像信号から抽出された奥行き情報との例を示すタイミング図である。
【図４】図１の映像信号処理装置にて入力信号が２Ｄ映像信号であって２Ｄ／３Ｄ変換を実行しない場合の入力信号波形と、２Ｄ映像信号から抽出された奥行き情報との例を示すタイミング図である。
【図５】図１の映像信号処理装置にて入力信号が３Ｄ映像信号である場合の入力信号波形の例を示すタイミング図である。
【図６】図１の映像信号処理装置の変形例を示すブロック図である。
【図７】図１中の補正係数計算部の詳細構成例を示すブロック図である。
【図８】図７中の奥行き変換処理部の機能を説明するための図である。
【図９】図７中のフィルタ処理部の機能を説明するための図である。
【図１０】図７中の補正量調整処理部の機能を説明するための図である。
【図１１】図７中の補正量調整処理部の他の機能を説明するための図である。
【図１２】図７中の過補正抑制処理部の機能を説明するための図である。
【図１３】図７中の膨張色抑制処理部の機能を説明するための図である。
【図１４】図７中のフレーム間処理部の機能を説明するための図である。
【図１５】図７中の補正量調整処理部における奥行き平均値とオフセット量との関係を示す図である。
【図１６】奥行き平均値が小さい場合の図７中の補正量調整処理部における特性調整を説明するための図である。
【図１７】奥行き平均値が大きい場合の図７中の補正量調整処理部における特性調整を説明するための図である。
【図１８】図７中の特徴量抽出部の詳細構成例を示すブロック図である。
【図１９】図１８中のＩＩＲフィルタの詳細構成例を示すブロック図である。
【図２０】図１８の特徴量抽出部の機能を説明するためのタイミング図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００１２】
図１は、本発明に係る映像信号処理装置の構成例を示している。図１の映像信号処理装置は、奥行き情報抽出部１０と、２Ｄ／３Ｄ変換部１１と、補正係数計算部１２と、選択部１３と、ＨＰＦ（High Pass Filter）部１４と、乗算部１５と、加算部１６とを備えたものであって、２Ｄ映像信号と３Ｄ映像信号とのいずれをも入力映像信号（ＹＵＶ信号）として受け取ることができる。奥行き情報抽出部１０と２Ｄ／３Ｄ変換部１１とは抽出変換部１を、ＨＰＦ部１４と乗算部１５と加算部１６とは輪郭強調処理部２をそれぞれ構成する。
【００１３】
奥行き情報抽出部１０は、入力映像信号（２Ｄ映像信号又は３Ｄ映像信号）から奥行き情報を算出する。２Ｄ／３Ｄ変換部１１は、入力映像信号が２Ｄ映像信号である場合に、奥行き情報抽出部１０からの奥行き情報に基づいて当該２Ｄ映像信号を３Ｄ映像信号に変換する。その変換方法は周知なので説明を省略する。補正係数計算部１２は、奥行き情報抽出部１０からの奥行き情報に応じて補正係数を算出する。選択部１３は、入力映像信号と２Ｄ／３Ｄ変換部１１の出力である３Ｄ映像信号とのいずれかを選択して出力する。なお、抽出変換部１にて奥行き情報抽出部１０を２Ｄ映像信号と３Ｄ映像信号とに共用することとしたので、面積を削減できる。
【００１４】
輪郭強調処理部２は、選択部１３の出力に対して前記補正係数に基づいて強調処理を行い出力映像信号（ＹＵＶ信号）として出力する。詳細に説明すると、ＨＰＦ部１４は、２Ｄ映像信号又は３Ｄ映像信号から輪郭情報を抽出する。乗算部１５は、補正係数計算部１２で得られた補正係数に基づいて、ＨＰＦ部１４で得られた輪郭情報を補正する。加算部１６は、乗算部１５の出力を選択部１３の出力に加算する。
【００１５】
図２は、図１の映像信号処理装置にて入力信号が２Ｄ映像信号である場合の、入力信号波形の例を示している。垂直同期信号の各周期に２Ｄ映像信号が存在する。
【００１６】
図３は、図１の映像信号処理装置にて２Ｄ／３Ｄ変換部１１を動作させる場合に、２Ｄ映像信号から２Ｄ／３Ｄ変換部１１により得られた３Ｄ映像信号と、２Ｄ／３Ｄ変換部１１による変換前の２Ｄ映像信号から抽出された奥行き情報との例を示している。選択部１３は、２Ｄ／３Ｄ変換部１１により得られた３Ｄ映像信号を選択する。３Ｄ映像信号を構成するＬ画像とＲ画像とは、交互に表示される。この場合には、２Ｄ映像信号から得られた奥行き情報を使用して、３Ｄ変換後の映像信号に対して輪郭補正を行うことで、立体感のある３Ｄ映像を実現する。
【００１７】
図４は、図１の映像信号処理装置にて入力信号及び出力信号がいずれも２Ｄ映像信号であって、２Ｄ／３Ｄ変換部１１を動作させない場合の、入力信号波形と、２Ｄ映像信号から抽出された奥行き情報との例を示している。選択部１３は、入力映像信号である２Ｄ映像信号を選択する。この場合には、２Ｄ／３Ｄ変換せずに、奥行き情報を使用して輪郭強調を行うことで、立体感のある２Ｄ映像を実現する。
【００１８】
図５は、図１の映像信号処理装置にて入力信号及び出力信号がいずれも３Ｄ映像信号であって、２Ｄ／３Ｄ変換部１１を動作させない場合の、入力信号波形の例を示している。図２の場合に比べて垂直同期信号の繰り返し周波数が２倍になっており、映像信号にはＬ／Ｒ画像が交互に出現する。奥行き情報抽出部１０は、３Ｄ映像の奥行きと連動することなく、３Ｄ映像信号の特徴から奥行き情報を抽出することができる。あるいは、奥行き情報抽出部１０は、入力映像信号をなすＬ／Ｒ画像からそれぞれ奥行き情報を抽出することも可能である。３Ｄ映像信号から抽出した奥行き情報に基づいて輪郭補正を行うことで、立体感のある３Ｄ映像を実現する。
【００１９】
図６は、図１の映像信号処理装置の変形例を示している。図６では、輪郭強調処理部２の出力を受ける３Ｄ／２Ｄ変換部１７が図１の構成に追加されている。これにより、３Ｄ映像信号から抽出した奥行き情報に基づいて輪郭補正を行った上で、３Ｄ／２Ｄ変換を行うことで立体感のある映像を実現する。３Ｄ映像信号から得られた正しい奥行き情報をもとに輪郭強調の効果を調節することで、より精度の高い効果を得ることができる。なお、３Ｄ／２Ｄ変換部１７として、例えばＬ画像のみを出力してＲ画像は捨てる構成を採用することができる。
【００２０】
図７は、図１中の補正係数計算部１２の詳細構成例を示している。図７の補正係数計算部１２は、奥行き変換処理部２０と、フィルタ処理部２１と、補正量調整処理部２２と、過補正抑制処理部２３と、膨張色抑制処理部２４と、選択部２５と、乗算部２６と、フレーム間処理部２７と、特徴量抽出部２８とを備えたものである。以下の説明では、奥行き情報抽出部１０から補正係数計算部１２に入力された奥行き情報をｄｅｐｔｈ＿ｏｒｇと表し、奥行き変換処理部２０の出力奥行き情報をｄｅｐｔｈ＿ｅｘｐで、フィルタ処理部２１の出力奥行き情報をｄｅｐｔｈ＿ｌｐｆで、補正量調整処理部２２の出力奥行き情報をｄｅｐｔｈ＿ｇａｉｎで、乗算部２６の出力奥行き情報をｄｅｐｔｈ＿ｌｕｍで、フレーム間処理部２７の出力奥行き情報である補正係数をｄｅｐｔｈ＿ｃｏｅｆで、奥行き平均値をｄｅｐｔｈ＿ａｖで、奥行き最大値をｄｅｐｔｈ＿ｍａｘで、奥行き最小値をｄｅｐｔｈ＿ｍｉｎでそれぞれ表す。なお、奥行き平均値ｄｅｐｔｈ＿ａｖ、奥行き最大値ｄｅｐｔｈ＿ｍａｘ及び奥行き最小値ｄｅｐｔｈ＿ｍｉｎは、例えば１フレーム内の奥行き情報ｄｅｐｔｈ＿ｏｒｇの特徴量である。
【００２１】
以下、図７中の各ブロックの機能を詳細に説明する。
【００２２】
図８は、図７中の奥行き変換処理部２０の機能を説明するための図である。奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇをそのまま使用すると輪郭強調の効果を適切に調整できない可能性があるため、ダイナミックレンジを広げた後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに基づいて輪郭強調を行うこととする。演算式は、
ｄｅｐｔｈ＿ｅｘｐ
＝（｜ｄｅｐｔｈ＿ｏｒｇ−Ｉ＿ＤＥＰＣＯＲＥ｜）×Ｉ＿ＤＥＰＧＡＩＮ
で表される。ここに、Ｉ＿ＤＥＰＣＯＲＥ及びＩ＿ＤＥＰＧＡＩＮは各々定数である。奥行き変換処理部２０は、奥行き情報の上限値と下限値との差が大きくなるような奥行き変換処理を行う。
【００２３】
図９は、図７中のフィルタ処理部２１の機能を説明するための図である。奥行き境界部分において奥行き強調の効果の変化が急峻となることで擬似輪郭が見えて違和感のある映像となる可能性があるため、フィルタ処理部２１は、ダイナミックレンジを広げた後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに対して、ＬＰＦ（Low Pass Filter）による平滑フィルタ処理を行う。なお、奥行き変換処理部２０を省略して、奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇに平滑フィルタをかけることとしてもよい。
【００２４】
図１０は、図７中の補正量調整処理部２２の機能を説明するための図である。補正量調整処理部２２は、平滑フィルタをかけた後の奥行き情報ｄｅｐｔｈ＿ｌｐｆに対して、第１の奥行き値Ｉ＿ＤＥＰＳＴＬより大きくかつ第２の奥行き値Ｉ＿ＤＥＰＳＴＨより小さい場合に一定の値である第３の奥行き値に変換する補正量調整を行う。図１０において、Ｉ＿ＤＥＰＧＡＩＮＨ及びＩ＿ＤＥＰＬＩＭＨは手前側ゲインに関する定数、Ｉ＿ＤＥＰＧＡＩＮＬ及びＩ＿ＤＥＰＬＩＭＬは奥側ゲインに関する定数である。この補正量調整処理部２２により得られた奥行き情報ｄｅｐｔｈ＿ｇａｉｎは、画質調整を行うためのゲインに相当する。なお、奥行き変換処理部２０及びフィルタ処理部２１を省略して、奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇに対して補正量調整処理部２２が補正量調整を行ってもよい。また、フィルタ処理部２１のみを省略して、奥行き変換処理後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに対して補正量調整処理部２２が補正量調整を行ってもよい。
【００２５】
図１１は、図７中の補正量調整処理部２２の他の機能を説明するための図である。補正量調整処理部２２は、平滑フィルタをかけた後の奥行き情報ｄｅｐｔｈ＿ｌｐｆに対して、第１の奥行き値Ｉ＿ＤＥＰＳＴＬより小さい第４の奥行き値よりも前記奥行き情報ｄｅｐｔｈ＿ｌｐｆの値が小さい場合に、負の奥行き値に変換する補正量調整を行う。ゲインを表す奥行き情報ｄｅｐｔｈ＿ｇａｉｎがマイナスの場合は、ＨＰＦ（High Pass Filter）の結果を反転してぼかすことで、更に立体感を増すことができる。また、ＨＰＦ反転型のＬＰＦはＨＰＦからＬＰＦへの切り替わりがリニアに行われるため、違和感のない画作りが可能となる。
【００２６】
図１２は、図７中の過補正抑制処理部２３の機能を説明するための図である。過補正抑制処理部２３は、補正量調整後の奥行き情報ｄｅｐｔｈ＿ｇａｉｎに対して、入力映像信号の輝度が第１の輝度値Ｉ＿ＹＰＳＴＡ以下又は第２の輝度値Ｉ＿ＹＰＥＮＤ以上の場合に前記奥行き情報の値を小さく補正する過補正抑制処理を行う。図１２の縦軸はゲインｌｇａｉｎｐを表し、Ｉ＿ＹＰＧＡＩＮＵ、Ｉ＿ＹＰＧＡＩＮＤ、Ｉ＿ＹＰＬＩＭＵ、Ｉ＿ＹＰＬＩＭＤはいずれも定数である。
【００２７】
図１３は、図７中の膨張色抑制処理部２４の機能を説明するための図である。膨張色抑制処理部２４は、補正量調整後の奥行き情報ｄｅｐｔｈ＿ｇａｉｎに対して、入力映像信号の輝度が第３の輝度値Ｉ＿ＹＭＳＴＡ以上の場合に前記奥行き情報の値を抑制する膨張色抑制処理を行う。図１３の縦軸はゲインｌｇａｉｎｍを表し、Ｉ＿ＹＰＧＡＩＮＵ、Ｉ＿ＹＭＬＩＭＬはいずれも定数である。
【００２８】
図７において、選択部２５は、過補正抑制処理部２３の出力又は膨張色抑制処理部２４の出力のいずれかを乗算部２６へ供給する。乗算部２６は、補正量調整処理部２２の出力である奥行き情報ｄｅｐｔｈ＿ｇａｉｎに対して、選択部２５の出力であるゲインｌｇａｉｎｐ又はｌｇａｉｎｍを掛け合わせることにより、奥行き情報ｄｅｐｔｈ＿ｌｕｍを生成する。演算式は、ｄｅｐｔｈ＿ｇａｉｎ＞１の時には、
ｄｅｐｔｈ＿ｌｕｍ＝１＋（ｄｅｐｔｈ＿ｇａｉｎ−１）×ｌｇａｉｎｐ
であり、ｄｅｐｔｈ＿ｇａｉｎ＜１の時には、
ｄｅｐｔｈ＿ｌｕｍ＝１＋（ｄｅｐｔｈ＿ｇａｉｎ−１）×ｌｇａｉｎｍ
である。
【００２９】
過補正抑制処理部２３は、ゲイン１倍を超える補正成分に対して、輪郭及び輝度情報に応じて加工することで、過補正を抑える。これにより、低輝度におけるノイズの強調を抑制し、高輝度における白あたりを抑制し、かつ細部／輪郭に応じた強調量の調整を実現することができる。なお、奥行き変換処理部２０、フィルタ処理部２１及び補正量調整処理部２２を省略して、奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇに対して過補正抑制処理部２３が過補正抑制を行ってもよい。また、フィルタ処理部２１及び補正量調整処理部２２を省略して、奥行き変換処理後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに対して過補正抑制処理部２３が過補正抑制を行ってもよい。更に、補正量調整処理部２２のみを省略して、平滑フィルタをかけた後の奥行き情報ｄｅｐｔｈ＿ｌｐｆに対して過補正抑制処理部２３が過補正抑制を行ってもよい。
【００３０】
膨張色抑制処理部２４は、膨張色の映像の飛び出しを抑えるために、白、黄に対する奥行き強調の効果の抑制を強くする。なお、奥行き変換処理部２０、フィルタ処理部２１及び補正量調整処理部２２を省略して、奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇに対して膨張色抑制処理部２４が膨張色抑制を行ってもよい。また、フィルタ処理部２１及び補正量調整処理部２２を省略して、奥行き変換処理後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに対して膨張色抑制処理部２４が膨張色抑制を行ってもよい。更に、補正量調整処理部２２のみを省略して、平滑フィルタをかけた後の奥行き情報ｄｅｐｔｈ＿ｌｐｆに対して膨張色抑制処理部２４が膨張色抑制を行ってもよい。
【００３１】
図１４は、図７中のフレーム間処理部２７の機能を説明するための図である。フレーム間処理部２７は、過補正抑制処理後又は膨張色抑制処理後の奥行き情報ｄｅｐｔｈ＿ｌｕｍに対して、１フレーム内の奥行き情報の最小値ｄｅｐｔｈ＿ｍｉｎと最大値ｄｅｐｔｈ＿ｍａｘとの差が大きければ輪郭強調を行い、１フレーム内の奥行き情報の最小値ｄｅｐｔｈ＿ｍｉｎと最大値ｄｅｐｔｈ＿ｍａｘとの差が小さければ輪郭強調を行わない輪郭補正量調整を実行する。ゲインをｆｇａｉｎとするとき、演算式は、
ｄｅｐｔｈ＿ｃｏｅｆ＝１＋（ｄｅｐｔｈ＿ｌｕｍ−１）×ｆｇａｉｎ
である。
【００３２】
奥行き情報のダイナミックレンジが大きい場合は、輪郭補正に対する効果調整量を大きくすることで、立体的な映像はより立体感を増すことが可能となる。なお、奥行き変換処理部２０、フィルタ処理部２１、補正量調整処理部２２、過補正抑制処理部２３、膨張色抑制処理部２４、選択部２５及び乗算部２６を省略して、奥行き情報抽出部１０から入力された奥行き情報ｄｅｐｔｈ＿ｏｒｇに対してフレーム間処理部２７が輪郭補正量調整を行ってもよい。また、フィルタ処理部２１、補正量調整処理部２２、過補正抑制処理部２３、膨張色抑制処理部２４、選択部２５及び乗算部２６を省略して、奥行き変換処理後の奥行き情報ｄｅｐｔｈ＿ｅｘｐに対してフレーム間処理部２７が輪郭補正量調整を行ってもよい。また、補正量調整処理部２２、過補正抑制処理部２３、膨張色抑制処理部２４、選択部２５及び乗算部２６を省略して、平滑フィルタをかけた後の奥行き情報ｄｅｐｔｈ＿ｌｐｆに対してフレーム間処理部２７が輪郭補正量調整を行ってもよい。更に、過補正抑制処理部２３、膨張色抑制処理部２４、選択部２５及び乗算部２６を省略して、補正量調整後の奥行き情報ｄｅｐｔｈ＿ｇａｉｎに対してフレーム間処理部２７が輪郭補正量調整を行ってもよい。
【００３３】
図１５は、図７中の補正量調整処理部２２における奥行き平均値ｄｅｐｔｈ＿ａｖとオフセット量ｏｆｆｓｅｔとの関係を示す図である。１フレーム内の奥行き平均値ｄｅｐｔｈ＿ａｖが小さい場合には、負のオフセット量ｏｆｆｓｅｔを採用する。逆に１フレーム内の奥行き平均値ｄｅｐｔｈ＿ａｖが大きい場合には、正のオフセット量ｏｆｆｓｅｔを採用する。
【００３４】
補正量調整処理部２２は、奥行き平均値ｄｅｐｔｈ＿ａｖが小さい場合は図１０に示した補正量調整の変換曲線を入力値の小さい側へ移動し、奥行き平均値ｄｅｐｔｈ＿ａｖが大きい場合は図１０に示した補正量調整の変換曲線を入力値の大きい側へ移動するように、補正量調整処理におけるＩ＿ＤＥＰＳＴＬ及びＩ＿ＤＥＰＳＴＨを奥行き平均値ｄｅｐｔｈ＿ａｖに応じて動的に変更する。これにより、手前側又は奥側に奥行きが集中する場合においても、映像の奥行き感を出す。
【００３５】
図１６は、奥行き平均値ｄｅｐｔｈ＿ａｖが小さい場合の図７中の補正量調整処理部２２における特性調整を説明するための図である。図１５により負のオフセット量ｏｆｆｓｅｔが採用される結果、図１０にて説明した特性曲線が左へシフトされる。
【００３６】
図１７は、奥行き平均値ｄｅｐｔｈ＿ａｖが大きい場合の図７中の補正量調整処理部２２における特性調整を説明するための図である。図１５により正のオフセット量ｏｆｆｓｅｔが採用される結果、図１０にて説明した特性曲線が右へシフトされる。
【００３７】
図１８は、図７中の特徴量抽出部２８の詳細構成例を示している。図１８の特徴量抽出部２８は、特徴量計算部３０と、第１の１フレーム遅延部３１と、平均値計算部３２と、２フレーム保持部３３と、ＩＩＲ（Infinite-duration Impulse Responce）フィルタ部３４と、選択部３５と、第２の１フレーム遅延部３６と、判定部３７とを備えたものである。判定部３７は、１画面内の輝度平均値ＡＰＬと、これを１フレーム遅延させた値ＡＰＬ＿１ｆとを入力し、ＡＰＬとＡＰＬ＿１ｆとの差の絶対値が閾値Ｉ＿ＡＰＬＴＨよりも大きい時に「１」を、そうでない時に「０」を選択部３５へ供給する。選択部３５は、判定部３７の出力が「１」の時にはフィルタ入力ｉｎを、判定部３７の出力が「０」の時にはフィルタ出力ｏｕｔをそれぞれ選択し、Ｌ画像とＲ画像とに共通の特徴量として、１フレーム内の奥行き平均値ｄｅｐｔｈ＿ａｖと、奥行き最大値ｄｅｐｔｈ＿ｍａｘと、奥行き最小値ｄｅｐｔｈ＿ｍｉｎとを出力する。
【００３８】
図１９は、図１８中のＩＩＲフィルタ部３４の詳細構成例を示している。図１９のＩＩＲフィルタ部３４は、演算部４０と、１フレーム遅延部４１とを備えたものである。演算部４０は、フィルタ入力ｉｎと、フィルタ出力ｏｕｔを１フレーム遅延させた結果ｏｕｔ＿１ｆとを入力し、係数αを使って両者の重み付け加算を実行することにより、フィルタ出力ｏｕｔを得るものである。
【００３９】
図２０は、図１８の特徴量抽出部２８の機能を説明するためのタイミング図である。図１の映像信号処理装置における出力映像信号が３Ｄ映像信号である場合は、Ｌ画像とＲ画像とを合成して、奥行き情報の平均値ｄｅｐｔｈ＿ａｖ、最大値ｄｅｐｔｈ＿ｍａｘ、最小値ｄｅｐｔｈ＿ｍｉｎなどの特徴量として、Ｌ画像とＲ画像とで同じ値を用いるのである。
【００４０】
図１８の構成によれば、特徴量に対してＩＩＲフィルタをかけることで、特徴量の変動を抑えて、ちらつきを抑制することができる。なお、図１８の例では、シーンチェンジの発生を、例えば１画面内の輝度平均値ＡＰＬの差分値が大きいことで検知した場合には、ＩＩＲフィルタ部３４をバイパスするようにしているが、輝度以外の情報をもとにシーンチェンジの発生を検知するようにしてもよい。
【産業上の利用可能性】
【００４１】
以上説明してきたとおり、本発明に係る映像信号処理装置は、３Ｄ映像に最適な奥行き強調の効果を得ることができて有用である。
【符号の説明】
【００４２】
１  抽出変換部
２  輪郭強調処理部
１０  奥行き情報抽出部
１１  ２Ｄ／３Ｄ変換部
１２  補正係数計算部
１３  選択部
１４  ＨＰＦ部
１５  乗算部
１６  加算部
１７  ３Ｄ／２Ｄ変換部
２０  奥行き変換処理部
２１  フィルタ処理部
２２  補正量調整処理部
２３  過補正抑制処理部
２４  膨張色抑制処理部
２５  選択部
２６  乗算部
２７  フレーム間処理部
２８  特徴量抽出部
【図１】
2013054454.tif 000003
【図２】
2013054454.tif 000004
【図３】
2013054454.tif 000005
【図４】
2013054454.tif 000006
【図５】
2013054454.tif 000007
【図６】
2013054454.tif 000008
【図７】
2013054454.tif 000009
【図８】
2013054454.tif 000010
【図９】
2013054454.tif 000011
【図１０】
2013054454.tif 000012
【図１１】
2013054454.tif 000013
【図１２】
2013054454.tif 000014
【図１３】
2013054454.tif 000015
【図１４】
2013054454.tif 000016
【図１５】
2013054454.tif 000017
【図１６】
2013054454.tif 000018
【図１７】
2013054454.tif 000019
【図１８】
2013054454.tif 000020
【図１９】
2013054454.tif 000021
【図２０】
2013054454.tif 000022
【手続補正書】
【提出日】平成25年1月17日(2013.1.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力映像信号から奥行き情報を算出する奥行き情報抽出手段と、
前記入力映像信号が二次元映像信号である場合に前記奥行き情報に基づいて当該二次元映像信号を三次元映像信号である第１の映像信号に変換する二次元三次元変換手段と、
前記奥行き情報に応じて補正係数を算出する補正係数計算手段と、
前記入力映像信号と前記第１の映像信号とのいずれかを選択して出力する選択手段と、
前記選択手段の出力に対して前記補正係数に基づいて強調処理を行い出力映像信号として出力する強調処理手段とを備えたことを特徴とする映像信号処理装置。
【請求項２】
前記入力映像信号が二次元映像信号である場合に、前記選択手段は前記第１の映像信号を選択し、前記出力映像信号が三次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記入力映像信号が二次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、前記出力映像信号が二次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
前記入力映像信号が三次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、前記出力映像信号が三次元の映像であることを特徴とする請求項１記載の映像信号処理装置。
【請求項５】
前記入力映像信号が三次元映像信号である場合に、前記奥行き情報抽出手段は前記入力映像信号の左右の２枚の信号から奥行き情報を抽出することを特徴とする請求項４記載の映像信号処理装置。
【請求項６】
前記入力映像信号が三次元映像信号である場合に、前記選択手段は前記入力映像信号を選択し、
前記出力映像信号から二次元の第２の映像信号を生成する三次元二次元変換手段を更に備えたことを特徴とする請求項１記載の映像信号処理装置。
【請求項７】
前記補正係数計算手段は、前記奥行き情報の上限値と下限値との差が大きくなるような奥行き変換処理を行うことを特徴とする請求項１〜６のいずれか１項に記載の映像信号処理装置。
【請求項８】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報のいずれかに対して平滑フィルタをかけることを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報のいずれかに対して、第１の奥行き値より大きくかつ第２の奥行き値より小さい場合に一定の値である第３の奥行き値に変換する補正量調整を行うことを特徴とする請求項８に記載の映像信号処理装置。
【請求項１０】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報のいずれかに対して、第１の奥行き値より小さい第４の奥行き値よりも前記奥行き情報の値が小さい場合に負の奥行き値に変換する補正量調整を行うことを特徴とする請求項８に記載の映像信号処理装置。
【請求項１１】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報のいずれかに対して、前記入力映像信号の輝度が第１の輝度値以下又は第２の輝度値以上の場合に前記奥行き情報の値を小さく補正する過補正抑制処理を行うことを特徴とする請求項９又は１０に記載の映像信号処理装置。
【請求項１２】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報のいずれかに対して、前記入力映像信号の輝度が第３の輝度値以上の場合に前記奥行き情報の値を抑制する膨張色抑制処理を行うことを特徴とする請求項９又は１０に記載の映像信号処理装置。
【請求項１３】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報又は過補正抑制処理後の奥行き情報のいずれかに対して、１フレーム内の奥行き情報の最小値と最大値との差が大きければ輪郭強調を行い、１フレーム内の奥行き情報の最小値と最大値との差が小さければ輪郭強調を行わない輪郭補正量調整を実行することを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１４】
前記補正係数計算手段は、前記奥行き情報又は前記奥行き変換処理後の奥行き情報又は平滑フィルタをかけた後の奥行き情報又は補正量調整後の奥行き情報又は膨張色抑制処理後の奥行き情報のいずれかに対して、１フレーム内の奥行き情報の最小値と最大値との差が大きければ輪郭強調を行い、１フレーム内の奥行き情報の最小値と最大値との差が小さければ輪郭強調を行わない輪郭補正量調整を実行することを特徴とする請求項１２に記載の映像信号処理装置。
【請求項１５】
前記補正係数計算手段は、奥行き平均値が小さい場合は前記補正量調整の変換曲線を入力値の小さい側へ移動し、奥行き平均値が大きい場合は前記補正量調整の変換曲線を入力値の大きい側へ移動することを特徴とする請求項９又は１０に記載の映像信号処理装置。
【請求項１６】
前記出力映像信号が三次元の映像信号である場合は、奥行き情報の平均値、最大値、最小値などの特徴量を左右で同じ値を用いることを特徴とする請求項１〜１５のいずれか１項に記載の映像信号処理装置。
【国際調査報告】
2013054454.tif 000023
2013054454.tif 000024
2013054454.tif 000025
2013054454.tif 000026