(57)【特許請求の範囲】
【請求項１】
異なる２視点以上の映像信号を入力する映像信号入力部と、
撮像時の情報を入力する情報入力部と、
所定のタイミング毎に取得した前記２視点以上の映像信号間の差分値を算出する差分値算出部と、
前記差分値算出部で算出した差分値を所定の時間間隔毎に保持し、保持した差分値を用いて、時間軸方向での補正のばらつきを軽減した補正値を算出する補正値算出部と、
前記補正値算出部で算出した補正値を用いて、前記映像信号間の差分を補正した映像信号を出力する映像信号補正部とを備え、
前記補正値算出部は、
前記情報の変化量と前記映像信号間の差分値とに特定の規則性を示す相関規則を予め保持し、かつ、前記差分値算出部で算出した差分値と、所定のタイミング毎に前記情報入力部で取得した撮像時の情報とを、各々、所定の時間間隔毎に保持し、保持した前記相関規則及び前記差分値を用いて、前記撮像時の情報に基づき、時間軸方向での補正のばらつきを軽減した補正値を算出する
ことを特徴とする映像信号処理装置。
【請求項２】
前記請求項１記載の映像信号処理装置において、
更に、前記補正値算出部で算出した補正値を用いて、制御信号を生成し出力する制御信号生成部を備える
ことを特徴とする映像信号処理装置。
【請求項３】
前記請求項１又は２に記載の映像信号処理装置において、
前記映像信号入力部に入力される映像信号は、左眼視点と右眼視点との映像信号である
ことを特徴とする映像信号処理装置。
【請求項４】
前記請求項１〜３の何れかに記載の映像信号処理装置において、
前記差分値算出部は、
垂直方向の差分、水平方向の差分、画角の差分、回転の差分、輝度の差分、及び色の差分のうち、少なくとも一つ以上を算出する
ことを特徴とする映像信号処理装置。
【請求項５】
前記請求項１〜４の何れかに記載の映像信号処理装置において、
前記補正値算出部は、
所定の時間間隔毎に保持した差分値の平均値を算出する
ことを特徴とする映像信号処理装置。
【請求項６】
前記請求項１又は２に記載の映像信号処理装置において、
前記情報入力部に入力される撮像時の情報は、
ズーム、アイリス、及びフォーカスのうち、少なくとも一つ以上の情報である
ことを特徴とする映像信号処理装置。
【請求項７】
前記請求項２に記載の映像信号処理装置において、
前記制御信号生成部で出力される制御信号は、
警告用の信号、ズーム、アイリス、及びフォーカスのうち、少なくとも一つ以上に影響する制御信号である
ことを特徴とする映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体視用の映像信号を処理する映像信号処理装置に関し、特に、複数視点の映像信号間の差分値を用いて映像信号を補正することにより、立体視に弊害となるズレを除いた映像信号を提供するものに関する。
【背景技術】
【０００２】
今日、立体画像（３Ｄ画像）を表示する表示装置や、それら立体画像を撮像する撮像装置に注目が集まっている。表示方法には様々な方式が提案されているが、何れの方式も左右の視差から立体を体感させる基本原理に基づいている。
【０００３】
画像間の差分である視差を利用して立体視を行うが、視差以外の差分、例えば、垂直方向のズレや画角ズレ、色ズレなどが画像間にあると、立体視の弊害となる。
【０００４】
従来、このようなズレを補正する方法として、特許文献１では、水平方向の明るさ又は色調を積分し、画像間で相関比較することにより、垂直方向のズレを補正している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平２−５８４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、所定のタイミングで取得した画像に対して最適な補正処理を行うため、立体映像を動画像として見た場合には、その動画像を構成する多数の画像のうち１枚ないし数枚の画像について、それ以外の画像とは大きく異なる補正値が演算されることがあり、このときには動画像全体で補正のばらつきが生じ、この補正ばらつきに起因して例えば動画像にちらつきが発生するなどの弊害を生じる課題があった。
【課題を解決するための手段】
【０００７】
本発明は前記従来の課題を解決するものであり、その目的は、立体視用の映像信号を処理する映像信号処理装置において、動画像のちらつきをより一層に低減することにある。
【０００８】
前記目的を達成するため、本発明は、映像信号間の差分値（ズレ量）を所定のタイミング毎に取得し保持して、これらの取得した一連の差分値に基づいて、時間軸方向で補正のばらつきを軽減した補正値を算出することとする。
【０００９】
具体的に、請求項１記載の発明の映像信号処理装置は、異なる２視点以上の映像信号を入力する映像信号入力部と、撮像時の情報を入力する情報入力部と、所定のタイミング毎に取得した前記２視点以上の映像信号間の差分値を算出する差分値算出部と、前記差分値算出部で算出した差分値を所定の時間間隔毎に保持し、保持した差分値を用いて、時間軸方向での補正のばらつきを軽減した補正値を算出する補正値算出部と、前記補正値算出部で算出した補正値を用いて、前記映像信号間の差分を補正した映像信号を出力する映像信号補正部とを備え、前記補正値算出部は、前記情報の変化量と前記映像信号間の差分値とに特定の規則性を示す相関規則を予め保持し、かつ、前記差分値算出部で算出した差分値と、所定のタイミング毎に前記情報入力部で取得した撮像時の情報とを、各々、所定の時間間隔毎に保持し、保持した前記相関規則及び前記差分値を用いて、前記撮像時の情報に基づき、時間軸方向での補正のばらつきを軽減した補正値を算出することを特徴とする。
【００１０】
請求項２記載の発明は、前記請求項１記載の映像信号処理装置において、更に、前記補正値算出部で算出した補正値を用いて、制御信号を生成し出力する制御信号生成部を備えることを特徴とする。
【００１１】
請求項３記載の発明は、前記請求項１又は２に記載の映像信号処理装置において、前記映像信号入力部に入力される映像信号は、左眼視点と右眼視点との映像信号であることを特徴とする。
【００１２】
請求項４記載の発明は、前記請求項１〜３の何れかに記載の映像信号処理装置において、前記差分値算出部は、垂直方向の差分、水平方向の差分、画角の差分、回転の差分、輝度の差分、及び色の差分のうち、少なくとも一つ以上を算出することを特徴とする。
【００１３】
請求項５記載の発明は、前記請求項１〜４の何れかに記載の映像信号処理装置において、前記補正値算出部は、所定の時間間隔毎に保持した差分値の平均値を算出することを特徴とする。
【００１４】
請求項６記載の発明は、前記請求項１又は２に記載の映像信号処理装置において、前記情報入力部に入力される撮像時の情報は、ズーム、アイリス、及びフォーカスのうち、少なくとも一つ以上の情報であることを特徴とする。
【００１５】
請求項７記載の発明は、前記請求項２に記載の映像信号処理装置において、前記制御信号生成部で出力される制御信号は、警告用の信号、ズーム、アイリス、及びフォーカスのうち、少なくとも一つ以上に影響する制御信号であることを特徴とする。
【００１６】
以上により、本発明では、所定の時間間隔毎に保持した一連の差分値を用いて、例えば、それらの差分値のうち何れか１つの差分値が他の差分値と比べて大きい場合には、補正値算出部は、その大きな差分値に応じた補正値を採用せず、他の差分値に応じた補正値を採用して、それら一連の差分値についての時間軸方向での補正のばらつきを軽減するので、快適な立体視が可能となる。
【発明の効果】
【００１７】
以上説明したように、本発明の映像信号処理装置によれば、時間軸方向やパラメータの変化による処理のばらつきを軽減することができるので、快適な立体視が可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態の映像信号処理装置の一例を示すブロック構成図である。
【図２】同映像信号処理装置の他の一例を示すブロック構成図である。
【図３】図１及び図２の映像信号処理装置を組合せたブロック構成図である。
【図４】図１の映像信号処理装置の変形例を示すブロック構成図である。
【図５】同映像信号処理装置を更に変形したブロック構成図である。
【図６】図４及び図５の映像信号処理装置を組合せたブロック構成図である。
【図７】本発明の実施形態の映像信号処理装置に備える補正値算出部での補正値算出方法の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の映像信号処理装置について、図面を参照しながら説明する。尚、図１〜図６に示したブロック構成図は共通構成部分を有するため、同一の構成要素（異符号も含む）はその説明を省略する。そして、構成要素を全て含む図６を主として説明し、異なる部分についてはその都度説明する。
【００２０】
（実施形態）
図６は、本発明の実施形態における映像信号処理装置の構成の一例を示すブロック図である。
【００２１】
映像信号処理装置６００は、映像信号入力部６０１、差分値算出部６０２、補正値算出部６０３、映像信号補正部６０４、情報入力部６０５、制御信号生成部６０６により構成される。
【００２２】
映像信号入力部６０１は、異なる２視点以上の映像信号を入力し、各映像信号を差分値算出部６０２と映像信号補正部６０４へ出力する。図２の構成では差分値算出部２０２へ、図５の構成では差分値算出部５０２へ、各々出力する。異なる２視点以上の映像信号は、例えば、立体視に用いるための左眼映像と右眼映像である。
【００２３】
差分値算出部６０２は、所定のタイミングで取得した左眼映像と右眼映像とにおいて、この映像間の差分値を算出し、補正値算出部６０３へ出力する。所定のタイミングは、例えば、１フレーム毎である。左眼映像と右眼映像との差分値は、例えば、垂直方向のズレ量である。左眼映像に対する右眼映像のズレ量は、映像の下方向をプラス方向、上方向をマイナス方向としたとき、ライン数又は画素数で表現することができる。このズレ量は、例えば、左眼映像と右眼映像それぞれにおいて、水平方向の明るさ又は色調を積分した結果を相関比較することにより、求めることができる。他にも、例えば、左眼映像のある領域に対して右眼映像内で類似領域の探索を行うことにより、位置の変化量から垂直方向のズレ量を求めることができる。
【００２４】
図６の構成では、映像信号処理装置６００は情報入力部６０５を持ち、撮像時の情報を入力し、所定のタイミングで取得した撮像時の情報を補正値算出部６０３へ出力する。図４、図５の構成も同様である。撮像時の情報は、例えば、左眼映像用の撮像装置と右眼映像用の撮像装置とが一体型である場合や同時制御である場合は、一つの情報項目に対して一つの値を取得する。撮像時の情報の項目としては、例えば、ズーム値などである。また、所定のタイミングは、例えば、差分値算出部６０２と同時刻の１フレーム毎である。
【００２５】
補正値算出部６０３は、映像信号を補正するための補正値を算出する。垂直方向のズレの補正では、右眼映像をズレ量分だけ逆にずらすことにより、左眼映像と右眼映像との間の補正をすることができる。よって、例えば、ズレ量のマイナス値を補正値とする。この補正値算出部６０３は、所定のタイミングで取得した左眼映像と右眼映像との垂直方向のズレ量を、所定の時間間隔毎に保持する。例えば、前記所定タイミングと同じ１フレーム毎にズレ量を保持する。ここで、保持する５フレーム分の垂直方向のズレ量のうち、１、２、４、５フレーム目のズレ量が５ラインであり、３フレーム目のみ１０ラインのズレ量であったとき、該当する各フレームに対してそれぞれそのままのズレ量を用いた補正値で補正を行うと、動画像として見た際にちらつくように見えてしまう欠点が生じる。これを防ぐため、対象となるフレームの前後から適切なズレ量を算出する。ここでは、過去複数回のズレ量のモード（最頻値）を用いて、３フレーム目もズレ量を５ラインとして、補正値を算出する。このように、あるフレームだけズレ量が異なる場合としては、被写体がフレームインする瞬間で、左眼映像には被写体が写り込んでいるが、右眼映像には写り込んでいない状態で、左眼映像の被写体を含む領域が右眼映像内にないために、領域探索で誤検出をしてしまうなどの例がある。尚、補正値の例としてモードを用いたが、メジアン（中央値）でも良いし、平均値でも良いし、その他の計算結果を用いても良い。
【００２６】
更に、図４、図５、図６の構成では、ズレ量と同時にズーム値の情報も１フレーム毎に保持する。ズーム値の変化は、垂直方向のズレ量の変化に関係する。撮像機器の光学ユニットのセンサーには接着精度の誤差があり、光軸中心と撮像面中心とのズレが発生するため、ズーム値を動かすと、画面の中心が移動する。ここで、光学ユニット毎に接着精度の誤差が異なるため、左眼用と右眼用との撮像機器で同じズーム値であっても、左眼映像と右眼映像とでそれぞれ異なる方向や異なる大きさで中心がずれることにより、映像間に垂直方向のズレが発生する。よって、ズーム値が変化すると、垂直方向のズレ量も変化するため、保持した数フレーム分のズレ量のモードを用いた補正値が適切な補正値になるとは限らない。そのため、ズーム値が変化している際は、該当するフレームのズレ量を用いて補正値を算出する。又は、ズーム値の変化量と垂直方向のズレ量とに線形などの規則性がある場合は、その規則を予め保持しておき、規則から外れるズレ量に対して適切な補正量を算出しても良い。例えば、図７に示すように、ズーム値と垂直方向のズレ量とが線形に変化する相関規則性があり、１フレーム目から５フレーム目までのズーム値の変化量が一定であった場合、保持する５フレーム分の垂直方向のズレ量のうち、１、２、５フレーム目のズレ量が前のフレームに対して１ライン増えており、３フレーム目のみ１０ライン増えていたときは、３フレーム目のズレ量も前のフレームに対して１ライン増やしたものとして補正値を算出する。これにより、４フレーム目のズレ量も前のフレームに対して１ライン増えることになる。
【００２７】
映像信号補正部６０４では、算出した補正値を用いて補正を行う。例えば、補正値算出部６０３で説明したように、右眼映像を補正値分ずらすことにより、左眼映像と右眼映像との間の補正をする。
【００２８】
図６の構成では、制御信号生成部６０６を持ち、得られた補正値から制御信号を生成する。例えば、取得した右眼の映像信号をずらす補正ではなく、右眼映像を取得する際の撮像装置のセンサーの読み出しラインをずらすことによって補正をするための制御信号を生成する。また、例えば、補正値が大き過ぎてズレ量を補正しきれない場合などには、警告信号を生成し、撮像装置などで知らせる。図３、図５の構成も同様である。図３、図６では、映像信号と制御信号とを出力するので、制御信号の内容によっては、何れか一方を用いても良いし、両方を用いても良い。特に、取得した映像信号の補正は瞬間的な誤補正があるなどの場合に向いており、撮像装置へ制御信号を用いて行う補正は、色ズレなど、常に一定の差分値があるなどの場合に向いている。
【００２９】
以上、本実施形態における映像信号処理装置の構成の一例を、ブロック図を用いて説明した。
【００３０】
この映像信号処理装置を用いて、立体映像を動画像として見た場合の、補正のばらつきによる弊害を抑制することができる。
【００３１】
尚、映像信号入力部６０１は、異なる２視点以上の映像信号として、立体視に用いるための左眼映像と右眼映像とを例にして説明したが、マトリックス状などに撮像装置を並べて得られる複眼映像でも良い。
【００３２】
また、差分値算出部６０２と情報入力部６０５とにおいては、所定のタイミングとして、同時刻の１フレーム毎を採用した例を説明したが、それぞれの所定のタイミングは、非常に近い時刻のタイミングのものでも良い。非常に近い時刻のタイミングは、例えば、立体視に用いるための左眼映像と右眼映像とを１／６０秒毎に交互に記録するような撮像装置から得られる映像で、取得できる映像間に１／６０秒の僅かなずれがある場合などである。また、タイミングのきっかけは、何フレーム、何フィールド毎でも良いし、何秒毎でも構わない。タイミングのきっかけは、外部から与えても良いし、差分値算出部６０２と情報入力部６０５とのそれぞれにおいて、時計やカウンターなどを持っても良い。
【００３３】
更に、差分値算出部６０２と情報入力部６０５は、所定の時間間隔毎に保持する差分値を、５フレーム分としたが、何フレーム分、何フィールド分、何秒分の保持でも構わないし、保持した差分値から幾つかの値を抜き出して用いても良い。
【００３４】
加えて、差分値算出部６０２は、垂直方向のズレ量を例にとって説明したが、算出する差分は、水平方向の差、画角の差、回転の差、輝度の差、色の差などでも良い。水平方向の差は、例えば、マトリックス状などに撮像装置を並べて得られる複眼映像において、垂直方向に並んでいる撮像装置間の水平方向のズレ量を算出するものである。水平方向のズレ量の算出方法は、例えば、垂直方向のズレ量と同様に、左眼映像のある領域に対して右眼映像内で類似領域の探索を行うことにより、位置の変化量から水平方向のズレ量を求めることができる。画角の差は、例えば、立体視に用いるための左眼映像と右眼映像とにおいて、それぞれの撮像装置の個体差などの理由により同じ設定値であっても画角が異なる場合に、画角のズレ量を算出するものである。画角のズレ量の算出方法は、例えば、左眼映像のある領域に対して右眼映像内の類似領域で領域を拡大又は縮小することにより、類似度が高くなるときの拡大率又は縮小率を求めることができる。回転の差は、例えば、左眼映像と右眼映像とにおいて撮像装置間の調整精度が低いなどの理由により回転ズレがある場合に、回転のズレ量を算出するものである。回転のズレ量の算出方法は、例えば、画角のズレ量の算出方法と同様に、左眼映像のある領域に対して右眼映像内の類似領域で領域を回転させることにより、類似度が高くなるときの回転角を求めることができる。輝度の差は、例えば、左眼映像と右眼映像とにおいて撮像装置間の調整精度が低いなどの理由により輝度の差がある場合に、輝度の差分量を算出するものである。輝度の差分量は、例えば、左眼映像の平均輝度から右眼映像の平均輝度を引くことにより、求めることができる。色の差についても、例えば、輝度の差と同様に、ＲＧＢの各成分について求めることができる。
【００３５】
また、補正値算出部６０３では、垂直方向のズレ量のマイナス値を補正値とする例を説明したが、オフセット値を加算したり、ある割合で用いたりしても良いし、ある計算式に差分値を当てはめて算出しても良い。また、差分値を所定の時間間隔で保持して用いたが、所定の時間間隔で保持する値は補正値であっても良い。
【００３６】
更に、情報入力部６０５では、撮像時の情報として、ズーム値を例に説明したが、アイリス値、フォーカス値でも良く、映像に影響するその他の撮像情報でも良い。また、これらの情報の組み合わせを用いても良い。アイリス値を用いる例としては、映像間の明るさの差の補正などがある。フォーカス値を用いる例としては、各映像のエッジを抽出して、ぼけ具合を合わせるなどがある。情報の組み合わせを用いる例としては、各レンズの光軸変動による垂直方向のズレの補正などがある。
【００３７】
加えて、情報入力部６０５に入力する情報として、左眼映像用の撮像装置と右眼映像用の撮像装置とが一体型や同時制御において、一つの情報項目に対して一つの値を取得する例を説明したが、一つの情報項目に対して複数の撮像装置から独立に取得できる値でも良い。複数の撮像装置から取得できる情報を取得する場合は、これらの差の情報も補正値算出部６０３で用いることもできる。
【００３８】
また、制御信号生成部６０６では、右眼映像を取得する際の撮像装置のセンサーの読み出しラインをずらすことによって垂直方向のズレを補正する例を説明したが、勿論、補正すべき内容に応じて制御の内容は違っていても良い。例えば、画角のズレがある場合は、ズーム位置を変えるために、撮像装置のレンズ制御などを行う。
【００３９】
更に、以上の説明では、右眼映像を左眼映像に合わせるような補正の例を説明したが、左眼映像を右眼映像に合わせるような補正でも構わないし、勿論、左眼映像と右眼映像の両方を補正しても良い。複眼映像などの場合も同様である。
【００４０】
以上、図６記載の構成を中心に説明したが、本発明は図６の構成に限定されず、同図の映像信号補正部６０４及び制御信号生成部６０６のうち、図１，図２、図４及び図５に示すように、映像信号補正部１０４、４０４のみ又は制御信号生成部２０６、５０６のみを備える構成であっても良いのは勿論のこと、図１〜図３に示すように、図６の情報入力部６０５を備えない構成を採用しても良いのは勿論である。
【産業上の利用可能性】
【００４１】
以上説明したように、本発明の映像信号処理装置は、立体映像を動画像として見たときに、補正のばらつきによる弊害を抑制できるので、立体映像を撮像する３Ｄビデオカメラや、３Ｄ編集装置などに適用して、有用である。
【符号の説明】
【００４２】
１００〜６００                  映像信号処理装置
１０１〜６０１                  映像信号入力部
１０２〜６０２                  差分値算出部
１０３〜６０３                  補正値算出部
１０４、３０４、４０４、６０４        映像信号補正部
２０６、３０６、５０６、６０６        制御信号生成部
４０５〜６０５                    情報入力部
【図１】
0005950197.tif 000002
【図２】
0005950197.tif 000003
【図３】
0005950197.tif 000004
【図４】
0005950197.tif 000005
【図５】
0005950197.tif 000006
【図６】
0005950197.tif 000007
【図７】
0005950197.tif 000008