(57)【要約】【課題】３Ｄ撮像時において、左右の映像が重なる点を認識しにくく、コンバージョンポイントの調整が困難であるという課題がある。【解決手段】ステレオ映像処理装置は、第１および第２の映像信号の低周波成分を除去する周波数成分抽出部３、４と、周波数成分抽出部３、４の出力を比較し、第１の映像信号と第２の映像信号におけるエッジが一致する領域を検出する比較部６と、第１の映像信号と第２の映像信号とを比較し、視差量が大きい領域を検出するマスク領域生成部８と、比較部６で検出したエッジが一致する領域から、マスク領域生成部８で検出した視差量が大きい領域を除いた領域を算出する比較部７と、少なくとも第１の映像信号および第２の映像信号のいずれかと比較部７で算出した領域とを合成し出力する表示変換部１２と、を備える。【選択図】図１
2011250051.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ映像を構成する第１の映像信号および第２の映像信号が入力される入力部と、
前記第１の映像信号の低周波成分を除去する第１の周波数成分抽出部と、
前記第２の映像信号の低周波成分を除去する第２の周波数成分抽出部と、
前記第１の周波数成分抽出部の出力と前記第２の周波数成分抽出部の出力を比較し、前記第１の映像信号と前記第２の映像信号におけるエッジが一致する領域を検出する比較部と、
前記第１の映像信号と前記第２の映像信号とを比較し、前記第１の映像信号と前記第２の映像信号の間で視差量が大きい領域を検出するマスク領域生成部と、
前記比較部で検出したエッジが一致する領域から、前記マスク領域生成部で検出した視差量が大きい領域を除いた領域を算出する補正部と、
少なくとも前記第１の映像信号および前記第２の映像信号のいずれかと前記補正部で算出した領域とを合成し出力する表示変換部と、
を備えるステレオ映像処理装置。
【請求項２】
前記マスク領域生成部は、
前記第１の映像信号と前記第２の映像信号との差分を算出する第２の比較部と、
前記第２の比較部が出力する差分映像信号の高周波成分を除去する低周波成分抽出部と、
前記低周波成分抽出部の出力について、所定の閾値以上の信号レベルを有する領域を、前記視差量が大きい領域として検出する２値処理部と、
を備える請求項１に記載のステレオ映像処理装置。
【請求項３】
前記マスク領域生成部は、
前記第１の周波数成分抽出部の出力と前記第２の周波数成分抽出部の出力とを比較し、両者を一致させるために必要なシフト量を算出する視差量演算部と、
前記視差量演算部で算出したシフト量が所定の閾値以上の領域を、前記視差量が大きい領域として検出する視差量検出部と、
を備える請求項１に記載のステレオ映像処理装置。
【請求項４】
ステレオ映像を構成する第１の映像信号および第２の映像信号が入力される入力ステップと、
前記第１の映像信号の低周波成分を除去する第１の周波数成分抽出ステップと、
前記第２の映像信号の低周波成分を除去する第２の周波数成分抽出ステップと、
前記第１の周波数成分抽出ステップの出力と前記第２の周波数成分抽出ステップの出力を比較し、前記第１の映像信号と前記第２の映像信号におけるエッジが一致する領域を検出する比較ステップと、
前記第１の映像信号と前記第２の映像信号とを比較し、前記第１の映像信号と前記第２の映像信号の間で視差量が大きい領域を検出するマスク領域生成ステップと、
前記比較ステップで検出したエッジが一致する領域から、前記マスク領域生成ステップで検出した視差量が大きい領域を除いた領域を算出する補正ステップと、
少なくとも前記第１の映像信号および前記第２の映像信号のいずれかと前記補正部で算出した領域とを合成し出力する表示変換ステップと、
を含むステレオ映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２眼式撮像装置を用いて撮像されたステレオ映像を処理し、表示するステレオ映像処理装置およびステレオ映像処理方法に関するものであり、特に、撮像時に左右の映像が重なるコンバージェンスポイントを表示可能なステレオ映像処理装置およびステレオ映像処理方法に関するものである。
【背景技術】
【０００２】
２眼式カメラを用いてステレオ映像（３Ｄ）を撮像する場合、撮影者は、コンバージェンスポイント（左カメラ映像と右カメラ映像が重なるポイント）を調整して、撮像を行う。ステレオ映像は、コンバージョンポイントが映像中のどの位置にあるかによって、立体効果（飛び出し量）が変化するためである。
【０００３】
コンバージョンポイントを調整する技術として、例えば特許文献１に開示の技術がある。特許文献１に開示の撮影装置は、表示位置調整装置を有する。表示位置調整は、第１の撮影ユニットの撮像系による撮影領域と、第２の撮影ユニットの撮像系による撮影領域のズレを補正するための手段であって、撮像回路のＣＣＤの出力切り出し領域（位置）を変更し、同じ被写体に向けられた２つの光学系から取得される画面において最も近い被写体が重なり合うように、第２の撮影ユニットの表示位置（ＣＣＤの出力切り出し位置）を調整する。撮影装置は、表示位置の調整に際して、半透明状に処理された複数の画像を、モニタの画面上に表示する。撮影者は、この重なり合った画像を見ながら、表示位置調整装置により画像の位置の調整を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２８７９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成は、撮像装置のビューファインダーが小さい場合、左右の映像が重なる点を認識しにくく、コンバージョンポイントの調整が困難であるという課題がある。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するものであり、ステレオ映像処理装置は、ステレオ映像を構成する第１の映像信号および第２の映像信号が入力される入力部と、前記第１の映像信号の低周波成分を除去する第１の周波数成分抽出部と、前記第２の映像信号の低周波成分を除去する第２の周波数成分抽出部と、前記第１の周波数成分抽出部の出力と前記第２の周波数成分抽出部の出力を比較し、前記第１の映像信号と前記第２の映像信号におけるエッジが一致する領域を検出する比較部と、前記第１の映像信号と前記第２の映像信号とを比較し、前記第１の映像信号と前記第２の映像信号の間で視差量が大きい領域を検出するマスク領域生成部と、前記比較部で検出したエッジが一致する領域から、前記マスク領域生成部で検出した視差量が大きい領域を除いた領域を算出する補正部と、少なくとも前記第１の映像信号および前記第２の映像信号のいずれかと前記補正部で算出した領域とを合成し出力する表示変換部と、を備える。
【発明の効果】
【０００７】
上記の構成によって、ステレオ映像処理装置は、表示部に第１の映像と第２の映像とが合致している領域のみを強調して表示することができ、撮影者は、コンバージェンスポイントを容易に認識でき、調整が容易になるという効果を有する。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１におけるステレオ映像処理装置の構成を示すブロック図
【図２】実施の形態１におけるステレオ映像処理装置の動作波形を示す図
【図３】実施の形態１における入力映像の一例を示す図
【図４】実施の形態１における比較部の構成を示す図
【図５】実施の形態１における比較部の動作波形を示す図
【図６】実施の形態１における他の比較部の構成を示す図
【図７】実施の形態１におけるマスク領域生成部の動作波形を示す図
【図８】実施の形態１における入力映像と信号Ｆ４の関係を示す図
【図９】実施の形態１における表示変換部の構成を示す図
【図１０】実施の形態１における出力映像を示す図
【図１１】実施の形態２におけるステレオ映像処理装置の構成を示すブロック図
【図１２】実施の形態２におけるステレオ映像処理装置の動作波形を示す図
【図１３】実施の形態２における視差量演算部の動作を示す図
【図１４】実施の形態２における視差量演算部の動作を示す図
【発明を実施するための形態】
【０００９】
以下、実施の形態について、図面を用いて詳細に説明する。
【００１０】
（実施の形態１）
（１．ステレオ映像処理装置の構成）
図１は、実施の形態１におけるステレオ映像処理装置の構成を示すブロック図である。図１において、ステレオ映像処理装置は、左映像入力端子１と、右映像入力端子２と、周波数成分抽出部３と、周波数成分抽出部４と、強調領域決定部５と、表示変換部１２と、を含む。
【００１１】
周波数成分抽出部３は左映像の水平エッジ成分を抽出する機能を有し、任意のタップ数を持つフィルタで構成される。周波数成分抽出部４は、右映像の水平エッジ成分を抽出する機能を有し、任意のタップ数を持つフィルタで構成される。
【００１２】
強調領域決定部５は左映像と右映像の合致する領域を決定する機能を有し、比較部６と比較部７とマスク領域生成部８から構成される。
【００１３】
マスク領域生成部８は、誤検出した部分を除外（マスキング）する領域を決定する機能を有し、比較部９と低周波成分抽出部１０と２値処理部１１から構成される。
【００１４】
表示変換部１２は、強調領域決定部が示す領域を強調して表示する機能を有し、図示しない液晶ディスプレイ等の表示装置に対して映像を出力する。
【００１５】
（２．ステレオ映像処理装置の動作）
図２は、実施の形態１におけるステレオ映像処理装置の動作波形を示す図である。図２を用いてステレオ映像処理装置の動作を説明する。
【００１６】
３次元映像を構成する左映像と右映像がそれぞれ左映像入力端子１、および、右映像入力端子２に入力される。図３は左映像、右映像の一例であり、１フィールド（プログレッシブの場合は１フレーム）の映像を示したものである。例えば、１０８０／６０インターレースフォーマットの場合、図３における左映像および右映像は、いずれも水平１９２０画素、垂直５４０ラインから構成される。本映像は縦縞の映像であり、左映像の縦縞を左からＡＬ、ＢＬ、ＣＬ、右映像の縦縞を同じく左からＡＲ、ＢＲ、ＣＲとする。
【００１７】
図２の左映像、右映像は、図３の映像における任意の１ラインの波形を示したものである。ここでは、左映像の縦縞ＡＬと右映像の縦縞ＡＲが重なっており、縦縞ＢＬとＢＲ、ＣＬとＣＲは視差Ｓ画素の差があるものとする。３次元映像では、左右映像が重なるＡＬとＡＲの領域はコンバージェンスポイント上にあり、ＢＬとＢＲの領域、ＣＬとＣＲの領域は左映像が左側にあるので、コンバージェンスポイントよりも奥側に存在することになる。
【００１８】
入力された左映像は周波数成分抽出部３に入力され、そこで、エッジ成分Ｌ１が抽出される。また同様に、右映像に関しても周波数成分抽出部４においてエッジ成分Ｒ１が抽出される。
【００１９】
その後、両信号は比較部６に入力される。図４は、比較部６の一例を示したものであり、２値演算部１３、１４および論理積演算部１５から構成される。図５は比較部６の動作波形を示したものである。上記抽出されたエッジ成分Ｌ１、Ｒ１はそれぞれ２値演算部１３、１４に入力され、図５に示すように閾値＋ＴＨ以上もしくは、閾値−ＴＨ以下の場合にハイレベルを示す信号が出力される。そして２値化された信号Ｌ２、Ｒ２が論理積演算部１５に入力され、信号Ｆ１が出力される。これにより、左右両映像のエッジ成分が重なる部分についてハイレベルを示す信号Ｆ１が生成される。
【００２０】
しかし、図２において明らかなように、コンバージェンスポイント上にある縦縞ＡＬ、ＡＲのエッジ成分が重なる部分以外に、視差が存在する縦縞ＣＬ、ＢＲのエッジ部分にも信号Ｆ１がハイレベルとなる部分が発生する。これは、縦縞ＣＬの左側エッジとＢＲの左側エッジが偶然重なるために発生するものであり、コンバージェンスポイントを誤検出していることになる。
【００２１】
マスク領域生成部８は、上記誤検出した部分を除外（マスキング）する領域を決定する機能を有するものである。比較部９の一例を図６に示す。比較部９は、減算部１６、絶対値処理部１７から構成される。まず、比較部９には、入力端子１、２に入力された左右両映像が入力され、減算部１６において、両映像の減算が行われる。その後、絶対値処理部１７にて減算された映像に対して絶対値化を行うことで信号Ｆ２が生成される。その後、図１における低周波成分抽出部１０にて、信号Ｆ２に対してローパスフィルタリング処理が行われ、Ｆ２を訛らせた信号Ｆ３を得る。その後、２値処理部１１にて、図２の信号Ｆ３に示す破線を閾値として２値化を行う。これにより、映像領域の中で、左右映像の視差が大きい領域をローレベル、視差が少ない領域をハイレベルで示す信号Ｆ４が生成される。
【００２２】
図７にローパスフィルタリング処理の効果について詳しく説明する。例えば、図７において、領域Ａはコンバージェンスポイント上にある被写体、領域Ｂは視差が存在する領域とする。その場合、上記方法で信号Ｆ２を求めると、図７におけるＦ２に示すような波形となる。つまり、領域Ａにおいては、ノイズなどの影響により幅の狭いパルス状の波形が発生する。これは、本来、コンバージェンスポイント上にあるものと考えてよい。また、領域Ｂは視差の大きい被写体が存在するが、全領域でハイレベルを示す信号にはならず、ローレベルの領域が存在する。ローパスフィルタリング処理を行うことで、信号Ｆ３に示すように、波形が平滑化され、映像領域を視差の少ない領域と視差の大きな領域を大まかに区別することが可能となる。
【００２３】
図８に左映像、右映像と上記方法により生成された信号Ｆ４との関係を示す。コンバージェンスポイント上の縦縞ＡＬ、ＡＲ領域付近ではハイレベルを示し、視差の存在するＢＬ、ＣＬ、ＢＲ、ＣＲを含む領域付近ではローレベルを示すことになる。
【００２４】
その後、比較部６の出力である共通エッジ成分Ｆ１と、マスク領域生成部で生成されたマスク信号Ｆ４の比較を比較部７において行う。ここでは、信号Ｆ１と信号４の論理積を演算し信号Ｆ５を得る。
【００２５】
その後、表示変換部１２において、コンバージェンスポイントを表示する処理が行われる。図９に表示変換部１２の構成図を、図１０に、左右入力映像として図３に示す映像が入力された場合の出力映像を示す。図９において、表示変換部１２は、加算平均処理部１８と、セレクタ１９と、変換処理部２０で構成される。加算平均処理部１８において、左映像、右映像の加算平均が演算され、その後セレクタ１９に入力される。他方、セレクタ１９には左映像、右映像が入力されており、セレクタ１９は左映像、右映像、加算平均から映像を選択する。図１０（Ａ）は左映像を選択した場合、図１０（Ｂ）は右映像を選択した場合、図１０（Ｃ）は加算平均映像を選択した場合の出力映像である。その後、選択された映像は、変換処理部２０に入力される。変換処理部２０には、上記検出された信号Ｆ５が入力されており、例えば、図１０に示すように、信号Ｆ５がハイレベルの領域に対して、斜線を映像に付加する。これにより、閲覧者は、左右両映像が合致するコンバージェンスポイント上にある映像を容易に認識することが可能となる。
【００２６】
（３．まとめ）
以上、説明したように、本実施の形態によるステレオ映像処理装置によれば、第１の映像と第２の映像とが合致している領域のみを強調した映像を出力することができ、撮影者は、コンバージェンスポイントを容易に認識でき、調整が容易になるという効果を有する。
【００２７】
（実施の形態２）
（１．ステレオ映像処理装置の構成）
図１１は、実施の形態２におけるステレオ映像処理装置の構成を示すブロック図である。
【００２８】
図１１において、ステレオ映像処理装置は、左映像入力端子１と、右映像入力端子２と、周波数成分抽出部３と、周波数成分抽出部４と、強調領域決定部５と、表示変換部１２と、を含む。
【００２９】
本実施の形態は、実施の形態１のマスク領域生成部８の構成が異なるため、その点を中心に以下説明する。
【００３０】
マスク領域生成部８は、誤検出した部分を除外（マスキング）する領域を決定する機能を有し、視差量演算部２１と、２値処理部２２と、論理積演算部２３から構成される。
【００３１】
（２．ステレオ映像処理装置の動作）
図１２は、実施の形態２におけるステレオ映像処理装置の動作波形を示す図である。図１２を用いてステレオ映像処理装置の動作を説明する。
【００３２】
マスク領域生成部８には、周波数成分抽出部３、４で抽出された左映像エッジ成分Ｌ１、右映像エッジ成分Ｒ１が入力される。その後、視差量演算部２１に上記エッジ成分Ｌ１、Ｒ１が入力され、左右映像の視差量が演算される。図１３に視差量演算部２１における視差量演算方法の説明図を示す。エッジ成分Ｌ１における着目画素を画素Ａとし、画素Ａを中心とする±Ｎ画素（画素Ａは含まず）の範囲内の映像を要素Ｌ１（Ａ）とする。また、同様にエッジ成分Ｒ１における画素Ａを中心とする±Ｎ画素の範囲内の右エッジ映像を要素Ｒ１（Ａ）とする。
【００３３】
着目画素Ａにおける視差量を検出するため、視差量演算部２１は、まず、Ｌ１（Ａ）とＲ１（Ａ）を−Ｍ画素ずらしたＲ１（Ａ−Ｍ）との画素の合致数を演算する。図１４に示すように、視差量演算部２１は、Ｌ１（Ａ）内の総画素２Ｎ＋１とＲ１（Ａ−Ｍ）の総画素２Ｎ＋１の各々対応する画素同士の比較を行い、レベルが一致する合計数を演算する。よって、合致画素数の最小値は０、最大は２Ｎ＋１となる。そして、視差量演算部２１は、シフト量を−Ｍから＋Ｍまで１画素ごとにシフトさせ、最大の合致数を持つシフト量を、着目画素Ａにおける視差Ｓ（Ａ）とする。図１３のＬ１（Ａ）の場合には、シフト量が０の場合に合致数が最大となるので、Ｓ（Ａ）＝０となる。
【００３４】
上記方法で各水平画素について求め、各画素における視差量Ｓを演算し、それらが信号Ｆ２＿Ｌとして視差量演算部２１から出力される。図１２に示すＦ２＿Ｌは、コンバージェンスポイント上にあるＡＬ付近では視差量が０となり、視差Ｓが存在するＢＬ、ＣＬ、付近では、＋Ｓが出力される。
【００３５】
右映像についても同様の方法により、右映像における視差量を示す信号Ｆ２＿Ｒが生成される。図１２に示すように、ＡＲ付近では視差量が０となり、視差Ｓが存在するＢＲ、ＣＲ付近では、−Ｓが出力される。
【００３６】
その後、２値処理部２２は視差量を２値化する。例えば、２値処理部２２は視差量の絶対値が任意の値Ｔ以上の場合にローレベル、任意の値Ｔより小さい場合にハイレベルを示す信号Ｆ３＿Ｌ、Ｆ３＿Ｒにそれぞれ変換する。例えば、｜Ｔ｜＜｜Ｓ｜となるＴを選択した場合、Ｆ３＿Ｌ、Ｆ３＿Ｒは図１２に示すように、Ｆ２＿Ｌ、Ｆ２＿Ｒが０の領域がハイレベル、＋Ｓ、−Ｓの領域はローレベルの信号となる。
【００３７】
その後、論理積演算部２３において、Ｆ３＿ＬとＦ３＿Ｒの論理積が演算され、マスク信号Ｆ４を出力する。その後、実施の形態１と同様に、比較部７において信号Ｆ１が信号Ｆ４でマスキング処理され、信号Ｆ５に基づき映像信号に変換処理が施される。
【００３８】
（３．まとめ）
以上、説明したように、本実施の形態によるステレオ映像処理装置によれば、第１の映像と第２の映像とが合致している領域のみを強調した映像を出力することができ、撮影者は、コンバージェンスポイントを容易に認識でき、調整が容易になるという効果を有する。
【００３９】
（他の実施の形態）
本発明の実施の形態として、実施の形態１、２を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下まとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００４０】
実施の形態１において、変換処理の一例として、斜線で表示する方式を示したが、斜線ではなく検出領域の色を特定の色に置き換える、また、色レベルを変更するなどの処理を用いてもよい。また、検出領域の輝度レベルを変更する処理を用いてもよい。
【００４１】
本実施の形態２において、左映像から求めた信号Ｆ２＿Ｌと右映像から求めた信号Ｆ２＿Ｒの論理積を利用してマスキング信号Ｆ４を作成したが、左映像、もしくは右映像のどちらか一方を利用しても良い。
【００４２】
本実施の形態２において、左映像から求めた信号Ｆ２＿Ｌと右映像から求めた信号Ｆ２＿Ｒの論理積を利用してマスキング信号Ｆ４を作成したが、論理和で求めても良い。
【産業上の利用可能性】
【００４３】
本実施の形態にかかるステレオ映像処理装置は、第１の映像と第２の映像とが合致している領域のみを強調した映像を出力することができ、撮影者は、コンバージェンスポイントを容易に認識でき、調整が容易になるため、３Ｄ撮像装置等に適用することができ、有用である。
【符号の説明】
【００４４】
１  左映像入力端子
２  右映像入力端子
３、４  周波数成分抽出部
５  強調領域決定部
６、７、９  比較部
８  マスク領域生成部
１０  低周波成分抽出部
１１、２２  ２値処理部
１２  表示変換部
１３、１４  ２値演算部
１５、２３  論理積演算部
１６  減算部
１７  絶対値処理部
１８  加算平均処理部
１９  セレクタ
２０  変換処理部
２１  視差量演算部
【図１】
2011250051.tif 000003
【図２】
2011250051.tif 000004
【図４】
2011250051.tif 000005
【図５】
2011250051.tif 000006
【図６】
2011250051.tif 000007
【図７】
2011250051.tif 000008
【図９】
2011250051.tif 000009
【図１１】
2011250051.tif 000010
【図１２】
2011250051.tif 000011
【図１３】
2011250051.tif 000012
【図１４】
2011250051.tif 000013
【図３】
2011250051.tif 000014
【図８】
2011250051.tif 000015
【図１０】
2011250051.tif 000016