(57)【要約】走査線レベルで２台の撮像装置の水平基軸が一致した画像を出力することを目的として、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影方法および装置において、２台の撮像装置撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて撮像装置からの出力画像を立体視に適したものに補正する。
2004098204.tif 000002
【特許請求の範囲】
【請求項１】
水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影し、立体画像表示用の映像を出力する立体映像の撮影装置において、２台の撮像装置で撮影した映像のうち定めた走査線の映像情報を比較し、この比較結果に基づいて撮影装置の傾斜を検出することを特徴とする立体映像撮影方法。
【請求項２】
比較する走査線は各映像の中央部から選択することを特徴とする請求の範囲１に記載の立体映像撮影方法。
【請求項３】
走査線情報の差の絶対値を算出して、この差の極小値を得ることにより撮影装置の傾斜を検出することを特徴とする請求の範囲１に記載の立体映像撮影方法。
【請求項４】
複数の走査線の加算値を、各撮像装置の走査線の映像情報とすることを特徴とする請求の範囲１に記載の立体映像撮影方法。
【請求項５】
各撮像装置の走査線情報を、映像処理することにより比較すべき対象個所を抽出することを特徴とする請求の範囲１に記載の立体映像撮影方法。
【請求項６】
撮影を、表示範囲より大きな範囲を撮影する撮像素子を用いて行い、出力する画像の範囲を前記撮像素子の特定範囲で撮影したものとして出力することにより傾斜の補正を行うことを特徴とする請求の範囲１乃至請求の範囲５のいずれかに記載の立体映像撮影方法。
【請求項７】
水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影し、立体画像表示用の映像を出力する立体映像の撮影装置において、２台の撮像装置撮影した映像の定めた走査線を抽出する走査線抽出手段と、抽出した走査線の映像情報を比較する比較手段と、この比較結果に基づいて撮像装置の傾きを検出する傾斜角演算手段と、を備えたことを特徴とする立体映像撮影装置。
【請求項８】
走査線抽出手段は、走査線を各映像の中央部から選択することを特徴とする請求の範囲７に記載の立体映像撮装置。
【請求項９】
走査線比較手段は、走査線情報の差の絶対値を算出し、傾斜角演算手段は、この差の極小値を得ることにより２台の撮像装置の傾斜角を測定することを特徴とする請求の範囲７に記載の立体映像撮影装置。
【請求項１０】
走査線抽出手段は、複数の走査線を抽出し、走査線比較手段は加算値を各撮像装置の走査線の映像情報として比較することを特徴とする請求７に記載の立体映像撮影方法。
【請求項１１】
走査線抽出手段は、各撮像装置の走査線情報を映像処理することにより比較すべき対象個所選択することを特徴とする請求の範囲７に記載の立体映像撮影装置。
【請求項１２】
各撮影装置は、表示範囲より大きな範囲を撮影する撮像素子を備え、出力する画像の範囲を前記撮像素子の特定範囲で撮影した画像を出力画像とする補正を行う出力画像補整手段を備えたことを特徴とする請求の範囲７乃至請求の範囲１１のいずれかに記載の立体映像撮影装置。
【発明の詳細な説明】
【技術分野】  本発明は、立体映像撮影方法及び装置に係り、特に２台の撮像装置で立体映像を撮影するに際して、撮影装置から正しく立体認識できる２つの映像を容易に出力させることができる立体映像撮影方法及び装置に関する。
技術背景
立体映像を撮影するに際して撮像装置である２台のビデオカメラを所定量離間して配置し、視差量のある２つの映像を撮影することが一般的に行われている。
このような場合、２台のカメラの光軸が同じ水平高さ位置を向き、且つ、撮影素子における水平方向の走査が同一の水平軸に対して同一の位置に配置されていることが望ましい。
通常２台のカメラは、一体として基台に固定されているから、水平基軸に一体として固定されるが、２台のカメラを固定する基台が傾いていると、人がこの映像を両眼視した場合に大きな違和感を持つ。つまり、図８に示すように、２台のカメラ１Ｌ，１Ｒで画像を撮影した場合についてみると。画像中に被写体として比較的近い距離（たとえば距離Ｆ＝５ｍ）に人物Ａがあり、遠い距離（たとえば距離数Ｋｍ）先に山Ｂがあるとする。このような場合、両カメラ１Ｌ，１Ｒにわずかに傾きがあった場合、図４に示すように、映像４１Ｌ、４１Ｒ上における人物Ａの位置ずれは数十ラインでおさまるが、遠方にある山Ｂの画像は拡大されてその差δが数百ラインにもなることになる。このような状態で立体画像を再生すると、観者は人物の画像ＡＬ，ＡＲについては頭の中で同一物として認識して立体視できるものの、山Ｂについては２つの画像ＢＬ，ＢＲを同一のものとして認識できず２重の映像としてとらえてしまうこととなる。
また、図７に示すように、遠景がない近景だけの画像を撮影した場合には、画像中に、図５に示すように、注目する人物の画像ＡＬ，ＡＲに数走査ラインの相違が発生し、この人物Ａを注目している観者には大きく意識され快適な立体視の障害となる。
このような立体映像撮影装置における傾斜角測定法としては、水準器などの使用が考えられる。しかし、このような水準器を使用しても、実際には１走査線の精度で水平基準を満たすことは難しい。
また、レーザ光を水平に照射してこれを基準としてカメラの水平基軸を合わせることも考えられるが、レーザ光が撮影されてしまうこととなり、好ましくない。
そこで本発明は、走査線レベルで２台のカメラの水平基軸を合わせるため、容易にカメラの傾斜を測定できる立体映像撮影方法及び装置を提供することを目的とする。
【発明の開示】
請求の範囲１に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影する立体映像の撮影装置において、２台の撮像装置で撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて２台の撮像装置の位置を検出することを特徴とする立体映像撮影方法である。本発明によれば、水準器などの機械的装置を使用することなく、撮像装置から得られる走査線のデータを電子的に処理で正確且つ迅速に２台の撮像装置の傾きを測定できる。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、比較する走査線は映像の中央部から選択することを特徴とするものである。本発明によれば、もっとも情報量が多い個所の走査線に基づいて正確に撮影装置の傾斜を測定できる。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、走査線情報の差の絶対値を算出し、２台のカメラの傾斜を測定することを特徴とするものである。本発明によれば、簡単な演算で正確な傾斜を得ることができる。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、複数の走査線の加算値を各撮像手段の走査線の映像情報とすることを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、各撮影手段の走査線情報を映像処理することにより比較すべき対象個所を抽出することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５に記載の立体映像撮影方法において、撮影を表示範囲より大きな範囲を撮影する撮像素子を用いて行い、出力する画像の範囲を前記撮像素子の特定範囲で撮影したものとして出力することにより傾斜の補正を行うことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
請求の範囲７に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影装置を技術的前提とし、前記複数の撮像装置の傾斜度を測定する立体映像撮影装置における傾斜角測定装置において、２台の撮影手段が撮影した映像のうち定めた走査線を抽出する走査線抽出手段と、抽出した走査線の映像情報を比較する比較手段と、この比較結果に基づいて撮影装置の傾斜を測定する傾斜角演算手段とを備えたことを特徴とするものである。本発明によれば、水準器などの機械的装置を使用することなく、カメラから得られる走査線のデータを電子的に処理でき、正確且つ迅速に撮像装置の傾斜角を測定できる。
請求の範囲８に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において走査線抽出手段は、走査線を映像の中央部から選択することを特徴とするものである。本発明によれば、最も情報量が多い個所の走査線に基づいて正確に２台のカメラの傾斜を測定できる。
請求の範囲９に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線比較手段は、走査線情報の差の絶対値を算出し、傾斜角演算手段は、この差に基づいて２台のカメラの傾斜角を測定することを特徴とするものである。本発明によれば、簡単な演算処理で正確な傾斜値を得ることができる。
請求の範囲１０に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線抽出手段は、複数の走査線を抽出し、走査線比較手段は、加算値を各撮影手段の走査線の映像情報として比較することを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲１１に記載の本発明は、請求の範囲７に記載の立体映像撮影装置における傾斜角測定装置において、走査線抽出手段は、各撮像手段の走査線情報を映像処理することにより比較すべき対象個所選択することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲１２に記載の本発明は、請求の範囲７乃至請求の範囲１１のいずれかに記載の立体映像撮影装置において、各撮像手段は、表示範囲より大きな範囲を撮影する撮像素子を備え、出力する画像の範囲を前記撮像素子の特定範囲で撮影した画像を出力画像とする補正を行う出力画像補整手段を備えたことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
【図面の簡単な説明】  図１は、本発明に係る立体映像撮影装置を示すブロック図である。
図２は、図１に示した立体映像撮影方法を示すフローチャートである。
図３は、図１に示した立体映像撮影方法の水平方向の決定に用いるグラフの一例を示す図である。
図４は、立体映像撮影装置で撮影した画像を示す図である。
図５は、図１に示した立体映像撮影装置の撮影画像の補正状態を示す図である
図６は、２台のカメラが水平状態を保っている時の映像を示す模式図である。
図７は、２台のカメラが水平から角θ傾いた時の映像を示す模式図である。
図８は、本発明が適用される立体画像撮影装置の配置関係を示す図である。
【発明を実施するための最良の形態】  以下、本発明の実施の形態について、図面を参照して説明する。図１は、本発明に係る立体映像撮影装置を示すブロック図、図２は図１に示した立体映像撮影方法を示すフローチャート、図３は図１に示した立体映像撮影装置の水平方向の決定に用いるグラフの一例を示す図、図４は立体映像撮影装置で撮影した遠景および近景を含む画像を示す図、図５は図１に示した立体映像撮影装置の遠景および近景を含む撮影画像の補正状態を示す図、図６は２台のカメラが水平状態を保っている時の映像を示す模式図、図７は２台のカメラが水平から角θ傾いた時の映像を示す模式図、図８は本発明が適用される立体画像撮影装置の配置関係を示す図である。
本例において立体映像撮影装置における傾斜角測定装置は、図１に示すように、撮影手段である左右のカメラ１Ｌ，１Ｒに接続された走査線抽出手段２と、走査線比較手段３と、傾斜角演算手段４と、出力画像補正手段と、からなる。
まず、図１乃至図４及び図８に基づいて被写体に近景及び遠景を含む場合に適合する立体画像撮影装置について説明する。
カメラ１Ｌ，１Ｒは基台に固定され、被写体を撮影して視差量のある映像を出力し立体映像表示のための映像データを出力する（図４、図２、Ｓ１）。
このカメラ１Ｌ、１Ｒが水平に同一水平基軸上にあるときには、上下方向のずれのない正しい左右の映像が得られ、被写体人物Ａ、山Ｂも同一水平位置になる。仮に、図４に示すように、撮像装置が傾いている場合には、被写体Ａ，Ｂの位置は左右の映像で上下方向にずれる。この場合、近景である人物Ａの左右の画像ＡＬ、ＡＲのずれ量δは少なく（たとえば数十ライン）、遠景である山Ｂの左右の画像ＢＬ，ＢＲずれ量は大きい（たとえば数百ライン）。
走査線抽出手段２は、映像の抽出範囲４１Ｌ、４１Ｒを抽出する（例えば走査線番号１〜Ｎとする）（Ｓ２）。これは例えば映像の上部で、上下寸法の１／３程度が適当である。もし両カメラ１Ｌ，１Ｒの映像に視差があり、左右方向にずれがある場合は、被写体を検出するなどの方法で抽出範囲を定めるようにする。
次に走査線比較手段は、例えば、先ず走査範囲４１Ｌ中の走査線４２Ｌ（上からｎ番目の走査線）に着目して、その走査線の輝度データを水平方向に順次獲得して格納する（これらの輝度データをＡｎとする）。そして、次に捜査範囲４１Ｒの走査線を上から走査獲得していき、それらの輝度輝度データ（Ｂｍ（ｍ＝１〜Ｎ））を獲得する。
次に、走査線比較手段３は前記輝度データ間の差の絶対値（｜Ａｎ−Ｂｍ｜（ｍ＝１〜Ｎ）を順次計算する（Ｓ３）。これをグラフにすると例えば図３に示すようになる。このグラフでは輝度信号の差の絶対値が曲線で表されており、その極小値は｜Ａｎ−Ｂｐ｜で得られることがわかる。左側映像４１Ｌのｎ番目の走査線と、右側映像４１Ｒのｐ番目の走査線とが一致するということがわかる。なおこの極小値は雑音などの影響で必ずしも０とはならない。
傾斜角演算手段４は、カメラ１Ｌ，１Ｒの距離と、走査線の寸法から角度θを演算することができる（Ｓ４）。そして、出力画像補整手段５は出力画像の補正を行う（Ｓ５）。この補正は、に対応するための補正を行っている場合にはこのための補正を行う（Ｓ４）。この補正は撮影装置の撮像素子５１Ｌ、５１Ｒとして、実際の出力画像５２Ｌ，５２Ｒ（例えば横６４０画素×縦４８０画素）より大きなもの（例えば横１０００画素×縦６００画素）を使用して、例えば右側の出力画像５２Ｒを上下左右に移動あるいは回転させるようにすればよい。
また、前記傾斜検出と補正とを同時に行えるようにするため、一旦、画像をメモリに取り込み、出力画像５２Ｌ、５２Ｒの輝度を各ライン毎に比較しながら、例えば右側の出力画像を移動させるようにしてもよい。
このようにして、カメラの傾きを正確且つ迅速に測定できる。この値に基づいてカメラの水平位置を調整できる。
また、走査線抽出手段は、複数、例えば３列の走査線を抽出し、走査線比較手段は加算値を各カメラの走査線の映像情報として使用することができる。このようにすれば、映像中に発生している雑音をキャンセルして正確な測定ができる
また、輝度の抽出を同じ番号の走査線で行い、２つの輝度データを比較しつつカメラの傾きを変えていき、輝度差が最小になった個所でカメラが水平基準に一致したものとすることができる。
次に、図２及び図３、図６乃至図８に基づいて遠景を含まない場合に適合する立体画像撮影装置について説明する。
前記例と同様、カメラ１Ｌ，１Ｒは基台に固定され、被写体である人物Ａを撮影して視差量のある映像を出力し立体映像表示のための映像データを出力する（図２、Ｓ１）。
このカメラ１Ｌ、１Ｒが水平に同一水平基軸上にあるときには、図６に示すように、正しい左右の映像２０Ｌ，２０Ｒが得られ、被写体３０も同一水平位置になる。仮に、図７に示すように、カメラが水平基軸ＧＬに対してθ傾いている場合には、人物Ａの位置は左右の映像で上下方向にずれる。尚、各図では両カメラの視差による左右方向のずれは考慮していない。
走査線抽出手段２は、図７に示すように、映像の抽出範囲１１Ｌ、１１Ｒを抽出する（例えば走査線番号１〜Ｎとする）（Ｓ２）。これは例えば映像の中央部で、上下左右の寸法の１／３程度が適当である。もし両カメラ１Ｌ，１Ｒの映像に視差があり、左右方向にずれがある場合は、被写体を検出するなどの方法で抽出範囲を定めるようにする。
次に、走査線比較手段３は、図７に示すように、走査範囲１１Ｌ中の走査線１２Ｌ（上からｎ番目の走査線）に着目して、その走査線の輝度データを水平方向に順次獲得して格納（これらの輝度データをＡｎとする）する。
次に、捜査範囲１１Ｒの走査線を上からｎ番の上下数ライン（Δｎ：例えば５）を順次走査獲得していき、それらの輝度輝度データ（Ｂｍ（ｍ＝ｎ±Δｎ））を獲得する。
次に、走査線比較手段３は、前記輝度データ間の差の絶対値（｜Ａｎ−Ｂｍ｜を順次計算する（Ｓ３）。これをグラフにすると、図３に示すようになる。このグラフでは、輝度信号の差の絶対値が曲線で表されており、その極小値は｜Ａｎ−Ｂｐ｜で得られることがわかる。また、左側映像１１Ｌのｎ番目の走査線と、右側映像１１Ｒのｐ番目の走査線とが一致するということがわかる。尚、この極小値は雑音などの影響で必ずしも０とはならない。
傾斜角演算手段４は、カメラ１Ｌ，１Ｒの距離と、走査線の寸法から角度θを演算する。視差に対応するための補正を行っている場合にはこのための補正を行う（Ｓ４）。
このようにして、カメラの傾きを正確且つ迅速に測定できる。この値に基づいてカメラの水平位置を調整できる。
また、走査線抽出手段は、複数、例えば３列の走査線を抽出し、走査線比較手段３は、加算値を各カメラの走査線の映像情報として使用することができる。このようにすれば、映像中に発生している雑音をキャンセルして正確な測定ができる
さらに、輝度の抽出を同じ番号の走査線で行い、２つの輝度データを比較しつつカメラの傾きを変えていき、輝度差が最小になった個所でカメラが水平基準に一致したものとすることができる。
この場合には、カメラに傾斜駆動装置を用いたり、上述した例と同様に撮像素子を実際の撮像範囲より大きなものを使用して、傾斜が発生しない範囲を出力することができる。
【産業上の利用可能性】  請求の範囲１に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影する立体映像の撮影装置において、２台の撮像装置で撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて２台の撮像装置の位置を検出することを特徴とする立体映像撮影方法である。本発明によれば、水準器などの機械的装置を使用することなく、撮像装置から得られる走査線のデータを電子的に処理で正確且つ迅速に２台の撮像装置の傾きを測定できる。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、比較する走査線は映像の中央部から選択することを特徴とするものである。本発明によれば、もっとも情報量が多い個所の走査線に基づいて正確に撮影装置の傾斜を測定できる。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、走査線情報の差の絶対値を算出２台のカメラの傾斜を測定することを特徴とするものである。本発明によれば、簡単な演算で正確な傾斜を得ることができる。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、複数の走査線の加算値を各撮像手段の走査線の映像情報とすることを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、各撮影手段の走査線情報を映像処理することにより比較すべき対象個所を抽出することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体映像撮影方法において、撮影を表示範囲より大きな範囲を撮影する撮像素子を用いて行い、出力する画像の範囲を前記撮像素子の特定範囲で撮影したものとして出力することにより傾斜の補正を行うことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
請求の範囲７に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影装置であって、前記複数の撮像装置の傾斜度を測定する立体映像撮影装置における傾斜角測定装置において、２台の撮影手段が撮影した映像のうち定めた走査線を抽出する走査線抽出手段と、抽出した走査線の映像情報を比較する比較手段と、この比較結果に基づいて撮影装置の傾斜を測定する傾斜角演算手段と、を備えたことを特徴とする立体映像撮影装置である。本発明によれば、水準器などの機械的装置を使用することなく、カメラから得られる走査線のデータを電子的に処理で正確且つ迅速に撮像装置の傾斜角を測定できる。
請求の範囲８に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において走査線抽出手段は、走査線を映像の中央部から選択することを特徴とするものである。本発明によれば、最も情報量が多い個所の走査線に基づいて正確に２台のカメラの傾斜を測定できる。
請求の範囲９に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線比較手段は、走査線情報の差の絶対値を算出し、傾斜角演算手段は、この差に基づいて２台のカメラの傾斜角を測定することを特徴とするものである。本発明によれば、簡単な演算処理で正確な傾斜値を得ることができる。
請求の範囲１０に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線抽出手段は、複数の走査線を抽出し、走査線比較手段は加算値を各撮影手段の走査線の映像情報として比較することを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲１１に記載の本発明は、請求の範囲７記載の立体映像撮影装置における傾斜角測定装置において、走査線抽出手段は、各撮像手段の走査線情報を映像処理することにより比較すべき対象個所選択することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲１２に記載の本発明は、請求の範囲７乃至請求の範囲１１のいずれかに記載の立体映像撮影装置において、各撮像手段は、表示範囲より大きな範囲を撮影する撮像素子を備え、出力する画像の範囲を前記撮像素子の特定範囲で撮影した画像を出力画像とする補正を行う出力画像補整手段を備えたことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
【図１】
2004098204.tif 000003
【図２】
2004098204.tif 000004
【図３】
2004098204.tif 000005
【図４】
2004098204.tif 000006
【図５】
2004098204.tif 000007
【図６】
2004098204.tif 000008
【図７】
2004098204.tif 000009
【図８】
2004098204.tif 000010
【国際調査報告】
2004098204.tif 000011
2004098204.tif 000012