(57)【要約】【課題】見る人の負担が少ない立体画像を生成する立体映像撮影装置を提供する。【解決手段】左映像撮影部１と右映像撮影部３は被写体を撮影し、それぞれ、左目用の映像と右目用の映像を出力する。左映像データ入力部２と右映像データ入力部４は、それぞれ、左映像撮影部１と右映像撮影部３から左目用の映像と右目用の映像を受ける。距離計測５は、左映像撮影部１と右映像撮影部３の間に設置され、被写体までの距離を逐次計測する。距離データ入力部６は、距離計測部５から距離を逐次受ける。切出し幅算出処理７は、距離データ入力部６が受けた距離と、左映像撮影部１と右映像撮影部３との配置関係に基づき、切出し幅を逐次算出する。画像切出し処理８は、切出し幅算出処理７から切出し幅を受け、左目用の映像は右端から、右目用の映像は左端から、切出し幅分の映像を切出す。立体映像合成処理９は、画像切出し処理８が切出した映像から立体映像を生成する。【選択図】図２
2007194694.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、左目用の映像を出力する左映像撮影手段と、
前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段と、
前記左映像撮影手段の右側の近傍であり、前記被写体を撮影する位置に設置され、右目用の映像を撮影する右映像撮影手段と、
前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段と、
前記左映像撮影手段および前記右映像撮影手段の近傍に設置され、前記被写体までの距離を逐次計測する距離計測手段と、
前記距離計測手段が計測した距離の入力を逐次受け付ける距離データ入力手段と、
前記距離データ入力手段が受け付けた距離および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、
前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、
前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段と
を備えることを特徴とする立体映像撮影装置。
【請求項２】
前記左映像撮影手段は、画角θｃで横方向の画素数Ｎｄの映像を撮影し、
前記右映像撮影手段は、画角θｃで横方向の画素数Ｎｄの映像を撮影し、前記左映像撮影手段の右側に配置間隔Ｂｃで、前記左映像撮影手段と平行に設置され、
前記切出し幅算出手段は、前記距離データ入力手段が受け付けた距離をＤｃとして、切出し幅Ｎｃ＝Ｎｄ×｛２・Ｄｃ・ｔａｎ（θｃ／２）−Ｂｃ｝／｛２・Ｄｃ・ｔａｎ（θｃ／２）｝により算出すること
を特徴とする請求項１に記載の立体映像撮影装置。
【請求項３】
前記距離データ入力手段は、前記距離計測部が計測した距離を前記左映像撮影手段および前記右映像撮影手段に出力し、
前記左映像撮影手段は、前記距離データ入力手段から受けた距離に焦点を合わせ、
前記右映像撮影手段は、前記距離データ入力手段から受けた距離に焦点を合わせること
を特徴とする請求項１または請求項２に記載の立体映像撮影装置。
【請求項４】
被写体を撮影し、左映像を出力する左映像撮影手段と、前記左映像撮影手段の右側の近傍であり、前記被写体を撮影する位置に設置され、右映像を撮影する右映像撮影手段と、前記左映像撮影手段および前記右映像撮影手段の近傍に設置され、前記被写体までの距離を計測する距離計測手段とが接続されるコンピュータを、
前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段、
前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段、
前記距離計測部が計測した距離の入力を逐次受け付ける距離データ入力手段、
前記距離データ入力手段が受け付けた距離および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、
前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、
前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラにより実写立体映像を撮影する立体映像撮影装置並びにそのプログラムに関する。
【背景技術】
【０００２】
従来様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際にはあらかじめ左右の目に対応する２視点の画像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる。これらのディスプレイに表示する画像を作成するには、図５に示すように、２台のカメラを平行に並べて撮影を行い、対象との位置に応じて左カメラの映像と右カメラの映像で、撮影の対象物の位置が同じになるように、左右の画角の交わる切出し位置からの切出し領域の画像を切り出す処理を行う必要がある。
従来技術では、予めカメラから撮影対象までの距離を計測しておき、２台のカメラで撮影した映像をコンピュータやメモリに取り込み、計測した距離に基づき左右カメラの画角が重複する切出し領域の大きさを算出して、取込んだ映像から切出して、三次元ディスプレイに表示するための三次元実写映像を作成している。このため、撮影対象が動的に変化するようなシーンであっても、一定の距離を対象にした三次元実写映像となっている。また、特許文献１では、左右の映像の相関から差がもっとも小さくなるように切出し領域を求めている
【特許文献１】特開２００２−２２３４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、予めカメラから撮影対象までの距離を計測しておく従来方式の立体映像作成装置にあっては、一定の距離を対象にした三次元実写映像となっているため、撮影対象が動的に変化するようなシーンでは、左目用と右目用の画像で、撮影の対象物の位置が離れてしまうことがある。また、特許文献１に示す立体映像作成装置にあっては、背景などが多くを占めるシーンでは背景の相関が高いため、左目用と右目用の画像で、背景の位置は一致するが、撮影の対象物の位置が離れてしまうことがある。そのため、これらの立体映像作成装置が生成した立体映像で、この対象物を見ようとすると、左目の視点と右目の視点とが別々になることがあり、見る人の負担となり疲れやすいという問題がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、見る人の負担が少ない立体画像を生成する立体映像撮影装置並びにそのプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、請求項１に記載の発明は、被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段と、前記左映像撮影手段の右側の近傍であり、前記被写体を撮影する位置に設置され、右目用の映像を撮影する右映像撮影手段と、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段と、前記左映像撮影手段および前記右映像撮影手段の近傍に設置され、前記被写体までの距離を逐次計測する距離計測手段と、前記距離計測手段が計測した距離の入力を逐次受け付ける距離データ入力手段と、前記距離データ入力手段が受け付けた距離および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、  前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段とを備えることを特徴とする立体映像撮影装置である。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の立体映像撮影装置であって、前記左映像撮影手段は、画角θｃで横方向の画素数Ｎｄの映像を撮影し、前記右映像撮影手段は、画角θｃで横方向の画素数Ｎｄの映像を撮影し、前記左映像撮影手段の右側に配置間隔Ｂｃで、前記左映像撮影手段と平行に設置され、前記切出し幅算出手段は、前記距離データ入力手段が受け付けた距離をＤｃとして、切出し幅Ｎｃ＝Ｎｄ×｛２・Ｄｃ・ｔａｎ（θｃ／２）−Ｂｃ｝／｛２・Ｄｃ・ｔａｎ（θｃ／２）｝により算出することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項１または請求項２に記載の立体映像撮影装置であって、前記距離データ入力手段は、前記距離計測部が計測した距離を前記左映像撮影手段および前記右映像撮影手段に出力し、前記左映像撮影手段は、前記距離データ入力手段から受けた距離に焦点を合わせ、前記右映像撮影手段は、前記距離データ入力手段から受けた距離に焦点を合わせることを特徴とする。
【０００８】
また、請求項４に記載の発明は、被写体を撮影し、左映像を出力する左映像撮影手段と、前記左映像撮影手段の右側の近傍であり、前記被写体を撮影する位置に設置され、右映像を撮影する右映像撮影手段と、前記左映像撮影手段および前記右映像撮影手段の近傍に設置され、前記被写体までの距離を計測する距離計測手段とが接続されるコンピュータにおいて、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段、前記距離計測部が計測した距離の入力を逐次受け付ける距離データ入力手段、前記距離データ入力手段が受け付けた距離および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段として機能させるためのプログラムである。
【発明の効果】
【０００９】
この発明によれば、距離計測手段が計測した被写体までの距離に基づき、切出し幅算出手段が切出し幅を算出するので、左目用の映像と右目用の映像で被写体が同じ場所となり、見る人の負担が少ない立体画像を生成することができる。
【００１０】
また、本発明によれば、左映像撮影手段および右映像撮影手段は、距離データ入力手段を介して、距離計測手段が計測した被写体まで距離を取得し、この距離に焦点を合わせるので、被写体に焦点の合った立体映像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
最初に、図１に示す本発明の実施形態の概要を説明する。本実施形態は、左右２台のカメラの中央に被写体までの距離を測定する測距装置を配置し、処理部にて、その測定結果の距離に応じて動的に切出し幅を計算する。この切出し幅を利用することで、動的なシーンでも被写体が左右の映像の中で最適な位置となるように、２台のカメラが撮影した映像から切出し領域を処理部にて切出して、三次元ディスプレイに表示する実写立体映像を生成する装置である。
【００１２】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による立体映像撮影装置の構成を示す概略ブロック図である。１は、被写体を画角θｃ、横方向の画素数Ｎｄで撮影し、左目用の映像データである左映像データを出力するビデオカメラなどの左映像撮影部である。２は、左映像撮影部１が出力した左映像データの入力を受け付けて、１フレームずつの左画像データに分離して出力する左映像データ入力部である。３は、左映像撮影部１の右側に配置間隔Ｂｃで、左映像撮影部１と平行に設置され、左映像撮影部１と同様に、被写体を画角θｃ、横方向の画素数Ｎｄで撮影し、右目用の映像データである右映像データを出力するビデオカメラなどの右映像撮影部である。４は、右映像撮影部３が出力した右映像データの入力を受け付けて、１フレームずつの右画像データに分離して出力する右映像データ入力部である。５は、左映像撮影部１と右映像撮影部３の中間に設置され、被写体までの距離Ｄｃを計測して、距離データを出力する赤外線測距装置などの距離計測部である。６は、距離計測部５が計測した距離の入力を受け付ける距離データ入力部である。
７は、距離データ入力部６から距離データを受け、式（１）により切出し幅Ｎｃを算出する切出し幅算出処理である。式（１）については、後に詳細に説明する。
Ｎｃ＝Ｎｄ×｛２・Ｄｃ・ｔａｎ（θｃ／２）−Ｂｃ｝／｛２・Ｄｃ・ｔａｎ（θｃ／２）｝・・・（１）
８は、切出し幅算出処理７が算出した切出し幅Ｎｃを受け、左映像データ入力部２が出力した左画像データの右端から切出し幅Ｎｃの画像を切出した左切出し画像データと、右映像データ入力部４が出力した右画像データの左端から切出し幅Ｎｃの画像を切出した右切出し画像データとを出力する画像切出し処理である。９は、画像切出し処理が切出した左切出し画像データと右切出し画像データとから立体映像データを生成して出力する立体映像合成処理である。１０は、立体映像合成処理９が出力した立体映像データを受けて、立体映像を表示する偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイやバリア方式三次元ディスプレイなどの立体映像表示装置である。
ここで、切出し幅算出処理にて用いた式（１）について説明する。図３に示すように、左映像撮影部１、右映像撮影部３、距離計測部５から、距離Ｄｃ離れた位置にある被写体を撮影している場合を考える。このとき、右映像撮影部３から距離Ｄｃ離れた位置での撮影領域の幅Ｗｄは、式（２）のように、同じ位置での切出し領域の幅Ｗｃと左映像撮影部１と右映像撮影部３の設置間隔Ｂｃの和で表される。
Ｗｄ＝Ｗｃ＋Ｂｃ・・・（２）
また、撮影範囲Ｗｄの半分の長さは、左映像撮影部１および右映像撮影部３の画角θｃと、左映像撮影部１および右映像撮影部３から被写体までの距離Ｄｃを用いて、式（３）で表すことができる。
Ｗｄ／２＝Ｄｃ・ｔａｎ（θｃ／２）・・・（３）
また、右映像撮影部３が出力する映像データの横方向の画素数Ｎｄと切出し幅Ｎｃの比と、右映像撮影部３の撮影領域の幅Ｗｄと切出し領域Ｗｃの比は等しくなるので、式（４）が成り立つ。
Ｎｄ：Ｎｃ＝Ｗｄ：Ｗｃ・・・（４）
式（４）の内項の積と外項の積をとり、両辺を撮影領域の幅Ｗｄで割ると式（５）が得られる。式（５）のＷｃに、式（２）を変形して代入すると式（６）となる。さらに、式（６）のＷｄに、式（３）を変形して代入すると式（７）つまり、式（１）が得られる。
Ｎｃ＝Ｎｄ・Ｗｃ／Ｗｄ・・・（５）
＝Ｎｄ・（Ｗｄ−Ｂｃ）／Ｗｄ・・・（６）
＝Ｎｄ・｛２・Ｄｃ・ｔａｎ（θｃ／２）−Ｂｃ｝／｛２・Ｄｃ・ｔａｎ（θｃ／２）｝・・・（７）
次に、この立体映像撮影装置の動作を図４のフローチャートを用いて説明する。まず、距離計測部５が、被写体までの距離Ｄｃを計測して、これを距離データ入力部６に出力する。距離データ入力部６は、距離Ｄｃを受けると（Ｓ１）、これを切出し幅算出処理７に出力する。切出し幅取得処理７には、予め左映像撮影部１および右映像撮影部２の画角θｃ、設置間隔Ｂｃ、生成する映像データの横方向画素数Ｎｄが設定されており、距離Ｄｃを受けると、式（１）により、切出し幅Ｎｃを算出し、画像切出し処理８に出力する（Ｓ２）。
一方、左映像撮影部１は、被写体を撮影して、左目用の映像データである左映像データを左映像データ入力部２に出力する。左映像データ入力部２は、左映像データを受けると、これを１フレームごとの左画像データに分離して、画像切出し処理８に出力する。
また、他方、右映像撮影部３は、被写体を撮影して、右目用の映像データである右映像データを右映像データ入力部４に出力する。右映像データ入力部４は、右映像データを受けると、これを１フレームごとの右画像データに分離して、画像切出し処理８に出力する。
画像切出し処理８は、切出し幅算出処理７から切出し幅を、左映像データ入力部２から左画像データを、右映像データ入力部４から右画像データを受け、左画像データについては、その右端から切出し幅分の画像を切出した左切出し画像を立体映像合成処理９に出力し、右画像データについては、その左端から切出し幅分の画像を切出した右切出し画像を立体映像合成処理９に出力する（Ｓ３）。立体映像合成処理９は、左切出し画像と右切出し画像とから、立体映像を合成して、立体映像表示装置１０に出力する（Ｓ４）。
立体映像撮影装置は、このステップＳ１からＳ４までの動作を撮影が終了するまで、繰り返す（Ｓ５）。
【００１３】
このように、同実施形態は、距離計測部５が計測した被写体までの距離に基づき算出した切出し幅を用いるため、立体映像表示装置１０の画面上において、左目用の映像と右目用の映像とで、被写体の位置が同じとなる、視聴者にとって負担の少ない立体映像を生成することができる。
【００１４】
なお、同実施形態において、左映像撮影部１と右映像撮影部３は、平行に設置するとしたが、内向きに角度を付けて設置するなど、平行にしなくてもよい。ただし、その場合は、式（１）を左映像撮影部１と右映像撮影部３の設置関係に応じて変更する必要がある。
また、距離データ入力部６は、距離計測部５から受けた距離の情報を、左映像撮影部１と右映像撮影部３に出力し、左映像撮影部１と右映像撮影部３は、該距離の情報を受けて、該距離に焦点をあわせるようにしてもよい。これにより、被写体に焦点の合った立体映像を得ることができる。
【００１５】
また、図２における切出し幅算出処理７、画像切出し処理８および立体映像合成処理９の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより切出し幅算出処理７、画像切出し処理８および立体映像合成処理９の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００１６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００１７】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態による立体映像撮影装置の概要を説明する図である。
【図２】同実施形態による立体映像撮影装置の構成を示すブロック図である。
【図３】同実施形態における撮影領域の幅Ｗｄ、切出し領域の幅Ｗｃ、被写体までの距離Ｄｃ、画角θｃの関係を説明する図である。
【図４】同実施形態における立体映像撮影装置の動作を説明するフローチャートである。
【図５】従来の技術を説明する図である。
【符号の説明】
【００１９】
１…左映像撮影部
２…左映像データ入力部
３…右映像撮影部
４…右映像データ入力部
５…距離計測部
６…距離データ入力部
７…切出し幅算出処理
８…画像切出し処理
９…立体映像合成処理
１０…立体映像表示装置
【図１】
2007194694.tif 000003
【図２】
2007194694.tif 000004
【図３】
2007194694.tif 000005
【図４】
2007194694.tif 000006
【図５】
2007194694.tif 000007