(57)【要約】【課題】使用者の媒体の管理、同期の取り直しなどの手間を省き、容易に管理可能な三次元映像を撮影することができる三次元映像撮影装置を提供することを目的とする。【解決手段】外部から入射された光を電気信号に変換して映像データとする撮像手段と、同時に撮影をするもう１台の三次元映像撮影装置との間で、映像の撮影タイミングが交互になるように撮像手段の撮像タイミングを制御する制御手段と、もう１台の三次元映像撮影装置との間で互いの映像データを関連付けるための付加情報および映像データの撮影タイミングを同期させるための同期信号を送受信する入出力部と、映像データおよび映像データに関連付けられた付加情報を記録メディアに記録する記録部と、を備える。【選択図】図２
2011130308.tif 000002
【特許請求の範囲】
【請求項１】
三次元映像を構成する左右いずれかの映像を撮影する三次元映像撮影装置であって、
外部から入射された光を電気信号に変換して映像データとする撮像手段と、
同時に撮影をするもう１台の三次元映像撮影装置との間で、映像の撮影タイミングが交互になるように前記撮像手段の撮像タイミングを制御する制御手段と、
前記もう１台の三次元映像撮影装置との間で互いの映像データを関連付けるための付加情報および映像データの撮影タイミングを同期させるための同期信号を送受信する入出力部と、
前記映像データおよび前記映像データに関連付けられた付加情報を記録メディアに記録する記録部と、
を備えた三次元映像撮影装置。
【請求項２】
請求項１記載の２台の三次元映像撮影装置で撮影した右目用映像および左目用映像を再生することにより三次元映像を再生する三次元映像再生装置であって、
右目用映像および左目用映像を含む映像データを記憶する記憶部と、
前記記憶部に記憶された前記映像データに関連付けられた付加情報に基づいて、組となる右目用映像および左目用映像を検索する検索手段と、
前記検索手段により抽出された前記右目用映像および左目用映像を、関連付けられた付加情報に基づいた再生タイミングで再生する制御手段と、
を備えた三次元映像再生装置。
【請求項３】
２台の請求項１記載の三次元映像撮影装置および請求項２記載の三次元映像再生装置を含む三次元映像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元映像を構成する右目用映像および左目用映像の各々を撮影するための三次元映像撮影装置、三次元映像再生装置および三次元映像システムに関する。
【背景技術】
【０００２】
従来、三次元映像を視聴者に視覚させるための方法として、互いに視差のある２つの映像を右目と左目の各々に見せる方法がある。そのような右目用映像および左目用映像（以下、これらをまとめて三次元映像と呼称する）を記録するための、従来の三次元映像撮影装置が特許文献１に記載されている。
【０００３】
図７は、従来の三次元映像撮影装置の構成を示すブロック図である。図７のように、ビデオカメラ７０１、７０５、録画装置７０２、７０６、再生装置７０３、７０７、投影装置７０４、７０８を各２台ずつ用意する。また、投影用にスクリーン７０９を用意する。２台のビデオカメラをゲンロックなどの方法を用いて同期させ、右目用映像および左目用映像を各々録画する。録画した２つの映像を、２台の再生装置を同期させることにより再生する。視聴者は、偏光眼鏡や、右目用および左目用映像の表示タイミングに同期して動作するシャッター付き眼鏡を装着して再生される映像を視聴することにより、これを三次元映像として視覚することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−２１５２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の三次元映像撮影装置では、撮影されたコンテンツを後日、三次元映像として再生するためには、左目用映像および右目用映像の各々を記録した２つの記録媒体を、常に使用者が関連付けて保管する必要があった。また使用者は再生時に、二つの記録媒体に記録された２つの映像を撮影時と同様のタイミングで再生させるため、映像信号の位相と周波数を合わせるゲンロックなどの方法を用いて再び同期を取り直す必要があった。
【０００６】
本発明の三次元映像撮影装置はこのような課題に鑑み、使用者の媒体の管理、同期の取り直しなどの手間を省き、容易に管理可能な三次元映像を撮影することができる三次元映像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の三次元映像撮影装置は、外部から入射された光を電気信号に変換して映像データとする撮像手段と、同時に撮影をするもう１台の三次元映像撮影装置との間で、映像の撮影タイミングが交互になるように撮像手段の撮像タイミングを制御する制御手段と、もう１台の三次元映像撮影装置との間で互いの映像データを関連付けるための付加情報および映像データの撮影タイミングを同期させるための同期信号を送受信する入出力部と、映像データおよび映像データに関連付けられた付加情報を記録メディアに記録する記録部と、を備える。
【発明の効果】
【０００８】
本発明の三次元映像撮影装置によれば、同時に撮影を行っているカメラレコーダの個体情報、同期情報を三次元映像に関連付けて記録することにより、三次元映像を構成する右目用映像および左目用映像を独立に管理しておいても、後で対となる映像データを容易に検索でき、また、同期情報から自動的に同期条件を検出してこれらを三次元映像として再生することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態の三次元映像システムのシステム構成を示すブロック図
【図２】実施の形態のカメラレコーダの構成を示すブロック図
【図３】実施の形態の三次元再生装置の構成を示すブロック図
【図４】右目用映像データおよび左目用映像データの関係を示す模式図
【図５】実施の形態のカメラレコーダにおける記録時の動作の流れを示すフローチャート
【図６】実施の形態の三次元再生装置における再生時の動作の流れを示すフローチャート
【図７】従来の三次元映像撮影装置の構成を示すブロック図
【図８】ＡＶＣＨＤ規格で規定されたＰｌａｙＬｉｓｔファイルの構造を示す模式図
【発明を実施するための形態】
【００１０】
（三次元映像システムの概要）
図１は、本発明の三次元映像システムの構成を示すブロック図である。三次元映像システム１は、左目用カメラレコーダ１０１、右目用カメラレコーダ１０４、および再生装置１０７を備えている。２台のカメラレコーダは、同一の構成を持つ。左目用カメラレコーダ１０１は、右目用カメラレコーダ１０４に対して被写体に向かって左側に配置される。２台のカメラレコーダは所定の距離をおき、互いの光軸（撮影方向）が平行もしくは所定の角度となるように配置される。カメラレコーダ１０１は、三次元映像として再生時に視聴者の左目に視認されるための映像を撮影し、左目用映像データとして記録メディア１０３に記録する。カメラレコーダ１０４は、三次元映像として再生時に視聴者の右目に視認されるための映像を撮影し、右目用映像データとして記録メディア１０６に記録する。各カメラレコーダは、有線または無線にて接続され、互いの固体情報、同期情報および撮影時に同期して撮影するための同期信号を送受信する。
【００１１】
再生装置１０７は、記録メディア１０３および１０６に各々記録された左目用映像データおよび右目用映像データを読み出し、同期させて１フレーム毎に交互に再生する。視聴者は、三次元映像視聴専用のメガネである３Ｄメガネをかけて再生される映像を視聴する。３Ｄメガネの左右各々のレンズは液晶シャッターを備えており、再生装置１０７の再生タイミングに同期して左右の液晶シャッターが交互に遮光を行う。これにより、視聴者の右目は右目用映像のみを、左目は左目用映像のみを視認する。２つの映像の視差による奥行き感を脳が認識することにより、視聴者は再生される映像を三次元映像として認識することができる。
【００１２】
（カメラレコーダの構成）
図２は、左目用カメラレコーダ１０１の構成を示すブロック図である。
【００１３】
左目用カメラレコーダ１０１は、レンズ２０１、ＣＣＤ２０２、Ａ／Ｄ変換器２０３、信号処理部２０４、エンコーダ２０５、記録部２０６、モニタ２０７、入出力部２０８、マイコン２０９、操作部２１０を備えている。
【００１４】
外部から入射された光はレンズ２０１を通過後、ＣＣＤ２０２で電気信号に変換される。電気信号はＡ／Ｄ変換器２０３によりアナログ信号からデジタル信号に変換され、信号処理部２０４で増幅やキズ補正などの処理が行われる。エンコーダ２０５は、記録部２０６にて記録メディア１０３に記録するフォーマットとなるよう符号化を行う。以下、符号化フォーマットとしてＡＶＣＨＤ規格を例にとって説明する。
【００１５】
図８はＡＶＣＨＤ規格で規定されたＰｌａｙＬｉｓｔファイルの構造を示す模式図である。カメラレコーダ１０１は、ＡＶＣＨＤ規格で規定されたＰｌａｙＬｉｓｔファイル内において、ＥｘｔｅｎｓｉｏｎＤａｔａ領域に３次元映像用ブロックを作成し、このブロック内に付加情報を記録する。ＰｌａｙＬｉｓｔファイルに記録する付加情報には、同期情報および個体情報が含まれる。同期情報としては、記録開始時の日時情報とタイムコードを用いる。記録開始時刻をＳｔａｒｔＤａｔｅとし、同じく録画開始時のＴｉｍｅＣｏｄｅと共にＥｘｔｅｎｓｉｏｎＤａｔａ内に記録する。
【００１６】
また、各カメラレコーダには、カメラレコーダ機器固有の番号（シリアル番号）が割り当てられている。このシリアル番号をＳｅｒｉａｌＮｏとし、ＥｘｔｅｎｓｉｏｎＤａｔａ内に記録する。また、他方のカメラのシリアル番号をＰａｉｒＳｅｒｉａｌＮｏとして記録する。例えば左目用カメラレコーダ１０１においては、右目用カメラレコーダ１０４のシリアル番号を記録する。また、カメラレコーダ１０１は内部メモリ（図示せず）に、このカメラが右目用映像を記録するものか、左目用映像を記録するものかを識別するための情報を記憶している。この情報を、ＲｉｇｈｔＦｌａｇおよびＬｅｆｔＦｌａｇとして記録する。カメラが右目用映像を記録するためのものであれば、ＲｉｇｈｔＦｌａｇを１にＬｅｆｔＦｌａｇを０とする。また左目用映像のためのカメラであれば、ＲｉｇｈｔＦｌａｇを０にＬｅｆｔＦｌａｇを１と設定する。ＳｅｒｉａｌＮｏ、ＰａｉｒＳｅｒｉａｌＮｏ、ＲｉｇｈｔＦｌａｇおよびＬｅｆｔＦｌａｇは、個体情報の一例である。同期情報および個体情報は、再生時に右目用映像および左目用映像の適切な組を特定して三次元映像として再生するために使用する。
【００１７】
なお、これら付加情報ＳｅｒｉａｌＮｏ、ＰａｉｒＳｅｒｉａｌＮｏ、ＲｉｇｈｔＦｌａｇ、ＬｅｆｔＦｌａｇ、ＳｔａｒｔＴｉｍｅＣｏｄｅ、ＳｔａｒｔＤａｔｅの記録先はＰｌａｙＬｉｓｔ内ＥｘｔｅｎｓｉｏｎＤａｔａに限らない。例えば、ＣｌｉｐＩｎｆｏファイルのＥｘｔｅｎｓｉｏｎＤａｔａとすることも可能である。また、ＰｌａｙＬｉｓｔファイルとＣｌｉｐＩｎｆｏファイルに分けて保存することでも実現できる。
【００１８】
記録部２０６は映像情報や付加情報をＡＶＣＨＤ規格に則り記録メディア１０３に記録する。また、信号処理部２０４より直接映像信号をモニタ２０７に出力する。入出力部２０８は、右目用カメラレコーダ１０４と付加情報や、撮影時の同期信号のやり取りを行う。操作部２１０からの使用者の指示に従い、マイコン２０９は各部の制御を行う。
【００１９】
なお、カメラレコーダ１０４も同様の構成をしているため、説明は省略する。なお、ＣＣＤ２０２は、撮像手段の一例である。マイコン２０９は、制御手段の一例である。
【００２０】
（三次元映像再生装置の構成）
図３は、三次元映像再生装置１０７の構成を示すブロック図である。再生装置１０７は、記憶部３０１、信号処理部３０２、デコーダ３０３、液晶モニタ３０４、マイコン３０５、操作部３０６を備えている。
【００２１】
記録メディア１０３、１０６より映像情報、付加情報などを記憶部３０１に一度保持する。保持されたデータはマイコン３０５より指示を受けて、信号処理部３０２で増幅などの補正が行われ、デコーダ３０３でＡＶＣＨＤ規格に符号化されていたデータを復元させ、液晶モニタ３０４で映像を表示する。操作部３０６からの使用者の指示に従い、マイコン３０５は各部の制御を行う。
【００２２】
なお、マイコン３０５は検索手段の一例であり、制御手段の一例である。
【００２３】
（記録される各データについて）
図４は、右目用映像データおよび左目用映像データの関係を示す模式図である。図中の縦方向が時間の経過を示している。また、左目用カメラレコーダ１０１で撮影した映像を実線、右目用カメラレコーダ１０４で撮影した映像を破線で表す。また、ひとつの実線または破線が１つのフレームを表す。始めにカメラレコーダが互いに同期を取った後、右目用カメラレコーダと左目用カメラレコーダはタイミングを１／２周期ずらして交互に記録を行う。例えば、１周期を１／６０秒とすると、左目用カメラレコーダを先に撮影した場合、１／２周期にあたる１／１２０秒後に右目用カメラレコーダ１０４で撮影する。そしてさらに１／１２０秒後に左目用カメラレコーダ１０１で撮影する。
【００２４】
（カメラレコーダの動作）
図５は、左目用カメラレコーダ１０１の左目用映像記録時の処理の流れを示すフローチャートである。なお、右目用カメラレコーダ１０４についても同様の流れで処理を行う。
【００２５】
まず、使用者がカメラレコーダ１０１の電源を投入する（Ｓ５０１）。カメラレコーダ１０１が起動すると、マイコン２０９は、カメラレコーダ１０１が他のカメラレコーダに接続されているか確認を行う（Ｓ５０２）。マイコン２０９は入出力部２０８に対してＩＥＥＥ１３９４などで接続されており、カメラレコーダ同士で通信を行う。
【００２６】
マイコン２０９が、他のカメラレコーダが接続されていないと判断した場合は、カメラレコーダ１０１は通常カメラモードに入る（Ｓ５０３）。通常カメラモードにおいては、カメラレコーダ１０１は単体のカメラレコーダとして動作するが、その場合の説明は省略する。
【００２７】
他のカメラレコーダ（ここではカメラレコーダ１０４）が接続されている場合、３次元映像撮影モードに入る。３次元映像撮影モードにおいて、マイコン２０９はまず起動処理を行う（Ｓ５０４）。起動処理において、自身が左目用カメラレコーダか、右目用カメラレコーダかを決定する。マイコン２０９は、内部メモリ（図示せず）に記憶された情報を参照して、このカメラレコーダが右目用および左目用のどちらとして使用されるのかを認識する。カメラレコーダ１０１の内部メモリには、このカメラが左目用であることを示す情報が記憶されているので、マイコン２０９は、自分が左目用映像を記録すべきであることを認識する。なお、カメラレコーダ１０４の内部メモリには、このカメラが右目用であることを示す情報が記憶されているので、カメラレコーダ１０４のマイコン２０９は、自分が右目用映像を記録すべきであることを認識する。
【００２８】
また、マイコン２０９は接続されたカメラレコーダ１０４と同期信号を送受信し、ゲンロックをかけるなどの方法を用いて同期を取る。２台のカメラレコーダで撮影した映像を、再生装置がフレーム単位で交互に再生したときに、視聴者がそれを三次元映像として視認できるようにするためには、各カメラレコーダの撮影フレームレートが同一で、かつ、撮影タイミングが互いに１／２フレーム周期だけずれている必要がある。特に、撮影タイミングを互いに１／２フレーム周期ずらして撮影するためには、互いのカメラレコーダが同期を取って撮影動作を行う必要がある。そこで同期の方法として、２台のカメラレコーダのうちいずれかをクロックマスターとし、他方はクロックマスターのカメラレコーダから供給される同期信号（クロック信号）に基づいて撮影タイミングを決定するようにする（Ｓ５０５）。本実施の形態においては、左目用カメラレコーダ１０１をクロックマスターとして、これにカメラレコーダ１０４を同期させるものとする。すなわち、左目用カメラレコーダ１０１のマイコン２０９が、入出力部２０８を介して他方のカメラレコーダ１０４に対して同期信号を送信し、右目用カメラレコーダ１０４がこれに同期して撮影タイミングを取りながら撮影を行う。その結果、カメラレコーダ１０１とカメラレコーダ１０４とは互いに、同時に撮影をするもう１台のカメラレコーダとの間で、映像の撮影タイミングが交互になるようにＣＣＤ２０２の撮像タイミングを制御することになる。
【００２９】
これにより２台のカメラレコーダの撮影タイミングが同期し、カメラレコーダ１０４はカメラレコーダ１０１に対して１／２フレーム周期遅れて撮影動作を行う。また、クロックマスターとなったカメラレコーダ１０１のマイコン２０９は、接続されたカメラレコーダ１０４に対して、自身の撮影フレームレートを入出力部２０８を介して通知する。カメラレコーダ１０４は、三次元映像撮影モードにおいては通知された撮影フレームレートにて撮影動作を行う。
【００３０】
使用者が操作部２１０を操作して記録開始の指示を行うと、カメラレコーダ１０１は記録動作を開始する（Ｓ５０６）。ここで、使用者はカメラレコーダ１０１の操作部２１０の記録スタートボタンを操作して記録開始の指示を行い、カメラレコーダ１０１は入出力部２０８から記録開始の指示をカメラレコーダ１０４にも送る。カメラレコーダ１０４は、この指示を受けてカメラレコーダ１０１と同期して記録動作を開始する。各カメラレコーダは１フレーム単位で映像を撮影して記録処理を行う（Ｓ５０７）。１フレームの記録を行うたびに、記録を停止するかどうかを判断する（Ｓ５０８）。記録停止の条件は、記録メディアの最後に到達するか、操作部２１０のＳＴＯＰボタンが押されることであり、この条件を満たすまでステップＳ５０７に戻って記録が続けられる。
【００３１】
記録が停止されると後処理としてＡＶＣＨＤ規格に則り、記録メディア内のＰＲＩＶＡＴＥフォルダ、ＡＶＣＨＤフォルダ、ＢＤＭＶフォルダ以下にある、ＰｌａｙＬｉｓｔファイルの中に、図８で規定したように、付加情報を記録する（Ｓ５０９）。
【００３２】
ＥｘｔｅｎｓｉｏｎＤａｔａ内のＳｅｒｉａｌＮｏに自機器のシリアル番号を、ＰａｉｒＳｅｒｉａｌＮｏには右目用カメラレコーダ１０４のシリアル番号を、ＳｔａｒｔＤａｔｅに撮影開始時刻を、ＳｔａｒｔＴｉｍｅＣｏｄｅに記録開始時のタイムコードを、左目用カメラレコーダであることを記録するためにＬｅｆｔＦｌａｇに１、ＲｉｇｈｔＦｌａｇに０を記録する。付加情報は、２台のカメラレコーダで撮影された右目用映像および左目用映像を関連付ける情報であり、再生時にこれらの組となる映像を抽出するために使用される。
【００３３】
右目用カメラレコーダの動作は左目用カメラレコーダと同一のフローチャートとなる。ただし、同期信号を一致させた後、左目用カメラレコーダ１０１より供給される同期信号に基づいて撮影タイミングを決定される。また、右目用であるため付加情報のＲｉｇｈｔＦｌａｇを１、ＬｅｆｔＦｌａｇを０とする。また、各カメラレコーダが記録するＰｌａｙＬｉｓｔファイルに含まれる付加情報のうち、ＳｔａｒｔＤａｔｅおよびＳｔａｒｔＴｉｍｅＣｏｄｅ同士は互いに一致する。
【００３４】
録画装置であるビデオカメラは左右のフラグを変更することで、容易に右目用、左目用カメラレコーダとなり同じビデオカメラを２台そろえることで３次元映像の撮影を行うことができる。
【００３５】
（三次元映像再生装置の動作）
図６は、本発明の三次元映像再生装置における再生時の処理の流れを示すフローチャートである。まず、再生装置１０７の電源を投入する（Ｓ６０１）。再生装置１０７の記憶部３０１には、各カメラレコーダにて撮影された映像が記録メディアまたは伝送路等を経由して取り込まれているものとする。使用者により、再生装置の記憶部３０１に記録されている多くの映像の中から再生させたい映像が選択される（Ｓ６０２）。選択された映像は左目用及び右目用の２つの映像より成り立っている。よって、マイコン３０５は、これら対になった１組の映像を記憶部３０１から選び出す（Ｓ６０３）。具体的にはまず、図８で定義された、一方のＳｅｒｉａｌＮｏと他方のＰａｉｒＳｅｒｉａｌＮｏとが一致し、かつ一方のＰａｉｒＳｅｒｉａｌＮｏと他方のＳｅｒｉａｌＮｏとが一致する１組の映像を選び出す。２組の映像のうち、ＬｅｆｔＦｌａｇが１のものが左目用カメラレコーダ１０１で撮影された左目用映像で、ＲｉｇｈｔＦｌａｇが１のものが右目用カメラレコーダで撮影された右目用映像である。さらにこれらのうち、ＳｔａｒｔＤａｔｅおよびＳｔａｒｔＴｉｍｅＣｏｄｅが互いに一致するものを選び出せば、対応する左目用映像及び右目用映像を選び出すことができる。本発明は、複数のコンテンツが再生装置に保存されている場合、ＰａｉｒＳｅｒｉａｌＮｏとＳｔａｒｔＤａｔｅを調べることで組み合わせの誤りなく再生することができる。
【００３６】
記録時同様、再生の際もＳｔａｒｔＴｉｍｅＣｏｄｅより撮影時と同様にタイミングを合わせる。撮影時に右目用カメラレコーダ１０１で撮影された映像は、左目用映像に対して半周期タイミングを遅らせて記録されている。そこで、再生時も同様に、左目用映像を１フレーム再生した後、左目用映像に比べ半周期遅らせてから右目用映像の再生を行うように再生の準備処理を行う（Ｓ６０４）。付加情報により、使用者が同期を取る作業を行うことなく再生を行うことができる。
【００３７】
使用者から再生の開始を指示されると（Ｓ６０５）、左目用映像を１フレーム再生（Ｓ６０６）後、タイミングを半周期遅らせて右目用映像を１フレーム再生する（Ｓ６０７）。１フレームの再生を行うたびに、再生を停止するかどうかを判断する（Ｓ６０８）。再生停止の条件は、記録メディアの最後に到達するか、操作部２１０のＳＴＯＰボタンが押されることであり、この条件を満たすまでステップＳ６０６に戻って再生が続けられる。再生中は、左右の映像のフレームが交互に表示される。視聴者は液晶シャッターを備えた３Ｄメガネを用い、左右の映像を片目ずつ見ることで三次元映像として視認する。
【００３８】
以上説明したように本実施の形態のカメラレコーダおよび再生装置からなる三次元映像システムによれば、同時に撮影を行っているカメラレコーダの個体情報、同期情報を三次元映像に関連付けて記録することにより、三次元映像を構成する右目用映像および左目用映像を独立に管理しておいても、後で対となる映像データを容易に検索でき、また、同期情報から自動的に同期条件を検出してこれらを三次元映像として再生することができる。
【産業上の利用可能性】
【００３９】
本発明の三次元映像撮影装置は、三次元映像を構成する右目用映像および左目用映像を独立に管理しておいても、後で対となる映像データを容易に検索できるため、既存のカメラレコーダを利用した三次元映像システム等にも適用可能である。
【符号の説明】
【００４０】
１０１，１０４  カメラレコーダ
１０３、１０６  記録メディア
１０７  再生装置
２０１  レンズ
２０２  ＣＣＤ
２０３  Ａ／Ｄ変換器
２０４  信号処理部
２０５  エンコーダ
２０６  記録部
２０７  モニタ
２０８  入出力部
２０９  マイコン
２１０  操作部
３０１  記憶部
３０２  信号処理部
３０３  デコーダ
３０４  液晶モニタ
３０５  マイコン
３０６  操作部
７０１、７０５  ビデオカメラ
７０２、７０６  録画装置
７０３、７０７  再生装置
７０４、７０８  投影装置
７０９  スクリーン
【図１】
2011130308.tif 000003
【図２】
2011130308.tif 000004
【図３】
2011130308.tif 000005
【図５】
2011130308.tif 000006
【図６】
2011130308.tif 000007
【図７】
2011130308.tif 000008
【図８】
2011130308.tif 000009
【図４】
2011130308.tif 000010