(57)【要約】【課題】多視点画像を専用再生機のみでなく、汎用再生機でも再生できるようにする。【解決手段】異なる複数の視点の画像データを生成する画像生成装置であって、前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置を提供することにより前記課題を解決する。【選択図】図３
2008167064.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の視点の画像データを生成する画像生成装置であって、
前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置であって、さらに、同一被写体を異なる複数の視点から撮影する撮影手段を有することを特徴とする画像生成装置。
【請求項３】
前記汎用イメージファイル形式は、モーションＪＰＥＧ形式であることを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記汎用イメージファイル形式は、モーションＪＰＥＧ２０００形式であることを特徴とする請求項１または２に記載の画像生成装置。
【請求項５】
前記汎用イメージファイル形式は、ＭＰＥＧのＩピクチャ形式であることを特徴とする請求項１または２に記載の画像生成装置。
【請求項６】
前記汎用イメージファイル形式は、Ｈ．２６４形式であることを特徴とする請求項１または２に記載の画像生成装置。
【請求項７】
請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、
前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段を備えたことを特徴とする画像再生装置。
【請求項８】
請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、
入力された前記汎用イメージファイル形式の前記画像データが先頭のファイルヘッダー部内に前記視点情報を有するか否かを判別する判別手段と、
前記視点情報を有する場合に、前記画像データを立体表示するか動画表示するかを選択する選択手段と、
前記画像データを立体表示する場合に、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段と、前記画像データを動画表示する場合に、前記画像データから動画再生信号を出力する動画再生信号出力手段を備えたことを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置及び画像再生装置に係り、特に、複数の視点位置から撮影した複数の画像データを立体画像あるいは動画として再生する画像生成装置及び画像再生装置に関する。
【背景技術】
【０００２】
従来より、デジタルカメラやデジタルビデオカメラ等の電子カメラにより立体画像（映像）やパノラマ画像を撮影し、立体感のある３次元画像（３Ｄ画像）や、広範囲にわたる風景画像（パノラマ画像）等を画像表示装置に再生することが行われている。
【０００３】
このような立体画像の撮影では、複数の異なる視点から複数の撮影装置で撮影して（例えば、左右の眼に相当するような２つの視点から２つの撮影装置で撮影して）得られた多視点画像を合成することにより、３Ｄ立体画像を得ることができる。このようにして得られた立体画像のデータ（デジタル画像データ）は、磁気ディスク、光ディスク、半導体メモリ等の記録メディアに記録・保存される。
【０００４】
このような多視点画像（及びこれから得られる立体画像）を表すデジタル画像データの記録・保存を行う様々な技術が、従来より知られている。
【０００５】
例えば、標準によって規定されたヘッダと、標準によって符号化された画像データと、画像データの終端に位置する非標準メタデータを含む画像末尾部とを有する、デジタル画像記述を含むデジタル保存装置が知られている（例えば、特許文献１等参照）。
【０００６】
また例えば、画像を３次元表示するためのデータを作成する際、複数の視点の各々に対応した複数の画像データを多重化するとともに、複数の画像データのファイル名が共通部分を含むようにし、また、画像データに含まれる画像情報が３次元画像である場合には、サムネイル画像に３次元画像であることを示すシンボルを埋め込むようにした画像データ作成装置及び画像データ再生装置が知られている（例えば、特許文献２等参照）。
【０００７】
また例えば、ミラー型ステレオアダプタを用いて１つの撮像素子で、視差程度離れた視点のデータから成るステレオ画像を撮像すると共に、撮像素子の撮像領域の中にモノキュラ画像に対応した複数の撮影画枠を設定し、これから得られた複数のモノキュラ画像により単一画像としてのステレオ画像を生成する撮影装置が知られている（例えば、特許文献３等参照）。
【特許文献１】特開２００３−２９９０１６号公報
【特許文献２】特開２００４−２７４０９１号公報
【特許文献３】特開２００２−７７９４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、例えば上記特許文献１に記載されたデジタル保存装置による画像記述から得られる画像データを汎用再生機で再生しようとすると、汎用再生機では標準形式で記録された画像データしか利用できないため、画像データの終端にある非標準メタデータが欠落してしまうという問題がある。
【０００９】
また、例えば上記特許文献２に記載された画像データ作成装置によって作成された画像データを汎用再生機で利用しようとすると、画像の結合方法によっては、分割して記録する場合にファイル操作で各データが散逸したり、専用機以外の汎用再生機では再生できないという問題がある。
【００１０】
またさらに、例えば上記特許文献３に記載された撮影装置で撮影された画像データは、１つの画像に複数のシーンが合成された画像であるため、このような撮影装置で撮影された画像データであることを知らないユーザがこの画像データを再生しようとした場合に、１つの画像に複数のシーンが合成された画像が再生されるため、機器の故障であるか否かをこのユーザが判別できないという問題がある。
【００１１】
本発明は、このような事情に鑑みてなされたもので、多視点画像が専用再生機のみでしか再生されず、汎用再生機では正常に再生することができないという不具合を解消し、従来型の汎用再生機によっても各多視点画像の一部または全部が再生表示され画像を確認することができ、多視点画像間の関連を視覚的に確認することのできる画像生成装置及び画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、請求項１に記載の発明は、異なる複数の視点の画像データを生成する画像生成装置であって、前記各視点の画像データを汎用イメージファイル形式で記録するとともに、前記汎用イメージファイルの先頭のファイルヘッダー部中に、各画像を動画として再生するための再生時間間隔を含む動画再生情報と、各画像を立体映像として再生するための視点情報を記録するファイル変換手段を備えたことを特徴とする画像生成装置を提供する。
【００１３】
これにより、汎用動画フォーマットで複数視点の画像を視点情報とともに記録することで、専用再生装置により立体再生表示または動画再生表示が可能となり、また汎用再生装置においては、動画として再生可能となる。さらに、汎用再生装置において編集し再保存するような場合にも、すべての視点画像が動画データとして保存され、未知のデータとして欠落することがない。
【００１４】
また、請求項２に示すように、請求項１に記載の画像生成装置であって、さらに、同一被写体を異なる複数の視点から撮影する撮影手段を有することを特徴とする。
【００１５】
これにより、任意の被写体の立体画像を撮影することができる。
【００１６】
また、請求項３に示すように、前記汎用イメージファイル形式は、モーションＪＰＥＧ形式であることを特徴とする。また、請求項４に示すように、前記汎用イメージファイル形式は、モーションＪＰＥＧ２０００形式であることを特徴とする。また、請求項５に示すように、前記汎用イメージファイル形式は、ＭＰＥＧのＩピクチャ形式であることを特徴とする。また、請求項６に示すように、前記汎用イメージファイル形式は、Ｈ．２６４形式であることを特徴とする。
【００１７】
このように、様々な画像圧縮形式を利用することができる。
【００１８】
また、同様に前記目的を達成するために、請求項７に記載の発明は、請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段を備えたことを特徴とする画像再生装置を提供する。
【００１９】
これにより、汎用イメージファイル形式のヘッダー部中に記録された視点情報を用いることにより、汎用動画フォーマットで記録された複数視点の画像データを立体再生表示することが可能となる。
【００２０】
また、同様に前記目的を達成するために、請求項８に記載の発明は、請求項１〜６のいずれかに記載の画像生成装置で作成された画像データを再生するための専用再生装置であって、入力された前記汎用イメージファイル形式の前記画像データが先頭のファイルヘッダー部内に前記視点情報を有するか否かを判別する判別手段と、前記視点情報を有する場合に、前記画像データを立体表示するか動画表示するかを選択する選択手段と、前記画像データを立体表示する場合に、前記視点情報をもとに前記各画像を表示しようとする立体表示手段に合わせて前記画像データを立体視変換して前記立体表示手段に出力する立体表示変換手段と、前記画像データを動画表示する場合に、前記画像データから動画再生信号を出力する動画再生信号出力手段を備えたことを特徴とする画像再生装置を提供する。
【００２１】
これにより、汎用イメージファイル形式のヘッダー部中に記録された視点情報を用いることにより、汎用動画フォーマットで記録された複数視点の画像データを立体再生表示または動画再生表示することが可能となる。  
【発明の効果】
【００２２】
以上説明したように、本発明によれば、汎用動画フォーマットで複数視点の画像を視点情報とともに記録することで、専用再生装置により立体再生表示または動画再生表示が可能となり、また汎用再生装置においては、動画として再生可能となる。さらに、汎用再生装置において編集し再保存するような場合にも、すべての視点画像が動画データとして保存され、未知のデータとして欠落することがない。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照して、本発明に係る画像生成装置及び画像再生装置について詳細に説明する。
【００２４】
図１は、本発明に係る画像生成装置の一実施形態の概略構成を示すブロック図である。
【００２５】
図１に示すように、本実施形態の画像生成装置（デジタルカメラ）１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、操作部（シャッタボタンを始めとする各種操作ボタンやスイッチ等を含む）１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２、撮影レンズ１４Ｒ、１４Ｌ、ズームレンズ制御部１２４Ｒ、１２４Ｌ、フォーカスレンズ制御部１２６Ｒ、１２６Ｌ、絞り制御部１２８Ｒ、１２８Ｌ、撮像素子１３４Ｒ、１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｒ、１３６Ｌ、アナログ信号処理部１３８Ｒ、１３８Ｌ、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌ、画像入力コントローラ１４１Ｒ、１４１Ｌ、デジタル信号処理部１４２Ｒ、１４２Ｌ、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、３Ｄ画像生成部１５０、圧縮・伸張処理部１５２、ファイル変換部１５３、メディア制御部１５４、メモリカード１５６、表示制御部１５８、モニタ２４、電源制御部１６０、バッテリ１６２、ストロボ１６等を備えている。
【００２６】
図１中左上側の部分は、例えば、立体画像を撮影する場合に、右眼の視点からの画像（右眼視画像）を取得する部分であり、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、タイミングジェネレータ（ＴＧ）１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。
【００２７】
一方、図１中左下側の部分は、例えば、立体画像を撮影する場合に、左眼の視点からの画像（左眼視画像）を取得する部分であり、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、タイミングジェネレータ（ＴＧ）１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。
【００２８】
ＣＰＵ１１０は、画像生成装置１０全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００２９】
バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等の画像生成装置１０の動作に関する各種設定情報等が格納されている。
【００３０】
ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。
【００３１】
左右一対の撮影レンズ１４Ｒ、１４Ｌは、ズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもって（画像生成装置１０のボディに）配置されている。
【００３２】
ズームレンズ１３０ＺＲ、１３０ＺＬは、図示を省略したズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。
【００３３】
フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示を省略したフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。
【００３４】
絞り１３２Ｒ、１３２Ｌは、例えばアイリス絞りで構成されており、図示を省略した絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。
【００３５】
なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。
【００３６】
撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが２次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従ってＴＧ１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。
【００３７】
なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
【００３８】
なお、本実施形態においては、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
【００３９】
アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。
【００４０】
Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。
【００４１】
デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。なお、デジタル信号処理部１４２Ｒ、１４２Ｌの詳しい構成については後述する。
【００４２】
ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。
【００４３】
ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まずフォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。
【００４４】
ＡＦ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（例えば、８×８エリア等）に分割し、分割されたエリア毎にＲ、Ｇ、Ｂ信号の積算値を算出する。
【００４５】
ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリア毎のＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。
【００４６】
また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリア毎のＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２に送る。
【００４７】
圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施形態の画像生成装置１０では、モーションＪＰＥＧ（ＡＶＩ）の規格に準拠した圧縮処理が施される。
【００４８】
ファイル変換部１５３は、例えば、左眼視画像データ及び右眼視画像データのような多視点画像データを、後述するようなファィル形式の画像データに変換し、画像ファイルを作成するものである。
【００４９】
メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６等の記録メディアに対してデータの読み／書きを制御するものである。また、生成された画像データは、このように記録メディアに記録するだけでなく、通信により外部機器へ送信して、処理したり表示したりするようにしてもよい。
【００５０】
表示制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御するものである。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（例えば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号等）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。
【００５１】
電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。２Ｄ／３Ｄモード切替フラグ１６８には、２Ｄモードであること又は３Ｄモードであることを表すフラグが設定される。
【００５２】
次に、デジタル信号処理部１４２Ｒ、１４２Ｌについて説明する。
【００５３】
図２は、デジタル信号処理部１４２Ｒ、１４２Ｌの概略構成を示すブロック図である。
【００５４】
図２に示すように、デジタル信号処理部１４２Ｒ、１４２Ｌは、ホワイトバランスゲイン算出回路１４２ａ、オフセット補正回路１４２ｂ、ゲイン補正回路１４２ｃ、ガンマ補正回路１４２ｄ、ＲＧＢ補間演算部１４２ｅ、ＲＧＢ／ＹＣ変換回路１４２ｆ、ノイズフィルタ１４２ｇ、輪郭補正回路１４２ｈ、色差マトリクス回路１４２ｉ、光源種別判定回路１４２ｊを備えて構成される。
【００５５】
ホワイトバランスゲイン算出回路１４２ａは、ＡＥ／ＡＷＢ検出部１４６で算出されＣＰＵ１１０によって送られた積算値を取り込んでホワイトバランス調整用のゲイン値を算出する。
【００５６】
オフセット補正回路１４２ｂは、画像入力コントローラ１４１Ｒ、１４１Ｌを介して取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対してオフセット処理を行う。
【００５７】
ゲイン補正回路１４２ｃは、オフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路１４２ａで算出されたゲイン値を用いてホワイトバランス調整を行う。
【００５８】
ガンマ補正回路１４２ｄは、ホワイトバランス調整された画像信号を取り込み、所定のγ値を用いてガンマ補正を行う。
【００５９】
ＲＧＢ補間演算部１４２ｅは、ガンマ補正されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。すなわち、単板式の撮像素子の場合、各画素からは、Ｒ、Ｇ、Ｂのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補間演算により求める。例えば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。このように、ＲＧＢ補間演算は、単板式の撮像素子に特有のものなので、撮像素子１３４に三板式のものを用いた場合には不要となる。
【００６０】
ＲＧＢ／ＹＣ変換回路１４２ｆは、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。
【００６１】
ノイズフィルタ１４２ｇは、ＲＧＢ／ＹＣ変換回路１４２ｆで生成された輝度信号Ｙと色差信号Ｃｒ、Ｃｂに対してノイズ低減処理を施す。
【００６２】
輪郭補正回路１４２ｈは、ノイズ低減後の輝度信号Ｙに対し、輪郭補正処理を行い、輪郭補正された輝度信号Ｙ’を出力する。
【００６３】
一方、色差マトリクス回路１４２ｉは、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対し、色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う。すなわち、色差マトリクス回路１４２ｉには、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路１４２ｊが求めた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。
【００６４】
光源種別判定回路１４２ｊは、ＡＥ／ＡＷＢ検出部１４６で算出された積算値を取り込んで光源種を判定し、色差マトリクス回路１４２ｉに色差マトリクス選択信号を出力する。
【００６５】
なお、本実施形態の画像生成装置１０では、上述のように、デジタル信号処理部をハードウエア回路で構成しているが、当該ハードウエア回路と同じ機能をソフトウエアにて構成することも可能である。
【００６６】
図３に、本実施形態の画像生成装置１０において作成される画像データのファイル構造を示す。
【００６７】
図３に示すように、標準の動画フォーマットであるモーションＪＰＥＧ形式（ＡＶＩ形式）での記録ファイル構造を有し、Ｉｍａｇｅ００２．ＡＶＩという画像ファイルの先頭に標準ヘッダーが配置され、これに続いてインデックス情報が配置され、この後に各視点からの画像がフレーム１（視点１）からフレームｎ（視点ｎ）まで記録されている。
【００６８】
図１に示すような２つの撮像素子１３４Ｒ、１３４Ｌを有する画像生成装置１０の場合、左眼からの視点と右眼からの視点の２つの視点からの画像が得られる。すなわち、フレーム数（視点数）は２となる。このとき、撮像素子の数を増やしたり、撮像素子の位置を変えて撮影することにより視点数をさらに増やすこともできる。
【００６９】
標準ヘッダーの中には動画再生情報が記録される。図３に示すように、動画再生情報は、例えば１フレーム再生時間（ｓｅｃ）、１フレームあたりの再生データ量、ファイル属性等によって構成される。
【００７０】
１フレーム再生時間（再生インターバル）は、例えば３３ｍｓｅｃとすると、毎秒３０フレームで再生する通常の動画の再生となる。また、１フレームあたりの再生データ量は、画素数×１秒あたりの再生フレーム数で示される。また、ファイル属性には、ファイル情報とインデックス情報のあるなしが記録される。これにより標準ヘッダーの後にインデックス情報を記録することができるようになっている。
【００７１】
図３に示すように、インデックス情報には、視点情報が記録される。視点情報は、視点数、撮影主点間隔、輻輳角からなっている。視点数は、図に示した例では４となっているが、図１のような２つの撮像素子を有する複眼カメラ（画像生成装置）では、視点数は２である。
【００７２】
撮影主点間隔は、各レンズの中心間の距離をいう。図に示した例では、視点数は４であり、４つの撮影レンズを有し、レンズ１とレンズ２との距離は５５ｍｍ、レンズ２とレンズ３との距離は６０ｍｍ、レンズ３とレンズ４との距離は６０ｍｍとなっている。通常この間隔はすべて同じ距離に合わせるようにするが、誤差や何らかの事情によってこのように多少変わることもある。
【００７３】
輻輳角は、各レンズが主要被写体をにらむ方向がなす角をいい、２つのレンズが主要被写体をにらむ方向が平行ならその輻輳角は０度となる。図３に示した例では、レンズ１とレンズ２のなす輻輳角、レンズ２とレンズ３のなす輻輳角、及びレンズ３とレンズ４のなす輻輳角はいずれも０．８度で等しくなっている。
【００７４】
図３に示すように、画像ファイルは、標準ヘッダー、インデックス情報に続いて、各視点から撮影された画像データが、汎用イメージファイル形式である標準の動画フォーマットで記録されている。
【００７５】
図３の例では、インデックス情報に視点数は４と記録されているので、フレームは４まで（図中のｎは４）である。なお、図１の画像生成装置１０で撮影画像の場合、視点数は２であり、右眼視画像と左眼視画像の２つの画像がそれぞれフレーム１、フレーム２として記録される。
【００７６】
このように、本実施形態の画像生成装置１０における画像ファイルの構造は、標準ヘッダー部に動画再生情報の他に視点情報を持ち、その後に汎用イメージファイル形式である標準の動画フォーマットで記録された画像を有するものとなっている。すなわち、視点情報を持つことによって、汎用の動画ファイルを３Ｄ静止画に応用可能としたものである。
【００７７】
なお、インデックス情報に続いて記録される各視点の画像データは、汎用イメージファイル形式で記録されるが、この汎用イメージファイル形式は、上のようなモーションＪＰＥＧ（ＡＶＩ）に限定されるものではなく、モーションＪＰＥＧ２０００でもよいし、ＭＰＥＧのＩピクチャやＨ．２６４等の方式を用いてもよい。例えば、モーションＪＰＥＧ２０００を用いる場合には、上と同様に動画再生情報と視点情報、ＪＰＥＧ２０００形式で圧縮された各視点からの画像データを１つのファイルとして記録する。ＭＰＥＧのＩピクチャやＨ．２６４の場合も同様である。
【００７８】
次に、本実施形態における画像ファイルの生成方法を図４を用いて説明する。
【００７９】
図４に示すように、まず画像生成装置１０の撮像素子１３４Ｒ、１３４Ｌによって、図示を省略した主要被写体を多視点から撮影した各視点からの画像を得る。図１に示す画像生成装置１０のように２つの撮像素子で撮影する場合、左右の眼の視点からの２視点の画像となるが、図４に示す例では４視点の画像が示されている。
【００８０】
次に、これら各視点から撮影された画像データを、ファイル変換部１５３において、汎用イメージファイル形式である標準の動画フォーマットとして図３に示すようなＡＶＩデータに変換する。そして、これに図３で説明したようなＡＶＩの標準ヘッダーを添付する。また、このとき標準ヘッダー中には、各画像を動画として再生するための再生時間間隔（再生インターバル）を含む動画再生情報及び各画像を立体映像として再生するための視点情報が設定される。
【００８１】
このように撮像素子を複数有する画像生成装置によって多視点画像を撮影して立体画像を形成したとき、これを汎用の動画再生装置で再生した場合、ほんの短時間で再生が終了してしまうので、この場合には動画再生情報中の１フレーム再生時間（再生インターバル）を、長めにして例えば５００ｍｓｅｃ等と設定する。
【００８２】
このようにファイル変換部１５３により、動画再生情報と視点情報を含むＡＶＩの標準ヘッダーに続いて各視点からの画像データが付された画像ファイルが生成される。
【００８３】
なお、画像生成装置では、例えば撮影時のカメラ配置（隣接するカメラ間の間隔や角度（輻輳角）など）をカメラに装備されたセンサで別途計測して、視点情報として記録するようにしてもよい。また、例えば、左右の眼の視差による２つの有視差画像（左眼視画像データ及び右眼視画像データ）を合成して立体画像データを生成するようにして、画像合成により立体画像データを生成する装置においては、合成時の設定値を視点情報に変換して記録するようにしてもよい。
【００８４】
なお、上で説明した実施形態における画像生成装置１０は、２つの撮像素子を有するいわゆる複眼カメラであったが、撮像素子は一つで被写体を撮影する視点を変えつつ複数回の撮影を行い、各撮影における視点情報をヘッダー中に記録するようにしてもよい。
【００８５】
あるいは、逆に画像生成装置は撮像素子を有さず、別の撮影装置で撮影して得られた多視点の画像データを画像生成装置に入力して、これから上で説明したような画像ファイルを形成するようにしてもよい。
【００８６】
次に画像の再生について説明する。図５に画像再生システムの概略構成を示す。
【００８７】
図５に示すように、画像再生システムは、本実施形態で生成された画像ファイルを再生するための専用再生装置２０と汎用再生装置３０とから構成されている。
【００８８】
専用再生装置２０は、ファイル判別部２０２、表示選択部２０４、立体表示変換部２０６、動画再生信号出力部２０８を有して構成されている。また、専用再生装置２０には、立体表示ディスプレー２１０及び２Ｄディスプレー２１２が接続されている。一方、汎用再生装置３０は、動画再生用の２Ｄディスプレーを備えている。
【００８９】
専用再生装置２０及び汎用再生装置３０には、画像生成装置１０によって生成された画像ファイルがメモリカード１５６等の記録メディアから、あるいは通信によって入力される。
【００９０】
ファイル判別部２０２は、入力された画像ファイルに図３に示すような視点情報が記録されているか否かを判別する。視点情報がある場合には、画像ファイルは表示選択部２０４に入力される。また、視点情報がない場合には、立体画像として表示することはできないため、画像ファイルは動画再生信号出力部２０８に入力される。
【００９１】
表示選択部２０４においては、ユーザがその画像ファイルを立体表示するか、動画表示するかを選択する。表示選択部２０４は、自動でこれを選択するようにしてもよい。立体表示が選択された場合には、画像ファイルは立体表示変換部２０６に入力される。動画表示が選択された場合には、画像ファイルは動画再生信号出力部２０８に入力される。
【００９２】
立体表示変換部２０６は、入力された画像ファイルを後述する立体表示ディスプレー２１０の表示形式に合わせて画像ファイルを変換する。一方、動画再生信号出力部２０８は、入力された画像ファイルを２Ｄディスプレー２１２で動画として表示するように変換して、動画再生信号を出力する。
【００９３】
立体表示ディスプレー２１０は、多視点画像を立体画像として表示するものであり、特に限定されるものではなく、様々なものが適用可能である。例えば、左右の眼に対応する２視点画像データを左右の眼に対して別々の液晶パネルを視させる方式（Head Mounted Display方式）や、液晶シャッタメガネとＣＲＴとを同期させて左右眼に対応する左右の画像を交互に表示する方式（液晶シャッタ方式）や左右で異なる偏光の画像を投影して左右異なる偏光を有する偏光眼鏡を装着することで左右の画像を分離させる方式（立体プロジェクタ方式）あるいは液晶パネルとレンチキュラーレンズとを組み合わせて特定の位置から観察すると両眼への画像が分離して立体的に見えるような方式（レンチキュラー方式）などがある。
【００９４】
本実施形態における立体表示ディスプレー２１０としては、特に３Ｄ画像表示と２Ｄ動画表示とを切り替えることができるようにしてもよい。
【００９５】
このように立体表示ディスプレー２１０を３Ｄと２Ｄとに切り替え可能とした場合には、表示選択部２０４で動画表示を選択した場合でも、動画再生信号出力部２０８から、２Ｄディスプレーに切り替えた立体表示ディスプレー２１０に対して動画データを出力し、立体表示ディスプレー２１０で動画として再生することができる。
【００９６】
一方、汎用再生装置３０に入力された画像ファイルは、標準のＡＶＩファイルなので、動画として所定のインターバルで再生される。すなわち、汎用再生装置３０においては、多視点画像も通常動画として再生されるが、１フレーム再生時間は、前述したように、例えば５００ｍｓｅｃと、通常動画の３３ｍｓｅｃより長く設定することで、視差量や画角の変化なり各画像間の関係を確認し易くなる。
【００９７】
このように、汎用動画フォーマットで複数視点の画像を記録し、ヘッダー中に動画再生情報の他に視点情報を付加することで、専用再生装置により立体再生表示又は動画再生が可能となる。またこのとき、同じ多視点の画像データを汎用再生装置においては、動画として再生することが可能である。
【００９８】
さらに、汎用再生装置において編集し再保存される場合にも、すべての視点画像が動画データとして保存され、非標準データとして捨てられ、未知のデータとして欠落するようなことがない。
【００９９】
以上、本発明の画像生成装置及び画像再生装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【０１００】
【図１】本発明に係る画像生成装置の概略構成を示すブロック図である。
【図２】デジタル信号処理部の概略構成を示すブロック図である。
【図３】本実施形態の画像生成装置において生成される画像データのファイル構造を示す説明図である。
【図４】本実施形態における画像ファイルの生成方法を示す説明図である。
【図５】本発明に係る多視点画像の再生装置の概略構成を示すブロック図である。
【符号の説明】
【０１０１】
１０…画像生成装置（デジタルカメラ）、１４Ｒ、１４Ｌ…撮影レンズ、２０…専用再生装置、３０…汎用再生装置、１１０…ＣＰＵ、１３４Ｒ、１３４Ｌ…撮像素子、１５２…圧縮・伸張処理部、１５３…ファイル変換部、１５４…メディア制御部、２０２…ファイル判別部、２０４…表示選択部、２０６…立体表示変換部、２０８…動画再生信号出力部、２１０…立体表示ディスプレー、２１２…２Ｄディスプレー
【図１】
2008167064.tif 000003
【図２】
2008167064.tif 000004
【図３】
2008167064.tif 000005
【図４】
2008167064.tif 000006
【図５】
2008167064.tif 000007