(57)【要約】【課題】とくに３次元画像および２次元画像とが混在して保存されている場合において、容易に３次元画像を認識できるようにする。【解決手段】被写体を異なる視点から撮影することにより取得した原画像Ｌ１，Ｒ１から、補間画像生成部５が補間画像を生成する。動画像生成部６が原画像Ｌ１，Ｒ１および補間画像を視点順に並べた動画像Ｄ０を生成し、ファイル生成部７が原画像Ｌ１，Ｒ１の３次元画像ファイルＦ０、動画像の動画像ファイルＭ０、並びに３次元画像ファイルＦ０および動画像ファイルＭ０の関連づけを表す関連情報ファイルＲ０を生成し、これらをメディア１０Ａに記録する。【選択図】図１
2010093626.tif 000002
【特許請求の範囲】
【請求項１】
被写体を異なる視点から見た、３次元画像生成用の複数の原画像を取得する画像取得手段と、
前記複数の原画像から、少なくとも該複数の原画像間の視点を補間する少なくとも１つの補間画像を生成する補間画像生成手段と、
前記複数の原画像および前記補間画像の少なくとも一部を視点順に並べた動画像を生成する動画像生成手段と、
前記複数の原画像および前記動画像を関連づけて保存する保存手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記補間画像生成手段は、前記動画像が所定時間再生されるように前記補間画像の数を設定する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記保存手段は、前記複数の原画像および前記動画像をそれぞれ別の画像ファイルとして保存するとともに、前記複数の原画像の画像ファイルおよび前記動画像の画像ファイルが関連し、かつ該動画像が前記複数の原画像を代表する画像であることを表す情報を含む関連情報ファイルを保存する手段であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記保存手段は、前記複数の原画像および前記動画像を、該動画像が前記複数の原画像を代表する画像であることを表す情報を含む１つの画像ファイルとして保存する手段であることを特徴とする請求項１または２記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項記載の画像処理装置により保存された前記複数の原画像を含む各種画像を再生する画像再生装置であって、
前記複数の原画像から生成される３次元画像を２次元表示する指示がなされた場合、前記動画像を再生する再生手段を備えたことを特徴とする画像再生装置。
【請求項６】
前記再生手段は、前記動画像をエンドレス再生する手段であることを特徴とする請求項５記載の画像再生装置。
【請求項７】
被写体を異なる視点から見た、３次元画像生成用の複数の原画像を取得し、
前記複数の原画像から、少なくとも該複数の原画像間の視点を補間する少なくとも１つの補間画像を生成し、
前記複数の原画像および前記補間画像の少なくとも一部を視点順に並べた動画像を生成し、
前記複数の原画像および前記動画像を関連づけて保存することを特徴とする画像処理方法。
【請求項８】
請求項７記載の画像処理方法により保存された前記複数の原画像を含む各種画像を再生する画像再生方法であって、
前記複数の原画像から生成される３次元画像を２次元表示する指示がなされた場合、前記動画像を再生することを特徴とする画像再生方法。
【請求項９】
被写体を異なる視点から見た、３次元画像生成用の複数の原画像を取得する手順と、
前記複数の原画像から、少なくとも該複数の原画像間の視点を補間する少なくとも１つの補間画像を生成する手順と、
前記複数の原画像および前記補間画像の少なくとも一部を視点順に並べた動画像を生成する手順と、
前記複数の原画像および前記動画像を関連づけて保存する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項７記載の画像処理方法により保存された前記複数の原画像を含む各種画像を再生する画像再生方法をコンピュータに実行させるためのプログラムであって、
前記複数の原画像から生成される３次元画像を２次元表示する指示がなされた場合、前記動画像を再生する手順をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を異なる視点から見た複数の原画像の視点を補間するための補間画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
異なる位置に配置された少なくとも一対の撮影手段を用いて画像を取得するステレオカメラ等の複眼撮影装置にて撮影を行うことにより、視差を用いて立体視を行うことが可能な３次元画像を取得することができる。このような複眼撮影装置においては、一対の撮影手段の光軸に輻輳角を与えて同一被写体を異なる視点から撮影することにより左右２つの画像を取得し、この２つの画像から視差を利用して立体視可能な３次元画像を作成している。
【０００３】
ところで、メディアに保存された画像をパソコン等において再生する場合、保存された画像のサムネイル画像の一覧を再生することが行われている。ユーザはサムネイル画像の一覧から所望とする画像を選択すると、選択された画像を拡大してパソコンのモニタに表示することができる。ここで、動画像が保存されている場合において、動画像の１シーンをサムネイル画像の一覧において表示し、動画像のサムネイル画像を選択することにより、動画像を再生する手法が提案されている（特許文献１参照）。
【特許文献１】特開平１０−１０８１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述したように生成された３次元画像を含む複数の２次元画像がメディアに保存されている場合において、サムネイル画像の一覧を表示した場合、３次元画像については、３次元画像を生成する複数の原画像のうちのいずれか一方のサムネイル画像が一覧画面に含まれることとなる。この場合、ユーザはそのサムネイル画像を選択することにより、３次元画像を立体視可能なように表示することができる。しかしながら、３次元画像は静止画像であることから、サムネイル画像の一覧を見るのみでは、３次元画像と２次元画像との区別をすることは困難である。
【０００５】
本発明は上記事情に鑑みなされたものであり、とくに３次元画像および２次元画像が混在して保存されている場合において、容易に３次元画像を認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、被写体を異なる視点から見た、３次元画像生成用の複数の原画像を取得する画像取得手段と、
前記複数の原画像から、少なくとも該複数の原画像間の視点を補間する少なくとも１つの補間画像を生成する補間画像生成手段と、
前記複数の原画像および前記補間画像の少なくとも一部を視点順に並べた動画像を生成する動画像生成手段と、
前記複数の原画像および前記動画像を関連づけて保存する保存手段とを備えたことを特徴とするものである。
【０００７】
「少なくとも複数の原画像の間の視点を補間する」とは、複数の原画像の間の視点のみならず、最も外側の視点から見た原画像のさらに外側の視点を補間する場合をも含む。
【０００８】
「複数の原画像および補間画像の少なくとも一部を視点順に並べた動画像を生成する」とは、原画像および補間画像のすべてのみならず、すべての原画像および補間画像のうちの一部のみを用いて動画像を生成することをも含むものであり、例えば補間画像のみを用いて動画像を生成することをも含む。
【０００９】
なお、動画像はサムネイル表示用の動画像であってもよい。
【００１０】
「複数の原画像および動画像を関連づけて保存する」とは、複数の原画像および動画像が管理上一体不可分の関係となることを意味する。具体的には複数の原画像および動画像を同一のフォルダに保存する、複数の原画像および動画像に共通のファイル名を付与する、複数の原画像および動画像が関連することを表す情報を保存する、複数の原画像および動画像を１つのファイルに保存する、並びに複数の原画像および動画像の少なくとも１つのヘッダ領域に他の画像のファイル名を記録する等の手法により、複数の原画像および動画像を関連づけて保存することができる。なお、複数の原画像および動画像を関連づけて保存した場合においても、原画像単体または動画像単体へのアクセス等の操作は許容されるものである。
【００１１】
なお、本発明による画像処理装置においては、前記補間画像生成手段を、前記動画像が所定時間再生されるように前記補間画像の数を設定する手段としてもよい。
【００１２】
また、本発明による画像処理装置においては、前記保存手段を、前記複数の原画像および前記動画像をそれぞれ別の画像ファイルとして保存するとともに、前記複数の原画像の画像ファイルおよび前記動画像の画像ファイルが関連し、かつ該動画像が前記複数の原画像を代表する画像であることを表す情報を含む関連情報ファイルを保存する手段としてもよい。
【００１３】
また、本発明による画像処理装置においては、前記保存手段を、前記複数の原画像および前記動画像を、該動画像が前記複数の原画像を代表する画像であることを表す情報を含む１つの画像ファイルとして保存する手段としてもよい。
【００１４】
本発明による画像再生装置は、本発明の画像処理装置により保存された前記複数の原画像を含む各種画像を再生する画像再生装置であって、
前記複数の原画像から生成される３次元画像を２次元表示する指示がなされた場合、前記動画像を再生する再生手段を備えたことを特徴とするものである。
【００１５】
なお、本発明による画像再生装置においては、前記再生手段を、前記動画像をエンドレス再生する手段としてもよい。
【００１６】
本発明による画像処理方法は、被写体を異なる視点から見た、３次元画像生成用の複数の原画像を取得し、
前記複数の原画像から、少なくとも該複数の原画像間の視点を補間する少なくとも１つの補間画像を生成し、
前記複数の原画像および前記補間画像の少なくとも一部を視点順に並べた動画像を生成し、
前記複数の原画像および前記動画像を関連づけて保存することを特徴とするものである。
【００１７】
本発明による画像再生方法は、本発明による画像処理方法により保存された前記複数の原画像を含む各種画像を再生する画像再生方法であって、
前記複数の原画像から生成される３次元画像を２次元表示する指示がなされた場合、前記動画像を再生することを特徴とするものである。
【００１８】
なお、本発明による画像処理方法および画像再生方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１９】
本発明によれば、複数の原画像から少なくとも複数の原画像間の視点を補間する少なくとも１つの補間画像を生成し、複数の原画像および補間画像の少なくとも一部を視点順に並べた動画像を生成し、複数の原画像および動画像を関連づけて保存するようにしたものである。このため、３次元画像の表示時に動画像を再生することにより、被写体を見る視点が順次変わるようなシーンが再生されることとなる。したがって、とくに複数の原画像から生成される立体視が可能な３次元画像および他の２次元画像が混在して保存されている場合において、３次元画像については動画像をサムネイル画像として再生することにより、サムネイル画像の一覧を見たユーザは、どの画像が３次元画像であるかを容易に認識することができる。
【００２０】
また、動画像が所定時間再生されるように生成される補間画像の数を設定することにより、所定時間の動画像を再生することができる。
【００２１】
また、３次元画像および動画像をそれぞれ別の画像ファイルとして保存し、３次元画像の画像ファイルおよび動画像の画像ファイルが関連するとともに、動画像が複数の原画像を代表する画像であることを表す情報を含む情報ファイルを保存することにより、動画像の画像ファイルをパソコン等で扱うことが容易な汎用のファイル形式を有するものとすることができるため、動画像の再生を容易に行うことができる。
【００２２】
また、複数の原画像および動画像を、動画像が複数の原画像を代表する画像であることを表す情報を含む１つの画像ファイルとして保存することにより、互いに関連する複数の原画像および動画像がバラバラになることを防止できる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置および画像再生装置を適用した複眼撮影装置の構成を示す概略ブロック図である。図１に示すように本実施形態による複眼撮影装置１は、２つの撮影部２Ａ，２Ｂ、撮影制御部３、画像処理部４、補間画像生成部５、動画像生成部６、ファイル生成部７、３次元画像生成部８、フレームバッファ９、メディア制御部１０、各種入力を行う操作ボタン等からなる入力部１１、各種表示を行う液晶モニタ等の表示部１２、並びに制御部１３を備え、各部がバス１４により接続されている。
【００２４】
図２は撮影部２Ａ，２Ｂの構成を示す図である。図２に示すように、撮影部２Ａ，２Ｂは、レンズ２０Ａ，２０Ｂ、絞り２１Ａ，２１Ｂ、シャッタ２２Ａ，２２Ｂ、ＣＣＤ２３Ａ，２３Ｂ、アナログフロントエンド（ＡＦＥ）２４Ａ，２４ＢおよびＡ／Ｄ変換部２５Ａ，２５Ｂをそれぞれ備える。なお、撮影部２Ａ，２Ｂは、図３に示すように、被写体を見込む輻輳角αを持って、あらかじめ定められた基線長Ｋとなるように配置されている。なお、輻輳角αおよび基線長Ｋの情報は後述するＲＯＭ１２Ｃに記憶されている。
【００２５】
レンズ２０Ａ，２０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部３が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。
【００２６】
絞り２１Ａ，２１Ｂは、撮影制御部３が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
【００２７】
シャッタ２２Ａ，２２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００２８】
ＣＣＤ２３Ａ，２３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３Ａ，２３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００２９】
ＡＦＥ２４Ａ，２４Ｂは、ＣＣＤ２３Ａ，２３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３０】
Ａ／Ｄ変換部２５Ａ，２５Ｂは、ＡＦＥ２４Ａ，２４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮影部２Ａ，２Ｂのそれぞれにより取得されるデジタルの画像データにより表される画像を画像Ｌ１，Ｒ１とする。
【００３１】
撮影制御部３は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部１１に含まれるレリーズボタンの半押し操作により撮影部２Ａ，２Ｂが取得したプレ画像に基づいてレンズ２０Ａ，２０Ｂの焦点距離を決定し、撮影部２Ａ，２Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２Ａ，２Ｂに出力する。なお、ＡＦ処理およびＡＥ処理を行うことなく、あらかじめ定められたフォーカス位置、絞り値およびシャッタ速度を用いて撮影を行うことも可能である。
【００３２】
また、撮影制御部３は、入力部１１に含まれるレリーズボタンの全押し操作により、撮影部２Ａ，２Ｂに対して３次元画像生成用の画像Ｌ１，Ｒ１の本画像を取得させる指示を行う。なお、レリーズボタンが操作される前は、撮影制御部３は、撮影部２Ａ，２Ｂに対して撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を取得させる指示を行う。
【００３３】
ここで、画像Ｌ１，Ｒ１は、図３に示すように被写体を異なる２つの撮影位置において撮影を行うことにより取得されるものであり、図４に示すように、画像Ｌ１，Ｒ１に含まれる被写体が撮影位置の違いに応じた視差を有するものとなっている。なお、画像Ｌ１，Ｒ１は撮影部２Ａ，２Ｂの撮影位置、すなわち被写体に向かって左側および右側の撮影位置において取得され、画像Ｌ１，Ｒ１を基準として３次元画像を生成するものであるため、以降の説明においては、画像Ｌ１，Ｒ１を原画像Ｌ１，Ｒ１と称するものとする。なお、３次元画像生成時に左側に表示される画像を画像Ｌ１、右側に表示される画像を画像Ｒ１とする。
【００３４】
また、本実施形態においては、２つの原画像Ｌ１，Ｒ１から立体視可能な３次元画像を生成するものであるが、３以上の撮影部を備え、３以上の異なる撮影位置において撮影を行うことにより取得した３以上の原画像から複数の画像を生成するものであってもよい。
【００３５】
画像処理部４は、撮影部２Ａ，２Ｂが取得した原画像Ｌ１，Ｒ１のデジタルの画像データに対して、撮影部２Ａ，２Ｂの画角のずれ、ズーム倍率の相違、ＣＣＤの回転による画像のずれ、撮影部２Ａ，２Ｂが輻輳角αを持って被写体を撮影することにより生じる台形歪み等を補正する補正処理、並びにホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画質補正処理を施す。なお、画像処理部４における処理後の原画像Ｌ１，Ｒ１についても処理前の参照符号Ｌ１，Ｒ１を用いるものとする。
【００３６】
補間画像生成部５は、撮影により取得された原画像Ｌ１，Ｒ１またはあらかじめ撮影により取得されてメディア１０Ａに記録された原画像Ｌ１，Ｒ１から少なくとも１つの補間画像を生成する。なお、本実施形態においては、後述するように原画像Ｌ１，Ｒ１および補間画像からなる動画像を３０フレーム／秒のフレームレートにより再生した場合に、あらかじめ定められた所定時間ｔ秒再生可能な個数ｍの補間画像を生成するものとする。
【００３７】
なお、補間画像生成部５は、３０×ｔ≦ｍ＋２の関係を満たす最小のｍを補間数として求める。例えば、ｔ＝２の場合、併せて６０フレームの原画像Ｌ１，Ｒ１および補間画像が必要であるため、ｍ＝５８となる。この場合、補間画像生成部５は５８個の補間画像を生成する。
【００３８】
図５は補間画像の生成を説明するための図である。図５に示すように、補間画像生成部５は、原画像Ｌ１，Ｒ１からｍ個の補間画像Ｈ１〜Ｈｍ（図５においてはｍ＝４）を生成する。なお、補間画像生成部５は、補間画像Ｈｋを撮影により取得したと仮定した場合における、原画像Ｌ１および補間画像Ｈ１を取得した撮影部間の輻輳角、補間画像Ｈｋ（ｋ＝１〜ｍ）および補間画像Ｈｋ＋１を取得した撮影部間の輻輳角、並びに補間画像Ｈｍおよび原画像Ｒ１を取得した撮影部間の輻輳角がそれぞれ等しくなるように補間画像Ｈ１〜Ｈｍを生成する。
【００３９】
ここで、補間画像生成部５は、原画像Ｌ１，Ｒ１に含まれる対応する画素間の視差が徐々に小さくなるように、原画像Ｌ１，Ｒ１をモーフィングによって加工することにより補間画像Ｈ１，Ｈ２を生成する。具体的には、左右の画像において互いに対応する対応点を検出し、対応点を直線または曲線で結び、直線または曲線を分割して疑似対応点を算出し、原画像Ｌ１，Ｒ１を疑似対応点に対応させるように変形することにより、補間画像Ｈ１，Ｈ２を生成する。また、例えば特開２００２−１９００２０号公報等に記載された公知の任意の手法を用いることも可能である。
【００４０】
また、モーフィングに代えて、原画像Ｌ１，Ｒ１に含まれる被写体の立体形状モデルを作成し、立体形状モデルから補間画像を生成するようにしてもよい。なお、立体形状モデルは、原画像Ｌ１，Ｒ１間の対応点を求め、対応点間の視差に基づいて三角測量の原理により撮影位置から被写体上の対応点までの距離を算出することにより作成することができる。ここで、撮影時においては、被写体上の各点と撮影部２Ａ，２Ｂの焦点とを結ぶ直線が、画像が投影される画像投影面（撮影部２Ａ，２ＢのＣＣＤ２３Ａ，２３Ｂの撮像面に相当する面）と交差する点の集合が、投影画像すなわち原画像Ｌ１，Ｒ１となる。図６は立体形状モデルと原画像Ｌ１，Ｒ１を得た画像投影面との関係を示す図である。なお、ここでは説明のための立体形状モデルを立方体としている。したがって、図６に示すように、原画像Ｌ１，Ｒ１の画像投影面間において、補間数に相当する仮想的な画像投影面Ｔを設定し（図６においては補間数は１）、仮想的な画像投影面Ｔへの投影画像を求めることにより、補間画像を生成するようにしてもよい。
【００４１】
動画像生成部６は原画像Ｌ１，Ｒ１およびｍ個の補間画像Ｈｋ（ｋ＝１〜ｍ）を視点順に並べた動画像Ｄ０を生成する。なお、視点順序は例えば視点を右から左に移動させる順序とするが、この逆の順序であってもよい。
【００４２】
ファイル生成部７は、原画像Ｌ１，Ｒ１の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示用の３次元画像ファイルＦ０を生成する。また、動画像Ｄ０の画像データに対して、モーションＪＰＥＧ、ＭＰＥＧ等の公知の任意の圧縮形式で圧縮処理を行い、動画像ファイルＭ０を生成する。また、これとともに、ファイル生成部７は、３次元画像ファイルＦ０および動画像ファイルＭ０を関連づける関連情報ファイルＲ０を生成する。
【００４３】
図７は本実施形態における３次元画像ファイルのファイル構成を示す図である。図７に示すように３次元画像ファイルＦ０は、原画像Ｌ１のヘッダ領域（ヘッダ１）４０、原画像Ｌ１の画像データ領域４１、原画像Ｒ１のヘッダ領域（ヘッダ２）４２、および原画像Ｒ１の画像データ領域４３がこの順序にて並べられることにより構成される。
【００４４】
原画像Ｌ１のヘッダ領域４０にはアドレス開始位置、属性情報および付帯情報がヘッダ情報として記述される。アドレス開始位置は、原画像Ｒ１のヘッダ領域４２のアドレスの開始位置であり、リストとして記述される。属性情報は、視点順序、画像の識別コード、代表画像フラグおよび撮影条件情報が記述される。ここで、視点順序は原画像Ｌ１，Ｒ１を左から見たときの視点順序であり、原画像Ｌ１および原画像Ｒ１のそれぞれについて、視点順序は１，２となる。また、画像の識別コードはヘッダ領域に対応する画像データ領域に格納される画像が原画像か補間画像か動画像かを示す情報であり、原画像の場合は１、補間画像の場合は２、動画像の場合は３となる。また、代表画像フラグは、画像ファイルＦ０を他の画像ファイルとともにサムネイル画像の一覧表示を行った際に、サムネイル画像として使用するか否かを示すフラグである。なお、ここでは代表画像フラグは「無効」に設定されている。また、撮影条件情報は、撮影部２Ａ，２Ｂの輻輳角αおよび基線長Ｋの情報であり、ＲＯＭ１３Ｃに記憶されたものが用いられる。なお、原画像Ｌ１の視点順序は１、画像の識別コードは原画像を表す１となる。また、付帯情報は、撮影日時等の情報である。
【００４５】
原画像Ｒ１のヘッダ領域４２には、原画像Ｒ１の属性情報、すなわち視点順序（＝２）画像の識別コード（＝１）および代表画像フラグ（＝「無効」）がヘッダ情報として記述される。
【００４６】
図８は本実施形態における動画像ファイルのファイル構成を示す図である。図８に示すように動画像ファイルＭ０は、動画像のヘッダ領域５０および動画像の画像データ領域５１がこの順序にて並べられることにより構成される。
【００４７】
動画像のヘッダ領域５０には属性情報および付帯情報がヘッダ情報として記述される。属性情報は、画像の識別コードおよび代表画像フラグが記述される。ここで、画像の識別コードは動画像であることから３の値が記述されている。また、代表画像フラグは「有効」に設定されている。なお、付帯情報は、動画像の作成日時等の情報である。
【００４８】
図９は関連情報ファイルの記述内容を示す図である。図９に示すように関連情報ファイルＲ０には、互いに関連する３次元画像ファイルＦ０および動画像ファイルＭ０のファイル名が並べられて記述されているテキストファイルであり、３次元画像ファイルＦ０のファイル名、代表画像であることを表すIDXの文字および動画像ファイルＭ０のファイル名が、関連するファイル単位で記述されている。すなわち、図９の記述を参照することにより、ファイル名がSTL_001.JPGの３次元画像ファイルＦ０がその代表画像であるファイル名がIDX_001.MPGの動画像ファイルＭ０と関連づけられ、ファイル名がSTL_002.JPGの３次元画像ファイルＦ０がその代表画像であるファイル名がIDX_002.MPGの動画像ファイルＭ０と関連づけられていていることが分かる。なお、関連情報ファイルＲ０は、３次元画像ファイルＦ０および動画像ファイルＭ０が生成される毎にその記述内容が更新されることとなる。また、関連情報ファイルＲ０のファイル名としては、例えばFL_MNG.TXTを用いる。
【００４９】
なお、本実施形態においては、３次元画像ファイルＦ０および動画像ファイルＭ０のファイル名の一部を共通するものとしている。このため、関連情報ファイルＲ０を生成することなく、ファイル名のみに基づいて共通のファイル名が付与されている３次元画像ファイルＦ０および動画像ファイルＭ０を関連づけるようにしてもよい。
【００５０】
３次元画像生成部８は、原画像Ｌ１，Ｒ１を、表示部１２において立体視が可能なように３次元処理して３次元画像を生成する。なお、３次元処理は、立体視の仕方および表示部１２が３Ｄ液晶であるか否かによるが、ペアとなる画像同士（すなわち視点順序が隣接する画像同士）の色を例えば赤と青のように異ならせて重ね合わせたり（アナグリフ方式）、ペアとなる画像同士の偏光方向を異ならせて重ね合わせたり（偏光フィルタ方式）、ペアとなる画像を１ライン毎に交互に組み合わせることにより行うことができる（パララックスバリア方式およびレンチキュラー方式）。
【００５１】
フレームバッファ９は、表示部１２に表示する画像を一時的に保管しておく記憶部である。
【００５２】
メディア制御部１０は、記録メディア１０Ａにアクセスして３次元画像ファイルＦ０、動画像ファイルＭ０および関連情報ファイルＲ０の書き込みと読み込みの制御を行う。
【００５３】
制御部１３は、ＣＰＵ１３Ａ、後述するように補間画像を生成する場合、３次元画像を生成する場合、画像ファイルを生成する場合および３次元画像表示する場合等の装置１が各種処理を行う際の作業領域となるＲＡＭ１３Ｂ、並びに装置１の動作プログラムおよび各種定数等を記憶したＲＯＭ１３Ｃを備えてなり、装置１の各部の動作を制御する。
【００５４】
次いで、本実施形態において行われる処理について説明する。図１０は本実施形態においてファイル生成時に行われる処理を示すフローチャートである。なお、動画像の再生時間ｔは入力部１１からあらかじめ入力されているものとする。撮影の指示が入力部１１から行われることにより制御部１３が処理を開始し、撮影部２Ａ，２Ｂが原画像Ｌ１，Ｒ１を取得する（ステップＳＴ１）。なお、画像処理部４は、原画像Ｌ１，Ｒ１に対して画像処理を施す。
【００５５】
そして、補間画像生成部５が、ｔの値に基づいて補間数ｍを算出し（ステップＳＴ２）、ｍ個の補間画像を原画像Ｌ１，Ｒ１から生成する（ステップＳＴ３）。次いで動画像生成部６が原画像Ｌ１，Ｒ１および補間画像Ｈｋから動画像Ｄ０を生成し（ステップＳＴ４）、ファイル生成部７が、原画像Ｌ１，Ｒ１から３次元画像ファイルＦ０を、動画像Ｄ０から動画像ファイルＭ０を生成するとともに、関連情報ファイルＲ０を生成する（ステップＳＴ５）。そして、メディア制御部１０が３次元画像ファイルＦ０、動画像ファイルＭ０および関連情報ファイルＲ０をメディア１０Ａに記録し（ステップＳＴ６）、処理を終了する。
【００５６】
なお、３次元画像ファイルＦ０、動画像ファイルＭ０および関連情報ファイルＲ０は、図１１に示す順序にてメディア１０Ａに記録される。
【００５７】
次いで、メディア１０Ａに本実施形態により生成された３次元画像ファイルＦ０および動画像ファイルＭ０を含む各種画像ファイルが記録された場合における、メディア１０Ａに記録された画像のサムネイル画像の一覧を表示部１２に表示する場合の処理について説明する。図１２はサムネイル画像の一覧の表示時に行われる処理を示すフローチャートである。サムネイル画像一覧の表示指示が入力部１１から行われることにより制御部１３が処理を開始し、メディア制御部１０が、まず処理の対象をファイル名が最初の画像ファイルに設定し（ｉ＝１、ステップＳＴ１１）、対象の画像ファイルをメディア１０Ａから読み出す（ステップＳＴ１２）。
【００５８】
そして、制御部１３が、読み出した画像ファイルのヘッダを参照して、読み出した画像ファイルが３次元画像ファイルであるか否かを判定する（ステップＳＴ１３）。ステップＳＴ１３が肯定されると、制御部１３は関連情報ファイルＲ０を参照し、対象の画像ファイルと関連づけられた動画像ファイルＭ０がメディア１０Ａに記録されているか否かを判定する（ステップＳＴ１４）。ステップＳＴ１４が肯定されると、動画像ファイルＭ０を解凍し、一覧表示用に縮小して一覧表示用のサムネイル動画像を生成する（ステップＳＴ１５）。そして、サムネイル動画像を一覧画面上にレイアウトしてエンドレス再生する（ステップＳＴ１６）。
【００５９】
一方、ステップＳＴ１３が否定されると、制御部１３はその画像ファイルのサムネイル画像を生成し（ステップＳＴ１７）、サムネイル画像を一覧画面上にレイアウトして表示する（ステップＳＴ１８）。また、ステップＳＴ１４が否定されると、ステップＳＴ１７の処理に進む。
【００６０】
ステップＳＴ１６およびステップＳＴ１８の処理に続いて、表示されたサムネイル画像またはサムネイル動画像の数が、インデックス画面に表示可能なあらかじめ定められた数Ｔｈ１となったか否かを判定し（ステップＳＴ１９）、ステップＳＴ１９が否定されるとメディア１０Ａに記録されたすべての画像について一覧画面に表示したか否かを判定する（ステップＳＴ２０）。ステップＳＴ２０が否定されると、処理の対象を次の画像ファイルに変更し（ｉ＝ｉ＋１，ステップＳＴ２１）、ステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。なお、ステップＳＴ１９およびステップＳＴ２０が肯定されると、処理を終了する。
【００６１】
図１３は本実施形態により表示されるサムネイル画像の一覧画面を示す図である。図１３に示すように一覧画面６０には、メディア１０Ａに記録されている画像ファイルのサムネイル画像が表示される。また、表示された複数のサムネイル画像において、３次元画像ファイルＦ０および動画像ファイルＭ０が関連づけられているものについては、動画像がエンドレス再生される。なお、図１３においては動画像が再生されているサムネイル画像については斜線を付与している。
【００６２】
このように、本実施形態においては、原画像Ｌ１，Ｒ１から原画像Ｌ１，Ｒ１の視点を補間する補間画像Ｈｋを生成し、原画像Ｌ１，Ｒ１および補間画像Ｈｋを視点順に並べた動画像Ｄ０を生成し、３次元画像ファイルＦ０および動画像ファイルＭ０を関連づけて保存するようにしたものである。このため、３次元画像ファイルＦ０については、メディア１０Ａに記録された画像ファイルのサムネイル画像の一覧画面上における表示時に動画像を再生することにより、被写体を見る視点が順次変わるようなシーンを再生することができる。このため、とくに複数の３次元画像ファイルＦ０および２次元画像の画像ファイルが混在してメディア１０Ａに記録されている場合において、サムネイル画像の一覧を見たユーザは、どの画像が３次元画像であるかを容易に認識することができる。
【００６３】
また、動画像が所定時間ｔ再生されるように生成される補間画像Ｈｋの数を設定することにより、所定時間の動画像を再生することができる。
【００６４】
また、原画像Ｌ１，Ｒ１および動画像Ｄ０をそれぞれ別の３次元画像ファイルＦ０および動画像ファイルＭ０として保存し、３次元画像ファイルＦ０および動画像ファイルＭ０が関連するとともに、動画像Ｄ０が原画像Ｌ１，Ｒ１を代表する画像であることを表す情報を含む関連情報ファイルＲ０を保存することにより、動画像ファイルＭ０をパソコン等で扱うことが容易な汎用のファイル形式を有するものとすることができる。このため、動画像の再生を容易に行うことができる。
【００６５】
なお、上記実施形態においては、３次元画像ファイルＦ０および動画像ファイルＭ０を別個に保存しているが、原画像Ｌ１，Ｒ１の画像データおよび動画像の画像データを格納した１つの画像ファイルを生成するようにしてもよい。
【００６６】
図１４は原画像Ｌ１，Ｒ１および動画像を格納する画像ファイルのファイル構成を示す図である。図１４に示すように画像ファイルＦ１は、原画像Ｌ１のヘッダ領域（ヘッダ１）７０、原画像Ｌ１の画像データ領域７１、原画像Ｒ１のヘッダ領域（ヘッダ２）７２、原画像Ｒ１の画像データ領域７３、動画像のヘッダ領域（ヘッダ３）７４および動画像の画像データ領域７５がこの順序にて並べられることにより構成される。
【００６７】
原画像Ｌ１のヘッダ領域７０にはアドレス開始位置、属性情報および付帯情報がヘッダ情報として記述される。アドレス開始位置は、原画像Ｒ１のヘッダ領域７２および動画像のヘッダ領域７４のアドレスの開始位置であり、リストとして記述される。属性情報は、視点順序、画像の識別コード、代表画像フラグおよび撮影条件情報が記述される。なお、ここでは代表画像フラグは「無効」に設定されている。
【００６８】
原画像Ｒ１のヘッダ領域７２には、原画像Ｒ１の属性情報、すなわち視点順序（＝２）、画像の識別コード（＝１）および代表画像フラグ（＝「無効」）がヘッダ情報として記述される。
【００６９】
動画像のヘッダ領域７４には動画像の属性情報および付帯情報がヘッダ情報として記述される。属性情報は、画像の識別コード（＝３）および代表画像フラグが記述される。なお、ここでは代表画像フラグは「有効」に設定されている。
【００７０】
このように、原画像Ｌ１，Ｒ１および動画像を１つの画像ファイルＦ１として保存する場合でも、サムネイル画像の再生時に、画像ファイルＦ１のヘッダ１，２，３の記述を参照することにより、代表画像フラグが有効に設定されている動画像Ｄ０をサムネイル動画像としてエンドレス再生することが可能である。
【００７１】
なお、上記実施形態においては、原画像Ｌ１，Ｒ１の撮影に引き続き動画像を生成しているが、あらかじめメディア１０Ａに記録された原画像Ｌ１，Ｒ１を読み出して、動画像Ｄ０を生成するようにしてもよい。
【００７２】
また、上記実施形態においては、原画像ファイルＦ０および画像ファイルＦ１に、原画像Ｌ１，Ｒ１の画像データのみを含めているが、補間画像Ｈｋの画像データを含めるようにしてもよい。
【００７３】
また、上記実施形態においては、本発明による画像処理装置を撮影部２Ａ，２Ｂを備えた複眼撮影装置に適用しているが、本発明による画像処理装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が画像処理装置に入力され、上記実施形態と同様に原画像ファイルＦ０および動画像ファイルＭ０が作成される。この場合、撮影により取得された原画像Ｌ１，Ｒ１のみならず、例えばコンピュータグラフィクスにより作成された原画像を用いて補間画像を生成する場合にも、上記実施形態と同様に、原画像ファイルＦ０および動画像ファイルＭ０を生成することができる。
【００７４】
以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の補間画像生成部５、動画像生成部６およびファイル生成部７に対応する手段として機能させ、図１０，１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態による画像処理装置および画像再生装置を適用した複眼撮影装置の構成を示す概略ブロック図
【図２】撮影部の構成を示す図
【図３】撮影部の配置を説明するための図
【図４】原画像を示す図
【図５】補間画像の生成を説明するための図
【図６】立体形状モデルと原画像を得た画像投影面との関係を示す図
【図７】本実施形態における３次元画像ファイルのファイル構成を示す図
【図８】本実施形態における動画像ファイルのファイル構成を示す図
【図９】関連情報ファイルの記述内容を示す図
【図１０】本実施形態においてファイル生成時に行われる処理を示すフローチャート
【図１１】３次元画像ファイル、動画像ファイルおよび関連情報ファイルの記録状態を示す図
【図１２】本実施形態においてサムネイル画像の一覧の表示時に行われる処理を示すフローチャート
【図１３】サムネイル画像の一覧画面を示す図
【図１４】本実施形態における原画像および動画像を格納するファイルのファイル構成を示す図
【符号の説明】
【００７６】
１    複眼撮影装置
２Ａ，２Ｂ    撮影部
３    撮影制御部
４    画像処理部
５    補間画像生成部
６    動画像生成部
７    ファイル生成部
８    ３次元画像生成部
９    フレームバッファ
１０    メディア制御部
１１    入力部
１２    表示部
１３    制御部
【図１】
2010093626.tif 000003
【図２】
2010093626.tif 000004
【図３】
2010093626.tif 000005
【図４】
2010093626.tif 000006
【図５】
2010093626.tif 000007
【図６】
2010093626.tif 000008
【図７】
2010093626.tif 000009
【図８】
2010093626.tif 000010
【図９】
2010093626.tif 000011
【図１０】
2010093626.tif 000012
【図１１】
2010093626.tif 000013
【図１２】
2010093626.tif 000014
【図１３】
2010093626.tif 000015
【図１４】
2010093626.tif 000016