(57)【要約】【課題】簡易な構成で、１の画像の表示時に、同じ時間帯に撮像された他の画像の状態を容易に提示する。【解決手段】再生装置１４は、第１取得部６４と、第１生成部６６と、表示制御部７０と、を備える。第１取得部６４は、同じ時間帯に撮像された画角の異なる複数種類の画像を取得する。第１生成部６６は、複数種類の画像の各々と、複数種類の画像の各々における、より画角の狭い画像の相当する領域を示す枠画像と、を合成した合成画像を生成する。表示制御部７０は、合成画像を表示部６２に表示する制御を行う。【選択図】図５
2013214853.tif 000002
【特許請求の範囲】
【請求項１】
同じ時間帯に撮像された画角の異なる複数種類の画像を取得する第１取得部と、
前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成する第１生成部と、
前記合成画像を表示部に表示する制御を行う表示制御部と、
を備えた再生装置。
【請求項２】
前記第１取得部は、
前記複数種類の画像と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する位置及び範囲を示す枠情報と、を含む第１データを記憶部から読み取る読取部と、
前記枠情報に基づいて、前記枠画像を生成する第２生成部と、
を有する、
請求項１に記載の再生装置。
【請求項３】
前記表示部に表示する対象の画像の識別情報を受け付ける受付部を更に備え、
前記記憶部は、符号化された前記複数種類の画像と、前記枠情報と、を含む前記第１データを記憶し、
前記第１取得部は、
符号化された前記複数種類の画像の内、受け付けた識別情報によって特定される画像を復号する復号部を更に有し、
前記第１生成部は、復号された前記画像と、生成された前記枠画像と、を合成した前記合成画像データを生成する、
請求項２に記載の再生装置。
【請求項４】
前記受付部は、前記表示部に表示された前記合成画像における前記枠画像の再生指示を更に受け付け、
該再生指示を受け付けた場合、前記復号部は、符号化された前記複数種類の画像の内、再生指示された前記枠画像に対応する画像を復号し、
前記表示制御部は、復号された該画像を前記表示部に表示する制御を行う、
請求項３に記載の再生装置。
【請求項５】
前記複数種類の画像は、同じ解像度である、請求項１〜請求項４の何れか１項に記載の再生装置。
【請求項６】
同じ時間帯に撮像された画角の異なる複数種類の画像を取得する第２取得部と、
取得された前記複数種類の画像を記憶する記憶部と、
前記記憶部から、前記複数種類の画像を取得する第１取得部と、
前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成する第１生成部と、
前記枠画像を表示部に表示する制御を行う表示制御部と、
を備えた記録再生装置。
【請求項７】
同じ時間帯に撮像された画角の異なる複数種類の画像を取得するステップと、
前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成するステップと、
前記合成画像を表示部に表示する制御を行うステップと、
を含む再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置、記録再生装置、及び再生方法に関する。
【背景技術】
【０００２】
撮像倍率の異なる複数種類の画像データを撮像することが行われている。例えば、特許文献１には、同一時間帯において拡大撮影と広角撮影を行い、拡大撮影によるカメラ映像信号と広角撮影によるカメラ映像信号を記録することが開示されている。また、特許文献１では、これらの映像を再生する場合には、一方の再生画像の一部に、縮小した他方の再生画像を重ねて表示したり、一方の再生画像の一部に、マルチズーム撮影されたシーンであることを示すマークを表示することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２１５１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一方の再生画像の一部に、縮小した他方の再生画像を重ねて表示する場合は、同一時間帯に得られた複数の画像を重ねて表示するために、処理能力の高いデコーダを用意する必要があった。また、一方の再生画像の一部にマルチズーム撮影されたシーンであることを示すマークを表示する場合には、視聴者は、表示されていない他の画像の撮影範囲等の状態を知ることは困難であった。
【０００５】
本発明は、上記に鑑みてなされたものであって、簡易な構成で、１の画像の表示時に、同じ時間帯に撮像された他の画像の状態を容易に提示することができる、再生装置、記録再生装置、及び再生方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明の再生装置は、第１取得部と、第１生成部と、表示制御部と、を備える。第１取得部は、同じ時間帯に撮像された画角の異なる複数種類の画像を取得する。第１生成部は、前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成する。表示制御部は、前記合成画像を表示部に表示する制御を行う。
【０００７】
本発明の記録再生装置は、第２取得部と、記憶部と、第１取得部と、第１生成部と、表示制御部と、を備える。第２取得部は、同じ時間帯に撮像された画角の異なる複数種類の画像を取得する。記憶部は、取得された前記複数種類の画像を記憶する。第１取得部は、同じ時間帯に撮像された画角の異なる複数種類の画像を取得する。第１生成部は、前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成する。表示制御部は、前記合成画像を表示部に表示する制御を行う。
【０００８】
本発明の再生方法は、同じ時間帯に撮像された画角の異なる複数種類の画像を取得するステップと、前記複数種類の画像の各々と、前記複数種類の画像の各々における、より画角の狭い前記画像の相当する領域を示す枠画像と、を合成した合成画像を生成するステップと、前記合成画像を表示部に表示する制御を行うステップと、を含む。
【発明の効果】
【０００９】
本発明によれば、簡易な構成で、１の画像の表示時に同じ時間帯に撮像された他の画像の状態を容易に提示することができる、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、記録再生装置を示す模式図である。
【図２】図２は、記録装置を示す模式図である。
【図３】図３は、枠情報の一例を示す模式図である。
【図４】図４は、符号化された画像データ及び第１データのデータ構造を示す模式図である。
【図５】図５は、再生装置を示す模式図である。
【図６】図６は、記録装置で行う記録処理の手順を示すフローチャートである。
【図７】図７は、再生装置で行う再性処理の手順を示すフローチャートである。
【図８】図８は、再生装置で表示される合成画像を示す模式図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、本実施形態にかかる、再生装置、記録再生装置、及び再生方法の実施の形態を詳細に説明する。
【００１２】
図１は、本実施の形態の記録再生装置１０を模式的に示す図である。
【００１３】
記録再生装置１０は、画像データを記録媒体に記録するとともに、記録した画像データの再生を行う。なお、本実施の形態では、画像データは、動画像データ（映像データ、ストリームともいう）である場合を説明するが、静止画像データであってもよい。
【００１４】
記録再生装置１０は、記録装置１２と再生装置１４とを備える。
【００１５】
図２は、記録装置１２を示す模式図である。記録装置１２は、装置本体部３０、及び記憶部３２を備える。
【００１６】
記憶部３２は、後述する第１データを記憶する。記憶部３２は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。
【００１７】
装置本体部３０は、第２取得部１６、符号化部１８、バッファ２０、算出部２２、バッファ２４、マルチプレクサ２６（第２生成部）、及びバッファ２８を備える。
【００１８】
第２取得部１６は、画角の異なる複数種類の画像データを取得する。本実施の形態では、一例として、画角の異なる３種類の画像データを取得する場合を説明するが、２種類以上であればよく、３種類に限られない。
【００１９】
なお、以下では、説明を分かりやすくする観点から、３種類の画像データの内、最も画角の広い（広角の）画像データを、広角画像データと称して説明する。また、該広角画像データの次に画角の広い画像データを、第１拡大画像データと称して説明する。また、３種類の画像データの内、最も画角の狭い画像データを、第２拡大画像データと称して説明する。なお、これらの広角画像データ、第１拡大画像データ、及び第２拡大画像データを総称する場合には、画像データと称して説明する。
【００２０】
また、本実施の形態では、複数種類の画像データとして、第２取得部１６は、同じ時間帯に撮像された複数種類の画像データを取得する。
【００２１】
第２取得部１６は、光学系４０を備える。光学系４０は、本実施の形態では、互いに画角の異なる画像データを取得する、第１光学系３４、第２光学系３６、及び第３光学系３８を備える。
【００２２】
第１光学系３４は、記録装置１２に設けられた複数の光学系４０（第１光学系３４、第２光学系３６、及び第３光学系３８）の内、最も広角の広角画像データを撮像によって取得する。詳細には、第１光学系３４は、レンズ３４Ａ、撮像素子３４Ｂ、及びバッファ３４Ｃを備える。
【００２３】
撮像素子３４Ｂは、レンズ３４Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた広角画像データを生成する。レンズ３４Ａは、第２光学系３６に設けられたレンズ３６Ａ、及び第３光学系３８に設けられたレンズ３８Ａに比べて、最も画角の広い広角レンズである。撮像素子３４Ｂには、公知のＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）等を用いる。撮像素子３４Ｂで生成された広角画像データは、順次バッファ３４Ｃに格納される。バッファ３４Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。
【００２４】
撮像素子３６Ｂは、レンズ３６Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた第１拡大画像データを生成する。レンズ３６Ａは、第１光学系３４に設けられたレンズ３４Ａに比べて画角が狭く、且つ、第３光学系３８に設けられたレンズ３８Ａに比べて画角の広いレンズである。撮像素子３６Ｂには、公知のＣＭＯＳイメージセンサ等を用いる。撮像素子３６Ｂで生成された第１拡大画像データは、順次バッファ３６Ｃに格納される。バッファ３６Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。
【００２５】
撮像素子３８Ｂは、レンズ３８Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた第２拡大画像データを生成する。レンズ３８Ａは、第１光学系３４に設けられたレンズ３４Ａ、及び第２光学系３６に設けられたレンズ３６Ａに比べて、最も画角の狭いレンズである。撮像素子３８Ｂには、公知のＣＭＯＳイメージセンサ等を用いる。撮像素子３８Ｂで生成された第２拡大画像データは、順次バッファ３８Ｃに格納される。バッファ３８Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。
【００２６】
なお、撮像素子３４Ｂ、撮像素子３６Ｂ、及び撮像素子３８Ｂは、互いに同じ解像度及び記録レートの画像データを生成する。このため、画角の異なる複数種類（本実施の形態では３種類）の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データは、同等の画質である。
【００２７】
上記構成とすることで、第２取得部１６は、同等の画質で且つ画角の異なる複数種類（本実施の形態では３種類）の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を取得する。
【００２８】
符号化部１８は、第１光学系３４、第２光学系３６、及び第３光学系３８の各々で取得された画角の異なる３種類の画像データの各々を符号化する。具体的には、符号化部１８は、バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納された画像データを読取り、符号化する。
【００２９】
なお、本実施の形態では、記録装置１２は、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）（登録商標）で規定されたフォーマットで、後述する第１データを記憶部３２に格納する。なお、フォーマットは、一例であり、このフォーマットに限られない。
【００３０】
このため、本実施の形態では、符号化部１８は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ方式に基づいて、画角の異なる３種類の画像データの各々を符号化する。
【００３１】
バッファ２０は、符号化部１８で符号化された、画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を蓄積する。
【００３２】
算出部２２は、第２取得部１６で取得された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）の各々における、より画角の狭い画像データの相当する位置及び範囲を示す枠情報を算出する。なお、枠情報は、より画角の広い画像データの画像中における、より画角の狭い画像データの画像に相当する位置及び範囲を示す情報である。
【００３３】
言い換えれば、算出部２２は、第２取得部１６で取得された画角の異なる３種類の画像データの内、最も画角の狭い（最も拡大した画像）画像データ以外の２種類の画像データの各々を主画像とする。そして、これらの主画像の画像データの各々について、各主画像の画像データより画角の狭い画像データの各々を副画像とする。そして、算出部２２は、各主画像の画像データに対する、各副画像の位置及び範囲を示す枠情報を算出する。
【００３４】
枠情報は、例えば、より画角の広い画像データの画像中における、より画角の狭い画像データの画像の相当する領域の位置座標の群等によって示される。
【００３５】
算出部２２では、まず、バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納された、画角の異なる３種類の画像データについて、時間的に対になるフレーム同士を比較する。そして、算出部２２は、より画角の広い（より広角の）画像データの画像を主画像とし、該各主画像より画角の狭い（より拡大した）画像データの各画像を副画像として、該各主画像に対応する副画像の枠情報を算出する。
【００３６】
このため、本実施の形態では、算出部２２は、広角画像データの各画像を主画像とし、該各主画像より画角の狭い第１拡大画像データ及び第２拡大画像データの各画像を副画像として、該各主画像に対応する副画像の枠情報を算出する。また、本実施の形態では、算出部２２は、第１拡大画像データの各画像を主画像とし、該各主画像より画角の狭い第２拡大画像データの各画像を副画像として、該各主画像に対応する副画像の枠情報を算出する。
【００３７】
なお、この枠情報の算出には、公知の画像処理方法を用いればよい。すなわち、より画角の狭い画像（副画像）は、より画角の広い画像（主画像）の一部となっている。このため、算出部２２は、時間的に対になる画像同士を比較し、公知の画像処理方法を用いて、各主画像中における副画像の相当する領域を特定し、特定した領域の位置及び範囲を枠情報として算出する。
【００３８】
図３は、算出部２２が算出する枠情報の一例を示す模式図である。
【００３９】
図３は、第１拡大画像データの画像を主画像とし、第２拡大画像データの画像を該主画像に対応する副画像としたときの、副画像の枠情報表示の一例を示した図である。算出部２２は、主画像である第１画像データの画像４２中における、副画像である第２拡大画像データの画像４４の相当する領域Ｑの位置及び範囲を示す枠情報を算出する。図３に示す例では、算出部２２は、主画像である画像４２に対応する副画像である画像４４の枠情報として、主画像である画像４２における画像４４の相当する領域Ｑの四隅の位置座標（（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４））を算出する。なお、この枠情報によって特定される線画像が、図３における枠画像Ｌとなる。枠画像は、枠情報に基づいて算出される（詳細後述）。枠画像は、より画角の広い画像データの画像中における、より画角の狭い画像データの画像の占める領域を示す画像である。本実施の形態では、枠画像は、該領域の外枠を示す線画像である。
【００４０】
図２に戻り、バッファ２４は、算出部２２で算出された、各主画像に対する各副画像の位置及び範囲を示す枠情報を格納する。具体的には、バッファ２４は、各主画像を示す情報と、各主画像に対する各副画像を示す情報と、を対応づけて記憶する。各主画像を示す情報は、広角画像データまたは第１拡大画像データの識別情報と、各画像データの画像の時刻情報（撮像時刻）と、を含む。また、各主画像に対する各副画像を示す情報は、第１拡大画像データ及び／または第２拡大画像データの識別情報と、各副画像の時刻情報（撮像時刻）と、各副画像の対応する主画像における枠情報と、を含む。
【００４１】
マルチプレクサ２６は、バッファ２０に格納された、符号化された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、バッファ２４に格納された枠情報と、を多重化することで、第１データを生成する。すなわち、第１データは、画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、枠情報と、を含む。バッファ２８は、マルチプレクサ２６で生成された第１データを格納し、順次、記憶部３２へ記憶する。
【００４２】
図４は、画像データ及び第１データのデータ構造を示す模式図である。図４（Ａ）は、符号化部１８で符号化された画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を示す模式図である（図４（Ａ）中、画像データ５０参照）。図４（Ｂ）は、マルチプレクサ２６で生成された第１データの一例を示す模式図である（図４（Ｂ）中、画像データ５２参照）。なお、図４（Ｂ）に示す第１データは、画角の異なる２種類の画像データ（広角画像データ、第１拡大データ）と枠情報とを多重化することで生成された第１データを示す模式図である。
【００４３】
図４（Ａ）に示すように、符号化された画像データは、複数のトランスポートパケット５４からなる。なお、図４（Ａ）中、Ｓは、システムパケットを示し、Ｖは、ビデオパケットを示す。これらのトランスポートパケットには、パケット識別子（ＰＩＤ）が含まれている。
【００４４】
図４（Ｂ）中、ＡＵＤ（Ａｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ）は、画像データの区切りを示す。また、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  ＰａｒａｍｅｔｅｒＳｅｔ）は、シーケンス全体の符号化モード等の符号化に関わる情報を含む。ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）は、ピクチャー全体の符号化モードを示すヘッダ情報である。ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）は、付加情報を示す。本実施の形態では、マルチプレクサ２６は、画角情報をこのＳＥＩに含める。ＳＬＩＣＥは、実際の画像データを示し、インターレースなら１フィールド分、プログレッシブなら１フレーム分の画像データを示す。
【００４５】
マルチプレクサ２６は、符号化された画角の異なる各画像データの各画像（フレーム）のＳＥＩに、対応する副画像（該画像データに対応するより狭い画角の画像データの画像）の枠情報を格納することで、第１データを作成する。なお、符号化された各画像データのトランスポートパケットに含まれるＰＩＤには、画角の異なる画像データ毎に、異なる値が与えられる。このため、マルチプレクサ２６は、符号化された各画像データのＰＩＤを、各画像データの識別情報として用いる。
【００４６】
次に、再生装置１４について説明する。
【００４７】
再生装置１４は、記録装置１２によって記憶部３２に記録された第１データに基づいて画像を再生する。
【００４８】
図５は、再生装置１４を示す模式図である。再生装置１４は、装置本体部６０、操作部７４、及び表示部６２を備える。
【００４９】
表示部６２は、第１データに含まれる画角の異なる各画像データの画像を表示する。表示部６２としては、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の公知の表示装置が挙げられる。
【００５０】
操作部７４は、再生指示や終了指示等の各種指示をユーザから受け付ける。操作部７４としては、例えば、マイク等の音声認識装置、マウス、ボタン、リモコン、及びキーボード等が挙げられる。
【００５１】
ユーザによる操作部７４の操作指示によって、表示部６２への表示対象の画像データの指示及び再生モードの指示がなされると、操作部７４は、特定画像再生指示信号を装置本体部６０へ送信する。この特定画像再生指示信号には、表示部６２への表示対象の画像データの識別情報及び特定画像再生指示を示す情報が含まれる。
【００５２】
装置本体部６０は、例えば、表示部６２に再生装置１４で再生可能な画像データの一欄をユーザに選択可能に表示する。具体的には、後述するバッファ８０に格納された画角の異なる複数種類の画像データの各々について、ある時刻のフレームのサムネイル画像の一欄や、各画像データの識別情報等を表示部６２に表示する。そして、装置本体部６０は、再生モードの選択を促すメッセージを併せて表示部６２に表示する。そして、ユーザによる操作部７４の操作指示によって、表示部６２への表示対象の画像データの指示及び再生指示がなされると、操作部７４は、特定画像再生指示信号を装置本体部６０へ送信すればよい。
【００５３】
また、操作部７４は、ユーザによる操作部７４の操作指示によって、表示部６２に表示された画像中に示される枠画像が指示されると、枠画像再生指示信号を装置本体部６０へ送信する。この枠画像再生指示信号には、ユーザによって指示された枠画像の枠識別情報及び表示指示を示す情報が含まれる。
【００５４】
なお、操作部７４は、ユーザによる操作部７４の操作指示によって、再生開始を示す開始信号や、再生終了を示す終了信号等の各種信号を更に装置本体部６０へ送信してもよい。
【００５５】
装置本体部６０は、記憶部３２に記憶されている第１データを取得し、取得した第１データに含まれる画像データ等を、表示部６２に表示する。
【００５６】
詳細には、装置本体部６０は、第１取得部６４、第１生成部６６、バッファ６８、表示制御部７０、及び受付部７２を含む。
【００５７】
受付部７２は、ユーザによる操作指示によって操作部７４を介して入力された各種信号を受け付ける。本実施の形態では、受付部７２は、特定画像再生指示信号、枠画像再生指示信号、再生開始信号、及び再生終了信号等の各種信号を操作部７４から受け付ける。そして、受付部７２は、受け付けたこれらの信号を、表示制御部７０へ送信する。
【００５８】
表示制御部７０は、受付部７２から受け付けた各種信号に基づいて、表示部６２に各種画像を表示する制御を行う。
【００５９】
詳細には、表示制御部７０は、受付部７２から特定画像再生指示信号を受け付けた場合には、該特定画像再生指示信号を、復号部８４、第２生成部８８、及び第１生成部６６へ出力する。そして、バッファ６８に格納された合成画像の合成画像データを表示部６２に表示する制御を行う。
【００６０】
一方、表示制御部７０は、受付部７２から枠画像再生指示信号を受け付けた場合には、該枠画像再生指示信号に含まれる枠識別情報に対応する画像データの識別情報をバッファ９０から読み取る。そして、枠識別情報に対応する画像データの識別情報及び枠画像再生指示を示す枠画像再生信号を、復号部８４へ出力する。そして、表示制御部７０は、バッファ８６に格納された、該枠識別情報に対応する復号された画像データの画像を、表示部６２に表示する制御を行う。
【００６１】
第１取得部６４は、記憶部３２から第１データを取得する。
【００６２】
第１取得部６４は、読取部７５、バッファ７６、デマルチプレクサ７８、バッファ８０、バッファ８２、復号部８４、バッファ８６、第２生成部８８、及びバッファ９０を備える。
【００６３】
読取部７５は、記憶部３２から第１データを読取り、バッファ７６に格納する。デマルチプレクサ７８は、バッファ７６に格納された第１データを、第１データに含まれる、画角の異なる複数種類の画像データ（広角画像データ、第１拡大画像データ、及び第２拡大画像データ）と、枠情報と、に分離する。
【００６４】
そして、デマルチプレクサ７８は、第１データから分離した複数種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を、各画像データの識別情報に対応づけてバッファ８０に格納する。
【００６５】
また、デマルチプレクサ７８は、第１データから分離した、各主画像に対応する各副画像の枠情報を、バッファ８２に格納する。詳細には、デマルチプレクサ７８は、各主画像の画像データの識別情報と、各主画像に対応する副画像の画像データの識別情報と、各副画像の時刻情報（撮像時刻）と、各副画像の対応する主画像における枠情報と、を対応づけてバッファ８２に格納する。
【００６６】
復号部８４は、表示制御部７０から特定画像再生指示信号を受け付けた場合には、該特定画像再生指示信号に含まれる識別情報によって特定される画像データをバッファ８０から読み取り復号する。そして、復号部８４は、復号した画像データを、バッファ８６へ出力する。
【００６７】
また、復号部８４は、表示制御部７０から、枠画像再生信号を受け付けた場合には、該枠画像再生信号に含まれる識別情報によって特定される画像データをバッファ８０から読み取り復号する。そして、復号部８４は、復号した画像データを、バッファ８６へ出力する。
【００６８】
第２生成部８８は、枠情報に基づいて枠画像を生成する。詳細には、第２生成部８８は、表示制御部７０から特定画像再生指示信号を受け付けた場合には、該特定画像再生指示信号に含まれる識別情報を読み取る。そして、第２生成部８８は、読み取った識別情報に対応する枠情報及び時刻情報をバッファ８２から読み取る。そして、第２生成部８８は、枠情報に基づいて、枠情報によって示される位置及び範囲によって特定される領域の外枠を示す画像を作成することで、枠画像を生成する。
【００６９】
そして、第２生成部８８は、作成した枠画像を、対応する時刻情報（撮像時刻）及び対応する主画像の画像データの識別情報、及び枠画像の枠識別情報に対応づけてバッファ９０に格納する。
【００７０】
第１生成部６６は、バッファ８６に格納された画像データの画像と、バッファ９０に格納された対応する時刻の枠画像と、を合成した合成画像の合成画像データを生成する。そして、第１生成部６６は、生成した合成画像データをバッファ６８に格納する。
【００７１】
表示制御部７０は、上述したように、受付部７２から特定画像再生指示信号を受け付けた場合には、バッファ６８に格納された合成画像データの合成画像を表示部６２に表示する制御を行う。また、表示制御部７０は、受付部７２から枠画像再生指示信号を受け付けた場合には、バッファ８６に格納された、枠識別情報に対応する復号された画像データの画像を、表示部６２に表示する制御を行う。
【００７２】
次に、本実施の形態の記録再生装置１０における、記録装置１２で行われる記録処理について説明する。
【００７３】
図６は、記録装置１２で行う記録処理の手順を示すフローチャートである。
【００７４】
まず、第２取得部１６が、画角の異なる複数種類の画像データを取得する（ステップＳ１００）。第２取得部１６で取得された各画像データは、順次バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納される。
【００７５】
次に、算出部２２が、第２取得部１６で取得された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）の画像の各々における、より画角の狭い画像データの画像の相当する位置及び範囲を示す枠情報を算出する（ステップＳ１０２）。ステップＳ１０２の処理によって、第２取得部１６で取得された画像データの内の、最も画角の狭い画像データ以外の画像データの各々を主画像とし、各主画像の画像データに対する、各副画像（より画角の狭い画像データの画像）の位置及び範囲を示す枠情報が算出される。
【００７６】
次に、算出部２２は、算出した、各主画像に対する各副画像の位置及び範囲を示す枠情報をバッファ２４へ格納する（ステップＳ１０４）。ステップＳ１０４の処理によって、バッファ２４には、各主画像を示す情報と、各主画像に対する各副画像を示す情報と、が対応づけて記憶される。
【００７７】
次に、符号化部１８が、第１光学系３４、第２光学系３６、及び第３光学系３８の各々で取得された画角の異なる３種類の画像データの各々を符号化する（ステップＳ１０６）。ステップＳ１０６の処理によって符号化された各画像データは、バッファ２０に順次格納される。
【００７８】
次に、マルチプレクサ２６が、バッファ２０に格納された、符号化された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、バッファ２４に格納された枠情報と、を多重化することで、第１データを生成する（ステップＳ１０８）。そして、マルチプレクサ２６は、生成した第１データを、バッファ２８を介して記憶部３２に格納する（ステップＳ１１０）。
【００７９】
次に、装置本体部３０が、図示を省略する操作部等の操作指示によって記録終了を示す信号を受け付けたか否かを判断する（ステップＳ１１２）。ステップＳ１１２で否定判断すると（ステップＳ１１２：Ｎｏ）、上記ステップＳ１０２へ戻る。一方、ステップＳ１１２で肯定判断すると（ステップＳ１１２：Ｙｅｓ）、本ルーチンを終了する。
【００８０】
次に、本実施の形態の記録再生装置１０における、再生装置１４で行われる再生処理について説明する。
【００８１】
図７は、再生装置１４で行う再性処理の手順を示すフローチャートである。
【００８２】
再生装置１４では、装置各部に電力が供給され操作部７４から再生開始を示す開始信号を受付部７２が受け付けると、図７に示す再生処理を実行する。
【００８３】
まず、読取部７５が、記憶部３２から第１データを取得する（ステップＳ２００）。ステップＳ２００によって読み取られた第１データは、バッファ７６に格納される。
【００８４】
次に、デマルチプレクサ７８が、バッファ７６に格納された第１データを、第１データに含まれる、画角の異なる複数種類の画像データ（広角画像データ、第１拡大画像データ、及び第２拡大画像データ）と、枠情報と、に分離する（ステップＳ２０２）。ステップＳ２０２の処理によって、第１データから分離された複数種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）は、各画像データの識別情報に対応づけてバッファ８０に格納される。また、ステップＳ２０２の処理によって、第１データから分類された枠情報、すなわち、各主画像に対応する各副画像の枠情報は、バッファ８２に格納される。
【００８５】
次に、表示制御部７０が、特定画像再生指示がなされたか否かを判別する（ステップＳ２０４）。表示制御部７０は、操作部７４から受付部７２を介して受け付けた信号が、特定画像再生指示信号である場合には、肯定判断する（ステップＳ２０４：Ｙｅｓ）。そして、表示制御部７０は、受け付けた特定画像再生指示信号を、復号部８４、第２生成部８８、及び第１生成部６６へ出力する。そして、ステップＳ２０６へ進む。
【００８６】
ステップＳ２０６では、復号部８４が、表示制御部７０から受け付けた特定画像再生指示信号に含まれる識別情報によって特定される画像データをバッファ８０から読み取り復号する（ステップＳ２０６）。そして、復号部８４は、復号した画像データを、バッファ８６へ出力する。
【００８７】
次に、第２生成部８８が、バッファ８２に格納されている枠情報に基づいて枠画像を生成する（ステップＳ２０８）。詳細には、第２生成部８８は、表示制御部７０から受け付けた特定画像再生指示信号に含まれる識別情報を読み取る。そして、第２生成部８８は、読み取った識別情報に対応する枠情報及び時刻情報をバッファ８２から読み取る。そして、第２生成部８８は、枠情報に基づいて、枠画像を作成し、バッファ９０へ記憶する。このとき、第２生成部８８は、生成した枠画像を識別する枠識別情報と、該枠画像に対応する画像データの識別情報と、を枠画像に対応付けてバッファ９０へ記憶する。
【００８８】
次に、第１生成部６６が、合成画像を生成する（ステップＳ２１０）。詳細には、第１生成部６６は、表示制御部７０から受け付けた特定画像再生指示信号に含まれる識別情報に対応する復号された画像データをバッファ８６から読み取る。また、第１生成部６６は、表示制御部７０から受け付けた該特定画像再生指示信号に含まれる識別情報に対応する枠画像と、各枠画像に対応する時刻情報をバッファ９０から読み取る。そして、バッファ８６から読み取った画像データの各時刻のフレームと、バッファ９０から読み取った該時刻の時刻情報に対応する枠画像と、を合成した合成画像を生成する。そして、第１生成部６６は、生成した合成画像の合成画像データをバッファ６８へ記憶する（ステップＳ２１２）。
【００８９】
次に、表示制御部７０が、バッファ６８に格納された合成画像データの合成画像を表示部６２に表示する制御を行う（ステップＳ２１４）。
【００９０】
次に、表示制御部７０が、受付部７２を介して操作部７４から再生終了を示す終了信号を受け付けたか否かを判断する（ステップＳ２１６）。ステップＳ２１６で肯定判断すると（ステップＳ２１６：Ｙｅｓ）、本ルーチンを終了し、否定判断すると（ステップＳ２１６：Ｎｏ）、上記ステップＳ２０２へ戻る。
【００９１】
一方、上記ステップＳ２０４において否定判断し、表示制御部７０が、枠画像再生指示がなされたと判別した場合には（ステップＳ２０４：Ｎｏ）、ステップＳ２１８へ進む。なお、ステップＳ２０４で否定判断した場合には、表示制御部７０は、受け付けた枠画像再生指示信号に含まれる枠識別情報に対応する画像データの識別情報をバッファ９０から読み取る。そして、枠識別情報に対応する画像データの識別情報及び枠画像再生指示を示す枠画像再生信号を、復号部８４へ出力する。
【００９２】
該枠画像再生信号を受け付けた復号部８４は、受け付けた枠画像再生信号に含まれる識別情報に対応する画像データをバッファ８０から読み取り、復号する（ステップＳ２１８）。そして、復号した画像データを、バッファ８６へ格納する（ステップＳ２２０）。
【００９３】
ステップＳ２１８の処理によって、ユーザによって指示された枠画像に対応する画像データが復号され、バッファ８６に格納される。
【００９４】
次に、表示制御部７０は、ステップＳ２１８の処理によってバッファ８６に格納された、復号された画像データの画像を、表示部６２に表示する制御を行う（ステップＳ２２２）。そして、上記ステップＳ２１６へ戻る。
【００９５】
上記再生処理が実行されることによって、再生装置１４は、ユーザによって指示された表示対象の画像データの表示時には、該画像データに、該画像データに対応する画角の異なる画像データが存在することを示す枠画像を合成した合成画像を表示することができる。そして、再生装置１４では、さらに、枠画像がユーザによって指示された場合、指示された枠画像に対応する画像データを復号し、表示部６２に表示することができる。
【００９６】
図８は、本実施の形態の再生装置１４で表示される合成画像を示す模式図である。図８（Ａ）は、合成画像９２を示す模式図である。なお、合成画像９２は、画像９１と、画角が異なり且つ同じ時刻に撮像された画像９４（図８（Ｂ）参照）の相当する位置及び範囲を示す枠画像Ｓと、画角が異なり且つ同じ時刻に撮像された画像９６（図８（Ｃ）参照）の相当する位置及び範囲を示す枠画像Ｐと、の合成画像である。
【００９７】
そして、表示部６２に表示された合成画像９２における枠画像Ｓがユーザによって指示された場合には、再生装置１４は、枠画像Ｓに対応する、画像９１と同等の画質の画像データの画像である画像９４を表示部６２に表示する（図８（Ｂ）参照）。また、表示部６２に表示された合成画像９２における枠画像Ｐがユーザによって指示された場合には、再生装置１４は、枠画像Ｐに対応する、画像９１と同等の画質の画像データの画像である画像９６を表示部６２に表示する（図８（Ｃ）参照）。
【００９８】
以上説明したように、本実施の形態の再生装置１４では、画角の異なる複数の画像データの画像の内の１つを表示する場合に、表示対象の画像データの画像と、該表示対象の画像データより画角の狭い画像データの相当する領域を示す枠画像と、の合成画像を表示することができる。このため、このような枠画像を含む合成画像を表示することで、表示部６２を視聴するユーザに、表示された画像と同等の画質の画像が別途存在することを容易に提示することができる。
【００９９】
従って、本実施の形態の記録再生装置１０では、簡易な構成で、１の画像の表示時に同じ時間帯に撮像された他の画像の状態を容易に提示することができる。
【０１００】
また、再生装置１４では、ユーザによって表示対象として指示された画像データを復号し、この復号した画像データに、他の画角の画像データの位置及び範囲を示す枠画像を合成した合成画像を生成して表示する。このため、符号化された複数の画像データの全てを復号することなく、合成画像を表示することができる。
【０１０１】
このため、再生装置１４における復号処理の負荷を軽減することができる。
【０１０２】
なお、本実施の形態の記録再生装置１０における記録装置１２及び再生装置１４は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置（表示部６２）と、キーボードやマウスなどの入力装置（操作部７４）を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１０３】
本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１０４】
また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１０５】
また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１０６】
なお、上記には、本発明の実施の形態を説明したが、上記の実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０７】
１０  記録再生装置
１２  記録装置
１４  再生装置
１６  第２取得部
１８  符号化部
２２  算出部
２６  マルチプレクサ
３２  記憶部
６２  表示部
６４  第１取得部
６６  第１生成部
７０  表示制御部
７２  受付部
７８  デマルチプレクサ
８４  復号部
８８  第２生成部
【図１】
2013214853.tif 000003
【図２】
2013214853.tif 000004
【図３】
2013214853.tif 000005
【図４】
2013214853.tif 000006
【図５】
2013214853.tif 000007
【図６】
2013214853.tif 000008
【図７】
2013214853.tif 000009
【図８】
2013214853.tif 000010