(57)【要約】      （修正有）【課題】高フレームレート映像を取り扱うことができない再生機器においてもユーザが見やすい動画を表示することができる画像記録装置を提供する。【解決手段】画像記録装置１００は、動画データにおける所定のフレームの動画像を分割する分割部１０２と、分割された複数の動画像と分割されなかった動画像を１フレーム内の所定の位置に配置する配置部１０３と、配置部１０３により１フレーム内に纏められた動画像から新たな動画データを生成する記録画像データ生成部１０４と、記録画像データ生成部１０４により生成された動画データを記録媒体２００に記録する記録部１０５とを有する。【選択図】図１
2012015892.tif 000002
【特許請求の範囲】
【請求項１】
動画データにおける所定のフレームの動画像を分割する分割手段と、
前記分割手段により分割された複数の動画像と分割されなかった動画像を１フレーム内の所定の位置に配置する配置手段と、
前記配置手段により１フレーム内に纏められた動画像から新たな動画データを生成する記録画像データ生成手段と、
前記記録画像データ生成手段により生成された動画データを記録媒体に記録する記録手段とを有することを特徴とする画像記録装置。
【請求項２】
前記配置手段により１フレーム内の所定の位置に配置された動画像の座標位置を配置情報として記録する配置情報記録手段をさらに有することを特徴とする請求項１記載の画像記録装置。
【請求項３】
前記配置手段は、前記分割手段によって分割されていない動画像をフレームの中心座標に配置することを特徴とする請求項１又は２記載の画像記録装置。
【請求項４】
前記分割手段により分割される前に、前記動画データにおける各動画像の画像サイズをリサイズするリサイズ手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像記録装置。
【請求項５】
前記記録画像データ生成手段により生成された動画データを補助するための補助画像データを生成する補助画像データ生成手段と、
前記動画データに前記補助画像データを多重化して記録する多重化記録手段とをさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の画像記録装置。
【請求項６】
前記補助画像データ生成手段は、前記配置情報に基づいて、前記配置手段により１フレーム内に纏められた動画像上の所定のエリアをマスキングするための補助画像データを生成することを特徴とする請求項５記載の画像記録装置。
【請求項７】
前記動画データに関連する付加情報データを生成する付加情報データ生成手段と、
前記付加情報データを前記動画データに付加して前記記録媒体に記録する付加情報記録手段とをさらに有し、
前記付加情報データ生成手段は、前記多重化記録手段により前記動画データと前記補助画像データが多重化されて記録された場合、前記動画データが再生されるときに前記補助画像データが多重化されて再生されるように前記付加情報を生成することを特徴とする請求項５又は６記載の画像記録装置。
【請求項８】
前記動画データに関連する文字列を前記補助画像データに描画する描画手段をさらに有し、
前記描画手段は、前記配置情報に基づいて前記文字列の描画位置を決定することを特徴とする請求項５乃至７のいずれか１項に記載の画像記録装置。
【請求項９】
記録媒体に記録された動画データを復号化して再生画像を生成する記録画像データ復号手段と、
前記動画データの１フレーム内の所定の位置に配置された動画像の座標位置を示す配置情報を前記記録媒体から取得する取得手段と、
前記取得手段により取得された配置情報に基づいて前記再生画像を分割する分割手段と、
前記分割手段により分割された複数の再生画像を前記配置情報に基づいて結合して動画データを生成する結合手段と、
前記結合手段により結合された動画データを再生表示する表示手段とを備えることを特徴とする画像再生装置。
【請求項１０】
前記動画データに付加された付加情報データに基づいて、前記動画データを補助するための補助画像データを前記動画データに多重化して再生表示する再生手段をさらに備えることを特徴とする請求項９記載の画像再生装置。
【請求項１１】
請求項１乃至８のいずれか１項に記載の画像記録装置と請求項９又は１０記載の画像再生装置を備えることを特徴とする画像記録再生装置。
【請求項１２】
動画データにおける所定のフレームの動画像を分割する分割工程と、
前記分割工程にて分割された複数の動画像と分割されなかった動画像を１フレーム内の所定の位置に配置する配置工程と、
前記配置工程にて１フレーム内に纏められた動画像から新たな動画データを生成する記録画像データ生成工程と、
前記記録画像データ生成工程にて生成された動画データを記録媒体に記録する記録工程とを有することを特徴とする画像記録方法。
【請求項１３】
記録媒体に記録された動画データを復号化して再生画像を生成する記録画像データ復号工程と、
前記動画データの１フレーム内の所定の位置に配置された動画像の座標位置を示す配置情報を前記記録媒体から取得する取得工程と、
前記取得工程にて取得された配置情報に基づいて前記再生画像を分割する分割工程と、
前記分割工程にて分割された複数の再生画像を前記配置情報に基づいて結合して動画データを生成する結合工程と、
前記結合工程にて結合された動画データを再生表示する表示工程とを備えることを特徴とする画像再生方法。
【請求項１４】
請求項１２記載の画像記録方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。
【請求項１５】
請求項１３記載の画像再生方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を記録する画像記録装置、動画像を再生する画像再生装置、及び動画像を記録して再生することが可能な画像記録再生装置に関する。
【背景技術】
【０００２】
従来の画像記録装置や画像記録再生装置には、高フレームレートで撮影された動画からｎ枚の動画像を１フレームに纏めて記録するものがある。一方、ｎ枚の動画像が１フレームに纏めて記録された動画を再生する際に、動画から元のｎ枚の動画像を取り出して時系列順に再生表示する特殊再生方法を備えた画像再生装置や画像記録再生装置がある。
【０００３】
また、高フレームレートで撮影された動画（以下、「高フレームレート映像」ともよぶ）を取り扱う画像記録再生装置において、スロー再生の実現方法として、例えば特許文献１が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９６３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特殊再生方法に対応していない画像再生装置では、動画から元のｎ枚の動画像を取り出して再生表示することができず、１フレーム内にｎ枚の動画像が纏められた動画がそのまま再生表示される。この場合、ユーザは画面中にｎ枚の動画像が同時に表示されるため、どの画像に着目したらよいのか判断が難しいなどの問題がある。
【０００６】
本発明は、上記問題に鑑みて成されたものであり、高フレームレート映像を取り扱うことができない再生機器においてもユーザが見やすい動画を提供することができる画像記録装置及び再生装置、並びに画像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、動画データにおける所定のフレームの動画像を分割する分割手段と、前記分割手段により分割された複数の動画像と分割されなかった動画像を１フレーム内の所定の位置に配置する配置手段と、前記配置手段により１フレーム内に纏められた動画像から新たな動画データを生成する記録画像データ生成手段と、前記記録画像データ生成手段により生成された動画データを記録媒体に記録する記録手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高フレームレート映像を取り扱うことができない再生機器においてもユーザが見やすい動画を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る画像記録装置の機能構成の概略を示すブロック図である。
【図２】図１の画像記録装置における通常の動画記録時の動画像の状態を示す図である。
【図３】画像記録装置における高フレームレート動画記録時の動画像の状態を示す図である。
【図４】図３に示す高フレームレート動画記録時の画像記録装置の動作処理を示すフローチャートである。
【図５】本発明の第２の実施形態に係る画像記録装置の高フレームレート動画記録時における動画データへの補助画像データの多重化を説明するための図である。
【図６】図５に示す補助画像データの多重化を含む高フレームレート動画記録時の画像記録装置の動作処理を示すフローチャートである。
【図７】本発明の第３の実施形態に係る画像再生装置の機能構成の概略を示すブロック図である。
【図８】図７の画像再生装置における高フレームレート動画データ再生時の再生画像の状態を示す図である。
【図９】高フレームレート動画データを再生する際の画像再生装置の動作処理を示すフローチャートである。
【図１０】本発明の第４の実施形態に係る画像記録装置における高フレームレート動画記録時の動画像の状態を示す図である。
【図１１】図１０で説明したリサイズ配置高フレーム記録時の画像再生装置の動作処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を参照して詳細に説明する。
【００１１】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像記録装置の機能構成の概略を示すブロック図である。
【００１２】
図１において、画像記録装置１００は、メモリカードなどの記録媒体２００が着脱可能に構成され、撮影した動画データを記録媒体２００に記録することができる。１０１は、複数の光学レンズと、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサと、イメージセンサの出力信号を動画データに変換する画像処理部とで構成された撮像部（撮像手段）である。１１４は、撮像部１０１で得られた動画データにおける各動画像の画像サイズを所定の画像サイズに拡大縮小（リサイズ）するためのリサイズ部である。１０２は、リサイズ部１１４でリサイズされた動画データのうち所定のフレーム画像（動画像）を複数のフレーム画像に分割して、分割画像データ（分割された動画像）を生成する分割部（分割手段）である。
【００１３】
１０３は、分割部１０２で生成された分割画像データのうち、分割された複数のフレーム画像を１フレーム内の所定の座標位置に配置して、新たな画像データ（動画像）を生成する配置部（配置手段）である。配置部１０３では、１フレーム内に配置されたフレーム画像の座標位置を配置情報として生成する。１０４は、配置部１０３で生成された新たな画像データに対して、記録媒体２００に記録するための符号化を行い、記録用の動画データを生成する記録画像データ生成部（記録画像データ生成手段）である。１０５は、記録画像データ生成部１０４により生成された記録用の動画データをＭｅｄｉａ  Ｉ／Ｆ１１２を介して記録媒体２００に書き込む処理を行う記録部（記録手段）である。１０６は、配置部１０３から画像データの配置情報を取得し、記録媒体２００に配置情報データとして記録する配置情報記録部（配置情報記録手段）である。
【００１４】
１０７は、記録画像データ生成部１０４により生成された記録用の動画データを補助するための字幕用の文字列やアイコンなどの補助画像を描画／生成する描画部（描画手段）である。描画部１０７は、動画データに関連する文字列を補助画像データに描画することできる。このとき、描画部１０７は、配置情報に基づいて文字列の描画位置を決定する。１０８は、描画部１０７によって描画／生成された補助画像から補助画像データを生成する補助画像データ生成部（補助画像データ生成手段）である。１０９は、記録画像データ生成部１０４で生成された記録用の動画データと補助画像データ生成部１０８で生成された補助画像データとを多重化し、Ｍｅｄｉａ  Ｉ／Ｆ１１２を介して記録媒体２００に記録する多重化記録部（多重化記録手段）である。
【００１５】
１１０は、記録部１０５及び／又は多重化記録部１０９によって記録される記録用の動画データに対して、関連する付加情報データを生成する付加情報データ生成部（付加情報データ生成手段）である。付加情報は、動画データに関連する情報であって、例えば、動画データに多重化された補助画像データの有無や内容（字幕用文字やアイコンなど）である。付加情報データ生成部１１０は、動画データと補助画像データが多重化された場合、当該動画データが再生されるときに補助画像データが多重化されて再生されるように、付加情報データを生成する。
【００１６】
１１１は、動画データに付加情報データ生成部１１０で生成された付加情報データを付加して、Ｍｅｄｉａ  Ｉ／Ｆ１１２を介して記録媒体２００に記録する付加情報記録部（付加情報記録手段）である。１１２は、画像記録装置１００と記録媒体２００とのインターフェース（Ｉ／Ｆ）となるＭｅｄｉａ  Ｉ／Ｆである。
【００１７】
１１３は、上述した各機能ブロックと不図示の制御バスを介して接続され、画像記録装置１００全体を制御するＣＰＵである。
【００１８】
次に、画像記録装置１００における通常の動画記録動作について説明する。
【００１９】
撮像部１０１で得られた動画データは、その画像サイズがリサイズ部１１４によって記録用の画像サイズにリサイズされる。そして、分割部１０２及び配置部１０３による分割及び配置などの処理が行われることなく、記録画像データ生成部１０４によって記録用の動画データが生成される。生成された記録用の動画データは、記録部１０５によって記録媒体２００へ記録される。このとき、補助画像データ生成部１０８による補助画像データの作成及び多重化記録部１０９による補助画像データの多重化については実施されない。また、付加情報データ生成部１１０による付加情報データの生成及び付加情報記録部１１１による付加情報データの記録についても実施されない。
【００２０】
図２は、図１の画像記録装置１００における通常の動画記録時の動画像の状態を示す図である。
【００２１】
画像記録装置１００では、図２の（２−１）に示すように、撮像部１０１が１／３０秒周期で動画像を取り込む。そして、取り込んだ動画像を、記録画像データ生成部１０４と記録部１０５を用いて記録媒体２００へ連続して記録することで、３０ｆｐｓ（frame per sec）の動画の記録を実現している。記録媒体２００に記録された動画像は、（２−２）に示すように、（２−１）と同じフレームレートである。
【００２２】
図３は、画像記録装置１００における高フレームレート動画記録時の動画像の状態を示す図である。
（３−１）処理
撮像部１０１は、１／１２０秒周期の高フレームレートで動画像を取り込む。
（３−２）処理
（３−１）で撮像部１０１により取り込まれた動画像は、リサイズ部１１４によって幅１／２、高さ１／２に縮小され、１／４サイズの動画像にリサイズされる。
（３−３）処理
（３−２）でリサイズ部１１４によりリサイズされた動画像は、分割部１０２によって幅１／２、高さ１／２の４つのフレーム画像に分割される。例えば、以下のように分割される。
【００２３】
（３−２）のＡフレーム・・・分割されない
（３−２）のＢフレーム・・・幅１／２、高さ１／２の４つのフレーム画像に分割され、フレーム画像Ｂ１、Ｂ２、Ｂ３、Ｂ４が生成される
（３−２）のＣフレーム・・・幅１／２、高さ１／２の４つのフレーム画像に分割され、フレーム画像Ｃ１、Ｃ２、Ｃ３、Ｃ４が生成される
（３−２）のＤフレーム・・・幅１／２、高さ１／２の４つのフレーム画像に分割され、フレーム画像Ｄ１、Ｄ２、Ｄ３、Ｄ４が生成される
（３−４）処理
（３−３）で得られたフレーム画像Ａとフレーム画像Ｂ１〜Ｂ４とＣ１〜Ｃ４とフレーム画像Ｄ１〜Ｄ４は、配置部１０３によって、記録画像データ生成部１０４が処理可能な１フレームに纏めて配置される。例えば、フレーム画像Ａがフレーム内の中心に配置され、それ以外のフレーム画像Ｂ１〜Ｂ４とＣ１〜Ｃ４とＤ１〜Ｄ４がフレーム画像Ａの周囲に配置される。
（３−５）処理
（３−４）で配置部１０３によって得られた１フレームの動画像は、記録画像データ生成部１０４へ１／３０秒周期で出力され、記録画像データ生成部１０４と記録部１０５により記録媒体２００へ連続して記録される。これにより、通常の動画記録時と同様に、３０ｆｐｓの動画の記録を実現する。
【００２４】
図４は、図３で説明した高フレームレート動画記録時の画像記録装置１００の動作処理を示すフローチャートである。なお、本実施形態では、撮像部１０１によって取り込まれる動画像の枚数を示す画像取り込みカウンタをＦとし、Ｆの初期値は０とする。
【００２５】
まず、撮像部１０１によって高フレームレートで動画像の取り込みが行われると、ＣＰＵ１１３は、画像取り込みカウンタＦに１を加算する（ステップＳ４０１）。次に、ステップＳ４０１で得られた動画像をリサイズ部１１４を用いて幅１／２、高さ１／２に縮小し、図３の（３−２）に示すように、１／４サイズのフレーム画像（動画像）を生成する（ステップＳ４０２）。つづいて、ＣＰＵ１１３は、ステップＳ４０２で得られたフレーム画像を分割する必要があるか否かを判断する（ステップＳ４０３）。ＣＰＵ１１３は、画像取り込みカウンタＦに基づいて、対象となるフレーム画像が分割する画像か否かを判断する。本実施形態では、図３の（３−３）に示すように、フレーム画像Ａについては分割する必要がないので、Ｆ＝１の場合には、対象となるフレーム画像Ａは分割されない。一方、フレーム画像Ｂ〜Ｄについては、分割する必要があるので、Ｆ＝２〜４の場合、対象となるフレーム画像Ｂ〜Ｄが分割される。
【００２６】
ステップＳ４０３でＮｏならばステップＳ４０５へ移行する。一方、ステップＳ４０３でＹｅｓならば、分割部１０２を用いて、ステップＳ４０２で得られた１／４サイズのフレーム画像を幅１／２、高さ１／２に分割し、４枚の分割画像を生成する（ステップＳ４０４）。
【００２７】
ステップＳ４０５では、ＣＰＵ１１３は、４フレーム分蓄積されたか、即ち画像取り込みカウンタＦが４以上か否かを判断する。ステップＳ４０５でＮｏならばステップＳ４０１へ戻る。一方、ステップＳ４０５でＹｅｓならば、取り込みカウンタＦが１から４になるまでにリサイズ部１１４及び分割部１０２で生成された動画像を、配置部１０３を用いて１フレームサイズ内に纏めて配置し、記録用の動画像を生成する（ステップＳ４０６）。そして、ＣＰＵ１１３は、画像取り込みカウンタＦを０に初期化する。
【００２８】
配置部１０３による配置処理では、分割部１０２により分割されていない、画像サイズの大きいものが優先的にフレームの中心座標に配置される。例えば、図３の（３−４）に示すように、新たに生成された動画像は、フレーム画像Ａを中心として、分割されたフレーム画像Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４が周囲に配置されている。
【００２９】
また、ステップＳ４０６において、配置部１０３は、生成した記録用の動画像に基づいて配置情報を生成し、生成された配置情報が配置情報記録部１０６により記録用の動画データに付加されて記録される。なお、配置情報の付加方法については、記録用の動画データに各動画像（フレーム画像）の配置情報が一括して付加されていても、各動画像（フレーム画像）に個別に付加されていてもよい。
【００３０】
次に、ステップＳ４０６で生成された記録画像から記録画像データ生成部１０４によって記録用の動画データが生成され、その記録用の動画データを、記録部１０５を用いて記録媒体２００へ記録する（ステップＳ４０７）。ＣＰＵ１１３は、記録動作が終了したか否かを判断し（ステップＳ４０８）、Ｎｏならば、ステップＳ４０１へ戻る。一方、Ｙｅｓならば記録動作を終了する。
【００３１】
このように、本実施の形態によれば、撮像部１０１から読み出したｎ枚の画像を１フレームに纏めて記録する場合に、１フレームに纏めるｎ枚の画像それぞれをさらに分割し、サイズの大きい画像をフレームの中心に配置した画像を記録する。これにより、高フレームレートで記録された動画データを通常の画像再生装置等で再生した場合に、再生画像の中心に違和感のない再生画像を表示することが可能になる。
【００３２】
なお、本実施の形態では、リサイズ部１１４は、幅１／２、高さ１／２に縮小し、１／４サイズのリサイズ画像を生成したが、これに限定されず、他のサイズであってもユーザ所望のサイズにリサイズしてもよい。また、本実施の形態では、分割部１０２は、リサイズされた画像を幅１／２、高さ１／２に分割したが、所望の分割数、分割サイズに分割してもよい。
【００３３】
また、本実施の形態では、撮像部１０１によって取り込まれる４フレーム分の画像から、リサイズ部１１４、分割部１０２、配置部１０３を用いて１フレームの記録画像を生成したが、これに限定されず、所望のフレーム数から記録画像を生成してもよい。
【００３４】
また、図１の描画部１０７、補助画像データ生成部１０８、多重化記録部１０９、付加情報データ生成部１１０、及び付加情報記録部１１１については、以下に説明する第２の実施形態で必要な構成なので、省略されていてもよい。
【００３５】
また、本実施形態では、本発明を撮像手段を備える画像記録装置（撮像装置）に適用した場合について説明したが、撮像手段に代えて動画データの入力手段を備える画像記録装置であってもよい。
【００３６】
［第２の実施形態］
次に、本発明の第２の実施形態に係る画像記録装置について説明する。なお、以下に説明する画像記録装置は、その装置構成が上記第１の実施形態で説明した図１の画像記録装置１００と同じであり、図示の装置と同様の部分については同一の符号を付して、それらの説明を省略する。
【００３７】
図５は、本発明の第２の実施形態に係る画像記録装置の高フレームレート動画記録時における動画データへの補助画像データの多重化を説明するための図である。
【００３８】
上述した方法で記録媒体２００に高フレームレート動画が記録された場合、図５に示す記録画像（動画像）５０１が記録媒体２００に記録される。図示のＢ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４のエリアには、元画像のＢ，Ｃ，Ｄの各フレームが分割されて配置されていることから、記録画像５０１をそのまま再生表示するとユーザが見づらい画像になる。そのため、分割された画像が配置されているエリアＢ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４をマスキングし、Ａのエリアのみを表示するように構成する。
【００３９】
具体的には、図５に示す補助画像（オーバーレイビットマップ）５０２を描画部１０７及び補助画像データ生成部１０８で生成し、この補助画像データと記録用の動画データとを多重化記録部１０９によって多重化して、記録媒体２００に記録する。そして、記録用の動画データに補助画像データが多重化された場合、付加情報データ生成部１１０と付加情報記録部１１１を用いて、再生時に記録画像５０１に補助画像５０２を合成（オーバーレイ）するための付加情報を記録媒体２００に記録する。高フレームレートで記録された動画像上の所定のエリアをマスキングすることで、高フレームレート動画データをそのまま再生した場合でも図５に示す再生画像５０３を再生することが可能になり、ユーザが見やすい画像を提供することができる。
【００４０】
図６は、図５で説明した補助画像データの多重化を含む高フレームレート動画記録時の動作処理を示すフローチャートである。なお、本実施形態では、撮像部１０１によって取り込まれる動画像の枚数を示す画像取り込みカウンタをＦとし、Ｆの初期値は０とする。
【００４１】
まず、撮像部１０１によって高フレームレートで動画像の取り込みが行われると、ＣＰＵ１１３は、画像取り込みカウンタＦに１を加算する（ステップＳ６０１）。次に、ステップＳ６０１で得られた動画像をリサイズ部１１４を用いて幅１／２、高さ１／２に縮小し、図３の（３−２）に示すように、１／４サイズのフレーム画像を生成する（ステップＳ６０２）。つづいて、ＣＰＵ１１３は、ステップＳ６０２で得られたフレーム画像を分割する必要があるか否かを判断する（ステップＳ６０３）。ＣＰＵ１１３は、画像取り込みカウンタＦに基づいて、対象となるフレーム画像が分割する画像か否かを判断する。本実施形態では、図３の（３−３）に示すように、フレーム画像Ａについては分割する必要がないので、Ｆ＝１の場合には、対象となるフレーム画像Ａは分割されない。一方、フレーム画像Ｂ〜Ｄについては、分割する必要があるので、Ｆ＝２〜４の場合、対象となるフレーム画像Ｂ〜Ｄが分割される。
【００４２】
ステップＳ６０３でＮｏならばステップＳ６０５へ移行する。一方、ステップＳ６０３でＹｅｓならば、分割部１０２を用いて、ステップＳ６０２で得られた１／４サイズのフレーム画像を幅１／２、高さ１／２に分割し、４枚の分割画像を生成する（ステップＳ６０４）。
【００４３】
ステップＳ６０５では、ＣＰＵ１１３は、４フレーム分蓄積されたか、即ち画像取り込みカウンタＦが４以上か否かを判断する。ステップＳ６０５でＮｏならばステップＳ６０１へ戻る。一方、ステップＳ６０５でＹｅｓならば、取り込みカウンタＦが１から４になるまでにリサイズ部１１４及び分割部１０２で生成された動画像を、配置部１０３を用いて１フレームサイズ内に纏めて配置し、記録用の動画像を生成する（ステップＳ６０６）。そして、ＣＰＵ１１３は、画像取り込みカウンタＦを０に初期化する。
【００４４】
配置部１０３による配置処理は、画像サイズの大きいものが優先的にフレームの中心座標に配置される。例えば、図３の（３−４）に示すように、新たに生成された動画像は、フレーム画像Ａを中心として、分割されたフレーム画像Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４が周囲に配置されている。
【００４５】
また、ステップＳ６０６において、配置部１０３は、生成した記録用の動画像に基づいて配置情報を生成し、生成された配置情報が配置情報記録部１０６により記録用の動画データに付加されて記録される。
【００４６】
次に、ステップＳ６０６で生成された記録画像から記録画像データ生成部１０４によって記録用の動画データが生成される（ステップＳ６０７）。つづいて、ステップＳ６０６で生成された配置情報をもとに、描画部１０７及び補助画像データ生成部１０８を用いて補助画像データが生成される（ステップＳ６０８）。次に、ステップＳ６０７で生成された記録用の動画データとステップＳ６０８で生成された補助画像データを多重化記録部１０９を用いて多重化し、記録媒体２００へ記録する（ステップＳ６０９）。ＣＰＵ１１３は、記録動作が終了したか否かを判断し（ステップＳ６１０）、Ｎｏならば、ステップＳ６０１へ戻る。一方、Ｙｅｓならば、付加情報データ生成部１１０を用いて付加情報データを生成する（ステップＳ６１１）。そして、ステップＳ６１１で生成した付加情報データを、付加情報記録部１１１を用いて記録媒体２００に記録して、記録動作を終了する（ステップＳ６１２）。
【００４７】
このように、本実施の形態によれば、高フレームレートで記録された動画データに対して、分割画像が配置された部分を補助画像によりマスキングして記録する。これにより、高フレームレートで記録された動画データの再生に対応していない画像再生装置においても、分割された画像を補助画像でマスキングすることが可能になり、より違和感のない再生画像を表示することが可能になる。
【００４８】
［第３の実施形態］
次に、本発明の第３の実施形態として、上記第１及び第２の実施形態で説明した、高フレームレートで記録された動画データを再生する画像再生装置について説明する。
【００４９】
図７は、本発明の第３の実施形態に係る画像再生装置の機能構成の概略を示すブロック図である。
【００５０】
図７において、画像再生装置７００は、メモリカードなどの記録媒体２００が着脱可能に構成され、記録媒体２００に記録された動画データを再生表示することができる。７１２は、記録媒体２００と画像再生装置７００とのインターフェース（Ｉ／Ｆ）となるＭｅｄｉａ  Ｉ／Ｆである。
【００５１】
７０６は、記録媒体２００からＭｅｄｉａ  Ｉ／Ｆ７１２を介して高フレームレートの動画データを読み込む再生部（再生手段）である。７０７は、記録媒体２００から動画データに付加された配置情報を取得する位置情報取得部（位置情報取得手段）である。この配置情報は、上記第１の実施形態で説明した配置情報と同じように、記録された動画データの動画像内に分割画像がどのように配置されているかを示すものである。
【００５２】
７０５は、記録媒体２００から読み出された動画データを復号し、再生画像を生成する記録画像データ復号部（記録画像データ復号手段）である。７０４は、記録画像データ復号部７０５により復号化された再生画像における１フレームの動画像を配置情報に基づいて分割し、結合部７０３へ出力する分割部（分割手段）である。７０３は、分割部７０４により分割された複数の再生画像を配置情報に基づいて結合して再生表示用のフレーム画像を生成する結合部（結合手段）である。７０２は、再生表示用のフレーム画像の画像サイズを表示部７０１に対応した画像サイズにリサイズするリサイズ部（リサイズ手段）である。７０１は、リサイズ部７０２によりリサイズされた動画を表示する液晶パネル、外部出力端子を含む表示部（表示手段）である。
【００５３】
７１３は、上述した各機能ブロックと不図示の制御バスを介して接続され、画像再生装置７００全体を制御するＣＰＵである。
【００５４】
図８は、図７の画像再生装置７００における高フレームレート動画データの再生時の再生画像の状態を示す図である。
（８−１）処理
記録媒体２００に記録された高フレームレート動画データを再生部７０６と記録画像データ復号部７０５を用いて３０ｆｐｓの動画像に復号化する。
（８−２）処理
（８−１）で復号化された動画像に対するフレーム内の配置情報を配置情報取得部７０７によって取得し、取得した配置情報に基づいて、分割部７０４が復号化された動画像を分割する。結合部７０３は、分割部７０４により分割された動画像を配置情報に基づいて再結合し、１２０ｆｐｓの動画像を生成する。
（８−３）処理
（８−２）で生成された１２０ｆｐｓの動画像をリサイズ部７０２を用いて幅２倍、高さ２倍にリサイズし、表示部７０１へ順次出力する。
【００５５】
図９は、高フレームレート動画データを再生する際の画像再生装置７００の動作処理を示すフローチャートである。
【００５６】
まず、再生部７０６は、記録媒体２００からＭｅｄｉａ  Ｉ／Ｆ７１２を介して高フレームレート動画データを読み込む（ステップＳ９０１）。次に、ステップＳ９０１で読み込んだ動画データを記録画像データ復号部７０５を用いて復号化し、再生画像（動画像）を生成する（ステップＳ９０２）。
【００５７】
次に、ステップＳ９０１で生成された再生画像に関するフレーム内の配置情報を配置情報取得部７０７を用いて記録媒体２００から読み出して取得する（ステップＳ９０３）。つづいて、ステップＳ９０３で取得された配置情報に基づいて、分割部７０４が再生画像を分割する（ステップＳ９０４）。ステップＳ９０３で取得した配置情報に基づいて、ステップＳ９０４で分割した画像を結合部７０３を用いて再結合し、１２０ｆｐｓの結合画像（動画像）を生成する（ステップＳ９０５）。
【００５８】
次に、ステップＳ９０５で生成された結合画像をリサイズ部７０２を用いて表示部７０１に出力可能な画像サイズにリサイズする（ステップＳ９０６）。ステップＳ９０６でリサイズされた動画像を表示部７０１への出力タイミングにあわせて出力する（ステップＳ９０７）。ユーザから再生終了指示がなされたか否かを判断し（ステップＳ９０８）、ＮｏならばステップＳ９０１へ戻る。一方、Ｙｅｓならば再生動作を終了する。
【００５９】
このように、本実施の形態によれば、高フレームレート記録された動画データを再生する場合、再生画像を１フレームごとに記録時の配置情報をもとに分割、結合、及びリサイズする。これにより、高フレームレート映像を容易に再生することが可能になる。
【００６０】
分割部７０４や結合部７０３、リサイズ部７０２が再生器に存在しない場合、当該再生器で高フレームレート動画データを再生するときは、再生部７０６が、付加された付加情報データに基づいて補助画像データを動画データに多重化して再生表示する。
【００６１】
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。なお、以下で説明する第４の実施形態は、装置構成については、第１の実施形態と同様であるため、その説明を省略する。
【００６２】
図１０は、本実施形態に係る高フレームレート記録において、記録される１フレームに纏めるｎ枚の画像のうち、所望画像の縮小率を変更し１フレームに纏めて記録するリサイズ配置高フレーム記録を示すイメージ図である。
（１０−１）処理
撮像部１０１は、１／３９０秒周期で画像を取り込む。
（１０−２）処理
（１０−１）で撮像部１０１が取り込んだ画像は、リサイズ部１１４によってそれぞれのフレームごとに所定の画像サイズへ各々リサイズされる。例えば、以下のようにリサイズされる。
【００６３】
（１０−１）のＡフレーム・・・幅１／２、高さ１／２の画像サイズにリサイズする。
【００６４】
（１０−１）のそれ以外のフレーム      ・・・ 幅１／４、高さ１／４の画像サイズにリサイズする。
（１０−３）処理
（１０−２）で得られたＡ〜Ｍを記録画像データ生成部１０４が処理可能な１フレームに、配置部１０３を用いて配置する。例えば、Ａをフレームの中心に配置し、それ以外のＢ〜Ｍを回りに配置する。
【００６５】
このようにして得られた１フレームの画像を、記録画像データ生成部１０４へ１／３０秒で出力し、画像記録データ生成部１０４と記録部１０５を用いて、記録媒体２００へ記録する。撮像部１０１が３９０ｆｐｓで取り込んだ動画像を３０ｆｐｓの動画像データとして記録する。
【００６６】
図１１は、図１０で説明した本実施形態の記録装置のリサイズ配置高フレーム記録時の動作フローチャートである。
【００６７】
ＣＰＵ１１３は、撮像部１０１によって取り込まれる画像枚数を示す画像取り込みカウンタをｎとし、ｎの初期値は０とする（ステップＳ１１０１）。次に、ＣＰＵ１１３は、撮像部１０１によって画像の取り込みを行う（ステップＳ１１０２）。そして、ＣＰＵ１１３は、画像取り込みカウンタｎに１を加算する（ステップＳ１１０３）。
【００６８】
次に、ＣＰＵ１１３は、ステップＳ１１０２で得られた画像が、ｎ＝１の特定フレーム（記録フレームの中心に配置するフレーム）であるかを判別する（ステップＳ１１０４）。この判別の結果、ステップＳ１１０４でＹｅｓならば、ＣＰＵ１１３は、リサイズ部１１４を用いて、フレーム画像を幅１／２、高さ１／２に縮小し、１／４サイズのフレーム画像を生成する（ステップＳ１１０５）。一方、ステップＳ１１０４でＮｏならば、ＣＰＵ１１３は、リサイズ部１１４を用いて、フレーム画像を幅１／４、高さ１／４に縮小し、１／１６サイズのフレーム画像を生成する（ステップＳ１１０６）。
【００６９】
次に、ＣＰＵ１１３は、記録フレームにまとめて配置するフレーム画像が蓄積されたか（画像取り込みカウンタｎの値が１３か）否かを判断する（ステップＳ１１０７）。この結果、ステップＳ１１０７でＮｏならばステップＳ１１０２へ戻る。一方、ステップＳ１１０７でＹｅｓならば、ＣＰＵ１１３は、取り込みカウンタｎが１から１３になるまでにリサイズ部１１４で生成された画像（ステップＳ１１０５とステップＳ１１０６で生成した画像）を、配置部１０３を用いて１フレームサイズ内に配置し、記録画像を得る。配置部１０３による配置処理では、画像サイズが大きいものが優先的に中心座標に配置される。つづいて、ＣＰＵ１１３は、画像取り込みカウンタｎを０に初期化する（ステップＳ１１０８）。
【００７０】
そして、ＣＰＵ１１３は、ステップＳ１１０８で生成された記録画像から記録画像データ生成部１０４によって記録画像データを生成し、その記録画像データを、記録部１０５を用いて記録媒体２００へ記録する（ステップＳ１１０９）。そして、ＣＰＵ１１３は、記録動作が終了したか否かを判断し（ステップＳ１１１０）、Ｎｏならば、ステップＳ１１０２へ戻り、Ｙｅｓならば記録動作を終了する。
【００７１】
本実施の形態では、リサイズ部１１４は、ステップＳ１１０５で幅１／２、高さ１／２に縮小、ステップＳ１１０６で幅１／４、高さ１／４のリサイズ画像を生成したが、所望のサイズにリサイズしてもよい。
【００７２】
また、本実施の形態では、撮像部１０１によって取り込まれる１３フレーム分の画像から、リサイズ部１１４、配置部１０３を用いて、記録画像データ生成部１０４が処理可能な１フレームの記録画像を生成したが、所望のフレーム数から記録画像を生成してもよい。また、第２の実施形態で述べたマスキング補助画像を多重化記録してもよい。
【００７３】
このように本実施の形態によれば、撮像部から読み出したｎ枚の画像を、１フレームに纏めて記録する場合に、１フレームに纏めるｎ枚の画像それぞれをリサイズし、サイズの大きい画像をフレームの中心に配置した画像を記録する。これにより通常の再生機器で再生した場合に、再生画像の中心に違和感のない再生画像を表示することが可能になる。
【００７４】
（他の実施形態）
上記実施形態では、本発明を画像記録装置、画像再生装置に適用した場合について説明したが、これに限定されず、上記第１の実施形態と第３の実施形態を組み合わせた画像記録再生装置に本発明を適用しても、同様の効果が得られる。また、上記第２の実施形態と第３の実施形態を組み合わせた画像記録再生装置に本発明を適用しても、同様の効果が得られることは云うまでもない。
【００７５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７６】
１００  画像記録装置
１０１  撮像部
１０２  分割部
１０３  配置部
１０４  記録画像データ生成部
１０５  記録部
１０６  配置情報記録部
１０７  描画部
１１４  リサイズ部
【図１】
2012015892.tif 000003
【図２】
2012015892.tif 000004
【図３】
2012015892.tif 000005
【図４】
2012015892.tif 000006
【図５】
2012015892.tif 000007
【図６】
2012015892.tif 000008
【図７】
2012015892.tif 000009
【図８】
2012015892.tif 000010
【図９】
2012015892.tif 000011
【図１０】
2012015892.tif 000012
【図１１】
2012015892.tif 000013