(57)【要約】【課題】動画像とともに高画質の静止画像を簡易に取得する。【解決手段】撮影系１において被写体の撮影を行って動画像データＭ０を取得するとともに、１秒間に一度被写体の撮影を行って静止画像データＳ０を取得し、これらを符号化することにより得られた動画像データＭ１および静止画像データＳ１を合成して合成符号化データＧ０を得、これを受信系２に送信する。静止画像をプリント出力する際には、静止画像復号化手段２３において合成符号化データＧ０を分解することにより得られた静止画像データＳ１を復号化して静止画像データＳ０を得る。動画像を再生する際には、静止画像データＳ０を縮小して得た縮小画像データＳ０′および動画像データＭ１を復号化して得た動画像データＭ０′を合成して動画像データＭ０を得る。【選択図】　　　　　図１
2004080354.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して該被写体の動画像を表す動画像データを生成し、
前記被写体の撮影中に前記動画像よりも高解像度の該被写体の静止画像を表す静止画像データを生成し、
該静止画像データを前記動画像データに付与して付与済み動画像データを生成することを特徴とする動画像生成方法。
【請求項２】
前記静止画像データは、前記動画像の撮影中において所定時間間隔にて生成されることを特徴とする請求項１記載の動画像生成方法。
【請求項３】
前記静止画像データは、前記動画像の撮影開始時に生成されることを特徴とする請求項１記載の動画像生成方法。
【請求項４】
請求項１から３のいずれか１項記載の動画像生成方法により生成された動画像データを再生する画像再生方法であって、
前記静止画像の再生指示があった場合、前記動画像データに付与された前記静止画像データを再生することを特徴とする画像再生方法。
【請求項５】
被写体を撮影して該被写体の動画像を表す動画像データを生成する動画像生成手段と、
前記被写体の撮影中に前記動画像よりも高解像度の該被写体の静止画像を表す静止画像データを生成する静止画像生成手段と、
該静止画像データを前記動画像データに付与して付与済み動画像データを生成する付与済み動画像生成手段とを備えたことを特徴とする動画像生成装置。
【請求項６】
前記静止画像データは、前記動画像の撮影中において所定時間間隔にて生成されることを特徴とする請求項５記載の動画像生成装置。
【請求項７】
前記静止画像データは、前記動画像の撮影開始時に生成されることを特徴とする請求項５記載の動画像生成装置。
【請求項８】
請求項１から３のいずれか１項記載の動画像生成方法により生成された動画像データを再生する画像再生装置であって、
前記静止画像の再生指示があった場合、前記動画像データに付与された前記静止画像データを再生する静止画像再生手段を備えたことを特徴とする画像再生装置。
【請求項９】
被写体を撮影して該被写体の動画像を表す動画像データを生成する手順と、
前記被写体の撮影中に前記動画像よりも高解像度の該被写体の静止画像を表す静止画像データを生成する手順と、
該静止画像データを前記動画像データに付与して付与済み動画像データを生成する手順とを有する動画像生成方法をコンピュータに実行させるためのプログラム。
【請求項１０】
前記静止画像データは、前記動画像の撮影中において所定時間間隔にて生成されることを特徴とする請求項９記載のプログラム。
【請求項１１】
前記静止画像データは、前記動画像の撮影開始時に生成されることを特徴とする請求項９記載のプログラム。
【請求項１２】
請求項１から３のいずれか１項記載の動画像生成方法により生成された動画像データを再生する画像再生方法をコンピュータに実行させるためのプログラムであって、
前記静止画像の再生指示があった場合、前記動画像データに付与された前記静止画像データを再生する手順を有するプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影することにより得られた動画像とともに、被写体の静止画像を生成する動画像再生方法および装置、動画像生成方法により生成された動画像を再生する画像再生方法および装置、並びに動画像再生方法および画像再生方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、撮影した動画像をパソコンに取り込んで、動画像に対して編集や加工を自由に行うことができるようになっている。また、動画像を表す動画像データをデータベースに保管し、パソコンからネットワーク経由でデータベースにアクセスして、パソコンに動画像データをダウンロードすることもできる。しかしながら、動画像データはデータ容量が大きく、かつ動画像データはそれを再生してみるまでは内容が分からないため、静止画像と比較して取り扱いにくいという問題がある。
【０００３】
このため、パソコンやデータベースに保管された動画像の内容を容易に理解できるようにするために、動画像に含まれるシーンを代表するフレームをサンプリングし、これを動画像データに付与する方法が提案されている（特開平９−２３３４２２号公報）。この方法によれば、動画像データに付与されたフレームを参照することにより動画像の内容を把握することができるため、動画像データの取り扱いを容易に行うことが可能となる。
【０００４】
ここで、人間の視覚特性は、静止画像に対する場合よりも動画像に対する場合の方が解像度分解能が劣ることが知られている。このため、一般的に使用される静止画像の画素数と動画像の画素数とを比較すると、動画像の画素数の方がかなり少ないものとなっている。例えば、デジタルカメラにおいて得られる静止画像の画素数は１６００画素×１２００画素程度のものが多いのに対して、ビデオカメラにおいて得られる動画像の画素数は６４０画素×４８０画素程度であることが多い。
【０００５】
また、動画像データは１秒間に３０コマ程度の静止画像を次々と表示して被写体の動きを表現するため、動画像は静止画像と比較してデータ量が大きい。このため、動画像データの取り扱いを容易にするためには、動画像データを高圧縮率にて符号化する必要がある。しかしながら、符号化の際に圧縮率を大きくすると画像にノイズが生じやすい。
【０００６】
したがって、動画像からサンプリングしたフレームはそれほど高画質のものではなく、とくにサンプリングしたフレームをプリント出力した場合には、観察に耐えうる十分な画質を有するプリント画像を得ることができないという問題がある。
【０００７】
このため、撮影側に動画像を撮影して動画像データを得る動画像撮影装置と、静止画像を撮影して静止画像データを得る静止画像撮影装置を設置し、通信回線を介して撮影側と接続された受信装置において、動画像を受信しつつ受信装置側から静止画像取得の指示を行うことにより、撮影側の静止画像撮影装置により静止画像を撮影させて静止画像データを受信装置において受信するようにしたシステムが提案されている（特開平５−２４４５５３号公報）。このシステムによれば、動画像とともにプリント出力にも十分に耐えうる画質を有する静止画像を得ることができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記システムにおいては、静止画像が必要な際には、撮影側と受信装置とを接続し、撮影側の静止画像撮影装置に対して静止画像撮影の指示を行う必要があるため、静止画像の取得のために煩わしい操作を行う必要がある。
【０００９】
本発明は上記事情に鑑みなされたものであり、動画像とともに高画質の静止画像を簡易に取得することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による動画像生成方法は、被写体を撮影して該被写体の動画像を表す動画像データを生成し、
前記被写体の撮影中に前記動画像よりも高解像度の該被写体の静止画像を表す静止画像データを生成し、
該静止画像データを前記動画像データに付与して付与済み動画像データを生成することを特徴とするものである。
【００１１】
「静止画像データを動画像データに付与する」とは、生成された静止画像データに対応する動画像データのフレームに当該静止画像データを合成する、動画像データのヘッダ部分に静止画像データを付与する、動画像データファイルと静止画像データファイルとを関連付ける等、静止画像データを動画像データと一体不可分とすることを意味する。
【００１２】
なお、静止画像データに相当するフレームを動画像データに含ませてもよく、静止画像データに相当するフレームを動画像データに含ませないようにしてもよい。
【００１３】
また、静止画像データは動画像データを撮影する装置とは別個の撮影装置において生成してもよく、動画像を撮影する装置において生成してもよい。
【００１４】
また、静止画像データは、動画像の撮影中において所定時間間隔にて生成してもよく、動画像の撮影開始時に生成してもよい。さらに、撮影者による静止画像撮影の指示を受けて静止画像データを生成してもよい。
【００１５】
本発明による画像再生方法は、本発明による動画像生成方法により生成された動画像データを再生する画像再生方法であって、
前記静止画像の再生指示があった場合、前記動画像データに付与された前記静止画像データを再生することを特徴とするものである。
【００１６】
なお、動画像データにおいて静止画像データに相当するフレームが含まれない場合には、静止画像データが動画像データと同一解像度となるように解像度変換されてそのフレームに解像度変換された静止画像データが合成され、動画像データが再生される。
【００１７】
本発明による動画像生成装置は、被写体を撮影して該被写体の動画像を表す動画像データを生成する動画像生成手段と、
前記被写体の撮影中に前記動画像よりも高解像度の該被写体の静止画像を表す静止画像データを生成する静止画像生成手段と、
該静止画像データを前記動画像データに付与して付与済み動画像データを生成する付与済み動画像生成手段とを備えたことを特徴とするものである。
【００１８】
なお、本発明による動画像生成装置においては、前記静止画像データを、前記動画像の撮影中において所定時間間隔にて生成してもよく、前記動画像の撮影開始時に生成してもよい。
【００１９】
本発明による画像再生装置は、本発明による動画像生成方法により生成された動画像データを再生する画像再生装置であって、
前記静止画像の再生指示があった場合、前記動画像データに付与された前記静止画像データを再生する静止画像再生手段を備えたことを特徴とするものである。
【００２０】
なお、本発明による動画像生成方法および画像再生方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２１】
【発明の効果】
本発明によれば、被写体の動画像を表す動画像データが生成され、さらに被写体の撮影中に、動画像よりも高解像度の被写体の静止画像を表す静止画像データが生成され、静止画像データが動画像データに付与されて付与済み動画像データが生成される。このため、静止画像を再生したい場合には、付与済み動画像データに付与された静止画像データを再生することにより、動画像の再生側において静止画像を取得するための煩わしい操作を行うことなく、動画像から静止画像を生成する場合よりも高画質の静止画像を再生することができる。
【００２２】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による動画像生成装置および画像再生装置を適用した画像送信システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像送信システムは、撮影系１において取得された動画像を表す動画像データＭ１を含む合成符号化データＧ０をインターネット等のネットワーク３を介して受信系２に送信するようにしたものである。
【００２３】
撮影系１は、被写体を撮影して被写体の動画像を表す動画像データＭ０を取得するビデオカメラ１１と、動画像データＭ０を符号化して符号化された動画像データＭ１を取得する動画像符号化手段１２と、１秒間に１回被写体を撮影して被写体の静止画像を表す静止画像データＳ０を取得するスチルカメラ１３と、静止画像データＳ０を符号化して符号化された静止画像データＳ１を取得する静止画像符号化手段１４と、動画像データＭ１および静止画像データＳ１を合成して合成符号化データＧ０を取得する合成手段１５と、合成符号化データＧ０をネットワーク３に送信する通信インターフェース１６とを備える。
【００２４】
ビデオカメラ１１は、被写体を撮影して６４０画素×４８０画素の動画像を表す動画像データＭ０を取得する。なお、動画像データＭ０は１秒間に３０のフレームを再生することにより動画像を表現するものである。
【００２５】
スチルカメラ１３は、被写体を撮影して１６００画素×１２００画素の静止画像を表す静止画像データＳ０を取得する。
【００２６】
動画像符号化手段１３は、動画像データＭ０を符号化するが、静止画像データＳ１との合成のために、１秒あたり２９フレーム分のフレームデータのみを符号化して動画像データＭ１を取得する。
【００２７】
合成手段１５は、動画像データＭ０および静止画像データＳ０をそれぞれ符号化することにより取得された動画像データＭ１および静止画像データＳ１を合成して合成符号化データＧ０を生成する。具体的には、２９フレーム分の動画像データＭ１の間に静止画像データＳ１を挿入することにより合成符号化データＧ０を生成する。
【００２８】
図２は合成符号化データＧ０のファイル構成を示す図である。図２に示すように、合成符号化データＧ０は、ヘッダ、動画像データＭ１および静止画像データＳ１からなり、２９フレーム分の動画像データＭ１と静止画像データＳ１とが交互に現れるように構成されている。
【００２９】
受信系２は、合成符号化データＧ０を受信する通信インターフェース２１と、合成符号化データＧ０を分解して動画像データＭ１および静止画像データＳ１を取得する分解手段２２と、静止画像データＳ１を復号化して静止画像データＳ０を取得する静止画像復号化手段２３と、静止画像データＳ０により表される静止画像のサイズを１６００画素×１２００画素から６４０画素×４８０画素に縮小して縮小静止画像データＳ０′を取得する縮小手段２４と、動画像データＭ１を復号化することにより２９フレーム分の動画像データ（Ｍ０′とする）を取得するとともに、動画像データＭ０′と縮小静止画像データＳ０′と合成して動画像データＭ０を取得する動画像復号化手段２５と、動画像データＭ０により表される動画像および静止画像データＳ０により表される静止画像を表示するモニタ２６と、静止画像データＳ０をプリント出力するプリンタ２７と、動画像データＭ０をモニタ２６に表示するか、静止画像データＳ０をプリンタ２７においてプリント出力するかを切り替える指示を入力する入力手段２８とを備える。
【００３０】
縮小手段２４は、静止画像データＳ０により表される静止画像に補間演算を施すことにより、１６００画素×１２００画素の静止画像を動画像と同一サイズの６４０画素×４８０画素に縮小して縮小静止画像データＳ０′を取得する。
【００３１】
動画像復号化手段２５は、動画像データＭ１を復号化するが、復号化により取得される動画像データＭ０′は１秒あたり２９フレーム分のフレームデータのみからなるため、１秒分の動画像を再生するには１コマ分のフレームが不足している。このため、静止画像データＳ０を動画像と同一サイズに縮小して得られた静止画像データＳ０′によりフレームの不足分を補うことにより、１秒間で３０フレームからなる動画像データＭ０を生成する。
【００３２】
次いで、本実施形態の動作について説明する。図３は本実施形態において行われる処理を示すフローチャートである。なお、ここでは、静止画像データＳ０をプリント出力する場合について説明する。まず、撮影系１において、ビデオカメラ１１により被写体が撮影され、被写体を表す動画像データＭ０が取得される（ステップＳ１）。動画像データＭ０は動画像符号化手段１２により符号化されて符号化された動画像データＭ１が取得される（ステップＳ２）。
【００３３】
これと同時に１秒間に１回スチルカメラ１３により被写体が撮影され、被写体を表す静止画像データＳ０が取得される（ステップＳ３）。静止画像データＳ０は静止画像符号化手段１４により符号化されて符号化された静止画像データＳ１が取得される（ステップＳ４）。
【００３４】
動画像データＭ１および静止画像データＳ１は、合成手段１５により合成されて合成符号化データＧ０が生成される（ステップＳ５）。合成符号化データＧ０は通信インターフェース１６を介してネットワーク３経由で受信系２に送信される（ステップＳ６）。
【００３５】
受信系２においては、通信インターフェース２１により合成符号化データＧ０が受信され（ステップＳ７）、分解手段２２により合成符号化データＧ０が動画像データＳ１および静止画像データＳ１に分解される（ステップＳ８）。続いて、静止画像をプリント出力する旨が入力手段２８に入力されたか否かが判定され（ステップＳ９）、ステップＳ９が肯定されると、静止画像復号化手段２３により静止画像データＳ１が復号化されて静止画像データＳ０が取得される（ステップＳ１０）。静止画像データＳ０はプリンタ２７によりプリント出力され（ステップＳ１１）、処理を終了する。
【００３６】
一方、ステップＳ９が否定されると、静止画像復号化手段２３により静止画像データＳ１が復号化されて静止画像データＳ０が取得され（ステップＳ１２）、さらに縮小手段２４により縮小されて縮小静止画像データＳ０′が取得される（ステップＳ１３）。これとともに、動画像復号化手段２５により動画像データＭ１が復号化され（ステップＳ１４）、復号化により得られた動画像データＭ０′と縮小静止画像データＳ０′とが合成されて動画像データＭ０が取得される（ステップＳ１５）。動画像データＭ０はモニタ２６において再生され（ステップＳ１６）、処理を終了する。
【００３７】
このように、本実施形態においては、動画像の撮影中に動画像よりも高解像度の静止画像を撮影し、撮影により得られた動画像データＭ０および静止画像データＳ０を符号化することにより得られた動画像データＭ１および静止画像データＳ１を合成して合成符号化データＧ０を生成するようにしたものである。このため、受信系２において静止画像をプリント出力したい場合には、合成符号化データＧ０を分解して得られた静止画像データＳ１をプリンタ２７に入力することにより、受信系２において撮影系１に対して静止画像を撮影させるための煩わしい操作を行うことなく、動画像から静止画像を生成する場合よりも高画質の静止画像をプリント出力することができる。
【００３８】
なお、上記実施形態においては、２９フレーム分の動画像データＭ１と静止画像データＳ１とが交互に現れるように合成符号化データＧ０を構成しているが、２９フレーム分の動画像データＭ１に代えて、３０フレーム分の動画像データＭ１を用いて合成符号化データＧ０を構成してもよい。これにより、受信系２における動画像の再生時には、上記実施形態のように静止画像データＳ１を復号化して静止画像データＳ０を取得し、さらに静止画像データＳ０を縮小して２９フレーム分の動画像データＭ０′と合成する必要がなくなる。このため、図４に示すように、受信系２において縮小手段を省略することができ、その結果、受信系２の構成を簡易なものとすることができる。
【００３９】
また、プリント出力される静止画像は動画像のシーンを代表するものであるため、シーン毎に一の静止画像が存在すれば、シーンを代表する静止画像を得ることができる。したがって、撮影系１において、撮影開始時やシーンの切り替え時に一度のみスチルカメラ１３により撮影を行って、シーン毎の静止画像データＳ１を得、これとそのシーンの動画像データＭ１とから合成符号化データＧ０を生成してもよい。この場合、合成符号化データＧ０は図５に示すように、ヘッダ、一の静止画像データＳ１および動画像データＭ１から構成されることとなる。なお、静止画像データＳ１を動画像データＭ１のヘッダに付与して、これを合成符号化データＧ０としてもよい。
【００４０】
この場合においても、受信系２における動画像の再生時には、静止画像データＳ１を復号化して静止画像データＳ０を取得し、さらに静止画像データＳ０を縮小して２９フレーム分の動画像データＭ０′と合成する必要がなくなるため、図４に示すように受信系２において縮小手段を省略することができ、受信系２の構成を簡易なものとすることができる。また、静止画像データＳ１を動画像データＭ１のヘッダに付与して合成符号化データＧ０とすることにより、静止画像データＳ１および動画像データＭ１を合成するための合成手段１５を設ける必要がなくなるため、撮影系１の構成を簡易なものとすることができる。
【００４１】
さらに、撮影系１において、動画像の撮影中に不図示の入力手段による撮影者の指示により、スチルカメラ１３において静止画像の撮影を行って静止画像データＳ０を取得するようにしてもよい。
【００４２】
また、上記実施形態においては、静止画像データＳ０をプリンタ２７によりプリント出力しているが、静止画像データＳ０をモニタ２６に表示するようにしてもよい。
【００４３】
また、上記実施形態においては、撮影系１において取得された合成符号化データＧ０をネットワーク３経由で受信系２に送信しているが、合成符号化データＧ０をメディアに記録してもよい。合成符号化データＧ０が記録されたメディアは、受信系２に渡され、ここでメディアから合成符号化データＧ０が読み出されて、上記実施形態と同様に復号化されて、動画像データＭ０および静止画像データＳ０が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像生成装置および画像再生装置を適用した画像送信システムの構成を示す概略ブロック図
【図２】合成符号化データのファイル構成の例を示す図
【図３】本実施形態において行われる処理を示すフローチャート
【図４】本発明の他の実施形態による動画像生成装置および画像再生装置を適用した画像送信システムの構成を示す概略ブロック図
【図５】合成符号化データのファイル構成の他の例を示す図
【符号の説明】
１　　撮影系
２　　受信系
３　　ネットワーク
１１　　ビデオカメラ
１２　　動画像符号化手段
１３　　スチルカメラ
１４　　静止画像符号化手段
１５　　合成手段
１６，２１　　通信インターフェース
２２　　分解手段
２３　　静止画像復号化手段
２４　　縮小手段
２５　　動画像復号化手段
２６　　モニタ
２７　　プリンタ
２８　　入力手段
【図１】
2004080354.tif 000003
【図２】
2004080354.tif 000004
【図３】
2004080354.tif 000005
【図４】
2004080354.tif 000006
【図５】
2004080354.tif 000007