(57)【要約】【課題】  静止画情報と音声情報とを任意のタイミングで簡単に同期させて、高精細な静止画情報を主体とする音声付映像情報を簡単に作成する。【解決手段】  デジタル映像処理プログラムは、時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、静止画像データを有しない空フレームと、静止画像データを有する実フレームとを時系列で連続的に、または、任意に配置して所定フレームレートの画像データ列を作成すると共に、前記画像データ列の実フレームを前記音声データ列の音声データにそれぞれ任意のタイミングで同期するよう関連付けて記憶する画像データ列格納手順とをコンピュータに実行させる。【選択図】  図１
2006033607.tif 000002
【特許請求の範囲】
【請求項１】
Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、
Ｂ）静止画像データを有しない空フレームと、静止画像データを有する実フレームとを時系列で連続的に配置して所定フレームレートの画像データ列を作成すると共に、前記画像データ列の実フレームを前記音声データ列の音声データにそれぞれ任意のタイミングで同期するよう関連付けて記憶する画像データ列格納手順と
をコンピュータに実行させることを特徴とするデジタル映像処理プログラム。
【請求項２】
Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、
Ｂ）所定フレームレートで画像データ列を作成する画像データ列格納手順とをコンピュータに実行させ、
前記画像データ列格納手順は、
静止画像データを有する実フレームを前記音声データ列の音声データに任意のタイミングで同期するよう関連付けて順に記憶する実フレーム配置手順と、
Ｃ）隣接する前記実フレームが、前記フレームレートのフレーム配置間隔を超える時間間隔で配置される場合、前記隣接する実フレーム間における前記フレームレートのフレーム配置間隔に対応する位置に、静止画像データを有しない空フレームを追加配置して、前記実フレーム及び空フレームが前記フレームレートによるフレーム配置間隔で順に配置されるよう配置する空フレーム配置手順とを有することを特徴とするデジタル映像処理プログラム。
【請求項３】
Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、
Ｂ）複数のフレームを所定フレームレートで順に配置して画像データ列を作成する場合において、前記フレームの格納場所を記憶手段に確保する格納場所確保手順と、
Ｃ）前記フレームのうち、前記音声データ列における任意の複数の再生タイミングと同期する再生タイミングを有するフレーム用の前記記憶手段の格納場所に、静止画像データをそれぞれ書き込んで実フレームとすると共に、前記フレームのうち前記実フレーム以外のフレームを、静止画像データを書き込まない空フレームとして保持する画像データ列格納手順と
をコンピュータに実行させることを特徴とするデジタル映像処理プログラム。
【請求項４】
ＡＶＩファイル形式の音声付デジタル映像を作成するためのデジタル映像処理プログラムであって、
Ａ）ＡＶＩファイルのオーディオストリームに、時系列で連続的に配置された音声データを記憶する音声データ列格納手順と、
Ｂ）ＡＶＩファイルのビデオストリームに、時系列で連続的に配置された画像データを記憶する画像データ列格納手順とをコンピュータに実行させ、
前記画像データ列格納手順は、
Ｂ１）前記ＡＶＩファイル内に所定フレームレートで前記ビデオストリームを準備するビデオストリーム準備手順と、
Ｂ２）前記音声データ列における任意の再生タイミングの音声データと同期する再生タイミングとなるよう、前記ビデオストリームにフレーム番号と静止画像としてのビットマップデータとからなるフレームデータを順に書き込んで実フレームとすると共に、隣接する前記実フレームのフレーム番号の差が２以上ある場合、その隣接する実フレーム間に、静止画像データを書き込まない空フレームを追加する実フレームデータ書込手順とを備えることを特徴とするデジタル映像処理プログラム。
【請求項５】
前記ＡＶＩファイルは、ＡＶＩファイル用圧縮プログラムを使用して圧縮した圧縮画像データからなる前記ビデオストリームと、ＡＶＩファイル用圧縮プログラムを使用して圧縮した圧縮音声データからなる前記オーディオストリームとからなることを特徴とする請求項4記載のデジタル映像処理プログラム。
【請求項６】
前記静止画像は非圧縮状態のビットマップデータからなることを特徴とする請求項１乃至４のいずれか１項記載のデジタル映像処理プログラム。
【請求項７】
前記音声データ列と前記画像データ列とを別個のトラックに記憶すると共に、個別に再生タイミングの調整を行うようにしたことを特徴とする請求項１乃至６のいずれか１項記載のデジタル映像処理プログラム。
【請求項８】
更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最後の実フレームの直前の空フレームの位置に、前記隣接する実フレームのうちの最初の実フレームの静止画像データを書き込んで補助フレームを作成する補助フレーム追加手順をコンピュータに実行させることを特徴とする請求項１乃至７のいずれか１項記載のデジタル映像処理プログラム。
【請求項９】
更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレーム間の全ての空フレームに、前記隣接する実フレームのうちの最初の実フレームのポインタ情報を書き込むポインタ情報追加手順をコンピュータに実行させることを特徴とする請求項１乃至７のいずれか１項記載のデジタル映像処理プログラム。
【請求項１０】
更に、前記画像データ列の実フレームの各々に対して再生タイミングを記述する再生タイミング記述手順をコンピュータに実行させることを特徴とする請求項１乃至９のいずれか１項記載のデジタル映像処理プログラム。
【請求項１１】
前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最初の実フレームの静止画像が再生された後、次の実フレームが到来するまで前記最初の実フレームの静止画像が保持されて再生されるようにしたことを特徴とする請求項１乃至１０のいずれか１項記載のデジタル映像処理プログラム。
【請求項１２】
請求項１乃至１１のいずれか１項記載のデジタル映像処理プログラムを格納したコンピュータからなることを特徴とするデジタル映像処理装置。
【請求項１３】
請求項１乃至１１のいずれか１項記載のデジタル映像処理プログラムを記録したことを特徴とするコンピュータ読取可能なデジタル映像処理プログラムの記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル映像処理プログラム、デジタル映像処理装置及びデジタル映像処理装置の記録媒体に関し、特に、音声と任意に同期させた静止画像を主体とする高精細デジタル映像の作成に好適なデジタル映像処理プログラム、デジタル映像処理装置及びデジタル映像処理プログラムの記録媒体に関する。
【背景技術】
【０００２】
近年、高画質のデジタル映像記録媒体として、ＤＶＤ（デジタル多用途ディスク）が急速に普及し、更に、このＤＶＤに記録するビデオ記録企画としてＤＶＤビデオ規格が一般に使用されるようになってきている。ＤＶＤビデオ規格では、動画データ圧縮にはＭＰＥＧ−２と呼ばれる圧縮符号化方式（ＭＰＥＧ−２ビデオ符号化）が使用されている。このＭＰＥＧ−２ビデオ符号化によれば、例えば平均４．５Ｍｂｐｓの符号化レートを用いることにより、一定の画像品質を満足した上で１３５分の映像データ（動画データ）を音声データや音響データ等と共に記録することができ、それらを一般的な容量（約４，７Ｇバイト）のＤＶＤに全て記録することができる。ＤＶＤビデオ規格は、一般家庭で容易に利用でき、映像の画質及び音質、保存性の点で、従来のＶＨＳ規格と比べかなり改善されている。
なお、映像データと音響データとを出力する情報処理装置として、例えば、特許文献１に記載の技術がある。
【特許文献１】特開平８−９３５７号公報
【０００３】
特許文献１には、２以上の映像の同時表示で、映像と音声の対応を分かりやすくする情報処理装置が開示されている。この情報処理装置は、ビットマップ・ディスプレイに複数の映像表示ウインドウを設定できるようにする。各映像表示ウインドウは、映像を表示する映像表示エリアと、その映像に付随する音声の音量を表示する音量表示エリアを具備する。ＣＰＵは、ファイル記憶装置から映像ファイルを読み出し、伸長して映像表示制御装置に供給する。ＣＰＵはまた、記憶装置から音声ファイルを読み出し、そのデータを制御信号に変換して音声制御装置に転送すると共に、音量と高低を算出し、それらを明るさと色相で表現する音量表示を、映像表示制御装置に指令して、対応する映像を表示する映像表示ウインドウの音量表示エリアに表示させる。音量出力に映像表示が遅れるとき、ＣＰＵは、映像フレームを間引いて、映像と音声を同期化する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
映像とは、本来、ユーザが見たいものをできるだけきれいに（できるだけ高解像度乃至高画質で）見せることを実現しようとするものであるとする。しかし、従来のＤＶＤビデオ規格としてのＭＰＥＧ−２ビデオ符号化によれば、動画についてハイビジョン放送が始まる等、人々が求める高画質の水準が上がっている中、通常の静止画を主体とした映像を表示する場合、動画映像と比べるとテレビ映像品質と同程度の品質（７２０×４８０ピクセル）を確保できるものの、特に、７２０×４８０ピクセル程度の画質では、十分な映像効果を実現できる画質としては、不十分であるといえる。これは、ＭＰＥＧ−２ビデオ符号化の主目的が映画コンテンツ等の動画データの符号化にあり、画像の解像度として７２０×４８０であれば十分としたためであるが、この画質では、静止画を主体とした映像を扱う場合、充分な映像による表現を達しえるものではない。即ち、従来のＤＶＤビデオ規格では、静止画を扱う点で、１６ｍｍ映画の画質すら満足できず、３５ｍｍ映画や３５ｍｍ静止画フィルムの有する情報量を再現するには一層不十分である。
【０００５】
また、上記代表的な圧縮規格としてのＭＰＥＧ−２ビデオ符号化は、その規格上、最大１，９２０×１，０８０ピクセル（水平×垂直）までの画像しか処理できない。更に、かかる高画質のＭＰＥＧ−２ビデオ符号化用の編集ソフト及び編集機材は、特殊業務領域で実用化されているのみであり、非常に高額であると共に、パソコンのハードウェアも非常に高度な処理能力最高が必要となる。これは、解像度（サイズ）の大きい画像は、飛躍的にデータ量が増加し、画像の解像度（横サイズ及び縦サイズ）が２倍になると、画像データのサイズは２の２乗の４倍となるためである。例えば、非圧縮ファイルについて、解像度３０００×２０００の画像は、解像度７２０×４８０の画像と比較して、その画像データのサイズ量が約１７．４倍となる。同様なことは、例えば、３０００×２０００の画像により作成した通常の動画形式データを再生するときにも、データ作成の場合と同じく、困難が予想される。即ち、通常の動画では、１秒間に２４コマ或いは３０コマを同サイズで常に音声に合せて表示し続けなければならないからである。そして、かかる高解像度の映像は、現在、一般家庭で再生できる環境にない。即ち、普及帯のＴＶにて現在のＤＶＤ（７２０×４８０）以上の解像度で映像メディアを再生できる環境は現在なく、また、ハイビジョン用の高画質ＴＶは普及率が低いのが現状である。
【０００６】
一方、世の中に存在する多数の静止画像を映像ビデオとして活用する場合、映像の再生環境として、一つにはパソコン用ディスプレイを使用することが考えられるが、現在、３５ｍｍフィルム相当の情報量を持つ画質はパソコンでは再生できず、また、３５ｍｍフィルム相当の情報量を持つ静止画像を高画質のまま映像編集する際にも限界がある。更に、従来の映像作成ソフトでは、静止画は一般にダウンサイズして映像に活用され、本来の高画質のまま使用されることがない。高画質となったデジタルカメラ、例えば、６３０万画素（３０７２×２０４８）で撮影できるカメラも一般に手に入れることができるようになったことを活かして、本発明者は、高画質デジタルカメラ（デジカメ）で撮影したような大きなサイズ（解像度）の画像を、そのままのサイズ（高画質）で映像化できないか鋭意研究した。更に、本発明者は、職場や家庭で普及しているパソコンモニタ（ディスプレイ）が静止画表示に非常に適していること、及び、近年の技術の進歩により、パソコンモニタの画像が急速に高精細また高画質になりつつあることに着目し、これを利用して、従来のフィルム画質と同等または近似した情報量（高画質）のデジタル映像乃至映像ビデオを提供できる技術について鋭意研究した。
【０００７】
なお、特許文献１に記載の技術は、映像情報及び画像情報を処理するものの、従来のフィルム画質と同等または近似した情報量（高画質）のデジタル映像乃至映像ビデオを提供することはできない。
【０００８】
そこで、本発明は、静止画を主体とした映像情報と音声情報とを任意のタイミングで簡単に同期させることができると共に、高精細な静止画情報を主体とする音声付映像情報を簡単に作成することができ、更に、再生もより容易となる使い勝手の良いデジタル映像処理プログラム、デジタル映像処理装置及びデジタル映像処理プログラムの記録媒体の提供を課題とする。
【課題を解決するための手段】
【０００９】
請求項１に係るデジタル映像処理プログラムは、Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、Ｂ）静止画像データを有しない空フレームと、静止画像データを有する実フレームとを時系列で連続的に配置して所定フレームレートの画像データ列を作成すると共に、前記画像データ列の実フレームを前記音声データ列の音声データにそれぞれ任意のタイミングで同期するよう関連付けて記憶する画像データ列格納手順とをコンピュータに実行させる。
【００１０】
請求項２に係るデジタル映像処理プログラムは、Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、Ｂ）所定フレームレートで画像データ列を作成する画像データ列格納手順とをコンピュータに実行させ、前記画像データ列格納手順は、静止画像データを有する実フレームを前記音声データ列の音声データに任意のタイミングで同期するよう関連付けて順に記憶する実フレーム配置手順と、Ｃ）隣接する前記実フレームが、前記フレームレートのフレーム配置間隔を超える時間間隔で配置される場合、前記隣接する実フレーム間における前記フレームレートのフレーム配置間隔に対応する位置に、静止画像データを有しない空フレームを追加配置して、前記実フレーム及び空フレームが前記フレームレートによるフレーム配置間隔で順に配置されるよう配置する空フレーム配置手順とを有する。
【００１１】
請求項３に係るデジタル映像処理プログラムは、Ａ）時系列で連続的に配置された音声データからなる音声データ列を記憶する音声データ列格納手順と、Ｂ）複数のフレームを所定フレームレートで順に配置して画像データ列を作成する場合において、前記フレームの格納場所を記憶手段に確保する格納場所確保手順と、Ｃ）前記フレームのうち、前記音声データ列における任意の複数の再生タイミングと同期する再生タイミングを有するフレーム用の前記記憶手段の格納場所に、静止画像データをそれぞれ書き込んで実フレームとすると共に、前記フレームのうち前記実フレーム以外のフレームを、静止画像データを書き込まない空フレームとして保持する画像データ列格納手順とをコンピュータに実行させる。
【００１２】
請求項４に係るデジタル映像処理プログラムは、ＡＶＩファイル形式の音声付デジタル映像を作成するためのデジタル映像処理プログラムであって、Ａ）ＡＶＩファイルのオーディオストリームに、時系列で連続的に配置された音声データを記憶する音声データ列格納手順と、Ｂ）ＡＶＩファイルのビデオストリームに、時系列で連続的に配置された画像データを記憶する画像データ列格納手順とをコンピュータに実行させ、前記画像データ列格納手順は、Ｂ１）前記ＡＶＩファイル内に所定フレームレートで前記ビデオストリームを準備するビデオストリーム準備手順と、Ｂ２）前記音声データ列における任意の再生タイミングの音声データと同期する再生タイミングとなるよう、前記ビデオストリームにフレーム番号と静止画像としてのビットマップデータとからなるフレームデータを順に書き込んで実フレームとすると共に、隣接する前記実フレームのフレーム番号の差が２以上ある場合、その隣接する実フレーム間に、静止画像データを書き込まない空フレームを追加する実フレームデータ書込手順とを備える。
【００１３】
請求項５に係るデジタル映像処理プログラムは、請求項４の構成において、前記ＡＶＩファイルが、ＡＶＩファイル用圧縮プログラムを使用して圧縮した圧縮画像データからなる前記ビデオストリームと、ＡＶＩファイル用圧縮プログラムを使用して圧縮した圧縮音声データからなる前記オーディオストリームとからなる。
【００１４】
ここで、ＡＶＩファイルには、通常の非圧縮保存による画像データ及び音声データより構成されるものと、一般に流通しているＡＶＩファイル用の圧縮プログラムを利用してデータ容量を圧縮したものと、大きく分けて２種類のものがある。請求項５に係るデジタル映像処理プログラムは、このうち、圧縮プログラムを利用することにより映像データや音声データを圧縮したＡＶＩファイルを構成要件とする。
【００１５】
請求項６に係るデジタル映像処理プログラムは、請求項１乃至４のいずれかの構成において、前記静止画像が非圧縮状態のビットマップデータからなる。
【００１６】
請求項７に係るデジタル映像処理プログラムは、請求項１乃至６のいずれかの構成において、前記音声データ列と前記画像データ列とを別個のトラックに記憶すると共に、個別に再生タイミングの調整を行うようにしている。
【００１７】
請求項８に係るデジタル映像処理プログラムは、請求項１乃至７のいずれかの構成において、更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最後の実フレームの直前の空フレームの位置に、前記隣接する実フレームのうちの最初の実フレームの静止画像データを書き込んで補助フレームを作成する補助フレーム追加手順をコンピュータに実行させる。
【００１８】
請求項９に係るデジタル映像処理プログラムは、請求項１乃至７のいずれかの構成において、更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレーム間の全ての空フレームに、前記隣接する実フレームのうちの最初の実フレームのポインタ情報を書き込むポインタ情報追加手順をコンピュータに実行させる。
【００１９】
請求項１０に係るデジタル映像処理プログラムは、請求項１乃至９のいずれかの構成において、更に、前記画像データ列の実フレームの各々に対して再生タイミングを記述する再生タイミング記述手順をコンピュータに実行させる。
【００２０】
請求項１１に係るデジタル映像処理プログラムは、請求項１乃至１０のいずれかの構成において、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最初の実フレームの静止画像が再生された後、次の実フレームが到来するまで前記最初の実フレームの静止画像が保持されて再生されるようにした。
【００２１】
請求項１２に係るデジタル映像処理装置は、請求項１乃至１１のいずれか１項記載のデジタル映像処理プログラムを格納したコンピュータからなる。
【００２２】
請求項１３に係るデジタル映像処理プログラムの記録媒体は、請求項１乃至１１のいずれか１項記載のデジタル映像処理プログラムを記録したものである。
【発明の効果】
【００２３】
請求項１に係るデジタル映像処理プログラムは、静止画を主体とした映像情報と音声情報とを任意のタイミングで簡単に同期させることができると共に、高精細な静止画情報を主体とする音声付映像情報を簡単に作成することができる。
【００２４】
請求項２に係るデジタル映像処理プログラムは、静止画を主体とした映像情報と音声情報とを任意のタイミングで簡単に同期させることができると共に、高精細な静止画情報を主体とする音声付映像情報を簡単に作成することができる。
【００２５】
請求項３に係るデジタル映像処理プログラムは、静止画を主体とした映像情報と音声情報とを任意のタイミングで簡単に同期させることができると共に、高精細な静止画情報を主体とする音声付映像情報を簡単に作成することができる。
【００２６】
請求項４に係るデジタル映像処理プログラムは、静止画を主体とした映像情報と音声情報とを任意のタイミングで簡単に同期させることができると共に、高精細な静止画情報を主体とする音声付映像情報を簡単に作成することができる。また、一般に普及したＡＶＩファイルとして映像データを作成することができ、使い勝手が良い。
【００２７】
請求項５に係るデジタル映像処理プログラムは、請求項４の効果に加え、圧縮によりデータ容量を更に削減したＡＶＩファイルを提供することができる。
【００２８】
請求項６に係るデジタル映像処理プログラムは、請求項１乃至４のいずれかの効果に加え、圧縮のない高解像度の映像を提供することができる。
【００２９】
請求項７に係るデジタル映像処理プログラムは、請求項１乃至６のいずれかの効果に加え、画像データを音声データと任意のタイミングで正確に同期させることができる。
【００３０】
請求項８に係るデジタル映像処理プログラムは、請求項１乃至７のいずれかの効果に加え、画像データ列の巻き戻し操作を行う場合等において、その巻き戻し操作等の対象となる画像データ列の隣接する実フレーム間に空フレームが存在する場合、その巻き戻し操作等の後に再生される静止画像データとして、最後の実フレームの静止画像データが採用されることを防止し、前記補助フレーム（最初の実フレームの静止画像と同一の実フレーム）の静止画像が再生されるようにすることができる。
【００３１】
請求項９に係るデジタル映像処理プログラムは、請求項１乃至７のいずれかの効果に加え、前記画像データ列の巻き戻し操作等を行う場合において、その巻き戻し操作等の対象となる前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、その空フレームのポインタ情報を介して読み出して、前記隣接する実フレームのうちの最初の実フレームを再利用して再生するようにすることができる。
【００３２】
請求項１０に係るデジタル映像処理プログラムは、請求項１乃至９のいずれかの効果に加え、画像データの各実フレームに再生タイミングを記述することができ、画像データを音声データと任意のタイミングで正確に同期させることができる。
【００３３】
請求項１１に係るデジタル映像処理プログラムは、請求項１乃至１０のいずれかの効果に加え、実フレームの配置された順番で正確に映像を再生することができる。
【００３４】
請求項１２に係るデジタル映像処理装置は、請求項１乃至１１のいずれか１項記載の効果を発揮する。
【００３５】
請求項１３に係るデジタル映像処理プログラムの記録媒体は、請求項１乃至１１のいずれか１項記載の効果を発揮する。
【発明を実施するための最良の形態】
【００３６】
以下、本発明を実施するための最良の形態（以下、実施の形態という）を説明する。なお、各実施の形態を通じ、同一の部材、要素または部分には同一の符号を付して、その説明を省略する。
【００３７】
実施の形態１
１．映像処理プログラムの概要
実施の形態１に係るデジタル映像処理プログラムは、音声データ列格納手順と、画像データ列格納手順とをコンピュータに実行させるものである。デジタル映像処理プログラムは、ＣＰＵ、ＲＯＭ，ＲＡＭ、バス、入出力装置、外部記憶手段（ＨＤＤ等）等の公知のハードウェア構成を有するコンピュータ装置（図示略）の外部記憶手段等に格納され、使用時にコンピュータ装置により呼び出されて、コンピュータ装置に後述の各手順（処理）を実行させる。これにより、コンピュータ装置が対応する各機能を実現するようになっている。詳細には、デジタル映像処理プログラムは、音声データ列格納手順では、時系列で連続的に配置された音声データからなる音声データ列（オーディオストリーム）をＲＡＭ等の記憶手段（図示略）の音声記憶領域に記憶する。また、デジタル映像処理プログラムは、画像データ列格納手順では、静止画像データを有しない（静止画像データが書き込みされていない）データ量が実質的にゼロの空フレームと、所定の空間解像度を有する静止画像データを有する（静止画像データを書き込んだ）実フレームとを時系列で連続的に配置して所定フレームレートの画像データ列を作成する。このとき、デジタル映像処理プログラムは、前記画像データ列の実フレームを前記音声データ列の音声データに、それぞれ、使用者が意図した任意（随意）のタイミングで同期するよう関連付け、記憶手段の画像記憶領域に記憶する。
【００３８】
２．データ構造
図１は本発明の実施の形態１に係るデジタル映像処理プログラムにより作成した音声付映像ファイルのデータ構造を示す説明図である。図２は一般的なＲＩＦＦファイルフォーマットのデータ構造を示す説明図である。図３は一般的なＡＶＩファイルのデータ構造を示す説明図である。
【００３９】
実施の形態１に係るデジタル映像処理プログラムは、ファイルフォーマットとして、例えば、図３に示すＡＶＩファイルフォーマットを使用する。また、ＡＶＩファイルは、図２に示すＲＩＦＦファイルフォーマットを利用する。よって、以下、実施の形態１に係る音声付映像ファイルのデータ構造の前提となるＲＩＦＦファイルフォーマット及びＡＶＩファイルのデータ構造についてまず説明する。
【００４０】
２−１．ＲＩＦＦファイルのデータ構造
まず、ＡＶＩ（Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｉｎｔｅｒｌｅａｖｅｄ）ファイルは、オーディオ（音声）データとビデオ（映像）データとを併せ持つことができるファイル形式である。ＡＶＩファイルはＲＩＦＦ（Ｒｅｓｏｕｒｃｅ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式になっている。このＲＩＦＦ形式は、様々なリソース（データ）を１つのファイルにするためのファイル形式で、各種形式のリソースに対して互換が保たれる構造になっている。なお、オーディオデータとして代表的なＷＡＶＥファイルもＲＩＦＦ形式になっている。ＡＶＩファイルは、ストリーム単位でデータを格納し、音声付映像ファイルの場合、１以上のビデオストリーム（画像データ列）及び対応する１以上のオーディオストリーム（音声データ列）を別個のトラック（ストリーム）として格納する。ＡＶＩファイルのストリームとしては、ビデオストリーム及びオーディオストリーム以外に、ＭＩＤＩ（Ｍｕｓｉｃ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ストリーム及びテキストストリームがある。ここで、前記オーディオストリームはＷＡＶＥファイルからなり、ビデオストリームは連続するビットマップの集合体からなる。そして、映像は時系列で連続する静止画像の集合体で集まりであり、ＡＶＩファイルは静止画像としてビットマップデータを使用する。
【００４１】
まず、ＲＩＦＦファイルのデータ構造は、図２に示すように、階層的に構成された複数のチャンク（ブロック）からなる。各チャンクは、チャンクのタイプを識別するＩＤフィールド（４バイト）、チャンクのデータ部のサイズを示すフィールド（４バイト）、実データを格納するデータ部を有する。チャンクは、データ部にサブチャンクを有する場合と有しない場合とがある。チャンクがサブチャンクを有する場合、最上位のチャンクがＲＩＦＦチャンクとなり、その下位となるサブチャンクがＬＩＳＴチャンクとなる。更に、ＬＩＳＴチャンクが下位のサブチャンクを有する場合もある。なお、ＲＩＦＦチャンク及びＬＩＳＴチャンクのデータ部の先頭４バイトは、フォームタイプまたはリストタイプと呼ばれ、各チャンクの内容を表す識別コードとされている。ＲＩＦＦチャンクのフォームタイプには、「ＡＶＩ」や「ＷＡＶＥ」等、ファイルに保存されるデータ形式を表す４文字が入る。ＬＩＳＴチャンクのリストタイプも、同様に、「ｈｄｒｌ」や「ｍｏｖｉ」等、リストの内容を示す４文字が入る。
【００４２】
２−３．ＡＶＩファイルのデータ構造
ＡＶＩファイルは、多重階層構造となっており、図３に示すＡＶＩファイルの例は、１つのビデオストリーム及び１つのオーディオストリームを有する１つのＡＶＩファイルとなっている。このＡＶＩファイルのデータ構造について説明する。まず、ＡＶＩファイルは、先頭のＲＩＦＦチャンクのフォームタイプが「ＡＶＩ」となっており、この下位に、ＬＩＳＴ（ｈｄｒｌ）チャンク、ＪＵＮＫサブチャンク、ＬＩＳＴ（ｍｏｖｉ）チャンク、ｉｄＸ１サブチャンクという４つのサブチャンクを有する。ＬＩＳＴ（ｈｄｒｌ）チャンクは、ヘッダ情報を保存し、ａｖｉｈサブチャンク及びストリームの数に対応する数のＬＩＳＴ（ｓｔｒｌ）チャンクが連続する。ａｖｉｈサブチャンクは、ＡＶＩファイル全体の情報を保存する。ＬＩＳＴ（ｓｔｒｌ）チャンクは、各ストリームのヘッダチャンク（ｓｔｒｈサブチャンク）、フォーマットチャンク（ｓｔｒｆサブチャンク）、オプションデータチャンク（ｓｔｒｎサブチャンク）の３つのサブチャンクを有する。オプションデータチャンクは必須ではない。フォーマットチャンクは、オーディオストリームの場合はＷＡＶＥＦＯＲＭＡＴ（またはＰＣＭＷＡＶＥＦＯＲＭＡＴ）構造体となり、ビデオストリームの場合はＢＩＴＭＡＰＩＮＦＯ構造体となる。ＪＵＮＫサブチャンクは、データ境界を２０４８ｂｙｔｅ単位にするためのダミーデータである。ＬＩＳＴ（ｍｏｖｉ）チャンクは、オーディオデータやビデオデータを有する。各サブチャンクの識別子の先頭２文字はストリーム番号を示し、後半の２文字はデータタイプを示す。主なデータタイプとしては、「ｄｂ」(デバイスに依存しない非圧縮ビットマップ（ＤＩＢ）)、「ｄｃ」（圧縮ＤＩＢ）、「ｗｂ」（ＷＡＶＥデータ）等がある。例えば、「００ｄｂ」は「ストリーム番号００の非圧縮ＤＩＢ」を表す。これらのデータチャンクは、ＬＩＳＴ（ｒｅｃ）チャンクとしてグループ化されることもある。また、ｉｄＸ１サブチャンクには、各チャンクの再生順にＡＶＩＩＮＤＥＸＥＮＴＲＹ構造体が配置される。この配置順序にしたがってチャンクを再生する。ｉｄＸ１サブチャンクが存在しない場合、ＡＶＩファイル内のチャンクの物理的な順番（記録されている順番）にしたがってチャンクが再生される。
【００４３】
なお、通常の圧縮されていないＡＶＩファイル内のビデオストリームは連続するビットマップの集合体であるが、一般に流通しているＡＶＩ用の圧縮プログラムにより圧縮することもできる。この場合、各種の圧縮形式を使用することができ、各圧縮形式に対応したｃｏｄｅｃ（圧縮／展開を行なうドライバ）をシステムにインストールすることにより、所定の再生ソフトウェアでの展開及び再生が可能になる。同様に、ＡＶＩファイルのオーディオストリームも圧縮して展開及び再生が可能である。
【００４４】
２−４．音声付映像ファイルのデータ構造
図１に示すように、実施の形態１に係るデジタル映像処理プログラムにより作成される音声付映像ファイル１は、ＡＶＩファイルであり、そのデータ構造として、ＲＩＦＦヘッダ１０、ビデオストリーム２０及びオーディオストリーム３０を有する。ビデオストリーム２０は、前記実フレーム及び空フレームをフレーム番号（コマ番号）順に所定のフレームレート（例えば、１０コマ／秒、２４コマ／秒、３０コマ／秒等）で配置して構成されている。即ち、実フレーム及び空フレームが所定のフレームレートによるフレーム配置間隔で順に配置されている。具体的には、前記所定フレームレートで配置されたフレーム（コマ）のうち、任意のフレームにビットマップデータからなる所定空間解像度の静止画像データを書き込んで実フレームを作成する。また、前記所定フレームレートで配置されたフレーム（コマ）のうち、前記静止画像データを書き込まなかったフレーム、即ち、実フレーム以外のフレームは、前記空フレームとして保持されている。また、前記実フレームの配置位置は、前記音声ストリームの任意の位置の音声データと同期する再生タイミング位置とされている。即ち、所定フレームレートで作成された画像データ列においては、静止画像データを有する実フレームが、音声データ列の音声データに任意のタイミングで同期するよう関連付けて順に記憶されている。また、隣接する前記実フレームが、前記フレームレートのフレーム配置間隔を超える時間間隔で配置される場合、前記隣接する実フレーム間における前記フレームレートのフレーム配置間隔に対応する位置に、静止画像データを有しない空フレームが追加配置されている。そして、前記実フレーム及び空フレームが前記フレームレートによるフレーム配置間隔で順に配置され、全体として画像データ列を形成している。ここで、前記実フレーム及び空フレームからなる各フレームの格納場所が、そのコマ番号（０〜ｎ）に対応して記憶手段に確保されている。実フレームは、対応する格納場所に、そのコマ番号と静止画像データとの組からなる実フレームデータを書き込んでいる。即ち、実フレームは、前記フレームのうち、前記音声データ列における任意の複数の音声データの再生タイミングと同期する再生タイミングを有するフレーム用の前記記憶手段の格納場所に、前記コマ番号と静止画像データとの組をそれぞれ書き込んで構成されている。また、空フレームは、対応する格納場所に、そのコマ番号のみを書き込んでいる。即ち、前記フレームのうち前記実フレーム以外のフレームが、静止画像データを書き込まないデータ量ゼロの空フレームとして保持されている。
【００４５】
より詳細には、ビデオストリーム２０は、そのデータ構造として、所定フレームレートでコマ番号「０，１，２，３・・・ｔ，ｔ＋１，ｔ＋２，ｔ＋３・・・ｎ−１，ｎ」の順番に配置された合計ｎ＋１個のフレーム（コマ）を有している。前記フレームは、前記実フレーム及び空フレームからなる。図１では、実フレームは、コマ番号ｔのフレームに書き込まれた静止画像を有する実フレームＦＲｔ、コマ番号ｔ＋３のフレームに書き込まれた静止画像（ＤＩＢ等のビットマップデータ）を有する実フレームＦＲｔ＋３等からなる。また、コマ番号ｔとコマ番号ｔ＋３の間のフレーム、即ち、コマ番号ｔ＋１のフレーム及びコマ番号ｔ＋２のフレームは、静止画像を有しない空フレームＶｔ＋１及び空フレームＶｔ＋２となっている。このように、ビデオストリーム２０は、オーディオストリーム３０の任意の位置（任意の再生タイミング）の音声データと同期する任意の位置に、実フレームＦＲを配置すると共に、それ以外のフレームに空フレームＶＦを配置したものであり、それら実フレームＦＲ及び空フレームＶＦからなるフレームをコマ番号順に時系列で配置したものである。一方、オーディオストリーム３０は、そのデータ構造として、ＷＡＶＥ等のオーディオデータを時系列で連続して配置したものであり、前記ビデオストリームと対応する時間長を有する。また、オーディオストリーム３０において、前記ビデオストリーム２０の実フレームＦＲｔに対応する時間位置（再生タイミング位置）には、音声データＡＤｔが配置され、実フレームＦＲｔ＋３に対応する時間位置（再生タイミング位置）には、音声データＡＤｔ＋３が配置されている。なお、通常、音声データＡＤｔと音声データＡＤｔ＋３との間にも、音声データが配置される。
【００４６】
ここで、ビデオストリーム２０のデータ構造は、例えば、静止画像の配置データと画像の実体データとからなる。なお、配置データは、コマ番号とそのコマ番号に対応する格納場所（メモリアドレス）とからなる。また、実体データは、静止画像からなる実データとその実データを格納する格納場所（メモリアドレス）とからなる。そして、ビデオストリームでは、例えば、以下のようにして、多数のフレームがコマ番号順に所定の格納場所に格納されている。
コマ番号「０」：格納場所「アドレス０」：実データ「画像Ａ」⇒実フレーム
コマ番号「１」：格納場所「アドレス１」：実データ「なし」⇒空フレーム
コマ番号「２」：格納場所「アドレス２」：実データ「なし」⇒空フレーム
コマ番号「３」：格納場所「アドレス３」：実データ「画像Ｂ」⇒実フレーム
コマ番号「４」：格納場所「アドレス４」：実データ「画像Ｃ」⇒実フレーム
コマ番号「５」：格納場所「アドレス５」：実データ「なし」⇒空フレーム
コマ番号「６」：格納場所「アドレス６」：実データ「画像Ｄ」⇒実フレーム
コマ番号「７」：格納場所「アドレス７」：実データ「なし」⇒空フレーム
コマ番号「８」：格納場所「アドレス８」：実データ「なし」⇒空フレーム
コマ番号「９」：格納場所「アドレス９」：実データ「画像Ｅ」⇒実フレーム
・・・
・・・
・・・
コマ番号「ｔ」：格納場所「アドレスｔ」：実データ「画像Ｆ」⇒実フレームＲＦｔ
コマ番号「ｔ＋１」：格納場所「アドレスｔ＋１」：実データ「なし」⇒空フレームＶＦｔ＋１
コマ番号「ｔ＋２」：格納場所「アドレスｔ＋２」：実データ「なし」⇒空フレームＶＦｔ＋２
コマ番号「ｔ＋３」：格納場所「アドレスｔ＋３」：実データ「画像Ｇ」⇒実フレームＲＦｔ＋３
・・・
・・・
・・・
コマ番号「ｎー１」：格納場所「アドレスｎ−１」：実データ「画像Ｚ」⇒実フレーム
コマ番号「ｎ」：格納場所「アドレスｎ」：実データ「なし」⇒空フレーム
【００４７】
本発明は、動画記録方式の一つであるＡＶＩファイルにより静止画を主体とした高精細デジタル映像の作成を実現したが、映像ファイル作成時に実フレームと空フレームとをそれぞれ任意のタイミングに配置し、空フレームを配置しながらも音声データと同期して、空フレームでも実フレームを参照しながら差し障りなく再生できる動画記録形式を実現することもでき、この場合も、本発明と同様の効果を達成可能である。
【００４８】
３．デジタル映像処理プログラムの処理
次に、実施の形態１のデジタル映像処理プログラムの処理の流れについて説明する。本デジタル映像処理プログラムは、コンピュータ装置の補助記憶装置（ＨＤＤ）等に格納される。そして、コンピュータ装置が、本デジタル映像処理プログラムをＲＡＭ等の記憶装置に適宜読み込み、ＣＰＵの制御下、その処理を実行する。
【００４９】
４−１．全体処理
図４は本発明の実施の形態１に係るデジタル映像処理プログラムの全体処理を示すフローチャートである。
図４に示すように、まず、使用者（ユーザ）がパソコン等のコンピュータ装置の電源をオンし、実施の形態１に係るデジタル映像処理プログラムを起動すると、実施の形態１に係るデジタル映像処理プログラムは、ＳＴＥＰ１００で、起動処理（メモリ初期化等）を実行し、ＳＴＥＰ２００で、ディスプレイ（パソコンモニタ等）にメイン画面（操作画面）を表示する。次に、使用者が、メイン画面のメニュー機能（例えば、「ファイル」メニューの新規作成機能や保存ファイル開封機能等）を使用して、ＡＶＩファイルの新規作成や保存されたＡＶＩファイルの呼出を要求すると、デジタル映像処理プログラムは、ＳＴＥＰ３００で、ファイル新規作成または保存ファイルの呼出処理を実行する。次に、デジタル映像処理プログラムは、使用者の要求に応じて、ＳＴＥＰ４００で、ビデオストリーム（画像データ列）の新規作成または編集処理を実行し、ＳＴＥＰ６００で、オーディオストリーム（音声データ列）の新規作成または編集処理を実行する。次に、デジタル映像処理プログラムは、ＳＴＥＰ７００で、使用者の要求等に基づき、作成したビデオストリーム及びオーディオストリームをＡＶＩファイルへ変換する。次に、デジタル映像処理プログラムは、ＳＴＥＰ８１０で、使用者から作成したＡＶＩファイルの圧縮処理の要求があったか否かを判断する。圧縮要求があった場合、デジタル映像処理プログラムは、ＳＴＥＰ８２０で、使用者の要求に応じ、実ビデオストリームの圧縮形式、圧縮品質等を選択し、圧縮処理を実行した後、全体処理を終了する。一方、ＳＴＥＰ８１０で、使用者からＡＶＩファイルの圧縮処理の要求がない場合、デジタル映像処理プログラムは、全体処理を終了する。なお、ＡＶＩファイルの圧縮形式については、既に一般に流通しているＡＶＩファイルの圧縮技術に従う。
【００５０】
４−２．ビデオストリーム作成処理
図５は本発明の実施の形態１に係るデジタル映像処理プログラムのビデオストリーム作成処理を示すフローチャートである。
ＳＴＥＰ４００のビデオストリーム作成処理について詳細に説明する。まず、使用者から、例えば、新規ファイルの作成処理の要求があると、デジタル映像処理プログラムは、図５に示すように、ＳＴＥＰ４１０で、ＡＶＩファイルを準備し、ＳＴＥＰ４２０で、そのＡＶＩファイル中に新規ビデオストリームを準備する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４３０で、使用者の要求に応じて、前記ビデオストリームのフレーム中、所定のフレームに、画像データ（ＢＭＰデータ）等の実フレームデータを順次書き込み、時系列で連続する実フレームからなるビデオストリームを作成する。即ち、ＳＴＥＰ４２０で準備した実フレームデータを有しないフレームのみからなるビデオストリーム（本書類中では「空ビデオストリーム」という。）の所定のフレームに、ＳＴＥＰ４３０で実フレームデータを順次書き込み、実フレームデータ及び空フレームデータが時系列で交互に連続するビデオストリーム（本書類中では「実ビデオストリーム」という）を作成する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４４０で、使用者の要求があった場合のみ、実フレームの編集処理を実行する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４６０で、使用者の要求があった場合のみ、画像設定変更処理を実行する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４７０で、使用者からビデオストリーム作成処理の終了要求があったか否かを判断し、終了要求があった場合、ＳＴＥＰ４８０に進む。デジタル映像処理プログラムは、ＳＴＥＰ４７０で使用者からビデオストリーム作成処理の終了要求が出されるまで、ＳＴＥＰ４３０〜ＳＴＥＰ４６０の処理を繰り返す。ＳＴＥＰ４７０でビデオストリーム作成処理の終了要求があった場合、デジタル映像処理プログラムは、ＳＴＥＰ４８０で、実ビデオストリームの解放処理を実行し、ＳＴＥＰ４９０で、ＡＶＩファイルの解放処理を実行して、ビデオストリーム作成処理を終了する。
【００５１】
４−３．ビデオストリーム準備処理
図６は本発明の実施の形態１に係るデジタル映像処理プログラムのビデオストリーム準備を示すフローチャートである。
ＳＴＥＰ４２０のビデオストリーム準備処理について詳細に説明する。図６に示すように、デジタル映像処理プログラムは、まず、ＳＴＥＰ４２１で、開封（オープン）されたＡＶＩファイル中に新規ビデオストリーム（空ビデオストリーム）を作成する。次に、デジタル映像処理プログラムは、使用者の要求に応じ、ＳＴＥＰ４２２で、実フレームに書き込む静止画像のサイズや画像再生レート（フレームレート）等からなるストリームフォーマットを指定し、実フレームの空間解像度や時間解像度等を設定する。このストリームフォーマットの画像サイズやフレームレートは、デフォルト値として使用されるが、後述するように、使用者の要求（編集操作）により、このデフォルト値の画像サイズやフレームレートを変更することができる。なお、デフォルトでは、前記フレームレートは、１０コマ／秒等に設定することができ、後述の編集操作により、２４コマ／秒、３０コマ／秒等々、その他のフレームレートに設定することができる。また、画像サイズは、３２０×２４０、６４０×４８０（ＶＧＡ）、８００×６４０（ＳＶＧＡ）、１０２４×７６８（ＸＶＧＡ）、１２８０×９６０（ＵＶＧＡ）等とすることができ、後述の編集操作により、使用可能なディスプレイの解像度等を考慮して、例えば、３８４０×２８８０等に設定することができる。そして、デジタル映像処理プログラムは、ＳＴＥＰ４２３で、そのストリームフォーマットデータをメモリ（ＲＡＭ等）に格納し、ビデオストリーム準備処理を終了する。
【００５２】
４−４．実フレームデータ書込処理
図７は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレームデータ書込処理を示すフローチャートである。
ＳＴＥＰ４３０の実フレームデータ書込処理について詳細に説明する。図７に示すように、デジタル映像処理プログラムは、まず、ＳＴＥＰ４３１で、使用者から操作画面を介して実フレームの追加要求指令が出されると、ＳＴＥＰ４３２で、その実フレームの再生タイミング（コマ表示時刻）の入力乃至設定を使用者に促す画面をモニタに表示する。例えば、デジタル映像処理プログラムは、ファイル再生開始時からカウントした実フレームの再生時刻、例えば、「００分００秒０１」、「００分０１秒０５」等の入力を促す画面を表示する。使用者がその実フレームの再生タイミングを入力すると、デジタル映像処理プログラムは、ＳＴＥＰ４３３で、入力された再生タイミングが有効であるか否か判断し、有効である場合ＳＴＥＰ４３４に進み、無効である場合、ＳＴＥＰ４３５でモニタにエラー表示をする。このとき、例えば、デジタル映像処理プログラムは、前記ビデオストリーム準備処理のＳＴＥＰ４２２で設定したデフォルト値のフレームレートに基づき、入力された再生タイミングが有効であるか否か判断する。即ち、デフォルト値のフレームレートが１０コマ／秒である場合、フレームレートにしたがったコマ表示時刻のコンマ秒部分（例えば、「００分００秒０１」の「０１」部分）は、「００」、「０１」、「０２」、「０３」、「０４」、「０５」、「０６」、「０７」、「０８」、「０９」、である。よって、デジタル映像処理プログラムは、コマ表示時刻のコンマ秒部分の入力値が「００」、「０１」、「０２」、「０３」、「０４」、「０５」、「０６」、「０７」、「０８」、「０９」の場合は、その入力を有効であるとして許容し、それ以外の場合は入力を無効であるとして拒否し、エラー表示する。
【００５３】
ＳＴＥＰ４３４では、デジタル映像処理プログラムは、入力されたコマ表示時刻に対応するコマ番号（フレーム番号）を算出し、そのコマ番号を前記実フレーム（の対応アドレス）に割当てて書き込む。例えば、デフォルト値のフレームレートが１０コマ／秒である場合、コマ番号は０．１秒毎に「１」増加するよう昇順で並ぶ。よって、入力されたコマ表示時刻が「００分００秒０１」である場合、デジタル映像処理プログラムは、フレームレート及びコマ表示時刻に基づき、コマ番号が「１」であると算出し、コマ表示時刻が「００分００秒０５」である場合、デジタル映像処理プログラムは、フレームレート及びコマ表示時刻に基づき、コマ番号が「５」であると算出する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４３６で、実フレームに書き込まれたコマ番号が、その直前の実フレーム（前回追加した実フレーム）のコマ番号より大きいか否か判断し、大きい場合、ＳＴＥＰ４３７へと進み、同一の場合または小さい場合、ＳＴＥＰ４３８でエラー表示をする。例えば、前回追加された実フレームのコマ番号が「５」である場合、即ち、コマ再生時刻が「００分００秒０５」である場合において、次に追加される実フレームのコマ番号が「５」以下（「０５」、「０４」等）である場合、即ち、コマ再生時刻が「００分００秒０５」以下（「００分００秒０５」、「００分００秒０４」等）である場合、ＳＴＥＰ４３８でエラー表示がなされる。
【００５４】
次に、ＳＴＥＰ４３７で、前記実フレームに書き込みたい任意の（所望の）静止画像データ（ＢＭＰデータ）を使用者が指定すると、デジタル映像処理プログラムは、ＳＴＥＰ４３９で、指定された画像データを前記新規追加されたコマ番号の実フレームに書き込み、前記コマ番号及び画像データを有する実フレームを作成する。次に、デジタル映像処理プログラムは、ＳＴＥＰ４４０で、その実フレームのコマ番号が直前の実フレーム（前回追加した実フレーム）のコマ番号より２以上大きいか否か、即ち、今回追加した実フレームのコマ番号と前回追加した実フレームのコマ番号との間に、空きとなるコマ番号があるか否か判断する。そして、今回の実フレームコマ番号が前回の実フレームのコマ番号より２以上大きい場合、デジタル映像処理プログラムは、ＳＴＥＰ４４１で、それら隣接する２つの実フレーム間の各コマ番号位置（フレームレートに従った各表示時刻位置）に、空フレームを追加する。一方、今回の実フレームコマ番号が前回の実フレームのコマ番号より１だけ大きい場合、即ち、前回の実フレームと今回の実フレームとの間に空きとなるこま番号がなく、それらがコマ番号順に並んでいる場合、デジタル映像処理プログラムは、実フレームデータ書込処理を終了する。なお、この実フレームデータ書込処理により、前記空ビデオストリームが実ビデオストリームとなる。
【００５５】
４−５．実フレーム編集処理
図８は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレーム編集処理を示すフローチャートである。
ＳＴＥＰ４５０の実フレーム編集処理について詳細に説明する。デジタル映像処理プログラムは、使用者の要求に応じ、図８に示すように、ＳＴＥＰ４５１の実フレーム画像データ変更・削除処理、ＳＴＥＰ４５２の実フレーム画像データ編集処理及びＳＴＥＰ４５３の実フレーム再生タイミング変更処理を選択的に実行する。まず、操作画面を使用して、使用者が、前記実フレームデータ書込処理ＳＴＥＰ４３０で作成した実ビデオストリームのうちの任意（所望）の実フレームを選択して、その画像データを別の画像データに変更することを要求した場合、デジタル映像処理プログラムは、ＳＴＥＰ４５１で、選択された実フレームについて、現在の画像データを使用者が新たに選択した画像データへと変更する。一方、使用者が、任意の実フレームについて、その画像データを削除すること、即ち、その実フレームを削除して空フレームとすることを要求した場合、デジタル映像処理プログラムは、ＳＴＥＰ４５１で、選択された実フレームの画像データを削除し、そのフレームを空フレームとする。また、操作画面を使用して、使用者が、前記実ビデオストリームのうちの任意（所望）の実フレームを選択して、その画像データの編集操作を要求した場合、デジタル映像処理プログラムは、ＳＴＥＰ４５１で、選択された実フレームについて、使用者の要求にしたがった編集処理を行う。例えば、デジタル映像処理プログラムは、選択された実フレームの静止画像（ＢＭＰデータ）の一部を削除または修正する処理を実行する。更に、操作画面を使用して、使用者が、前記実ビデオストリームのうちの任意（所望）の実フレームについて、その再生タイミングの変更を要求した場合、デジタル映像処理プログラムは、ＳＴＥＰ４５３で、選択された実フレームについて、現在の再生タイミング（コマ表示時刻）使用者が新たに指定した再生タイミング（コマ表示時刻）に変更する。このとき、デジタル映像処理プログラムは、ＳＴＥＰ４３２〜ＳＴＥＰ４３８の一連の処理と同様の処理を実行し、新規再生タイミングの有効性判断、算出コマ番号の有効性判断を実行すると共に、ＳＴＥＰ４４１〜ＳＴＥＰ４４２の一連の処理と同様の処理を実行し、必要な場合、空フレームの追加処理を実行する。
【００５６】
一方、デジタル映像処理プログラムは、ＳＴＥＰ４５４で、使用者から実フレームの画像表示の要求があったか否か判断する。使用者が、操作画面を使用して、ＳＴＥＰ４５１で変更した実フレームやＳＴＥＰ４５２で編集した実フレーム等、任意（所望）の実フレームを選択して、その画像表示を要求した場合、デジタル映像処理プログラムは、ＳＴＥＰ４５５で、選択された実フレームの画像をモニタに表示する。ＳＴＥＰ４５４で画像表示の要求がない場合、デジタル映像処理プログラムは、そのまま実フレーム編集処理を終了する。
【００５７】
４−６．実フレーム設定変更処理
図９は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレーム設定変更処理を示すフローチャートである。
ＳＴＥＰ４６０の画像設定変更処理について詳細に説明する。操作画面を使用して、使用者が、前記実フレームデータ書込処理ＳＴＥＰ４３０で作成した実ビデオストリームの画像設定（画像フォーマットの設定）の変更処理を要求すると、デジタル映像処理プログラムは、使用者の要求に応じ、図９に示すように、まず、ＳＴＥＰ４６１の新規画像サイズ設定処理及びＳＴＥＰ４６２の新規色深度設定処理を実行する。即ち、デジタル映像処理プログラムは、ＳＴＥＰ４６１で、実ビデオストリームについてのフォーマット情報の画像サイズ部分（対応アドレス）を、デフォルト値（デフォルト値の変更があった場合は、現在の値）から使用者が新たに指定した画像データサイズへと変更する。また、デジタル映像処理プログラムは、ＳＴＥＰ４６２で、実ビデオストリームについてのフォーマット情報の色深度（ピクセル当りの色数）部分（対応アドレス）を、デフォルト値（デフォルト値の変更があった場合は、現在の値）から使用者が新たに指定した色深度へと変更する。色深度としては、例えば、８ｂｐｐ（２５６色）、１６ｂｐｐ（約３万色）、２４ｂｐｐ（約１７００万色）等、予め設定した色数を使用することができる。次に、デジタル映像処理プログラムは、ＳＴＥＰ４６３で、使用者から画像の拡大または縮小の要求があったか否か判断し、要求があった場合、ＳＴＥＰ４６４で、使用者の要求に応じた画像の拡大または圧縮処理を実行する。即ち、デジタル映像処理プログラムは、ＳＴＥＰ４６４で、前記実ビデオストリームの再生時における、各実フレームの画像のモニタ上または画面上の表示サイズを拡大または縮小する処理を実行する。ＳＴＥＰ４６３で、使用者から画像の拡大または縮小の要求がない場合、デジタル映像処理プログラムは、ＳＴＥＰ４６５で、使用者からＡＶＩサイズの圧縮処理（実ビデオストリームのサイズ圧縮処理等）の要求があったか否かを判断し、サイズ圧縮処理の要求があった場合、ＳＴＥＰ４６６で、使用者の要求に応じ、ＡＶＩサイズ圧縮処理を実行してＳＴＥＰ４６７へと進む。一方、ＳＴＥＰ４６５で、使用者からＡＶＩサイズ圧縮処理の要求がない場合、デジタル映像処理プログラムは、ＳＴＥＰ４６７へと進む。ＳＴＥＰ４６７では、デジタル映像処理プログラムは、上記設新規画像設定情報をメモリに格納し、画像設定変更処理を終了する。
【００５８】
４−７．オーディオストリーム作成処理
図１０は本発明の実施の形態１に係るデジタル映像処理プログラムのオーディオストリーム作成処理を示すフローチャートである。
ＳＴＥＰ６００のオーディオストリーム作成処理について詳細に説明する。まず、使用者から、例えば、新規ファイルの作成処理の要求があると、デジタル映像処理プログラムは、図１０に示すように、ＳＴＥＰ６１０で、ＡＶＩファイルを準備し、ＳＴＥＰ６２０で、そのＡＶＩファイル中に新規オーディオストリームを準備する。次に、デジタル映像処理プログラムは、ＳＴＥＰ６３０で、使用者の要求に応じて、前記オーディオストリームに、ＷＡＶＥファイル等の音声データを書き込み、時系列で連続する音声データ列からなるビデオストリームを作成する。即ち、ＳＴＥＰ６２０で準備した音声データを有しないオーディオストリーム（本書類中では「空オーディオストリーム」という。）に、ＳＴＥＰ６３０で音声データを時系列で書き込み、音声データが時系列で連続するオーディオストリーム（本書類中では「実オーディオストリーム」という）を作成する。次に、デジタル映像処理プログラムは、ＳＴＥＰ６４０で、使用者からオーディオストリーム作成処理の終了要求があったか否かを判断し、終了要求があった場合、ＳＴＥＰ６５０に進む。デジタル映像処理プログラムは、ＳＴＥＰ６４０で使用者からオーディオストリーム作成処理の終了要求が出されるまで、ＳＴＥＰ６３０の処理を繰り返す。一方、デジタル映像処理プログラムは、ＳＴＥＰ６４０で、実オーディオストリームの解放処理を実行し、ＳＴＥＰ６５０で、ＡＶＩファイルの解放処理を実行して、オーディオストリーム作成処理を終了する。
【００５９】
４−８．処理の特徴
上記のようにして、画像データ列格納手順としての実フレームデータ書込処理で、静止画像データを有しない、即ち、書き込まない（データ量が実質的にゼロの）空フレームと、所定の空間解像度を有する静止画像データを有する、即ち、書き込んだ実フレームとを時系列で連続的に配置して所定フレームレートの画像データ列を作成すると共に、前記画像データ列の実フレームを前記音声データ列の音声データにそれぞれ任意のタイミングで（特定のタイミングで）同期するよう関連付けて記憶手段の所定の格納場所に記憶する。ここで、画像データ列格納手順は、実フレーム配置手順としてのＳＴＥＰ４３１〜ＳＴＥＰ４３９と、空フレーム配置手順としてのＳＴＥＰ４４０〜ＳＴＥＰ４４１とを有する。実フレーム配置手順では、所定フレームレートで所定時間長となるよう画像データ列を作成する場合において、静止画像データを有する実フレームを前記音声データ列の音声データに任意のタイミングで同期するよう関連付けて順に記憶する。また、空フレーム配置手順では、隣接する前記実フレームが、前記フレームレートのフレーム配置間隔を超える時間間隔で配置される場合、前記隣接する実フレーム間における前記フレームレートのフレーム配置間隔に対応する位置に、静止画像データを有しない空フレームを追加配置して、前記実フレーム及び空フレームが前記フレームレートによるフレーム配置間隔で順に配置されるよう配置する。
【００６０】
なお、図６の前記ビデオストリーム準備処理のＳＴＥＰ４２１は、複数のフレームを所定フレームレートで順に配置して画像データ列を作成する場合において、前記フレームの格納場所（画像格納領域の所定アドレス）を、そのコマ番号に対応して記憶手段に確保する格納場所確保手順を構成する。そして、前記画像データ列格納手順は、前記フレームのうち、前記音声データ列における任意の複数の音声データの再生タイミングと同期する再生タイミングを有するフレーム用の前記記憶手段の格納場所に、静止画像データをそれぞれ書き込んで実フレームとすると共に、前記フレームのうち前記実フレーム以外のフレームを、静止画像データを書き込まない画像データ量ゼロの空フレームとして保持するものとして定義することもできる。或いは、前記画像データ列格納手順は、前記ＡＶＩファイル内に所定フレームレートで前記ビデオストリームを作成するビデオストリーム作成手順（ビデオストリーム準備処理ＳＴＥＰ４２０）の後、前記音声データ列における任意の再生タイミングの音声データと同期する再生タイミングとなるよう、前記ビデオストリームにフレーム番号と静止画像としてのビットマップデータとからなるフレームデータを順に書き込んで実フレームとすると共に、隣接する前記実フレームのフレーム番号の差が２以上ある場合、その隣接する実フレーム間に、静止画像データを書き込まない画像データ量ゼロの空フレームを追加する実フレームデータ書込手順（実フレームデータ書込処理ＳＴＥＰ４３０）とを備えるものとして定義することもできる。
【００６１】
一方、実施の形態１では、音声データ列と画像データ列とを別個のトラックに記憶すると共に、個別に再生タイミングの調整を行うようにしている。また、実施の形態１に係るデジタル映像処理プログラムは、前記画像データ列の実フレームの各々に対して再生タイミングを記述する再生タイミング記述手順をコンピュータに実行させる。したがって、本プログラムにより作成したＡＶＩファイルを再生装置が再生する場合において、前記画像データ列を再生するときに、画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最初の実フレームの静止画像が再生された後、その空フレームの再生タイミングでは、次の実フレームが到来するまでその空フレームの直前に配置された前記最初の実フレームの静止画像が保持されて再生されるようになっている。
【００６２】
４．ＧＵＩ（ユーザインタフェース）
図１１は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩ（グラフィカルユーザインタフェース）においてビデオストリームの実フレームを作成した状態を示す説明図である。
【００６３】
４−１．ＧＵＩの各表示領域
実施の形態１に係るデジタル映像処理プログラムの操作画面１００は、例えば、図１１に示すように、メニュー表示領域（メニューバー）１１０と、データ内容表示領域１２０と、画像表示領域１３０とを有するＧＵＩ（グラフィカルユーザインタフェース）として構成することができる。なお、操作画面は例示であり、関連する編集機能等を入れたり、また、使い勝手を工夫する等、これ以外の構成とすることも無論可能である。図１１では、メニュー表示領域１１０は、メニューとして、「ファイルメニュー」、「編集メニュー」、「設定メニュー」、「変換メニュー」及び「ヘルプ」メニューを有している。また、データ内容表示領域１２０は、デジタル映像処理プログラムにより作成したビデオストリームの実フレームのコマ表示時刻（再生タイミング）、コマ番号に対応する内部値、画像データとしてのＢＭＰファイルの格納場所等を一覧表示する。更に、画像表示領域１３０は、データ内容表示領域１２０に表示された実フレームのうち、使用者が選択した実フレームについて、その画像を表示する。図１１では、データ内容表示領域１２０に、時系列で配置された複数の実フレームが、その各々の再生タイミング及びコマ番号と共に表示されている。また、データ内容表示領域１２０において最終の実フレームが選択され、画像表示領域１３０に、その実フレームの画像が表示されている。
【００６４】
４−２．ファイルメニュー
図１２は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩのファイルメニューを示す説明図である。
図１２に示すように、前記ファイルメニューは、例えば、「新規作成」、「開く」、「上書き保存」、「名前を付けて保存」、「アプリケーションの終了」等のファイル作成・開閉・保存用の各種メニュー項目をドロップダウンメニューとして表示自在であり、各メニュー項目を選択実行することにより、デジタル映像処理プログラムが、コンピュータに対応する処理を実行（機能を実現）させる。即ち、「新規作成」を選択実行すると、図４のメイン処理（ＳＴＥＰ１００〜ＳＴＥＰ７００）が実行開始される。また、「開く」を選択実行すると、所定格納場所に保存した既存のＡＶＩファイルを開いて、その編集作業を実行することができる。また、「上書き保存」を選択実行すると、編集した既存ＡＶＩファイルを上書き保存することができる。更に、「名前を付けて保存」を選択実行すると、新規作成したＡＶＩファイルを所定格納場所に保存することができる。また、「アプリケーションの終了」を実行すると、デジタル映像処理プログラムが終了する。
【００６５】
４−３．編集メニュー
図１３は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの編集メニュー及びコマ表示時刻の設定画面を示す説明図である。
図１３に示すように、前記編集メニューは、例えば、「選択部分を削除」、「全部消去」、「ドラッグ＆ドロップ」、「画像表示」、「時刻変更」、「画像変更」、「コマ追加」等のファイル編集用の各種メニュー項目をドロップダウンメニューとして表示自在であり、各メニュー項目を選択実行することにより、デジタル映像処理プログラムが、コンピュータに対応する処理を実行（機能を実現）させる。即ち、「選択部分を削除」を選択実行すると、図８の実フレーム編集処理の画像データ編集処理（ＳＴＥＰ４５２）が実行され、使用者が選択した実フレームの画像のうち、使用者が選択した部分を削除することができる。また、「全部消去」を選択実行すると、図８の実フレーム編集処理の画像データ削除処理（ＳＴＥＰ４５１）が実行され、使用者が選択した実フレームの画像全体を削除して、その実フレームを削除することができる。更に、「コマ追加」は、図７の実フレームデータ書込処理の実フレーム追加要求（ＳＴＥＰ４５２）に対応し、使用者が「コマ追加」を選択実行すると、ＳＴＥＰ４３２の処理が実行され、操作画面１００にコマ表示時刻の設定画面１１１が表示され、使用者の入力を促す。この設定画面１１１の入力欄（分、秒、コンマ秒）に使用者が所望の値を入力して設定ボタンを押すと、ＳＴＥＰ４３３〜ＳＴＥＰ４４１の処理が実行され、ビデオストリームに実フレームが追加される。また、「ドラッグ＆ドロップ」を選択実行すると、所定の格納場所に保存した既存ＢＭＰファイルを、（その保存先のウインドウから）データ内容表示領域１２０にドラッグアンドドロップすることができ、操作画面１００にコマ表示時刻の設定画面１１１が表示され、「コマ追加」の場合と同様にして、ＳＴＥＰ４３３〜ＳＴＥＰ４４１の処理が実行され、ビデオストリームに実フレームが追加される。更に、操作画面１００のデータ内容表示領域に表示された実フレームのうち、特定のコマ表示時刻の実フレームを選択して「時刻変更」を選択実行すると、図８の実フレーム編集処理の実フレーム再生タイミング変更処理（ＳＴＥＰ４５３）が実行され、操作画面１００にコマ表示時刻の設定画面１１１が表示される。よって、使用者は、コマ表示時刻の設定画面１１１を使用して、その実フレームについてコマ表示時刻の変更を行うことができる。また、操作画面１００のデータ内容表示領域に表示された実フレームのうち、特定のコマ表示時刻の実フレームを選択して「画像変更」を選択実行すると、図８の実フレーム編集処理の実フレーム画像データ変更処理（ＳＴＥＰ４５１）が実行される。よって、使用者は、操作画面１１０の所定の処理画面を使用して、その実フレームについて画像データの変更を行うことができる。更に、操作画面１００のデータ内容表示領域に表示された実フレームのうち、特定のコマ表示時刻の実フレームを選択して「画像表示」を選択実行すると、図８の実フレーム編集処理の画像表示処理（ＳＴＥＰ４５５）が実行され、操作画面１１０の画像表示領域１３０に、その実フレームの画像が表示される。
【００６６】
４−４．設定メニュー
図１４は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの設定メニュー並びに画像設定画面及びオーディオ設定画面を示す説明図である。
図１４に示すように、前記設定メニューは、例えば、「画面サイズ」、「音声トラック」等の各種メニュー項目をドロップダウンメニューとして表示自在であり、各メニュー項目を選択実行することにより、デジタル映像処理プログラムが、コンピュータに対応する処理を実行（機能を実現）させる。即ち、「画面サイズ」を選択実行すると、操作画面１１０に画像設定用の設定画面１１２が表示され、この設定画面１１２を使用して、図９の画像設定処理ＳＴＥＰ４６１〜ＳＴＥＰ４６７を実行可能となる。このとき、設定画面１１２の「画像サイズ」の入力欄には、デフォルト値（図１４では、３２０×２４０）が表示されている。ここで、使用者は、設定画面１１２の「画像サイズ」の入力欄に所望の画像サイズを直接入力したり、「ＶＧＡ」等の入力ボタンを押すことにより、対応する画像サイズを「画像サイズ」の入力欄に自動入力したりすることができ、この状態で、使用者が「設定」ボタンを押すと、ＳＴＥＰ４６１の新規画像サイズ設定処理が実行され、旧設定値が新規設定値に変更される。また、使用者が、設定画面１１２の「画像解像度」のラジオボタン（図１４では、８ｂｐｐ、１６ｂｐｐ、２４ｂｐｐを例示）を選択して「設定」ボタンを押すことにより、ＳＴＥＰ４６２の新規色深度設定処理が実行され、旧設定値が新規設定値に変更される。更に、使用者が、設定画面１１２の「画像の拡大縮小を行う」のチェックボックスをオンして「設定」ボタンを押すことにより、ＳＴＥＰ４６４の画像拡大・縮小処理が実行される。また、使用者が、設定画面１１２の「ＡＶＩサイズを削る」のチェックボックスをオンして「設定」ボタンを押すことにより、ＳＴＥＰ４６６のＡＶＩサイズ圧縮処理が実行される。一方、「音声トラック」を選択実行すると、操作画面１１０に音声トラック挿入用の設定画面１１３が表示され、この設定画面１１３を使用して、図１０のオーディオストリーム作成処理を実行可能となる。即ち、使用者が、設定画面１１３の「Ａｕｄｉｏのトラックを挿入する」のチェックボックスをオンすると共に、「選択」ボタンを押すと、所定の格納場所に保存したオーディオファイルを選択することができ、この状態で、使用者が「設定」ボタンを押すことにより、ＳＴＥＰ６１０〜ＳＴＥＰ６６０のがオーディオストリーム作成処理実行され、音声トラックが追加される。
【００６７】
４−５．変換メニュー
図１５は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの変換メニュー及び圧縮設定画面を示す説明図である。
図１５に示すように、前記変換メニューは、例えば、「ＡＶＩへ変換」等の各種メニュー項目をドロップダウンメニューとして表示自在であり、各メニュー項目を選択実行することにより、デジタル映像処理プログラムが、コンピュータに対応する処理を実行（機能を実現）させる。即ち、「ＡＶＩへ変換」を選択実行すると、操作画面１００に圧縮用の設定画面１１４が表示される。ここで、使用者が、設定画面１１４にある、一般に流通し、既にインストールしてある所定の圧縮形式を選択して「ＯＫ」ボタンを押すと、図４のＡＶＩへの変換処理（ＳＴＥＰ７００）及び圧縮処理（ＳＴＥＰ８２０）が実行される。そして、この状態で、前記ファイルメニューの保存機能を使用して、そのＡＶＩファイルを所定の格納場所に保存することができる。
【００６８】
５．再生動作
図１６は本発明の実施の形態１に係るデジタル映像処理プログラムで作成した音声付映像ファイル（ＡＶＩファイル）の再生動作を示す説明図である。
実施の形態１に係るデジタル映像処理プログラムにより作成した音声付映像ファイル（ＡＶＩファイル）は、ＡＶＩファイルに対応した各種再生装置を使用して再生することができる。このときの再生動作について説明する。まず、図１６に示すように、デジタル映像処理プログラムにより作成した音声付映像ファイル（ＡＶＩファイル）のビデオストリームは、例えば、実フレーム及び空フレームを所定のフレームレートで所定順序となるよう、一定時間間隔の再生タイミングｔ０〜ｔ９で時系列に連続して配置したものである。図１５では、ビデオストリームは、実フレームＲＦｔ，ＲＦｔ＋３，ＲＦｔ＋４，ＲＦｔ＋６，ＲＦｔ＋９を再生タイミングｔ０，ｔ３，ｔ４，ｔ６，ｔ９に配置している。即ち、実フレームＲＦｔ，ＲＦｔ＋３，ＲＦｔ＋４，ＲＦｔ＋６，ＲＦｔ＋９には、再生タイミングｔ０，ｔ３，ｔ４，ｔ６，ｔ９に対応するコマ番号が書き込まれている。なお、この再生タイミング（コマ表示時刻）は、上記のように、音声トラック（オーディオストリーム）の任意の時間位置の音声データと同期するよう、使用者が設定したタイミングである。また、実フレームＲＦｔ，ＲＦｔ＋３，ＲＦｔ＋４，ＲＦｔ＋６，ＲＦｔ＋９間の再生タイミングｔ１，ｔ２，ｔ５，ｔ７，ｔ８には空フレーＶＦｔ＋１，ＶＦｔ＋２，ＶＦｔ＋５，ＶＦｔ＋７，ＶＦｔ＋８を配置している。即ち、空フレームＶＦｔ＋１，ＶＦｔ＋２，ＶＦｔ＋５，ＶＦｔ＋７，ＶＦｔ＋８には、再生タイミングｔ１，ｔ２，ｔ５，ｔ７，ｔ８に対応するコマ番号が書き込まれている。そして、再生装置は、前記コマ番号順に、前記所定のフレームレート（再生タイミング）で、実フレーム及び空フレームを再生する。このとき、再生装置は、ｔ０の再生タイミングで実フレームＲＦｔの画像（ＢＭＰデータ）を表示した後、再生タイミングｔ３が来るまで、その実フレームＲＦｔの画像を保持して表示する。同様に、再生装置は、ｔ４の再生タイミングで実フレームＲＦｔ＋４の画像を表示した後、再生タイミングｔ６が来るまで、その実フレームＲＦｔ＋４の画像を保持して表示し、ｔ６の再生タイミングで実フレームＲＦｔ＋６の画像を表示した後、再生タイミングｔ９が来るまで、その実フレームＲＦｔ＋６の画像を保持して表示し、ｔ９の再生タイミングで実フレームＲＦｔ＋９の画像を表示する。即ち、デジタル映像処理プログラムで作成した音声付映像ファイルによれば、ＡＶＩファイルに対応した再生装置であれば、次の新しい実フレームの画像が来るまで、直前の実フレームの画像を保持して表示する。
【００６９】
このようにして、ビデオストリームの画像が時系列で連続的に表示されて動画状またはスライド映像状の映像を表示すると共に、映像の特定の再生タイミングに同期してオーディオストリームの音声が再生される。このとき、再生タイミング制御はトラック（ストリーム）毎に行なわれ、動画トラック（ビデオストリーム）と音声トラック（オーディオストリーム）とで、個別に再生タイミングの調整を行うことができるため、動画を構成する画像と任意の音声データとを正確に同期させることができる。
【００７０】
実施の形態２
実施の形態２に係るデジタル映像処理プログラムは、実施の形態１の構成において、更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレームのうちの最後の実フレームの直前の空フレームの位置に、前記隣接する実フレームのうちの最初の実フレームの静止画像データを書き込んで補助フレームを作成する補助フレーム追加手順をコンピュータに実行させるようにしたものである。その他の構成は、実施の形態１と同様である。これにより、前記画像再生手順において前記画像データ列の巻き戻し操作、一旦停止操作等を行う場合において、その巻き戻し操作の対象となる前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、その巻き戻し操作等の後に再生される静止画像データとして、最後の実フレームの静止画像データが採用されることを防止し、前記補助フレーム（最初の実フレームの静止画像と同一）の静止画像が再生される。その結果、巻き戻し操作等の後に、次の画像が誤って表示されることがなく、本来の画像（元の画像）を表示することができる。
【００７１】
実施の形態３
実施の形態３に係るデジタル映像処理プログラムは、実施の形態１の構成において、更に、前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、前記隣接する実フレーム間の全ての空フレームに、前記隣接する実フレームのうちの最初の実フレームのポインタ情報を書き込むポインタ情報追加手順をコンピュータに実行させるものである。その他の構成は、実施の形態１と同様である。したがって、前記画像再生手順では、前記画像データ列の巻き戻し操作を行う場合においてその巻き戻し操作の対象となる前記画像データ列の隣接する実フレーム間に空フレームが存在する場合、その空フレームのポインタ情報を介して読み出して、前記隣接する実フレームのうちの最初の実フレームを再利用して再生する。その結果、巻き戻し操作等の後に、次の画像が誤って表示されることがなく、本来の画像（元の画像）を表示することができる。
【００７２】
実施の形態４
図１７は本発明の実施の形態４に係るデジタル映像処理プログラムにより作成した音声付映像ファイルのデータ構造を示す説明図である。
図１７に示すように、実施の形態４に係るデジタル映像処理プログラムにより作成される音声付映像ファイル１０１は、ＡＶＩファイルであり、そのデータ構造として、ＲＩＦＦヘッダ１１０、複数（図１７では５つ）のビデオストリーム１２１，１２２，１２３，１２４，１２５及び対応する（図１７では５つ）の複数オーディオストリーム１３１，１３２，１３３，１３４，１３５を有する。各ビデオストリーム１２１，１２２，１２３，１２４，１２５は、実施の形態１のビデオストリーム２０と同様の構造である。また、各オーディオストリーム１３１，１３２，１３３，１３４，１３５は、実施の形態１のオーディオストリーム３０と同様の構造である。より詳細には、ビデオストリーム１２１，１２２，１２３，１２４，１２５は、そのデータ構造として、所定フレームレートでコマ番号「０，１，２，３・・・ｔ，ｔ＋１，ｔ＋２，ｔ＋３・・・ｎ−１，ｎ」の順番に配置された合計ｎ＋１個のフレーム（コマ）を有している。前記フレームは、前記実フレーム及び空フレームからなる。図１７では、実フレームは、コマ番号ｔのフレームに書き込まれた静止画像を有する実フレームＦＲｔ、コマ番号ｔ＋３のフレームに書き込まれた静止画像（ＤＩＢ等のビットマップデータ）を有する実フレームＦＲｔ＋３等からなる。また、コマ番号ｔとコマ番号ｔ＋３の間のフレーム、即ち、コマ番号ｔ＋１のフレーム及びコマ番号ｔ＋２のフレームは、静止画像を有しない空フレームＶｔ＋１及び空フレームＶｔ＋２となっている。このように、ビデオストリーム１２１，１２２，１２３，１２４，１２５は、対応するオーディオストリーム１３１，１３２，１３３，１３４，１３５の任意の位置（任意の再生タイミング）の音声データと同期する任意の位置に、実フレームＦＲを配置すると共に、それ以外のフレームに空フレームＶＦを配置したものであり、それら実フレームＦＲ及び空フレームＶＦからなるフレームをコマ番号順に時系列で配置したものである。一方、オーディオストリーム１３１，１３２，１３３，１３４，１３５は、そのデータ構造として、ＷＡＶＥ等のオーディオデータを時系列で連続して配置したものであり、対応するビデオストリーム１２１，１２２，１２３，１２４，１２５と対応する時間長を有する。また、オーディオストリーム１３１，１３２，１３３，１３４，１３５において、前記ビデオストリーム１２１，１２２，１２３，１２４，１２５の実フレームＦＲｔに対応する時間位置（再生タイミング位置）には、音声データＡＤｔが配置され、実フレームＦＲｔ＋３に対応する時間位置（再生タイミング位置）には、音声データＡＤｔ＋３が配置されている。なお、通常、音声データＡＤｔと音声データＡＤｔ＋３との間にも、音声データが配置される。
【００７３】
効果
上記各実施の形態によれば、第１に、普及する高画質デジタルカメラの撮影データを有効活用することができる。即ち、現在、普及価格帯のデジタルカメラとして、２００万画素（１６００ピクセル×１２００ライン）、３２０万画素（２０４８×１５３６）、４００万画素（２２７２×１７０４）のデジタルカメラがあるが、最近では、６３０万画素（３０７２×２０４８）のデジカメが１０数万円の価格帯にて販売されるに至った。この３０７２×２０４８程度の解像度のものは、ほぼ３５ｍｍフィルムの解像度に近い。上記実施の形態のデジタル映像再生プログラムによれば、これら高解像度の静止画像を実フレームに書き込むことができ、更に、データ再生が通常の記録形式と比べて著しく用意となる。この場合でも、実フレーム間に適当な数の空フレームを配置することにより、画像を音声と正確に同期させつつ、全体のデータ量を大幅に削減することができる。即ち、上記各実施の形態によれば、３５ｍｍフィルム等の静止画フィルムの情報量をそのまま生かすことができ、フィルムの持つ多くの情報をダウンサイズすることなく、そのまま音声解説付きで映像化及びデジタル化することで、上映等での映像効果を向上すると共に、静止画像への音声解説・音楽により説明性・物語性・記録性等を高めることができる。また、上記各実施の形態によれば、映像データを圧縮することなく画像を本来の高画質のまま維持することができ、圧縮することによる劣化を少なくすることができる。その結果、人類の知的資産である、研究・政府系機関、企業、家庭、個人等により保有・撮影され、保存されているネガフィルム及びポジフィルム等を積極的に活用することができる。
【００７４】
ここで、静止画を主体とする映像は、写真に音声を関連付けることで、写真から受ける印象乃至感情を更に効果的に呼び起こし、写真による説得性を促進することができるという利点を有する。よって、上記実施の形態のデジタル映像処理プログラムによれば、静止画を活用した「スライドショー」を作成する際に、音声と画像コマとを任意に好きなタイミングで同期させることができ、効果的なプレゼンテーションを行うことができる。また、上記のように、既にかなりの高画質となっているデジカメ画像等を映像ビデオとして活用することができる。更に、上記実施の形態のデジタル映像処理プログラムによれば、現在の家庭や職場に既に普及しているパソコンモニタにて、高画質映像を実現することができる。即ち、パソコンモニタとその付属機器は静止的な画像の表示に最適である一方、今後の技術進歩により、更に高解像度（３０００×２０００程度）の液晶パネルの商品化が実現されることは時間の問題であり、上記実施の形態のデジタル映像処理プログラムで作成した高画質の映像を問題なく再生することのできる環境が早期に整うものと思われる。なお、係る高画質のモニタは、一部業務用では既に実現されており、医療用では、９２０万画素の２２．２型モニタ（３８８０×２４００）が実売価格９０万で販売されている。また、既に１０２４×７６８クラスの解像度のパソコンモニタは一般に普及しており、それ以上の解像度（１６００×１２００等）のモニタも続々と商品化されている。
【００７５】
一般的な動画の記録方法（記録プログラムによる処理）では、コマを映像の最初から最後まで連続して隙間なく（上記実施の形態のような空フレームを介在させずに）並べるため、コマを大量に必要とする。よって、データ量が大きくなり扱いが重くなり、現状では、ＤＶＤ規格以上で動画を作成及び作成するにも様々な課題が出てくる。また、従来の流通しているスライドショー作成用ソフトは、既存の動画編集を想定した方法であり、最終的に、隙間なく連続的にコマが並ぶため、ファイル量を減らすことができない。即ち、見た目は静止していても、同じコマがフレームレートの配置間隔で連続的に並び、データに無駄が多くなる。これに対し、上記実施の形態に係るデジタル映像処理プログラムによれば、使用者の設定した任意の再生タイミングで、実フレームを離れて配置すると共に、所望の音声と同期させることができる。よって、上記実施の形態に係るデジタル映像処理プログラムにより作成した映像（例えばスライドショー）は、データ量が少なく、扱いが軽くなる。また、映像記録方式として一般に広く普及しているＡＶＩファイル方式を使用するため、使い勝手が良い。なお、１秒間に約３０コマや２４コマのコマが次々に表示され、コマの残像現象により映像の動きをスムースにさせる一般的な動画形式と異なり、上記実施の形態に係るデジタル映像処理プログラムにおける実フレームの配置は、よりまばらな再生タイミングとなるため、画像は静止表示され、実フレーム（画像）の移り変わりは、単純に次のコマに短時間で移り変わるように表示される。しかし、上記実施の形態に係るデジタル映像処理プログラムにより作成した映像の一部に、１秒間に１０コマ或いは３０コマ、２０コマ等で、一定の限度で、一般的に動画と同様のフレームレートで実フレームを配置した動画部分を挿入することも可能である。その部分については、一般動画と全く同様である。
【図面の簡単な説明】
【００７６】
【図１】図１は本発明の実施の形態１に係るデジタル映像処理プログラムにより作成した音声付映像ファイルのデータ構造を示す説明図である。
【図２】図２は一般的なＲＩＦＦファイルフォーマットのデータ構造を示す説明図である。
【図３】図３は一般的なＡＶＩファイルのデータ構造を示す説明図である。
【図４】図４は本発明の実施の形態１に係るデジタル映像処理プログラムの全体処理を示すフローチャートである。
【図５】図５は本発明の実施の形態１に係るデジタル映像処理プログラムのビデオストリーム作成処理を示すフローチャートである。
【図６】図６は本発明の実施の形態１に係るデジタル映像処理プログラムのビデオストリーム準備を示すフローチャートである。
【図７】図７は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレームデータ書込処理を示すフローチャートである。
【図８】図８は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレーム編集処理を示すフローチャートである。
【図９】図９は本発明の実施の形態１に係るデジタル映像処理プログラムの実フレーム設定変更処理を示すフローチャートである。
【図１０】図１０は本発明の実施の形態１に係るデジタル映像処理プログラムのオーディオストリーム作成処理を示すフローチャートである。
【図１１】図１１は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩ（グラフィカルユーザインタフェース）においてビデオストリームの実フレームを作成した状態を示す説明図である。
【図１２】図１２は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩのファイルメニューを示す説明図である。
【図１３】図１３は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの編集メニュー及びコマ表示時刻の設定画面を示す説明図である。
【図１４】図１４は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの設定メニュー並びに画像設定画面及びオーディオ設定画面を示す説明図である。
【図１５】図１５は本発明の実施の形態１に係るデジタル映像処理プログラムのＧＵＩの変換メニュー及び圧縮設定画面を示す説明図である。
【図１６】図１６は本発明の実施の形態１に係るデジタル映像処理プログラムで作成した音声付映像ファイル（ＡＶＩファイル）の再生動作を示す説明図である。
【図１７】図１７は本発明の実施の形態４に係るデジタル映像処理プログラムにより作成した音声付映像ファイルのデータ構造を示す説明図である。
【符号の説明】
【００７７】
ＲＦｔ，ＲＦｔ＋３：実フレーム、ＶＦｔ＋１，ＶＦｔ＋２：空フレーム
ＡＤｔ，ＡＤｔ＋３：音声データ
【図１】
2006033607.tif 000003
【図２】
2006033607.tif 000004
【図３】
2006033607.tif 000005
【図４】
2006033607.tif 000006
【図５】
2006033607.tif 000007
【図６】
2006033607.tif 000008
【図７】
2006033607.tif 000009
【図８】
2006033607.tif 000010
【図９】
2006033607.tif 000011
【図１０】
2006033607.tif 000012
【図１１】
2006033607.tif 000013
【図１２】
2006033607.tif 000014
【図１３】
2006033607.tif 000015
【図１４】
2006033607.tif 000016
【図１５】
2006033607.tif 000017
【図１６】
2006033607.tif 000018
【図１７】
2006033607.tif 000019