(57)【要約】      （修正有）【課題】動画編集システムにおいて、編集中の動画の編集効果をリアルタイムで確認する場合に、編集目的によって要求されるプレビュー表示品質が異なる場合でも、その編集目的に対応するプレビュー表示をすることができる動画編集システムを提供する。【解決手段】供給されるプレビュー用画像データを順次表示することで、プレビュー表示画面にプレビュー動画を表示するプレビュー表示装置と、前記プレビュー用画像データを生成する画像処理部とを具備する動画編集装置を構成する。そして、前記画像処理部は、動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するデコーダと、前記フレームビットマップのデータ量を所定の条件に基づいて低減するデータ処理部とを有する構成である。【選択図】図１
2006101236.tif 000002
【特許請求の範囲】
【請求項１】
供給されるプレビュー用画像データを表示することで、プレビュー表示画面にプレビュー動画を表示するプレビュー表示装置と、
前記プレビュー用画像データを生成する画像処理部
とを具備し、
前記画像処理部は、動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するデコーダと、
前記フレームビットマップのデータ量を、所定の条件および前記デコーダにおける前記フレームビットマップの生成状況に応じて低減するデータ処理部と
を備える
動画編集装置。
【請求項２】
請求項１に記載の動画編集装置において、
前記デコーダは、前記生成状況として前記フレームビットマップの画像サイズを前記データ処理部に通知し、
前記データ処理部は、前記フレームビットマップの画像縦ピクセル数と、前記プレビュー表示画面の画面縦ピクセル数とを抽出し、
前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出し、
前記比における前記画面縦ピクセル数を１にした場合の前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する
動画編集装置。
【請求項３】
請求項２に記載の動画編集装置において、
前記データ処理部は、前記フレームビットマップの画像横ピクセル数と、前記前記プレビュー表示画面の画面横ピクセル数とを抽出し、
前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出し、
前記比における前記画面横ピクセル数を１にした場合の前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する
動画編集装置。
【請求項４】
請求項１から３の何れか１項に記載の動画編集装置において、
前記データ処理部は、予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて面積比較値を算出し、
前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出し、前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する
動画編集装置。
【請求項５】
請求項１から４の何れか１項に記載の動画編集装置において、
前記デコーダは、前記生成状況として前記フレームビットマップの生成処理時間を前記データ処理部に通知し、
前記データ処理部は、前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記生成処理時間に対応する縮小率を算出し、前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する
動画編集装置。
【請求項６】
請求項１から５の何れか１項に記載の動画編集装置において、
前記画像処理部は、さらに、前記プレビュー用画像データに基づいて、プレビュー動画データを生成する動画処理部を備え、
前記画像処理部は、前記プレビュー用画像データのデータを処理する作業領域を特定し、前記作業領域のアドレスを前記動画処理部に通知し、
前記動画処理部は、前記作業領域を利用して前記画像データを生成する
動画編集装置。
【請求項７】
供給されるプレビュー用画像データを順次表示することで、プレビュー表示画面にプレビュー動画を表示する方法をコンピュータに実行させるプログラムであって、
（ａ）動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するステップと、
（ｂ）所定の条件および前記フレームビットマップの生成状況に応じてデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項８】
請求項７に記載のプログラムにおいて、
前記（ｂ）ステップは、
前記生成状況として、前記フレームビットマップの画像サイズを受け取るステップと、
前記画像サイズに基づいて、特定フレームビットマップを選択するステップと、
前記特定フレームビットマップの画像縦ピクセル数を抽出するステップと、
前記プレビュー表示画面の画面縦ピクセル数を抽出するステップと、
前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出するステップと、
前記画面縦ピクセル数を１にした場合、前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項９】
請求項８に記載のプログラムにおいて、
前記（ｂ）ステップは、さらに、
前記画像サイズに基づいて、前記特定フレームビットマップの画像横ピクセル数を抽出するステップと、
前記前記プレビュー表示画面の画面横ピクセル数とを抽出するステップと、
前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出するステップと、
前記画面横ピクセル数を１にした場合、前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項１０】
請求項７から９の何れか１項に記載のプログラムにおいて、
前記（ｂ）ステップは、
予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて、面積比較値を算出するステップと、
前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項１１】
請求項７から１０の何れか１項に記載のプログラムにおいて、
前記（ｂ）ステップは、
前記生成状況として前記フレームビットマップの生成処理時間を受け取るステップと、
前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記フレームビットマップを前記特定フレームビットマップとして選択するステップと、
前記生成処理時間に対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項１２】
請求項７から１１の何れか１項に記載のプログラムにおいて、さらに、
（ｃ）前記プレビュー用画像データに基づいて、プレビュー動画データを生成するステップと、
（ｄ）前記プレビュー用画像データのデータを処理する作業領域を特定するステップと、
（ｅ）前記作業領域を利用して前記画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
【請求項１３】
（ａ）動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するステップと、
（ｂ）所定の条件および前記フレームビットマップの生成状況に応じてデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する動画編集方法。
【請求項１４】
請求項１３に記載の動画編集方法において、
前記（ｂ）ステップは、
前記生成状況として、前記フレームビットマップの画像サイズを受け取るステップと、
前記画像サイズに基づいて、特定フレームビットマップを選択するステップと、
前記特定フレームビットマップの画像縦ピクセル数を抽出するステップと、
前記プレビュー表示画面の画面縦ピクセル数を抽出するステップと、
前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出するステップと、
前記画面縦ピクセル数を１にした場合、前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する動画編集方法。
【請求項１５】
請求項１４に記載のプログラムにおいて、
前記（ｂ）ステップは、さらに、
前記画像サイズに基づいて、前記特定フレームビットマップの画像横ピクセル数を抽出するステップと、
前記前記プレビュー表示画面の画面横ピクセル数とを抽出するステップと、
前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出するステップと、
前記画面横ピクセル数を１にした場合、前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する動画編集方法。
【請求項１６】
請求項１３から１５の何れか１項に記載の動画編集方法において、
前記（ｂ）ステップは、
予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて、面積比較値を算出するステップと、
前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する動画編集方法。
【請求項１７】
請求項１３から１６の何れか１項に記載の動画編集方法において、
前記（ｂ）ステップは、
前記生成状況として前記フレームビットマップの生成処理時間を受け取るステップと、
前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記フレームビットマップを前記特定フレームビットマップとして選択するステップと、
前記生成処理時間に対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップ
を具備する動画編集方法。
【請求項１８】
請求項１３から１７の何れか１項に記載の動画編集方法において、さらに、
（ｃ）前記プレビュー用画像データに基づいて、プレビュー動画データを生成するステップと、
（ｄ）前記プレビュー用画像データのデータを処理する作業領域を特定するステップと、
（ｅ）前記作業領域を利用して前記画像データを生成するステップ
を具備する動画編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画編集システムに関し、特に、動画編集を実行する場合に使用されるプレビュー処理の技術に関する。
【背景技術】
【０００２】
コンピュータ技術が進歩すること伴って、演算処理能力の高いコンピュータが様々な分野において利用されている。特に演算処理能力が要求される動画処理の分野では、そのハードウェアの処理速度に対応して動作する動画編集ソフトウェアが普及してきている。動画編集ソフトウェアを使用して動画編集を実行する場合、編集効果を確認するプレビューウィンドウが使用されている。
【０００３】
従来の動画編集システムは、編集効果を確認する場合、プレビュー用のデータを生成する画像処理エンジンを備えている。その画像処理エンジンは、動画ファイルから抽出されたフレームをビットマップに変換し、編集効果を反映してプレビュー用のデータを生成している。生成されたプレビュー用データは、その画像処理エンジンからプレビューウィンドウに出力され、プレビュー表示が実行されている。
【０００４】
上述のように、従来のプレビュー表示は、動画ファイルから抽出されたフレームをビットマップに変換し、その変換されたフレーム（以下、フレームビットマップと呼ぶ。）を１枚ずつデコードして順次表示している。プレビュー動画を滑らかに表示するためには、単位時間当たりに一定数以上のフレームビットマップを表示する必要がある。そのため、フレームビットマップ１枚当たりのデータ量が多くなると、１枚のフレームビットマップの処理に多くの時間が必要になり、デコード処理がプレビュー表示処理に追いつかなくなってしまう場合がある。そのため、コマ落ちなどが発生してしまい、適切な編集効果の確認を行えない場合がある。
【０００５】
動画、特に圧縮符号化された画像データを処理する技術において、動画像を構成するフレームビットマップの解像度を落としてフレームビットマップのデータ量を減らす技術が知られている（例えば、特許文献１参照）。
【０００６】
動画編集を実行しようとする場合、編集対象の動画像のサイズは、動画編集を実行する動画像ごとに異なっている。また一般的に、動画編集システムには、表示サイズの異なる複数のプレビューウィンドウが備えられている。動画編集者は、その複数のプレビューウィンドウを目的に応じて使い分けて動画編集を行っている。異なる複数のプレビューウィンドウには、例えば、細部の確認を行うためのプレビューウィンドウや、複数のサムネイル動画を一画面でプレビュー表示するプレビューウィンドウなどがある。
全てのフレームビットマップの解像度を一様に落とすことでデータ量を減らしてしまうと、最終的には、ビデオカードの持つハードウェアの拡大機能によってプレビューウィンドウと同等のサイズの画像が表示されるが、拡大前の元画像の解像度によっては、画質が左右されてしまう。例えば、上記のような、細部の確認を行うためのプレビューウィンドウで表示を行うときは、解像度の低下は少ないほうが良い。逆に、複数のサムネイル動画を一画面でプレビュー表示する場合は、その複数のサムネイル動画が同時に動くことを確認することが目的である。したがって、一般的に個々のサムネイルで解像度は重視されていない。
【０００７】
【特許文献１】特開平１１−３５５７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、動画編集システムにおいて、編集中の動画の編集効果をリアルタイムで確認する場合に、編集目的によって要求されるプレビュー表示品質が異なる場合でも、その編集目的に対応するプレビュー表示をすることができる動画編集システムを提供することにある。
【課題を解決するための手段】
【０００９】
以下に、［発明を実施するための最良の形態］で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１０】
上記課題を解決するために、供給されるプレビュー用画像データを順次表示することで、プレビュー表示画面にプレビュー動画を表示するプレビュー表示装置と、前記プレビュー用画像データを生成する画像処理部（１０）とを具備する動画編集装置を構成する。そして、前記画像処理部（１０）は、動画ファイル（ＭＰＥＧファイル）からフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するデコーダ（２１）と、前記フレームビットマップのデータ量を所定の条件に基づいて低減するデータ処理部（２３）とを有する構成である。また、前記デコーダ（２１）は、生成するフレームビットマップに関連する情報を前記データ処理部（２３）に通知し、前記データ処理部（２３）は、前記情報に基づいて特定フレームビットマップを選択し、前記特定フレームビットマップを前記所定の条件に基づいてデータ量を低減させて前記プレビュー用画像データを生成する。このような動画編集システムによって、プレビュー表示を行うことで、プレビュー表示画面（ＰＷ１、ＰＷ２）の画面サイズにあわせて、データ転送量を調節することが可能になり、メモリコピーに関連する情報処理の負荷を低減することが可能になる。
【００１１】
その動画編集装置において、前記デコーダ（２１）は、前記情報として前記フレームビットマップの画像サイズを前記データ処理部（２３）に通知し、前記データ処理部（２３）は、前記フレームビットマップの画像縦ピクセル数と、前記プレビュー表示画面の画面縦ピクセル数とを抽出し、前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出し、前記画面縦ピクセル数を１にした場合、前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する動画編集装置を構成する。ここで、その動画編集システムにおいて、前記第１判定値が２である場合、データ量を低減させつつプレビュー表示を行ったときに効果的な表示が可能になる。
【００１２】
その動画編集装置において、前記データ処理部（２３）は、前記フレームビットマップの画像横ピクセル数と、前記前記プレビュー表示画面の画面横ピクセル数とを抽出し、前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出し、前記画面横ピクセル数を１にした場合、前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する動画編集装置を構成する。上記のように動画編集システムを構成することで、縦横比が一般的でない画像を編集する場合であっても効果的はプレビュー表示を行うことが可能になる。さらに、その動画編集システムにおいて、前記第２判定値が２である場合、上記のようにデータ量を低減させつつプレビュー表示を行ったときに効果的な表示が可能になる。
【００１３】
その動画編集装置において、前記データ処理部（２３）は、予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて面積比較値を算出し、前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出し、前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する動画編集装置を構成する。
【００１４】
その動画編集装置において、前記デコーダ（２１）は、前記情報として前記フレームビットマップの生成処理時間を前記データ処理部（２３）に通知し、前記データ処理部（２３）は、前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記生成処理時間に対応する縮小率を算出し、前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成する動画編集装置を構成する。
【００１５】
その動画編集装置において、前記画像処理部は、さらに、前記プレビュー用画像データに基づいて、プレビュー動画データを生成する動画処理部を備え、前記画像処理部は、前記プレビュー用画像データのデータを処理する作業領域を特定し、前記作業領域のアドレスを前記動画処理部に通知し、前記動画処理部は、前記作業領域を利用して前記画像データを生成する動画編集装置を構成する。このような動画編集システムを構成し、作業領域を特定することで、画像表示処理にかかる負荷を低減させることが可能になる。
【００１６】
コンピュータを使用して上記課題を解決する場合、供給されるプレビュー用画像データを順次表示することで、プレビュー表示画面にプレビュー動画を表示する方法をコンピュータに実行させるプログラムをコンピュータに搭載する。そのプログラムは、
（ａ）動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するステップと、
（ｂ）生成されるフレームビットマップに関連する情報に基づいて特定フレームビットマップを選択するステップと、
（ｃ）前記特定フレームビットマップを所定の条件に基づいてデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する方法をコンピュータで実行可能なプログラムである。
【００１７】
そのプログラムにおいて、前記（ｂ）ステップは、前記情報として、前記フレームビットマップの画像サイズを受け取るステップと、前記画像サイズに基づいて、前記特定フレームビットマップを選択するステップとを含み、
前記（ｃ）ステップは、前記特定フレームビットマップの画像縦ピクセル数を抽出するステップと、前記プレビュー表示画面の画面縦ピクセル数を抽出するステップと、
前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出するステップと、前記画面縦ピクセル数を１にした場合、前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する方法をコンピュータで実行可能なプログラムであることが好ましい。
【００１８】
そのプログラムにおいて、前記（ｃ）ステップは、前記フレームビットマップの画像横ピクセル数を抽出するステップと、前記前記プレビュー表示画面の画面横ピクセル数とを抽出するステップと、前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出するステップと、前記画面横ピクセル数を１にした場合、前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する方法をコンピュータで実行可能なプログラムであってもよい。
【００１９】
そのプログラムにおいて、前記（ｃ）ステップは、予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて、面積比較値を算出するステップと、前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出するステップと、前記縮小率に基づいて前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する方法をコンピュータで実行可能なプログラムであってもよい。
【００２０】
そのプログラムにおいて、前記（ｂ）ステップは、前記情報として前記フレームビットマップの生成処理時間を受け取るステップと、前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記フレームビットマップを前記特定フレームビットマップとして選択するステップとを含み、
前記（ｃ）ステップは、前記生成処理時間に対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する方法をコンピュータで実行可能なプログラムであってもよい。
【００２１】
そのプログラムにおいて、さらに、
（ｄ）前記プレビュー用画像データに基づいて、プレビュー動画データを生成するステップと、
（ｅ）前記プレビュー用画像データのデータを処理する作業領域を特定するステップと、
（ｆ）前記作業領域を利用して前記画像データを生成するステップ
を具備する方法をコンピュータで実行可能なプログラムであることが好ましい。
【００２２】
上記課題を解決手段として、以下の動画編集方法を実行する。その動画編集方法は、
（ａ）動画ファイルからフレーム画像を抽出し、前記フレーム画像をビットマップ画像に変換してフレームビットマップを生成するステップと、
（ｂ）生成されるフレームビットマップに関連する情報に基づいて特定フレームビットマップを選択するステップと、
（ｃ）前記特定フレームビットマップを所定の条件に基づいてデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する動画編集方法である。
【００２３】
その動画編集方法において、前記（ｂ）ステップは、前記情報として、前記フレームビットマップの画像サイズを受け取るステップと、前記画像サイズに基づいて、前記特定フレームビットマップを選択するステップと含み、
前記（ｃ）ステップは、前記特定フレームビットマップの画像縦ピクセル数を抽出するステップと、前記プレビュー表示画面の画面縦ピクセル数を抽出するステップと、
前記画像縦ピクセル数と前記画面縦ピクセル数との比
画像縦ピクセル数：画面縦ピクセル数
を算出するステップと、前記画面縦ピクセル数を１にした場合、前記画像縦ピクセル数に対応する値Ｎが、予め定められた第１判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する動画編集方法であってもよい。
【００２４】
その動画編集方法において、前記（ｃ）ステップは、前記フレームビットマップの画像横ピクセル数を抽出するステップと、前記前記プレビュー表示画面の画面横ピクセル数とを抽出するステップと、前記画像横ピクセル数と前記画面横ピクセル数との比
画像横ピクセル数：画面横ピクセル数
を算出するステップと、前記画面横ピクセル数を１にした場合、前記画像横ピクセル数に対応する値Ｍが、予め定められた第２判定値を超える場合、前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する動画編集方法であってもよい。
【００２５】
その動画編集方法において、前記（ｃ）ステップは、予め定められた特定画像サイズと前記プレビュー表示画面の画面サイズとに基づいて、面積比較値を算出するステップと、前記面積比較値が予め定められた範囲をこえるとき、前記プレビュー表示画面の画面サイズに対応する縮小率を算出するステップと、前記縮小率に基づいて前記特定フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する動画編集方法であってもよい。
【００２６】
その動画編集方法において、前記（ｂ）ステップは、前記情報として前記フレームビットマップの生成処理時間を受け取るステップと、前記生成処理時間と前記フレームビットマップを表示するために必要な表示時間とを比較し、前記生成処理時間が前記表示時間を超えるとき、前記フレームビットマップを前記特定フレームビットマップとして選択するステップとを含み、
前記（ｃ）ステップは、前記生成処理時間に対応する縮小率を算出するステップと、
前記縮小率に基づいて前記フレームビットマップのデータ量を低減させて前記プレビュー用画像データを生成するステップを具備する動画編集方法であってもよい。
【００２７】
その動画編集方法において、さらに、
（ｄ）前記プレビュー用画像データに基づいて、プレビュー動画データを生成するステップと、
（ｅ）前記プレビュー用画像データのデータを処理する作業領域を特定するステップと、
（ｆ）前記作業領域を利用して前記画像データを生成するステップ
を具備する動画編集方法であることが好ましい。
【発明の効果】
【００２８】
本発明によると、編集途中の動画の編集効果をリアルタイムで確認する場合に、編集目的によって、要求されるプレビュー表示の品質が異なる場合でも、その編集目的に対応するプレビュー表示をすることができる。
【発明を実施するための最良の形態】
【００２９】
［第１の実施形態の構成］
以下に、図面を使用して本発明の実施の形態について説明を行う。図１は、本実施の形態に述べる、動画編集システムの構成を示すブロック図である。図１に示されているように、本実施の形態の動画編集システムは、コンピュータ１と、入力装置２と、表示装置３とを含んで構成されている。ここで、図１に示されている鎖線は信号またはデータの授受を示しているものとする。コンピュータ１は、動画編集を実行する情報処理装置である。入力装置２は、コンピュータ１に接続された情報入力装置である。入力装置２は、キーボードやマウスなどのマンマシンインターフェースで構成されていることが好ましい。動画像を編集する編集者は、その入力装置２を介して命令をコンピュータ１に入力することで、動画編集を実行する。表示装置３は、コンピュータ１に接続された情報表示装置である。表示装置３は、ＣＲＴや液晶表示装置などのマンマシンインターフェースで構成されていることが好ましい。図１に示されている表示装置３は、コンピュータ１から供給される表示データを処理して、表示画面に表示している。動画像を編集する編集者は、表示装置３に表示される表示画像に基づいて、編集効果の確認などを行う。
【００３０】
図１に示されているように、コンピュータ１はさらに、動画編集装置１０と、ＣＰＵ（中央演算処理装置）４と、メモリ５と、記録メディア６とを含んで構成されている。その各々はバス７を介して接続されている。動画編集装置１０は、コンピュータ１に備えられた動画編集機能ブロックである。本実施の形態において、図１に示されている動画編集装置１０は、コンピュータで情報処理が可能なプログラムによって構成されているものとして説明を行う。なお、これは本発明における動画編集装置１０の構成を限定するものではない。本実施の形態の動画編集装置１０をハードウェア的に構成したとしても、本発明は効果を発揮することが可能である。
【００３１】
ＣＰＵ４は、コンピュータ１に備えられた演算処理装置である。ＣＰＵ４は、例えば入力装置２から供給される命令を受信し、その命令を解釈して所定の装置に、演算結果を出力している。ＣＰＵ４に接続されている各装置は、ＣＰＵ４から送信される演算結果に基づいて、所定の情報処理を実行する。以下の述べる本実施の形態では、そのＣＰＵ４が単一の演算処理装置である場合を例に説明を行っているが、これは本発明のＣＰＵ４の構成を限定するものではない。
【００３２】
メモリ５は、コンピュータ１に備えられた情報記憶装置である。メモリ５は、バス７を介して受信する情報の読み出し命令／書き込み命令に応答して、格納された情報の読み書きを実行している。以下の述べる本実施の形態では、そのメモリ５がＲＡＭで構成されている場合を例に説明を行っているが、これは本発明のメモリ５の構成を限定するものではない。
【００３３】
記録メディア６は、不揮発性の書き換え可能な情報記憶装置である。記録メディア６は、編集対象である動画ファイルを格納している。以下の述べる本実施の形態では、その記録メディア６がＨＤＤ（ハードディスクドライブ）で構成されている場合を例に説明を行っているが、これは本発明の記録メディア６の構成を限定するものではない。さらに、記録メディア６に格納されている動画ファイルが、ＭＰＥＧ圧縮されているファイルである場合を例に、説明をおこなう。なお、本発明における動画編集は、動画ファイルのフォーマットに影響を受けることはない。
【００３４】
図１を参照すると、動画編集装置１０は、動画処理エンジン部２０と、アプリケーション部３０とを含んで構成されている。
【００３５】
動画処理エンジン部２０は、プレビュー用の画像処理を行う画像処理エンジンである。図１に示されているように、動画処理エンジン部２０は、デコーダ２１と、表示フォーマット変換部２２と、縮小処理部２３とを含んで構成されている。
【００３６】
デコーダ２１は、圧縮されている動画ファイルをデコードする復号化機能ブロックである。デコーダ２１は、記録メディア６に格納されている動画ファイルが圧縮符号化されたファイルである場合に、そのファイルのデコードを実行している。デコーダ２１は、その動画ファイルをフレーム毎にデコードしてフレームビットマップを生成してている。
【００３７】
表示フォーマット変換部２２は、デコーダ２１が生成したフレームビットマップのフォーマット変換を行う情報処理機能ブロックである。表示フォーマット変換部２２は、供給されるフレームビットマップの色空間をＹＵＶ色空間からＲＧＢ色空間への変換を実行している。
【００３８】
縮小処理部２３は、フレームビットマップのデータ量の調節を実行するデータ処理機能ブロックである。縮小処理部２３は、フレームビットマップの画像サイズと、そのフレームビットマップを表示させようとしているプレビューウィンドウの表示画面サイズとに対応して、フレームビットマップのデータ量の調節を行っている。
【００３９】
アプリケーション部３０は、動画処理エンジン部２０から送信される画像を表示装置３に表示させるための情報処理を実行する画像処理機能ブロックである。図１に示されているように、アプリケーション部３０は、編集設定部３１と、動画処理部３２と、プレビュー表示部３３とを含んで構成されている。
【００４０】
編集設定部３１は、実行する動画編集に関連する情報を動画処理エンジン部２０に通知する情報処理機能ブロックである。動画像を編集する編集者は、プレビューを実行しようとする場合、入力装置２から入力されるプレビュー実行命令をアプリケーション部３０に供給する。アプリケーション部３０の編集設定部３１は、そのプレビュー実行命令に応答して、現在編集されている動画ファイルのフレーム情報を動画処理エンジン部２０に通知している。
【００４１】
動画処理部３２は、プレビュー用画像データを生成する画像処理機能ブロックである。動画処理部３２は、動画処理エンジン部２０から供給されるフレームビットマップを、編集設定部３１で編集されている編集効果に対応してデータ処理を行い、プレビュー用画像データを生成している。
【００４２】
プレビュー表示部３３は、入力される画像データを表示装置３で表示可能な形式に変換するデータ変換機能ブロックである。図１に示されているプレビュー表示部３３は、動画処理部３２から供給されるプレビュー用画像データを、表示装置３で表示可能な形式に変換して出力している。
【００４３】
図２は、本実施の形態におけるプレビューウィンドウが表示されている表示装置３の画面を示す図である。図２には、二つのことなるプレビューウィンドウが示されているが、これは、本発明の理解を容易にするためのものであり、プレビューウィンドウの数を限定するものではない。図２に示されているように、本実施の形態の動画編集システムは、表示サイズの異なる複数のプレビューウィンドウを備えている。ビューアＰＶ１は、標準的なプレビュー用画像データを表示するプレビューウィンドウである。図２に示されているように、ビューアＰＶ１は、縦方向長さが縦Ｌ１であり、横方向長さが横Ｗ１である表示画面ＰＷ１を備えている。ビューアＰＶ２は、特殊な画面レイアウトに対応するプレビューウィンドウである。図２に示されているように、ビューアＰＶ２は、縦方向長さが縦Ｌ２であり、横方向長さが横Ｗ２である複数の表示画面ＰＷ２を備えている。本実施の形態において、動画像を編集する編集者が任意のタイミングでプレビューウィンドウを切り替えて使用した場合でも、動画編集装置１０は、そのウィンドウサイズに対応するようにプレビュー用画像データを生成している。そのため、コマ落ちなどの発生を未然に防止することができる。
【００４４】
図３は、編集作業と、その編集作業で使用されるプレビューウィンドウとの対応を示す図である。図３に示されているように、ひとつの動画編集システム内において、リアルタイムのプレビュー表示を要求されるプレビューウィンドウは複数存在している。図３は、どういう編集過程でどういうプレビューウィンドウが使用されるかを例示している。図３に示されているように、プレビューウィンドウの個々のサイズは多様である。プレビューウィンドウの個々のサイズに合わせた処理を行うことが効果的である。
【００４５】
図４は、MPEGファイル自身が持つ縦長及び横幅(サイズ)と、プレビューウィンドウの縦幅及び横幅の関係を示した図である。図４に示されているように、映像ファイルは、それぞれ固有の縦幅、横幅を有している。例えば、図４のＭＰＥＧファイル１の横幅×縦幅は、７２０×４８０であり、ＭＰＥＧファイル２の横幅×縦幅は、３５２×２４０である。また、プレビューウィンドウは編集場面によってサイズが異なるものが使用される。例えば、図４に示されているプレビューウィンドウ１の横幅×縦幅は、２２０×２２０である。
【００４６】
図４を参照すると、リアルタイムプレビュー再生時に、毎フレームビットマップをプレビュー画面に表示する過程が示されている。縮小動作を行わない場合、フレームビットマップの転送量と転送速度は、そのサイズに比例して変化する。フレームビットマップのデータ量を選択的に縮小させる場合、転送速度が遅くなりそうなときにデータ量を減らしたフレームビットマップを生成してプレビュー表示を行っている。フレームビットマップをプレビューウィンドウのサイズに合わせて拡大縮小をする処理は、コンピュータの場合はビデオカード等ハードウェアの機能によって行われるので、フレームビットマップのサイズによらず一瞬とみなしてよい。前述したように、リアルタイムのプレビュー表示において、コマ落ちなどの不快な表示動作の原因となるのはメモリ間のデータ転送である。
【００４７】
［第１の実施形態の動作］
以下に、図面を使用して本実施の形態の動作について説明を行う。図５Ａおよび図５Ｂは、本実施の形態のプレビュー表示動作を示すフローチャートである。図５Ａは、その動作の前半部分を示し図５Ｂはその動作の後半部分を示している。図５Ａおよび図５Ｂに示されている動作は、入力装置２から入力されるプレビュー実行命令を、アプリケーション部３０が受信すると開始する。ステップＳ１０１において、編集設定部３１は、現在実行している編集情報に基づいて、動画処理エンジン部２０にプレビュー用画像データの生成を要求する。動画処理エンジン部２０は、その要求に応答して、編集が行われている動画ファイルからフレーム情報を取得する。動画処理エンジン部２０のデコーダ２１は、そのフレーム情報に基づいて動画ファイルをデコードしフレームビットマップを生成する。
【００４８】
ステップＳ１０２において、動画処理エンジン部２０は、プレビューを実行するビューアの表示画面サイズを取得する。例えば、図２に示されているビューアＰＶ１を使用して編集効果の確認をしようとしている場合、Ｌ１×Ｗ１が取得される。
【００４９】
ステップＳ１０３において、フレーム情報に基づいて、デコーダ２１で生成されるフレームビットマップの画像サイズデータが算出される。その画像サイズデータと、ステップＳ１０２で取得されたビューアの表示画面サイズデータが縮小処理部２３に通知される、縮小処理部２３は、各々のサイズデータの受信に応答して、画像サイズの比較処理を実行する。
【００５０】
ステップＳ１０４において、縮小処理部２３は、受信した画像サイズの縦方向の長さデータとビューアの表示画面の縦方向の長さデータとを比較する。縮小処理部２３は、その比較の結果に基づいて、処理を振分ける。ステップＳ１０４での比較の結果、画像サイズがビューアの表示画面サイズよりも大きい場合、処理はステップＳ１０５に進む。ステップＳ１０４での比較の結果、画像サイズがビューアの表示画面サイズよりも同じかまたは小さい場合、処理はステップＳ１０６に進む。
【００５１】
ステップＳ１０５において、縮小処理部２３は、デコーダ２１が生成したフレームビットマップのデータ量を減少させてからプレビュー表示する縮小モードを選択する。ステップＳ１０６において、縮小処理部２３は、アプリケーション部３０に通知するビットマップのサイズを決定する。縮小モードでは、縮小処理部２３は、所定の割合でフレームビットマップのデータ量を減少させている。通知するサイズは、そのデータ量を減少させた後のフレームビットマップに対応するサイズである。以下では、デコーダ２１で生成されたフレームビットマップの水平ラインを、一定の間隔で間引きすることでデータ量を減少させる処理を行う場合を例に説明を行う。なお、これは、データ量を減少させる処理を特定するものではなく。例えば、使用する色数を減少させてデータ量を減少させても良い。ステップＳ１０７において、縮小処理部２３は、デコーダ２１が生成したフレームビットマップのデータ量を変更せずにプレビュー表示する通常モードを選択する。ステップＳ１０８において、縮小処理部２３は、アプリケーション部３０に通知するビットマップのサイズを決定する。
【００５２】
ステップＳ１０９において、縮小処理部２３は、決定したサイズに対応するデータ領域を特定する。縮小処理部２３は、サイズが決定したことに対応して、プレビュー表示に必要なビットマップサイズを特定する縮小処理部２３は、そのビットマップを表示するための作業領域を予め確保しておき、その確保された領域に順次画像データを送信することで、より高速に情報処理を行うことが可能になる。
【００５３】
ステップＳ１１０において、縮小処理部２３は、その確保した作業領域のアドレスをプレビュー表示部３３に通知する。プレビュー表示部３３は、通知されたアドレスを使用して画像処理（エフェクト処理など）を実行することで、画像処理に係る処理時間を短縮することが可能になる。
【００５４】
図５ＢのステップＳ１１１において、デコーダ２１は、プレビュー表示の要求がある動画ファイルから、フレームビットマップを作成する。作成されたフレームビットマップは、表示フォーマット変換部２２に出力される。
【００５５】
ステップＳ１１２において、表示フォーマット変換部２２は、デコーダ２１から供給されるフレームビットマップの表示フォーマットを変換する。デコーダ２１から出力されるフレームビットマップの色空間はＹＵＶ色空間である。表示フォーマット変換部２２は、そのＹＵＶ色空間からＲＧＢ色空間への変換を実行して縮小処理部２３に供給する。
【００５６】
ステップＳ１１３において、縮小処理部２３は、現在のプレビュー表示モードの確認をおこなう。そのモード確認は、縮小モードが選択されているかどうかを判断することで実行される。ステップＳ１１４において、縮小モードが選択されているかどうかの判断を実行する、その判断の結果、縮小モードが選択されている場合、処理はステップＳ１１５に進み、縮小モードが選択されていなかった場合、処理はステップＳ１１６に進む。
【００５７】
ステップＳ１１５において、縮小処理部２３は、フレームビットマップの水平ラインを、所定の間隔で間引きして、アプリケーション部３０に出力するための画像データを生成する。ステップＳ１１６において、縮小処理部２３は、表示フォーマット変換部２２から供給されるフレームビットマップのデータ量を変更することなく、アプリケーション部３０に出力するための画像データを生成する。
【００５８】
ステップＳ１１７において、縮小処理部２３は、生成された画像データを、ステップＳ１０９で特定されたデータ領域に転送する。このとき、縮小処理部２３は、画像データを転送した旨の通知を、その転送に応答して、動画処理部３２に送信する。
【００５９】
ステップＳ１１８において、動画処理部３２は、供給される画像データに対して、エフェクト処理を実行してプレビュー表示部３３に出力する。ステップＳ１１９において、プレビュー表示部３３は、供給されたエフェクト処理済画像データを表示装置３で表示可能な形式に変換し、表示データを生成する。プレビュー表示部３３は、その表示データを表示装置３に出力する。表示装置３では、その表示データを、起動しているビューアの表示画面に対応させて表示する。表示データをビューアの表示画面に対応させる処理は、自動的に実行される。受信した１枚のフレーム処理が完了した後、次フレームの処理を実行するかどうかの判断を行う。その判断は、プレビュー再生停止命令を受信したかどうかによって行われる。
【００６０】
ステップＳ１２０において、そのプレビュー再生停止命令を受信したかどうかの判断を行った結果、プレビュー停止命令を受信していない場合、処理はステップＳ１１１に戻り、プレビュー再生を継続する。
【００６１】
上記のようなプレビュー再生動作を行うことで、表示画面サイズの異なる複数のプレビューウィンドウを切り替えて使用する場合でも、各々のプレビューウィンドウに対応したプレビュー画像を生成することが可能になる。
【００６２】
図６は、縮小モードでの作業領域を特定する場合の処理を概念的に示す概念図である。図６に示されている縮小モードでは、フレームビットマップの水平ラインを１ライン置きに間引いて画像データを生成している。また、その縮小モードは、プレビューウィンドウの縦方向の長さＬ１と、フレームビットマップの縦方向の長さＦＬ１とを比較して下記（１）式
ＦＬ１／２＞Ｌ１…（１）
が成立するときに、選択されるものとする。
ここで、表示画面ＰＷ１の縦ピクセル数を１にした場合に、プレビュー用画像の縦ピクセル数と前記画面の縦ピクセル数との比が、
画像の縦ピクセル数：画面の縦ピクセル数＝Ｎ：１
で表され、その特定された画像の横ピクセル数に対応する値Ｎが、予め定められた値を超える場合、データ量を低減させた新たなプレビュー用画像データを生成する。このときの値を任意に設定することで、対象となる動画像の解像度に適切に対応するプレビュー表示が可能になる。
【００６３】
また、表示画面ＰＷ１の横ピクセル数を１にした場合に、プレビュー用画像の横ピクセル数と前記画面の横ピクセル数との比が、
画像の横ピクセル数：画面の横ピクセル数＝Ｍ：１
で表され、その特定された画像の横ピクセル数に対応する値Ｍが、予め定められた値を超える場合、データ量を低減させた新たなプレビュー用画像データを生成する構成のときには、さらに、垂直ラインを考慮に入れて処理を実行する。このときの値を任意に設定することで、対象となる動画像の解像度に適切に対応するプレビュー表示が可能になる。
図６（ａ）に示されているフレームビットマップ４０は、デコーダ２１から出力されるフレーム情報に基づいて算出されるフレームビットマップの画像サイズデータを示している。そのフレームビットマップ４０の縦方向の長さを長さＦＬ１で示し、横方向の長さを長さＦＷ１で示している。
【００６４】
図６（ａ）に示されているＰＷ１は、動画処理エンジン部２０が抽出したプレビューウィンドウの表示画面サイズデータを概念的に示している。図６の表示画面ＰＷ１に示されている長さＬ１は、その表示画面ＰＷ１の縦方向の長さを示している。図６（ｂ）は、表示画像サイズが上記（１）式を満たしたことで、縮小モードが選択された場合の処理を示している。図６（ｂ）に示されているように、フレームビットマップ４０は、複数の水平ライン（ライン１〜ラインｎ：ｎは任意の自然数）で構成されている。縮小処理部２３は、縮小モードが選択されたことで、そのラインの各々を特定する識別子（４０−１〜４０−ｎ）を付加する。図６（ｃ）に示されているように、その後、縮小処理部２３は、水平ラインを１ライン置きに抽出してプレビュー表示用画像データ４１を生成する。
【００６５】
図６に示されているデータ縮小処理は、複数の水平ラインから、１ライン置きにデータをラインを特定し、その特定された間引くことで、データ量の減少を行っている。ラインの特定は、１ライン置きに限定される事は無く、任意の複数ライン毎に１ライン分のデータを間引く構成であっても良い。さらには、表示画面ＰＷ１が表示画面サイズに比較して、十分に小さい場合、任意の複数ライン毎に１ライン分のデータを特定し、その特定されたデータ以外のデータを間引きする構成であっても良い。
【００６６】
［第２の実施形態］
以下に、図面を使用して本発明の第２の実施形態における、プレビュー表示動作について説明を行う。図７Ａおよび図７Ｂは、第２の実施形態のプレビュー表示動作を示すフローチャートである。図７Ａはその動作の前半部分を示し、図７Ｂはその動作の後半部分を示している。図７Ａおよび図７Ｂに示されている動作は、入力装置２から入力されるプレビュー実行命令を、アプリケーション部３０が受信すると開始する。図７Ａに示されているステップＳ２０１からステップＳ２０４までは、前述の動作と同様なので、詳細な説明は省略する。
【００６７】
図７ＡのステップＳ２０４において、縮小処理部２３は、受信した画像サイズの縦方向の長さデータとビューアの表示画面の縦方向の長さデータとを比較する。縮小処理部２３は、その比較の結果に基づいて、処理を振分ける。ステップＳ２０４での比較の結果、画像サイズがビューアの表示画面サイズよりも大きい場合、処理はステップＳ２０５に進む。ステップＳ２０４での比較の結果、画像サイズがビューアの表示画面サイズに対して同じかまたは小さい場合、処理はステップＳ２０６に進む。
【００６８】
ステップＳ２０５において、縮小処理部２３は、デコーダ２１が生成したフレームビットマップのデータ量を減少させてからプレビュー表示する第１縮小モードを選択する。ステップＳ２０６において、縮小処理部２３は、デコーダ２１が生成したフレームビットマップのデータ量を変更せずにプレビュー表示する通常モードを選択する。
【００６９】
ステップＳ２０７において、縮小処理部２３は、さらに、受信した画像サイズの横方向の長さデータとビューアの表示画面の横方向の長さデータとを比較する。その比較の結果、画像の横方向の長さ（ＦＷ１）がビューアの表示画面の横方向の長さ（Ｗ１）よりも大きい場合、ステップＳ２０８に進み、第２縮小モードを選択する。ステップＳ２０７での比較の結果、画像の横方向の長さ（ＦＷ１）がビューアの表示画面の横方向の長さ（Ｗ１）に対して、同じかまたは小さい場合、第１モードに処理モードを特定して、処理はステップＳ２０９に進む。以降、ステップＳ２１０から、ステップＳ２１３まで処理は、前述の動作の説明におけるステップＳ１０９からステップＳ１１３までの動作と同様であるので、詳細な説明は省略する。
【００７０】
ステップＳ２１４において、縮小処理部２３はどの処理モードが選択されているかの確認動作を実行する。ステップＳ２１５において、縮小処理部２３は、縮小モード（第１縮小モードまたは第２縮小モード）が選択されているかどうか判断する。その判断の結果、縮小モードが洗濯されていなかった場合、つまり、通常モードが選択されている場合、処理はステップＳ２１７に進む。ステップＳ２１７において、縮小処理部２３は、表示フォーマット変換部２２から供給されるフレームビットマップのデータ量を変更することなく、アプリケーション部３０に出力するための画像データを生成する。
【００７１】
ステップＳ２１５での判断結果、縮小モードが選択されている場合、処理はステップＳ２１６に進む。ステップＳ２１６において、縮小処理部２３は、フレームビットマップの水平ラインを、所定の間隔で間引きして、第１縮小モードに対応する画像データを生成する。その後処理はステップＳ２１８に進み、第２縮小モードが選択されているかどうかの判断が実行される。その判断の結果、第２縮小モードが選択されている場合、処理はステップＳ２１９に進む。第２選択モードが選択されていなかった場合、ステップＳ２２０に進む。
【００７２】
ステップＳ２１９において、縮小処理部２３は、ステップ２１６で生成された画像に対してフレームビットマップの垂直ラインを、所定の間隔で間引きして、第２縮小モードに対応する画像データを生成する。
【００７３】
ステップＳ２２０において、縮小処理部２３は、生成された画像データを、ステップＳ２１０で特定されたデータ領域に転送する。このとき、縮小処理部２３は、画像データを転送した旨の通知を、その転送に応答して、動画処理部３２に送信する。ステップＳ２２１において、動画処理部３２は、供給される画像データに対して、エフェクト処理を実行してプレビュー表示部３３に出力する。ステップ２２２において、プレビュー表示部３３は、供給されたエフェクト処理済画像データを表示装置３で表示可能な形式に変換し、その変換データを表示装置３に出力する。１枚のフレーム処理が完了した後、次フレームの処理を実行するかどうかの判断を行う。その判断は、プレビュー再生停止命令を受信したかどうかによって行われる。
【００７４】
ステップＳ２２３において、そのプレビュー再生停止命令を受信したかどうかの判断を行った結果、プレビュー停止命令を受信していない場合、処理はステップＳ２１２に戻り、プレビュー再生を継続する。
【００７５】
上記のようなプレビュー再生を実行することで、表示画面サイズの異なる複数のプレビューウィンドウを切り替えて使用する場合でも、各々のプレビューウィンドウに対応したプレビュー画像を生成することが可能になる。画像サイズの縦方向の長さと横方向の長さの各々に対応してデータ処理を実行することで、特に、画像サイズの縦横比が変則的であったとしても、適切なプレビュー再生を行うことが可能になる。
【００７６】
［第３の実施形態］
図８は、第３の実施形態の動作を示すフローチャートである。第３の実施形態における動画編集システムは、編集実行中のプレビューウィンドウの種類ごとにフレームビットマップのライン間引きを可変的に実行している。つまり、プレビューウィンドウとMPEGファイルの持つサイズの比較だけではなく、別の条件で間引くか、間引かないかの判断を行っている。
【００７７】
図３の説明でも述べたように、プレビューウィンドウには、作成される動画の細部の確認用ウィンドウや、演出の確認用ウィンドウなどがあり、目的に対応して複数のウィンドウが使い分けられている。例えば、プレビューウィンドウが動画編集システム（アプリケーション）中に占めるサイズが大きな場合は、そのウィンドウは、動画の細部の確認を行うためのウィンドウであると考えることができる。逆に、サムネイル表示の部分でプレビュー再生を行う場合は、サムネイルが動くことを見せることが目的である。そのため個々のサムネイルで表示する画像の解像度を低解像度にすることができる。
【００７８】
図８のステップＳ３０１において、プレビューウィンドウのサイズを取得する。取得したサイズに基づいてプレビューウィンドウ面積ｓｑを算出する（ステップＳ３０２）。ステップＳ３０３において、作成する画像サイズｓｑＮｏｍａｌを取得する。以下の説明においては、取得する画像サイズｓｑＮｏｍａｌが標準的なMPEG-2のサイズである720×480である場合を例に説明を行う。なお、これは本発明の画像サイズｓｑＮｏｍａｌを限定するものではない。
【００７９】
ステップＳ３０４において、プレビューウィンドウ面積ｓｑと標準MPEG-2面積ｓｑＮｏｍａｌとの比較を行う。その比較の結果、
(sqNomal÷sq)＜２
であるならば、（プレビューウィンドウ面積ｓｑが、MPEG-2のフルスクリーン表示に近い場合）には、処理はステップＳ３０５に進む。ステップＳ３０５において、そのプレビューウィンドウは利用者が映像の細部を確認するプレビューウィンドウであると判断して、ラインを間引かないでフレームビットマップを作成する。
また、その比較の結果、
(sqNomal÷sq)≧4
である場合、（プレビューウィンドウ面積ｓｑが、サムネイル表示のプレビュー再生に近い場合）には処理モードを第３縮小モードとし、処理はステップＳ３０６に進む。
【００８０】
ステップＳ３０６において、ライン間引き間隔ｍを設定して、通常処理（第１の実施形態または第２の実施形態の処理）以上にラインを間引く。それによって転送速度を高速化することができる。ここで、ライン間引き間隔ｍは、MPEGファイルの持つ縦長とプレビューウィンドウの縦長から決定され、
MPEGファイルの持つ縦長÷プレビューウィンドウの縦長
から算出された数の整数部分である。
上記の条件にあてはまらない場合、処理はステップＳ３０７に進み、通常処理（第１の実施形態または第２の実施形態の処理）によって間引く間引かないを決定する。その後のステップＳ３０８からステップＳ３１２までの処理は、通常処理（第１の実施形態または第２の実施形態の処理）で述べたものと同様であるので、動作の詳細な説明は省略する。
【００８１】
ステップＳ３１３において、現在の処理モードの判定が行われる。その判定の結果、処理モードが第３縮小モードである場合には、ステップＳ３１４に進み垂直方向のライン間引きを実行する。ここで、間引き間隔は、上述のライン間引き間隔ｍに基づいて決定される。第３縮小モードでない場合、処理はステップＳ３１４に進み、通常処理（第１の実施形態または第２の実施形態の処理）によって間引く間引かないを決定する。以下、ステップＳ１１７からステップＳ１２０までの処理は、通常処理（第１の実施形態または第２の実施形態の処理）で述べたものと同様であるので、動作の詳細な説明は省略する。
【００８２】
上記のような動作でフレームビットマップを生成することで、目的に対応して複数のウィンドウが使い分けられているときに、編集目的に対応したデータ処理を行ってプレビュー表示を行うことが可能になる。
【００８３】
［第４の実施形態］
図９は、第４の実施形態の動作を示すフローチャートである。第４の実施形態における動画編集システムは、MPEGデコーダ側で、デコードに時間がかかった場合には、ラインを間引いた転送を行うようにすることで処理時間を調節する。その条件はビットマップフレームのデコードにかかった処理時間をt1−t0として
(時刻t1−時刻t0＋時間α) ＞ 時間TimeOne 
である。ここで、時間TimeOneは1枚のフレームを表示するのにかかる時間である。この時間TimeOneは、MPEGファイルの持つフレームレートから計算する。また、時間αは、デコード後からフレームビットマップの転送完了までにかかる時間である。この時間αは、あらかじめ求めておく。(時刻t1−時刻t0＋時間α) ＞時間 TimeOneである場合に、ライン間引き間隔ｍを設定して、ライン間引きの処理を行う。ライン間引き間隔ｍはフレームビットマップの縦幅において、何ライン毎に間引くかを決定する整数値であり、
（MPEGファイルの持つフレームレート÷処理時間t1−t0）
から算出された数の整数部分であり、時間TimeOneを越えた値に比例する。
【００８４】
図９のステップＳ４０１において、デコーダ２１はデコード（フレームビットマップの生成）開始に応答してその開始時刻ｔ０をメモリ５に記憶する。デコーダ２１は、時刻ｔ０を記憶した後、フレームビットマップの生成を行う（ステップＳ４０２）。ステップＳ４０３において、デコーダ２１はデコード（フレームビットマップの生成）完了に応答してその開始時刻ｔ１をメモリ５に記憶する。ステップＳ４０５において、表示フォーマット変換部２２は、デコーダ２１から供給されるフレームビットマップの表示フォーマットを変換する。ステップＳ４０６において、デコードに費やした時間が条件
(時刻t1−時刻t0＋時間α) ＞時間 TimeOne
に適合するかどうかの判断を行う。ライン間引き間隔ｍはフレームビットマップの縦幅において、何ライン毎に間引くかを決定する整数値である。 ｍは(時刻t1−時刻t0＋時間α−時間TimeOne)の値に応じて0〜(÷2)の範囲で設定する。
【００８５】
ステップＳ４０６の判断の結果、条件に適合する場合、処理はステップＳ４０７に進み、ライン間引き間隔ｍを算出する。上述したように、ライン間引き間隔ｍはフレームビットマップの縦幅において、何ライン毎に間引くかを決定する整数値である。 ｍは(時刻t1−時刻t0＋時間α−時間TimeOne)の値に応じて0〜(縦幅÷2)の範囲で設定する。ライン間引き間隔ｍはフレームビットマップの縦幅において、何ライン毎に間引くかを決定する整数値であり、
（MPEGファイルの持つフレームレート÷処理時間t1−t0）
から算出された数の整数部分である。ステップＳ４０６の判断の結果、条件に適合しない場合、処理はステップＳ４０９に進み、通常処理（第１の実施形態または第２の実施形態の処理）を行う。
【００８６】
ステップＳ４０８において、算出したライン間引き間隔ｍに基づいて、処理時間ｔ０−ｔ１に対応してラインを間引く。その後、処理はステップＳ４０９に進み、通常処理（第１の実施形態または第２の実施形態の処理）によって間引く間引かないを決定する。以下、ステップＳ１１７からステップＳ１２０までの処理は、通常処理（第１の実施形態または第２の実施形態の処理）で述べたものと同様であるので、動作の詳細な説明は省略する。
【００８７】
上記のように、フレームビットマップの生成処理にかかった時間に対応してデータ量を削減することで、MPEGデコーダ側で、デコードに時間がかかった場合には、ラインを間引いた転送を行うようにすることで処理時間を調節することが可能になる。なお、以上述べてきた複数の実施の形態は、その動作に矛盾が生じない範囲において組合せて実行可能である。
【図面の簡単な説明】
【００８８】
【図１】図１は、本実施の形態に述べる、動画編集システムの構成を示すブロック図である。
【図２】図２は、プレビューウィンドウが表示されている表示装置の画面を示す図である。
【図３】図３は、編集作業と、その編集作業で使用されるプレビューウィンドウとの対応を示す図である。
【図４】図４は、MPEGファイル自身が持つ縦長及び横幅(サイズ)と、プレビューウィンドウの縦幅及び横幅の関係を示した図である。
【図５Ａ】図５Ａは、プレビュー表示動作の前半部分を示すフローチャートである。
【図５Ｂ】図５Ｂは、プレビュー表示動作の後半部分を示すフローチャートである。
【図６】図６は、縮小モードでの作業領域を特定する場合の処理を概念的に示す概念図である。
【図７Ａ】図７Ａは、第２の実施形態の動作の前半部分を示すフローチャートである。
【図７Ｂ】図７Ｂは、第２の実施形態の動作の後半部分を示すフローチャートである。
【図８Ａ】図８Ａは、第３の実施形態の動作の前半部分を示すフローチャートである。
【図８Ｂ】図８Ｂは、第３の実施形態の動作の後半部分を示すフローチャートである。
【図９】図９は、第４の実施形態の動作を示すフローチャートである。
【符号の説明】
【００８９】
１…コンピュータ
２…入力装置
３…表示装置
４…ＣＰＵ
５…メモリ
６…記録メディア
７…バス
１０…動画編集装置
２０…動画処理エンジン部
２１…デコーダ
２２…表示フォーマット
２３…縮小処理部
３０…アプリケーション部
３１…編集設定部
３２…動画処理部
３３…プレビュー表示部
ＰＶ１、ＰＶ２…ビューア
ＰＷ１、ＰＷ２…表示画面
４０…フレームビットマップ
４１…プレビュー用画像データ
【図１】
2006101236.tif 000003
【図２】
2006101236.tif 000004
【図３】
2006101236.tif 000005
【図４】
2006101236.tif 000006
【図５Ａ】
2006101236.tif 000007
【図５Ｂ】
2006101236.tif 000008
【図６】
2006101236.tif 000009
【図７Ａ】
2006101236.tif 000010
【図７Ｂ】
2006101236.tif 000011
【図８Ａ】
2006101236.tif 000012
【図８Ｂ】
2006101236.tif 000013
【図９】
2006101236.tif 000014