(57)【要約】【課題】圧縮映像データをコンピュータで記録及び再生する際に、記録中の映像と再生中の映像とをディスプレイに同時に表示できるようにする。【解決手段】コンピュータを、外部の映像出力機器から圧縮されて送られる映像データを記録媒体１０１ａに記録する第１の手段、所定の操作に基づき、記録媒体１０１ａからこの映像データを再生する第２の手段４１、記録媒体１０１ａに記録中の映像データ及び記録媒体１０１ａから再生中の映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段３７，３９，４７及び５０、第３の手段３７，３９，４７及び５０によってデコードされたこの記録中の映像データ及び再生中の映像データを、ディスプレイに同時に表示する第４の手段として機能させるプログラムを、コンピュータにインストールする。【選択図】　　　　　図７
2004015557.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、ディスプレイに同時に表示する第４の手段
として機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項２】
請求項１に記載の記録映像及び再生映像の同時表示のためのプログラムにおいて、
コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項３】
請求項１または２に記載の記録映像及び再生映像の同時表示のためのプログラムにおいて、
コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項４】
コンピュータを、
離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段
として機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項５】
請求項４に記載の記録映像及び再生映像の同時表示のためのプログラムにおいて、
コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項６】
請求項４または５に記載の記録映像及び再生映像の同時表示のためのプログラムにおいて、
コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラム。
【請求項７】
コンピュータを、
外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、ディスプレイに同時に表示する第４の手段
として機能させることを特徴とする記録映像及び再生映像の同時表示のためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項８】
請求項７に記載の記録媒体において、
前記プログラムは、コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録媒体。
【請求項９】
請求項７または８に記載の記録媒体において、
前記プログラムは、コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録媒体。
【請求項１０】
コンピュータを、
離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段
として機能させる記録映像及び再生映像の同時表示のためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１１】
請求項１０に記載の記録媒体において、
前記プログラムは、コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録媒体。
【請求項１２】
請求項１０または１１に記載の記録媒体において、
前記プログラムは、コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録媒体。
【請求項１３】
コンピュータが、外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１ステップと、
所定の操作に基づき、前記コンピュータが、前記記録媒体から前記映像データを再生する第２ステップと、
前記コンピュータが、前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３ステップと、
前記コンピュータが、前記第３ステップでデコードした前記記録中の前記映像データ及び前記再生中の前記映像データを、ディスプレイに同時に表示する第４ステップと
を有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１４】
請求項１３に記載の記録映像及び再生映像の同時表示方法において、
前記コンピュータが、前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５ステップと、
前記コンピュータが、ＣＰＵの負荷率を測定する第６ステップと、
前記負荷率に応じて、前記コンピュータが、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７ステップと
をさらに有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１５】
請求項１３または１４に記載の記録映像及び再生映像の同時表示方法において、
前記コンピュータが、前記第３ステップでのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３ステップでのデコードを終了させる第８ステップ
をさらに有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１６】
コンピュータが、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１ステップと、
所定の操作に基づき、前記コンピュータが、前記記録媒体から前記映像データを再生する第２ステップと、
前記コンピュータが、前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３ステップと、
前記コンピュータが、前記第３ステップでデコードした前記記録中の前記映像データ及び前記再生中の前記映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４ステップと
を有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１７】
請求項１６に記載の記録映像及び再生映像の同時表示方法において、
前記コンピュータが、前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５ステップと、
前記コンピュータが、ＣＰＵの負荷率を測定する第６ステップと、
前記負荷率に応じて、前記コンピュータが、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７ステップと
をさらに有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１８】
請求項１６または１７に記載の記録映像及び再生映像の同時表示方法において、
前記コンピュータが、前記第３ステップでのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３ステップでのデコードを終了させる第８ステップ
をさらに有することを特徴とする記録映像及び再生映像の同時表示方法。
【請求項１９】
コンピュータを、
外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、ディスプレイに同時に表示する第４の手段
として機能させるプログラムが、コンピュータにインストールされて成ることを特徴とする記録映像及び再生映像の同時表示装置。
【請求項２０】
請求項１９に記載の記録映像及び再生映像の同時表示装置において、
前記プログラムは、コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示装置。
【請求項２１】
請求項１９または２０に記載の記録映像及び再生映像の同時表示装置において、
前記プログラムは、コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示装置。
【請求項２２】
コンピュータを、
離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、
所定の操作に基づき、前記記録媒体から前記映像データを再生する第２の手段、
前記記録媒体に記録中の前記映像データ及び前記記録媒体から再生中の前記映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、
前記第３の手段によってデコードされた前記記録中の前記映像データ及び前記再生中の前記映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段
として機能させるプログラムが、コンピュータにインストールされて成ることを特徴とする記録映像及び再生映像の同時表示装置。
【請求項２３】
請求項２２に記載の記録映像及び再生映像の同時表示装置において、
前記プログラムは、コンピュータを、
前記再生中の前記映像データを編集する操作を行うためのＧＵＩ画面を前記ディスプレイに表示する第５の手段、
ＣＰＵの負荷率を測定する第６の手段、
前記負荷率に応じて、前記ＧＵＩ画面での操作によって編集された前記映像データをネットワーク帯域用にエンコードする第７の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示装置。
【請求項２４】
請求項２２または２３に記載の記録映像及び再生映像の同時表示装置において、
前記プログラムは、コンピュータを、
前記第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては前記第３の手段でのデコードを終了させる第８の手段
としてさらに機能させることを特徴とする記録映像及び再生映像の同時表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータを用いたＷｅｂコンテンツの作成過程等において記録中の映像と編集対象の映像とを同時に表示するためのプログラム等に関する。
【０００２】
【従来の技術】
近年、通信インフラのブロードバンド化や映像圧縮技術の進歩により、例えばＷｅｂページ上で動画を表示するといったように、映像（動画）コンテンツをネットワーク経由で配信できるようになってきた。
【０００３】
ネットワーク経由で映像コンテンツを配信することには、作成した映像コンテンツを即時に配信できる（テレビジョン放送局からの番組の放送のように予め決められた時間帯まで待つ必要がない）ので、最新の映像をいち早く視聴者に伝えることができるという大きな利点がある。
【０００４】
但し、最新の映像をいち早く視聴者に伝えるためには、作成した映像コンテンツを即時に配信すること以外に、映像コンテンツの作成そのものを短時間に行えるようにすることが必要である。
【０００５】
従来、ネットワーク経由で配信する映像コンテンツの作成は、次のような過程で行っていた。
【０００６】
（１）収録現場で、ビデオカメラで収録を行う。そして、ＡＶ（映像・音声）データを収録したビデオテープを、収録現場から映像コンテンツの制作室に搬送する。
【０００７】
（２）この制作室で、編集専用の機器であるノンリニア編集機を用いて、このＡＶデータから映像コンテンツを作成する。ノンリニア編集機には、ビデオテープに収録されているＡＶデータを記録しながら再生して（記録中の映像と編集の対象である再生中の映像との両方をモニターで同時に確認しながら）編集を行う機能や、編集したＡＶデータを直ちにブロードバンド帯域用にエンコードする機能が備わっており、それらの機能によって編集及びエンコードを行ったＡＶデータを他のマルチメディアデータ（静止画データ，テキストデータ等）とオーサリングすることによって、映像コンテンツが作成される。
【０００８】
作成された映像コンテンツは、コンテンツ配信用のサーバーにアップロードされて、そのサーバーからネットワーク経由で配信される。
【０００９】
【発明が解決しようとする課題】
しかし、この従来の作業では、収録現場から制作室までビデオテープを搬送するのに長い時間がかかるので、映像コンテンツを短時間に作成することは困難である。
【００１０】
これに対し、収録現場において、ビデオカメラからのＡＶデータを直接ノート型パーソナルコンピュータのような持ち運び可能なコンピュータ内のハードディスクに記録し、そのコンピュータで編集やオーサリングを行うようにすれば、こうした搬送のための時間はかからなくなる。
【００１１】
ただし、このようにパーソナルコンピュータを用いる場合でも、映像コンテンツを短時間に作成するためには、専用のノンリニア編集機におけるのと同様に、やはり記録中の映像と再生中（編集対象）の映像との両方をディスプレイで同時に確認しながら編集を行えるようにすることが望まれる。
【００１２】
しかし、例えばＤＶ規格のような圧縮方式のビデオカメラからのＡＶデータをディスプレイに表示するためには、パーソナルコンピュータのＣＰＵがデコード（伸長）用のプログラムを実行することによってＡＶデータをデコードしなければならない。
【００１３】
そして、このデコード処理は単位時間当たりのデータ処理量がかなり多いので、現在のパーソナルコンピュータのＣＰＵの能力では、記録中のＡＶデータと再生中のＡＶデータとの両方を並行して正常に（処理の遅れやＡＶデータの取りこぼし等を生じることなく）デコードすることは困難であり、一方ずつ別々にデコードせざるを得ない。
【００１４】
したがって、パーソナルコンピュータを用いる場合、現状のままでは、記録中の映像と再生中の映像との両方をディスプレイに同時に表示することはできない。
【００１５】
本発明は、上述の点に鑑み、圧縮された映像データをコンピュータで記録及び再生する際に、記録中の映像と再生中の映像との両方をディスプレイに同時に表示できるようにすることを課題としてなされたものである。
【００１６】
【課題を解決するための手段】
この課題を解決するために、本出願人は、コンピュータを、外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、この第３の手段によってデコードされたこの記録中の映像データ及び再生中の映像データを、ディスプレイに同時に表示する第４の手段として機能させる記録映像及び再生映像の同時表示のためのプログラムを提案する。
【００１７】
このプログラムをインストールしたコンピュータをビデオカメラのような映像出力機器に接続し、圧縮した映像データをその映像出力機器からコンピュータに送ると、コンピュータが第１の手段として機能することによりその映像データが記録媒体に記録される。
【００１８】
この圧縮映像データの記録中に、コンピュータで所定の操作が行われると、コンピュータが第２の手段として機能することによりその記録媒体から映像データが再生される。
【００１９】
そして、コンピュータが第３の手段として機能することにより、この記録中の映像データ及び再生中の映像データが、少なくとも一方の映像データについてはフレームを間引くことによってデータ処理量を削減しつつ、並行してデコードされる。
【００２０】
こうして並行してデコードされた記録中の映像データ及び再生中の映像データは、コンピュータが第４の手段として機能することにより、ディスプレイに同時に表示される。
【００２１】
このように、このプログラムによれば、記録中の圧縮映像データ，再生中の圧縮映像データを少なくとも一方についてはフレームを間引きつつ並行してデコードすることにより、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるようになる。
【００２２】
なお、このプログラムは、一例として、コンピュータを、再生中の映像データを編集する操作を行うためのＧＵＩ画面をディスプレイに表示する第５の手段、ＣＰＵの負荷率を測定する第６の手段、この負荷率に応じて、このＧＵＩ画面での操作によって編集された映像データをネットワーク帯域用にエンコードする第７の手段としてさらに機能させるものであることが好適である。
【００２３】
それにより、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるだけでなく、ＣＰＵの負荷率に余裕がある場合に、専用のノンリニア編集機におけるのと同様に、編集した映像データを直ちにエンコードすることもできるようになる。
【００２４】
また、このプログラムは、一例として、コンピュータを、第３の手段でのデコードの処理時間をフレーム毎に測定し、一定時間以上経過してもデコードが完了していないフレームについては第３の手段でのデコードを終了させる第８の手段としてさらに機能させるものであることが好適である。
【００２５】
それにより、ＣＰＵの負荷が一時的に大きくなったためにそのままでは映像が正常に表示されなくなってしまうような場合にも、最小限のフレーム（デコードを強制的に終了させたフレーム）の映像の表示を犠牲にするだけで、それよりも後のフレームの映像を正常に表示することができるようになる。
【００２６】
次に、本出願人は、コンピュータを、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、この第３の手段によってデコードされたこの記録中の映像データ及び再生中の映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段として機能させる記録映像及び再生映像の同時表示のためのプログラムを提案する。
【００２７】
このプログラムをインストールしたコンピュータを収録現場でビデオカメラのような映像出力機器に接続し、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮した映像データをその映像出力機器からコンピュータに送ると、コンピュータが第１の手段として機能することによりその映像データが記録媒体に記録される。
【００２８】
この映像データの記録中に、コンピュータで所定の操作が行われると、コンピュータが第２の手段として機能することによりその記録媒体から映像データが再生される。
【００２９】
そして、コンピュータが第３の手段として機能することにより、この記録中の映像データ及び再生中の映像データが、少なくとも一方の映像データについては交流成分の解析を省略することによってデータ処理量を削減しつつ、並行してデコードされる。
【００３０】
こうして並行してデコードされた記録中の映像データ及び再生中のデータは、コンピュータが第４の手段として機能することにより、ディスプレイに同時に表示される。その際、交流成分の解析を省略したほうの映像データは、そのままの画面サイズでは映像が粗くなってしまうが、画面サイズが縮小されるので粗さが目立たないようになっている。
【００３１】
このように、このプログラムによれば、記録中の圧縮映像データ，再生中の映像データを少なくとも一方については交流成分の解析を省略しつつ並行してデコードすることにより、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるようになる。
【００３２】
次に、本出願人は、コンピュータを、外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、この第３の手段によってデコードされたこの記録中の映像データ及び再生中の映像データを、ディスプレイに同時に表示する第４の手段として機能させる記録映像及び再生映像の同時表示のためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提案する。
【００３３】
また、本出願人は、コンピュータを、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、この第３の手段によってデコードされたこの記録中の映像データ及び再生中の前記映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段として機能させる記録映像及び再生映像の同時表示のためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提案する。
【００３４】
これらの記録媒体に記録された映像コンテンツ作成用プログラムをインストールしたコンピュータを映像出力機器に接続し、圧縮した映像データをその映像出力機器からコンピュータに送ると、前述の本発明に係るプログラムにおけるのと全く同様にして、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるようになる。
【００３５】
次に、本出願人は、コンピュータが、外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１ステップと、所定の操作に基づき、このコンピュータが、この記録媒体からこの映像データを再生する第２ステップと、このコンピュータが、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３ステップと、このコンピュータが、この第３ステップでデコードした記録中の映像データ及び再生中の映像データを、ディスプレイに同時に表示する第４ステップとを有する記録映像及び再生映像の同時表示方法を提案する。
【００３６】
また、本出願人は、コンピュータが、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１ステップと、所定の操作に基づき、このコンピュータが、この記録媒体からこの映像データを再生する第２ステップと、このコンピュータが、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３ステップと、このコンピュータが、この第３ステップでデコードした記録中の映像データ及び再生中の映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４ステップとを有する記録映像及び再生映像の同時表示方法を提案する。
【００３７】
これらの方法を実行するコンピュータを映像出力機器に接続し、圧縮した映像データをその映像出力機器からコンピュータに送ると、前述の本発明に係るプログラムにおけるのと全く同様にして、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるようになる。
【００３８】
次に、本出願人は、コンピュータを、外部の映像出力機器から圧縮されて送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについてはフレームを間引きつつ、並行してデコードする第３の手段、この第３の手段によってデコードされた記録中の映像データ及び再生中の映像データを、ディスプレイに同時に表示する第４の手段として機能させるプログラムが、コンピュータにインストールされて成る記録映像及び再生映像の同時表示装置を提案する。
【００３９】
また、本出願人は、コンピュータを、離散コサイン変換及び可変長符号化を含む圧縮方式で圧縮されて外部の映像出力機器から送られる映像データを記録媒体に記録する第１の手段、所定の操作に基づき、この記録媒体からこの映像データを再生する第２の手段、この記録媒体に記録中の映像データ及びこの記録媒体から再生中の映像データを、少なくとも一方の映像データについては交流成分の解析を省略しつつ、並行してデコードする第３の手段、この第３の手段によってデコードされた記録中の映像データ及び再生中の映像データを、交流成分の解析を省略したほうの映像データについては画面サイズを縮小しつつ、ディスプレイに同時に表示する第４の手段として機能させるプログラムが、コンピュータにインストールされて成る記録映像及び再生映像の同時表示装置を提案する。
【００４０】
これらの装置（コンピュータ）を映像出力機器に接続し、圧縮した映像データをその映像出力機器からコンピュータに送ると、前述の本発明に係るプログラムにおけるのと全く同様にして、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示できるようになる。
【００４１】
【発明の実施の形態】
以下、動画を含むＷｅｂコンテンツの作成のために本発明を適用した例を、図面を用いて具体的に説明する。
【００４２】
図１は、本発明を適用したＷｅｂコンテンツ作成システムの全体構成を示す。このＷｅｂコンテンツ作成システムは、収録現場（例えばＷｅｂページで紹介しようとする商品の保管場所）において、ノート型パーソナルコンピュータ（以下単にコンピュータと呼ぶ）１０１を、ＩＥＥＥ１３９４インターフェースを介してビデオカメラ１０２に接続するとともに、ネットワークインターフェースを介してネットワーク（イントラネットあるいはインターネット）１０３に接続することによって構成されたものである。
【００４３】
コンピュータ１０１は、Ｗｉｎｄｏｗｓ（登録商標）をＯＳとしており、以下に説明するようなＷｅｂコンテンツ作成用プログラムが、これらのプログラムを記録したＣＤ−ＲＯＭからインストールされている。ビデオカメラ１０２は、ＤＶ規格に対応した機種である。
【００４４】
図２は、このＷｅｂコンテンツ作成システムで作成しようとするＷｅｂコンテンツの一例としてのメーカーの商品紹介用のＷｅｂページのレイアウトを示す。このＷｅｂページは、複数種類の商品（テレビジョン受信機やデジタルカメラやビデオカメラ等）を領域１１１に静止画で表示し、この領域１１１の中からマウスのクリックによって選択された１種類の商品のラインアップを領域１１２に静止画で表示し、この領域１１２の中からマウスのクリックによって選択された１つの商品についての詳細情報を領域１１３，１１４にそれぞれ動画，文字で表示するとともに音声で説明するものである。
【００４５】
領域１１５にはリンク先のＷｅｂページ（その商品の購入手続き用のＷｅｂページやその商品の別売アクセサリを紹介するＷｅｂページ等）を案内する表示が行われ、バックグランド１１６には季節に応じた風景等の静止画が表示される。
【００４６】
図３〜図５は、コンピュータ１０１にインストールされているＷｅｂコンテンツ作成用プログラムによってコンピュータ１０１のディスプレイに表示されるＧＵＩ画面を示す。
【００４７】
このうち、図３は、キャプチャ＆プレイバックモードのＧＵＩ画面を示す。このＧＵＩ画面は、キャプチャ１，プレイバック／エディット２，コンテンツブラウザ３，ストーリーボード４及びバックグランド５から成っている。
【００４８】
キャプチャ１は、外部の映像出力機器（図１ではビデオカメラ１０２）をＡＶ／Ｃコマンドでコントロールする操作やその映像出力機器から送られるＡＶデータを記録する操作をおこなうための操作釦群（図示略）と、記録中の映像を表示する縦２４０×横３２０ピクセルの映像表示部１ａとを含んでいる。
【００４９】
プレイバック／エディット２は、記録したＡＶデータを再生する操作や再生したＡＶデータの編集点を決定する操作を行うための操作釦群（図示略）と、映像をフレーム単位で確認しながら編集点を決定できるようにするために再生中の映像を表示する縦２４０×横３２０ピクセルの映像表示部２ａとを含んでいる。
【００５０】
コンテンツブラウザ３は、編集点を決定されたＡＶデータ（クリップと呼ぶことにする）や、ネットワーク経由でダウンロードしたテンプレート，マルチメディアデータや、マルチメディアデータの一種としてコンピュータ１０１のキーボード操作で入力した文字データをタグ形式で一覧表示し、その中から所望のクリップやテンプレートやマルチメディアデータをマウス操作で選択するためのものである。
【００５１】
ストーリーボード４は、コンテンツブラウザ３で選択した複数のクリップを時間軸上に配列することによってＡＶ編集を行うためのものである。
【００５２】
図４は、エディットモードのＧＵＩ画面を示す。このＧＵＩ画面は、プレイバック／エディット６，コンテンツブラウザ３，ストーリーボード４及びバックグランド５から成っている。
【００５３】
プレイバック／エディット６は、図３のプレイバック／エディット２と同様に、記録したＡＶデータを再生する操作や再生したＡＶデータをフレーム単位で編集する操作を行うための操作釦群（図示略）と再生中の映像を表示する縦２４０×横３２０ピクセルの映像表示部６ａとを含むとともに、記録中の映像を縮小して表示する縦３０×横４０ピクセルの映像表示部６ｂを含んでいる。
【００５４】
コンテンツブラウザ３，ストーリーボード４は、それぞれ図３のコンテンツブラウザ３，ストーリーボード４と同じものである。但し、図３のキャプチャ１に相当する部分が存在しないのに対応して、コンテンツブラウザ３は図３よりも拡大されている。
【００５５】
このエディットモードのＧＵＩ画面は、最初に図３のキャプチャ＆プレイバックモードでビデオカメラからのＡＶデータを記録する操作を行った後、記録をしっぱなしにして編集操作を重点的に行うためのＧＵＩ画面である。
【００５６】
図５は、タイムラインオーサリング＆プレビューモードのＧＵＩ画面を示す。このＧＵＩ画面は、タイムラインオーサリング７，プレビュー８及びバックグランド５から成っている。
【００５７】
タイムラインオーサリング７は、図３や図４のストーリーボード４で編集したＡＶデータと他のマルチメディアデータとを時間軸上で同期させて配列することによってオーサリングを行うためのタイムラインエリアと、このオーサリングによって作成したＷｅｂコンテンツをプレビューする操作やプレビューの際のエンコードの有無を選択する操作を行うための操作釦群（図示略）とを含んでいる。
【００５８】
プレビュー８は、タイムラインオーサリング７でのオーサリングによって作成されたＷｅｂコンテンツをプレビューのために表示するものである。
【００５９】
バックグランド５には、ＧＵＩ画面のモードとして以上のキャプチャ＆プレイバックモード，エディットモード，タイムラインオーサリング＆プレビューモードのうちの所望の１つのモードを選択するための操作や、作成したＷｅｂコンテンツをネットワーク（図１ではネットワーク１０３）経由でＷｅｂコンテンツ配信用のサーバーにアップロードする操作を行うための操作釦群（図示略）が存在する。
【００６０】
図６は、コンピュータ１０１にインストールされているＷｅｂコンテンツ作成用プログラムによる処理の概要を示す。このプログラムは、大きく分けて、キャプチャ（記録）動作，編集動作，オーサリング動作の３つの状態から成っている。
【００６１】
キャプチャ動作では、図３のキャプチャ１での操作に基づき、外部の映像出力機器（図１ではビデオカメラ１０２）をコントロールし、その映像出力機器からコンピュータ１０１に送られるＤＶ規格のＡＶデータを「フォーマット変換１」１１によってＡＶＩフォーマットのファイルに変換し、そのＡＶＩファイルをコンピュータ１０１内のハードディスク１０１ａに記録するとともに「素材管理１」１２によって管理する。
【００６２】
それと同時に、この記録中のＡＶデータ（映像出力機器からコンピュータ１０１に送られているＡＶデータ）を「デコード１」１３によってデコード（ＤＶ規格で圧縮される前のＡＶデータに伸長）し、デコードした映像データを「表示１」１４によってコンピュータ１０１のディスプレイ（キャプチャ＆プレイバックモードでは図３のキャプチャ１の映像表示部１ａ，エディットモードでは図４のプレイバック／エディット６の映像表示部６ｂ）に表示するとともに、デコードした音声データをコンピュータ１０１の内蔵スピーカに送る。
【００６３】
なお、「フォーマット変換１」１１では、ハードディスク１０１ａに記録した個々のＡＶＩファイルを即時にハードディスク１０１ａから再生できるようにするために、１つのＡＶＩファイルの長さを、例えば２ＭＢという短い固定長の長さ（ＤＶ規格のＡＶデータでは約２秒分）にする。
【００６４】
編集動作では、「素材管理１」１２によって管理しているＡＶＩファイルを、図３や図４のＧＵＩ画面上での操作に基づいて、ハードディスク１０１ａから再生し、「ＡＶ編集」１５によって編集する。
【００６５】
それと同時に、この再生中のＡＶＩファイルを「デコード２」１６によってデコードし、デコードした映像データを「表示２」１７によってコンピュータ１０１のディスプレイ（キャプチャ＆プレイバックモードでは図３のプレイバック／エディット２の映像表示部２ａ，エディットモードでは図４のプレイバック／エディット６の映像表示部６ａ）に表示するとともに、デコードした音声データをコンピュータ１０１の内蔵スピーカに送る。
【００６６】
オーサリング動作では、図２に例示したようなＷｅｂコンテンツのレイアウトを決定するためにネットワーク（図１ではネットワーク１０３）経由でダウンロードしたテンプレートを、ハードディスク１０１ａに保存するとともに「素材管理２」１８によって管理する。
【００６７】
また、ネットワーク経由でダウンロードしたマルチメディアデータを、「フォーマット変換２」１９によってフォーマット変換（例えば、ＡＶデータはＡＶＩファイルに変換し、ビットマップ形式の静止画データは圧縮率の高いＪＰＥＧ形式に変換し）、ハードディスク１０１ａに保存するとともに「素材管理２」１８によって管理する。ＡＶデータをダウンロードした場合には、そのＡＶデータを編集のために用いることもあるので、「素材管理２」１８から「素材管理１」１２にそのＡＶデータについての情報を伝える。（「素材管理１」１２と「素材管理２」１８とは、１つのものであるが、図では便宜上２つに分けてある。）
【００６８】
また、コンピュータ１０１のキーボード操作によって入力された文字データを、マルチメディアデータの一種として、ハードディスク１０１ａに保存するとともに「素材管理２」１８によって管理する。
【００６９】
図３や図４のコンテンツブラウザ３でオーサリングのためにクリップやテンプレートやマルチメディアデータが選択されると、それらのクリップやテンプレートやマルチメディアデータを、（編集済みのクリップについては「ＡＶ編集」１５から、それ以外については「素材管理２」１８から）「プロジェクト管理」２０に送り、「プロジェクト管理」２０によってそれらのクリップやテンプレートやマルチメディアデータを管理する。
【００７０】
そして、図５のタイムラインオーサリング７でクリップ及びマルチメディアデータがタイムラインエリアに配列されると、「プロジェクト管理」２０から「オーサリング処理」２１にそれらのクリップやテンプレートやマルチメディアデータを送り、「オーサリング処理」２１によってオーサリングを行う。
【００７１】
そして、図５のタイムラインオーサリング７でプレビューの操作が行われると、オーサリングによって作成されたＷｅｂコンテンツに含まれるＡＶＩファイルを「デコード３」２２によってデコードし、そのＷｅｂコンテンツを「表示３」２３によってコンピュータ１０１のディスプレイ（図５のプレビュー８）に表示する。
【００７２】
なお、エンコードしてプレビューする操作がタイムラインオーサリング７で行われた場合には、Ｗｅｂコンテンツに含まれるＡＶＩファイルを、ハードディスク１０１ａから再生し、「エンコード」２４によってネットワーク帯域用にＭＰＥＧ４でエンコードする。そして、エンコードしたＡＶＩファイルを、「プロジェクト管理」２０，「オーサリング処理」２１を介して「デコード３」２２に送るとともに、ハードディスク１０１ａに保存する。
【００７３】
また、図５のバックグランド５でＷｅｂコンテンツをアップロードする操作が行われると、「プロジェクト管理」２０により、そのＷｅｂコンテンツに含まれるクリップ及びマルチメディアデータとそのＷｅｂコンテンツのレイアウトを決定するテンプレートとを、ネットワーク（図１ではネットワーク１０３）経由でＷｅｂコンテンツ配信用のサーバーにアップロードする。
【００７４】
ところで、この図６の各処理のうち、「デコード１」１３，「デコード２」１６，「デコード３」２２，「エンコード」２４の処理は、それぞれ単位時間当たりのデータ処理量がかなり多い。
【００７５】
そのため、そのままでは、キャプチャ動作での「デコード１」１３の処理と編集動作での「デコード２」１６の処理との両方を並行して正常に（処理の遅れやＡＶデータの取りこぼし等を生じることなく）行うことは困難であり、一方ずつを別々に行わざるを得ない。
【００７６】
したがって、そのままでは、図３のキャプチャ＆プレイバックモードのＧＵＩ画面でキャプチャ１の映像表示部１ａに記録中の映像を表示するのと同時にプレイバック／エディット２の映像表示部２ａに再生中の映像を表示することや、図４のエディットモードのＧＵＩ画面でプレイバック／エディット６の映像表示部６ｂに記録中の映像を表示するのと同時にこのプレイバック／エディット６の映像表示部６ａに再生中の映像を表示することはできない。
【００７７】
ましてや、キャプチャ動作での「デコード１」１３の処理と編集動作での「デコード２」１６の処理とオーサリング動作での「エンコード」２４の処理とを並行して正常に行うことはできないので、編集動作で編集したＡＶデータを直ちにエンコードすることはできない。
【００７８】
そこで、このコンピュータ１０１にインストールされているＷｅｂコンテンツ作成用プログラムには、記録中の映像と再生中の映像との同時表示を可能にする（さらには、編集したＡＶデータを直ちにエンコードすることも可能にする）プログラムが含まれている。
【００７９】
図７は、この同時表示のためのプログラムによる処理と、それに対応した図６の「デコード１」１３，「デコード２」１６の具体的処理とを示したものである。
【００８０】
「アプリケーションの状態検出」３１により、図６の「デコード１」１３，「デコード２」１６，「デコード３」２２，「エンコード」２４の各処理を実行した際のコンピュータ１０１のＣＰＵの負荷率をそれぞれ予め計測しておくとともに、コンピュータ１０１で現在実行しているアプリケーション（「デコード１」１３，「デコード２」１６，「デコード３」２２，「エンコード」２４以外のアプリケーション）の状態を検出し、その検出結果からコンピュータ１０１のＣＰＵの現在の負荷率を計測する。
【００８１】
すなわち、コンピュータのＯＳには一般に図８に示すように各スレッド（アプリケーション）を管理してスレッド毎にＣＰＵの使用率を計測する機能が備わっている（図中、非アイドルスレッドはＣＰＵがスレッドを実行しておらず負荷率が０％の状態である）ので、その機能を利用して「アプリケーションの状態検出」３１でこれらの負荷率を計測する。
【００８２】
なお、「デコード１」１３，「デコード２」１６については、全てのフレームの映像データをデコードした際の負荷率以外に、１フレーム分ずつ跳ばした映像データをデコードした際の負荷率も計測する。
【００８３】
また、「デコード１」１３については、映像データを交流成分の解析を省略してデコードを行った際の負荷率も計測する。すなわち、ＤＶ規格のようなＤＣＴ（離散コサイン変換）及び可変長符号化を含む圧縮方式で圧縮された映像データをデコードする「デコード１」１３，「デコード２」１６，「デコード３」２２の処理は、通常は図９Ａに示すようにＤＣ（直流）成分の解析，ＡＣ（交流）成分の解析，ＩＤＣＴ（逆離散コサイン変換），ＲＧＢ変換という過程を繰り返すものであるが、ＡＣ成分の解析を省略した際の負荷率も計測する。
【００８４】
ＡＣ成分の解析は可変長符号の解析を伴うので負荷率が大きくなるが、ＡＣ成分の解析を省略することにより、この可変長符号の解析が不要になるとともに図９Ｂに示すようにＩＤＣＴも不要になるので、負荷率が大幅に小さくなる。
【００８５】
ここでは、「デコード１」１３，「デコード２」１６，「デコード３」２２の処理として全てのフレームの映像データを通常通り（図９Ａのように）デコードする処理を実行した際のＣＰＵの負荷率の計測結果は、それぞれ約５０％であった。
【００８６】
また、「デコード１」１３，「デコード２」１６の処理として１フレーム分ずつ跳ばした映像データを通常通り（図９Ａのように）デコードする処理を実行した際のＣＰＵの負荷率の計測結果は、それぞれ約２５％であった。
【００８７】
また、「デコード１」１３の処理として全てのフレームの映像データをＡＣ成分の解析を省略して（図９Ｂのように）デコードする処理を実行した際のＣＰＵの負荷率の計測結果は、約５％であった。
【００８８】
また、「エンコード」２４の処理を実行した際のＣＰＵの負荷率の計測結果は、約４０％であった。
【００８９】
続いて、図７に示すように、「ＣＰＵ負荷コントローラ」３２から、「アプリケーションの状態検出」３１での負荷率の計測結果と、現在のＧＵＩ画面のモードが図３のキャプチャ＆プレイバックモード，図４のエディットモードのうちのいずれであるかとに応じて、「デコード１」１３の「メモリコントロール２」３７や「デコード２」１６の「メモリコントロール４」４７や「デコード１」１３の「ビデオデコード処理１」３９や「エンコード」２４に、後述のような内容の制御信号を送る。
【００９０】
「デコード１」１３では、外部の映像出力機器（図１ではビデオカメラ１０２）から送られるＤＶ規格のＡＶデータを「デマルチプレクサ１」３３によって映像データと音声データとに分離し、映像データ，音声データをそれぞれ「メモリコントロール２」３７，「メモリコントロール１」３４によってバッファメモリ３８，３５に一時記憶させる。
【００９１】
そして、「メモリコントロール２」３７，「メモリコントロール１」３４により、バッファメモリ３８，３５からそれぞれ映像データ，音声データをアダプティブクロック法（メモリ内のデータ量が一定になるようなＦＩＦＯ動作）で読み出して「ビデオデコード処理１」３９，「オーディオデコード処理１」３６に送る。
【００９２】
「ビデオデコード処理１」３９では、映像データをデコード及びＲＧＢ変換する。デコード及びＲＧＢ変換された映像データは、前述のようにコンピュータ１０１のディスプレイ（キャプチャ＆プレイバックモードでは図３のキャプチャ１の映像表示部１ａ，エディットモードでは図４のプレイバック／エディット６の映像表示部６ｂ）に表示される。
【００９３】
「オーディオデコード処理１」３６では、音声データをデコード及びアナログ変換する。デコード及びアナログ変換された音声データは、前述のようにコンピュータ１０１の内蔵スピーカに送られる。
【００９４】
「デコード２」１６でも、コンピュータ１０１内のハードディスク１０１ａから「ディスク読み出し処理」４１によってＡＶＩファイルを再生し、そのＡＶＩファイルを「デマルチプレクサ２」４２によって映像データと音声データとに分離し、映像データ，音声データをそれぞれ「メモリコントロール４」４７，「メモリコントロール３」４３によってバッファメモリメモリ４８，４４に一時記憶させる。
【００９５】
そして、「タイマーコントロール２」４９からその映像データのフレーム周期（フレーム周波数はＮＴＳＣ方式では２９．９７Ｈｚ，ＰＡＬ方式では２５．０Ｈｚ）のタイミングで「メモリコントロール４」４７に対して割り込みを行い、「メモリコントロール４」４７によってその割り込みのタイミングでバッファメモリ４８から映像データを読み出す。バッファメモリ４８内の映像データ量が或る程度以下になると、「メモリコントロール４」４７から「ディスク読み出し処理」４１に、新たに一定フレーム分（例えば６４フレーム分）のＡＶＩファイルをハードディスク１０１ａから再生することを要求する。
【００９６】
また、「タイマーコントロール１」４５からその音声データのサンプリング周期（通常はサンプリング周波数は４８ｋＨｚ，４４，１ｋＨｚ，３２ｋＨｚのうちのいずれか）のタイミングで「メモリコントロール３」４３に対して割り込みを行い、「メモリコントロール３」４３によってその割り込みのタイミングでバッファメモリ４４から音声データを読み出す。
【００９７】
なお、「タイマーコントロール１」４５での割り込みと「タイマーコントロール２」４９での割り込みとは同じコンピュータ１０１のＣＰＵでカウントされる時間を基準として行われるが、ビデオカメラでは映像データの信号処理ブロックと音声データの信号処理ブロックとが別々のハードウェアになっているので、映像データのフレーム周波数と音声データのサンプリング周波数とは同期がとれていない。そのため、そのままでは、バッファメモリ４８内の映像データとバッファメモリ４４内の音声データとのいずれかがオーバーフローまたはアンダーフローを起こしてしまう。
【００９８】
そこで、「デマルチプレクサ２」４２の処理では、映像データと音声データとを分離する際に、その音声データがどのフレームの映像データに対応するのかを示す時間情報を取得して「メモリコントロール３」４３に送り、「メモリコントロール３」４３はこの時間情報を映像データ側の「メモリコントロール４」４７に送る。
【００９９】
そして、「メモリコントロール４」４７は、バッファメモリ４８からの映像データの読み出しがバッファメモリ４４からの対応するフレームの音声データの読み出しよりも遅れていることや進んでいることをこの時間情報から検出し、その検出結果に基づいて「タイマーコントロール２」４９らの割り込みタイミングとはずらしたタイミングでバッファメモリ４８から映像データを読み出させることにより、映像データの再生と音声データの再生とを同期させる。
【０１００】
「ビデオデコード処理２」５０では、映像データをデコード及びＲＧＢ変換する。デコード及びＲＧＢ変換された映像データは、前述のようにコンピュータ１０１のディスプレイ（キャプチャ＆プレイバックモードでは図３のプレイバック／エディット２の映像表示部２ａ，エディットモードでは図４のプレイバック／エディット６の映像表示部６ａ）に表示される。
【０１０１】
「オーディオデコード処理２」４６では、音声データをデコード及びアナログ変換する。デコード及びアナログ変換された音声データは、前述のようにコンピュータ１０１の内蔵スピーカに送られる。
【０１０２】
「デコード１」１３の「メモリコントロール１」３４，「デコード２」１６の「メモリコントロール３」４３では、それぞれバッファメモリ３５，４４から全てのフレームの音声データを読み出す。また、「デコード１」１３の「オーディオデコード処理１」３６，「デコード２」１６の「オーディオデコード処理２」４６，「ビデオデコード処理２」５０では、それぞれ通常のデコード処理を行う。（「ビデオデコード処理２」５０での通常のデコード処理は、後出の図１０の通りである。）
【０１０３】
これに対し、「デコード１」１３の「メモリコントロール２」３７や「デコード２」１６の「メモリコントロール４」４７でどのフレームの映像データを読み出すのか、及び、「デコード１」１３の「ビデオデコード処理１」３９でどのような内容のデコード処理を行うのかは、前述の「ＣＰＵ負荷コントローラ」３２からの制御信号の内容によって（すなわち「アプリケーションの状態検出」３１でのＣＰＵの負荷率の計測結果と現在のＧＵＩ画面のモードとによって）異なる。
【０１０４】
「アプリケーションの状態検出」３１で計測したＣＰＵの現在の負荷率が２５％未満であり、且つ、現在のＧＵＩ画面のモードがキャプチャ＆プレイバックモード（図３のＧＵＩ画面が表示されるモード）である場合には、「ＣＰＵ負荷コントローラ」３２は、「メモリコントロール２」３７，「メモリコントロール４」４７のうち、一方には全てのフレームの映像データを読み出させる制御信号を送り、残りの一方には１フレームずつ跳ばして（１フレーム目を読み出した後、２フレーム目を読み出すべき時間には読み出しを行わず、その後３フレーム目を読み出した後、４フレーム目を読み出すべき時間には読み出しを行わない、…というようにして）映像データを読み出させる制御信号を送る。
【０１０５】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「ビデオデコード処理１」３９に、「デコード２」１６の「ビデオデコード処理２」５０と同じ通常のデコード処理を「ビデオデコード処理２」５０と並行して行わせる制御信号を送る。
【０１０６】
図１０は、「ビデオデコード処理１」３９及び「ビデオデコード処理２」５０のこの通常のデコード処理を示す。通常のデコード処理では、図９Ａに示したのと同様に、ＤＣ成分の解析，ＡＣ成分の解析，ＩＤＣＴ，ＲＧＢ変換という過程を繰り返す（ＲＧＢ変換の後の処理時間解析については後述する）。
【０１０７】
これにより、「デコード１」１３の「ビデオデコード処理１」３９及び「デコード２」１６の「ビデオデコード処理２」５０で、全てのフレームの映像データに対する通常のデコード処理と、１フレーム分ずつ跳ばした映像データに対する通常のデコード処理とが、互いに並行して行われる。
【０１０８】
前述のように、「デコード１」１３，「デコード２」１６の処理として全てのフレームの映像データを通常通りデコードする処理を行った際のＣＰＵの負荷率はそれぞれ約５０％であり、「デコード１」１３，「デコード２」１６の処理として１フレーム分ずつ跳ばした映像データを通常通りデコードする処理を行った際のＣＰＵの負荷率はそれぞれ約２５％である。
【０１０９】
したがって、この場合には、図１１Ａや図１１Ｂに示すようにＣＰＵの全体の負荷率は１００％未満に収まる（「デコード１」１３の処理と「デコード２」１６の処理とを並行して正常に行うことができる）ので、図３のＧＵＩ画面でキャプチャ１の映像表示部１ａに記録中の映像を表示するのと同時にプレイバック／エディット２の映像表示部２ａに再生中の映像を表示することができる。
【０１１０】
他方、「アプリケーションの状態検出」３１で計測したＣＰＵの現在の負荷率が１０％未満であり、且つ、現在のＧＵＩ画面のモードがキャプチャ＆プレイバックモードである場合には、「ＣＰＵ負荷コントローラ」３２は、「デコード１」１３の「メモリコントロール２」３７と「デコード２」１６の「メモリコントロール４」４７との両方に、１フレームずつ跳ばして映像データを読み出させる制御信号を送る。
【０１１１】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「ビデオデコード処理１」３９に、「デコード２」１６の「ビデオデコード処理２」５０と同じ通常のデコード処理を「ビデオデコード処理２」５０と並行して行わせる制御信号を送る。
【０１１２】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「エンコード」２４に、図３のストーリーボード４に配列された複数のクリップ（編集したＡＶデータ）をエンコードさせる制御信号を送る。
【０１１３】
これにより、「デコード１」１３の「ビデオデコード処理１」３９及び「デコード２」１６の「ビデオデコード処理２」５０で、１フレーム分ずつ跳ばした映像データに対する通常のデコード処理が互いに並行して行われる。
【０１１４】
さらに、これと並行して、図３のストーリーボード４に配列された複数のクリップ（編集済みのＡＶデータ）が、「エンコード」２４によって直ちにエンコードされる。
【０１１５】
前述のように、「デコード１」１３，「デコード２」１６の処理として１フレーム分ずつ跳ばした映像データを通常通りデコードする処理を行った際のＣＰＵの負荷率はそれぞれ約２５％であり、「エンコード」２４の処理を実行した際のＣＰＵの負荷率のは約４０％である。
【０１１６】
したがって、この場合には、図１１Ｃに示すようにＣＰＵの全体の負荷率は１００％未満に収まる（「デコード１」１３の処理と「デコード２」１６の処理と「エンコード」２４の処理とを並行して正常に行うことができる）ので、図３のＧＵＩ画面でキャプチャ１の映像表示部１ａに記録中の映像を表示するのと同時にプレイバック／エディット２の映像表示部２ａに再生中の映像を表示することができ、且つ、このＧＵＩ画面上の操作によって編集したＡＶデータを直ちにエンコードすることができる。
【０１１７】
なお、Ｗｅｂコンテンツの作成過程では、編集作業を試行錯誤的にやり直すことにより、編集結果（ストーリーボード４上でのクリップの配列結果）が、例えば図１２Ａに示すようにクリップ１，２，３を並べた状態から、図１２Ｂに示すようにクリップ２を別のクリップ２’に入れ替えた状態に変更されるというようなことが少なくない。
【０１１８】
その場合には、クリップが入れ替わった部分に対応するＧＯＰ（グループオブピクチャー）（図１２の例では同図ＣのようにＧＯＰ３）以降の各ＧＯＰ内の映像データの内容が変化するので、「エンコード」２４では、それらのＧＯＰのエンコードをやり直す。
【０１１９】
ＭＰＥＧの規格ではＧＯＰの周期は任意であるが、例えば図１３Ａに示すように１５フレームを１ＧＯＰとしたＧＯＰ構造（各ピクチャーフレームの下の番号が符号化の順番である）の場合には、図１３Ｂに示すように、Ｉフレームの符号化，Ｐフレームの符号化，Ｂフレームの符号化，Ｐフレームの符号化，Ｂフレームの符号化…という過程によってそれらのＧＯＰのエンコードをやり直すことになる。
【０１２０】
また、編集済みのＡＶデータを「エンコード」２４によって全てエンコードし終わる前にタイムラインオーサリング＆プレビューモードのＧＵＩ画面（図５のＧＵＩ画面）に切り替えられた場合には、タイムラインオーサリング＆プレビューモードにおいて、エンコードし残した部分のＡＶデータが「エンコード」２４によってエンコードされる。
【０１２１】
他方、「アプリケーションの状態検出」３１で計測したＣＰＵの現在の負荷率が４５％未満であり、且つ、現在のＧＵＩ画面のモードがエディットモードである場合には、「ＣＰＵ負荷コントローラ」３２は、「デコード１」１３の「メモリコントロール２」３７と「デコード２」１６の「メモリコントロール４」４７との両方に、全てのフレームの映像データを読み出させる制御信号を送る。
【０１２２】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「デコード１」１３の「ビデオデコード処理１」３９に、図９Ｂに示したようなＡＣ成分の解析を省略したデコード処理を、「デコード２」１６の「ビデオデコード処理２」５０と並行して行わせる制御信号を送る。
【０１２３】
これにより、「デコード１」１３の「ビデオデコード処理１」３９及び「デコード２」１６の「ビデオデコード処理２」５０で、全てのフレームの映像データに対するＡＣ成分の解析を省略したデコード処理と、全てのフレームの映像データに対するに対する通常のデコード処理とが、互いに並行して行われる。
【０１２４】
前述のように、「デコード１」１３の処理として全てのフレームの映像データをＡＣ成分の解析を省略してデコードする処理を実行した際のＣＰＵの負荷率は約５％であり、「デコード２」１６の処理として全てのフレームの映像データを通常通りデコードする処理を行った際のＣＰＵの負荷率は約５０％である。
【０１２５】
したがって、この場合には、図１１Ｄに示すようにＣＰＵの全体の負荷率は１００％未満に収まる（「デコード１」１３の処理と「デコード２」１６の処理とを並行して正常に行うことができる）ので、図４のＧＵＩ画面でプレイバック／エディット６の映像表示部６ｂに記録中の映像を表示するのと同時にプレイバック／エディット６の映像表示部６ａに再生中の映像を表示することができる。
【０１２６】
他方、「アプリケーションの状態検出」３１で計測したＣＰＵの現在の負荷率が３０％未満であり、且つ、現在のＧＵＩ画面のモードがエディットモードである場合には、「ＣＰＵ負荷コントローラ」３２は、「デコード１」１３の「メモリコントロール２」３７には全てのフレームの映像データを読み出させる制御信号を送り、「デコード２」１６の「メモリコントロール４」４７には１フレームずつ跳ばして映像データを読み出させる制御信号を送る。
【０１２７】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「デコード１」１３の「ビデオデコード処理１」３９に、図９Ｂに示したようなＡＣ成分の解析を省略したデコード処理を、「デコード２」１６の「ビデオデコード処理２」５０と並行して行わせる制御信号を送る。
【０１２８】
また、この場合には、「ＣＰＵ負荷コントローラ」３２は、「エンコード」２４に、図３のストーリーボード４に配列された複数のクリップ（編集したＡＶデータ）をエンコードさせる制御信号を送る。
【０１２９】
これにより、「デコード１」１３の「ビデオデコード処理１」３９及び「デコード２」１６の「ビデオデコード処理２」５０で、全てのフレームの映像データに対するＡＣ成分の解析を省略したデコード処理と、１フレーム分ずつ跳ばした映像データに対するに対する通常のデコード処理とが、互いに並行して行われる。
【０１３０】
さらに、これと並行して、図３のストーリーボード４に配列された複数のクリップ（編集済みのＡＶデータ）が、「エンコード」２４によって直ちにエンコードされる。
【０１３１】
前述のように、「デコード１」１３の処理として全てのフレームの映像データをＡＣ成分の解析を省略してデコードする処理を実行した際のＣＰＵの負荷率は約５％であり、「デコード２」１６の処理として１フレーム分ずつ跳ばした映像データを通常通りデコードする処理を行った際のＣＰＵの負荷率は約２５％であり、「エンコード」２４の処理を実行した際のＣＰＵの負荷率のは約４０％である。
【０１３２】
したがって、この場合には、図１１Ｅに示すようにＣＰＵの全体の負荷率は１００％未満に収まる（「デコード１」１３の処理と「デコード２」１６の処理と「エンコード」２４の処理とを並行して正常に行うことができる）ので、図４のＧＵＩ画面でプレイバック／エディット６の映像表示部６ｂに記録中の映像を表示するのと同時にプレイバック／エディット６の映像表示部６ａに再生中の映像を表示することができ、且つ、このＧＵＩ画面上の操作によって編集したＡＶデータを直ちにエンコードすることができる。
【０１３３】
なお、現在のＧＵＩ画面が図５のタイムラインオーサリング＆プレビューモードである場合には、以上のような同時表示のためのプログラムによる処理は行われない。しかし、その場合にも、ＣＰＵの現在の負荷率が１０％未満である場合には、図１１Ｆに示すように「デコード３」２２の処理と「エンコード」２４の処理とを並行して行ってもＣＰＵの全体の負荷率が１００％未満に収まるので、「デコード３」２２の処理と「エンコード」２４の処理とを並行して行う。
【０１３４】
「デコード３」２２の処理は、図１０に示した「デコード１」１３の「ビデオデコード処理１」３９や「デコード２」１６の「ビデオデコード処理２」５０での通常のデコード処理と同じである。
【０１３５】
前述のように、キャプチャ＆プレイバックモードやエディットモードで「エンコード」２４によって編集済みのＡＶデータの一部をエンコードした場合には、タイムラインオーサリング＆プレビューモードでは「エンコード」２４によって残りの部分のＡＶデータをエンコードする。
【０１３６】
ところで、ＣＰＵの負荷率が１００％に近い場合には、ＯＳの状態の微妙な変化を原因としてＣＰＵの負荷率が１００％を超えることにより、「デコード１」１３や「デコード２」１６や「デコード３」２２での処理が正常に行われなくなる事態が起こり得る。
【０１３７】
図１０の処理時間解析は、こうした事態を防止するためのものであり、１フレーム毎に処理時間（例えばＮＴＳＣ方式ではＤＣ成分の解析，ＡＣ成分の解析，ＩＤＣＴ，ＲＧＢ変換という過程を５４００回繰り返すまでの処理時間）を測定し、一定時間以上経過しても処理が完了していないフレームについては強制的に処理を終了させる。
【０１３８】
これにより、ＣＰＵの負荷が一時的に大きくなったためにそのままでは映像が正常に表示されなくなってしまうような場合にも、最小限のフレーム（デコードを強制的に終了させたフレーム）の映像の表示を犠牲にするだけで、それよりも後のフレームの映像を正常に表示することができる。
【０１３９】
次に、このＷｅｂコンテンツ作成システムを用いたＷｅｂコンテンツの作成作業の一例を説明する。Ｗｅｂコンテンツの作成担当者は、収録現場（前述のように例えばＷｅｂページで紹介しようとする商品の保管場所）において、コンピュータ１０１のＧＵＩ画面のモードとして図３のキャプチャ＆プレイバックモードを選択した状態で、ビデオカメラ１０２で撮影を開始し（あるいは、予めビデオカメラ１０２で撮影を行っておき、図３のＧＵＩ画面のキャプチャ１の操作でビデオカメラ１０２に収録済みのビデオテテープを再生させ）、このキャプチャ１の操作でＡＶデータの記録を開始させる。
【０１４０】
そして、キャプチャ＆プレイバックモードのまま、プレイバック／エディット２の操作で、記録したＡＶデータを再生させる。
【０１４１】
すると、コンピュータ１０１内のハードディスクに記録中の映像がキャプチャ１の映像表示部１ａに表示され、それと同時に、ハードディスクから再生中の映像がプレイバック／エディット２の映像表示部２ａに表示（いずれか一方は１フレームずつ跳ばして表示）される。（ＣＰＵの負荷率では図１１Ａや図１１Ｂの状態に相当する。）
【０１４２】
あるいは、ビデオカメラ１０２からのＡＶデータを記録しっぱなしにする場合には、ＧＵＩ画面のモードとして図４のエディットモードを選択して、プレイバック／エディット６の操作で、記録したＡＶデータを再生させる。
【０１４３】
すると、コンピュータ１０１内のハードディスクに記録中の映像がプレイバック／エディット６の映像表示部６ｂに表示され、それと同時に、ハードディスクから再生中の映像がプレイバック／エディット６の映像表示部６ａに表示される。（ＣＰＵの負荷率では図１１Ｄの状態に相当する。）
【０１４４】
この記録中の映像及び再生中の映像の同時表示の際、音声はフレームを跳ばすことなくコンピュータ１０１の内蔵スピーカから流れるので、音声が途切れて聴こえることはない。
【０１４５】
また、映像表示部６ｂに表示される映像はデコード時にＡＣ成分の解析を省略しているので粗くなる（８×８ピクセルのブロックのうちＤＣ成分１ピクセルだけを解析したので粗さが８倍になる）が、映像表示部６ｂは画面サイズが縮小されている（映像表示部６ａの画面サイズの８分の１である）ので、この粗さが目立たないようになっている。
【０１４６】
続いて、キャプチャ＆プレイバックモードあるいはエディットモードのＧＵＩ画面上で編集を行うと、記録中の映像及び再生中の映像の同時表示が行われるだけでなく、編集したＡＶデータが直ちにエンコードされる。（ＣＰＵの負荷率では図１１Ｃや図１１Ｅの状態に相当する。）
【０１４７】
続いて、ＧＵＩ画面のモードとして図５のタイムラインオーサリング＆プレビューモードを選択し、このＧＵＩ画面のタイムラインオーサリング７でオーサリングを行うことにより、図２に例示したようなＷｅｂコンテンツを作成する。
【０１４８】
そして、そのＷｅｂコンテンツをエンコードしてプレビューする操作をタイムラインオーサリング７で行う。これにより、キャプチャ＆プレイバックモードやエディットモードでのエンコードの処理の続きが行われ、エンコードが完了するとこのＧＵＩ画面のプレビュー８にエンコード済みのＷｅｂコンテンツが表示される。
【０１４９】
最後に、そのＷｅｂコンテンツをアップロードする操作をこのＧＵＩ画面のバックグランド５で行うと、そのＷｅｂコンテンツに含まれるクリップ（エンコード済みのもの）及びマルチメディアデータとそのＷｅｂコンテンツのレイアウトを決定するテンプレートとが、コンピュータ１０１からネットワーク１０３経由でコンテンツ配信用のサーバーにアップロードされる。
【０１５０】
コンテンツ配信用のサーバーからは、そのＷｅｂコンテンツが、インターネット経由で一般ユーザーのコンピュータや携帯電話に配信される。
【０１５１】
以上のように、このＷｅｂコンテンツ作成システムによれば、ＡＶデータの記録からＷｅｂコンテンツのアップロードまでの作業を、収録現場において、全て市販の持ち運び可能なパーソナルコンピュータを用いて行うことができる。
【０１５２】
したがって、従来のようにＡＶデータを収録したビデオテープを収録現場から制作室に搬送したり専用のノンリニア編集機を用いたりする必要がないので、Ｗｅｂコンテンツを短時間で低コストに作成できるようになっている。
【０１５３】
さらに、このパーソナルコンピュータを用いたＷｅｂコンテンツの作成過程で、専用のノンリニア編集機におけるのと同様に、記録中の映像と再生中（編集対象）の映像との両方をディスプレイで同時に確認しながら編集を行うことや、編集したＡＶデータを直ちにエンコードすることができる。
【０１５４】
これにより、Ｗｅｂコンテンツの作成時間を一層短縮化することができるようになっている。
【０１５５】
その結果、収録現場での最新の映像を、いち早くインターネット経由でＷｅｂコンテンツとして配信して視聴者に伝えることができるようになる。
【０１５６】
なお、以上の例では、Ｗｅｂコンテンツ作成用プログラム（記録映像と再生映像との同時表示のためのプログラムを含む）を、このプログラムを記録したＣＤ−ＲＯＭからコンピュータ１０１にインストールしている。しかし、別の例として、このプログラムを、このプログラムを提供するサイトからネットワーク経由でダウンロードしてコンピュータ１０１にインストールするようにしてもよい。
【０１５７】
また、以上の例では、Ｗｅｂコンテンツ作成用プログラムをパーソナルコンピュータにインストールしている。しかし、別の例として、このプログラムを携帯情報端末のＤＳＰにインストールし、その携帯情報端末を収録現場でパーソナルコンピュータの代わりに使用するようにしてもよい。
【０１５８】
また、以上の例ではＷｅｂコンテンツの作成のために本発明を適用しているが、これに限らず、記録中の映像と再生中の映像との両方を表示する必要のあるあらゆる用途に本発明を適用してよい。
【０１５９】
また、本発明は、以上の例に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。
【０１６０】
【発明の効果】
以上のように、本発明によれば、圧縮された映像データをコンピュータで記録及び再生する際に、記録中の映像と再生中の映像との両方をコンピュータのディスプレイに同時に表示することができるという効果が得られる。
【０１６１】
また、ＣＰＵの負荷率に余裕がある場合に、編集した映像データを直ちにネットワーク帯域用にエンコードすることもできるという効果が得られる。
【０１６２】
また、ＣＰＵの負荷が一時的に大きくなったためにそのままでは映像が正常に表示されなくなってしまうような場合にも、最小限のフレームの映像の表示を犠牲にするだけで、それよりも後のフレームの映像を正常に表示することができるという効果が得られる。
【０１６３】
したがって、例えば動画を含むＷｅｂコンテンツをコンピュータを用いて作成するために本発明を適用すれば、収録現場において、ビデオカメラからのＡＶデータを直接コンピュータに記録し、記録中の映像と再生中（編集対象）の映像とをコンピュータのディスプレイで同時に確認することができるので、Ｗｅｂコンテンツの作成時間を短縮することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用したＷｅｂコンテンツ作成システムを示す図である。
【図２】図１のシステムで作成するＷｅｂコンテンツの一例を示す図である。
【図３】図１のコンピュータに表示されるＧＵＩ画面を示す図である。
【図４】図１のコンピュータに表示されるＧＵＩ画面を示す図である。
【図５】図１のコンピュータに表示されるＧＵＩ画面を示す図である。
【図６】Ｗｅｂコンテンツ作成用プログラムによる処理の概要を示す図である。
【図７】同時表示のためのプログラム及び図６の「デコード１」や「デコード２」の処理を示す図である。
【図８】コンピュータのＯＳによるスレッドの管理の様子を示す図である。
【図９】ＤＶ規格の映像データについて、通常のデコード処理と、ＡＣ成分の解析を省略したデコード処理とを示す図である。
【図１０】図７の「ビデオデコード処理１」や「ビデオデコード処理２」５０での通常のデコード処理を示す図である。
【図１１】ＣＰＵの全体の負荷率を示す図である。
【図１２】編集結果の変化によってエンコードをし直すＧＯＰを示す図である。
【図１３】ＧＯＰの構造の一例を示す図である。
【符号の説明】
１　キャプチャ、　１ａ，２ａ，６ａ，６ｂ　映像表示部、　２，６　プレイバック／エディット、　３　コンテンツブラウザ、　４　ストーリーボード、　５　バックグランド、　７　タイムラインオーサリング、　８　プレビュー、　１３　「デコード１」、　１６　「デコード２」、　２２　「デコード３」、２４　「エンコード」、　３１　「アプリケーションの状態検出」、　３２　「ＣＰＵ負荷コントローラ」、　１０１　コンピュータ、　１０２　ビデオカメラ、
１０３　ネットワーク
【図１】
2004015557.tif 000003
【図２】
2004015557.tif 000004
【図３】
2004015557.tif 000005
【図４】
2004015557.tif 000006
【図５】
2004015557.tif 000007
【図６】
2004015557.tif 000008
【図７】
2004015557.tif 000009
【図８】
2004015557.tif 000010
【図９】
2004015557.tif 000011
【図１０】
2004015557.tif 000012
【図１１】
2004015557.tif 000013
【図１２】
2004015557.tif 000014
【図１３】
2004015557.tif 000015