(57)【要約】【課題】大量の映像コンテンツの符号化フォーマットを変換する場合において、全てのピクチャを変換する手順だけでは、予め設定された制限時間内に変換動作を完了させることが困難である。【解決手段】本発明の映像変換装置は、入力されたピクチャ種類に応じて２段階ステップで変換を行う変換モードを含め、３種類の変換モードを備える。【選択図】　図１
2004140718.tif 000002
【特許請求の範囲】
【請求項１】
複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換するデータ変換方法をコンピュータに実行させるためのプログラムであって、
上記データ変換方法は、
上記第１の符号化データを取得するステップと、
上記複数の種類のうち第１の種類のピクチャを抽出して復号し、上記第２の符号化データに変換する符号化ステップと、
上記符号化ステップ後に上記第１の種類以外の第２の種類のピクチャを復号し、上記第２の符号化データに変換する符号化ステップと、
上記符号化された第２の種類のピクチャを上記符号化された第１のピクチャのデータに挿入してデータストリームを作成するステップと、
上記データストリームを記憶手段に記憶するステップとを有することを特徴とするプログラム。
【請求項２】
上記第１の種類のピクチャは復号時に他のフレームから参照されるフレームであって、上記第２の種類のピクチャは復号時に他のフレームから参照されないフレームであることを特徴とする請求項１記載のプログラム。
【請求項３】
第１の符号化方法で符号化された複数種類のピクチャで構成されるデータを第２の符号化方法で再符号化する方法であって、
上記複数種類のピクチャで構成される符号化データを取得するステップと、
入力手段から変換時間の入力を受けるステップと、
上記変換時間に応じて再符号のモードを選択するステップと、
上記選択されたモードで上記符号化データを再符号化するステップと、
上記再符号化されたデータを記憶手段に記憶するステップとを有し、
上記再符号のモードは、
上記複数の種類のうち所定の種類のピクチャを抽出して復号し上記第２の符号化を行う第１のモードと、
上記所定の種類のピクチャの符号化後に上記抽出された種類以外のピクチャについて上記第２の符号化を行う第２モードと、
上記取得された符号化データを取得した順序で上記第２の符号化を行う第３のモードであることを特徴とする再符号化方法をコンピュータに実行させるためのプログラム。
【請求項４】
上記取得するステップは、複数の上記符号化データを取得し、
上記再符号化方法は、上記複数の符号化データ各々についての優先度を設定するステップを更に有し、
上記モードを選択するステップは、上記各符号化データの優先度に応じて該選択を行うことを特徴とする請求項３記載の再符号化方法をコンピュータに実行させるためのプログラム
【請求項５】
上記モードを選択するステップは、上記取得した符号化データを上記３種類のモード各々に適用した場合の変換時間を算出して、該算出結果を上記入力された制限時間と比較することで何れかのモードを選択することを特徴とする請求項３又は４に記載のプログラム。
【請求項６】
上記第１のモードは、上記取得したデータの種類を判定し、上記所定の種類以外のピクチャについてはスキップするとともに該スキップした旨をプロファイル情報として記憶手段に記録し、上記第２のモードは読み出した上記プロファイル情報を用いて、上記第２の符号化を行うことを特徴とする請求項３乃至５の何れかに記載のプログラム。
【請求項７】
上記プロファイル情報は、少なくとも
上記変換の条件と、
上記取得する符号化データの取得先および変換後の符号化データの出力先と、
上記所定の種類以外のピクチャを上記第２の符号化する際に参照すべきピクチャのポインタ、上記符号化後の挿入場所に関する情報とを有することを特徴とする請求項６記載のプログラム。
【請求項８】
複数種類のピクチャで構成されるデータを第２の符号化方法で再符号化する方法であって、
第１の符号化方法で符号化された複数種類のピクチャで構成される符号化データを取得する手段と、
上記符号化データの変換時間の入力を受ける入力手段と、
上記変換時間に応じて再符号のモードを選択する手段と、
上記選択されたモードで上記符号化データを再符号化する手段と、
上記再符号化されたデータを出力する手段とを有し、
上記再符号のモードは、
上記複数の種類のうち第１の種類のピクチャを抽出して復号し上記第２の符号化を行う第１のモードと、
上記所定の種類のピクチャの符号化後に上記第１の種類以外のピクチャについて上記第２の符号化を行う第２モードと、
上記取得された符号化データを取得した順序で上記第２の符号化を行う第３のモードであって、
上記第１のモードにおいて作成された上記第２のピクチャの情報を参照して上記第２のモードは実行され、上記出力手段は上記第２のピクチャの情報も出力することを特徴とする再符号化装置。
【請求項９】
上記入力手段を介して複数の符号化データを取得した場合に、該各符号化データの優先度を設定する手段をさらに有し、
上記選択する手段は上記優先度を参照することを特徴とする請求項８記載の再符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の符号化手段で符号化された映像データを別の異なる符号化手段の符号化データへ変換する映像変換装置およびその方法に関するものである。特に動画符号化の国際標準規格であるＭＰＥＧ−２からＭＰＥＧ−４へ変換するための映像変換システム、変換方法、プログラムに関する。
【０００２】
【従来の技術】
ＴＶ放送局、ＣＡＴＶ（ケーブルＴＶ）局、Ｗｅｂコンテンツプロバイダ等では、製作および放送した映像コンテンツを二次利用する目的で、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）等で符号化し、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＤＶＤ（Ｄｉｇｉｔａｌ　ＶｅｒｓａｔｉｌｅＤｉｓｋ）等の各種記録メディアにデジタル形式で保存することが一般的に行われている。その際、ＤＶＤやＨＤＴＶ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｔｅｌｅｖｉｓｉｏｎ）で使用され、符号化後の画像品質が高いことで知られているＭＰＥＧ−２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ２）が特に利用されることが多い。
【０００３】
現在、このように保存されている映像コンテンツを携帯電話やインターネットに接続されたＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等で再生させることを目的とした映像配信サービスが検討されている。
【０００４】
しかし、これらの回線インフラの伝送容量（数十ｋｂｐｓ〜十数Ｍｂｐｓ）に比べて、ＭＰＥＧ−２の情報量が数倍大きい（数百ｋｂｐｓ〜二十数Ｍｂｐｓ）ため、映像コンテンツをＭＰＥＧ−２のまま配信することは実質的に困難である。そこで、例えばＭＰＥＧ−２に比べて情報圧縮率の高いＭＰＥＧ−４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ４）に一旦変換して、再度保存（或いは直ちに配信）　する方法が考えられる。
【０００５】
ところで、ＴＶ放送局、ＣＡＴＶ（ケーブルＴＶ）局、Ｗｅｂコンテンツプロバイダ等では、扱われる映像コンテンツの数は膨大な量に及ぶ。これらを上記の映像配信システムで処理する場合には、放送スケジュールの都合等で、「大量の映像コンテンツを予め決められた制限時間内に変換を完了させる」ことが要求される。特に、負荷の大きい変換要求（制限時間内に終わりそうもない）が設定された場合でも、破綻せずに所定の変換処理を最後まで実行するシステム対応が重要となる。
【０００６】
従来技術として、映像コンテンツをＭＰＥＧ−２からＭＰＥＧ−４へ変換するシステムがある（例えば、特許文献１及び特許文献２参照）。
特許文献１には、ＭＰＥＧ−２の全てのＩピクチャ（Ｐピクチャに比べて符号量が大きいピクチャ）をそのまま変換することによるＭＰＥＧ−４変換後の発生符号量増大の抑制するために、ＭＰＥＧ−２のＩピクチャからＭＰＥＧ−４のＩピクチャへ変換を制限する手順を備えて、Ｉピクチャの変換であっても、ＭＰＥＧ−４変換側で適宜Ｐピクチャ（Ｉピクチャに比べて符号量が小さいピクチャ）として変換することを特徴とする手法が記載されている。
特許文献２には、変換前後のピクチャにおける動きベクトル情報の相関が似ていることを利用して、ＭＰＥＧ−２の復号に用いた動きベクトル情報をＭＰＥＧ−４の動きベクトル情報として符号化することを特徴とし、ＭＰＥＧ−４の動きベクトル探索処理を省略することで変換時間を短縮する手法が記載されている。　また、ＭＰＥＧ−４へ変換した映像データを記録媒体へ保存せずに、常に直接インターネット等の配信回線へ送出することで、システム側で変換後のデータ持たない特徴とする映像配信システムもある（例えば、特許文献３参照）。
【特許文献１】
特開２００２−１０２６７号公報
【特許文献２】
特開２００２−４４６６９号公報
【特許文献３】
特開２００２−２３２８６０号公報
【０００７】
【発明が解決しようとする課題】
上記特許文献１に開示される方法は、ＭＰＥＧ−２のＩピクチャを適宜ＭＰＥＧ−４のＰピクチャとして変換することでＭＰＥＧ−４全体の発生符号量を抑制する手法であるが、通常Ｐピクチャの符号化は、別のピクチャの参照を伴う処理であるため、変換処理時間は増大傾向となることが予想される。従って、大量の映像コンテンツの変換を所定の制限時間内に終了させるという目的のシステムには適さないという課題がある。
【０００８】
上記特許文献２に開示される方法は、ＭＰＥＧ−２の復号に用いた動きベクトル情報をＭＰＥＧ−４の動きベクトル情報として符号化することで変換時間を短縮しようとする手法であるが、変換過程で画像のスケーリングやフレームスキップ等の条件を伴う変換では、必ずしも真の動きベクトル情報とはならず、その誤差が大きいままＭＰＥＧ−４に符号化される可能性がある。この場合の変換後の映像は、真の動きベクトル情報を符号化したＭＰＥＧ−４の映像と比べて、画質が劣化するという課題がある。　上記特許文献３に開示される方法は、ＭＰＥＧ−４へ変換後の映像コンテンツを保存しないシステム構成であることに特徴があるが、入力されるＭＰＥＧ−２の全てのフレームについて処理することが前提であり、ある所定数の映像コンテンツの変換を制限時間内に実行させることについては、特に考慮されていない。従って、前記の従来例同様に、大量の映像コンテンツの変換を所定の制限時間内に終了させるという目的のシステムには適さないという課題がある。
【０００９】
本発明は、上述の課題を解決するためのものであり、複数の映像コンテンツをＭＰＥＧ−２からＭＰＥＧ−４へ変換する機能を有するシステムにおいて、通常の変換手順（ＭＰＥＧ−２の全てのピクチャをＭＰＥＧ−４へ変換する）では、予め設定された制限時間内に終了しないケースの変換要求を受けた場合でも、所定レベルの映像品質を保持しつつ、全ての映像コンテンツの変換を終了させることが可能な手段を提供することを目的としている。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば以下の通りである。
【００１１】
複数種類のピクチャで構成される第１の符号化データを取得し、上記複数の種類のうち第１の種類のピクチャを抽出して復号して第２の符号化データに変換する符号化ステップと、上記符号化ステップ後に第１の種類以外の第２の種類のピクチャを復号して第２の符号化データに変換する符号化ステップと、符号化された第２の種類のピクチャを符号化された第１のピクチャのデータに挿入してデータストリームを作成するステップとを有するデータ変換方法。
及び、　第１の符号化方法で符号化された複数種類のピクチャで構成される符号化データを取得し、入力された変換時間応じて再符号のモードおよび優先度を選択して第２の符号化方法で再符号化を行う方法であって、再符号のモードは、複数の種類のうち所定の種類のピクチャを抽出して復号し上記第２の符号化を行う第１のモードと、上記所定の種類のピクチャの符号化後に上記抽出された種類以外のピクチャについて上記第２の符号化を行う第２モードと、上記取得された符号化データを取得した順序で上記第２の符号化を行う第３のモードである再符号化方法。
【００１２】
【発明の実施の形態】
以下、本発明における映像配信装置と映像受信装置の実施の形態について説明する。
本発明の映像変換装置は、ＭＰＥＧ−２映像ファイルを保存しておくための記録媒体であるＭＰＥＧ−２入力部と、ＭＰＥＧ−２映像を元の映像信号に復号化するためのＭＰＥＧ−２デコーダ部と、一旦元に戻された映像信号をＭＰＥＧ−４映像に符号化するためのＭＰＥＧ−４エンコーダ部と、ＭＰＥＧ−２デコーダにより復号された各ピクチャのストリーム上の位置と、第１段階の変換で復号化せずにスキップしたピクチャのビットストリーム上の位置と、動きベクトル平均値などを抽出するための動きベクトル検査部と、これらの情報を一つにまとめ、ファイルとして保存される変換プロファイルと、第２段階の変換において、変換プロファイルの情報に基づいて、第１段階の変換で復号化をスキップされたピクチャ部分への移動を制御するためのフレームスキップ部と、第１段階の変換で作成されたＭＰＥＧ−４映像ファイルを読み出し、第２段階の変換時にＭＰＥＧ−４エンコーダ部から出力されるＭＰＥＧ−４映像とを連結して、再びＭＰＥＧ−４映像ファイルとして出力するためのマージ制御部と、ＭＰＥＧ−４エンコーダ部またはマージ制御部から出力されるＭＰＥＧ−４映像を保存しておくための記録媒体であるＭＰＥＧ−４出力部と、ユーザが変換対象とするＭＰＥＧ−２映像の選択や優先順位、さらに変換の制限時間等を入力するための操作部と、入力されたＭＰＥＧ−２映像の所在等をファイルとして保存しておくための変換リストと、変換リストに基づいて変換の順番や変換方法を自動的に決定し、その処理順序などファイルとして保存する変換スケジュールと、映像変換装置の動作状態と、変換の進捗状況と、ユーザ入力時のＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）と、変換中の映像等を適宜表示するためのモニタと、変換の時間を計測するためのタイマと、映像変換装置の各部に接続され適切な制御を実施するための制御部とで構成する。
【００１３】
同装置は、ユーザが映像コンテンツ毎に設定する変換の優先度に基づいて３つの変換方法を割り当てる。その後、ユーザが設定した変換の制限時間に基づいて、手順の異なる第１段階の変換および第２段階の変換を割り当てて、この２段階の変換を適切な順序で行うことで、ＭＰＥＧ−２映像からＭＰＥＧ−４映像への変換を実施する機能を備える。
【００１４】
図１は、本発明の映像変換装置１００の構成を示す図である。
【００１５】
ＭＰＥＧ−２映像からＭＰＥＧ−４映像への変換は、ＨＤＤ等の記録媒体に保存されているＭＰＥＧ−２映像ファイルを入力（１１０）し、ＭＰＥＧ−２デコーダ１０１によって符号化前の映像信号に復号し、その信号をＭＰＥＧ−４エンコーダ１０２で再び符号化して、記録媒体へＭＰＥＧ−４映像ファイルとして出力（１１１）することにより行う。変換には３種類の方法があり、入力されるＭＰＥＧ−２映像のＩピクチャ（イントラ符号化画像）、Ｐピクチャ（順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）の全てのピクチャを変換する方法（フルコンバート）と、ＩピクチャとＰピクチャのみを変換してＢピクチャの変換をスキップする方法（１パスコンバート）と、変換をスキップしたＢピクチャを変換し、同一ＭＰＥＧ−２映像について既にＩピクチャとＰピクチャのみ変換されて記録媒体に保存済のＭＰＥＧ−４映像と連結する方法（２パスコンバート）がある。動きベクトル検査部１０３は、フルコンバートと１パスコンバートの時に動作し、ピクチャの変換を行った場合は、ピクチャのビットストリーム上の位置と、ピクチャの符号化ビット量等の情報を出力する。また、ピクチャの変換を行わなかった場合は、少なくともピクチャの入力ビットストリーム上の位置と、平均ベクトル値と、そのピクチャが復号化される時に参照するピクチャの位置と、本来ＭＰＥＧ−４映像への変換が行われた場合の出力ビットストリーム上の位置と、そのピクチャがＭＰＥＧ−４への変換が行われたか否かを示すフラグ（ＭＰＥＧ−４変換フラグ）の各情報を出力する。平均ベクトル値は、２パスコンバートの２パス目変換を実行する際に、どのピクチャを優先的に変換するかを決定するために使用する。ピクチャの位置情報は、変換するピクチャ位置の特定、変換後の連結先位置を特定するために使用する。ＭＰＥＧ−４変換フラグは、ユーザが２パスコンバート後に、変換されなかったピクチャを認識するために使用する。
動きベクトル検出部１０３で抽出された情報は、変換プロファイル１１２として記録媒体に保存される。フレームスキップ制御部１０４は、２パスコンバートの時に動作し、変換プロファイル１１２を読み出して、１パスコンバートで変換をスキップしたＢピクチャの位置移動等を制御する。マージ制御部１０５は、２パスコンバートの時に動作し、１パスコンバートで出力されたＭＰＥＧ−４映像のビットストリームと、２パスコンバートで変換されたＢピクチャとを、変換プロファイルを参照して連結する部分である。変換リスト１１３は、変換の制限時間、変換対象となるＭＰＥＧ−２映像ファイルアドレス（ファイル名を含む）、出力先となるＭＰＥＧ−４映像ファイルアドレス（ファイル名を含む）、変換方法示す情報を記録したファイルであり、ユーザが操作部１０７を利用して入力する。映像変換装置１００は、この変換リスト１１３を基にして変換の順番と変換方法を自動的に決定し、変換スケジュール１１４を作成する。変換は、変換スケジュール１１４に示された手順に従って、逐次実行される。モニタ１０９には、ユーザ入力時のＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示し、映像変換装置１００の動作状態、変換の進捗状況、変換中の映像等も適宜表示する。タイマ１０８は、変換時間を計測し、予め設定された制限時間に到達したか否かの判断に使用する。制御部１０６は、映像変換装置１００の各部に接続され適切な制御を実施する
図２は、本発明の映像変換装置１００が実行する変換の種類を示す図である。
【００１６】
ＭＰＥＧ−２やＭＰＥＧ−４を用いた映像符号化では、映像情報の時間軸方向の冗長度を落とすため、双方向動き補償フレーム間予測と呼ばれる予測符号化方式が用いられている。予測符号化とは、画面中のある画素の信号値と、異なる時間（過去または未来）の画像の信号値との差分を用いて表す方式のことである。この方式は、一般的に連続した映像は、注目している画像と前後の画像とはよく似ている、という性質を利用したものである。
【００１７】
予測符号化で用いられる画像は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類がある。Ｉピクチャは、入力画像そのものだけから符号化されたピクチャであり、別のピクチャとの相関関係を持たないピクチャのことである。Ｐピクチャは、Ｉピクチャまたは別のＰピクチャの画像情報を参照することによって生成されるピクチャのことである。ＢピクチャもＰピクチャと同様に、ＩピクチャまたはＰピクチャの画像情報を参照することによって生成されるピクチャであるが、Ｂピクチャ自体は、他のピクチャからは参照されないという点がＰピクチャと異なる。
【００１８】
映像変換において、変換処理の時間短縮を目的にある入力ピクチャの変換をスキップする場合、ＩピクチャまたはＰピクチャをスッキプするケースでは、そのピクチャ自体が別のピクチャから参照されるため、実際には必ず復号処理を行わなければならず、ピクチャをスキップしなかった場合と比べても処理時間はほとんど変わらない。仮に、スキップしたとすると、以後の参照先ピクチャを復号することが不可能になり、目的とするスキップピクチャ以外の部分で映像の連続性が失われるという不具合が発生する。一方、Ｂピクチャのスキップならば、別のピクチャからの参照を受けないため、目的とするスキップピクチャ以外の部分で映像の連続性が失われることがない。
【００１９】
本発明の映像変方法は、上記３種類のピクチャの特徴を利用したものであり、特に変換の処理時間短縮を目的に２段階に分けて変換する手段を備える。２段階の変換では、まず、ＭＰＥＧ−２映像の入力ピクチャの中でまずＢピクチャ部分をスキップする変換（第１段階の変換）を行ってＭＰＥＧ−４映像を作成し、次に時間に余裕がある場合に、スキップしたＢピクチャ部分を変換（第２段階の変換）して先に作成したＭＰＥＧ−４映像と連結する手順を実行する。
【００２０】
図２（ａ）は、変換の種類毎の変換対象ピクチャを示す図である。
変換は、１パスコンバート２００、２パスコンバート２０１、フルコンバート２０２の３種類がある。１パスコンバート２００は、ＭＰＥＧ−２映像のピクチャのうち、Ｂピクチャを除いたＩピクチャとＰピクチャだけを変換する。２パスコンバート２０１は、まず第１段階の変換（以下、１パス目変換と称す）としてＩピクチャとＰピクチャを変換してＭＰＥＧ−４映像のビットストリームを作成する。その後、予め設定された変換の制限時間まで余裕がある場合、第２段階の変換（以下、２パス目変換と称す）として、１パス目変換でスキップしたＢピクチャを変換し、先に作成されたＭＰＥＧ−４映像のビットストリームと結合する。フルコンバート２０２は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの全てを取得した順序で変換する。例えば、本映像変換装置１００では、１パスコンバートはｍｏｄｅ１、２パスコンバートはｍｏｄｅ２、フルコンバートはｍｏｄｅ３というコードを用いて変換モードを指定する。
【００２１】
１パスコンバートは、Ｂピクチャをスキップして変換するため、変換時間を大幅に短縮できる利点がある。同モードでは、本来存在するピクチャを間引いているため、厳密には映像の滑らかさの点で品質劣化が生じる。しかし、一般的には毎秒１０枚（１０フレーム／秒）程度のピクチャで構成される映像であれば、動画としての許容範囲内であることが知られている。通常、毎秒３０枚のピクチャ（３０フレーム／秒）で構成されるＭＰＥＧ−２映像において、Ｂピクチャは、毎秒１０枚から２０枚程度の範囲で挿入されるのが一般的である。このことから、Ｂピクチャを間引いても毎秒１０枚から２０枚程度のピクチャ枚数を確保できるため、品質劣化を最小限に抑えた変換映像を出力できる。
【００２２】
２パスコンバートは、１パスコンバートでスキップしたＢピクチャを後から変換し、一度、１パスコンバートで出力されたＭＰＥＧ−４映像と連結するモードである。同モードは、変換制限時間に余裕がある場合に実行される。一旦間引かれたＢピクチャを埋め戻すため、フルコンバートの出力映像と同等の映像品質に近づけることができる。
【００２３】
フルコンバートは、ピクチャを取得した順序で全て変換するため変換時間を短縮することはできないが、ピクチャのスキップを行わないため、変換後映像の品質劣化も小さく、ほぼ入力映像に近い映像品質となる。
各変換モードは、ユーザが任意に設定できる。標準的な設定方法としては、変換後も映像品質を高品位に保ちたいものにはｍｏｄｅ３（フルコンバート２０２）を設定し、特に映像品質を考慮しなくてもよいものにはｍｏｄｅ１（１パスコンバート２００）を設定する。フルコンバート２０２よりも優先度は低くても良いが、変換時間に余裕があれば映像品質を高品位に保つ変換を行いたいものにはｍｏｄｅ２（２パスコンバート２０１）設定する。
【００２４】
図２（ｂ）は、変換モード設定時にユーザが指定する優先度２０３を説明する図である。
【００２５】
優先度２０３は、１パス目変換でスキップした複数のＢピクチャについて、２パス目変換でどこまで変換を本映像変換装置１００が判断するための指標となる。具体的には、２パスコンバート２０１の２パス目変換で変換されるＢピクチャの数を決定するために使用する。
具体的には、複数のＭＰＥＧ−２映像が２パスコンバートの対象となった場合に、ユーザが設定した優先度に基づいて、各々２パス目変換で変換されるＢピクチャの数を決定するために使用する。変換するＢピクチャの数は、他のＭＰＥＧ−２映像の優先度との相対関係で決まり、優先度が高い程、２パス目変換で処理するＢピクチャの数は多く設定される。２パスコンバートの対象となるＭＰＥＧ−２映像が１つの場合、優先度は実質的に意味を持たないので、自動的に最も高い優先度に設定される。
【００２６】
優先度２０３は、ユーザが任意にインターフェイスを介して設定できるようにするか、又は装置が自動的に設定することもできる。自動的に設定する例としては、ユーザが変換するＭＰＥＧ−２映像を指定した順番に基づいて、始めに設定したＭＰＥＧ−２映像の優先度が最も高く、最後に設定したものが最も低いというように決定（或いはその逆）する。別の例としては、ＭＰＥＧ−２映像の作成された時期に基づいて決定する方法で、最近作成されたものは優先度が高く、古いものは優先度が低いというように決定（或いはその逆）する。この他、入力するＭＰＥＧ−２映像のビットレート、フレームレート、画像サイズ等を優先度決定の指標としてもよい。
【００２７】
同図の例では、優先度の範囲は０から９までの１０段階である。優先度の数値が大きい程、Ｂピクチャ変換数を多く設定し、数値が小さい程、Ｂピクチャ変換数を少なく設定する。優先度９は最も優先順位が高く、全Ｂピクチャの変換を行う。優先度０は最も優先順位が低く、Ｂピクチャの変換を行わない。優先度が１〜８に設定された場合は、その設定値の割合に応じてＢピクチャ変換数を設定する。
【００２８】
１パスコンバート２００の場合は、Ｂピクチャ変換を行わないため、優先度は０に固定される。フルコンバート２０２の場合は、１パス目変換において全Ｂピクチャの変換も含まれているため、優先度は１０に固定される。
【００２９】
２パス目変換で変換の対象となるＭＰＥＧ−２映像のＢピクチャの位置は、Ｂピクチャの動きベクトル情報を参照して、変換するか否かを決定する。特に、動きベクトルが大きいピクチャから優先的に変換対象として割り当てる。一般的に、動きベクトル値が大きいピクチャは、画面の動きが大きい（映像上の人物、物、風景等が素早く移動する）部分であると考えられ、より多くのピクチャを挿入することで滑らかな映像を再現出来るためである。逆に、動きベクトル値が小さいピクチャは、画面の動きも小さいと考えられ、多少ピクチャを間引いても映像劣化として知覚されにくい。
【００３０】
ところで、同図では優先度の設定範囲を１０段階としているが、これは設定方法の一例である。優先度の設定範囲は、システム構成に応じて任意に可変しても構わない。
【００３１】
図３は、フルコンバート２０２の動作を示す図である。
図３（ａ）は、映像変換装置１００におけるフルコンバート２０２の場合の動作ブロックを示す図である。
フルコンバート２０２では、ユーザの設定により予め作成される変換スケジュール１１４に基づいて記録媒体からＭＰＥＧ−２映像のビットストリームを入力（１１０）し、ＭＰＥＧ−２デコーダ１０１でＩピクチャ、Ｐピクチャ、Ｂピクチャの全てを順次復号する。復号された全てのピクチャはＭＰＥＧ−４エンコーダ１０２で順次符号化され、記録媒体へＭＰＥＧ−４映像のビットストリームとして出力（１１１）する。
図３（ｂ）は、フルコンバート２０２時のＭＰＥＧ−２映像入力のピクチャとＭＰＥＧ−４映像出力のピクチャの関係を示す図である。
映像変換装置１００に入力（１１０）されるＭＰＥＧ−２映像のＩ０ピクチャ（３００）、Ｂ０ピクチャ（３０１）、Ｂ１ピクチャ（３０２）、Ｐ０ピクチャ（３０３）は、順次ＭＰＥＧ−４映像に変換され、それぞれＩ０’ピクチャ（３０８）、Ｂ０’ピクチャ（３０９）、Ｂ１’ピクチャ（３１０）、Ｐ０’ピクチャ（３１１）として出力（１１１）される。以後に続くＢ２ピクチャ（３０４）、Ｂ３ピクチャ（３０５）、Ｐ１ピクチャ（３０６）、Ｂ４ピクチャ（３０７）も同様に順次Ｂ２’　ピクチャ（３１２）、Ｂ３’　ピクチャ（３１３）、Ｐ１’　ピクチャ（３１４）、Ｂ４’ピクチャ（３１５）に変換される。
図４は、１パスコンバート２００および２パスコンバート２０１の１パス目変換の動作を示す図である。１パスコンバート２００と２パスコンバート２０１の１パス目変換の動作は同じであるので、図４では、１パスコンバート２００の動作例として説明する。
図４（ａ）は、映像変換装置１００における１パスコンバート２００の場合の動作ブロックを示す図である。
１パスコンバート２００では、ユーザの設定により予め作成される変換スケジュール１１４に基づいて記録媒体からＭＰＥＧ−２映像のビットストリームを入力（１１０）し、ＭＰＥＧ−２デコーダ１０１でＢピクチャを除く、Ｉピクチャ、Ｐピクチャのみを順次復号する。復号されたＩピクチャおよびＰピクチャは、直ちにＭＰＥＧ−４エンコーダ１０２で符号化され、記録媒体へＭＰＥＧ−４映像のビットストリームとして出力（１１１）する。この時、動きベクトル検査部１０３は、変換に関する所定の情報（図５と図６を用いて後述）を出力し、変換プロファイル１１２として記録媒体に保存する。
図４（ｂ）は、１パスコンバート２００時のＭＰＥＧ−２映像入力のピクチャとＭＰＥＧ−４映像出力のピクチャの関係を示す図である。
【００３２】
同図の例のように、ＭＰＥＧ−２映像のピクチャがＩ０ピクチャ（４００）、Ｂ０ピクチャ（４０１）、Ｂ１ピクチャ（４０２）、Ｐ０ピクチャ（４０２）の順で入力された場合、途中のＢ０ピクチャ（４０１）とＢ１ピクチャ（４０２）の変換はスキップされ、Ｉ０ピクチャ（４００）とＰ０ピクチャ（４０３）が変換される。この後に続いて入力されるＢ２ピクチャ（４０４）、Ｂ３ピクチャ（４０５）、Ｐ１ピクチャ（４０６）、Ｂ４ピクチャ（４０７）についても、Ｂ２ピクチャ（４０４）とＢ３ピクチャ（４０５）とＢ４ピクチャ（４０７）の変換がスキップされ、Ｐ１ピクチャ（４０６）のみが変換される。従って、この場合は変換が実行されたＩ０’ピクチャ（４０８）、Ｐ０’ピクチャ（４０９）、Ｐ１’ピクチャ（４１０）の順で連結されたものがＭＰＥＧ−４映像のピクチャ出力となる。
【００３３】
図５は、ＩピクチャまたはＰピクチャを変換する時に動きベクトル検査部１０３が出力する情報を示す図である。
【００３４】
Ｉピクチャ５００またはＰピクチャ５０１を変換する時は、各ピクチャの入力ビットストリーム上の位置（ピクチャポインタ５０２）と、ピクチャの符号化ビット量５０３を出力する。
【００３５】
図６は、Ｂピクチャの変換をスキップする時に動きベクトル検査部１０３が出力する情報を示す図である。
【００３６】
Ｂピクチャ６００の変換をスキップする時は、そのピクチャの入力ビットストリーム上の位置（ピクチャポインタ６０１）と、平均ベクトル値ＡｖｅＶ（６０２）と、そのピクチャが復号化される時に参照するピクチャの位置（参照ピクチャポインタ６０３）と、本来ＭＰＥＧ−４映像への変換が行われた場合の出力ビットストリーム上の位置（挿入ピクチャポインタ６０４）と、そのピクチャが実際にＭＰＥＧ−４への変換が行われたか否かを示すフラグ（挿入・非挿入識別フラグ６０５）の情報を少なくとも出力する。但し、１パスコンバートのみの実行が前提の場合には出力しないようにすることも可能である。平均ベクトル値ＡｖｅＶ（６０２）とは、Ｂピクチャの符号化情報に含まれている複数の動きベクトルの絶対値を平均した値であり、２パスコンバート２０１の２パス目変換の時に、優先的に変換するＢピクチャを決定するためのパラメータとして使用する。
【００３７】
図７は、２パスコンバート２０１の２パス目変換の動作を示す図である。
【００３８】
図７（ａ）は、同変換の動作ブロックを示す図である。
【００３９】
２パスコンバート２０１の２パス目変換では、１パス目変換でスキップされたＢピクチャの変換を行う。まず、ユーザの設定により予め作成される変換スケジュール１１４に基づいて、記録媒体から１パス目変換と同じＭＰＥＧ−２映像のビットストリームを入力（１１０）する。この時、フレームスキップ制御部１０４が、既に作成されている変換プロファイル１１２を参照する。１パス目変換で変換をスキップしたＢピクチャの中から優先的に変換を行うピクチャは、平均ベクトル値ＡｖｅＶ（６０２）の大きさを比較して決定する。平均ベクトル値ＡｖｅＶ（６０２）が大きいほど、変換の優先度が高い。Ｂピクチャを決定する別の手段として、フレーム符号ビット量（５０３）を参照して、変換対象のＢピクチャを決定しても良い。一般的に、ピクチャ（フレーム）の符号量が大きい部分は、動きベクトル量が大きい場合と同様に、画像の動きが大きいケースであることが知られている。このため、フレーム符号ビット量（５０３）を参照する方法が代用できる。決定したＢピクチャの位置までは、ピクチャポインタ（６０１）を参照し、ビットストリーム上の移動を制御する。ここで抽出されたＢピクチャは、参照ピクチャポインタ（６０３）に基づき、復号時の参照元となるＩピクチャまたはＰピクチャを特定してＭＰＥＧ−２デコーダ１０１で復号直ちにＭＰＥＧ−４エンコーダ１０２で符号化する。続いて、この符号化されたピクチャは、マージ制御部１０５により、既に１パス目変換で記録媒体へ出力されているＭＰＥＧ−４映像ビットストリームの所定の位置に連結した後、再び記録媒体へ出力（１１１）する。Ｂピクチャを連結する位置は、変換プロファイル１１２の挿入ピクチャポインタ６０４が参照される。
【００４０】
図７（ｂ）は、２パスコンバート２０１の２パス目変換時におけるＭＰＥＧ−２映像入力のピクチャとＭＰＥＧ−４映像出力のピクチャの関係を示す図である。
【００４１】
２パスコンバート２０１の２パス目変換は、Ｂピクチャのみ変換を行うので、同図の例のようにＭＰＥＧ−２映像のピクチャが、Ｉ０ピクチャ（７００）、Ｂ０ピクチャ（７０１）、Ｂ１ピクチャ（７０２）、Ｐ０ピクチャ（７０２）の順で入力された場合、１パス目変換で既に変換済みのＩ０ピクチャ（７００）とＰ０ピクチャ（７０３）の変換はスキップされ、Ｂ０ピクチャ（７０１）とＢ１ピクチャ（７０２）が変換される。
この後に続いて入力されるＢ２ピクチャ（７０４）、Ｂ３ピクチャ（７０５）、Ｐ１ピクチャ（７０６）、Ｂ４ピクチャ（７０７）についても、Ｐ１ピクチャ（７０６）の変換がスキップされ、Ｂ２ピクチャ（７０４）、Ｂ３ピクチャ（７０５）、Ｂ４ピクチャ（７０７）が変換される。
【００４２】
Ｂ０ピクチャ（７０１）、Ｂ１ピクチャ（７０２）、Ｂ２ピクチャ（７０４）、Ｂ３ピクチャ（７０５）、Ｂ４ピクチャ（７０７）の位置は、変換プロファイル１１２のピクチャポインタ（６０１）が参照されて特定される。
【００４３】
図７（ｃ）は、２パスコンバート２０１の２パス目変換時において、優先的に変換するＢピクチャが決定している場合の動作の一例を示すである。
【００４４】
同図に示したＭＰＥＧ−２映像のピクチャ入力で、仮に優先的に変換するＢピクチャがＢ０ピクチャ（７１４）とＢ１ピクチャ（７１５）に決定した場合、該当するＢピクチャのみが変換され、Ｂ０’ピクチャ（７２１）とＢ１’ピクチャ（７２２）が２パス目変換時のＭＰＥＧ−４映像のピクチャ出力となる。　Ｂ０ピクチャ（７１４）、Ｂ１ピクチャ（７１５）の位置は、変換プロファイル１１２のピクチャポインタ（６０１）が参照されて特定される。
【００４５】
図８は、２パスコンバート２０１の１パス目変換と２パス目変換のピクチャ出力の連結を示す図である。
【００４６】
仮に、元のＭＰＥＧ−２映像のピクチャがＰ０ピクチャ、Ｂ２ピクチャ、Ｂ３ピクチャ、Ｐ１ピクチャと続く構成であって、１パス目変換でＭＰＥＧ−４映像のＰ０’ピクチャ（８０３）とＰ１’ピクチャ（８０４）が出力され、２パス目変換でＭＰＥＧ−４映像のＢ２’ピクチャ（８０５）とＢ３’ピクチャ（８０６）が出力されたと仮定する。この場合、マージ制御部１０５によりＰ０’ピクチャ（８０３）とＰ１’ピクチャ（８０４）の間に、Ｂ２’ピクチャ（８０５）とＢ３’ピクチャ（８０６）が連結されたものが最終的なＭＰＥＧ−４映像のピクチャ出力となる。
【００４７】
１パス目変換のＭＰＥＧ−４映像へ挿入されるＢピクチャの位置は、変換プロファイル１１２の挿入ピクチャポインタ（６０４）が参照されて特定される。
【００４８】
図９は、２パスコンバート２０１の変換動作におけるピクチャ全体の流れを示す図である。
図９（ａ）は、２パス目変換で最も高い優先度が設定されている場合の例である。
２パス目変換で最も高い優先度が設定されている場合、１パス目変換で変換をスキップしたＢピクチャを２パス目変換で全て変換する。例えば同図の例で、ＭＰＥＧ−２映像のピクチャ入力（９００）がＩ０、Ｂ０、Ｂ１、Ｐ０、Ｂ２、Ｂ３、Ｐ１、Ｂ４、Ｂ５、Ｐ２（９０４〜９１３）の順で入力された場合、１パス目変換（９０１）後のＭＰＥＧ−４映像のピクチャ出力は、Ｉ０’、Ｐ０’、Ｐ１’、Ｐ２’（９１４〜９１７）の各ピクチャが連結されたものになる。続いて、２パス目変換（９０２）において、Ｂ０’、Ｂ１’、Ｂ２’、Ｂ３’、Ｂ４’、Ｂ５’（９１８〜９２３）の各ピクチャが変換され、それぞれのピクチャが、１パス目変換後の出力であるＭＰＥＧ−４映像の所定の位置へ挿入される。この場合、最終的なＭＰＥＧ−４映像のピクチャ出力（９０３）は、Ｉ０’、Ｂ０’、Ｂ１’、Ｐ０’、Ｂ２’、Ｂ３’、Ｐ１’、Ｂ４’、Ｂ５’、Ｐ２’の順となる。
【００４９】
図９（ｂ）は、２パス目変換でＢピクチャの優先順位が決められている場合の例である。
例えば同図の例で、ＭＰＥＧ−２映像のピクチャ入力（９００）のＩ０、Ｂ０、Ｂ１、Ｐ０、Ｂ２、Ｂ３、Ｐ１、Ｂ４、Ｂ５、Ｐ２（９２３〜９３２）の中で、２パス目変換（９０２）の時にＢ０ピクチャ（９２４）、Ｂ１ピクチャ（９２５）、Ｂ４ピクチャ（９３０）、Ｂ５ピクチャ（９３１）を優先的に変換すると決定したとする。この場合、Ｂ２ピクチャとＢ３ピクチャは、１パス目変換（９０１）と２パス目変換（９０２）の両方で変換がスキップされ、最終的なＭＰＥＧ−４映像のピクチャ出力（９０３）は、Ｉ０’、Ｂ０’、Ｂ１’、Ｐ０’、Ｐ１’、Ｂ４’、Ｂ５’、Ｐ２’の順となる。
【００５０】
図１０は、変換リスト１１３の内容を示す図である。
変換リストは、基本情報１０００と、入力ファイルアドレス１００１と、出力ファイルアドレス１００２と、変換モード１００３と、優先度１００４の各情報で構成する。基本情報１０００には、変換リスト１１３を管理するために使用する任意の変換リスト管理ＩＤ（１００５）と、変換ファイル数ｎ（１００６）と、変換制限時間Ｌｔｉｍｅ（１００７）が記録される。入力ファイルアドレス１００１には、変換を実行するＭＰＥＧ−２映像ファイルの記録媒体の位置を示すアドレス（１００８〜１０１０）がｎ個記録される。出力ファイルアドレス１００２には、変換実施後のＭＰＥＧ−４映像ファイルの出力先位置を示すアドレス（１０１１〜１０１３）がｎ個記録される。変換モード１００３には、入力の各ＭＰＥＧ−２映像についてユーザが設定した変換モード１００３（１０１４〜１０１６）がｎ個記録される。優先度１００４には、入力の各ＭＰＥＧ−２映像についてユーザによる設定または変換対象のＭＰＥＧ−２映像の作成日時に基づいて自動的に設定した優先度１００４（１０１７〜１０２０）がｎ記録される。ただし、変換モード１００３がｍｏｄｅ１の場合は優先度が０、ｍｏｄｅ３の場合は優先度が１０にそれぞれ固定値として設定される。入力ファイルアドレス１００１と、出力ファイルアドレス１００２と、変換モード１００３と、優先度１００４の各パラメータは、それぞれが対応するものについて同一の識別ＩＤ（Ｆｉｌｅ＿ＩＤ）が付けられて、関係するパラメータと関係しないパラメータを区別する。
【００５１】
図１１は、変換スケジュール１１４の内容を示す図である。
【００５２】
変換スケジュール１１４は、変換リスト１１３に基づいて作成される情報であり、基本情報１１００と、変換スケジュール１１０１と、パス制御コード１１０２と、２パス目変換時のＢピクチャ変換数１１０３の各情報で構成する。基本情報１１００には、変換スケジュール１１４を管理するために使用する任意の変換スケジュール管理ＩＤ（１１０４）と、参照元である変換リスト１１３の変換リスト管理ＩＤ（１１０５）と、実行される変換ステップ数ｍ（１１０６）が記録される。変換スケジュール１１０１には、変換が実行される順番に変換リスト１１３で示した識別ＩＤ（１１０７〜１１０９）がｍ個記録される。パス制御コードには、変換が実行される順番に変換動作を示すコード（１１１０〜１１１２）がｍ個記録される。パス制御コード１１０２では、フルコンバート、１パスコンバート、２パスコンバートの１パス目変換、２パスコンバートの２パス目変換の各動作が区別される。２パス目変換時のＢピクチャ変換数１１０３には、２パスコンバートの２パス目変換を行う場合に、１パス目変換でスキップしたＢピクチャの内、幾つのピクチャを変換するかを示す数を記録する。また、２パス目変換時のＢピクチャ変換数１１０３の記録数は、パス制御コード１１０２に登録されている２パスコンバートの２パス目変換の実行数と同じ数となる。
【００５３】
図１２は、パス制御コード１２００の内容を説明する図である。
図１１で説明したように、パス制御コード１１０２は、フルコンバート、１パスコンバート、２パスコンバートの１パス目変換、２パスコンバートの２パス目変換の各動作を区別するために使用される。フルコンバートの時はＦＵＬＬ＿ＣＮＶ、１パスコンバートの時はＳＩＮＧＬＥ＿ＰＡＳＳ、２パスコンバートの１パス目変換の時はＤＵＡＬ＿ＰＡＳＳ１、２パスコンバートの２パス目変換の時はＤＵＡＬ＿ＰＡＳＳ２をそれぞれ設定する。
【００５４】
図１３は、変換プロファイル１１２の内容を示す図である。
変換プロファイル１１２は、変換を実行するファイル毎に作成する。
変換プロファイル１１２は、基本情報１３００と、入出力映像ファイルアドレス１３０１と、入出力ファイルアドレス１３０１と、変換したピクチャの変換情報（１３０２〜１３０５）で構成する。基本情報１３００には、変換プロファイル１１２を管理するために使用する任意の変換プロファイル管理ＩＤ（１３０６）と、参照元である変換リスト１１３の変換リスト管理ＩＤ（１３０７）と、参照元である変換スケジュール管理ＩＤ（１３０８）と、変換条件１３０９（ビットレート、画像サイズ等）を記録する。入出力ファイルアドレスには、変換リスト１１３を参照して、ＭＰＥＧ−２映像の入力ファイルアドレス１３１０と、ＭＰＥＧ−４映像の出力ファイルアドレス１３１１を記録する。ピクチャ変換情報（１３０２〜１３０５）には、図５と図６で説明した動きベクトル検査部が出力する情報を記録する。例えば、１パスコンバートによる変換でＭＰＥＧ−２映像のピクチャがＩ０、Ｂ０、Ｂ１、Ｐ０という順序で入力された場合、Ｉ０ピクチャの変換情報には、ピクチャポインタ１３１２と、フレーム符号化ビット量１３１３が記録される。Ｂ０ピクチャの変換情報１３０３とＢ１ピクチャの変換情報１３０４には、それぞれにピクチャポインタ１３１４と、１個以上の参照ピクチャポインタ（１３１５〜１３１７）と、平均ベクトル値ＡｖｅＶ（１３１８）と、挿入ピクチャポインタ１３１９と、挿入・非挿入識別フラグ１３２０が記録される。Ｐ０ピクチャの変換情報１３０５には、Ｉ０ピクチャの変換情報１３０２と同様に、ピクチャポインタ１３１２と、フレーム符号化ビット量１３１３が記録される。特に、Ｂ０ピクチャの変換情報１３０３とＢ１ピクチャの変換情報１３０４は、２パスコンバートの２パス目変換の時に、１パス目変でスキップしたＢピクチャの位置を素早く特定するための換参照パラメータとして使用される。
【００５５】
図１４は、変換リスト１１３の内容の一例（１１３−２）を示す図である。
【００５６】
同図の例では、変換リストＩＤ（１４００）はＣＮＶ＿ＬＩＳＴ＿００１、変換ファイル数１４０１は４個、リストに登録されている変換全体の制限時間１４０２は６００秒であることを表している。入力ファイルアドレス１００１と、出力ファイルアドレス１００２と、変換モード１００３の各パラメータは、それぞれ識別ＩＤにより関連付けされて表される。例えば、１つ目のＭＰＥＧ−２映像の入力ファイルに当たるＦｉｌｅ＿ＩＤ１のファイルアドレス１４０３は「Ｃ：￥ｍｏｖｉｅ１．ｍｐ２」、これに対応するＭＰＥＧ−４映像の出力ファイルアドレス１４０７は「Ｃ：￥ｍｏｖｉｅ１．ｍｐ４」、さらに該当する変換モード１４１１はｍｏｄｅ２、優先度１４１５は２であることを表している。以下、Ｆｉｌｅ＿ＩＤ２、Ｆｉｌｅ＿ＩＤ３、Ｆｉｌｅ＿ＩＤ４においても同様である。
【００５７】
図１５は、変換スケジュール１１４の内容の一例（１１４−２）を示す図である。
同図の例では、変換スケジュールＩＤ１５００はＣＮＶ＿ＳＣＤＬ＿００１、参照する変換リストＩＤ（１５０１）はＣＮＶ＿ＬＩＳＴ＿００１、変換ステップ数は６ステップであることを表している。変換スケジュール１１０２と、パス制御コード１１０３の各パラメータは、それぞれのステップにより関連付けされて表される。例えば、第１ステップ（ｓｔｅｐ１）で実行される変換を示す識別ＩＤはＦｉｌｅ＿ＩＤ３（１５０３）、同ステップに対応するパス制御コード１１０３はＦＵＬＬ＿ＣＮＶ（１５０９）であることを表している。以下、第２ステップ（ｓｔｅｐ２）から第６ステップ（ｓｔｅｐ６）においても同様である。２パス目変換のＢピクチャ変換数１１０４は、パス制御コード１１０３がＤＵＡＬ＿ＰＡＳＳ２、即ち２パスコンバートの２パス目変換の場合のみに設定される。同図の例では、第５ステップ変換時のＢピクチャ変換数は４００フレーム、第６ステップ変換時のＢピクチャ変換数は５００フレームであることを表している。
【００５８】
図１６は、変換スケジュール１１４−２に基づく変換の実行順序の一例を示すフローチャートである。
ここでは、図１５で説明した変換スケジュール１１４−２の内容を例とした変換ステップのフローチャートを示す。変換スケジュールに基づく動作は、変換を開始１６００すると、第１ステップとしてＦｉｌｅ＿ＩＤ３のフルコンバート実行（１６０１）、第２ステップとしてＦｉｌｅ＿ＩＤ１に対する２パスコンバートの１パス目変換実行（１６０２）、第３ステップとしてＦｉｌｅ＿ＩＤ２に対する２パスコンバートの１パス目変換実行（１６０３）、第４ステップとしてＦｉｌｅ＿ＩＤ４の１パスコンバート実行（１６０４）の順で行われる。さらに続いて、第５ステップとしてＦｉｌｅ＿ＩＤ１の２パスコンバートの２パス目変換実行（１６０６）、第６ステップとしてＦｉｌｅ＿ＩＤ２の２パスコンバートの２パス目変換実行（１６０７）を行い、変換を終了する。
【００５９】
図１７は、映像変換装置１００と入出力映像ファイルおよび変換実行時に参照される各情報ファイルの接続関係を示す図である。
図１７（ａ）は、上記接続関係の一例を示す図である。
同図は、映像変換装置１００と、別に用意される記録媒体１７００を接続し、この中にＭＰＥＧ−２映像ファイル１１０、ＭＰＥＧ−４映像ファイル１１１、変換リスト１１３、変換スケジュール１１４、変換プロファイル１１２を格納した例である。記録媒体１７００は、これらを格納できるメディアであれば何でもよく、例えば、ＨＤＤ、ＤＶＤ−ＲＡＭ、ＤＲＡＭ、フラッシュメモリ等でも良い。また、記録媒体１７００を複数台用意して、映像変換装置１００と接続する構成としても良い。
【００６０】
この構成は、ＭＰＥＧ−２映像ファイル１１０、ＭＰＥＧ−４映像ファイル１１１、変換リスト１１３、変換スケジュール１１４、変換プロファイル１１２をグループとしての１つの外部記録媒体１７００に記録するため、変換履歴管理が行い易いという利点がある。また、この記録媒体を別の映像変換装置に接続した場合には、元の映像変換装置１００と同じ変換履歴を継承することが出来るという利点がある。
【００６１】
図１７（ｂ）は、上記接続関係の別の一例を示す図である。
【００６２】
同図は、ファイルの容量が比較的大規模になるＭＰＥＧ−２映像ファイル１１０とＭＰＥＧ−４映像ファイル１１１を外部接続の大容量記録媒体１７０１に格納し、ファイル容量が比較的小規模である変換リスト１１３、変換スケジュール１１４、変換プロファイル１１２などを映像変換装置１００に内蔵した記録媒体１７０２に格納した例である。
【００６３】
この構成は、変換リスト１１３、変換スケジュール１１４、変換プロファイル１１２を映像変換装置１００の内部のみに残す構成であり、ＭＰＥＧ−２映像ファイル１１０とＭＰＥＧ−４映像ファイル１１１を格納した記録媒体１７０１を別の映像変換装置に接続しても変換履歴は継承できない。つまり、変換履歴を外部に知られたくない等の用途において、その情報を隠匿出来るという利点がある。
【００６４】
図１８は、映像変換の全体動作の流れを示すフローチャートである。
映像変換は、まずユーザ操作により変換対象となるＭＰＥＧ−２映像ファイルの設定（１８００）と、変換全体の制限時間が設定（１８０１）される。続いて、ユーザ設定の内容に基づいて変換リスト１１３と変換スケジュール１１４が自動的に出力（１８０２，１８０３）される。この変換リスト１１３と変換スケジュール１１４の内容に基づいて、映像変換が実行（１８０４）される。また、映像変換実行中には、変換プロファイル１１２が自動的に出力される。
【００６５】
図１９は、設定された変換制限時間から変換スケジュール１１４を決定するまでの流れを示す図である。
変換スケジュール１１４の実行ステップは、まず変換リスト１１３を参照して変換制限時間（以下、Ｌｔｉｍｅと称する）を読み込み（１９００）、変換リストに設定されている変換モードをｍｏｄｅ１とｍｏｄｅ３に限定して適用すると仮定して合計変換時間を予測（以下、Ｐｔｉｍｅと称する）する（１９０１）。つまり、ｍｏｄｅ２（２パスコンバート）の変換は、暫定的にｍｏｄｅ１（１パスコンバート）で変換すると仮定する。変換の予測時間は、入出力映像のビットレート、フレームレート、フレーム符号化ビット量等を参考にして算出する。ここで、ＬｔｉｍｅとＰｔｉｍｅを比較する。ＬｔｉｍｅよりもＰｔｉｍｅが長い場合（１９０２）は、全ての変換ステップが変換制限時間内に終了しない可能性があるため、ユーザに設定内容の再設定を促す（１９０８）。再設定を行う場合は、変換リストまたは変換制限時間を再設定し（１９０９）、処理ステップ１９００に戻る。再設定をしない場合は、エラーである旨をモニタ１０９等に出力（１９１０）して処理を終了する。ＰｔｉｍｅがＬｔｉｍｅよりも長くない場合は、続いて、ＰｔｉｍｅとＬｔｉｍｅが等しいかを比較する（１９０３）。両者が等しいときは、２パスコンバートの２パス目変換を実行する時間的余裕が無いと考えられるため、変換モードをｍｏｄｅ１とｍｏｄｅ３に限定した内容、つまり、ｍｏｄｅ２（２パスコンバート）の変換をｍｏｄｅ１（１パスコンバート）に変更して変換スケジュール１１４を作成する（１９０４）。ＰｔｉｍｅがＬｔｉｍｅよりも短い場合は、２パスコンバートの２パス目変換を実行する時間的余裕が有ると考えられるため、ユーザが設定した内容に沿ってｍｏｄｅ１、ｍｏｄｅ２、ｍｏｄｅ３を適用した変換スケジュール１１４を作成する（１９０６）。続いて、変換リストの優先度を参照してｍｏｄｅ２の２パス目変換時のＢピクチャ変換数を生成し（１９０７）、変換スケジュール１１４に反映する。優先度は予め設定しておく値を用いるか、又、必要に応じてユーザからの入力を受けることで設定してもよい。Ｂピクチャ変換数は、変換制限時間から予測変換時間を差し引いた時間（Ｌｔｉｍｅ−Ｐｔｉｍｅ）から処理可能なＢピクチャの変換数を算出し、２パス目変換の実行ステップに配分する。以上の手順で作成した変換スケジュール１１４は、ファイルとして記録媒体に出力する（１９０５）。
【００６６】
図２０は、映像変換動作の流れを示すフローチャートである。
まず、変換制限時間（以下、Ｌｔｉｍｅと称する）を読み込み（２０００）、タイマにより変換時間カウント（以下、Ｃｔｉｍｅと称する）を開始する（２００１）。続いて、変換スケジュール１１４を読み出し（２００２）、各変換ステップの変換モードに従って処理が分岐する。
【００６７】
変換モードがｍｏｄｅ１またはｍｏｄｅ２の１パス目変換の場合は、処理ステップ２００４から処理ステップ２０１１を実行する。ＭＰＥＧ−２映像ファイルからピクチャを順次読み込み（２００４）、入力されたピクチャの種類を判定する（２００５）。ピクチャがＩピクチャまたはＰピクチャの場合は、直ちに変換を行い（２００６）、ＭＰＥＧ−４映像ファイルを出力し（２００７）、さらに変換プロファイルを出力する（２００９）。ピクチャがＢピクチャの場合、変換をスキップし（２００８）、変換プロファイルのみを出力する（２００９）。この時点でＣｔｉｍｅがＬｔｉｍｅを超えた（変換制限時間を超えた）か否かを調べる（２０１０）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にＭＰＥＧ−２映像ファイルの入力が終了したか否かを調べ（２００１）、まだ終了していなければ、処理ステップ２００４に戻る。ＭＰＥＧ−２映像ファイルの入力が終了した場合は、変換スケジュール１１４に登録されている変換ステップが全て終了したかを否かを調べ（２０２９）、まだ終了していなければ処理ステップ２００２に戻り、終了している場合は、変換動作を終了する。
【００６８】
変換モードがｍｏｄｅ２の２パス目変換の場合は、処理ステップ２０１３から処理ステップ２０２３を実行する。まず、変換スケジュール１１４から２パス目変換時のＢピクチャ変換数（以下、Ｂｌｍｔと称する）を読み出し（２０１３）、変換プロファイル１１２の平均ベクトル値ＡｖｅＶを参照して、ＡｖｅＶの大きいＢピクチャから順番にＢｌｍｔ個の変換候補を決定する（２０１４）。このＢピクチャ変換候補を決める別の方法として、図７で説明したように、スキップしたＢピクチャの直前のフレーム符号化ビット量としても良い。続いて、Ｂピクチャの変換済みカウンタ（以下、Ｂｃｎｔと称する）をゼロに初期化し（２０１５）、Ｂピクチャ変換候補を１つ読み出す（２０１６）。次に、ＭＰＥＧ−２映像ファイルからピクチャを順次読み込み、変換候補のＢピクチャ位置へ移動する（２０１７）。変換候補のＢピクチャを含め、以後連続するｎ個のＢピクチャの変換を行なう（２０１８）。Ｂピクチャ変換のために参照するＩピクチャまたはＰピクチャの位置は、変換プロファイル１１２の参照ピクチャポインタ６０３により特定する。変換後は、１パス目変換で既に作成済みであるＭＰＥＧ−４映像ファイルの所定の位置に連結する（２０１９）。連結する位置は、変換プロファイル１１２の挿入ピクチャポインタ６０４により特定する。次に、Ｂｃｎｔにｎを加算し（２０２０）、この時点でＣｔｉｍｅがＬｔｉｍｅを超えた（変換制限時間を超えた）か否かを調べる（２０２１）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にＭＰＥＧ−２映像ファイルの入力が終了したか否かと、ＢｃｎｔがＢｌｍｔを超えたか否かを調べ（２０２２，２０２３）、ＭＰＥＧ−２映像ファイルの入力がまだ終了せず、且つＢｃｎｔがＢｌｍｔを超えていなければ、処理ステップ２０１６に戻る。ＭＰＥＧ−２映像ファイルの入力が終了、またはＢｃｎｔがＢｌｍｔを超えた場合は、変換スケジュール１１４に登録されている変換ステップが全て終了したかを否かを調べ（２０２９）、まだ終了していなければ処理ステップ２００２に戻り、終了している場合は、変換動作を終了する。
【００６９】
変換モードがｍｏｄｅ３の場合は、処理ステップ２０２４から処理ステップ２０２８を実行する。ＭＰＥＧ−２映像ファイルからピクチャを順次読み込み（２０２４）、入力されたＩピクチャ、Ｐピクチャ、Ｂピクチャの全てについて直ちに変換を行い（２０２５）、ＭＰＥＧ−４映像ファイルを出力する（２０２６）。次に、ＣｔｉｍｅがＬｔｉｍｅを超えた（変換制限時間を超えた）か否かを調べる（２０２７）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にＭＰＥＧ−２映像ファイルの入力が終了したか否かを調べ（２０２８）、まだ終了していなければ、処理ステップ２０２４に戻る。ＭＰＥＧ−２映像ファイルの入力が終了した場合は、変換スケジュール１１４に登録されている変換ステップが全て終了したかを否かを調べ（２０２９）、まだ終了していなければ処理ステップ２００２に戻り、終了している場合は、変換動作を終了する。
【００７０】
尚、この例では、変換プロファイルが出力されるのは、ｍｏｄｅ１またはｍｏｄｅ２の１パス目変換の場合としているが、この他に、ｍｏｄｅ３およびｍｏｄｅ２の２パス目変換の場合にも出力する手順としても構わない。
【００７１】
図２１は、映像変換装置１００を用いた運用形態の一例を示す図である。
同図は、インターネットや無線等の外部公衆網２１０５と接続された映像配信サーバ２１００に、複数台の映像変換装置（２１０１〜２１０３）とＭＰＥＧ−２映像およびＭＰＥＧ−４映像を記録するための映像記憶装置２１０４が接続されている構成例である。映像配信サーバ２１００は、映像変換装置（２１０１〜２１０３）の変換時間や変換能力に応じて、変換スケジュールを適宜割り当てる。また、変換を行うＭＰＥＧ−２映像と、変換後のＭＰＥＧ−４映像は、いずれも映像配信サーバ２１００を介して、映像変換装置（２１０１〜２１０３）と映像記憶装置２１０４との間で送受信が行われる。
【００７２】
図２２は、映像変換装置１００を用いた運用形態の別の一例を示す図である。
同図は、映像配信サーバ２１００に、映像変換装置２２０１と、ＴＶ放送局から発信されたＢＳディジタル放送等の番組を受信するためのＴＶ受信機と、受信したＴＶ番組および映像変換装置２２０１で変換したＭＰＥＧ−４映像を記録するための映像記憶装置２２０１と、インターネット等の外部公衆網２２０４と、携帯電話などへ発信するための無線送信機２２０５が接続された構成例である。この例では、受信した複数のＴＶ番組を映像記憶装置２２０１に蓄積しておき、映像変換装置２２０１でまとめてＭＰＥＧ−４映像に変換することができる。変換されたＭＰＥＧ−４映像は、映像配信サーバによりインターネット等の外部公衆網２２０４を経由して配信することで、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やＰＤＡ等の視聴端末で視聴することが可能になる。また、映像配信サーバから無線送信機２２０５および無線中継機（２２０６，２２０７）を経由することで、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）、自動車電話、無線ＬＡＮに接続された端末等で視聴することが可能になる。また、別の実施例として、映像変換装置１００に直接ＰＤＡや携帯電話を接続して変換映像を再生しても良い。さらに、映像変換装置１００にフラッシュメモリなどの記録媒体へ変換映像を書き込むためのデータ記録装置を接続し、そのデータ記録装置を使用して作成した書き込み済みの記録媒体をＰＤＡや携帯電話に装着して変換映像を再生しても良い。
【００７３】
本発明の映像変換装置に適用できる入出力映像ファイルのフォーマット形式は、上記のＭＰＥＧ−２およびＭＰＥＧ−４の他に、予測符号化を用い、且つ別のピクチャから参照されない種類のピクチャを持つ映像符号化方式であれば、その何れかを適用しても良い。例えば、ビデオＣＤ等の蓄積メディア向けの映像符号化方式であるＭＰＥＧ−１（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ１）、テレビ電話向けの映像符号化方式であるＨ．２６３、さらに、ディジタルＶＴＲ（Ｖｉｄｅｏ　Ｔａｐｅ　Ｒｅｃｏｒｄｅｒ）向けの映像符号化方式のＤＶ−ｃｏｄｅｃ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ−ｃｏｄｅｃ）およびＤ−ＶＨＳ（Ｄｉｇｉｔａｌ−Ｖｉｄｅｏ　Ｈｏｍｅ　Ｓｙｓｔｅｍ）等が適用できる。
【００７４】
【発明の効果】
全てのピクチャを変換する変換モードだけでは、設定された制限時間内に変換終了できないような変換要求でも、本発明のプログラムによれば、ユーザが設定した映像変換の優先順位に基づいて、処理手順の異なる３種類の変換モードを割り当てることによって、所定レベルの映像品質を保持しつつ、設定された制限時間内に全ての変換処理を終了させることが可能になる。
【００７５】
また、変換後の映像の対して、特に高品位の映像品質を求めない場合は、その内容に応じた処理負荷の軽い変換モードを選択することが可能であるため、本発明のプログラムを搭載したコンピュータのＣＰＵ処理負荷を最小限に抑えることが出来る。　Ｂピクチャの変換をスキップした第１段階の変換のみにより生成されたＭＰＥＧ−４映像を用いれば、ＰＨＳや携帯電話等の有線に比べて伝送容量の小さい無線の通信回線に対しても映像配信が可能になる。続いて、別の伝送容量の大きい通信回線向けに同じＭＰＥＧ−２映像をフルコンバートする場合においては、全ての変換を最初からやり直す必要はなく、第１段階の変換後のＭＰＥＧ−４映像と変換プロファイルを用いて、第１段階の変換でスキップしたＢピクチャ部分に対して第２段階の変換を実行するだけでよい。このように、本発明の方式は、伝送路の帯域幅の条件に応じて適切な変換方法を提供することが出来る。
【００７６】
また、本発明の方法を用いて、符号化ビット量の大きいＭＰＥＧ−２映像から符号化ビット量の小さいＭＰＥＧ−４映像に変換することで、ＭＰＥＧ−２映像のままでは配信が不可能であった伝送容量の小さい外部公衆網に対しても、配信することが可能になる。
【図面の簡単な説明】
【図１】映像変換装置の構成を示す図。
【図２】映像変換装置が備える変換の種類を示す図。
【図３】フルコンバートの動作を示す図。
【図４】１パスコンバートおよび２パスコンバートの１パス目変換の動作を示す図。
【図５】ＩピクチャまたはＰピクチャの変換時に動きベクトル検査部が出力する情報を示す図。
【図６】Ｂピクチャ変換のスキップ時に動きベクトル検査部が出力する情報を示す図。
【図７】２パスコンバートの２パス目変換の動作を示す図。
【図８】２パスコンバートの１パス目変換と２パス目変換のピクチャ出力の連結を示す図。
【図９】２パスコンバートの変換動作におけるピクチャ全体の流れを示す図。
【図１０】変換リストの内容を示す図。
【図１１】変換スケジュールの内容を示す図。
【図１２】パス制御コードの内容を示す図。
【図１３】変換プロファイルの内容を示す図。
【図１４】変換リストの内容の一例を示す図。
【図１５】変換スケジュールの内容の一例を示す図。
【図１６】変換スケジュールに基づく変換の実行順序の一例を示すフローチャート。
【図１７】映像変換装置と入出力映像ファイルおよび変換実行時に参照される各情報ファイルの接続関係を示す図。
【図１８】映像変換の全体動作の流れを示すフローチャート。
【図１９】設定された変換制限時間から変換スケジュールを決定するまでの流れを示す図。
【図２０】映像変換動作の流れを示すフローチャート。
【図２１】映像変換装置を用いた運用形態の一例を示す図。
【図２２】映像変換装置を用いた運用形態の別の一例を示す図。
【符号の説明】
１００…映像変換装置、１０１…ＭＰＥＧ−２デコーダ、１０２…ＭＰＥＧ−４エンコーダ、１０３…動きベクトル検査部、１０４…フレームスキップ制御部、１０５…マージ制御部、１０６…制御部、１０７…操作部、１０８…タイマ、１０９…モニタ、１１０…ＭＰＥＧ−２入力、１１１…ＭＰＥＧ−４出力、１１２…変換プロファイル、１１３…変換リスト、１１４…変換スケジュール。
【図１】
2004140718.tif 000003
【図２】
2004140718.tif 000004
【図３】
2004140718.tif 000005
【図４】
2004140718.tif 000006
【図５】
2004140718.tif 000007
【図６】
2004140718.tif 000008
【図７】
2004140718.tif 000009
【図８】
2004140718.tif 000010
【図９】
2004140718.tif 000011
【図１０】
2004140718.tif 000012
【図１１】
2004140718.tif 000013
【図１２】
2004140718.tif 000014
【図１３】
2004140718.tif 000015
【図１４】
2004140718.tif 000016
【図１５】
2004140718.tif 000017
【図１６】
2004140718.tif 000018
【図１７】
2004140718.tif 000019
【図１８】
2004140718.tif 000020
【図１９】
2004140718.tif 000021
【図２０】
2004140718.tif 000022
【図２１】
2004140718.tif 000023
【図２２】
2004140718.tif 000024