(57)【特許請求の範囲】
【請求項１】
フレーム内符号化および動き補償予測フレーム間符号化をフレーム単位に切り替えて符号化を行い、所定フレーム周期でフレーム内符号化フレームを挿入することにより、符号化データを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、且つ指定されたフレームからの再生を可能とするランダムアクセスポイントを設定する為、前記所定フレーム周期のフレーム内符号化フレームに加えて、指定されたフレームからの再生を行うためのフレーム内符号化フレームを挿入する動画像符号化方法において、
符号化順で次に符号化すべき次符号化フレームを符号化する直前に、前記次符号化フレームがランダムアクセスポイント境界の直前のフレーム以降のフレームであるか否かを判定し、
前記ランダムアクセスポイント境界の直前のフレームよりも前のフレームである場合には、前記フレーム間予測構造にしたがって前記次符号化フレームを符号化し、
前記次符号化フレームが前記ランダムアクセスポイント境界の直前のフレーム以降のフレームである場合には、前記次符号化フレームがフレーム内符号化フレームであるか否かを判定し、
前記次符号化フレームがフレーム内符号化フレームである場合には、前記次符号化フレームを動き補償予測フレーム間符号化に置き換えて符号化することによって、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前のフレームまで引き延ばし、前記次符号化フレームがフレーム内符号化フレームではない場合には、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前までで終結させる処理を実行することを特徴とする動画像符号化方法。
【請求項２】
前記ランダムアクセスポイントの指定には、入力フレームの時間的な位置を示すタイムコードを用いる第１方法、入力動画像のシーンチェンジを検出しその検出点を用いる第２方法、あるいは入力動画像の符号化中にユーザからリアルタイムに入力される指示情報を用いる第３方法が適用されることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
フレーム内符号化および動き補償予測フレーム間符号化をフレーム単位に切り替えて符号化を行い、所定フレーム周期でフレーム内符号化フレームを挿入することにより、符号化データを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、且つ指定されたフレームからの再生を可能とするランダムアクセスポイントを設定する為、前記所定フレーム周期のフレーム内符号化フレームに加えて、指定されたフレームからの再生を行うためのフレーム内符号化フレームを挿入する動画像符号化装置において、
符号化順で次に符号化すべき次符号化フレームを符号化する直前に、前記次符号化フレームがランダムアクセスポイント境界の直前のフレーム以降のフレームであるか否かを判定する手段と、
前記ランダムアクセスポイント境界の直前のフレームよりも前のフレームである場合には、前記フレーム間予測構造にしたがって前記次符号化フレームを符号化する手段と、
前記次符号化フレームが前記ランダムアクセスポイント境界の直前のフレーム以降のフレームである場合には、前記次符号化フレームがフレーム内符号化フレームであるか否かを判定する手段と、
前記次符号化フレームがフレーム内符号化フレームである場合には、前記次符号化フレームを動き補償予測フレーム間符号化に置き換えて符号化することによって、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前のフレームまで引き延ばし、前記次符号化フレームがフレーム内符号化フレームではない場合には、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前までで終結させる処理を実行する手段とを具備することを特徴とする動画像符号化装置。
【請求項４】
前記ランダムアクセスポイントの指定は、入力フレームの時間的な位置を示すタイムコードを用いる第１方法、入力動画像のシーンチェンジを検出しその検出点を用いる第２方法、あるいは入力動画像の符号化中にユーザからリアルタイムに入力される指示情報を用いる第３方法によって実行されることを特徴とする請求項３記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像符号化方法および動画像符号化装置に関し、特にスムーズなランダムアクセスや、記録媒体に記録された符号化データのつなぎあわせによる編集等を容易に行うことが可能な動画像符号化データを生成できるように改良された動画像符号化方法および動画像符号化装置に関する。
【０００２】
【従来の技術】
ＤＶＤ等の再生専用光ディスクや、デジタル放送等で広く採用されている動画像符号化方式の国際標準であるＭＰＥＧ１或いはＭＰＥＧ２では、１枚の画面を複数の８画素×８画素のブロックに分割し、各ブロックにＤＣＴ（離散コサイン変換）を施して、得られたＤＣＴ係数を量子化して可変長符号化することを基本としている。また、動き補償予測フレーム間符号化を併用することによって、時間方向の画像の相関も利用して符号化効率を高めている。
【０００３】
動き補償予測フレーム間符号化は、連続するフレーム間でその予測誤差のみを順次符号化するものであるため、符号化データを復号・再生する場合には、時間的に異なる画面の情報を参照することが必要となる。このため、動き補償予測フレーム間符号化を用いた符号化データは、その符号化データの任意のフレームからの再生といったランダムアクセスや、任意のフレームでの符号化データのつなぎあわせによる編集等を行うことは一般に容易ではない。
【０００４】
そこで、ＭＰＥＧ規格では、特定のフレームでのランダムアクセスや符号化データのつなぎあわせによる編集を可能とするために、フレーム内符号化を用いたＩピクチャを一定フレーム間隔で挿入することによって複数のフレームから構成されるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）という単位で符号化を行い、さらにＧＯＰ境界でのフレーム間予測を禁止したｃｌｏｓｅｄ  ＧＯＰを採用することで、ランダムアクセスや編集のための切り貼りを可能としている。
【０００５】
ｃｌｏｓｅｄ  ＧＯＰは、他のＧＯＰの画像に依存しない独立したＧＯＰであり、編集可能点、つまりＭＰＥＧデータからのランダムアクセスを行うポイントとして使用することが出来る。ＧＯＰを構成するフレーム数を少なくし、且つそれら各ＧＯＰをｃｌｏｓｅｄ  ＧＯＰとすることにより、ランダムアクセスポイントを増やすことが可能となる。
【０００６】
しかし、このようにランダムアクセスや編集の自由度を向上させるためにＧＯＰを構成するフレーム数を少なくして、且つ各ＧＯＰをｃｌｏｓｅｄ  ＧＯＰとする構造を用いると、前方向予測のＰピクチャおよび両方向予測のＢピクチャに比べて符号量の多いＩピクチャが頻繁に発生することになり、符号化効率の低下を招くことになる。つまり、一般にランダムアクセスや編集の容易さと符号化効率とは、相反する関係にある。
【０００７】
【発明が解決しようとする課題】
上述したように、ＭＰＥＧによる動画像符号化では、ランダムアクセスポイントを増やして符号化データの切り貼り編集の自由度を上げようとすると、符号化効率の低下を招き、発生符号量が増大するという問題があった。
【０００８】
本発明はこのような実情に鑑みてなされたものであり、符号化効率の低下を招くことなく任意の位置にランダムアクセスポイントを挿入できるようにし、記録媒体上に記録された符号化データのランダムアクセスやその符号化データのつなぎ合わせ編集等に好適な動画像符号化方法および動画像符号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、フレーム内符号化および動き補償予測フレーム間符号化をフレーム単位に切り替えて符号化を行い、所定フレーム周期でフレーム内符号化フレームを挿入することにより、符号化データを予め決められたフレーム間予測構造を持つ符号化フレーム群単位に区切りながら符号化し、且つ指定されたフレームからの再生を可能とするランダムアクセスポイントを設定する為、前記所定フレーム周期のフレーム内符号化フレームに加えて、指定されたフレームからの再生を行うためのフレーム内符号化フレームを挿入する動画像符号化方法において、符号化順で次に符号化すべき次符号化フレームを符号化する直前に、前記次符号化フレームがランダムアクセスポイント境界の直前のフレーム以降のフレームであるか否かを判定し、前記ランダムアクセスポイント境界の直前のフレームよりも前のフレームである場合には、前記フレーム間予測構造にしたがって前記次符号化フレームを符号化し、前記次符号化フレームが前記ランダムアクセスポイント境界の直前のフレーム以降のフレームである場合には、前記次符号化フレームがフレーム内符号化フレームであるか否かを判定し、前記次符号化フレームがフレーム内符号化フレームである場合には、前記次符号化フレームを動き補償予測フレーム間符号化に置き換えて符号化することによって、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前のフレームまで引き延ばし、前記次符号化フレームがフレーム内符号化フレームではない場合には、前記ランダムアクセスポイント境界の直前の符号化フレーム群を、前記ランダムアクセスポイント境界の直前までで終結させる処理を実行することを特徴とする。
【００１４】
この方法によれば、ランダムアクセスポイント直前のＧＯＰ構成の適切な変更を実現可能であり、かつフレーム間予測構造に起因する符号化順序と表示順序の違いを考慮して、ランダムアクセスポイント直前のＧＯＰ構成の適切な変更をランダムアクセスポイントを挿入する制御と合わせて、遅延なく行うことが可能となる。
【００１６】
すなわち、動画像信号の入力順序と符号化順序の違いを利用できるようになり、ランダムアクセスポイント境界の判定と符号化ピクチャタイプの判定とによって、ランダムアクセスポイントの先読みなしに、予測構造の変更制御を行うことが可能となる。
【００１７】
また、本発明では、前記ランダムアクセスポイントが、（１）タイムコードで指定、（２）入力動画像のシーンチェンジを検出して指定、（３）符号化中に実時間で指定、の少なくとも１つの方法で設定されることを特徴としている。
【００１８】
（１）の方法により、フレーム単位での厳密かつ適切なランダムアクセスポイント挿入が可能となる。また、通常、アクセス単位としてシーンの変化点は重要なポイントとなるため、（２）の方法により、シーンの変化に応じて自動的に適切なランダムアクセスポイントの挿入が可能となる。また、（３）の方法により、符号化すべき映像を見ながら、ユーザの意図により、実時間でアクセスポイントの設定が可能となる。
【００１９】
また、本発明の第１の特徴または第２の特徴により符号化されたデータを記録した記録媒体により、ユーザが欲するポイントへのランダムアクセスや、ランダムアクセスポイント単位での符号化データのつなぎ合わせ編集等を、画質を低下させることなく容易に実現可能となる。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
（第１の実施形態）
図１には、本発明の第１実施形態に係る動画像符号化装置の構成が示されている。この動画像符号化装置は、フレーム内符号化モード（ＩＮＴＲＡ）と動き補償予測フレーム間符号化モード（ＩＮＴＥＲ）とを有しており、フレーム単位で符号化モードを制御できるように構成されている。
【００２１】
入力動画像信号１０は、まず、画面並べ替え部１１に入力され、そこで符号化のピクチャタイプ（Ｉ−ｐｉｃｔｕｒｅ，Ｂ−ｐｉｃｔｕｒｅ，Ｐ−ｐｉｃｔｕｒｅ）に応じて符号化順に画面が並べ替えられる。これは、Ｂ−ｐｉｃｔｕｒｅは時間的に前後した画面を参照して予測符号化を行うからである。符号化順に並べ替えられた入力画面は複数の８ｘ８画素のブロックに分割され、ブロック単位で符号化処理される。
【００２２】
符号化モードが動き補償予測フレーム間符号化モードである場合には、フレームメモリ（ＦＭ）１９に蓄積されたローカルデコード画像を参照画像とする動き検出処理によって予測画像信号が動き補償予測部２０によって得られ、この予測画像信号と入力画像信号との差分が動き補償予測誤差信号として減算器１２によって求められる。そして、その動き補償予測誤差信号がＤＣＴ（離散コサイン変換）部１３へ入力される。
【００２３】
一方、符号化モードがフレーム内符号化モードである場合には、スイッチＳ１をオフにして入力画像信号がそのままＤＣＴ（離散コサイン変換）部１３に入力される。
【００２４】
ＤＣＴ部１３では、８ｘ８画素のブロック毎にＤＣＴ演算が行われ、得られたＤＣＴ係数は量子化部（Ｑ）１４により量子化され、可変長符号化部（ＶＬＣ）１５により可変長符号化された後、動きベクトル等の付加情報が多重された符号化データとして蓄積媒体２１に記録される。ここで、符号化データは、伝送路に直接出力される構成でもよい。
【００２５】
量子化されたＤＣＴ係数は、ローカルデコード画像を得るために、さらに逆量子化部（ＩＱ）１６および逆ＤＣＴ部（ＩＤＣＴ）１７を経て、量子化部（Ｑ）１４およびＤＣＴ部１３と逆の手順で逆量子化、逆ＤＣＴされる。逆量子化および逆ＤＣＴされた画像信号は、動き補償予測フレーム間符号化モードであれば、さらに、加算器１８にて、スイッチＳ２を介して入力される予測画像信号と加算される。このようにして得られたローカルデコード画像は、フレームメモリ１９に蓄積される。
【００２６】
レート制御部（ＲＣ）２２は、ＶＬＣ部１５からの符号化データの発生符号量に応じて、所定の符号化レートとなるように、量子化（Ｑ）部１４の量子化スケール値をマクロブロック単位に制御する。制御部２３は、ＣＰＵあるいはＤＳＰ等のプロセッサで構成され、符号化全体の制御を行う。
【００２７】
本実施形態では、ＧＯＰの構成を決定するために行われるフレーム間の予測構造とピクチャタイプ（Ｉ−ｐｉｃｔｕｒｅ，Ｂ−ｐｉｃｔｕｒｅ，Ｐ−ｐｉｃｔｕｒｅ）の制御は、制御部２３の指示で行われる。すなわち、制御部２３は、フレーム間の予測構造とピクチャタイプに応じて画面並べ替え部１１を制御すると共に、どのフレームを参照画像としてどのフレームを符号化するのかの指示を、動き補償予測部２０に指示する。また、制御部２３は、スイッチＳ１，Ｓ２の制御により、フレーム内符号化を行うのか、フレーム間予測符号化を行うのかの符号化モードの変更を行う。
【００２８】
フレーム間の予測構造およびピクチャタイプ（Ｉ−ｐｉｃｔｕｒｅ，Ｂ−ｐｉｃｔｕｒｅ，Ｐ−ｐｉｃｔｕｒｅ）の制御は、基本的には、一定周期でＩ−ｐｉｃｔｕｒｅを挿入することによってＧＯＰ単位で符号化が行われるように実行されるが、任意のフレーム位置にランダムアクセスポイントを挿入できるようにするために、ランダムアクセスポイント挿入指定位置に応じて動的にそのＧＯＰ構造の変更が行われる。ＧＯＰ構造の変更は、ランダムアクセスポイント直前のＧＯＰ長をランダムアクセスポイント直前のフレームまで引き延ばし、そしてランダムアクセスポイントから、ｃｌｏｓｅｄＧＯＰを先頭とする新たなＧＯＰの周期が開始されるように実行される。
【００２９】
ランダムアクセスポイントの指定については、つぎの方法が用いられる。
（１）入力フレームの時間的な位置を示すタイムコードを使用し、そのタイムコードでランダムアクセスポイントの挿入位置を指定する。タイムコードはＶＣＲなどの画像入力装置から出力される動画像信号の垂直ブランキング期間にＶＩＴＣとして重畳して入力されたり、あるいは専用の信号線を介して入力される。
【００３０】
（２）シーンチェンジ検出部２４によって入力動画像のシーンチェンジを検出し、その検出点を用いて自動的にランダムアクセスポイントを設定する。
（３）入力動画像を再生しながらその符号化を行い、符号化中にユーザが実時間で指定する。
【００３１】
方法（１）により、フレーム単位での厳密かつ適切なランダムアクセスポイント挿入が可能となる。また、通常、アクセス単位としてシーンの変化点は重要なポイントとなるため、方法（２）により、シーンの変化に応じて自動的に適切なランダムアクセスポイントの挿入が可能となる。また、方法（３）により、符号化すべき映像を見ながら、ユーザの意図により、実時間でアクセスポイントの設定が可能となる。
【００３２】
図２には、ＭＰＥＧのビデオ符号化に関するフレーム間の予測構造が示されている。
ここで、Ｉはフレーム内符号化画像（Ｉ−ｐｉｃｔｕｒｅ）、Ｐは前方予測符号化画像（Ｐ−ｐｉｃｔｕｒｅ）、Ｂは両方向予測符号化画像（Ｂ−ｐｉｃｔｕｒｅ）を意味する。また、図中の矢印は、参照画像から符号化画像へ向かう予測構造を示している。通常は、１０数フレーム毎にＩ−ｐｉｃｔｕｒｅを挿入し、その単位でＧＯＰが構成される。したがって、ＧＯＰを構成するフレーム数が少なくなると、Ｂ−ｐｉｃｔｕｒｅやＰ−ｐｉｃｔｕｒｅに対してＩ−ｐｉｃｔｕｒｅの発生比率が大きくなることになる。Ｉ−ｐｉｃｔｕｒｅは、フレーム間の相関を用いずに符号化されるため、一般にＰ−ｐｉｃｔｕｒｅやＢ−ｐｉｃｔｕｒｅに比べて、多くの符号量を必要とする。
【００３３】
つまり、Ｉ−ｐｉｃｔｕｒｅの比率が高くなるに従って、符号化効率は低下することになる。逆に、Ｉ−ｐｉｃｔｕｒｅが挿入される間隔を広げていくと、符号化効率は向上していくが、いずれ符号化効率の向上は飽和する。
【００３４】
また、逆ＤＣＴに関わる符号化装置と復号装置との演算誤差から、符号化側と復号側とで参照画像に差が生じ、それを原因とする誤差が復号装置における参照画像に累積され、結果として復号画像の歪みが生じる場合がある。また、伝送路で符号化データにエラーが発生した場合、そのエラーによる画像の乱れはフレーム間予測画面が続く限り後続画面に伝搬してしまい、次の正しいＩ−ｐｉｃｔｕｒｅが現れるまではエラーによる影響を終結させることができない。
【００３５】
これらのバランスを考慮して、通常は０．５秒程度毎にＩ−ｐｉｃｔｕｒｅを定期的に挿入することが一般的である。
また、ＧＯＰの構成としては、ＧＯＰ間を跨ぐ予測がなされる図２（ａ）の構成と、ＧＯＰ間を跨ぐ予測を用いない図２（ｂ）の構成のいずれかが用いられる。
【００３６】
図２（ｂ）の構成が前述のｃｌｏｓｅｄＧＯＰである。ｃｌｏｓｅｄＧＯＰとした場合、各ＧＯＰのＩ−ｐｉｃｔｕｒｅに先立つＢ−ｐｉｃｔｕｒｅが後方からの予測のみとなり、直前のＧＯＰからの前方予測は禁止される。このため、ｃｌｏｓｅｄＧＯＰを用いると、図２（ａ）の構成に比べて符号化効率が低くなり、同一符号化レートの下では、画質が低下する。
【００３７】
一方、図２（ａ）の構成では、例えばＧＯＰ２から再生を開始しようとした場合、ＧＯＰ２のＩ−ｐｉｃｔｕｒｅに先立つＢ−ｐｉｃｔｕｒｅがＧＯＰ１を参照しているため、正しい復号化が困難となる。このように、ランダムアクセスの容易性と符号化効率とは相反する関係にあることが分かる。
【００３８】
図３には、ランダムアクセスポイント挿入方法について従来の方法と本実施形態による方法とが対比して示されている。
図３（ａ）〜（ｃ）は、従来の方法であり、（ａ）は全てのＧＯＰをｃｌｏｓｅｄＧＯＰとして符号化し、各ＧＯＰ毎にランダムアクセスを可能としたものである。この場合、ｃｌｏｓｅｄＧＯＰによる符号化効率の低下の影響が大きなものとなる。また、この図３（ａ）の方法では、ランダムアクセスポイントとなるＩ−ｐｉｃｔｕｒｅの挿入周期が固定化されるため、ユーザからの指示などに応じて任意のフレーム位置にランダムアクセスポイントを設定することが困難になる。
【００３９】
図３（ｂ）、（ｃ）は、ランダムアクセスポイントとして指定された部分のみ、ｃｌｏｓｅｄＧＯＰとして符号化を行い、その位置に合わせて直前のＧＯＰを構成するフレーム数を削減する方法である。
【００４０】
すなわち、図３（ｂ）は、図３（ａ）のＧＯＰ３を２つのＧＯＰ、つまりＧＯＰ３とｃｌｏｓｅｄＧＯＰ４とに分割するものであり、ＧＯＰ３およびｃｌｏｓｅｄＧＯＰ４に含まれるフレーム数が共に他の通常のＧＯＰよりも削減される。また、図３（ｃ）は、ＧＯＰ３を途中で打ち切り、そこから、ｃｌｏｓｅｄＧＯＰ４を先頭とする新たなＧＯＰの周期を開始するというものである。
【００４１】
図３（ｂ）、（ｃ）のいずれの場合も、ランダムアクセスポイント直前のＧＯＰについては、それを構成するフレーム数が、通常のＧＯＰのフレーム数よりも少ないフレーム数となる。従って、ランダムアクセスポイントの直前では、一般にＩ−ｐｉｃｔｕｒｅの間隔が詰まることになり、上述した理由から符号化効率が低下することになる。
【００４２】
一方、本実施形態では、図３（ｄ）に示すように、ランダムアクセスポイント直前のＧＯＰ（図３（ｄ）のＧＯＰ２に相当）を構成するフレーム数を増加させてその終了位置をランダムアクセスポイント直前のフレームまで引き延ばし、ランダムアクセスポイントから、ｃｌｏｓｅｄＧＯＰ３を先頭とする新たなＧＯＰの周期を開始させている。この方法によれば、Ｉ−ｐｉｃｔｕｒｅの間隔が詰まることによる符号化効率の低下を防ぐことが可能となる。
【００４３】
図４は、ＭＰＥＧのビデオ符号化時における、入力フレームの順序と符号化フレームの順序の違いを示したものである。
図４（ａ）は、入力されるフレーム順序を示しており、図４（ｂ）は符号化されるフレーム順序を示している。また、図４（ａ），（ｂ）において点線で囲んだ範囲は１つのＧＯＰを示している。ピクチャタイプＢ，Ｉ，Ｐの横の添え字は対応する入力フレームのフレーム番号であり、以下では、ピクチャタイプＢで符号化されるフレーム番号ｎのフレームをＢｎ、ピクチャタイプＩで符号化されるフレーム番号ｎのフレームをＩｎ、ピクチャタイプＰで符号化されるフレーム番号ｎのフレームをＰｎと表記することにする。
【００４４】
前述したように、ＭＰＥＧでは、Ｂ−ｐｉｃｔｕｒｅにおける後方予測が存在するため、参照画像として用いられるＩ−ｐｉｃｔｕｒｅやＰ−ｐｉｃｔｕｒｅの符号化がＢ−ｐｉｃｔｕｒｅよりも先に行われ、その後、Ｉ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅの間に位置するＢ−ｐｉｃｔｕｒｅの符号化が行われることになる。このため、入力されるフレーム順序（表示順序に一致する）と符号化されるフレームの順序は、図示のように異なるものになる。
【００４５】
図４の例では、Ｂ−ｐｉｃｔｕｒｅとして符号化されるフレームフレームＢ０，Ｂ１については、Ｉ−ｐｉｃｔｕｒｅとして符号化されるＩ２からの後方予測となるため、符号化の順序は、Ｉ２，Ｂ０，Ｂ１となる。また、Ｂ−ｐｉｃｔｕｒｅとして符号化されるフレームＢ３，Ｂ４については、Ｐ−ｐｉｃｔｕｒｅとして符号化されるフレームＰ５からの後方予測となるため、符号化の順序は、Ｂ３，Ｂ４よりもＰ５が先に符号化される。つまり、上述したランダムアクセスポイントに伴うＧＯＰ構成の動的な変更は、このような符号化順序の制御にのっとって行われなければならない。
【００４６】
図５は、本実施形態による方法を用いて、図４（ａ）の入力動画像の中でＢ−ｐｉｃｔｕｒｅとして符号化されるフレームＢ１９をランダムアクセスポイントにするための変更を施した例である。
【００４７】
図５（ａ）はフレーム入力順、図５（ｂ）は符号化順をそれぞれ示している。ここでは、図４においてＢ１９が属するＧＯＰの中で最初に符号化されるフレーム、つまり符号化順で先頭に位置するフレームＩ１４の符号化ピクチャタイプを、図５に示すように、Ｐ−ｐｉｃｔｕｒｅに置き換えることにより、Ｐ−ｐｉｃｔｕｒｅとして符号化されるＰ１４として符号化し、それによって、図４においてはＰ１１までで終結されたＧＯＰを、図５に示されているように表示順でＢ１９直前まで伸ばす制御が行われる。なお、図５のＰ１４は、Ｐ１１からの前方予測となる。
【００４８】
また、ＭＰＥＧの規格では、ＧＯＰの終端は表示順で必ずＰ−ｐｉｃｔｕｒｅ或いはＩ−ｐｉｃｔｕｒｅでなければならないため、ランダムアクセスポイントとなるフレームＢ１９の直前のフレームのピクチャタイプはＰ−ｐｉｃｔｕｒｅとなるように、図４においてはＢ−ｐｉｃｔｕｒｅとして符号化されるＢ１８の符号化ピクチャのタイプがＰ−ｐｉｃｔｕｒｅに変更される。これにより図５に示すようにＢ１９の直前のフレームはＰ−ｐｉｃｔｕｒｅとして符号化されるＰ１８となっている。
【００４９】
さらに、ランダムアクセスポイントとなるＢ１９からＧＯＰを開始するために、図４のフレームＢ２１がＩ−ｐｉｃｔｕｒｅであるＩ２１として符号化されると共に、Ｂ１９から開始されるＧＯＰをｃｌｏｓｅｄＧＯＰにするため、Ｂ１９およびＢ２０の前方予測を禁止する制御が加えられる。
【００５０】
このようにして、指定されたランダムアクセスポイント直前からさかのぼった一定期間内にはＩ−ｐｉｃｔｕｒｅが入らないような制御が行われることにより、ランダムアクセスポイント境界での符号化効率の低下を防止することが出来る。
【００５１】
次に、図６および図７を参照して、ランダムアクセスポイントに伴うＧＯＰ構造制御について、従来の方法と本実施形態の方法とを対比して説明する。
図６は、表示順でランダムアクセスポイントに伴うＧＯＰ構造制御についての従来例をピクチャタイプ（Ｉ、Ｐ、Ｂ）を含めて示したものである。
【００５２】
図中の矢印で示した点が、編集可能点となるランダムアクセスポイントである。また、図中の丸数字は、いくつかの連続した入力フレーム間における符号化の順序を参考までに示したものである。
【００５３】
図６の例は、図３（ｃ）で説明したように、ＧＯＰをランダムアクセスポイントの直前で中断し、そこから新たなＧＯＰの周期を開始する場合に相当するものである。
【００５４】
図６（ａ）は、一定周期でＩ−ｐｉｃｔｕｒｅを挿入することによるＧＯＰの境界とランダムアクセスポイントの境界とが一致している場合で、この場合はＧＯＰ構成の変更は伴わず、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、表示順でＧＯＰ先頭にあるＢ−ｐｉｃｔｕｒｅのフレームＢ１２，Ｂ１３についての前方予測禁止処理のみ行う。
【００５５】
また、例えば、図６（ｂ）のように、図６（ａ）においてＢ−ｐｉｃｔｕｒｅとして符号化されるフレームＢ１３にランダムアクセスポイントを設定する場合には、図６（ａ）においてフレームＢ１３の直前にあるフレームＢ１２のピクチャタイプがＩ−ｐｉｃｔｕｒｅに変更され、Ｉ１２として符号化されることになる。この場合、ランダムアクセスポイント直前のＧＯＰは、Ｉ−ｐｉｃｔｕｒｅとして符号化されるＩ１２のみから構成される１フレームとなる。また、続くＢ１３から新たなＧＯＰの周期が開始され、Ｂ１３からＰ２４まででｃｌｏｓｅｄＧＯＰが構成される。
【００５６】
このように、従来は、ランダムアクセスポイント直前のＧＯＰ長を短くする制御が行われる。ここで、前述のようにＧＯＰの終端は、表示順でＰ−ｐｉｃｔｕｒｅ或いはＩ−ｐｉｃｔｕｒｅとなるように制御され、またランダムアクセスポイント直後のＧＯＰは、ｃｌｏｓｅｄＧＯＰとなるように、先頭のＢ−ｐｉｃｔｕｒｅの前方予測は禁止される。
【００５７】
一方、図７は、本実施形態に関わるランダムアクセスポイントに伴うＧＯＰ構造制御の例を、表示順でピクチャタイプも含めて示したものである。
図中の矢印で示した点が、編集可能点となるランダムアクセスポイントであり、また丸数字はいくつかの連続した入力フレーム間における符号化の順序を示している。
【００５８】
図７の例では、図３（ｄ）で説明したように、ランダムアクセスポイント直前のＧＯＰ長をランダムアクセスポイント位置の直前まで引き延ばし、ｃｌｏｓｅｄＧＯＰを先頭をランダムアクセスポイントに合わせて、そこからｃｌｏｓｅｄＧＯＰを先頭とする新たなＧＯＰの周期を開始するものである。なお、ＧＯＰの予測構造としては、表示順でＩ−ｐｉｃｔｕｒｅの前にＢ−ｐｉｃｔｕｒｅを配する、Ｂ，Ｂ，Ｉ，Ｂ．Ｂ．Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐなる構造を用いる場合を例示している。
【００５９】
図７（ａ）は、ＧＯＰの境界とランダムアクセスポイントの境界とが一致している場合で、この場合はＧＯＰ構成の変更は伴わず、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅの前方予測禁止処理のみ行う。
【００６０】
また、図７（ｂ）のように、図７（ａ）においてＢ−ｐｉｃｔｕｒｅとして符号化されるフレームＢ１３にランダムアクセスポイントを設定する場合には、ランダムアクセスポイント直前のフレームＢ１２のピクチャタイプをＰ−ｐｉｃｔｕｒｅに変更してＰ１２として符号化して、それを直前のＧＯＰの最終フレームとする処理が行われる。そして、ランダムアクセスポイント直後のフレームから新たなＧＯＰ周期が開始されて、フレーム１３，１４，１５，…はピクチャタイプＢ，Ｂ，Ｉ，…の符号化フレームＢ１３，Ｂ１４，Ｉ１５，…となる。Ｉ１５はランダムアクセスポイント設定のために新たに入れられたＩ−ｐｉｃｔｕｒｅである。ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅ、つまりＢ１３，Ｂ１４の前方予測禁止処理が行われる。図７（ｃ）でも、図７（ｂ）と同様の処理が行われる。
【００６１】
また、図７（ｄ）のように、図７（ａ）においてＢ−ｐｉｃｔｕｒｅとして符号化されるフレームＢ１５にランダムアクセスポイントを設定する場合には、ランダムアクセスポイント直前のフレーム１４のピクチャタイプがＩ−ｐｉｃｔｕｒｅからＰ−ｐｉｃｔｕｒｅに変更され、Ｐ１４として符号化される。また、図７（ｂ），（ｃ）と同様に、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅ、つまりＢ１５，Ｂ１６の前方予測禁止処理が行われる。
【００６２】
図７（ｅ）のように、図７（ａ）においてＢ−ｐｉｃｔｕｒｅとして符号化されるＢ１６にランダムアクセスポイントを設定する場合には、ランダムアクセスポイント直前のＩ−ｐｉｃｔｕｒｅであるフレーム１４のピクチャタイプがＩ−ｐｉｃｔｕｒｅからＰ−ｐｉｃｔｕｒｅに変更されると共に、フレーム１５のピクチャタイプをＰ−ｐｉｃｔｕｒｅに変更してＰ１５として符号化し、それを直前のＧＯＰの最終フレームとする処理が行われる。また、図７（ｄ）と同様に、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅ、つまりＢ１６，Ｂ１７の前方予測禁止処理が行われる。
【００６３】
図７（ｆ）についても、図７（ｅ）と同様の処理が行われる。
この図７のＧＯＰ構造によれば、図６（ｂ）のＩ１２、図６（ｃ）のＩ１３、および図６（ｄ）〜（ｆ）のＩ１４で示される、ランダムアクセスポイント直前のフレーム数の少ないＧＯＰに含まれるＩ−ｐｉｃｔｕｒｅが、いずれもＰ−ｐｉｃｔｕｒｅとして符号化されるため、Ｉ−ｐｉｃｔｕｒｅの挿入間隔が短くなるのを防ぐことができ、符号化効率の低下を防ぐことができる。
【００６４】
また、図７（ａ）に示されている一定周期のＩ−ｐｉｃｔｕｒｅとして符号化されるフレーム１４に着目すると、その符号化ピクチャタイプは、図７（ｂ）のＢ１４、図７（ｃ）のＢ１４、図７（ｄ）のＰ１４、図７（ｅ）のＰ１４、図７（ｆ）のＰ１４のように、いずれも動き補償予測フレーム間符号化に置き換えられていることが分かる。すなわち、図７のＧＯＰ構造制御方法では、任意の指定された位置からのランダムアクセスを可能にするために挿入されるＩ−ｐｉｃｔｕｒｅ（図７（ｂ）のＩ１５、図７（ｃ）のＩ１６、図７（ｄ）のＩ１７、図７（ｅ）のＩ１８、図７（ｆ）のＩ１９）の直前の一定周期のＩ−ｐｉｃｔｕｒｅ（Ｉ１４）を、ＢまたはＰ−ｐｉｃｔｕｒｅに置き換えて符号化するという制御が行われている。
【００６５】
図８は、本実施形態の符号化処理の手順を示すフローチャートである。
本実施形態では、一定周期でＩ−ｐｉｃｔｕｒｅを設定することによってＧＯＰ単位で符号化を行いながら、タイムコード指定、或いはシーンチェンジ検出に基づく指定、或いは符号化中におけるユーザからの指定に基づいてランダムアクセスポイントを任意に設定できるようにしている。
【００６６】
すなわち、まず、一定周期の各通常ＧＯＰの符号化終了点（ｓｔｅｐ１）において、次の通常ＧＯＰ内にランダムアクセスポイントの指定がなされているかどうかの判定を行う（ｓｔｅｐ２）。ここで、次ＧＯＰ内にランダムアクセスポイントの指定が設定されている場合は、現在のＧＯＰを構成するフレーム数を増やす為のカレントＧＯＰ延長処理が行われる（ｓｔｅｐ３）。このカレントＧＯＰ延長処理は、符号化順で次に符号化すべきフレームのピクチャタイプをＩからＰ（またはＢ）に置き換える処理が行われると共に、このピクチャタイプの変更に伴い必要に応じて符号化順序つまり符号化対象フレームの変更が行われる。
【００６７】
図７の例ではフレーム番号１０のピクチャタイプがＢのフレームの符号化が終了した時点でそのＧＯＰの符号化が終了するので、次に最初に符号化すべきフレームはピクチャタイプがＩのフレーム１４となり、そのフレーム１４のピクチャタイプが前述のようにＰ（またはＢ）に変更されることになる。また、ランダムアクセスポイント直前のフレームは、延長されたＧＯＰの最終フレームとなるようにピクチャタイプはＰ−ｐｉｃｔｕｒｅに変更される。このようなピクチャタイプの変更に伴い、図７（ｂ）〜（ｆ）ではフレーム１４は次に符号化すべきフレームではなくなり、図７の丸数字で示される４，５，６，７，…という順序で符号化が行われる（ｓｔｅｐ５）。
【００６８】
そして、指定されたランダムアクセスポイントの符号化に達すると、そこから新たなＧＯＰの周期が再スタートされる。この場合、ランダムアクセスポイント境界の直後のＧＯＰは、ｃｌｏｓｅｄＧＯＰとなるよう、表示順でＧＯＰ先頭にＢ−ｐｉｃｔｕｒｅがある場合は、前方予測を禁止する。
【００６９】
一方、次のＧＯＰ内にランダムアクセスポイントの指定がない場合は、次の通常のＧＯＰ周期に移行するために、ＧＯＰヘッダの挿入およびＩ−ｐｉｃｔｕｒｅの挿入を通常通り行う（ｓｔｅｐ４）。
【００７０】
このようにして、一定周期でＩ−ｐｉｃｔｕｒｅを挿入することによりＧＯＰ単位での符号化を行いながら、各ＧＯＰの符号化が終了する度に次のＧＯＰにランダムアクセスポイントの指定があるか否かを判定し、ランダムアクセスポイントの指定があれば、ランダムアクセスポイントまでにＩ−ｐｉｃｔｕｒｅが入らないような制御を行うことにより、現在のＧＯＰ長をランダムアクセスポイント直前まで引き延ばすというＧＯＰ構成変更制御が行われる。
【００７１】
以上のようにランダムアクセスポイント直前のＧＯＰ構成変更制御を行うことにより、ランダムアクセスポイント直前にフレーム数の少ないＧＯＰが挿入されることがなくなり、符号化効率の低下を防ぐことが可能となる。
【００７２】
なお、図８に示した処理フローでは、ｓｔｅｐ２において、次のＧＯＰ内にランダムアクセスポイントの指定があるかどうかで、現在のＧＯＰ長を伸ばすか否かの判定を行っている。したがって、ランダムアクセスポイント直前のＧＯＰ長は、最大で通常のＧＯＰ長の２倍のフレーム数から構成されることになる。ただし、本発明では、何フレーム先までランダムアクセスポイントの指定の有無を判定するかは限定されるものではない。従って、ＧＯＰを構成するフレーム数の最大値に応じて、ランダムアクセスポイントの指定の有無を先読みする範囲を決定する構成とすることも可能である。
【００７３】
具体的には、図８のｓｔｅｐ２を、各ＧＯＰの終端において、予め決められた最大ＧＯＰ長から通常のＧＯＰ長を減じたフレーム数だけ先の位置までランダムアクセスポイントの有無を判定するようにしてもよい。この場合、ランダムアクセスポイント直前のＧＯＰ長の最大値は、最大ＧＯＰ長と等しくなる。
【００７４】
（第２の実施形態）
次に、本発明の第２実施形態として、ＧＯＰ構造変更処理の第２の例を説明する。
【００７５】
図９〜図１３には、本第２実施形態におけるランダムアクセスポイントに伴うＧＯＰ構造変更制御の例が、表示順でピクチャタイプも含めて示されている。図中の矢印で示した点が、編集可能点となるランダムアクセスポイントである。
【００７６】
ここでは、表示順でＧＯＰ内の最初のＩ−ｐｉｃｔｕｒｅまたはそれ以前のフレームにおいてランダムアクセスポイント境界が挿入される場合と、そうでない場合とで制御を切り替える構成となっている。すなわち、表示順でＧＯＰ内の最初のＩ−ｐｉｃｔｕｒｅまたはそれ以前のフレームにおいてランダムアクセスポイント境界が挿入された場合は直前のＧＯＰを引き延ばす処理が行われ、最初のＩ−ｐｉｃｔｕｒｅよりも後にランダムアクセスポイント境界が挿入された場合は、ランダムアクセスポイント境界の直前まででＧＯＰを終結されて通常ＧＯＰよりも短いＧＯＰの挿入が行われる。
【００７７】
図９では、Ｉ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅが現れる周期が３フレーム（Ｍ＝３）の場合を示している。図中の矢印で示した点が、編集可能点となるランダムアクセスポイントであり、また丸数字はいくつかの連続した入力フレーム間における符号化の順序を示している。
【００７８】
図９（ａ）は、ＧＯＰの境界とランダムアクセスポイントの境界とが一致している場合で、この場合はＧＯＰ構成の変更は伴わず、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅの前方予測禁止処理のみ行う。
【００７９】
図９（ｂ）は、ランダムアクセスポイントが表示順でＧＯＰ内の１フレーム目の直後となる場合である。この場合には、図６（ｂ）のようにランダムアクセスポイント直前のフレームＢ１２を、１フレームのＩ−ｐｉｃｔｕｒｅのみで構成されるＧＯＰとするのではなく、第１実施形態の図７（ｂ）のようにＰ−ｐｉｃｔｕｒｅとして符号化し、直前のＧＯＰの最終フレームとする処理が行われる。また、ランダムアクセスポイント直後からＧＯＰを開始するために、図９（ａ）においてＢ−ｐｉｃｔｕｒｅとして符号化されるＢ１５が、Ｉ−ｐｉｃｔｕｒｅであるＩ１５として最初に符号化されると共に、そのランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅ、つまりＢ１３，Ｂ１４の前方予測禁止処理が行われる。
【００８０】
図９（ｃ）および（ｄ）も、第１実施形態の図７（ｃ）および（ｄ）と同様にしてＧＯＰ構成の制御を行う。
一方、図９（ｅ）および（ｆ）のように、表示順でＧＯＰの先頭から、ＧＯＰ内のＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅの間隔である３フレームを越えた位置に、ランダムアクセスポイントが設定される場合は、図９（ａ）〜（ｃ）のように直前のＧＯＰ長を伸ばすのではなく、ランダムアクセスポイント直前までの、通常のＧＯＰよりもフレーム数の少ない新たなＧＯＰを構成する。
【００８１】
すなわち、第２実施形態のＧＯＰ構造制御方法では、任意の指定された位置からのランダムアクセスを可能にするために挿入されるＩ−ｐｉｃｔｕｒｅ（図９（ｂ）のＩ１５、図９（ｃ）のＩ１６、図９（ｄ）のＩ１７、図９（ｅ）のＩ１８、図９（ｆ）のＩ１９）から見て時間的に直前に位置する、Ｂ−ｐｉｃｔｕｒｅを除く最初のフレームのピクチャタイプがＩ−ｐｉｃｔｕｒｅである場合と、そうでは無い場合とで制御が分けられ、Ｉ−ｐｉｃｔｕｒｅであればＰ（またはＢ）にピクチャタイプが変更される。
【００８２】
例えば、図９（ｂ）では、ランダムアクセスを可能にするためにＩ−ｐｉｃｔｕｒｅが挿入されるフレーム位置がフレーム１５（Ｉ１５）であり、その直前のＢ−ｐｉｃｔｕｒｅ以外のフレームのピクチャタイプは、図９（ａ）のようにフレーム１４のＩ−ｐｉｃｔｕｒｅであるため、そのフレーム１４のピクチャタイプの変更が行われている。
【００８３】
図９（ｃ）では、ランダムアクセスを可能にするためにＩ−ｐｉｃｔｕｒｅが挿入されるフレーム位置がフレーム１６（Ｉ１６）であり、フレーム１５は図９（ａ）に示されているようにＢ−ｐｉｃｔｕｒｅであるのでそれを無視すると、そのフレーム１６の直前のＢ−ｐｉｃｔｕｒｅ以外のフレームのピクチャタイプは、図９（ａ）におけるフレーム１４のＩ−ｐｉｃｔｕｒｅとなり、そのフレーム１４のピクチャタイプの変更が行われている。
【００８４】
同じく、図９（ｄ）では、ランダムアクセスを可能にするためにＩ−ｐｉｃｔｕｒｅが挿入されるフレーム位置がフレーム１７（Ｉ１７）であり、図９（ａ）のようにフレーム１６，１５はＢ−ｐｉｃｔｕｒｅであるのでそれを無視すると、そのフレーム１６の直前のＢ−ｐｉｃｔｕｒｅ以外のフレームのピクチャタイプは、図９（ａ）におけるフレーム１４のＩ−ｐｉｃｔｕｒｅとなるため、そのフレーム１４のピクチャタイプの変更が行われている。
【００８５】
一方、図９（ｅ）では、ランダムアクセスを可能にするためにＩ−ｐｉｃｔｕｒｅが挿入されるフレーム位置がフレーム１８（Ｉ１８）であり、図９（ａ）のようにフレーム１７はＰ−ｐｉｃｔｕｒｅであるので、フレーム１４のピクチャタイプの変更は行われずＩ−ｐｉｃｔｕｒｅとしてそのまま符号化される。
【００８６】
同じく、図９（ｆ）では、ランダムアクセスを可能にするためにＩ−ｐｉｃｔｕｒｅが挿入されるフレーム位置がフレーム１９（Ｉ１９）であり、そのフレーム１９の直前のＢ−ｐｉｃｔｕｒｅ以外のフレームのピクチャタイプは、図９（ａ）のようにフレーム１７のＰ−ｐｉｃｔｕｒｅであるので、フレーム１４のピクチャタイプの変更は行われずＩ−ｐｉｃｔｕｒｅとしてそのまま符号化される。
【００８７】
このようにして、ランダムアクセスポイントの挿入位置が表示順でＧＯＰ内のＩ−ｐｉｃｔｕｒｅまたはそれ以前のフレームであれば、直前のＧＯＰ長を伸ばす処理が行われ、ランダムアクセスポイントの挿入位置が表示順でＧＯＰ内のＩ−ｐｉｃｔｕｒｅよりも後にある場合には、通常のＧＯＰよりもフレーム数の少ない新たなＧＯＰを挿入する処理が行われることになる。
【００８８】
図１０は、Ｉ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅが現れる周期が２フレーム（Ｍ＝２）の場合における本第２実施形態のＧＯＰ構造制御の例である。図１０（ａ）は、ＧＯＰの境界とランダムアクセスポイントの境界とが一致している場合で、この場合はＧＯＰ構成の変更は伴わず、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとするため、ＧＯＰ先頭のＢ−ｐｉｃｔｕｒｅの前方予測禁止処理のみ行う。図１０（ｂ），（ｃ）では、ランダムアクセスポイントの境界が表示順でＧＯＰ内のＩ−ｐｉｃｔｕｒｅ以前であるので、ランダムアクセスポイント直前のフレームをＰ−ｐｉｃｔｕｒｅとすることにより、直前のＧＯＰを引き延ばす処理が行われる。一方、図１０（ｄ），（ｅ）では、ランダムアクセスポイントの挿入位置が、表示順でＧＯＰの先頭からＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅの周期である２フレームを越える位置にあるので、直前のＧＯＰを引き延ばす処理は行われず、直前のＧＯＰ終端からランダムアクセスポイント直前までの短いＧＯＰが挿入されることになる。
【００８９】
また、図１１はＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅが現れる周期が１フレーム（Ｍ＝１）、つまりＢ−ｐｉｃｔｕｒｅを用いない場合を示している。
【００９０】
図１１（ａ）は、ＧＯＰの境界とランダムアクセスポイントの境界とが一致している場合で、この場合はＧＯＰ構成の変更は行わない。また、Ｂ−ｐｉｃｔｕｒｅを用いてないので、Ｂ−ｐｉｃｔｕｒｅの前方予測禁止処理を行うことなく、ランダムアクセスポイント直後のＧＯＰをｃｌｏｓｅｄＧＯＰとすることができる。
【００９１】
図１１（ｂ）では、ランダムアクセスポイントの境界が表示順でＧＯＰ内のＩ−ｐｉｃｔｕｒｅフレームＩ１２よりも後であるので、ランダムアクセスポイント直前のフレーム、ここではＩ１２、をＰ−ｐｉｃｔｕｒｅとすることにより、直前のＧＯＰを引き延ばす処理が行われる。また、ランダムアクセスポイントの境界直後のＰ１３はＩ−ｐｉｃｔｕｒｅフレームＩ１３として符号化される。
【００９２】
一方、図１１（ｃ），（ｄ）では、ランダムアクセスポイントの挿入位置が、表示順でＧＯＰの先頭からＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅの周期である１フレームを越える位置にあるので、直前のＧＯＰを引き延ばす処理は行われず、ランダムアクセスポイントの境界直後のＰ１４をＩ−ｐｉｃｔｕｒｅフレームＩ１４として符号化する処理のみ行われ、ランダムアクセスポイントの直前にＩ１２とＰ１３とから構成される短いＧＯＰが挿入されることになる。
【００９３】
図１２はＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅが現れる周期が３フレーム（Ｍ＝３）であり、且つ表示順でＧＯＰ先頭のＩ−ｐｉｃｔｕｒｅに先んずるＢ−ｐｉｃｔｕｒｅを用いない場合のＧＯＰ構造制御の例である。
【００９４】
図１３は、Ｉ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅが現れる周期が２フレーム（Ｍ＝２）であり、且つ表示順でＧＯＰ先頭のＩ−ｐｉｃｔｕｒｅに先んずるＢ−ｐｉｃｔｕｒｅを用いない場合のＧＯＰ構造制御の例である。
【００９５】
図１４は、本第２実施形態の符号化処理のフローチャートである。
本第２実施形態では、各フレームを符号化する直前に、符号化順で次に符号化すべき次符号化フレームが、表示順で、タイムコード指定、或いはシーンチェンジ検出に基づく指定、或いは符号化中におけるユーザからの指定等に基づいて設定されたランダムアクセスポイントの直前のフレーム（以降、ＯＵＴ点と呼ぶ）以降のフレームであるか否かの判定を行う（ｓｔｅｐ１）。
【００９６】
ここで、次符号化フレームが、表示順でＯＵＴ点よりも前のフレームであれば、通常通り、予測構造に従った符号化処理が行われる（ｓｔｅｐ５）。
一方、次符号化フレームが、表示順でＯＵＴ点のフレーム或いはＯＵＴ点を越えたフレームであると判定された場合、次符号化フレームの符号化ピクチャタイプがＩ−ｐｉｃｔｕｒｅかどうかの判定を行い（ｓｔｅｐ３）、次符号化ピクチャがＩ−ｐｉｃｔｕｒｅである場合は、現在のＧＯＰを延長する処理が行われる（ｓｔｅｐ３）。このカレントＧＯＰ延長処理は、符号化順で次に符号化すべきフレームのピクチャタイプをＩからＰ（またはＢ）に置き換える処理が行われると共に、このピクチャタイプの変更に伴い必要に応じて符号化順序つまり符号化対象フレームの変更が行われる。これは、例えば、図９（ｂ），（ｃ），（ｄ）、図１０（ｂ），（ｃ）、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）の例に対応する。
【００９７】
例えば、図９について考えると、フレーム１０の符号化が終了すると、次に符号化すべきフレームは、図９（ａ）に示すようにフレーム１４となる。この場合、図９（ｃ）のようにＯＵＴ点がフレーム１３の場合には、次に符号化すべきフレーム１４は、ＯＵＴ点を越えていることになる。さらに、次に符号化すべきフレーム１４のピクチャタイプはＩであるので、そのピクチャタイプはＩからＢに変更すると共に、フレーム１４ではなく、フレーム１３をＰに変更して符号化する。
【００９８】
また、次の符号化すべきフレームのピクチャタイプがＩ−ｐｉｃｔｕｒｅでない場合は、ＯＵＴ点において現在のＧＯＰが終端するように、ＧＯＰ構造の変更を行って符号化を行う（ｓｔｅｐ４）。これは、例えば、図９（ａ），（ｅ），（ｆ）、図１０（ａ），（ｄ），（ｅ）、図１１（ａ），（ｃ），（ｄ）、図１２（ａ），（ｃ），（ｄ），（ｅ）、図１３（ａ），（ｃ），（ｄ）に対応する。
【００９９】
例えば、図１３（ｃ）のようにフレーム１４がＯＵＴ点である場合を考える。フレーム１３の符号化が終了すると、次に符号化すべきフレームは、図１３（ａ）に示すようにフレーム１５となる。この場合、次に符号化すべきフレーム１５は、ＯＵＴ点を越えていることになる。さらに、次に符号化すべきフレーム１５のピクチャタイプは図１３（ａ）に示すようにＰであるので、現在のＧＯＰが終端するようにフレーム１４のピクチャタイプがＰに変更される。
【０１００】
図３および図４に示した通り、ＭＰＥＧの符号化では、通常はＢ−ｐｉｃｔｕｒｅを挟むＩ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅの符号化を先に行い、その後その間に挟まれたＢ−ｐｉｃｔｕｒｅの符号化が行われる。つまり、ＯＵＴ点が通常のＧＯＰ構成で、どのピクチャタイプ（Ｉ−ｐｉｃｔｕｒｅ，Ｐ−ｐｉｃｔｕｒｅ，Ｂ−ｐｉｃｔｕｒｅ）の位置に設定されても、図１４のｓｔｅｐ１の判定でＯＵＴ点が検出された場合、次の符号化ピクチャタイプは、Ｉ−ｐｉｃｔｕｒｅまたはＰ−ｐｉｃｔｕｒｅのいずれかとなる。つまり、本発明の第２の実施形態によれば、次に符号化すべきフレームが、ＯＵＴ点またはＯＵＴ点を越えたフレームであるか、それ以前のフレームであるかの判定のみで、遅延なくＧＯＰ構成の制御が可能となる。
【０１０１】
例えば、図１５に示すように、図４においてＯＵＴ点となるフレームがＢ１３である場合、すなわち図９（ｃ）に相当する場合、図４のＩ１４の符号化開始する時点でそのＯＵＴ点が検出され、Ｉ１４の符号化を行わずＢ１３をＰ−ｐｉｃｔｕｒｅであるＰ１３として符号化し、次にＢ１２の符号化を行う。これにより、図９（ｃ）に相当する符号化を遅延なく制御することが可能となる。
【０１０２】
第１実施形態の方法では、タイムコードでランダムアクセスポイント（すなわちＯＵＴ点）が指定される場合、１ＧＯＰ以上先まで、ＯＵＴ点があるかどうかの判定をする必要がある。一方、本第２実施形態によれば、ＯＵＴ点の先読みが不要となるため、制御が簡略化可能である。また、シーンチェンジの自動検出と同期したランダムアクセスポイントの挿入や、ユーザからリアルタイムで設定されるランダムアクセスポイントの設定時は、ＯＵＴ点の先読みができない場合があり、このような場合には、第１実施形態では制御遅延が生じるが、本第２実施形態の方法ではこのような問題を回避することが出来る。
【０１０３】
また、図６に示した従来の方法のよれば、制御遅延は削減できるが符号化効率の低下を招くことになる。一方、本発明の第２実施形態によれば、制御遅延なしで、しかも符号化効率の低下を押さえることが可能となる。
【０１０４】
なお、第１実施形態および第２実施形態による符号化方法はプロセッサで実行可能なコンピュータプログラムとして実現することが出来、このコンピュータプログラムを記録媒体を通じて図１の符号化装置に実装したり、あるいは通常のコンピュータによって実行可能な汎用の符号化制御プログラムとして記録媒体を通じて提供することにより、同様の効果を得ることが出来る。
【０１０５】
また、第１実施形態および第２実施形態による符号化方法により符号化されたデータを記録した記録媒体により、ユーザが欲するポイントへのランダムアクセスや、ランダムアクセスポイント単位での符号化データのつなぎ合わせ編集等を、画質を低下させることなく容易に実現可能となる。
【０１０６】
なお、第１実施形態と第２実施形態はそれぞれ独立に実施してもよいが、それらを組み合わせた構成とすることも可能である。つまり、タイムコードでランダムアクセスポイントが指定される場合は、本発明の第１実施形態の方法を用いることにより、ＯＵＴ点の先読みを行ってランダムアクセスポイント直前のＧＯＰ長を延長する処理を行う。また、シーンチェンジ検出と同期したランダムアクセスポイントの設定や、ユーザからの符号化中の実時間での指示によるランダムアクセスポイント設定に関しては、本発明の第２実施形態を用いてＧＯＰ構造の制御を行う。これにより、ランダムアクセスポイント挿入による符号化効率の低下を防ぎ、またランダムアクセスポイント挿入の制御遅延を削減して、適切な位置にランダムアクセスポイントを挿入することが可能となる。
【０１０７】
また、以上の説明では、連続した符号化データ中にランダムアクセスポイントを設定する場合について説明したが、符号化終端部分についても全く同様な処理を用いることが可能である。つまり、符号化最終フレームが、ＧＯＰの終端と一致しない場合、上記の実施形態により、符号化最終フレームをＯＵＴ点とすることで、最終フレームの属するＧＯＰ構造を適切に変更することが可能である。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、動き補償予測動画像符号化において、ランダムアクセス可能なランダムアクセスポイントを挿入する際に、ランダムアクセスポイント位置を先読みして、ランダムアクセスポイント直前の一定フレーム期間に、フレーム内符号化フレームが入らないように制御することにより、ランダムアクセスポイント境界での符号化効率の低下を防ぐことが可能となり、符号化画像の画質を低下させることなくランダムアクセスポイントを挿入することが可能となる。
【０１０９】
また、動画像信号の入力順序と符号化順序の違いを利用して、ランダムアクセスポイント境界の判定と符号化ピクチャタイプの判定とを用いることで、ランダムアクセスポイントの先読みなしに、ランダムアクセスポイントの直前の一定フレーム期間に、フレーム内符号化フレームが入らないようにする制御が可能となり、遅延なくランダムアクセスポイントを挿入し、且つ符号化効率の低下を防ぐことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図２】同第１実施形態で用いられるフレーム間の予測構造を説明するための図。
【図３】同第１実施形態で用いられるランダムアクセスポイント挿入方法を従来例と対比して示す図。
【図４】同第１実施形態で用いられる符号化方式における入力順序と符号化順序の違いを説明するための図。
【図５】同第１実施形態で用いられるランダムアクセスポイント挿入方法を入力順序と符号化順序の違いを考慮して示す図。
【図６】従来のランダムアクセスポイント挿入の例を示す図。
【図７】同第１実施形態で用いられるランダムアクセスポイント挿入の例を示す図。
【図８】同第１実施形態で用いられる符号化処理の手順を示すフローチャート。
【図９】本発明の第２実施形態に係わるランダムアクセスポイント挿入例を示す第１の図。
【図１０】同第２実施形態におけるランダムアクセスポイント挿入例を示す第２の図。
【図１１】同第２実施形態におけるランダムアクセスポイント挿入例を示す第３の図。
【図１２】同第２実施形態におけるランダムアクセスポイント挿入例を示す第４の図。
【図１３】同第２実施形態におけるランダムアクセスポイント挿入例を示す第５の図。
【図１４】同第２実施形態で用いられる符号化処理の手順を示すフローチャート。
【図１５】同第２実施形態におけるランダムアクセスポイント挿入方法を入力順序と符号化順序の違いを考慮して示す図。
【符号の説明】
１１…画面並べ替え部
１２…減算器
１３…離散コサイン変換部
１４…量子化部
１５…可変長符号化部
１６…逆量子化部
１７…逆離散コサイン変換部
１８…加算器
１９…参照画像フレームメモリ
２０…動き補償予測部
２１…記憶媒体
２２…レート制御部
２３…制御部
【図１】
0004005691.tif 000002
【図２】
0004005691.tif 000003
【図３】
0004005691.tif 000004
【図４】
0004005691.tif 000005
【図５】
0004005691.tif 000006
【図６】
0004005691.tif 000007
【図７】
0004005691.tif 000008
【図８】
0004005691.tif 000009
【図９】
0004005691.tif 000010
【図１０】
0004005691.tif 000011
【図１１】
0004005691.tif 000012
【図１２】
0004005691.tif 000013
【図１３】
0004005691.tif 000014
【図１４】
0004005691.tif 000015
【図１５】
0004005691.tif 000016