(57)【特許請求の範囲】
【請求項１】
入力映像信号を所定の初期条件のもとに符号化し、その符号化結果を解析することで前記入力映像信号に最適な符号化条件を決定し、再度符号化を行う方法であって、
前記入力映像信号の符号化のための符号化条件を設定するステップと、
前記入力映像信号を符号化するステップと、
前記符号化結果から前記入力映像信号の特徴を抽出するステップと、
抽出された前記入力映像信号の特徴をもとに、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割していき各ビデオ編集ユニットに対して平均目標符号化レートを計算するステップと、
前記ビデオ編集ユニットと平均目標符号化レートを符号化条件に変換して符号化条件の更新を行うステップとを含むことを特徴とする映像信号符号化方法。
【請求項２】
入力映像信号を符号化する符号化手段と、
前記符号化手段が符号化処理を行うために必要な符号化条件を設定するパラメータ設定手段と、
前記符号化手段の符号化結果をもとに前記入力映像信号の特徴情報を抽出するエンコード情報作成手段と、
前記エンコード情報作成手段が抽出した前記入力映像信号の特徴情報をもとに、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割し、前記ビデオ編集ユニット毎に平均目標符号化レートを計算するアロケーション手段と、
前記アロケーション手段の計算結果であるビデオ編集ユニットと平均目標符号化レートを符号化条件に変換し前記パラメータ設定手段に渡す更新符号化条件生成手段とを備えていることを特徴とする映像信号符号化装置。
【請求項３】
さらに、前記符号化手段による前記符号化結果から再符号化のときに利用できる符号化情報を抽出して記憶しておく符号化データ記憶手段を備え、
前記符号化手段は、再符号化において前記符号化データ記憶手段に記憶されている符号化情報を利用して再符号化を行うように構成されていることを特徴とする請求項２に記載の映像信号符号化装置。
【請求項４】
さらに、前記符号化手段が前記入力映像信号につき初回の符号化処理を行うときは前記符号化手段における仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するバッファ制御切替手段を備えていることを特徴とする請求項２に記載の映像信号符号化装置。
【請求項５】
さらに、前記符号化手段による前記符号化結果から再符号化のときに利用できる符号化情報を抽出して記憶しておく符号化データ記憶手段を備え、
前記符号化手段は、再符号化において前記符号化データ記憶手段に記憶されている符号化情報を利用して再符号化を行うように構成されているとともに、
さらに、前記符号化手段が前記入力映像信号につき初回の符号化処理を行うときは前記符号化手段における仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するバッファ制御切替手段を備えていることを特徴とする請求項２に記載の映像信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号を高能率符号化するための符号化方法と、それを実現するための映像信号符号化装置に関するものである。
【０００２】
【従来の技術】
従来、映像信号を高能率符号化するための方法が各地で検討され、ＩＳＯ（国際標準化機構）及びＩＥＣ（国際電気標準会議）の合同技術委員会の一部である動画専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の手により規格化が進められた。この成果は、ＩＳＯ／ＩＥＣ１３８１８−２“Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ，Ｐｉｃｔｕｒｅ，Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｈｙｐｅｒｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ”（ＭＰＥＧ−２規格）及びＩＳＯ／ＩＥＣ  ＤＩＳ  １１１７２“Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９  ＷＧ１１”（ＭＰＥＧ−１規格）として知られている。
【０００３】
これらの規格に基づいて高能率符号化された映像信号の画質を向上させるための方法として、一旦所定の符号化条件のもとに符号化した映像信号をその特徴に応じて再度符号化し直す方法がある。この方法に関しては、特開平９−２１４９６２号公報に記載されたものなどが知られている。
【０００４】
この従来の映像信号の符号化方法に関して図面を参照しながら説明する。
【０００５】
図５は、映像信号を繰り返し符号化し、特徴抽出を行うことで高画質化を図ることを目的とした従来の映像信号符号化装置の構成を示すブロック図である。
【０００６】
図５において、符号の５０１は映像信号を符号化するための符号化手段、５０２は符号化条件を設定するためのパラメータ設定手段、５０３は符号化結果をもとに入力映像信号の特徴抽出を行うためのエンコード情報作成手段、５０４は抽出された映像信号の特徴情報をもとに最適な符号化条件を計算するためのアロケーション手段を示している。
【０００７】
以下、その動作に関して説明する。入力映像信号はパラメータ設定手段５０２によって定められた所定の初期パラメータに従って符号化手段５０１により符号化処理される。符号化された結果と符号化の際の条件はエンコード情報作成手段５０３に渡され、そこで解析される。エンコード情報作成手段５０３は、例えば、符号化の際に発生した符号量や、符号化に使用された量子化ステップ、動きベクトルの大きさ、アクティビティ、シーンチェンジの有無などの情報を参考として入力映像信号を形成する各画像の符号化難易度を決定する。エンコード情報作成手段５０３によって得られた解析結果はアロケーション手段５０４に渡される。アロケーション手段５０４は、エンコード情報作成手段５０３が作成した各画像の符号化難易度に基づいて各画像へのデータ配分を計算する。アロケーション手段５０４によって計算されたデータ配分に従って、パラメータ設定手段５０２は符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段５０１は入力映像信号を再度符号化する。
【０００８】
以上のように動作させることで入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができるようになっている。
【０００９】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。この場合、全工程をループさせるのではなく、アロケーション手段５０４の計算部分だけを何度もループさせ、データ配分を最適化させることも可能である。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記の従来の技術による映像信号符号化方法においては、アロケーション手段５０４が入力映像信号全体に対してデータの配分方法を計算するため大量の処理時間を必要とし、このデータ配分を実現するために符号化時に設定するパラメータの量も膨大なものとなる。また、これを実現するための装置規模も大きくなることからコストが高くなるという問題点を含んでいる。さらに高画質化を図るためにこの処理を複数回ループさせた場合には処理時間の増加が大きな問題となってしまう。
【００１１】
本発明は、かかる問題点を解決し、処理時間の短縮と装置規模の縮小を実現しながら従来同様の高画質符号化を実現することが可能な映像信号符号化方法及びそれを行うための映像信号符号化装置の提供を目的とする。
【００１２】
【課題を解決するための手段】
上記した課題の解決を図ろうとする映像信号符号化方法についての本発明は、次のような手段を講じる。この映像信号符号化方法は、前提として、入力映像信号を所定の初期条件のもとに符号化し、その符号化結果を解析することで前記入力映像信号に最適な符号化条件を決定し、再度符号化を行う方法である。そして、前提的要件として、入力映像信号の符号化のための符号化条件を設定するステップと、前記入力映像信号を符号化するステップと、前記符号化結果から前記入力映像信号の特徴を抽出するステップと、抽出された前記入力映像信号の特徴をもとに前記入力映像信号に最適な符号化条件を決定するステップとを含んでいる。さらに、特徴的要件として、前記の抽出された前記入力映像信号の特徴をもとに、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割していき各ビデオ編集ユニットに対して平均目標符号化レートを計算するステップ、および、前記ビデオ編集ユニットと平均目標符号化レートを符号化条件に変換して符号化条件の更新を行うステップを追加している。なお、「ＶＥＵ」は、"Ｖｉｄｅｏ  Ｅｄｉｔｉｎｇ  Ｕｎｉｔ"のイニシャル表記である。
【００１３】
すなわち、本発明にかかわる映像信号符号化方法においては、符号化結果を解析して入力映像信号の特徴に応じたデータ配分を計算する際に、全画像に対してデータ配分を決定するのではなく、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニットとして規定し、入力映像信号をビデオ編集ユニットに分割して、ビデオ編集ユニット毎に平均目標符号化レートを設定し、ビデオ編集ユニットと平均目標符号化レートを符号化条件に変換し、それに基づいて符号化条件を更新して再符号化を行うようにしてある。なお、ビデオ編集ユニット内の各画像へのデータ配分は再符号化時に決定される。
【００１４】
ここで従来の技術について想起すると、入力映像信号の全体に対してデータの配分を計算しており、大量の時間を必要とするとともに、そのような入力映像信号全体についてのデータ配分を実現するためには符号化時に設定するパラメータの量も膨大となり、装置規模も大きくコスト高についていた。
【００１５】
これに対して、本発明の場合には、入力映像信号の全体に対して満遍なくデータ配分を行うのではなく、入力映像信号を符号化難易度が同程度のシーンであるビデオ編集ユニットに分割して、ビデオ編集ユニット毎に平均目標符号化レートを設定し、これを符号化条件として使用するようにしてある。ビデオ編集ユニット内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われ、従来の方法と比較しても遜色のない画質を得ることができる。
【００１６】
これにより、処理時間の短縮と装置規模の縮小を実現しながら、従来同様の高画質符号化を実現することが可能な映像信号符号化方法が得られる。
【００１７】
また、上記した課題の解決を図ろうとする映像信号符号化装置についての本発明は、次のような手段を講じる。この映像信号符号化装置は、前提的要件として、入力映像信号を符号化する符号化手段と、前記符号化手段が符号化処理を行うために必要な符号化条件を設定するパラメータ設定手段と、前記符号化手段の符号化結果をもとに前記入力映像信号の特徴情報を抽出するエンコード情報作成手段と、前記エンコード情報作成手段が抽出した前記入力映像信号の特徴情報をもとにデータ配分を決定するアロケーション手段とを備えている。そして、特徴的要件として、前記アロケーション手段について、その機能として、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割し、前記ビデオ編集ユニット毎に平均目標符号化レートを計算する機能をもたせている。さらに、前記アロケーション手段の計算結果であるビデオ編集ユニットと平均目標符号化レートを符号化条件に変換し前記パラメータ設定手段に渡す更新符号化条件生成手段を追加的に備えている。
【００１８】
入力映像信号はパラメータ設定手段によって定められた所定の初期パラメータに従って符号化手段により符号化処理される。符号化された結果と符号化の際の条件はエンコード情報作成手段に渡され、解析される。エンコード情報作成手段によって得られた解析結果はアロケーション手段に渡される。アロケーション手段は、解析結果に基づいて、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニットとし、入力映像信号をビデオ編集ユニットに分割してビデオ編集ユニット毎に平均目標符号化レートを計算する。アロケーション手段によって計算されたビデオ編集ユニットの位置情報と平均目標符号化レートは、更新符号化条件生成手段によって再符号化のための符号化条件に変換される。パラメータ設定手段は更新符号化条件生成手段の出力結果に応じて符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段は入力映像信号を再度符号化する。ビデオ編集ユニット内部のデータ配分は符号化手段の制御によって決定することが可能である。
【００１９】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。
【００２０】
ビデオ編集ユニット内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われ、従来のシステムと比較しても遜色のない画質を得ることができる。このように動作させることで入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができる。
【００２１】
すなわち、本発明の映像信号符号化装置によれば、処理時間の短縮と装置規模の縮小を実現しながら、従来同様の高画質符号化を実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を総括的に説明する。
【００２３】
本願第１の発明の映像信号符号化方法は、入力映像信号を所定の初期条件のもとに符号化し、その符号化結果を解析することで前記入力映像信号に最適な符号化条件を決定し、再度符号化を行う方法であって、前記入力映像信号の符号化のための符号化条件を設定するステップと、前記入力映像信号を符号化するステップと、前記符号化結果から前記入力映像信号の特徴を抽出するステップと、抽出された前記入力映像信号の特徴をもとに、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割していき各ビデオ編集ユニットに対して平均目標符号化レートを計算するステップと、前記ビデオ編集ユニットと平均目標符号化レートを符号化条件に変換して符号化条件の更新を行うステップとを含むことを特徴とする。
【００２４】
この第１の発明の構成は、上記の〔課題を解決するための手段〕の項の映像信号符号化方法についての構成を別の表現形態で記述したものに相当し、それによる作用については、同じく上記の〔課題を解決するための手段〕の項で説明したのと実質的に同様のものとなる。
【００２５】
本願第２の発明の映像信号符号化装置は、入力映像信号を符号化する符号化手段と、前記符号化手段が符号化処理を行うために必要な符号化条件を設定するパラメータ設定手段と、前記符号化手段の符号化結果をもとに前記入力映像信号の特徴情報を抽出するエンコード情報作成手段と、前記エンコード情報作成手段が抽出した前記入力映像信号の特徴情報をもとに、前記入力映像信号を、符号化難易度が同程度の画像の集まりを一つのシーンとして捉えたものであるビデオ編集ユニット（ＶＥＵ）に分割し、前記ビデオ編集ユニット毎に平均目標符号化レートを計算するアロケーション手段と、前記アロケーション手段の計算結果であるビデオ編集ユニットと平均目標符号化レートを符号化条件に変換し前記パラメータ設定手段に渡す更新符号化条件生成手段とを備えていることを特徴とする。
【００２６】
この第２の発明の構成は、上記の〔課題を解決するための手段〕の項の映像信号符号化装置についての構成を別の表現形態で記述したものに相当し、それによる作用については、同じく上記の〔課題を解決するための手段〕の項で説明したのと実質的に同様のものとなる。
【００２７】
本願第３の発明の映像信号符号化装置は、上記の第２の発明において、さらに、前記符号化手段による前記符号化結果から再符号化のときに利用できる符号化情報を抽出して記憶しておく符号化データ記憶手段を備え、前記符号化手段は、再符号化において前記符号化データ記憶手段に記憶されている符号化情報を利用して再符号化を行うように構成されていることを特徴とする。
【００２８】
この第３の発明による作用は次のとおりである。エンコード情報作成手段、アロケーション手段ならびに更新符号化条件生成手段は、符号化手段による入力映像信号の再符号化による最適符号化処理を支援するものであるが、符号化手段における再符号化は回路動作上の負担となる。そこで、再符号化において元の符号化情報が再利用できないかを検討した結果が、この発明となっている。再符号化のときに再利用できる符号化情報としては、例えば動きベクトル、シーンチェンジの位置、アクティビティなどがある。特に、動きベクトルの再計算を省略できることは、入力映像信号の再符号化処理において、処理時間の大幅な短縮をもたらす。
【００２９】
本願第４の発明の映像信号符号化装置は、上記の第２の発明において、さらに、前記符号化手段が前記入力映像信号につき初回の符号化処理を行うときは前記符号化手段における仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するバッファ制御切替手段を備えていることを特徴とする。
【００３０】
この第４の発明による作用は次のとおりである。入力映像信号を符号化したデータは、画像１枚あたりのデータ量が一定にはならないため、再生時には再生装置側に入力バッファを設けてこの違いを吸収するようになっている。再生時に入力バッファがオーバーフローやアンダーフローを起こさないように、一般的に、符号化手段は内部に仮想バッファを設けており、この仮想バッファがオーバーフローやアンダーフローを起こしそうになった場合はそれを回避するために強制制御が入るように構成されている。しかし、符号化の際にこの強制制御が行われると、符号化結果は入力映像信号の特徴を正しく反映しなくなる。そこで、初回の符号化処理のときは、仮想バッファによる強制制御が働かないようにバッファ制御切替手段は符号化手段の動作を制御する。これにより、少なくとも初回の符号化処理に際しては、その符号化による入力映像信号の特徴を正しく捕捉することができ、以降のエンコード情報作成手段、アロケーション手段の動作の正確を期すことができる。
【００３１】
本願第５の発明の映像信号符号化装置は、上記の第２の発明において、さらに、前記符号化手段による前記符号化結果から再符号化のときに利用できる符号化情報を抽出して記憶しておく符号化データ記憶手段を備え、前記符号化手段は、再符号化において前記符号化データ記憶手段に記憶されている符号化情報を利用して再符号化を行うように構成されているとともに、さらに、前記符号化手段が前記入力映像信号につき初回の符号化処理を行うときは前記符号化手段における仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するバッファ制御切替手段を備えていることを特徴とする。
【００３２】
この第５の発明は、上記第３の発明と上記第４の発明を統括したものに相当しており、前記した双方の作用を得ることができる。
【００３３】
（具体的な実施の形態）
以下、本発明にかかわる映像信号符号化方法および映像信号符号化装置の具体的な実施の形態を図面に基づいて詳細に説明する。
【００３４】
（実施の形態１）
図１は本発明の実施の形態１の映像信号符号化装置の構成を示すブロック図である。図１において、符号の１０１は入力映像信号を符号化するための符号化手段、１０２は符号化条件を設定するためのパラメータ設定手段、１０３は符号化手段１０１による符号化結果をもとに入力映像信号の特徴抽出を行うためのエンコード情報作成手段、１０４は抽出された映像信号の特徴情報をもとに入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割し、ビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算するためのアロケーション手段、１０５はアロケーション手段１０４によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換しパラメータ設定手段１０２に渡すように構成された更新符号化条件生成手段である。
【００３５】
以下、その動作に関して説明する。入力映像信号はパラメータ設定手段１０２によって定められた所定の初期パラメータに従って符号化手段１０１により符号化処理される。符号化された結果と符号化の際の条件はエンコード情報作成手段１０３に渡され、そこで解析される。エンコード情報作成手段１０３は、例えば、符号化の際に発生した符号量や、符号化に使用された量子化ステップ、動きベクトルの大きさ、アクティビティ、シーンチェンジの有無などの情報を参考として入力映像信号を形成する各画像の符号化難易度を決定する。エンコード情報作成手段１０３によって得られた解析結果はアロケーション手段１０４に渡される。
【００３６】
アロケーション手段１０４は、エンコード情報作成手段１０３が作成した各画像の符号化難易度に基づいて、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニット(ＶＥＵ)として規定し、入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割してビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算する。
【００３７】
更新符号化条件生成手段１０５は、アロケーション手段１０４によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換する。ビデオ編集ユニット(ＶＥＵ)の位置情報としては、例えば、ビデオ編集ユニット(ＶＥＵ)の開始フレームと終了フレームのタイムコードとか、ビデオ編集ユニット(ＶＥＵ)の開始フレームのタイムコードとビデオ編集ユニット(ＶＥＵ)内部に含まれるフレーム数といった与え方などがある。
【００３８】
パラメータ設定手段１０２は、アロケーション手段１０４と更新符号化条件生成手段１０５の出力結果に応じて符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段１０１は入力映像信号を再度符号化する。ビデオ編集ユニット(ＶＥＵ)の内部のデータ配分は符号化手段１０１の制御によって決定される。
【００３９】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。この場合、全工程をループさせるのではなくアロケーション手段１０４の計算部分だけを何度もループさせデータ配分を最適化させることも可能である。
【００４０】
ビデオ編集ユニット(ＶＥＵ)の内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われるようになっており、従来のシステムと比較しても遜色のない画質を得ることができる。このように動作させることにより入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができる。
【００４１】
（実施の形態２）
図２は本発明の実施の形態２の映像信号符号化装置の構成を示すブロック図である。図２において、符号の２０１は入力映像信号を符号化するための符号化手段、２０２は符号化条件を設定するためのパラメータ設定手段、２０３は符号化手段２０１による符号化結果をもとに入力映像信号の特徴抽出を行うためのエンコード情報作成手段、２０４は符号化結果から再符号化のときに利用できる符号化情報を抽出し記憶しておく符号化データ記憶手段、２０５は抽出された映像信号の特徴情報をもとに入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割し、ビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算するためのアロケーション手段、２０６はアロケーション手段２０５によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換しパラメータ設定手段２０２に渡すように構成された更新符号化条件生成手段である。符号化手段２０１は、再符号化において符号化データ記憶手段２０４に記憶されている符号化情報を利用して再符号化を行うように構成されている。
【００４２】
以下、その動作に関して説明する。入力映像信号はパラメータ設定手段２０２によって定められた所定の初期パラメータに従って符号化手段２０１により符号化処理される。符号化された結果と符号化の際の条件はエンコード情報作成手段２０３に渡され、そこで解析される。エンコード情報作成手段２０３は、例えば、符号化の際に発生した符号量や、符号化に使用された量子化ステップ、動きベクトルの大きさ、アクティビティ、シーンチェンジの有無などの情報を参考として入力映像信号を形成する各画像の符号化難易度を決定する。
【００４３】
このとき使用した符号化情報のうちで再符号化の際に利用できる符号化情報が符号化データ記憶手段２０４に記憶される。再符号化の際に利用できる符号化情報としては、動きベクトル、シーンチェンジの位置情報、アクティビティなどがある。
【００４４】
エンコード情報作成手段２０３によって得られた解析結果はアロケーション手段２０５に渡される。アロケーション手段２０５は、エンコード情報作成手段２０３が作成した各画像の符号化難易度に基づいて、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニット(ＶＥＵ)として規定し、入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割してビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算する。
【００４５】
更新符号化条件生成手段２０６は、アロケーション手段２０５によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換する。ビデオ編集ユニット(ＶＥＵ)の位置情報としては、例えば、ビデオ編集ユニット(ＶＥＵ)の開始フレームと終了フレームのタイムコードとか、ビデオ編集ユニット(ＶＥＵ)の開始フレームのタイムコードとビデオ編集ユニット(ＶＥＵ)内部に含まれるフレーム数といった与え方などがある。
【００４６】
パラメータ設定手段２０２は、アロケーション手段２０５と更新符号化条件生成手段２０６の出力結果に応じて符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段２０１は入力映像信号を再度符号化する。ビデオ編集ユニット(ＶＥＵ)の内部のデータ配分は符号化手段２０１の制御によって決定される。
【００４７】
このとき、符号化手段２０１は、符号化データ記憶手段２０４に記憶されている符号化情報を利用して再符号化の処理を行うことで、動きベクトルの計算などを省略することができ、再符号化の処理時間を短縮することが可能になる。
【００４８】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。この場合、全工程をループさせるのではなくアロケーション手段２０５の計算部分だけを何度もループさせデータ配分を最適化させることも可能である。
【００４９】
ビデオ編集ユニット(ＶＥＵ)の内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われるようになっており、従来のシステムと比較しても遜色のない画質を得ることができる。このように動作させることで入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができる。特に、符号化手段における再符号化において、符号化データ記憶手段に記憶されている動きベクトル、シーンチェンジの位置、アクティビティなどを有効再利用できることは、再度の動きベクトル等の計算をしなくてもすむので、再符号化の処理において処理時間を大幅に短縮化することができる。
【００５０】
（実施の形態３）
図３は本発明の実施の形態３の映像信号符号化装置の構成を示すブロック図である。図３において、符号の３０１は入力映像信号を符号化するための符号化手段、３０２は符号化条件を設定するためのパラメータ設定手段、３０３は符号化手段３０１による符号化結果をもとに入力映像信号の特徴抽出を行うためのエンコード情報作成手段、３０４は符号化手段３０１が符号化処理を行うときに強制制御を実行するかどうかを切り替えるバッファ制御切替手段、３０５は抽出された映像信号の特徴情報をもとに入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割し、ビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算するためのアロケーション手段、３０６はアロケーション手段３０５によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換しパラメータ設定手段３０２に渡すように構成された更新符号化条件生成手段である。バッファ制御切替手段３０４は、符号化手段３０１が実行する初回の符号化において、その符号化手段３０１がもつ仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するように構成されている。
【００５１】
以下、その動作に関して説明する。入力映像信号はパラメータ設定手段３０２によって定められた所定の初期パラメータに従って符号化手段３０１により符号化処理される。
【００５２】
入力映像信号を符号化したデータは、画像１枚あたりのデータ量が一定にはならないため、再生時には再生装置側に入力バッファを設けてこの違いを吸収するようになっている。再生時に入力バッファがオーバーフローやアンダーフローを起こさないように、符号化手段３０１は内部に仮想バッファを設けており、この仮想バッファがオーバーフローやアンダーフローを起こしそうになった場合はそれを回避するために強制制御が入るように構成されている。
【００５３】
しかしながら、符号化の際にこの強制制御が行われると、符号化結果は入力映像信号の特徴を正しく反映しなくなるので、最初の（１回目の）符号化のときは、仮想バッファによる強制制御が働かないようにバッファ制御切替手段３０４は、符号化手段３０１の動作を制御する。
【００５４】
符号化された結果と符号化の際の条件はエンコード情報作成手段３０３に渡され、そこで解析される。エンコード情報作成手段３０３は、例えば、符号化の際に発生した符号量や、符号化に使用された量子化ステップ、動きベクトルの大きさ、アクティビティ、シーンチェンジの有無などの情報を参考として入力映像信号を形成する各画像の符号化難易度を決定する。
【００５５】
アロケーション手段３０５は、エンコード情報作成手段３０３が作成した各画像の符号化難易度に基づいて、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニット(ＶＥＵ)として規定し、入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割してビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算する。
【００５６】
更新符号化条件生成手段３０６は、アロケーション手段３０５によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換する。ビデオ編集ユニット(ＶＥＵ)の位置情報としては、例えば、ビデオ編集ユニット(ＶＥＵ)の開始フレームと終了フレームのタイムコードとか、ビデオ編集ユニット(ＶＥＵ)の開始フレームのタイムコードとビデオ編集ユニット(ＶＥＵ)内部に含まれるフレーム数といった与え方などがある。
【００５７】
パラメータ設定手段３０２は、アロケーション手段３０５と更新符号化条件生成手段３０６の出力結果に応じて符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段３０１は入力映像信号を再度符号化する。ビデオ編集ユニット(ＶＥＵ)の内部のデータ配分は符号化手段３０１の制御によって決定される。符号化手段３０１が実行する符号化が初回の符号化であるとき、バッファ制御切替手段３０４は、符号化手段３０１における仮想バッファに対してその強制制御が働かないように制御する。すなわち、オーバーフロー／アンダーフロー回避のための強制制御の禁止を行う。再符号化のときは、前記強制制御を許可する。
【００５８】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。この場合、全工程をループさせるのではなくアロケーション手段３０５の計算部分だけを何度もループさせデータ配分を最適化させることも可能である。
【００５９】
ビデオ編集ユニット(ＶＥＵ)の内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われるようになっており、従来のシステムと比較しても遜色のない画質を得ることができる。このように動作させることで入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができる。特に、符号化手段による少なくとも初回の符号化のときには仮想バッファに対するオーバーフロー／アンダーフロー回避のための強制制御を禁止することで、初回の符号化では入力映像信号の特徴を正しく捕捉し、以降のエンコード情報作成手段、アロケーション手段の動作の正確を期すことができる。
【００６０】
（実施の形態４）
図４は本発明の実施の形態４の映像信号符号化装置の構成を示すブロック図である。図４において、符号の４０１は入力映像信号を符号化するための符号化手段、４０２は符号化条件を設定するためのパラメータ設定手段、４０３は符号化手段４０１による符号化結果をもとに入力映像信号の特徴抽出を行うためのエンコード情報作成手段、４０４は符号化結果から再符号化のときに利用できる符号化情報を抽出し記憶しておく符号化データ記憶手段、４０５は符号化手段４０１が符号化処理を行うときに強制制御を実行するかどうかを切り替えるバッファ制御切替手段、４０６は抽出された映像信号の特徴情報をもとに入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割し、ビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算するためのアロケーション手段、４０７はアロケーション手段４０６によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換しパラメータ設定手段４０２に渡すように構成された更新符号化条件生成手段である。符号化手段４０１は、再符号化において符号化データ記憶手段４０４に記憶されている符号化情報を利用して再符号化を行うように構成されている。バッファ制御切替手段４０５は、符号化手段４０１が実行する初回の符号化において、その符号化手段４０１がもつ仮想バッファに対してオーバーフロー／アンダーフロー回避のための強制制御を禁止し、それ以外のときは前記強制制御を許可するように構成されている。
【００６１】
以下、その動作に関して説明する。入力映像信号はパラメータ設定手段４０２によって定められた所定の初期パラメータに従って符号化手段４０１により符号化処理される。
【００６２】
入力映像信号を符号化したデータは、画像１枚あたりのデータ量が一定にはならないため、再生時には再生装置側に入力バッファを設けてこの違いを吸収するようになっている。再生時に入力バッファがオーバーフローやアンダーフローを起こさないように、符号化手段４０１は内部に仮想バッファを設けており、この仮想バッファがオーバーフローやアンダーフローを起こしそうになった場合はそれを回避するために強制制御が入るように構成されている。
【００６３】
符号化の際にこの強制制御が行われると、符号化結果は入力映像信号の特徴を正しく反映しなくなるので、最初の（１回目の）符号化のときは、仮想バッファによる強制制御が働かないようにバッファ制御切替手段４０５は、符号化手段４０１の動作を制御する。
【００６４】
符号化された結果と符号化の際の条件はエンコード情報作成手段４０３に渡され、そこで解析される。エンコード情報作成手段４０３は、例えば、符号化の際に発生した符号量や、符号化に使用された量子化ステップ、動きベクトルの大きさ、アクティビティ、シーンチェンジの有無などの情報を参考として入力映像信号を形成する各画像の符号化難易度を決定する。
【００６５】
このとき使用した符号化情報のうちで再符号化の際に利用できる符号化情報が符号化データ記憶手段４０４に記憶される。再符号化の際に利用できる符号化情報としては、動きベクトル、シーンチェンジの位置情報、アクティビティなどがある。
【００６６】
エンコード情報作成手段４０３によって得られた解析結果はアロケーション手段４０６に渡される。アロケーション手段４０６は、エンコード情報作成手段４０３が作成した各画像の符号化難易度に基づいて、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉え、これをビデオ編集ユニット(ＶＥＵ)として規定し、入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割してビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを計算する。
【００６７】
更新符号化条件生成手段４０６は、アロケーション手段４０６によって計算されたビデオ編集ユニット(ＶＥＵ)の位置情報と平均目標符号化レートを符号化条件に変換する。ビデオ編集ユニット(ＶＥＵ)の位置情報としては、例えば、ビデオ編集ユニット(ＶＥＵ)の開始フレームと終了フレームのタイムコードとか、ビデオ編集ユニット(ＶＥＵ)の開始フレームのタイムコードとビデオ編集ユニット(ＶＥＵ)内部に含まれるフレーム数といった与え方などがある。
【００６８】
パラメータ設定手段４０２は、アロケーション手段４０６と更新符号化条件生成手段４０７の出力結果に応じて符号化条件を変更し、変更された新たな符号化条件のもとに符号化手段４０１は入力映像信号を再度符号化する。このとき、バッファ制御切替手段４０５は仮想バッファによる強制制御が働くように符号化手段４０１の動作を制御する。ビデオ編集ユニット(ＶＥＵ)内部のデータ配分は符号化手段４０１の制御によって決定される。
【００６９】
また、符号化手段４０１は、符号化データ記憶手段４０４に記憶されている符号化情報を利用して再符号化の処理を行うことで、動きベクトルの計算などを省略することができ、再符号化の処理時間を短縮することが可能になる。
【００７０】
一度再符号化を行っただけで満足な符号化画質を得ることができなかった場合には、この工程を何度もループさせることでさらに画質を向上させることができる。この場合、全工程をループさせるのではなくアロケーション手段４０６の計算部分だけを何度もループさせデータ配分を最適化させることも可能である。
【００７１】
ビデオ編集ユニット(ＶＥＵ)の内部では各画像の符号化難易度はほぼ同程度になっているため、装置規模が小さく処理時間が短くてすむ通常の符号化制御を行っても充分なデータ配分が行われるようになっており、従来のシステムと比較しても遜色のない画質を得ることができる。このように動作させることで入力映像信号の特徴に応じた符号化が可能となり、符号化画質を向上させることができる。特に、符号化手段における再符号化において、符号化データ記憶手段に記憶されている動きベクトル、シーンチェンジの位置、アクティビティなどを有効再利用できることは、再度の動きベクトル等の計算をしなくてもすむので、再符号化の処理において処理時間を大幅に短縮化することができる。加えて、符号化手段による少なくとも初回の符号化のときには仮想バッファに対するオーバーフロー／アンダーフロー回避のための強制制御を禁止することで、初回の符号化では入力映像信号の特徴を正しく捕捉し、以降のエンコード情報作成手段、アロケーション手段の動作の正確を期すことができる。
【００７２】
【発明の効果】
以上のように本発明によれば、符号化結果を解析して入力映像信号の特徴に応じたデータ配分を計算する際に、画像の符号化難易度が同程度の画像の集まりを一つのシーンとして捉えこれをビデオ編集ユニット（ＶＥＵ）として規定し、入力映像信号をビデオ編集ユニット(ＶＥＵ)に分割してビデオ編集ユニット(ＶＥＵ)毎に平均目標符号化レートを設定し、各画像へのデータ配分は符号化時に決定するようにすることで、処理時間の短縮と装置規模の縮小を実現しながら従来同様の高画質符号化を実現するという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の実施の形態１の映像信号符号化装置の構成を示すブロック図
【図２】  本発明の実施の形態２の映像信号符号化装置の構成を示すブロック図
【図３】  本発明の実施の形態３の映像信号符号化装置の構成を示すブロック図
【図４】  本発明の実施の形態４の映像信号符号化装置の構成を示すブロック図
【図５】  従来の技術における再符号化機能を備えた映像信号符号化装置の構成を示すブロック図
【符号の説明】
１０１，２０１，３０１，４０１  …  符号化手段
１０２，２０２，３０２，４０２  …  パラメータ入力手段
１０３，２０３，３０３，４０３  …  エンコード情報作成手段
１０４，２０５，３０５，４０６  …  アロケーション手段
１０５，２０６，３０６，４０７  …  更新符号化条件生成手段
２０４，４０４  …  符号化データ記憶手段
３０４，４０５  …  バッファ制御切替手段
【図１】
0004428680.tif 000002
【図２】
0004428680.tif 000003
【図３】
0004428680.tif 000004
【図４】
0004428680.tif 000005
【図５】
0004428680.tif 000006