(57)【要約】      （修正有）【課題】フレーム内符号による符号量の増加を防止し且つＲＯＩの復号に必要な演算量を削減することが可能な映像符号化装置、映像符号復号システム、及び映像符号化プログラムを提供する。【解決手段】映像符号化装置Ｘ１は、ピクチャ内にＲＯＩ(Region Of Interest)を設定し、ピクチャ内でのＲＯＩの位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部と、入力画像信号及びＲＯＩ情報を受け、ＲＯＩ情報に基づいて入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成するエンコーダ部Ｕ１と、を有する。エンコーダ部は、ＲＯＩ情報に基づき、ＲＯＩに含まれる画像ブロックには圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては圧縮符号化処理としてイントラ符号化及びインター符号化のうちの一方を選択して施す。【選択図】図１
2018129688.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置であって、
ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部と、
前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成するエンコーダ部と、を有し、
前記エンコーダ部は、
前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施すことを特徴とする映像符号化装置。
【請求項２】
前記エンコーダ部は、
前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対してイントラ予測モードを指定するイントラ予測モード指定信号を生成するイントラ予測モード指定部と、
前記イントラ予測モード指定信号が生成された場合にはイントラ予測モードを示し、前記イントラ予測モード指定信号が生成されていない場合には前記イントラ予測モード又はインター予測モードを示す予測モード情報を生成する予測モード判定部と、
前記予測モード情報が前記イントラ予測モードを示す場合には前記入力画像信号に前記イントラ符号化を施し、前記予測モード情報が前記インター予測モードを示す場合には前記入力画像信号に前記インター符号化を施してエレメンタリーストリーム信号を生成するエンコーダコア部と、
復号に必要となる情報を上位シンタックスとして表す上位シンタックス情報を生成する上位シンタックス生成部と、
前記エレメンタリーストリーム信号と前記上位シンタックス情報とを多重化した信号を前記ビットストリーム信号として生成するビットストリーム生成部と、を含むことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記予測モード判定部、前記エンコーダコア部、及び前記上位シンタックス生成部間における情報の共有を行うワーキングメモリを含むことを特徴とする請求項２に記載の映像符号化装置。
【請求項４】
前記上位シンタックス生成部は制約付きイントラを指定する上位シンタックスを表す前記上位シンタックス情報を生成し、
前記制約付きイントラは、前記ＲＯＩに含まれる画像ブロックの周辺の画素値を用いて前記イントラ符号化を行う際の前記周辺の画素値として、既に前記イントラ符号化された画素値又は所定値のみを用いることを促すものであることを特徴とする請求項２又は３に記載の映像符号化装置。
【請求項５】
前記エンコーダコア部は、複数の上位シンタックスのうちから前記圧縮符号化処理で用いる上位シンタックスをピクチャ又はスライス単位で選択し、
前記上位シンタックス生成部は、前記エンコーダコア部が前記上位シンタックスを選択する度に、選択した前記上位シンタックスを示す前記上位シンタックス情報を生成することを特徴とする請求項４に記載の映像符号化装置。
【請求項６】
前記エンコーダ部は、
前記ＲＯＩ情報に基づき、前記ＲＯＩ及び前記非ＲＯＩを共に含むピクチャに対しては前記制約付きイントラを指定する第１の上位シンタックスを示し、前記非ＲＯＩのみを含むピクチャに対しては制約無しのイントラを指定する第２の上位シンタックスを示す上位シンタックス指定信号を生成する上位シンタックス指定部を含み、
前記エンコーダコア部は、前記上位シンタックス指定信号によって指定された前記上位シンタックスに従って前記入力画像信号に前記圧縮符号化処理を施し、
前記上位シンタックス生成部は、前記第１の上位シンタックス、及び前記第２の上位シンタックスを夫々表す前記上位シンタックス情報を生成することを特徴とする請求項２〜５のいずれか１に記載の映像符号化装置。
【請求項７】
前記エンコーダコア部は、
前記上位シンタックス指定信号が前記第１の上位シンタックスを示す場合には、前記イントラ符号化の対象となる画像ブロックに前記制約付きイントラに従った符号化を施すと共に、前記第１の上位シンタックスを示すインデックスを前記エレメンタリーストリーム信号中に含ませ、
前記上位シンタックス指定信号が前記第２の上位シンタックスを示す場合には、前記イントラ符号化の対象となる画像ブロックに対しては前記制約無しのイントラに従った符号化を施すと共に、前記第２の上位シンタックスを示す前記インデックスを前記エレメンタリーストリーム信号中に含ませることを特徴とする請求項６に記載の映像符号化装置。
【請求項８】
前記上位シンタックス生成部は、前記第１及び第２の上位シンタックスを生成する際に、前記第１の上位シンタックスで表される情報群内に前記第２の上位シンタックスで表される情報群に含まれる情報片と同一の情報片が存在する場合には、
前記第１の上位シンタックスを生成すると共に前記同一の情報片を省いた上位シンタックスを生成し、前記同一の情報片を省いた上位シンタックスに、前記第１の上位シンタックスに含まれる前記同一の情報片を含ませたものを前記第２の上位シンタックスとすることを特徴とする請求項６又は７に記載の映像符号化装置。
【請求項９】
前記エンコーダ部は、
前記ＲＯＩ情報に基づき、前記入力画像信号に含まれる前記ＲＯＩと前記非ＲＯＩとを異なる映像品質で圧縮をする処理部を含むことを特徴とする請求項２〜８のいずれか１に記載の映像符号化装置。
【請求項１０】
前記ＲＯＩ設定部は、第１のＲＯＩ及び前記第１のＲＯＩとは異なる第２のＲＯＩを設定し、前記第１のＲＯＩのピクチャ内での位置及びサイズ、及び前記第２のＲＯＩのピクチャ内での位置及びサイズを表す情報を前記ＲＯＩ情報として生成し、
前記イントラ予測モード指定部は、前記ＲＯＩ情報に基づき前記第１のＲＯＩに含まれる画像ブロックに対して前記イントラ予測モードを指定し、
前記処理部は、前記ＲＯＩ情報に基づき前記第２のＲＯＩを含むピクチャに対して前記圧縮を行うことを特徴とする請求項９に記載の映像符号化装置。
【請求項１１】
前記第１のＲＯＩのサイズが前記第２のＲＯＩのサイズよりも大きいことを特徴とする請求項１０に記載の映像符号化装置。
【請求項１２】
入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置と、前記ビットストリーム信号に対して復号処理を施す映像復号装置と、を含む画像符号復号システムであって、
前記映像符号化装置は、
ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部と、
復号に必要となるパラメータセットを含む上位シンタックス情報を生成する上位シンタックス生成部と、
前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施して得られたエレメンタリーストリーム信号と、前記上位シンタックス情報とを多重化したビットストリーム信号を出力するエンコーダ部と、を有し、
前記エンコーダ部は、前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施し、
前記映像復号装置は、
前記ビットストリーム信号を受け、前記ビットストリーム信号から前記上位シンタックス情報に含まれる前記パラメータセット、及び前記エレメンタリーストリーム信号に対応したアクセスユニットを抽出する復号画像選択部と、
前記アクセスユニットに対して前記パラメータセットに基づく復号処理を施して出力画像を生成する映像復号部と、を含むことを特徴とする画像符号復号システム。
【請求項１３】
前記映像復号部は、前記アクセスユニットに対して参照ピクチャを復号することなく前記復号処理を施すことを特徴とする請求項１２に記載の画像符号復号システム。
【請求項１４】
前記映像復号部は、前記アクセスユニットが前記インター符号化されたものであった場合には所定の仮想ピクチャを前記参照ピクチャとみなして前記アクセスユニットに対して前記復号処理を施すことを特徴とする請求項１３に記載の画像符号復号システム。
【請求項１５】
前記映像復号部は、全ての画素値を最低の輝度値、中間の輝度値、或いは最大の輝度値としたピクチャを前記仮想ピクチャとして生成することを特徴とする請求項１４に記載の画像符号復号システム。
【請求項１６】
前記復号画像選択部は、
前記パラメータセットを保持しつつ、前記アクセスユニットに対応するピクチャ中に前記ＲＯＩが含まれるか否かを判定し、前記ＲＯＩが含まれていると判定された場合に、保持した前記パラメータ及び前記アクセスユニットを前記映像復号部に供給することを特徴とする請求項１２〜１５のいずれか１に記載の画像符号復号システム。
【請求項１７】
前記復号画像選択部は、前記ビットストリーム信号を蓄積するデータベースを含み、
起動イベントが与えられたときに前記データベースから前記パラメータセット、及び前記ＲＯＩを含むアクセスユニットのみを取り出して夫々を前記映像復号部に供給することを特徴とする請求項１２〜１５のいずれか１に記載の画像符号復号システム。
【請求項１８】
入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する情報処理装置の制御部が実行する映像符号化プログラムであって、
ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成する第１のステップと、
前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する第２のステップと、を有し、
前記第２のステップでは、前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施すことを特徴とする映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を符号化する映像符号化装置、映像信号を符号・復号する映像符号復号システム、及び映像符号化プログラムに関する。
【背景技術】
【０００２】
近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
【０００３】
この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をＲＯＩ（Region of Interest）として検出し、このＲＯＩに対して多くのビット数を割り当てて画像圧縮符号化処理を施すようにした画像処理装置が提案されている（例えば、特許文献１参照）。
【０００４】
当該画像処理装置では、符号量と映像品質を制御するパラメータをブロック毎に設定するという圧縮部の機能を利用して、ＲＯＩ以外の領域、つまり背景領域の情報量をＲＯＩの情報量よりも削減するように、圧縮部に与えるパラメータを制御することにより、データ量を削減している。
【０００５】
一方、例えば価格や互換性等の事情により、符号量と映像品質を制御するパラメータをブロック毎に設定するという機能を備えていない圧縮部を用いる場合には、上記したような方法で情報量の削減を図ることはできない。
【０００６】
そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている（例えば、特許文献２参照）。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−４９９７９号公報
【特許文献２】特開平４−２１９０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上記したような従来の画像処理では、以下の問題が生じる。すなわち、復号に必要な演算量を少なくするために、他のピクチャを参照せずに各フレーム内で画像信号を圧縮する、いわゆるフレーム内符号化を実施した場合には、他のピクチャの参照を許容するフレーム間符号化に比べて符号量が著しく増加する。よって、大幅な符号量の削減を図ることが困難になる。
【０００９】
一方、フレーム間符号を行った場合には、符号量の削減を図ることができるものの、復号時の演算量が大きくなるという問題が生じる。すなわち、フレーム間符号の施された符号化画像信号に対して、ＲＯＩを含む任意のピクチャを復号する際に、当該ピクチャが他のピクチャを参照している場合には、ＲＯＩに対する復号を行う前に、この他のピクチャを復号しておく必要がある。更に、当該他のピクチャが更に別のピクチャを参照している場合、この別のピクチャを先に復号しておく必要が生じる。このように、フレーム間符号を行った場合、ＲＯＩを含む任意のピクチャを復号する際に、１つ以上のピクチャを予め復号しておかなければならない為、ＲＯＩの復号に必要となる演算量が大きくなるという問題が生じる。
【００１０】
そこで、本発明は、符号量の削減及び演算量の削減を両立させることが可能な映像符号化装置、映像符号復号システム、及び映像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る映像符号化装置は、入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置であって、ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部と、前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成するエンコーダ部と、を有し、前記エンコーダ部は、前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施す。
【００１２】
本発明に係る映像符号復号システムは、入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置と、前記ビットストリーム信号に対して復号処理を施す映像復号装置と、を含む画像符号復号システムであって、前記映像符号化装置は、ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部と、復号に必要となるパラメータセットを含む上位シンタックス情報を生成する上位シンタックス生成部と、前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施して得られたエレメンタリーストリーム信号と、前記上位シンタックス情報とを多重化したビットストリーム信号を出力するエンコーダ部と、を有し、前記エンコーダ部は、前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施し、前記映像復号装置は、前記ビットストリーム信号を受け、前記ビットストリーム信号から前記上位シンタックス情報に含まれる前記パラメータセット、及び前記エレメンタリーストリーム信号に対応したアクセスユニットを抽出する復号画像選択部と、前記アクセスユニットに対して前記パラメータセットに基づく復号処理を施して出力画像を生成する映像復号部と、を含む。
【００１３】
本発明に係る映像符号化プログラムは、入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する情報処理装置の制御部が実行する映像符号化プログラムであって、ピクチャ内にＲＯＩ(Region Of Interest)を設定し、前記ピクチャ内での前記ＲＯＩの位置及びサイズを表すＲＯＩ情報を生成する第１のステップと、前記入力画像信号及び前記ＲＯＩ情報を受け、前記ＲＯＩ情報に基づいて前記入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する第２のステップと、を有し、前記第２のステップでは、前記ＲＯＩ情報に基づき、前記入力画像信号におけるピクチャ内の前記ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロックに対しては前記圧縮符号化処理として前記イントラ符号化及びインター符号化のうちの一方を選択して施す。
【発明の効果】
【００１４】
本発明では、ピクチャ内においてＲＯＩを設定し、そのピクチャ内でのＲＯＩの位置及びサイズを表すＲＯＩ情報を生成し、当該ＲＯＩ情報Ｄ０１に基づいて入力画像信号に対して圧縮符号化処理を施すにあたり、以下の処理を行う。つまり、ＲＯＩ情報に基づき、ＲＯＩに含まれる画像ブロックには圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロック群に対してはイントラ符号化及びインター符号化のうちの一方を選択して施す。
【００１５】
これにより、ピクチャ内の全ての画像ブロックをイントラ符号化によって圧縮符号化する場合に比して、符号量を削減することが可能となる。また、ピクチャ内の全ての画像ブロックをインター符号化によって圧縮符号化する場合に比して演算量を削減することが可能となる。
【００１６】
よって、本発明によれば、符号量の削減及び演算量の削減を両立させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】映像符号化装置Ｘ１の構成の一例を示すブロック図である。
【図２】画像符号化部Ｕ１の映像符号化処理を示すフロー図である。
【図３】映像処理システムの一例としてのＲＯＩ識別システムＲＩＳの構成を示すブロック図である。
【図４】復号画像選択装置Ｘ２が実施する復号画像選択処理の一例を示すフロー図である。
【図５】復号画像選択装置Ｘ２が実施する復号画像選択処理の他の一例を示すフロー図である。
【図６】映像符号化装置Ｘ１の構成の他の一例を示すブロック図である。
【図７】図６に示す構成からなる映像符号化装置Ｘ１が実施する復号画像選択処理の一例を示すフロー図である。
【図８】映像符号化処理をプログラムによって実行する情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
【実施例１】
【００１９】
図１は、本発明に係る映像符号化装置Ｘ１の構成を示すブロック図である。図１に示すように、映像符号化装置Ｘ１は、ＲＯＩ設定部３０１及びエンコーダ部Ｕ１を含む。エンコーダ部Ｕ１は、イントラ予測モード指定部１０２、及び予測モード可変エンコーダ部Ｕ２を含む。予測モード可変エンコーダ部Ｕ２は、予測モード判定部１０３、エンコーダコア部Ｕ３、上位シンタックス生成部１０６及びビットストリーム生成部３０７を含む。
【００２０】
以下に、上記したＲＯＩ設定部３０１、イントラ予測モード指定部１０２、予測モード可変エンコーダ部Ｕ２、予測モード判定部１０３、エンコーダコア部Ｕ３、上位シンタックス生成部１０６及びビットストリーム生成部３０７の動作について、図２に示す映像符号化処理を示すフロー図に沿って説明する。
【００２１】
先ず、ＲＯＩ設定部３０１が、各画素の輝度レベルを表す画素値の系列を含む入力画像信号Ｅ１を受け、当該入力画像信号Ｅ１によって表されるピクチャに対してＲＯＩを設定し、設定したＲＯＩのピクチャ内での位置及びサイズを表すＲＯＩ情報Ｄ０１を生成する（ステップＳ１０１）。
【００２２】
例えば、ＲＯＩ設定部３０１は、特定のオブジェクトとして人の顔の検出を行う顔検出アルゴリズムを用いて、入力画像信号Ｅ１中から人の顔が表示される領域をＲＯＩとして検出する。そして、ＲＯＩ設定部３０１は、ピクチャ内でのＲＯＩの位置（座標）及びサイズを表すＲＯＩ情報Ｄ０１を設定する。尚、ＲＯＩ設定部３０１は、入力画像信号Ｅ１に依存せず、ユーザによって任意に指定されたＲＯＩを設定し、そのＲＯＩのピクチャ内での位置及びサイズを表すＲＯＩ情報Ｄ０１を生成しても良い。ＲＯＩ設定部３０１は、当該ＲＯＩ情報Ｄ０１をイントラ予測モード指定部１０２及びエンコーダコア部Ｕ３に供給する。
【００２３】
次に、イントラ予測モード指定部１０２が、ＲＯＩ情報Ｄ０１に基づきＲＯＩに含まれる画像ブロックに対してはイントラ予測モードを指定するイントラ予測モード指定信号Ｄ０２を生成する（ステップＳ１０２）。例えば、エンコーダコア部Ｕ３が画像符号方式としてＨ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４  ＡＶＣを採用している場合、イントラ予測モード指定信号Ｄ０２は、例えば１６画素×１６画素からなる画像ブロック（以下、イントラマクロブロック又はイントラＭＢと称する）単位でイントラ予測モードを指定する。イントラ予測モード指定部１０２は、イントラ予測モード指定信号Ｄ０２を予測モード判定部１０３に供給する。
【００２４】
次に、予測モード判定部１０３が、イントラ予測モード指定信号Ｄ０２の有無に応じて予測モードを判定し、判定した予測モードを示す予測モード情報Ｄ０３を生成する（ステップＳ１０３）。すなわち、予測モード判定部１０３は、イントラ予測モード指定信号Ｄ０２によってイントラ予測モードに指定された画像ブロックに対してはイントラ予測モードを示す予測モード情報Ｄ０３を生成する。
【００２５】
一方、イントラ予測モード指定信号Ｄ０２によってイントラ予測モードに指定されていない画像ブロックに対しては、予測モード判定部１０３は、各種の予測モードのうちから適切な予測モード（イントラ予測モード又はインター予測モード）を判定し、判定した予測モードを示す予測モード情報Ｄ０３を生成する。例えば、予測モード判定部１０３は、入力画像信号Ｅ１によって表されるピクチャに基づき、イントラ予測モード及びインター予測モードのうちの一方の予測モードを選択し、選択した方の予測モードを示す予測モード情報Ｄ０３を生成する。予測モード判定部１０３は、予測モード情報Ｄ０３をエンコーダコア部Ｕ３に供給する。
【００２６】
次に、エンコーダコア部Ｕ３が、予測モード情報Ｄ０３に従って入力画像信号Ｅ１に圧縮符号化処理を施して得られたエレメンタリーストリーム信号Ｄ０５を出力する（ステップＳ１０５）。エンコーダコア部Ｕ３は、前処理部３０５Ａ及び圧縮部３０５Ｂを含む。前処理部３０５Ａは、入力画像信号Ｅ１及びＲＯＩ情報Ｄ０１を受け、入力画像信号Ｅ１に以下のような前処理を施すことにより、画像品質を制御する。
【００２７】
すなわち、前処理部３０５Ａは、入力画像信号Ｅ１に含まれる画素値の系列に対して、ＲＯＩ情報Ｄ０１に基づきＲＯＩ以外の領域（以下、背景領域又は非ＲＯＩと称する）に該当すると判定された画素値には、ＲＯＩに該当すると判定された画素値に比べて少ない符号量となるような符号化処理を施す。かかる符号化処理は、例えばガウシアンフィルタ等を用いて入力画像信号Ｅ１を畳み込むことによって、入力画像信号Ｅ１の高周波成分を抑圧する処理である。
【００２８】
前処理部３０５Ａは、入力画像信号Ｅ１に上記のような前処理を施して得られた前処理画像信号を圧縮部３０５Ｂに供給する。すなわち、前処理部３０５Ａにより、ＲＯＩを含むピクチャに対しては画像品質を抑えて符号量の削減を図るという、画像品質の制御が為される。
【００２９】
圧縮部３０５Ｂは、予測モード情報Ｄ０３及び上位シンタックスに基づき、前処理画像信号に上記した画像符号方式に従った圧縮符号化処理を施して得られたエレメンタリーストリーム信号Ｄ０５を、ビットストリーム生成部３０７に供給する。尚、この画像符号方式としては、復号側においてＲＯＩを含むピクチャのみを復号することでＲＯＩを抽出することが可能となる例えばＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding）、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding）等を用いる。
【００３０】
かかる構成により、エンコーダコア部Ｕ３は、ＲＯＩ情報Ｄ０１、予測モード情報Ｄ０３、及び後述する制約付きイントラを示す上位シンタックスに基づき、入力画像信号Ｅ１に圧縮符号化処理を施す。すなわち、エンコーダコア部Ｕ３は、入力画像信号Ｅ１によって表されるピクチャ内のＲＯＩに該当するブロックに対しては、予測モード情報Ｄ０３によって示されるイントラ予測モードに従って、イントラ符号化処理を施す。この際、制約付きイントラを示す上位シンタックスに応じて、ＲＯＩに含まれる画像ブロックの周辺の画素値を用いてイントラ符号化を行う場合には、エンコーダコア部Ｕ３は、かかる周辺の画素値として、既にイントラ符号化された画素値又は所定値のみを用いる。
【００３１】
一方、当該ピクチャ内においてＲＯＩに該当しない領域、つまり非ＲＯＩ（背景領域）に該当するブロック群に対しては、エンコーダコア部Ｕ３は、予測モード情報Ｄ０３によって示されるイントラ予測モード又はインター予測モードに従った符号化処理を施す。つまり、予測モード情報Ｄ０３がイントラ予測モードを示す場合には、エンコーダコア部Ｕ３は、入力画像信号Ｅ１によって表されるピクチャ内の非ＲＯＩのブロックにイントラ符号化処理を施す。また、予測モード情報Ｄ０３がインター予測モードを示す場合には、エンコーダコア部Ｕ３は、入力画像信号Ｅ１によって表されるピクチャ内の非ＲＯＩのブロックにインター符号化処理を施す。
【００３２】
エンコーダコア部Ｕ３は、上記した圧縮符号化処理によって得られたエレメンタリーストリーム信号Ｄ０５を、ビットストリーム生成部３０７に供給する。
【００３３】
次に、上位シンタックス生成部１０６が、復号時に必要となる情報を含み且つ制約付きイントラを示す上位シンタックスを生成する（ステップＳ１０６）。例えば、エンコーダコア部Ｕ３の画像符号方式が上記したＨ．２６４／ＭＰＥＧ−４  ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣである場合、上位シンタックス生成部１０６は、ＳＰＳ（Sequence Parameter Set）及びＰＰＳ（Picture Parameter Set）を上位シンタックスとして生成する。ＳＰＳは、シーケンス全体の符号化に係る情報を示すパラメータセットであり、ＰＰＳは、ピクチャ全体の符号化に係る情報を示すパラメータセットである。尚、例えばエンコーダコア部Ｕ３がＨ．２６４／ＭＰＥＧ−４  ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ等のような制約付きイントラの指定に対応した画像符号方式を採用している場合、上位シンタックス生成部１０６は、ＰＰＳにより、制約付きイントラの指定を行う。制約付きイントラでは、イントラＭＢ周辺の画素値がインター符号化されたものである場合には、それを使用せず、当該イントラＭＢ周辺のイントラ符号化された画素値のみを用いてイントラＭＢをイントラ符号化する。この際、イントラＭＢ周辺にイントラ符号化された画素値が存在しない場合には、制約付きイントラでは、所定の固定値を用いてイントラＭＢをイントラ符号化する。
【００３４】
上位シンタックス生成部１０６は、これらＳＰＳ及びＰＰＳ等のパラメータセットを上位シンタックスとして表す上位シンタックス情報Ｄ０６をビットストリーム生成部３０７に供給する。
【００３５】
尚、エンコーダコア部Ｕ３が、複数の上位シンタックスのうちから、圧縮符号化処理で用いる上位シンタックスをピクチャ又はスライス単位で選択可能な画像符号方式を採用している場合、上位シンタックス生成部１０６は、以下のように上位シンタックス情報Ｄ０６をビットストリーム生成部３０７に供給する。
【００３６】
つまり、上位シンタックス生成部１０６は、エンコーダコア部Ｕ３がピクチャ又はスライス毎に上位シンタックスを選択する度に、その選択された上位シンタックスを示す上位シンタックス情報Ｄ０６をビットストリーム生成部３０７に供給する。スライスは、１ピクチャ内の複数のマクロブロックからなる処理単位を表す。
【００３７】
上位シンタックス生成部１０６は、エンコーダコア部Ｕ３が例えばＭＰＥＧ−２等のように、制約付きイントラが想定されていない画像符号方式を採用している場合には、その画像符号方式で規定されている通常の上位シンタックスを生成する。
【００３８】
尚、上位シンタックス生成部１０６、予測モード判定部１０３、及びエンコーダコア部Ｕ３は、共にワーキングメモリＭに接続されており、当該ワーキングメモリＭを介して各種の画像情報や符号化情報を共有している。
【００３９】
次に、ビットストリーム生成部３０７が、エンコーダコア部Ｕ３から供給されたエレメンタリーストリーム信号Ｄ０５、及び上位シンタックス情報Ｄ０６を多重化したビットストリーム信号Ｄ０７を生成する（ステップＳ１０７）。
【００４０】
以上のように、映像符号化装置Ｘ１では、ＲＯＩ設定部３０１がＲＯＩを設定し、ピクチャ内でのＲＯＩの位置及びサイズを表すＲＯＩ情報Ｄ０１を生成する。そして、エンコーダ部Ｕ１が、入力画像信号Ｅ１及びＲＯＩ情報Ｄ０１を受け、当該ＲＯＩ情報Ｄ０１に基づいて入力画像信号Ｅ１に対して圧縮符号化処理を施してビットストリーム信号Ｄ０７を生成する。この際、エンコーダ部Ｕ１は、ＲＯＩ情報Ｄ０１に基づき、入力画像信号Ｅ１によるピクチャ内のＲＯＩに含まれる画像ブロックには圧縮符号化処理としてイントラ符号化を施し、非ＲＯＩに含まれる画像ブロック群に対してはイントラ符号化及びインター符号化のうちの一方を選択して施すようにしている。
【００４１】
これにより、ピクチャ内の全ての画像ブロックをイントラ符号化によって圧縮符号化する場合に比して、符号量を削減することが可能となる。また、ピクチャ内の全ての画像ブロックをインター符号化によって圧縮符号化する場合に比して演算量を削減することが可能となる。
【００４２】
よって、映像符号化装置Ｘ１によれば、符号量の削減及び演算量の削減を両立させることが可能となる。
【００４３】
以下に、上記した映像符号化装置Ｘ１を採用した映像処理システムについて説明する。
【００４４】
図３は、映像処理システムの一例としてのＲＯＩ識別システムＲＩＳの構成を示すブロック図である。
【００４５】
ＲＯＩ識別システムＲＩＳは、例えばビデオカメラ等によって撮影して得られた入力画像信号Ｅ１を受け、当該入力画像信号Ｅ１によって表されているピクチャ中から特定のＲＯＩを識別するシステムである。尚、特定のＲＯＩとは、予め登録されている例えば人の顔を含むＲＯＩである。
【００４６】
図３に示すように、ＲＯＩ識別システムＲＩＳは、映像符号復号システムＶＣＤと、ＲＯＩ認識装置Ｘ４と、を有する。
【００４７】
映像符号復号システムＶＣＤは、図１に示される映像符号化装置Ｘ１の他に、復号画像選択装置Ｘ２及び映像復号化装置Ｘ３を含む。
【００４８】
映像符号化装置Ｘ１は、上記した入力画像信号Ｅ１を受け、当該入力画像信号Ｅ１に前述した圧縮符号化処理を施してビットストリーム信号Ｄ０７を生成する。映像符号化装置Ｘ１は、このビットストリーム信号Ｄ０７を、ＬＡＮ（Local Area Network）、或いは公衆回線等の任意の通信路を介して復号画像選択装置Ｘ２に供給する。
【００４９】
復号画像選択装置Ｘ２は、かかるビットストリーム信号Ｄ０７、及び起動イベントＥ２を受け、以下の復号画像選択処理を行う。
【００５０】
図４は、かかる復号画像選択処理の一例を表すフロー図である。図４に示すように、先ず、復号画像選択装置Ｘ２は、ビットストリーム信号Ｄ０７から、上位シンタックス情報Ｄ０６としてのパラメータセット（ＳＰＳ、ＰＰＳ）を抽出し、保持する（ステップＳ５０１）。
【００５１】
次に、復号画像選択装置Ｘ２は、ビットストリーム信号Ｄ０７から、当該ビットストリーム信号Ｄ０７に含まれるエレメンタリーストリーム信号Ｄ０５を復号の処理単位毎に区切ったアクセスユニットの系列を得る（ステップＳ５０２１）。次に、復号画像選択装置Ｘ２は、アクセスユニット毎にそのアクセスユニットに対応したピクチャにＲＯＩが含まれているか否かを判定する（ステップＳ５０２２）。
【００５２】
なお、アクセスユニットに対応したピクチャにＲＯＩが含まれているか否かを判定する方法としては、ビットストリーム信号Ｄ０７を復号、あるいはアクセスユニットのみを復号し、その復号結果に基づきＲＯＩの検出を行ってＲＯＩが含まれているか否かの判定を行う。或いは、先ず、映像符号化装置Ｘ１のビットストリーム生成部３０７において、ＲＯＩ情報Ｄ０１を多重化したビットストリーム信号Ｄ０７を復号画像選択装置Ｘ２に供給する。
【００５３】
この多重化の方法としては、例えばＨ．２６４／ＭＰＥＧ−４  ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣの場合、"User unregistered SEI message"を使用する。そして、復号画像選択装置Ｘ２側で当該ビットストリーム信号Ｄ０７からＲＯＩ情報Ｄ０１を抽出することにより、ＲＯＩが含まれているか否かの判定を行うのである。
【００５４】
ステップＳ５０２２において、アクセスユニットに対応するピクチャにＲＯＩが含まれていると判定された場合、復号画像選択装置Ｘ２は、上記したステップＳ５０１で保持したパラメータセットを表すパラメータセット情報Ｄ０８、及びアクセスユニットの系列を表すアクセスユニット系列Ｄ０９を映像復号装置Ｘ３に供給する（ステップＳ５０２３）。
【００５５】
そして、かかるステップＳ５０２３の終了後、復号画像選択装置Ｘ２は、図４に示す復号画像選択処理を終了する。
【００５６】
また、上記ステップＳ５０２２において、アクセスユニットに対応するピクチャにＲＯＩが含まれていないと判定されたときも、復号画像選択装置Ｘ２は、図４に示す復号画像選択処理を終了する。よって、この際、復号画像選択装置Ｘ２は、ビットストリーム信号Ｄ０７を受けたにも拘わらず、映像復号装置Ｘ３へのパラメータセット情報Ｄ０８及びアクセスユニット系列Ｄ０９の供給は行わない。
【００５７】
映像復号装置Ｘ３は、アクセスユニット系列Ｄ０９に、パラメータセット情報Ｄ０８に基づく復号処理を施して得られた出力画像信号Ｅ３を、ＲＯＩ認識装置Ｘ４に供給する。尚、映像復号装置Ｘ３は、アクセスユニット系列Ｄ０９がフレーム間符号化されたものであっても、参照ピクチャの復号を行うことなくアクセスユニット系列Ｄ０９に復号処理を施す。
【００５８】
つまり、映像復号装置Ｘ３は、参照ピクチャの復号を行う代わりに任意の仮想ピクチャを生成し、この仮想ピクチャを参照ピクチャとみなして復号を行う。尚、仮想ピクチャとは、例えば、全ての画素値を最低の輝度値「０」、又は中間の輝度値「１２８」、或いは最大の輝度値「２５５」等に固定したピクチャである。
【００５９】
ＲＯＩ認識装置Ｘ４は、出力画像信号Ｅ３及び登録画像信号Ｅ４を受ける。尚、登録画像信号Ｅ４は、例えば予め登録されている一人又は複数の人の顔と、その顔を識別する為の識別情報（例えば氏名）とを表す画像信号である。ＲＯＩ認識装置Ｘ４は、例えば顔認識エンジンを利用して、出力画像信号Ｅ３中に含まれるＲＯＩに、登録画像信号Ｅ４にて表される顔が含まれているか否かを判定する。ＲＯＩ認識装置Ｘ４は、出力画像信号Ｅ３中に、登録画像信号Ｅ４にて表される顔が含まれていると判定した場合には、その顔に対応した識別情報を出力する。
【００６０】
以上のように、映像符号復号システムＶＣＤでは、復号画像選択装置Ｘ２により、アクセスユニットの系列中から、ＲＯＩを含むピクチャに対応したアクセスユニットのみを選択して映像復号装置Ｘ３に供給するようにている。よって、映像復号装置Ｘ３はＲＯＩを含むピクチャのみを復号するので、図３においてＲＯＩ認識装置Ｘ４を一例とした下流のシステムで必要となる、ＲＯＩを復号する為に必要となる演算量を抑えることが可能となる。
【００６１】
ところで、図４に示す復号画像選択処理では、アクセスユニットに対応したピクチャにＲＯＩが含まれている場合には、常に、当該ＲＯＩを含むピクチャに対応したアクセスユニットを映像復号装置Ｘ３に供給する。しかしながら、起動イベントＥ２を受けたときにのみ、ＲＯＩを含むピクチャに対応したアクセスユニットを映像復号装置Ｘ３に供給しても良い。
【００６２】
図５は、かかる点に鑑みて為された復号画像選択処理の他の一例を示すフロー図である。図５において、復号画像選択装置Ｘ２は、ビットストリーム信号Ｄ０７をデータベースに蓄積する（ステップＳ６０１）。ここで、起動イベントＥ２を受けると、復号画像選択装置Ｘ２は、データベースからビットストリーム信号Ｄ０７に含まれるパラメータセット、及びＲＯＩを含むアクセスユニットのみを抽出する。そして、復号画像選択装置Ｘ２は、抽出したパラメータセットを表すパラメータセット情報Ｄ０８、及びＲＯＩを含むアクセスユニットの系列からなるアクセスユニット系列Ｄ０９を出力する。
【００６３】
復号画像選択装置Ｘ２は、図５に示される復号画像選択処理を行うことにより、起動イベントＥ２が発せられたときにのみ、ＲＯＩの含まれるピクチャに対応したアクセスユニットのみをデータベースから検索し、これを復号対象とする。これにより、図４に示される復号画像選択処理を採用した場合に比してＲＯＩの復号に必要な演算量が削減される。尚、図５に示される復号画像選択処理を採用した場合にも、図４に示される復号画像選択処理を採用した場合と同様に、ＲＯＩ認識装置Ｘ４においてＲＯＩを含むピクチャのみを認識対象とすることができる。よって、データベースに蓄積した過去のＲＯＩを低演算量で復号できるので、再認識処理の実用性を図ることが可能となる。
【実施例２】
【００６４】
図６は、本発明に係る映像符号化装置Ｘ１の他の構成を示すブロック図である。尚、図６に示す構成では、上位シンタックス指定部２０４を新たに加え、上位シンタックス生成部１０６に代えて上位シンタックス生成部１０６ａを採用した点を除く他の構成は、図１に示されるものと同一である。よって、以下に、上位シンタックス指定部２０４及び上位シンタックス生成部１０６ａを中心に動作の説明を行う。
【００６５】
上位シンタックス生成部１０６ａは、制約付きイントラを指定した上位シンタックス（制約付き上位シンタックスと称する）と共に、制約を受けない通常のイントラを指定した上位シンタックス（通常シンタックスと称する）を生成する。上位シンタックス生成部１０６ａは、制約付き上位シンタックス及び通常シンタックスを表す上位シンタックス情報Ｄ０６をビットストリーム生成部３０７に供給する。
【００６６】
上位シンタックス指定部２０４は、ＲＯＩ情報Ｄ０１を受け、当該ＲＯＩ情報Ｄ０１に基づき、圧縮符号化処理に用いる上位シンタックス（通常シンタックス、制約付き上位シンタックス）を指定する上位シンタックス指定信号Ｄ０４を生成し、エンコーダコア部Ｕ３に供給する。
【００６７】
エンコーダコア部Ｕ３は、ＲＯＩ情報Ｄ０１、予測モード情報Ｄ０３及び上位シンタックス指定信号Ｄ０４によって指定された上位シンタックスに基づき、入力画像信号Ｅ１に圧縮符号化処理を施す。エンコーダコア部Ｕ３は、かかる圧縮符号化処理によって得られたエレメンタリーストリーム信号Ｄ０５を、ビットストリーム生成部３０７に供給する。
【００６８】
図７は、図６に示す構成を有する映像符号化装置Ｘ１で実施される映像符号化処理を示すフロー図である。尚、図７に示すフローでは、上記したステップＳ１０５及びＳ１０６に代えてＳ１０５ａ及びＳ１０６ａを採用し、更にステップＳ１０３の後にステップＳ１０４を追加した点を除く他のステップ（Ｓ１０１〜Ｓ１０３、Ｓ１０７）は、図２に示すフローと同一である。よって、ステップＳ１０４、Ｓ１０５ａ及びＳ１０６ａを中心に各動作を説明する。
【００６９】
すなわち、ステップＳ１０３の実行後、上位シンタックス指定部２０４が、ＲＯＩ情報Ｄ０１に基づき、ＲＯＩが含まれるピクチャについては制約付きイントラを指定し、ＲＯＩが含まれていないピクチャについては制約を受けない通常のイントラを指定する上位シンタックス指定信号Ｄ０４を生成する（ステップＳ１０４）。尚、ＲＯＩのみで構成されるピクチャに対しては、いずれの上位シンタックスを指定しても良い。
【００７０】
次に、エンコーダコア部Ｕ３が、予測モード情報Ｄ０３及び上位シンタックス指定信号Ｄ０４に基づく圧縮符号化処理を入力画像信号Ｅ１に施して得られたエレメンタリーストリーム信号Ｄ０５を出力する（ステップＳ１０５ａ）。ここで、上位シンタックス指定信号Ｄ０４が制約付きイントラを指定した上位シンタックスを示す場合、エンコーダコア部Ｕ３は、イントラ予測モードで符号化すると決定したブロックを、制約付きイントラで符号化する。そして、エンコーダコア部Ｕ３は、エレメンタリーストリーム信号Ｄ０５中の所定の位置に、制約付きイントラを指定した上位シンタックス示すインデックスを含ませる。例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの場合、スライスヘッダに、使用する上位シンタックスを指定する領域があるので、その領域に制約付きイントラを指定した上位シンタックスを示すインデックスを含ませる。
【００７１】
また、上位シンタックス指定信号Ｄ０４が通常の上位シンタックスを示す場合には、エンコーダコア部Ｕ３は、イントラ予測モードで符号化すると決定したブロックを、制約無しの通常のイントラで符号化する。そして、エンコーダコア部Ｕ３は、エレメンタリーストリーム信号Ｄ０５中の所定の位置に、通常の上位シンタックス示すインデックスを含ませる。
【００７２】
次に、上位シンタックス生成部１０６ａが、制約付きイントラを指定した上位シンタックス、及び通常の上位シンタックスを生成し、両者を示す上位シンタックス情報Ｄ０６を生成する（ステップＳ１０６ａ）。ここで、制約付きイントラを指定した上位シンタックスと、通常の上位シンタックスとの差は、制約付きイントラを指定しているか否かである。例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの場合、ＰＰＳに含まれる"constrained_intra_pred_flag"によってその差が表される。
【００７３】
尚、上位シンタックスとしては、ＰＰＳだけではなく、例えばＨ．２６４ではＳＰＳ等を含むことも考えられる。その場合、ＰＰＳ以外の上位シンタックスについては、制約付きイントラを指定した上位シンタックスと、通常の上位シンタックスとを個別に生成するのではなく、１つの上位シンタックスを、制約付きイントラを指定した上位シンタックスと、通常の上位シンタックスとで共通化しても良い。
【００７４】
また、制約付きイントラを指定した上位シンタックスで表される情報群内に、通常の上位シンタックスで表される情報群に含まれる情報片と同一の情報片が存在する場合には、この同一の情報片を、制約付きイントラを指定した上位シンタックスと、通常の上位シンタックスとで共有しても良い。すなわち、上位シンタックス生成部１０６ａは、先ず、制約付きイントラを指定した上位シンタックスを生成する。そして、上記同一の情報片を省いた通常の上位シンタックスを生成し、この生成した通常の上位シンタックスに上記同一の情報片を含ませたものを最終的な通常の上位シンタックスとする。これにより、上位シンタックス生成部１０６ａでの動作負荷が軽減される。
【００７５】
以上のように、実施例２の構成では、非ＲＯＩのみで構成されているが故に制約付きイントラの必要性がないピクチャ又はスライスについては、通常のイントラＭＢとして符号化している。ここで、制約付きイントラよりも通常のイントラの方が符号効率が高い傾向にあるため、制約付きイントラの必要性が無いピクチャやスライスに対しては、通常のイントラＭＢとして符号化することにより符号量の削減が図られる。
【００７６】
尚、上記した実施例１及び２では、例えば前処理部３０５Ａを設けることにより、ＲＯＩを含むピクチャに対しては画像品質を抑えて符号量の削減を図る処理を施すようにしているが、必ずしも、このような画像品質を抑える品質制御を行う必要はない。この際、予測モード可変エンコーダ部Ｕ２はＲＯＩ情報Ｄ０１を受ける必要がなくなり、エンコーダコア部Ｕ３の前処理部３０５Ａが不要となる。
【００７７】
また、互いに異なる基準で設定した２種類のＲＯＩのうちの一方を制約付きイントラでの符号化対象とし、他方を上記したような品質制御の対象として圧縮符号化処理を施すようにしても良い。この際、ＲＯＩ設定部３０１は、互いに異なる基準で設定した２系統のＲＯＩを表すＲＯＩ情報Ｄ０１を生成する。そして、ＲＯＩ情報Ｄ０１にて表されるＲＯＩのうちで有用度が最大となるＲＯＩを制約付きイントラの符号化対象とし、その他のＲＯＩを品質制御を優先とした符号化の対象とする。
【００７８】
尚、有用度が最大となるＲＯＩとは、例えばサイズが最大となるＲＯＩである。ここで、複数のＲＯＩのうちで、制約付きイントラで符号化するＲＯＩを限定する方法の一例を以下に説明する。すなわち、着目するＲＯＩが動画像の前後のピクチャに含まれるか否かを判定し、含まれる場合にはそれぞれの有用度（例えばＲＯＩのサイズ）を計算する。そして、その有用度が最大であるか否かを判定し、最大であると判定されたＲＯＩを制約付きイントラの符号化対象とする。
【００７９】
このように、例えば実施例１及び２の方法で、制約付きイントラで符号化するＲＯＩを、品質制御の対象とするＲＯＩよりも厳しい基準で設定したものとすることで、ＲＯＩの復号に必要な演算量を最小にしつつ、符号量の増加を最小限に抑えることが可能となる。
【００８０】
また、実施例１及び２では、ＲＯＩ設定部３０１は、ユーザによって指定された領域をＲＯＩとして設定する、或いは入力画像信号Ｅ１から検出したＲＯＩをＲＯＩとして設定している。ユーザによって指定された領域をＲＯＩとして設定する場合には、入力画像信号Ｅ１をＲＯＩ設定部３０１に供給する必要は無い。
【００８１】
また、ＲＯＩを設定する方法としては、上記した方法に限定されない。例えば赤外線カメラで撮影した画像や、深度センサで撮影した画像を用いてＲＯＩの設定を行うようにしても良い。この際、赤外線カメラで撮影した画像や、深度センサで撮影した画像を表す信号を入力画像信号Ｅ１としてＲＯＩ設定部３０１に供給する。
【００８２】
また、図１及び図６に示される映像符号化装置Ｘ１による映像符号化処理をハードウェアで実現しているが、当該映像符号化処理をソフトウェアで実現しても良い。
【００８３】
図８は、この映像符号化処理をソフトウェアで実現する情報処理装置の構成の一例を示すブロック図である。当該情報処理装置は、制御部としてのＣＰＵ（Central Processing Unit）１００１、ＲＡＭ（Random Access Memory）１００２、ＲＯＭ（Read Only Memory）１００３及び入出力部１００４を含む。ＲＯＭ１００３には、図２又は図７に示される映像符号化処理に従ったプログラムが記憶されている。ＣＰＵ１００１は、ＲＯＭ１００３に記憶されているプログラムを実行することにより、入出力部１００４を介して入力された入力画像信号Ｅ１に基づきビットストリーム信号Ｄ０７を生成し、これを入出力部１００４を介して出力する。
【符号の説明】
【００８４】
１０２          イントラ予測モード指定部
１０３          予測モード判定部
１０６          上位シンタックス生成部
３０７          ビットストリーム生成部
Ｕ１            エンコーダ部
Ｕ２            予測モード可変エンコーダ部
Ｕ３            エンコーダコア部
Ｘ１            映像符号化装置
Ｘ２            復号画像選択装置
Ｘ３            映像復号装置
Ｘ４            ＲＯＩ認識装置
ＶＣＤ          映像符号復号システム
【図１】
2018129688.tif 000003
【図２】
2018129688.tif 000004
【図３】
2018129688.tif 000005
【図４】
2018129688.tif 000006
【図５】
2018129688.tif 000007
【図６】
2018129688.tif 000008
【図７】
2018129688.tif 000009
【図８】
2018129688.tif 000010