(57)【要約】【課題】  従来のクロッピング処理によるＨＤ解像度からＳＤ解像度への解像度変換では、クロッピング領域外のＨＤ解像度の画素領域に関する画像情報が欠落する。レターボックス処理等による解像度変換では、必ずしも十分な画像情報を残すことができない。【解決手段】  ＨＤ解像度の画像領域２１からＳＤ解像度の画像領域とするクロッピング領域２２を特定し、その中で画像情報を歪ませずそのままＳＤ解像度へ変換するオリジナル領域２３を特定する。更に、ＨＤ画像領域２１内のオリジナル領域２３の外側の領域２４、２５のＨＤ解像度の画像情報は縮小して、クロッピング領域２２内で、かつ、オリジナル領域２３の外側の歪み領域２６、２７に格納する。更に、オリジナル領域２３、歪み領域２６及び２７からなるクロッピング領域を、所定のフィルタリングによる縮小処理して、（Ｅ）に示すＳＤ解像度の画像フレームを得る。【選択図】            図２
2006295599.tif 000002
【特許請求の範囲】
【請求項１】
第１の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、前記第１の空間解像度よりも低い第２の空間解像度を有する映像信号に変換するための空間解像度変換方法であって、
前記第１の空間解像度を有する映像信号の画像フレームである第１の画像フレーム内で、前記第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、
前記クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域であるオリジナル領域を特定すると共に、前記第１の画像フレームにおける前記第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、
前記クロッピング領域内における前記第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、
前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域である第３の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、前記第２のオリジナル領域と前記第２の歪み領域とにより、前記第２の空間解像度を有する第２の画像フレームを生成する第４のステップと
を備えたことを特徴とする空間解像度変換方法。
【請求項２】
請求項１記載の空間解像度変換方法により、第１の空間解像度を有する映像信号から変換された、前記第１の空間解像度よりも低い第２の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、再度、前記第１の空間解像度を有する映像信号に変換する空間解像度変換方法であって、
前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報に基づき、前記第２の画像フレーム内で前記第２のオリジナル領域を特定する第１のステップと、
前記第２の画像フレームを第２のクロッピング領域と特定する第２のステップと、
前記第２のクロッピング領域内における、前記第２のオリジナル領域外の領域を、前記第２の歪み領域として特定する第３のステップと、
前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第２のオリジナル領域を第１の拡大方法にて画像形状を歪ませずに拡大して前記第１のオリジナル領域を復元すると共に、前記第１及び第２の画像フレームの各サイズと、前記第１及び第２の領域情報とに基づき、前記第２の歪み領域を、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域である第３の領域と一致する領域となるように、第２の拡大方法にて画像形状を歪ませて拡大して前記第３の領域を復元し、前記復元した第１のオリジナル領域と前記復元した第３の領域とにより、前記第１の空間解像度を有する第１の画像フレームを復元する第４のステップと
を備えたことを特徴とする空間解像度変換方法。
【請求項３】
第１の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、前記第１の空間解像度よりも低い第２の空間解像度を有する映像信号に変換するための空間解像度変換を、コンピュータにより実行させるための空間解像度変換プログラムであって、
前記コンピュータに、
前記第１の空間解像度を有する映像信号の画像フレームである第１の画像フレーム内で、前記第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、
前記クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域であるオリジナル領域を特定すると共に、前記第１の画像フレームにおける前記第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、
前記クロッピング領域内における前記第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、
前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域である第３の領域を、前記第１の歪み領域を前記第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、前記第２のオリジナル領域と前記第２の歪み領域とにより、前記第２の空間解像度を有する第２の画像フレームを生成する第４のステップと
を順次実行させることを特徴とする空間解像度変換プログラム。
【請求項４】
請求項１記載の空間解像度変換方法により、第１の空間解像度を有する映像信号から変換された、前記第１の空間解像度よりも低い第２の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、再度、前記第１の空間解像度を有する映像信号に変換する空間解像度変換を、コンピュータにより実行させるための空間解像度変換プログラムであって、
前記第２の画像フレームにおける前記第２のオリジナル領域を特定するための情報である第２の領域情報に基づき、前記第２の画像フレーム内で前記第２のオリジナル領域を特定する第１のステップと、
前記第２の画像フレームを第２のクロッピング領域と特定する第２のステップと、
前記第２のクロッピング領域内における、前記第２のオリジナル領域外の領域を、前記第２の歪み領域として特定する第３のステップと、
前記第２の画像フレームのサイズと前記第１の画像フレームのサイズとの比に応じて、前記第２のオリジナル領域を第１の拡大方法にて画像形状を歪ませずに拡大して前記第１のオリジナル領域を復元すると共に、前記第１及び第２の画像フレームの各サイズと、前記第１及び第２の領域情報とに基づき、前記第２の歪み領域を、前記第１の画像フレームにおける前記第１のオリジナル領域外の領域である第３の領域と一致する領域となるように、第２の拡大方法にて画像形状を歪ませて拡大して前記第３の領域を復元し、前記復元した第１のオリジナル領域と前記復元した第３の領域とにより、前記第１の空間解像度を有する第１の画像フレームを復元する第４のステップと
を順次実行させることを特徴とする空間解像度変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は空間解像度変換方法及び空間解像度変換プログラムに係り、特に高精細な空間解像度を持つ映像と、それより低い空間解像度を持つ映像とのうち、一方の映像を構成している画像フレームの空間解像度を他方の空間解像度に変換するための空間解像度変換方法及び空間解像度変換プログラムに関する。
【背景技術】
【０００２】
従来のスケーラブル符号化においては図１８（Ａ）〜（Ｃ）に示すように、ある解像度から縦、横ともに半分ずつ縮小するような空間解像度を設定し、これらの空間解像度を自由に切り替えることができるように構成することで空間方向のスケーラビリティを実現することが一般的である。
【０００３】
また、このような縦、横とも半分ずつ縮小することで得られる空間解像度では対応できない空間解像度、例えば、横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素への空間解像度変換に対しては、図１９の画像１０２，１０５が示すようなクロッピング処理、図１９の縮小画像１０８，１０９，１１０が示すようなレターボックス処理、図２３の画像５０２，５０３が示すようなスクイーズ処理を行うことにより、ＨＤ（High Definition）解像度からＳＤ(Standard Definition)解像度への空間解像度変換を作ったスケーラブル符号化及び復号化を実現している（例えば、特許文献１、特許文献２、特許文献３参照）。
【０００４】
また、１６：９や４：３のアスペクト比をもつディスプレイ装置において、より柔軟な空間解像度変換を利用して多様な表示を実現しているものも多く存在する（例えば、特許文献４参照）。
【０００５】
【特許文献１】特許第３３７４９８９号公報
【特許文献２】特開平６−２８４４１３号公報
【特許文献３】特許第３５６４０８７号公報
【特許文献４】特開平６−６６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来は、画像信号に対してスケーラブル符号化及び復号化を行う場合、高解像度の画像信号に対して所定の空間フィルタリング処理を施した後に２：１の割合でダウンサンプリングして、低解像度の画像信号を生成する。例えば、ＨＤ解像度の画像信号を所定の空間フィルタリング処理を行った後に２：１の割合でダウンサンプリングして低解像度の画像信号を生成する。
【０００７】
この低解像度の画像信号を符号化して伝送すると、その画像のアスペクト比は元のＨＤ解像度の画像信号のそれの１６：９のままである。よって、４：３のアスペクト比であるＮＴＳＣ方式のテレビジョン受像機において、ＨＤ解像度の画像信号からダウンサンプリングして得られた、１／４の解像度の画像信号をモニタすることができないという問題があり、その問題に関しては多くの検討が行われていることで改善が進んでいる。
【０００８】
しかしながら、従来のＨＤ解像度からＳＤ解像度への空間解像度変換を利用した空間解像度スケーラブル符号化においては、いくつかの問題点が生じる。
【０００９】
図１９（Ａ）〜（Ｃ）は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にクロッピング処埋を用いた例である。ここで説明を簡単にするために、特に断らない限り、以後、水平方向１９２０画素、垂直方向１０８０画素（１９２０×１０８０画素）をもつ解像度はＨＤ解像度とする。また、水平方向７２０画素、垂直方向４８０画素（７２０×４８０画素）をもつ解像度はＳＤ解像度とする。
【００１０】
図１９において、まず同図（Ａ）に示すＨＤ解像度の動画像の画像フレーム１０１からより重要な領域を特定して同図（Ｂ）に１０２で示す領域にクロッピング処理を行う。領域１０２は、同図（Ｃ）に示す領域１０５が示すＳＤ解像度を縦、横ともに２.２５倍することで、前の画素をＨＤ解像度の縦の画素と同じ画素領域とし、ＨＤ解像度内に収まり、かつ、ＳＤ解像度のアスペクト比で表現できる最大の画素領域を用いてＨＤ解像度からクロッピングされた領域である。
【００１１】
その後、図１９（Ｂ）に１０２で示す画像フレームを、本来のＳＤ解像度である７２０×４８０画素とするために、縦、横ともに１／２.２５倍に縮小するための所定のフィルタリング処理を行うことで同図（Ｃ）に示すＳＤ解像度に縮小する。このようにして得られたＳＤ解像度の動画像フレーム１０５は、ＨＤ解像度の動画像フレームからクロッピングした領域１０２内のテクスチャ情報を最大限利用することができる代わりに、図１９（Ｂ）に１０３，１０４で示すようなＳＤ解像度内では表現できない領域が生じてしまう。
【００１２】
図２０は、図１９が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。一般に、空間解像度変換を伴う空間スケーラブル符号化では、基本となる空間解像度を持つベースレイヤと、このベースレイヤに対して空間解像度を向上させるための付加情報を持つエンハンスレイヤを設定して符号化を行う。
【００１３】
このエンハンスレイヤは、少なくとも１つのレイヤによって構成される。複数のエンハンスレイヤを用いることで、より細かな解像度のスケーラビリティを実現することができるが、その分複数のエンハンスレイヤを構成するためのオーバヘッド情報が必要となり、符号化効率に影響を与えるため注意が必要である。図２０では、同図（Ａ）の２０１がベースレイヤ、同図（Ｄ）の２０６，２０７，２０８がエンハンスレイヤとなる。
【００１４】
図２０に示すように、ベースレイヤ２０１が元のＨＤ解像度からクロッピング処理によって生成したＳＤ解像度に基づいて符号化されるため、ベースレイヤ２０１を符号化した後に復号化して得られるローカルデコード画像に対して縦、横ともに２.２５倍すると、同図（Ｂ）に示す画像２０２を得る。この画像２０２は、空間スケーラブル符号化においては各レイヤ（図２０ではレイヤを階層と表現している）間での予測符号化を行う。
【００１５】
しかし、図２０（Ｃ）に示すＨＤ解像度のレイヤのローカルデコード画像において、画像２０２と相関が高い領域は２０３のみであることから、２０４、２０５の領域はレイヤ間の相関を利用することができずに面内符号化であるイントラ符号化の対象領域となる。レイヤ間の予測符号化を行うことで、図２０（Ｄ）に示すように、領域２０２と領域２０３との予測符号化の結果生じるレイヤ間の予測符号情報２０６と、領域２０４をイントラ符号化した結果生じるイントラ符号情報２０７と、領域２０５をイントラ符号化した結果生じるイントラ符号情報２０８とを得る。また、予測符号化においては、動きベクトル情報や符号化時の状態を表す情報などを含む各種付加情報であるレイヤ間予測符号化付加情報を得る。この２０６，２０７，２０８及びレイヤ間予測符号化付加情報がエンハンスレイヤを構成するための情報となる。
【００１６】
このように、空間スケーラブル符号化において解像度変換にクロッピング処理を利用した場合には、イントラ符号情報２０７，２０８のようなイントラ符号化を伴うため、符号化効率を低下させるとともに、符号化及び復号化時の演算量を増大させる要因となる。
【００１７】
また、図２０（Ｄ）に示すレイヤ間予測符号情報２０６を得るレイヤ間予測符号化と、イントラ符号情報２０７，２０８を得るイントラ符号化といった別々の符号化を行うことから、復号結果の画像品質にばらつきが生じる。その結果、復号結果の主観的な画像品質に影響を与えるだけでなく、画像品質が均一でないことが更に上位のエンハンスレイヤを構成しようとした際に符号化効率を低下させる要因となる。
【００１８】
図２１は、図２０と同様に図１９が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示す。図２１は、ベースレイヤに関しては図２０と同様である。図２１において、エンハンスレイヤに関しては、まず第１のエンハンスレイヤとして図２１（Ａ）に示すクロッピング領域外の領域３０１に対するイントラ符号化結果により構成し、この第１のエンハンスレイヤから再度復号化することで得られるローカルデコード画像３０２，３０３を用いる。
【００１９】
また、第２のエンハンスレイヤを構成するために、領域３０１，画像３０２，３０３に対して所定の拡大処理を行うことで図２１（Ｂ）に示すような画像３０４，３０５，３０６を得る。その後、画像３０４，３０５，３０６と、図２１（Ｃ）に示すローカルデコード画像３０７との間でレイヤ間予測符号化を行い、得られた結果を第２のエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。
【００２０】
しかし、このような構成であっても、図２０の構成で起こりうる要因は根本的には改善することが難しい。
【００２１】
図１９（Ａ）の画像フレーム１０１と同図（Ｄ）の縮小画像１０８、及び上記画像フレーム１０１，同図（Ｅ）の画像１０９，同図（Ｆ）の画像１１０は、それぞれＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にレターボックス処理を用いた例である。縮小画像１０８は、画像フレーム１０１から直接縦横比固定でＨＤ解像度の画像フレーム１０１に対して所定の空間フィルタリング処理及び縮小処理を行うことで縦、横共に３／８倍し、ＳＤ解像度に収めるために上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで生成された画像である。
【００２２】
図１９（Ｅ）に示す画像１０９は、まず、ＨＤ解像度の画像フレーム１０１の横サイズを縦横比固定でＳＤ解像度の２.２５倍の横サイズに合わせるために、画像フレーム１０１に対して所定の空間フィルタリング処理及び所定の縮小処理により縦、横ともに２７／３２倍するとともに、上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで生成される。その後、図１９（Ｅ）に示す画像１０９に対して所定の空間フィルタリング処理及び所定の縮小処理を行い、縦、横共に１／２.２５倍することで図１９（Ｆ）に示す縮小画像１１０が生成される。
【００２３】
このような縮小画像１０８，１１０が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像フレームからレターボックス処理によりＳＤ解像度に内接するように所定の空間フィルタリング及び縮小処理により生成されるため、動画像フレーム１０１全体の特徴を利用することができる代わりに、図１９（Ｃ）に示した縮小画像１０５よりも更に縮小処理を行うため、縮小画像１０８，１１０に含まれる領域内のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が縮小画像１０５に比べて少ない状態となってしまう。
【００２４】
図２２は、図１９が示すようなレターボックス処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。図２２では、４０１がベースレイヤ、４０５がエンハンスレイヤとなる。まず、図２２（Ａ）に示すＳＤ解像度の画像４０１に対して、上下に充填した画素の除去を行うとともに、所定の空間フィルタリング処理による拡大処理により縦、横ともに８／３倍することで、画像４０１から図２２（Ｃ）に示す画像４０３を直接得る。
【００２５】
もしくは、画像４０１に対して所定の空間フィルタリング処理による拡大処理により縦、横ともに２.２５倍することで図２２（Ｂ）に示す画像４０２を得る。その後、画像４０２に対して上下に充填した画素の除去を行うとともに、所定の空間フィルタリング処理による拡大処理により縦、横ともに３２／２７倍することで図２２（Ｃ）に示す画像４０３を得る。
【００２６】
次に、図２２（Ｅ）に示す画像４０５のエンハンスレイヤを構成するために、画像４０３と図２２（Ｄ）に示すＨＤ解像度のローカルデコード画像４０４との間でレイヤ間予測符号化を行い、得られた同図（Ｅ）に示すレイヤ間予測符号化情報４０５をエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。
【００２７】
このような空間スケーラブル符号化において、解像度変換にレターボックス処理を利用した場合には、図２０や図２１のような解像度変換にクロッピング処理を用いた場合と比べて、図２２（Ａ）に示す画像４０１に含まれるテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、画像４０１に対して拡大処理を行って得られた図２２（Ｃ）に示す画像４０３は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２０に示した画像２０２，２０４，２０５や図２１に示した画像３０４，３０５，３０６と比較して精細感の乏しいボケた画像となる。
【００２８】
従って、解像度変換にレターボックス処理を利用することは、図２０や図２１のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２０や図２１と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。
【００２９】
図２３（Ａ）、（Ｂ）、（Ｄ）及び図２３（Ａ）、（Ｃ）、（Ｄ）は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にスクイーズ処理を用いた例を示す。図２３（Ｃ）に示す画像５０２は、同図（Ａ）に示すＨＤ解像度の画像フレーム５０１の横方向に所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍することでスクイーズ処理を行うことで生成される。その後、画像５０２に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に１／２.２５倍することで図２３（Ｄ）に示す縮小画像５０３が生成される。
【００３０】
また、図２３（Ｂ）に示す画像５０４は、同図（Ａ）に示すＨＤ解像度の画像フレーム５０１に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に４／９倍することで生成される。その後、画像５０４の横方向に所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍してスクイーズ処理を行うことで図２３（Ｄ）に示す縮小画像５０３が生成される。
【００３１】
このようにして得られた縮小画像５０３が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像の画像フレーム５０１からスクイーズ処理により横方向に対して所定の空間フィルタリング及び縮小処理を行うことで生成されるため、画像フレーム５０１全体の特徴を利用することができる代わりに、図１９（Ｃ）に示した縮小画像１０５よりも横方向に対して更に縮小処理を行うため、図２３（Ｄ）に示す縮小画像５０３に含まれる領域内の横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が前記縮小画像１０５に比べて少ない状態となってしまう。
【００３２】
また、前記縮小画像１０５はより重要とされた領域に対してクロッピング処埋を行った結果得られた画像であり、このクロッピング処理された領域に対しては画像の縦横比を保っているが、スクイーズ処理を行って生成された縮小画像５０３の場合には、図２３（Ｄ）に示したように、画像全体に渡って横方向の縮小処理を行うことから本来の画像の縦横比を保つことができずに、画像全体として歪んだ画像となってしまう。
【００３３】
図２４は、図２３が示すようなスクイーズ処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示す。図２４では、（Ａ）に示す６０１がベースレイヤ、（Ｅ）に示す６０６がエンハンスレイヤとなる。まず、図２４（Ａ）に示すＳＤ解像度の画像６０１に対して所定の空間フィルタリング処理による拡大処理を行い、縦、横ともに２.２５倍することで図２４（Ｂ）に示す画像６０３を得る。
【００３４】
その後、スクイーズを解除するために画像６０３に対して横方向に所定の空間フィルタリング処理による拡大処理を行って３２／２７倍することで、図２４（Ｄ）に示す画像６０４を生成する。もしくは、ＳＤ解像度の画像６０１に対して先にスクイーズを解除することで図２４（Ｃ）に示す画像６０２を生成し、その後所定の空間フィルタリング処理による拡大処理により、縦・横ともに２.２５倍することで同図（Ｄ）に示す画像６０４を得る。
【００３５】
次に、画像６０６のエンハンスレイヤを構成するために、画像６０４と図２４（Ｆ）に示すＨＤ解像度のローカルデコード画像６０５との間でレイヤ間予測符号化を行い、得られた図２４（Ｅ）に示すレイヤ間予測符号化情報６０６をエンハンスレイヤの画像情報とすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。
【００３６】
このような空間スケーラブル符号化において解像度変換にスクイーズ処理を利用した場合には、図２０や図２１のような解像度変換にクロッピング処理を用いた場合と比べてベースレイヤの画像６０１に含まれる横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、図２４のスクイーズ解除及び拡大処理によって得られた画像６０４は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２０の２０２，２０４，２０５や図２１の３０４，３０５，３０６と比較して横方向に対して精細感の乏しいボケた画像となる。
【００３７】
従って、解像度変換にスクイーズ処理を利用することは、図２０や図２１のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２０や図２１と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。
【００３８】
更に、スケーラブル復号化時にベースレイヤの復号画像を表示しようとした場合には、スクイーズ処理が施されていることから画像全体が歪んでいるため、正しく表示しようとした場合には画像全体に対して再度スクイーズを解除し、表示対象がＳＤ解像度のアスペクト比である場合には、表示領域に対してクロッピング処理を行わなければならないという問題が生じる。
【００３９】
本発明は以上の点に鑑みなされたもので、スケーラブル符号化及び復号化を行う際に、より効率良く符号化及び復号化できるようにするための空間解像度変換方法及び空間解像度変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００４０】
上記の目的を達成するため、第１の発明の空間解像度変換方法は、第１の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、第１の空間解像度よりも低い第２の空間解像度を有する映像信号に変換するための空間解像度変換方法であって、
第１の空間解像度を有する映像信号の画像フレームである第１の画像フレーム内で、第２の空間解像度を有する映像信号の画像フレームである第２の画像フレームとするための画像領域であるクロッピング領域を特定する第１のステップと、クロッピング領域内で画像形状を歪ませずに空間解像度変換を行う領域であるオリジナル領域を特定すると共に、第１の画像フレームにおける第１のオリジナル領域を特定するための情報である第１の領域情報を生成する第２のステップと、クロッピング領域内における第１のオリジナル領域外の領域を、画像形状を歪ませて空間解像度変換を行う領域である第１の歪み領域に特定する第３のステップと、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第１のオリジナル領域を第１の縮小方法にて画像形状を歪ませずに縮小して第２のオリジナル領域とすると共に、第１の画像フレームにおける第１のオリジナル領域外の領域である第３の領域を、第１の歪み領域を第１の縮小方法にて縮小した領域と一致する領域となるように、第２の縮小方法にて画像形状を歪ませて縮小して第２の歪み領域とし、第２の画像フレームにおける第２のオリジナル領域を特定するための情報である第２の領域情報を生成して、第２のオリジナル領域と第２の歪み領域とにより、第２の空間解像度を有する第２の画像フレームを生成する第４のステップとを備えたことを特徴とする。
【００４１】
この発明では、オリジナル領域の画像情報は歪ませることなく第１の解像度の画像情報をそのまま第２の解像度に変換し、クリッピング領域内でオリジナル領域の外側の領域の第１の解像度の画像情報は、第２の解像度に変換して歪み領域に収まるようにしたため、第１の解像度の画像領域内の画像情報をすべて第２の解像度に変換することができると共に、画像情報として重要な領域はオリジナル領域として第２の解像度への変換時にも歪ませることなく解像度変換をすることができる。
【００４２】
また、上記の目的を達成するため、第２の発明は、上記の第１の発明の空間解像度変換方法により、第１の空間解像度を有する映像信号から変換された、第１の空間解像度よりも低い第２の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、再度、第１の空間解像度を有する映像信号に変換する空間解像度変換方法であって、
第２の画像フレームにおける第２のオリジナル領域を特定するための情報である第２の領域情報に基づき、第２の画像フレーム内で第２のオリジナル領域を特定する第１のステップと、第２の画像フレームを第２のクロッピング領域と特定する第２のステップと、第２のクロッピング領域内における、第２のオリジナル領域外の領域を、第２の歪み領域として特定する第３のステップと、第２の画像フレームのサイズと第１の画像フレームのサイズとの比に応じて、第２のオリジナル領域を第１の拡大方法にて画像形状を歪ませずに拡大して第１のオリジナル領域を復元すると共に、第１及び第２の画像フレームの各サイズと、第１及び第２の領域情報とに基づき、第２の歪み領域を、第１の画像フレームにおける第１のオリジナル領域外の領域である第３の領域と一致する領域となるように、第２の拡大方法にて画像形状を歪ませて拡大して第３の領域を復元し、復元した第１のオリジナル領域と復元した第３の領域とにより、第１の空間解像度を有する第１の画像フレームを復元する第４のステップとを備えたことを特徴とする。
【００４３】
この発明では、第１の発明で第１の解像度から第２の解像度に変換された画像フレームを、元の第１の解像度の画像フレームへ解像度変換することができる。
【００４４】
また、上記の目的を達成するため、第３の発明の解像度変換プログラムは、第１の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、第１の空間解像度よりも低い第２の空間解像度を有する映像信号に変換するための空間解像度変換を、コンピュータにより実行させるための空間解像度変換プログラムであって、コンピュータに、第１の発明の各ステップを順次実行させることを特徴とする。
【００４５】
また、上記の目的を達成するため、第４の発明の解像度変換プログラムは、第１の発明の空間解像度変換方法により、第１の空間解像度を有する映像信号から変換された、第１の空間解像度よりも低い第２の空間解像度を有する映像信号を、当該映像信号を構成している画像フレーム単位で、再度、第１の空間解像度を有する映像信号に変換する空間解像度変換を、コンピュータにより実行させるための空間解像度変換プログラムであって、コンピュータに、第２の発明の各ステップを順次実行させることを特徴とする。
【発明の効果】
【００４６】
本発明によれば、第１の解像度の画像領域内の画像情報をすべて第２の解像度に変換し、画像情報として重要な領域はオリジナル領域として第２の解像度への変換時にも歪ませることなく解像度変換をするようにしたため、以下の特長を有する。
【００４７】
（１）オリジナル領域内の画像に対しては歪ませることなく領域内の画素を保護しつつ、オリジナル領域外の画像に対しては各方向に対して縮小処理を行って歪み領域に格納することで、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロッピング領域内に反映できる。
【００４８】
（２）従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度をそのまま表示することは視覚的に問題を生じていたが、本発明では視覚上重要な部分を歪ませることなくＳＤ解像度の画像領域内に格納することができるため、ＳＤ解像度の画像をそのまま表示した場合であっても、視覚的な影響を軽減できる。
【００４９】
（３）従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度の画像を表示するためには再度スクイーズを解除するために拡大処埋を行った後に表示領域を、再度クロッピング処理を行った上で表示する必要があったが、本発明では表示したいクロッピング領域に含まれる歪み領域に対してのみ拡大処理を行えばよいため表示に至るまでの処理を削減できる。
【００５０】
（４）本発明ではオリジナル領域を必要に応じて自由に設定することができるため、画質を維持したい領域を自由に設定できる。
【００５１】
（５）本発明では歪み領域へ格納する際の縮小率を変化させることができるため、必要に応じて画像情報として重要な部分の周波数成分情報をできるだけ維持しつつ歪み領域へ格納できる。
【発明を実施するための最良の形態】
【００５２】
次に、本発明の実施の形態について図面と共に説明する。本発明は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際に、変換対象となるＳＤ解像度の画像領域内に、ＨＤ解像度内においてできるだけ本来の画像情報を維持するための領域であるオリジナル領域を設けると共に、ＨＤ解像度内の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度内にＨＤ解像度内の画像情報の特徴を取り込むための領域である歪み領域をオリジナル領域の外側かつＳＤ解像度の画像領域内に設けるものである。
【００５３】
図１は本発明になる空間解像度変換方法の一実施の形態により変換された画像領域の説明図を示す。ＨＤ解像度の画像領域は、エンハンス領域であるものとする。図１では、エンハンス領域を定義するために、領域１１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。換言すると、領域１１は、ＨＤ解像度の画像領域であり、エンハンス領域である。
【００５４】
また、ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。換言すると、領域１２は、ＳＤ解像度の画像領域であり、クロッピング領域である。更に、オリジナル領域を定義するために、領域１３の左上の座標をＯ（ＸＯ，ＹＯ）、横方向の大きさをＷＯ、縦方向の大きさをＨＯとする。このオリジナル領域１３はクロッピング領域１２内にある。
【００５５】
このオリジナル領域１３は、エンハンス領域１１のＨＤ解像度の画像を歪ませずに元のままの縦横比で画像が格納される領域である。これに対し、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、オリジナル領域１３の外側にあるエンハンス領域１１のＨＤ解像度の画像情報を所定のフィルタリング及び縮小処理して歪ませて取り込んだ画像情報の領域（歪み領域）である。すなわち、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、ＨＤ解像度内の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度のクロッピング領域１２内にＨＤ解像度内の画像情報の特徴を取り込むための歪み領域である。
【００５６】
本発明では、エンハンス領域１１のＨＤ解像度の画像情報の空間解像度を、オリジナル領域１３を含むクロッピング領域１２の画像情報の空間解像度に変換するか、あるいは、上記の逆方向の空間解像度の変換を行うものである。
【００５７】
図２は本発明の空間解像度変換方法の一実施の形態によって一般的な横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素のＳＤ解像度へ空間解像度変換を行う処理過程を示す。また、図３は本発明の空間解像度変換方法の一実施の形態の処理説明用フローチャートである。この図２と図３を用いて本発明の一実施の形態の処理過程を以下に説明する。
【００５８】
まず、高精細なＨＤ解像度の画像フレームを取得する（図３のステップＳ１０１）。図２（Ａ）に２１で示すＨＤ解像度の全画像領域をエンハンス領域（図１の１１に相当）とする。続いて、このエンハンス領域２１内のクロッピング領域（図１の１２に相当）を特定する（図３のステップＳ１０２）。このステップＳ１０２では、図２（Ａ）に点線で示されるように、ＳＤ解像度の画像領域を２.２５倍することでクロッピング領域の縦の大きさをＨＤ解像度の画像領域の縦の大きさに合わせる。また、クロッピング領域の横方向に対しては所定の位置とすることで、エンハンス領域２１内に図２（Ａ）に点線の四角形で示されるクロッピング領域２２を設定する。
【００５９】
ここでは、図２（Ａ）に点線の四角形で示すように、クロッピング領域２２をクロッピング領域の外側の領域が均等になるように配置している。これは、一般に画面内の中央付近に映像としてより重要な内容が含まれることを想定した場合に相当する。ただし、クロッピング領域の配置は、エンハンス領域２１内であれば特に限定されるものではなく、ＳＤ解像度に変換した際に、より映像の特徴を残すことができる位置に配置することが望ましい。
【００６０】
次に、画像情報を維持するためのオリジナル領域（図１の１３に相当）の形状を特定する（図３のステップＳ１０３）とともに、オリジナル領域を設定する（図３のステップＳ１０４）。ここでは、オリジナル領域の形状は矩形とし、オリジナル領域を図２（Ｂ）に２３で示す位置に設定している。なお、オリジナル領域の形状は、図４に示されるような形状モードＩＤが与えられることにより特定することができるようにするとよい。このオリジナル領域２３の配置は、クロッピング領域２２内であれば特に限定されるものではない。
【００６１】
次に、歪み領域を設定する（図３のステップＳ１０５）。ここでは、クロッピング領域外に存在する通常であれば情報が欠落してしまう領域の分だけクロッピング領域側に折り返した分の領域を歪み領域とする。すなわち、クロッピング領域２２内で、かつ、オリジナル領域２３の外側の２つの領域が歪み領域（後述の図２（Ｃ）の２６，２７に相当）に設定される。これにより、図２（Ｂ）に示すように、オリジナル領域２３の外の左側の領域２４の画像情報と、オリジナル領域２３の外の右側の領域２５の画像情報とが、それぞれの歪み領域（後述の図２（Ｃ）の２６，２７に相当）に格納される縮小処理対象となる。
【００６２】
続いて、この縮小処理対象となる領域２４，２５の画像情報に対して、縮小方法を特定し（図３のステップＳ１０６）、横方向に対する所定の空間フィルタリング処理及び縮小処理を行い（図３のステップＳ１０７）、その結果を歪み領域に格納する（図３のステップＳ１０８）。このような処理を行うことで、図２（Ｃ）に示すように、オリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域２２を生成する。
【００６３】
この図２（Ｃ）に示すクロッピング領域２２は最終目標であるＳＤ解像度の領域の縦，横ともに２.２５倍した領域であることから、このオリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域の画像情報に対して所定の空間フィルタリング及び縮小処理により１／２.２５倍に縮小する処理を行うことで、図２（Ｅ）に示すように、オリジナル領域２８及び歪み領域３１，３２で構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得ることができる（図３のステップＳ１０９）。
【００６４】
なお、上記の説明では、図２（Ｂ）に示したオリジナル領域２３の外側の領域２４、２５の画像情報に対して縮小処理を行うものとして説明したが、図２（Ｂ）に示した全体の画像領域の画像情報に対して所定の空間フィルタリング及び縮小処理を行い、１／２.２５倍に縮小して、図２（Ｄ）に示すような領域２８，２９，３０からなる縮小画像を得た後、その縮小画像のオリジナル領域２８の外側の領域２９、３０の画像情報に対して所定の空間フィルタリング及び縮小処理を行い、その結果を歪み領域３１、３２に格納することで、図２（Ｅ）に示した、オリジナル領域２８及び歪み領域３１，３２で構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得るようにしてもよい。
【００６５】
更に、以上の実施の形態では、いずれも歪み領域については２段階の縮小処理を行っているが、図２（Ｂ）に示す全領域の画像情報のうち、オリジナル領域２３の外の左側の領域２４の画像情報と、オリジナル領域２３の外の右側の領域２５の画像情報に対しては、横方向及び縦方向に対して同時に１段階の所定の空間フィルタリング及び縮小処理を行い、その結果を同図（Ｅ）に示す歪み領域３１、３２に格納すると共に、オリジナル領域２３に対しても１回の所定の空間フィルタリング及び縮小処理を行うことにより１／２.２５倍に縮小する処理を行って同図（Ｅ）に示すオリジナル領域２８を得るようにしてもよい。
【００６６】
このような処理を行うことで、オリジナル領域２８に対しては従来のクロッピング処理と同等の画像品質を維持し、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換で生じていた画像全体の歪みは視覚上重要なオリジナル領域２８では発生せず、視覚的な影響を軽減できる。更に、上記の実施の形態では、歪み領域３１、３２に対してはクロッピング領域以外のエンハンス領域に含まれる画像情報を最も少ない劣化で格納することができ、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロビング領域内に反映することができる。
【００６７】
次に、本発明の空間解像度変換方法における縮小方法について説明する。図５は本発明方法おける歪み領域を作成するための縮小方法の一例を示す。ここでは説明を簡単にするため、図２のような空間解像度変換を行うものとする。図５において、オリジナル領域と歪み領域との境界を原点とし、クロッピング領域の境界までの長さをＢ、エンハンス領域の境界までの長さをＡとしている。図２の例では、同図（Ｂ）に示す領域２３や２４の横方向の長さをＡ、同図（Ｃ）に示す歪み領域２６や２７の横方向の長さをＢであるとする。また、一般的には、図１のように、オリジナル領域１３と歪み領域との境界を基準として、ＤＥＯ１，ＤＥＯ２，ＤＥＯ３，ＤＥＯ４は上記のＡに対応し、ＤＣＯ１，ＤＣＯ２，ＤＣＯ３，ＤＣＯ４は上記のＢに対応する。
【００６８】
図５において、４１は、区間Ａの領域に含まれる画素の位置を区間Ｂの領域に含まれる画素に再配置を行うための変換式の一例である。変換式４１の定義域は４２に示すものとする。変換式４１中のγが”１”の場合は、図５（Ａ）に４３で示す特性の変換及び同図（Ｂ）に示すような変換となる。上記のγが”１”よりも小さくなるにつれて、図５（Ａ）に示す特性４４及び同図（Ｃ）、同図（Ａ）に示す特性４５及び同図（Ｄ）といったように、オリジナル領域と歪み領域との境界である原点から離れるにつれて縮小率が変化するように画素を再配置することができる。
【００６９】
また、所定の空間フィルタリングで用いられる手法としては、一般には、下記の数１で表わされるフィルタ特性のＬａｎｃｚｏｓ２，あるいは下記の数２で表わされるフィルタ特性のＬａｎｃｚｏｓ３などを用いる。
【００７０】
【数１】
2006295599.tif 000003
【００７１】
【数２】
2006295599.tif 000004
なお、所定の空間フィルタリングで用いられる手法としては、上記以外の周波数変換に基づく縮小方法、ローパスフィルタを利用した手法であっても構わず、本発明において特に限定されるものではないことに注意する。
【００７２】
次に、本発明の空間解像度変換方法の一実施の形態におけるオリジナル領域に隣接する領域に対する解像度変換処理の様子について説明する。図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図６（Ａ）に示すオリジナル領域１３の上側に存在する領域５２が歪み領域であり、領域５１，５２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域５２に格納する。すなわち、図６（Ａ）に５１，５２で示すようにオリジナル領域１３の外の上側の画素領域に対して、歪み領域５２に収まるように所定のフィルタリングによる縮小処理を行い、歪み領域５２に格納する。
【００７３】
また、図６（Ｂ）に示すオリジナル領域１３の下側の領域５３及び５４、同図（Ｃ）に示すオリジナル領域１３の左側の領域５５及び５６、同図（Ｄ）に示すオリジナル領域１３の右側の領域５７及び５８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域５４、５６、５８にそれらの領域の画像情報を格納する。その後、本来のＳＤ解像度を得るために所定のフィルタリングによる縮小処理を行うことで、ＨＤ解像度からＳＤ解像度への変換を行う。
【００７４】
また、図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の左上側、左下側、右上側、右下側の領域に対する解像度変換処理の様子を示す。図７（Ａ）に示すオリジナル領域１３の左上側に存在する領域６２が歪み領域であり、領域６１，６２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域６２に格納する。
【００７５】
また、図７（Ｂ）に示すオリジナル領域１３の左下側の領域６３及び６４、同図（Ｃ）に示すオリジナル領域１３の右上側の領域６５及び６６、同図（Ｄ）に示すオリジナル領域１３の右下側の領域６７及び６８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域６４、６６、６８にそれらの領域の画像情報を格納する。
【００７６】
また、図８（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図８（Ａ）に示すオリジナル領域１３の上側に存在する領域７２が歪み領域であり、領域７１，７２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域７２に格納する。
【００７７】
また、図８（Ｂ）に示すオリジナル領域１３の下側の領域７３及び７４、同図（Ｃ）に示すオリジナル領域１３の左側の領域７５及び７６、同図（Ｄ）に示すオリジナル領域１３の右側の領域７７及び７８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に歪み領域７４、７６、７８にそれらの領域の画像情報を格納する。
【００７８】
ここで、図６のような処理では縦方向及び横方向の処理が別々に行われるため、図７に示した左上側、右上側、左下側、右下側の領域６１〜６８に対しては空間的なフィルタリング及び縮小処理を行うことで図８で示す領域とは別の処理を行っても構わない。図８で示す領域７１〜７８に対しては、図６で示したような横方向、縦方向のフィルタリング及び縮小処理を行う。このように、図６のフィルタリング及び縮小処理にてオリジナル領域に隣接する領域に対する解像度変換処理を行うか、図７と図８のフィルタリング及び縮小処理を組み合わせてオリジナル領域に隣接する領域に対する解像度変換処理を行う。
【００７９】
次に、本発明の空間解像度変換方法を用いた空間スケーラブル符号化方法について図９の画像変換の過程を示す図を用いて説明する。まず、空間スケーラブル符号化を行うにあたり、元のＨＤ解像度をもつ画像フレームを利用して、本発明の空間解像度変換処理を図２に示すように行うことで、図２（Ｅ）に示すオリジナル領域２８及び歪み領域３１と３２で構成されるＳＤ解像度の大きさの画像フレームを得る。
【００８０】
このオリジナル領域と歪み領域を含むＳＤ解像度の画像フレームをベースレイヤとし、このベースレイヤに対して所定の符号化を行う。エンハンスレイヤは、図９（Ｆ）の元のＨＤ解像度を持つ画像フレーム９７とする。その後、所定の復号化を行うことで、図９（Ａ）に示すように、オリジナル領域８１及び歪み領域８２，８３で構成されるＳＤ解像度の大きさの復号画像フレームを得る。領域８１，８２，８３は、図２（Ｅ）の領域２８，３１，３２に相当する。なお、図９（Ａ）及び（Ｂ）にハッチングを付して示す領域は、本来のＨＤ解像度では画像が存在していたが、前述した歪み処理によって必要なくなった存在しない領域を仮想的に示したものである。
【００８１】
このオリジナル領域８１及び歪み領域８２，８３からなる復号画像フレームのクロッピング領域の全体に対して所定の空間フィルタリング及び拡大処理により２.２５倍に拡大することで、図９（Ｂ）に示すように、拡大されたオリジナル領域８９と歪み領域９０，９１からなる画像フレームのクロッピング領域を得る。その後、歪み領域９０，９１に対して所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域８９の外側に格納することで、図９（Ｄ）に示すオリジナル領域８９と横方向の歪みが解消された領域９２，９３とからなるＨＤ解像度の画像フレームを得る。
【００８２】
なお、上記の処理の替わりに、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域の外側に格納することで、同図（Ｃ）に示すようなオリジナル領域８１と横方向の歪みが解消された領域８６，８７からなるクリッピング領域の画像フレームを取得し、この画像フレーム全体に対して所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、同様に図９（Ｄ）に示すオリジナル領域８９と歪みが解消された領域９２，９３からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。
【００８３】
あるいは、以上の歪み領域の２段階の拡大処理に替えて、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行うと共に、オリジナル領域８１に対しては所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、直接に図９（Ｄ）に示したオリジナル領域８９と歪みが解消された領域９２，９３からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。
【００８４】
その後、ベースレイヤから得られた図９（Ｄ）に示す画像フレームと、図９（Ｆ）に示すエンハンスレイヤ９７との間で階層間の予測符号化を行う。なお、図９（Ｆ）中、点線で囲んだ領域９７は、クロッピング領域を示す。この階層間の予測符号化によって得られた図９（Ｅ）に示すレイヤ間の予測符号情報９８に対して所定の符号化を行うことで、エンハンスレイヤの符号化出力を得る。このような処理を行うことで、本発明の空間スケーラブル符号化方法を実現することができる。
【００８５】
また、本発明の空間スケーラブル復号化方法としては、符号化方法で行ったベースレイヤの復号処理と同様の処理を行うことで、図９（Ｄ）に示した領域８９，９２，９３を得ると共に、エンハンスレイヤの復号処理を行うことでレイヤ間の予測符号情報９８を得る。その後、ベースレイヤとエンハンスレイヤとの間で階層間の予測復号化を行うことで、クリッピング領域９７を復号することで、本発明の空間スケーラブル復号化方法を実現することができる。
【００８６】
次に、ベースレイヤであるＳＤ解像度からエンハンスレイヤであるＨＤ解像度への、拡大方向の本発明の解像度変換方法の一実施の形態について、更に図１０及び図１１と共に説明する。図１０は拡大方向の本発明の解像度変換方法の一実施の形態の概念図を示す。図１０（Ａ）に示すＳＤ解像度のベースレイヤ画像から同図（Ｄ）に示すＨＤ解像度のエンハンスレイヤ画像に拡大方向の解像度変換を行う場合、少なくともエンハンスレイヤ画像の領域７０７の左上端Ｅ１と右下端Ｅ２の各座標（ＸＥ１，ＹＥ１）、（ＸＥ２，ＹＥ２）と、オリジナル領域７０６の左上端Ｅ３と右下端Ｅ４の各座標（ＸＥ３，ＹＥ３）、（ＸＥ４，ＹＥ４）、若しくはエンハンスレイヤ画像の２つの領域７０６、７０７を特定するためのこれらの座標情報を取得するための代替情報が必要となる。つまり、Ｅ３、Ｅ４によってエンハンスレイヤ側で対応するオリジナル領域７０６を特定できる。その周囲の領域７０７は、歪み領域を元に戻した後の画像を格納する領域である。
【００８７】
また、図１０（Ａ）に示すベースレイヤ画像の領域７０２の左上端Ｂ１と右下端Ｂ２の各座標（ＸＢ１，ＹＢ１）、（ＸＢ２，ＹＢ２）と、オリジナル領域７０１の左上端Ｂ３と右下端Ｂ４の各座標（ＸＢ３，ＹＢ３）、（ＸＢ４，ＹＢ４）、若しくはベースレイヤ画像の２つの領域７０１、７０２を特定するためのこれらの座標情報を取得するための代替情報が必要となる。つまり、Ｂ３、Ｂ４によってベースレイヤ側のオリジナル領域７０１を特定できる。その周囲の領域７０２は、歪み領域である。
【００８８】
なお、座標の基準点は、説明を簡単にするため、Ｅ１、Ｂ１を（０，０）として説明する。また、Ｂ２，Ｂ３，Ｂ４はＢ１を基準にした図であるものとする。次に、図１１のフローチャートと共に本実施の形態の空間解像度変換動作について説明する。まず、ＳＤ解像度のベースレイヤ画像のオリジナル領域の形状を特定するための情報を取得することで、オリジナル領域（図１０（Ａ）の７０１）の形状を特定し（ステップＳ２０１）、続いてＨＤ解像度からＳＤ解像度に変換したときに得られるＥ１、Ｅ２、Ｅ３、Ｅ４、及びＢ１、Ｂ２、Ｂ３、Ｂ４の座標情報を取得する（ステップＳ２０２）。若しくは、エンハンスレイヤ及びベースレイヤに含まれる各領域を特定するための座標情報を取得するための代替情報を取得し、これらの座標を特定する。これらの情報からオリジナル領域を特定する（ステップＳ２０３）。
【００８９】
次に、クロッピング領域を特定する（ステップＳ２０４）。このステップＳ２０４の処理では、説明を簡単にするために図１０（Ｂ）に示す仮想画像Ｍを考える。この仮想画像Ｍの左上端Ｍ１と右下端Ｍ２によって特定できる領域がエンハンスレイヤ画像内で対応するクロッピング領域となる。そこで、このＭ１、Ｍ２によって特定できる領域の求め方を以下説明する。
【００９０】
まず、ベースレイヤ画像のオリジナル領域７０１の点Ｂ３、Ｂ４と、エンハンスレイヤ画像のオリジナル領域の点Ｅ３、Ｅ４に注目する。これらの点の座標からベースレイヤ画像のオリジナル領域７０１を、エンハンスレイヤ画像の対応するオリジナル領域７０６に拡大するための拡大率を算出する。拡大率は点Ｂ３、Ｂ４及びＥ３、Ｅ４から得られる各領域の対応する辺同士の比から算出する。
【００９１】
求めた拡大率に基づいて、図１０（Ａ）のベースレイヤ画像を拡大すると、同図（Ｂ）の仮想画像Ｍのような拡大したオリジナル領域を含むベースレイヤ画像が得られる。拡大処理により、Ｂ１はＭ１、Ｂ２はＭ２、Ｂ３はＭ３、Ｂ４はＭ４に対応する。
【００９２】
しかし、この段階では、図１０（Ｂ）の点Ｍ１、Ｍ２、Ｍ３、Ｍ４は、同図（Ｄ）のエンハンスレイヤ画像内のどの部分に対応するかが分からないため、Ｍ３とＥ３、Ｍ４とＥ４の座標が対応するように、仮想画像Ｍの点Ｍ１、Ｍ２、Ｍ３、Ｍ４の座標を平行移動して対応させる。このような処理を行うことで、Ｍ１、Ｍ２がエンハンスレイヤ画像内のどの位置に対応するかを特定する。このようにして修正したＭ１、Ｍ２の座標をエンハンスレイヤ画像内の対応するクロッピング領域として特定する。
【００９３】
次に、クロッピング領域内で、かつ、オリジナル領域の外側の歪み領域を特定する（ステップＳ２０５）。ここでは、図１０（Ｄ）のＥ１、Ｅ２、Ｅ３、Ｅ４の関係から歪み領域７０７を特定する。また、ベースレイヤ画像から歪み領域を先に元に戻す必要がある場合は、Ｅ１、Ｅ２、Ｅ３、Ｅ４の座標から特定されるエンハンスレイヤ画像の大きさを仮想画像Ｍを作成した時の拡大率の逆数により縮小率を算出し、エンハンスレイヤ画像の各座標を縮小率を用いて縮小することで図１０（Ｃ）に示す仮想画像Ｎを生成する。
【００９４】
生成した仮想画像Ｎの左上端Ｎ１、右下端Ｎ２からなる領域内の点Ｎ３、Ｎ４によって特定されるオリジナル領域の外側の領域を特定することができる。これらの領域に対して、本実施の形態の解像度変換方法を用いて歪みを元に戻すことができる。
【００９５】
次に、歪み領域に含まれる画像を拡大する際の拡大方法を特定するための情報を取得することで拡大方法を特定し（ステップＳ２０６）、その特定した拡大方法によって歪み領域を元に戻すための拡大処理を行う（ステップＳ２０７）。歪み領域を元に戻した後の画像をオリジナル領域外に格納する（ステップＳ２０８）。これにより、例えば仮想画像Ｎのオリジナル領域７０４の外側の領域７０５に歪み領域の画像情報を元に戻した画像情報が格納される。
【００９６】
最後に、クロッピング領域に含まれる画像を所定の拡大方法により拡大する（ステップＳ２０９）。ここでは、仮想画像Ｍを想定する場合は、ステップＳ２０４のクロッピング領域特定ステップにおいてクロッピング領域の拡大を行ってもよい。また、クロッピング領域内に含まれる画像であるベースレイヤ画像内のオリジナル領域に対して拡大処理を行ってもよい。また、仮想画像Ｎを想定する場合は、ベースレイヤ画像から仮想画像Ｎを作成するために歪み領域拡大ステップＳ２０７を行った後、仮想画像ＮのＮ１、Ｎ２の座標から特定される縮小後のクロッピング領域に対してステップＳ２０８の拡大処理を行う。このときの拡大では、Ｅ３、Ｅ４、Ｂ３、Ｂ４の関係から求めた拡大率を利用する。
【００９７】
なお、以上の実施の形態では、説明を簡単にするために図１を用いて本発明で利用する各領域について説明している。この説明において、オリジナル領域は矩形であるものとして話を進めているが、必ずしもオリジナル領域は矩形である必要はない。図１２から図１７は、オリジナル領域の形状について示した概念図である。
【００９８】
図１２は本発明になる空間解像度変換方法の他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１００３として回転を許容した長方形を採用した場合の例である。図１で示されたオリジナル領域１３の長方形では、長方形を定義するために左上の座標Ｏ（Ｘ０，Ｙ０）と、長方形の横の大きさＷＯ，縦の大きさＨＯを採用していたため、オリジナル領域１３に対して長方形を回転させた領域を定義することが難しかった。
【００９９】
そこで、図１２の実施の形態では、オリジナル領域１００３の長方形の中心座標Ｏ（Ｘ０，Ｙ０）と長方形の左上の座標Ｓ１（Ｘs1，Ｙs1）を腕の長さとした座標形式で定義する。ここでは、中心座標をＯ、補助座標をＳ１としている。なお、図１２ではエンハンス領域を定義するために、領域１００１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１００２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１００】
図１３は本発明になる空間解像度変換方法の他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１１０３として円形を採用した場合の例である。この場合も同様に中心座標Ｏ、補助座標をＳ１としている。また、図１３ではエンハンス領域を定義するために、領域１１０１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１１０２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１０１】
図１４は本発明になる空間解像度変換方法の更に他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１２０３として回転を許容したひし形を採用した場合の例である。ひし形の場合、対角線の長さが縦方向と横方向で異なることから、中心座標Ｏ、補助座標Ｓ１，補助座標Ｓ２を定義する。また、図１４では、エンハンス領域を定義するために、領域１２０１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１２０２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１０２】
図１５は本発明になる空間解像度変換方法の更に他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１３０３として回転を許容した楕円形を採用した場合の例である。オリジナル領域１３０３の楕円形は２つの焦点が必要となるが、他の形状との整合性を保つため中心座標Ｏを採用し、１つ目の焦点座標を補助座標Ｓ１として中心座標Ｏと補助座標Ｓ１からもうひとつの焦点座標を計算することで２つの焦点を特定する。また、楕円上に補助座標Ｓ２を定義することで、回転を許容した楕円形を定義することができる。
【０１０３】
また、図１５では、エンハンス領域を定義するために、領域１３０１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１３０２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１０４】
図１６は本発明になる空間解像度変換方法の更に他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１４０３として回転を許容した多角形を採用した場合の例である。オリジナル領域１４０３の中心座標Ｏ、補助座標Ｓ１を定義することで、まず円形を想定し、円周を等分する距離に補助座標Ｓ２を定義することで、回転を許容した多角形を定義することができる。
【０１０５】
また、図１６では、エンハンス領域を定義するために、領域１４０１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１４０２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１０６】
図１７は本発明になる空間解像度変換方法の更に他の実施の形態により変換された画像領域の説明図を示す。この実施の形態は、オリジナル領域１５０３として任意形状を採用した場合の例である。オリジナル領域１５０３は任意形状であるため、中心座標Ｏと、複数の補助座標Ｓ１、Ｓ２等を用意することで任意形状を定義する。
【０１０７】
ただし、以上のような各種のオリジナル領域の形状は、単に中心座標と補助座標の位置や数からでは判断することが難しい。そこで、オリジナル領域の形状を特定するために、図４のような対応表によって管理するとよい。この対応表は、形状を形状モードＩＤで番号付けする。また、各形状を表現するために必要な中心座標、補助座標の数を特定するための情報との関連付けが行われている。
【０１０８】
このような形状モードＩＤと、中心座標、補助座標の情報を本発明の解像度変換後の画像フレームとともに伝送することで、歪み領域を元に戻す際にオリジナル領域や歪み領域などを特定することができ、正しくもとの大きさの画像フレームに戻すことが可能となる。また、歪み領域へ格納する際の空間フィルタリング及び縮小処理は、図１３に示すようなオリジナル領域の法線方向に対して行うとよい。
【０１０９】
なお、図１７では、エンハンス領域を定義するために、領域１５０１の左上の座標をＥ（ＸＥ，ＹＥ）、横方向の大きさをＷＥ、縦方向の大きさをＨＥとする。ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１５０２の左上の座標をＣ（ＸＣ，ＹＣ）、横方向の大きさをＷＣ、縦方向の大きさをＨＣとする。
【０１１０】
なお、本発明は上記の実施の形態に限定されるものではなく、上記の実施の形態の空間解像度変換方法をコンピュータにより実行させるコンピュータプログラムも包含するものである。ここで、上記のコンピュータプログラムは記録媒体に記録されており、記録媒体からコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータにダウンロードされるようにしてもよい。
【産業上の利用可能性】
【０１１１】
本発明は、解像度変換装置及び解像度変換プログラムなどに適用できる。また本発明は、スケーラブル符号化装置の解像度変換部及びスケーラブル符号化プログラムの解像度変換手段などに適用できる。更に本発明は、スケーラブル復号化装置の解像度変換部及びスケーラブル復号化プログラムの解像度変換手段などに適用できる。
【図面の簡単な説明】
【０１１２】
【図１】本発明の空間解像度変換方法の一実施の形態により変換された画像領域の説明図である。
【図２】本発明方法の一実施の形態の解像度変換の処理過程を示すための概念図である。
【図３】本発明方法の一実施の形態の解像度変換処理説明用フローチャートである。
【図４】本発明の歪み領域の形状の種類及び形状を表現するために必要な座標数を示すための図である。
【図５】本発明方法おける歪み領域を作成するための縮小方法の一例を説明する概念図である。
【図６】本発明の解像度変換の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。
【図７】本発明の解像度変換の左上側、右上側、左下側、右下側の領域に対する解像度変換処理の様子を示すための概念図である。
【図８】本発明の解像度変換において、左上側、右上側、左下側、右下側の領域を除いた上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。
【図９】本発明の解像度変換処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その１）である。
【図１０】本発明の解像度変換処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その２）である。
【図１１】本発明方法の他の実施の形態の解像度変換処理説明用フローチャートである。
【図１２】本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する長方形とした場合の様子を示すための概念図である。
【図１３】本発明の解像度変換処理を行う際の歪み領域の形状を円形とした場合の様子を示すための概念図である。
【図１４】本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容するひし形とした場合の様子を示すための概念図である。
【図１５】本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する楕円形とした場合の様子を示すための概念図である。
【図１６】本発明の解像度変換処理を行う際の歪み領域の形状を回転を許容する多角形とした場合の様子を示すための概念図である。
【図１７】本発明の解像度変換処理を行う際の歪み領域の形状を任意形状とした場合の様子を示すための概念図である。
【図１８】従来のスケーラブル符号化で行われる解像度変換の様子を示すための概念図である。
【図１９】従来のクロッピング処理及びレターボックス処理の様子を示すための概念図である。
【図２０】従来のクロッピング処埋を用いた空間スケーラブル符号化の処理過程を示すための概念図（その１）である。
【図２１】従来のクロッピング処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その２）である。
【図２２】従来のレターボックス処理を用いた空間スケーラブル符号化の処理過程を示すための概念図である。
【図２３】従来のスクイーズ処理の様子を示すための概念図である。
【図２４】従来のスクイーズ処埋を用いた空間スケーラブル符号化の処理過程を示すための概念図である。
【符号の説明】
【０１１３】
１１、２１  エンハンス領域
１２、２２、９７  クロッピング領域
１３、２３、２８、８１、８９、７０１、７０６  オリジナル領域
２６、２７、３１、３２、８２、８３、９０、９１、７０２  歪み領域
【図１】
2006295599.tif 000005
【図２】
2006295599.tif 000006
【図３】
2006295599.tif 000007
【図４】
2006295599.tif 000008
【図５】
2006295599.tif 000009
【図６】
2006295599.tif 000010
【図７】
2006295599.tif 000011
【図８】
2006295599.tif 000012
【図９】
2006295599.tif 000013
【図１０】
2006295599.tif 000014
【図１１】
2006295599.tif 000015
【図１２】
2006295599.tif 000016
【図１３】
2006295599.tif 000017
【図１４】
2006295599.tif 000018
【図１５】
2006295599.tif 000019
【図１６】
2006295599.tif 000020
【図１７】
2006295599.tif 000021
【図１８】
2006295599.tif 000022
【図１９】
2006295599.tif 000023
【図２０】
2006295599.tif 000024
【図２１】
2006295599.tif 000025
【図２２】
2006295599.tif 000026
【図２３】
2006295599.tif 000027
【図２４】
2006295599.tif 000028