(57)【要約】【課題】補強信号を用いて、被写体を含む画像の分解能を効率的に向上させる。【解決手段】画像符号化装置１００のオブジェクト検出手段２は、画像Ｈの縮小画像Ｌからオブジェクトを検出し、オブジェクト領域情報Ｄを生成する。画像符号化手段１は、オブジェクト領域情報Ｄの示す領域を高分解能化するための補強信号Ｅを生成し、縮小画像Ｌ及び補強信号Ｅを符号化する。画像復号装置２００のオブジェクト検出手段４は、縮小画像Ｌから所定のオブジェクトを検出し、オブジェクト領域情報Ｄを生成する。画像復号手段３は、画像符号化装置１００から入力した符号列を復号し、縮小画像Ｌ及び補強信号Ｅを生成し、オブジェクト領域情報Ｄの示す領域に配置した補強信号Ｅと縮小画像Ｌとにより鮮鋭化画像Ｈを生成する。これにより、オブジェクト領域情報Ｄの符号列を生成する必要がないから、符号列のデータ量は少なくて済み、符号化効率を上げることができる。【選択図】図２
2011130114.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力し、前記画像を低分解能化し、前記低分解能化した画像を符号化して符号列を出力する画像符号化装置において、
前記低分解能化された画像内に含まれる所定のオブジェクトを検出するオブジェクト検出手段と、
前記入力された画像を低分解能化して第１の符号列に符号化し、前記オブジェクト検出手段により検出されたオブジェクトを含む画像に基づいて、画像を高分解能化するための補強信号を生成し、前記補強信号を第２の符号列に符号化し、前記第１の符号列と前記第２の符号列とを出力する画像符号化手段と、を備えたことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記オブジェクト検出手段は、
前記低分解能化された画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含む空間領域をオブジェクト領域情報として生成し、
前記画像符号化手段は、
前記入力された画像から画素を間引いて、低分解能化した縮小画像を生成し、前記縮小画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する画像縮小手段と、
前記画像縮小手段により生成された縮小画像を符号化し、符号列を生成する縮小画像符号化手段と、
前記画像縮小手段により生成された縮小画像に画素を挿入し、拡大画像を生成する画像拡大手段と、
前記画像拡大手段により生成された拡大画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像を切り出す第１の画像切り出し手段と、
前記入力された画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像を切り出す第２の画像切り出し手段と、
前記第１の画像切り出し手段により切り出された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する差分演算手段と、
前記差分演算手段により生成された補強信号を符号化し、符号列を生成する補強信号符号化手段と、を備え、
前記縮小画像符号化手段により生成された符号列と、前記補強信号符号化手段により生成された符号列とを出力する、ことを特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記画像拡大手段及び第１の画像切り出し手段の代わりに、画像拡大切り出し手段を備え、
前記画像拡大切り出し手段は、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域から所定の領域を間引き、前記画像縮小手段により生成された縮小画像から、前記間引き後の空間領域の画像を切り出し、前記切り出した画像に画素を挿入して拡大し、
前記差分演算手段は、前記画像拡大切り出し手段により拡大された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する、ことを特徴とする画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、
前記オブジェクト検出手段は、
前記低分解能化された画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含むフレームの時間領域をオブジェクト領域情報として生成し、
前記画像符号化手段は、
前記入力された画像からフレームを間引いて、低分解能化した縮小画像を生成し、前記縮小画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する画像縮小手段と、
前記画像縮小手段により生成された縮小画像を符号化し、符号列を生成する縮小画像符号化手段と、
前記画像縮小手段により生成された縮小画像にフレームを挿入し、拡大画像を生成する画像拡大手段と、
前記画像拡大手段により生成された拡大画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域の画像を切り出す第１の画像切り出し手段と、
前記入力された画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域の画像を切り出す第２の画像切り出し手段と、
前記第１の画像切り出し手段により切り出された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する差分演算手段と、
前記差分演算手段により生成された補強信号を符号化し、符号列を生成する補強信号符号化手段と、を備え、
前記縮小画像符号化手段により生成された符号列と、前記補強信号符号化手段により生成された符号列とを出力する、ことを特徴とする画像符号化装置。
【請求項５】
請求項４に記載の画像符号化装置において、
前記画像拡大手段及び第１の画像切り出し手段の代わりに、画像拡大切り出し手段を備え、
前記画像拡大切り出し手段は、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域におけるフレームから所定のフレームを間引き、前記画像縮小手段により生成された縮小画像から、前記間引き後の時間領域におけるフレームからなる画像を切り出し、前記切り出した画像にフレームを挿入して拡大し、
前記差分演算手段は、前記画像拡大切り出し手段により拡大された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する、ことを特徴とする画像符号化装置。
【請求項６】
請求項２または４に記載の画像符号化装置において、
前記オブジェクト検出手段は、前記オブジェクトをそれぞれ含むＦ個（Ｆは０以上の整数）の領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）をオブジェクト領域情報として生成し、
前記第１の画像切り出し手段は、前記拡大画像から、前記オブジェクト領域情報の示すＦ個の領域Ｄｉの画像Ｂｉをそれぞれ切り出し、
前記第２の画像切り出し手段は、前記入力された画像から、前記オブジェクト領域情報の示すＦ個の領域Ｄｉの画像Ｃｉをそれぞれ切り出し、
前記差分演算手段は、前記第１の画像切り出し手段により切り出されたＦ個の画像Ｂｉと、前記第２の画像切り出し手段により切り出されたＦ個の画像Ｃｉとの間の差分をそれぞれ演算し、Ｆ個の補強信号Ｅｉを生成する、ことを特徴とする画像符号化装置。
【請求項７】
請求項２または４に記載の画像符号化装置において、
前記画像符号化手段は、さらに、前記縮小画像符号化手段により生成された符号列を復号し、局所復号画像を生成し、前記局所復号画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する局所画像復号手段を備え、
前記画像拡大手段は、前記局所画像復号手段により生成された局所復号画像を拡大して拡大画像を生成し、
前記オブジェクト検出手段は、前記局所画像復号手段により出力されたオブジェクト検出用画像に基づいて所定のオブジェクトを検出し、オブジェクト領域情報を生成する、ことを特徴とする画像符号化装置。
【請求項８】
請求項１から７までのいずれか一項の画像符号化装置から、低分解能の画像の符号列、及び高分解能の画像を得るための補強信号の符号列を入力し、前記符号列を復号して画像を出力する画像復号装置において、
前記符号列を復号して生成された低分解能の画像を用いて、前記低分解能の画像内に含まれる所定のオブジェクトを検出するオブジェクト検出手段と、
前記入力した符号列を復号し、低分解能の画像及び補強信号を生成し、前記オブジェクトが検出された領域に前記補強信号を配置して補強画像を生成し、前記低分解能の画像と補強画像とを加算し、加算結果の画像を出力する画像復号手段と、を備えたことを特徴とする画像復号装置。
【請求項９】
請求項８に記載の画像復号装置において、
請求項１、請求項２、請求項３、請求項２に従属する請求項６、及び、請求項２に従属する請求項７のうちのいずれか一項の画像符号化装置から、前記符号列を入力し、
前記オブジェクト検出手段は、
前記低分解能の画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含む空間領域をオブジェクト領域情報として生成し、
前記画像復号手段は、
前記低分解能の画像の符号列を復号し、縮小画像を生成する縮小画像復号手段と、
前記補強信号の符号列を復号し、補強信号を生成する補強信号復号手段と、
前記縮小画像復号手段により生成された縮小画像に画素を挿入し、拡大画像を生成する画像拡大手段と、
前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域に、前記補強信号復号手段により生成された補強信号を配置し、補強画像を生成する配置手段と、
前記画像拡大手段により生成された拡大画像と、前記配置手段により生成された補強画像とを加算し、加算後の画像を出力する加算手段と、を備えたことを特徴とする画像復号装置。
【請求項１０】
請求項９に記載の画像復号装置において、
前記配置手段及び加算手段の代わりに、配置加算手段を備え、
前記配置加算手段は、前記画像拡大手段により生成された拡大画像における、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像に、前記補強信号復号手段により生成された補強信号を加算し、加算後の拡大画像を出力する、ことを特徴とする画像復号装置。
【請求項１１】
請求項８に記載の画像復号装置において、
請求項１、請求項４、請求項５、請求項４に従属する請求項６、及び、請求項４に従属する請求項７のうちのいずれか一項の画像符号化装置から、前記符号列を入力し、
前記オブジェクト検出手段は、
前記低分解能の画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含むフレームの時間領域をオブジェクト領域情報として生成し、
前記画像復号手段は、
前記低分解能の画像の符号列を復号し、縮小画像を生成する縮小画像復号手段と、
前記補強信号の符号列を復号し、補強信号を生成する補強信号復号手段と、
前記縮小画像復号手段により生成された縮小画像にフレームを挿入し、拡大画像を生成する画像拡大手段と、
前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すフレームの時間領域に、前記補強信号復号手段により生成された補強信号のフレームを配置し、補強画像を生成する配置手段と、
前記画像拡大手段により生成された拡大画像と、前記配置手段により生成された補強画像とを加算し、加算後の画像を出力する加算手段と、を備えたことを特徴とする画像復号装置。
【請求項１２】
請求項１１に記載の画像復号装置において、
前記配置手段及び加算手段の代わりに、配置加算手段を備え、
前記配置加算手段は、前記画像拡大手段により生成された拡大画像における、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すフレームの時間領域の画像に、前記補強信号復号手段により生成された補強信号を加算し、加算後の拡大画像を出力する、ことを特徴とする画像復号装置。
【請求項１３】
請求項９または１１に記載の画像復号装置において、
前記オブジェクト検出手段は、前記オブジェクトをそれぞれ含むＦ個（Ｆは０以上の整数）の領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）をオブジェクト領域情報として生成し、
前記補強信号復号手段は、前記補強信号の符号列を復号し、Ｆ個の補強信号Ｅｉを生成し、
前記配置手段は、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すＦ個の領域Ｄｉに、前記補強信号復号手段により生成されたＦ個の補強信号Ｅｉを配置し、補強画像を生成する、ことを特徴とする画像復号装置。
【請求項１４】
請求項９または１１に記載の画像復号装置において、
さらに、前記縮小画像復号手段により生成された縮小画像を画面表示する表示手段を備え、
前記表示手段は、ユーザの操作に従って、前記加算手段により出力された加算後の画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す領域の画像を切り出し、画面表示する、ことを特徴とする画像復号装置。
【請求項１５】
コンピュータを、請求項１から７までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラム。
【請求項１６】
コンピュータを、請求項８から１４までのいずれか一項に記載の画像復号装置として機能させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関し、特に、補強信号を用いて画像の高精細化を実現する技術に関する。
【背景技術】
【０００２】
従来、画像の高精細化を実現するための方式として、第２世代ＥＤＴＶ（Ｅｎｈａｎｃｅｄ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）方式、階層符号化方式、オブジェクト符号化方式等が知られている。第２世代ＥＤＴＶ方式は、補強信号を用いた符号化及び変調方式であり、ＮＴＳＣ信号のスペクトルにおける吹抜ホールに水平解像度補強信号を重畳し、アスペクト比１６：９の被伝送画像をアスペクト比４：３フォーマットのレターボックスにて送信するときに、画面の上下に生じる無画部を利用し、垂直解像度補強信号及び垂直時間解像度補強信号を伝送するものである。
【０００３】
また、階層符号化方式は、画像を複数の階層（主に、異なる解像度の画像）に分割し、階層毎に符号化方式を選定して符号化を行うものである（例えば、特許文献１，２を参照）。また、オブジェクト符号化方式は、画像を、被写体等を含む部分画像の領域に分割し、領域毎に手法及びパラメータを適応させて符号化を行うものである（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−７３７８６号公報
【特許文献２】特開２０００−４１１４９号公報
【非特許文献】
【０００５】
【非特許文献１】“Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ−，Ｐａｒｔ２：Ｖｉｓｕａｌ，Ａｍｅｎｄｍｅｎｔ１：Ｖｉｓｕａｌ  ｅｘｔｅｎｓｉｏｎｓ，”ＩＳＯ／ＩＥＣ１４４９６−２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の第２世代ＥＤＴＶ方式では、画像全体に対して適用する水平、垂直等の補強信号を伝送するから、局所的な被写体を含む部分画像のみに適用することができない。このため、補強信号は、局所的な被写体を含む部分画像だけでなく、それ以外の画像にまで割り当てられてしまう。つまり、補強信号は、高精細化を要する局所的な被写体を含む領域だけでなく、高精細化を要しない領域にも割り当てられるから、情報伝達の効率性が損なわれてしまうという問題があった。
【０００７】
また、前述の特許文献１の階層符号化方式では、画像を、再生画質への影響が大きい部分と、影響が小さい部分とに分割（階層化）する。しかしながら、この階層化は、被写体とは直接無関係な信号的性質に応じて行われる。このため、階層化は、所定の重要な被写体を含む部分画像の有無にかかわらず行われるから、必ずしもユーザにより注目される領域が高精細化されるとは限らないという問題があった。
【０００８】
また、前述の特許文献２の階層符号化方式では、画像を分割し、ユーザにより注目される領域のみの補強信号を差分情報として伝送することにより、情報伝達の効率性を実現することができる。しかしながら、ユーザにより注目される領域の要求操作を画像復号装置から画像符号化装置へフィードバックする必要があり、双方向の通信が必要になる。このため、この方式は、放送等の単方向の通信路に適用することができないという問題があった。仮に、要求操作をフィードバックしない場合には、画像復号装置は、画像符号化装置から受信した差分情報が、全体画像におけるどこの領域の画像であるかを認識することができないから、画像符号化装置は、全体画像及び差分情報の符号列に加えて、領域に関する情報の符号列も画像復号装置へ送信する必要がある。このため、符号量が増加し、符号化の効率化を図ることができず、ユーザにより注目される領域について、その画像を効率的に高精細化することができないという問題があった。
【０００９】
そこで、本発明は以上の課題を鑑みてなされたものであり、その目的は、補強信号を用いて、オブジェクトである被写体を含む画像の分解能を、効率的に向上させることが可能な画像符号化装置、画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１の発明は、画像を入力し、前記画像を低分解能化し、前記低分解能化した画像を符号化して符号列を出力する画像符号化装置において、前記低分解能化された画像内に含まれる所定のオブジェクトを検出するオブジェクト検出手段と、前記入力された画像を低分解能化して第１の符号列に符号化し、前記オブジェクト検出手段により検出されたオブジェクトを含む画像に基づいて、画像を高分解能化するための補強信号を生成し、前記補強信号を第２の符号列に符号化し、前記第１の符号列と前記第２の符号列とを出力する画像符号化手段と、を備えたことを特徴とする。
【００１１】
請求項１の発明によれば、低分解能の画像と、画像を高分解能化するための補強信号との符号列が出力され、所定のオブジェクトを含む領域に関する符号列は出力されない。また、補強信号は、オブジェクトを含む画像に基づいて生成されるから、オブジェクトを含まない画像は補強信号に反映されない。したがって、符号列のデータ量は少なくて済み、符号化処理の負担を軽減することができる。
【００１２】
また、請求項２の発明は、請求項１に記載の画像符号化装置において、前記オブジェクト検出手段が、前記低分解能化された画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含む空間領域をオブジェクト領域情報として生成し、前記画像符号化手段が、前記入力された画像から画素を間引いて、低分解能化した縮小画像を生成し、前記縮小画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する画像縮小手段と、前記画像縮小手段により生成された縮小画像を符号化し、符号列を生成する縮小画像符号化手段と、前記画像縮小手段により生成された縮小画像に画素を挿入し、拡大画像を生成する画像拡大手段と、前記画像拡大手段により生成された拡大画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像を切り出す第１の画像切り出し手段と、前記入力された画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像を切り出す第２の画像切り出し手段と、前記第１の画像切り出し手段により切り出された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する差分演算手段と、前記差分演算手段により生成された補強信号を符号化し、符号列を生成する補強信号符号化手段とを備え、前記縮小画像符号化手段により生成された符号列と、前記補強信号符号化手段により生成された符号列とを出力することを特徴とする。
【００１３】
請求項２の発明によれば、復号側は、画像符号化装置により出力された符号列における縮小画像を用いて、画像符号化装置に備えたオブジェクト検出手段と同一の処理により、同一のオブジェクト領域情報を生成することができ、画像符号化装置により出力された符号列における補強信号を用いて、オブジェクト領域情報の示す空間領域の画像を高分解能化することができる。したがって、画像符号化装置は、オブジェクト領域情報の符号列を復号側へ出力する必要がなく、また、補強信号は、オブジェクトを含む画像に基づいて生成されるから、オブジェクトを含まない画像は補強信号に反映されない。また、補強信号は、画像の差分を演算して生成される。つまり、符号列のデータ量は少なくて済み、符号化処理の負担を軽減することができる。また、画像符号化装置は、画像内に空間的に偏在するオブジェクトである被写体について、補強信号を生成するから、復号側は、その補強信号を用いることにより、オブジェクト領域情報の示す空間領域の画像を高分解能化し、その被写体の滑らかな輪郭及び詳細なテクスチャを再現することができる。
【００１４】
また、請求項３の発明は、請求項２に記載の画像符号化装置において、前記画像拡大手段及び第１の画像切り出し手段の代わりに、画像拡大切り出し手段を備え、前記画像拡大切り出し手段が、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域から所定の領域を間引き、前記画像縮小手段により生成された縮小画像から、前記間引き後の空間領域の画像を切り出し、前記切り出した画像に画素を挿入して拡大し、前記差分演算手段が、前記画像拡大切り出し手段により拡大された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成することを特徴とする。
【００１５】
請求項３の発明によれば、拡大画像が生成されることなく、補強信号が縮小画像から直接生成されるから、符号化処理の負担を軽減することができる。
【００１６】
また、請求項４の発明は、請求項１に記載の画像符号化装置において、前記オブジェクト検出手段が、前記低分解能化された画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含むフレームの時間領域をオブジェクト領域情報として生成し、前記画像符号化手段が、前記入力された画像からフレームを間引いて、低分解能化した縮小画像を生成し、前記縮小画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する画像縮小手段と、前記画像縮小手段により生成された縮小画像を符号化し、符号列を生成する縮小画像符号化手段と、前記画像縮小手段により生成された縮小画像にフレームを挿入し、拡大画像を生成する画像拡大手段と、前記画像拡大手段により生成された拡大画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域の画像を切り出す第１の画像切り出し手段と、前記入力された画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域の画像を切り出す第２の画像切り出し手段と、前記第１の画像切り出し手段により切り出された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成する差分演算手段と、前記差分演算手段により生成された補強信号を符号化し、符号列を生成する補強信号符号化手段とを備え、前記縮小画像符号化手段により生成された符号列と、前記補強信号符号化手段により生成された符号列とを出力することを特徴とする。
【００１７】
請求項４の発明によれば、復号側は、画像符号化装置に備えたオブジェクト検出手段と同一の処理により、縮小画像を用いて、同一のオブジェクト領域情報を生成することができ、補強信号を用いて、オブジェクト領域情報の示す時間領域の画像を高分解能化することができる。したがって、画像符号化装置は、オブジェクト領域情報の符号列を復号側へ出力する必要がなく、また、補強信号は、オブジェクトを含む画像に基づいて生成されるから、オブジェクトを含まない画像は補強信号に反映されない。また、補強信号は、画像の差分を演算して生成される。つまり、符号列のデータ量は少なくて済み、符号化処理の負担を軽減することができる。また、画像符号化装置は、画像内に時間的に偏在するオブジェクトである被写体について、補強信号を生成するから、復号側は、その補強信号を用いることにより、オブジェクト領域情報の示す時間領域の画像を高分解能化し、その被写体の滑らかな動きを再現することができる。
【００１８】
また、請求項５の発明は、請求項４に記載の画像符号化装置において、前記画像拡大手段及び第１の画像切り出し手段の代わりに、画像拡大切り出し手段を備え、前記画像拡大切り出し手段が、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す時間領域におけるフレームから所定のフレームを間引き、前記画像縮小手段により生成された縮小画像から、前記間引き後の時間領域におけるフレームからなる画像を切り出し、前記切り出した画像にフレームを挿入して拡大し、前記差分演算手段が、前記画像拡大切り出し手段により拡大された画像と、前記第２の画像切り出し手段により切り出された画像との間の差分を演算し、補強信号を生成することを特徴とする。
【００１９】
請求項５の発明によれば、拡大画像が生成されることなく、補強信号が縮小画像から直接生成されるから、符号化処理の負担を軽減することができる。
【００２０】
また、請求項６の発明は、請求項２または４に記載の画像符号化装置において、前記オブジェクト検出手段が、前記オブジェクトをそれぞれ含むＦ個（Ｆは０以上の整数）の領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）をオブジェクト領域情報として生成し、前記第１の画像切り出し手段が、前記拡大画像から、前記オブジェクト領域情報の示すＦ個の領域Ｄｉの画像Ｂｉをそれぞれ切り出し、前記第２の画像切り出し手段が、前記入力された画像から、前記オブジェクト領域情報の示すＦ個の領域Ｄｉの画像Ｃｉをそれぞれ切り出し、前記差分演算手段が、前記第１の画像切り出し手段により切り出されたＦ個の画像Ｂｉと、前記第２の画像切り出し手段により切り出されたＦ個の画像Ｃｉとの間の差分をそれぞれ演算し、Ｆ個の補強信号Ｅｉを生成することを特徴とする。
【００２１】
請求項６の発明によれば、オブジェクト領域情報Ｄｉ、画像Ｂｉ、画像Ｃｉ及び補強信号Ｅｉは、画像内に含まれるオブジェクトの数に応じて生成されるから、画像内にオブジェクトが散在する場合であっても、適切な符号化処理が行われる。また、オブジェクトの数に応じて増減するオブジェクト領域情報の符号列を復号側へ出力する必要がないから、符号列のデータ量は増減することなく少なくて済み、符号化処理の負担を軽減することができる。
【００２２】
また、請求項７の発明は、請求項２または４に記載の画像符号化装置において、前記画像符号化手段が、さらに、前記縮小画像符号化手段により生成された符号列を復号し、局所復号画像を生成し、前記局所復号画像を、前記所定のオブジェクトを検出するためのオブジェクト検出用画像として前記オブジェクト検出手段に出力する局所画像復号手段を備え、前記画像拡大手段が、前記局所画像復号手段により生成された局所復号画像を拡大して拡大画像を生成し、前記オブジェクト検出手段が、前記局所画像復号手段により出力されたオブジェクト検出用画像に基づいて所定のオブジェクトを検出し、オブジェクト領域情報を生成することを特徴とする。
【００２３】
請求項７の発明によれば、復号側が符号列を復号して得る縮小画像は、画像符号化装置における縮小画像よりも局所復号画像に近いから、復号側は、符号列を復号して得た縮小画像を用いて、画像符号化装置に備えたオブジェクト検出手段と同一の処理を行うことにより、画像符号化装置のオブジェクト検出手段により生成されるオブジェクト領域情報と同一のオブジェクト領域情報を生成することができる。したがって、縮小画像符号化手段が非可逆の符号化方式を用いた場合であっても、画像符号化装置と復号側との間でオブジェクト検出結果にほとんど差異がないから、符号化による画質劣化が生じたとしても、オブジェクト検出への影響はなく、破綻が起こることがない。また、補強信号は、局所復号画像を用いて生成された拡大画像により生成されるから、縮小画像符号化手段が非可逆の符号化方式を用いた場合であっても、符号化による画質劣化の歪みを考慮した信号となる。復号側は、このような補強信号を用いることにより、符号化による画質劣化の歪みを考慮した画像の高分解能化を実現することができる。
【００２４】
また、請求項８の発明は、請求項１から７までのいずれか一項の画像符号化装置から、低分解能の画像の符号列、及び高分解能の画像を得るための補強信号の符号列を入力し、前記符号列を復号して画像を出力する画像復号装置において、前記符号列を復号して生成された低分解能の画像を用いて、前記低分解能の画像内に含まれる所定のオブジェクトを検出するオブジェクト検出手段と、前記入力した符号列を復号し、低分解能の画像及び補強信号を生成し、前記オブジェクトが検出された領域に前記補強信号を配置して補強画像を生成し、前記低分解能の画像と補強画像とを加算し、加算結果の画像を出力する画像復号手段とを備えたことを特徴とする。
【００２５】
請求項８の発明によれば、低分解能の画像、及び、高分解能の画像を得るための補強信号の符号列を入力し、低分解能の画像からオブジェクトを検出し、オブジェクトを検出した領域に補強信号を配置して補強画像を生成するようにしたから、これらの画像を加算することにより、鮮鋭化画像を生成することができる。これにより、オブジェクトを含む領域に関する符号列を入力する必要がなく、符号列のデータ量は少なくて済む。
【００２６】
また、請求項９の発明は、請求項８に記載の画像復号装置において、請求項１、請求項２、請求項３、請求項２に従属する請求項６、及び、請求項２に従属する請求項７のうちのいずれか一項の画像符号化装置から、前記符号列を入力し、前記オブジェクト検出手段が、前記低分解能の画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含む空間領域をオブジェクト領域情報として生成し、前記画像復号手段が、前記低分解能の画像の符号列を復号し、縮小画像を生成する縮小画像復号手段と、前記補強信号の符号列を復号し、補強信号を生成する補強信号復号手段と、前記縮小画像復号手段により生成された縮小画像に画素を挿入し、拡大画像を生成する画像拡大手段と、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域に、前記補強信号復号手段により生成された補強信号を配置し、補強画像を生成する配置手段と、前記画像拡大手段により生成された拡大画像と、前記配置手段により生成された補強画像とを加算し、加算後の画像を出力する加算手段とを備えたことを特徴とする。
【００２７】
請求項９の発明によれば、縮小画像から、空間的に局在するオブジェクトの空間領域を示すオブジェクト領域情報を生成し、そのオブジェクト領域情報の示す空間領域に補強信号を配置して補強画像を生成するようにしたから、縮小画像と補強画像とを加算することにより、鮮鋭化画像を生成することができる。これにより、オブジェクトである被写体の滑らかな輪郭及び詳細なテクスチャを再現することができる。また、オブジェクト領域情報の符号列を入力する必要がなく、符号列のデータ量は少なくて済む。
【００２８】
また、請求項１０の発明は、請求項９に記載の画像復号装置において、前記配置手段及び加算手段の代わりに、配置加算手段を備え、前記配置加算手段が、前記画像拡大手段により生成された拡大画像における、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す空間領域の画像に、前記補強信号復号手段により生成された補強信号を加算し、加算後の拡大画像を出力することを特徴とする。
【００２９】
請求項１０の発明によれば、補強画像が生成されることなく、補強信号が拡大画像に直接加算され、鮮鋭化画像が生成されるから、復号処理の負担を軽減することができる。
【００３０】
また、請求項１１の発明は、請求項８に記載の画像復号装置において、請求項１、請求項４、請求項５、請求項４に従属する請求項６、及び、請求項４に従属する請求項７のうちのいずれか一項の画像符号化装置から、前記符号列を入力し、前記オブジェクト検出手段が、前記低分解能の画像内に含まれる所定のオブジェクトを検出し、前記画像における前記オブジェクトを含むフレームの時間領域をオブジェクト領域情報として生成し、前記画像復号手段が、前記低分解能の画像の符号列を復号し、縮小画像を生成する縮小画像復号手段と、前記補強信号の符号列を復号し、補強信号を生成する補強信号復号手段と、前記縮小画像復号手段により生成された縮小画像にフレームを挿入し、拡大画像を生成する画像拡大手段と、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すフレームの時間領域に、前記補強信号復号手段により生成された補強信号のフレームを配置し、補強画像を生成する配置手段と、前記画像拡大手段により生成された拡大画像と、前記配置手段により生成された補強画像とを加算し、加算後の画像を出力する加算手段とを備えたことを特徴とする。
【００３１】
請求項１１の発明によれば、縮小画像から、時間的に局在するオブジェクトの時間領域を示すオブジェクト領域情報を生成し、そのオブジェクト領域情報の示す時間領域に補強信号を配置して補強画像を生成するようにしたから、縮小画像と補強画像とを加算することにより、鮮鋭化画像を生成することができる。これにより、オブジェクトである被写体の滑らかな動きを再現することができる。また、オブジェクト領域情報の符号列を入力する必要がなく、符号列のデータ量は少なくて済む。
【００３２】
また、請求項１２の発明は、請求項１１に記載の画像復号装置において、前記配置手段及び加算手段の代わりに、配置加算手段を備え、前記配置加算手段が、前記画像拡大手段により生成された拡大画像における、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すフレームの時間領域の画像に、前記補強信号復号手段により生成された補強信号を加算し、加算後の拡大画像を出力することを特徴とする。
【００３３】
請求項１２の発明によれば、補強画像が生成されることなく、補強信号が拡大画像に直接加算され、鮮鋭化画像が生成されるから、復号処理の負担を軽減することができる。
【００３４】
また、請求項１３の発明は、請求項９または１１に記載の画像復号装置において、前記オブジェクト検出手段が、前記オブジェクトをそれぞれ含むＦ個（Ｆは０以上の整数）の領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）をオブジェクト領域情報として生成し、前記補強信号復号手段が、前記補強信号の符号列を復号し、Ｆ個の補強信号Ｅｉを生成し、前記配置手段が、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示すＦ個の領域Ｄｉに、前記補強信号復号手段により生成されたＦ個の補強信号Ｅｉを配置し、補強画像を生成することを特徴とする。
【００３５】
請求項１３の発明によれば、オブジェクト領域情報Ｄｉ及び補強信号Ｅｉは、画像内に含まれるオブジェクトの数に応じて生成されるから、画像内にオブジェクトが散在する場合であっても、適切な復号処理が行われる。
【００３６】
また、請求項１４の発明は、請求項９または１１に記載の画像復号装置において、さらに、前記縮小画像復号手段により生成された縮小画像を画面表示する表示手段を備え、前記表示手段が、ユーザの操作に従って、前記加算手段により出力された加算後の画像から、前記オブジェクト検出手段により生成されたオブジェクト領域情報の示す領域の画像を切り出し、画面表示する、ことを特徴とする。
【００３７】
請求項１４の発明によれば、ユーザの操作に従って、画面表示された縮小画像のうち、オブジェクトを含む高分解能な見易い部分画像をユーザへ提示することができる。
【００３８】
また、請求項１５の発明は、コンピュータを、請求項１から７までのいずれか一項に記載の画像符号化装置として機能させるための画像符号化プログラムにある。
【００３９】
また、請求項１６の発明は、コンピュータを、請求項８から１４までのいずれか一項に記載の画像復号装置として機能させるための画像復号プログラムにある。
【発明の効果】
【００４０】
以上のように、本発明によれば、補強信号を用いて、オブジェクトである被写体を含む画像の分解能を、効率的に向上させることが可能となる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態による画像符号化装置の構成を示すブロック図である。
【図２】実施例１による画像符号化手段の構成を示すブロック図である。
【図３】実施例１の画像符号化手段により、空間方向に処理される画像例を説明する図である。
【図４】実施例１の変形例による画像符号化手段の構成を示すブロック図である。
【図５】実施例１の変形例の画像符号化手段により、空間方向に処理される画像例を説明する図である。
【図６】実施例２の画像符号化手段により、時間方向に処理される画像例を説明する図である。
【図７】実施例２の変形例の画像符号化手段により、時間方向に処理される画像例を説明する図である。
【図８】本発明の実施形態による画像復号装置の構成を示すブロック図である。
【図９】画像復号手段の構成を示すブロック図である。
【図１０】実施例１及び実施例１の変形例に対応する画像復号手段により、空間方向に処理される画像例を説明する図である。
【図１１】実施例２及び実施例２の変形例に対応する画像復号手段により、時間方向に処理される画像例を説明する図である。
【発明を実施するための形態】
【００４２】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
本発明は、画像を入力して符号化し、符号列を出力する画像符号化装置と、画像符号化手段から符号列を入力し、符号列を復号して画像を出力する画像復号装置とを備えたシステムにおいて、画像符号化装置が、低分解能の画像に基づいて、所定のオブジェクトを検出してオブジェクト領域情報を生成し、オブジェクト領域情報の示す領域を高分解能化するための補強信号を生成し、低分解能の画像及び補強信号を符号化し、符号列を出力することを特徴とする。また、本発明は、画像復号装置が、画像符号化装置から符号列を入力し、符号列を復号して低分解能の画像及び補強信号を生成し、低分解能の画像に基づいて、所定のオブジェクトを検出してオブジェクト領域情報を生成し、オブジェクト領域情報の示す領域に配置した補強信号と、低分解能の画像とにより鮮鋭化画像を生成することを特徴とする。これにより、画像符号化装置から画像復号装置へ出力されるデータは、低分解能の画像の符号列と、オブジェクト領域情報の示す領域に配置される補強信号の符号列であり、オブジェクトの配置に関するオブジェクト領域情報の符号列を含まないから、符号列のデータ量は少なくて済む。したがって、補強信号を用いて、オブジェクトである被写体を含む画像の分解能を、効率的に向上させることが可能となる。
【００４３】
〔画像符号化装置〕
まず、本発明の実施形態による画像符号化装置について説明する。図１は、画像符号化装置の構成を示すブロック図である。この画像符号化装置１００は、画像符号化手段１及びオブジェクト検出手段２を備えて構成される。画像符号化装置１００は、画像Ｈを入力し、画像符号化処理及びオブジェクト検出処理により、オブジェクト領域情報Ｄの示す空間領域または時間領域の補強信号Ｅｉである高分解能化のための画像と、縮小画像Ｌである低分解能画像とを含む符号列μを生成し、画像復号装置へ出力する。
【００４４】
画像符号化手段１は、画像Ｈを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、画像Ｈとオブジェクト領域情報Ｄとに基づいて画像符号化を行い、符号列μを生成して出力する。また、画像符号化手段１は、画像Ｈに基づいて、オブジェクト検出手段２がオブジェクトを検出するために用いる画像（オブジェクト検出用画像）を生成し、オブジェクト検出用画像をオブジェクト検出手段２に出力する。
【００４５】
オブジェクト検出手段２は、画像符号化手段１からオブジェクト検出用画像を入力し、オブジェクト検出用画像から所定のオブジェクトを検出し、高精細な画像を伝送する必要があると判断される空間領域または時間領域（オブジェクトを含む領域）をオブジェクト領域情報Ｄとして生成し、画像符号化手段１に出力する。
【００４６】
以下、画像はモノクロ画像の場合を例にとって説明するが、色、波長または分光特性によって複数の成分（色成分）を有するカラー画像等の場合には、各色成分を要素に持つ色ベクトルとして各画素の画素値を取り扱うこととする。したがって、画像はモノクロ画像に限らず、カラー画像等にも適用がある。また、画像符号化手段１に入力される画像Ｈの大きさを幅Ｓｘ、高さＳｙとし、画像の水平位置ｘ及び垂直位置ｙの座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）における、画像Ｈの画素値をＨ（ｘ，ｙ）とする。
【００４７】
以下、画像符号化装置１００の画像符号化手段１及びオブジェクト検出手段２について、実施例１、実施例１の変形例、実施例２及び実施例２の変形例に分けて説明する。実施例１は、画像の空間分解能を向上させるために、空間方向の画像処理を行う例であり、実施例２は、画像の時間分解能を向上させるために、時間方向の画像処理を行う例である。また、実施例１，２は、画像Ｈの縮小画像Ｌをオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成する例であるのに対し、実施例１，２の変形例は、画像Ｈの縮小画像Ｌの符号列を復号して局所復号画像Ｌ’を生成し、局所復号画像Ｌ’をオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成する例である。
【００４８】
〔実施例１〕
まず、実施例１について説明する。実施例１では、画像符号化装置１００は、画像Ｈの空間分解能を向上させるために、画像の縮小画像Ｌをオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成し、空間方向の画像処理を行う。
【００４９】
図１に示した画像符号化装置１００のオブジェクト検出手段２は、画像符号化手段１からオブジェクト検出用画像である縮小画像Ｌを入力し、この縮小画像Ｌから所定のオブジェクトを検出し、そのオブジェクトを含む領域群をオブジェクト領域情報Ｄとして画像符号化手段１に出力する。具体的には、オブジェクト検出手段２は、予め設定された画像パターン、色ヒストグラム等のテンプレートに合致する領域を、所定のオブジェクトとして縮小画像Ｌから検出する。また、オブジェクト検出手段２は、予め設定された文字群のテンプレートにより、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）手法を用いて、所定のオブジェクトを縮小画像Ｌから検出するようにしてもよいし、Ｈａａｒ−ｌｉｋｅ特徴に基づくＢｏｏｓｔｉｎｇによる手法等の既存の顔検出手法を用いて、顔のオブジェクトを縮小画像Ｌから検出するようにしてもよいし、画像の局所的なコントラストが高い領域、局所的に際立った色（平均的な色から外れた色等）、特定の色領域（肌色を有する領域）等のような画像の重要度を算出する各種手法を用いて、所定のオブジェクトを検出するようにしてもよい。ここで、オブジェクト検出手段２により出力されるオブジェクト領域情報Ｄは、検出されたオブジェクトを含む領域を示す座標情報群であり、画像Ｈと同じ空間スケールの情報である。
【００５０】
オブジェクト領域情報ＤにはＦ個（Ｆは０以上の整数とする）の部分集合の領域が含まれるものとし、そのｉ番目（ｉ∈｛０，・・・，Ｆ−１｝）の領域をＤｉとする。領域Ｄｉは、任意の形状であってもよく、例えば、領域外の画素値を０、領域内の画素値を１として表した二値画像、頂点数及び頂点の画像座標群により表した多角形、左上及び右下の２画像座標により表したバウンディングボックス、または、領域の境界をチェインコードで表した輪郭とするようにしてもよい。領域Ｄｉの数式については後述する（式（１９）（２０）（２１）を参照）。
【００５１】
図２は、実施例１による画像符号化手段１の構成を示すブロック図である。この画像符号化手段１は、画像縮小手段１０、縮小画像符号化手段１１、画像拡大手段１２、画像切り出し手段１３，１４、差分演算手段１５、補強信号符号化手段１６及び多重化手段１７を備えて構成される。
【００５２】
（画像縮小手段）
画像縮小手段１０は、画像Ｈを入力し、画像Ｈにおける所定の画素を間引いて縮小し、低解像度の（空間分解能の低い）縮小画像Ｌを生成して縮小画像符号化手段１１及び画像拡大手段１２に出力すると共に、オブジェクト検出用画像としてオブジェクト検出手段２に出力する。具体的には、画像縮小手段１０は、縮小画像Ｌの幅をＴｘ、高さをＴｙとし、座標（ｘ，ｙ）における、縮小画像Ｌの画素値をＬ（ｘ，ｙ）とすると、画像Ｈの画素を（Ｓｘ／Ｔｘ，Ｓｙ／Ｔｙ）の間隔で間引いて標本化し、以下の式により縮小画像Ｌを生成する。これにより、縮小画像Ｌは、画像Ｈに対して画素数が減少し、空間的に低分解能の画像となる。
【数１】
2011130114.tif 000003
【００５３】
Ｑｘ，Ｑｙは、座標値のスケーリング及び量子化を行う関数であり、例えば、Ｑｘは以下の式（２）または式（３）により、Ｑｙは以下の式（４）または式（５）により実装することができる。
【数２】
2011130114.tif 000004
【数３】
2011130114.tif 000005
【数４】
2011130114.tif 000006
【数５】
2011130114.tif 000007
【００５４】
ここで、Ｏｘ及びＯｙは標本化位置（位相）をずらすための定数であり、好ましくは、０≦Ｏｘ＜Ｓｘ／Ｔｘかつ０≦Ｏｙ＜Ｓｙ／Ｔｙとする。式（２）及び式（４）は、（Ｓｘ／Ｔｘ）ｘ＋Ｏｘまたは（Ｓｙ／Ｔｙ）ｙ＋Ｏｙで求められた標本化位置が非整数となった場合に、小数点以下切り捨てにより整数化を行う場合に用いられる。また、式（３）及び式（５）は、（Ｓｘ／Ｔｘ）ｘ−Ｏｘまたは（Ｓｙ／Ｔｙ）ｙ−Ｏｙで求められた標本化位置が非整数となった場合に、小数点以下切り上げにより整数化を行う場合に用いられる。
【００５５】
尚、画像縮小手段１０は、画像Ｈに対し画像フィルタを施した後、画像Ｈの画素を（Ｓｘ／Ｔｘ，Ｓｙ／Ｔｙ）の間隔で間引いて標本化し、縮小画像Ｌを生成するようにしてもよい。例えば、画像フィルタとして、以下の式に示すインパルス応答ｆ（ｘ，ｙ）の特性を有する低域通過型フィルタ（ＬＰＦ：Ｌｏｗ−Ｐａｓｓ  Ｆｉｌｔｅｒ）を用いることができる。このインパルス応答ｆ（ｘ，ｙ）は、ｘ及びｙに関する各ｓｉｎｃ関数の積を近似するような特性を有する。
【数６】
2011130114.tif 000008
ここで、Ｍｘ＝Ｓｘ／Ｔｘ、Ｍｙ＝Ｓｙ／Ｔｙとし、Ｍｘ，Ｍｙをスケールという。Ａは、フィルタの直流ゲインが１となるように定めた定数である。ｓｉｎｃ関数は、以下の式により定義される。
【数７】
2011130114.tif 000009
【００５６】
この場合、画像縮小手段１０は、画像Ｈに対し画像フィルタを施す際に、水平方向及び垂直方向に独立かつカスケードにＬＰＦを施すようにしてもよい。水平方向または垂直方向の１軸に関するスケールＭのＬＰＦによるインパルス応答をｆＭ（ｔ）とすると、インパルス応答ｆＭ（ｔ）は、以下の式により表すことができる。
【数８】
2011130114.tif 000010
ここで、ＢＭは、フィルタの直流ゲインが１となるように定めた定数である。
【００５７】
例えば、スケールＭ＝２のＬＰＦを７タップのフィルタにより構成する場合、インパルス応答ｆＭ（ｔ）は、以下の式により表すことができる。
【数９】
2011130114.tif 000011
直流ゲインが１であるから、
2011130114.tif 000012
となる。
【００５８】
すなわち、以下の式により表される。
【数１０】
2011130114.tif 000013
これは、整数の掛け算及び右８ビットシフト（２５６の割り算）により、近似的に以下の式で表すことができる。
【数１１】
2011130114.tif 000014
【００５９】
例えば、画像Ｈを、水平方向及び垂直方向に各１／２に縮小する場合、画像縮小手段１０は、式（７）または式（８）のタップ係数を有するＬＰＦを、まず、画像Ｈに対し水平方向（または垂直方向）に一次元的に施し、その結果の画像に対し引き続き垂直方向（または水平方向）に一次元的に施し、さらに、その結果の画像を水平方向に２画素周期かつ垂直方向に２画素周期でサブサンプリングする。これにより、画像Ｈを水平方向及び垂直方向に各１／２に縮小した縮小画像Ｌが生成される。
【００６０】
（縮小画像符号化手段）
縮小画像符号化手段１１は、画像縮小手段１０から低解像度の縮小画像Ｌを入力し、縮小画像Ｌを符号化して符号列λに変換し、低解像度画像の符号列λを多重化手段１７に出力する。具体的には、縮小画像符号化手段１１は、縮小画像Ｌの各画素の画素値を有限の符号列で表現し、縮小画像Ｌ上を走査することにより、各画素の符号列を一次元的に結合して符号列λを生成し、出力する。この符号化方式をパルス符号変調（ＰＣＭ：Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）という。すなわち、縮小画像符号化手段１１は、縮小画像Ｌ上の画像座標（ｘ，ｙ）において、ｙを０からＴｙ−１まで変化させながら、各ｙについてｘを０からＴｘ−１まで変化させることにより、その画素位置（ｘ，ｙ）における画素値Ｌ（ｘ，ｙ）を量子化して有限の符号列に変換し、その符号列を一次元的に順次結合して符号列λを生成し、出力する
【００６１】
尚、縮小画像符号化手段１１は、既存の画像符号化方式または動画像符号化方式を用いるようにしてもよい。例えば、符号化方式として、ＪＰＥＧ、ＪＰＥＧ  ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等を用いる。
【００６２】
（画像拡大手段）
画像拡大手段１２は、画像縮小手段１０から低解像度の縮小画像Ｌを入力し、縮小画像Ｌを画像Ｈと同じ大きさ（水平方向及び垂直方向の画素数）になるまで画素を挿入して拡大し、拡大画像Ｋを生成して画像切り出し手段１３に出力する。ここで、拡大画像Ｋは、スペクトルの広域成分が存在しないため、ぼけた画像となる。具体的には、画像拡大手段１２は、以下の式に示す最近傍法の補間手法により縮小画像Ｌを拡大し、拡大画像Ｋを生成する。
【数１２】
2011130114.tif 000015
【００６３】
Ｒｘ，Ｒｙは、座標値のスケーリング及び量子化を行う関数であり、例えば、Ｒｘは以下の式（１３）または式（１４）により、Ｒｙは以下の式（１５）または式（１６）により実装することができる。
【数１３】
2011130114.tif 000016
【数１４】
2011130114.tif 000017
【数１５】
2011130114.tif 000018
【数１６】
2011130114.tif 000019
【００６４】
ここで、Ｐｘ及びＰｙは小数の丸めの方法を決定する定数であり、好ましくは、０≦Ｐｘ＜１かつ０≦Ｐｙ＜１とする。特に、Ｐｘ＝１／２における式（１３）、及びＰｙ＝１／２における式（１５）は、四捨五入による丸めとなる。
【００６５】
尚、画像拡大手段１２は、最近傍法以外の補間手法により縮小画像Ｌを拡大し、拡大画像Ｋを生成するようにしてもよい。例えば、画像拡大手段１２は、双一次補間手法により、以下の式に示すように拡大画像Ｋを生成する。
【数１７】
2011130114.tif 000020
ここで、
2011130114.tif 000021
である。
【００６６】
また、例えば、画像拡大手段１２は、双三次補間手法により、以下の式に示すように拡大画像Ｋを生成する。
【数１８】
2011130114.tif 000022
ここで、
2011130114.tif 000023
である。
【００６７】
（画像切り出し手段）
画像切り出し手段１３は、画像拡大手段１２から拡大画像Ｋを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、拡大画像Ｋの中から、オブジェクト領域情報Ｄが示す空間領域である座標の部分画像Ｂｉを切り出し、部分画像Ｂｉを差分演算手段１５に出力する。オブジェクト領域情報Ｄは、複数の集合列（Ｆ個の集合列）であってもよい。Ｆは０以上の整数である。この場合、画像切り出し手段１３により出力される部分画像Ｂｉは、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ∈｛０，・・・，Ｆ−１｝）に対応している。Ｆ＝０のときには、部分画像Ｂｉは出力されない。つまり、画像切り出し手段１３は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して部分画像Ｂｉを切り出し、部分画像の画像列（Ｂｉ）ｉ＝０，・・・，Ｆ−１を出力する。
【００６８】
オブジェクト領域情報Ｄは、以下の式により定義される。
【数１９】
2011130114.tif 000024
ここで、φは空集合である。領域Ｄｉは、任意の形状であってもよいが、計算の簡易化のため、例えば、各辺が画像の水平軸または垂直軸と平行な長方形または正方形の領域内及びその境界とするのが望ましい。
【００６９】
例えば、領域Ｄｉを長方形または正方形の領域内及びその境界とした場合、その左辺のｘ座標をｐｉ、右辺のｘ座標をｑｉ、上辺のｙ座標をｒｉ、下辺のｙ座標をｓｉとすると、領域Ｄｉは、以下の式により定義される。
【数２０】
2011130114.tif 000025
ここで、
【数２１】
2011130114.tif 000026
とする。この場合、部分画像Ｂｉは、以下の式により表される。
【数２２】
2011130114.tif 000027
【００７０】
一方、画像切り出し手段１４は、画像Ｈを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、画像Ｈの中から、オブジェクト領域情報Ｄが示す空間領域の座標の部分画像Ｃｉを切り出し、部分画像Ｃｉを差分演算手段１５に出力する。オブジェクト領域情報Ｄは、画像切り出し手段１３が入力するものと同一であり、部分画像Ｃｉは、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ∈｛０，・・・，Ｆ−１｝）に対応している。Ｆ＝０のときには、部分画像Ｃｉは出力されない。画像切り出し手段１４は、画像切り出し手段１３と同一の処理を行い、拡大画像Ｋの代わりに画像Ｈを入力し、部分画像Ｂｉの代わりの部分画像Ｃｉを生成して出力する。つまり、画像切り出し手段１４は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して部分画像Ｃｉを生成し、部分画像の画像列（Ｃｉ）ｉ＝０，・・・，Ｆ−１を出力する。
【００７１】
例えば、オブジェクト領域情報Ｄが、式（２０）に示したように長方形または正方形の領域内及びその境界の場合、部分画像Ｃｉは、以下の式により表される。
【数２３】
2011130114.tif 000028
【００７２】
（差分演算手段）
差分演算手段１５は、画像切り出し手段１３から部分画像Ｂｉを入力し、画像切り出し手段１４から部分画像Ｃｉを入力し、部分画像Ｂｉと部分画像Ｃｉとの間の差分画像Ｅｉを演算し、差分画像Ｅｉを補強信号として補強信号符号化手段１６に出力する。ここで、差分演算手段１５は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して差分画像Ｅｉを演算し、差分画像の画像列（Ｅｉ）ｉ＝０，・・・，Ｆ−１を出力する。Ｆ＝０の場合、差分演算手段１５は、画像切り出し手段１３，１４から部分画像Ｂｉ，Ｃｉを入力しないから、差分画像Ｅｉを出力しない。
【００７３】
具体的には、差分演算手段１５は、以下の式に示す通常の引き算により、差分画像Ｅｉを生成する。
【数２４】
2011130114.tif 000029
【００７４】
尚、差分演算手段１５は、画像の輝度の量子化ステップ数Ｇ（例えば、Ｖビットで輝度値を量子化した場合、Ｇ＝２Ｖ）を法とする部分画像Ｂｉと部分画像Ｃｉとの間の減算により、以下の式のように、差分画像Ｅｉを求めるようにしてもよい。
【数２５】
2011130114.tif 000030
部分画像Ｂｉ及び部分画像Ｃｉがカラー画像の場合、差分演算手段１５は、色成分毎に式（２５）の演算を行い、差分画像Ｅｉを求める。
【００７５】
また、差分演算手段１５は、画像の輝度の量子化ステップ数Ｇを法とする部分画像Ｂｉと部分画像Ｃｉとの間の減算を行い、この減算結果にオフセットＵを加算し、以下の式のように、差分画像Ｅｉを求めるようにしてもよい。
【数２６】
2011130114.tif 000031
ここで、オフセットＵは、好ましくは量子化ステップ数Ｇの１／２（小数点以下の端数を生じる場合は整数に丸める）とする。例えば、Ｖビットで輝度値を量子化した場合、Ｕ＝２Ｖ−１とする。部分画像Ｂｉ及び部分画像Ｃｉがカラー画像の場合、差分演算手段１５は、色成分毎に式（２６）の演算を行い、差分画像Ｅｉを求める。また、差分演算手段１５は、部分画像Ｂｉ及び部分画像Ｃｉの階調数を法とする剰余の差分を演算し、この演算結果を差分画像Ｅｉとして生成するようにしてもよい。
【００７６】
（補強信号符号化手段）
補強信号符号化手段１６は、差分演算手段１５から差分画像Ｅｉ（補強信号Ｅｉ）を入力し、差分画像Ｅｉを符号化して符号列εに変換し、符号列εを多重化手段１７に出力する。Ｆ＝０の場合、補強信号符号化手段１６は、符号列εを出力しないか、または、差分画像Ｅｉが存在しないことを識別するための既定の符号列εを出力する。
【００７７】
具体的には、補強信号符号化手段１６は、全てのインデックスｉ＝０，・・・，Ｆ−１に対し、差分画像Ｅｉの各画素の画素値を有限の符号列で表現し、差分画像Ｅｉ上を走査することにより、各画素の符号列を一次元的に結合して符号列εを生成し、出力する。この符号化方式をパルス符号変調という。すなわち、補強信号符号化手段１６は、全てのインデックスｉ＝０，・・・，Ｆ−１に対し、差分画像Ｅｉ上の画像座標（ｘ，ｙ）において、ｙを０からｓｉ−ｒｉまで変化させながら、各ｙについてｘを０からｑｉ−ｐｉまで変化させることにより、その画素位置（ｘ，ｙ）における画素値Ｅｉ（ｘ，ｙ）を量子化して有限の符号列に変換し、その符号列を一次元的に順次結合して符号列εを生成し、出力する
【００７８】
尚、補強信号符号化手段１６は、既存の画像符号化方式または動画像符号化方式を用いるようにしてもよい。例えば、符号化方式として、ＪＰＥＧ、ＪＰＥＧ  ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等を用いる。
【００７９】
（多重化手段）
多重化手段１７は、縮小画像符号化手段１１から縮小画像Ｌの符号列λを入力し、補強信号符号化手段１６から差分画像Ｅｉ（補強信号Ｅｉ）の符号列εを入力し、符号列λと符号列εとを多重化し、符号列μを生成して画像復号装置２００へ出力する。具体的には、多重化手段１７は、予め設定された順序で符号列λと符号列εとを結合して多重化し、符号列μを生成する。
【００８０】
尚、多重化手段１７は、符号列μを生成する際に、ヘッダ情報またはフッタ情報等の付加的な情報を含む符号列μを生成するようにしてもよい。例えば、付加的な情報とは、符号列λ及び符号列εが記述されている符号列μ内の位置を特定するための情報である。
【００８１】
（実施例１の画像符号化手段により処理される画像例）
図３は、実施例１の画像符号化手段１により、空間方向に処理される画像例を説明する図である。縮小画像Ｌは、画像縮小手段１０により画像Ｈから生成され、オブジェクト領域情報Ｄは、オブジェクト検出手段２により縮小画像Ｌであるオブジェクト検出用画像から生成され、拡大画像Ｋは、画像拡大手段１２により縮小画像Ｌから生成される。また、部分画像Ｃｉは、画像切り出し手段１４により、画像Ｈ及びオブジェクト領域情報Ｄから生成され、部分画像Ｂｉは、画像切り出し手段１３により、拡大画像Ｋ及びオブジェクト領域情報Ｄから生成される。また、差分画像Ｅｉである補強信号Ｅｉは、差分演算手段１５により、部分画像Ｃｉから部分画像Ｂｉを減算することにより求められる。
【００８２】
そして、低解像度画像の符号列λは、縮小画像符号化手段１１により、縮小画像Ｌから生成され、高解像度画像を生成するための符号列εは、補強信号符号化手段１６により、差分画像Ｅｉである補強信号Ｅｉから生成される。
【００８３】
以上のように、実施例１の画像符号化手段１を備えた画像符号化装置１００によれば、オブジェクト検出手段２が、低解像度の縮小画像Ｌであるオブジェクト検出用画像に基づいて、高精細な高解像度画像を伝送する必要があると判断されるオブジェクト領域情報Ｄ（所定のオブジェクトを含む領域の情報）を生成し、画像符号化手段１の差分演算手段１５が、オブジェクト領域情報Ｄの示す空間領域を高解像度化するための補強信号Ｅｉを、画像Ｈと、縮小画像Ｌが拡大された拡大画像Ｋとの間の差分を演算することにより生成し、多重化手段１７が、縮小画像符号化手段１１により縮小画像Ｌから生成された、低解像度画像の符号列λと、補強信号符号化手段１６により補強信号Ｅｉから生成された、高解像度化のための符号列εとを多重化し、符号列μを画像復号装置２００へ出力するようにした。これにより、画像復号装置２００は、画像符号化装置１００に備えたオブジェクト検出手段２と同様の手段を用いることにより、符号列λが復号された縮小画像Ｌからオブジェクト領域情報Ｄを生成することができる。また、オブジェクト領域情報Ｄの示す空間領域について、符号列εが復号された補強信号Ｅｉから、オブジェクトである被写体の滑らかな輪郭と詳細なテクスチャを再現した高精細な高解像度画像を生成することができる。
【００８４】
また、画像符号化装置１００の画像符号化手段１における補強信号符号化手段１６が符号化する信号は、高精細な高解像度画像を伝送する必要があると判断されるオブジェクト領域情報Ｄの空間領域についての補強信号Ｅｉのみで済み、補強信号Ｅｉは、差分演算手段１５において部分画像Ｂｉ，Ｃｉの差分演算により生成されるから、符号量を削減することができる。また、画像符号化装置１００から画像復号装置２００へ出力される符号列μは、低解像度画像の符号列λ、及びオブジェクト領域情報Ｄの示す空間領域における高解像度化のための補強信号Ｅｉの符号列εであり、オブジェクトの配置に関するオブジェクト領域情報Ｄを含まないから、符号量を削減することができる。このような符号量の削減によって、符号化の効率を向上させることができる。つまり、補強信号Ｅｉを用いて、オブジェクトである被写体を含む部分画像の空間分解能を、効率的に向上させることが可能となる。
【００８５】
尚、実施例１では、画像符号化手段１に備えた画像拡大手段１２と画像切り出し手段１３とを、別々の処理単位の構成要素として説明したが、これらを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像符号化手段１は、画像拡大手段１２及び画像切り出し手段１３の代わりに、図２に示すように、これらの機能を有する画像拡大切り出し手段１８を備える。画像拡大切り出し手段１８は、画像縮小手段１０から縮小画像Ｌを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）について、画像縮小手段１０における画像Ｈから所定の画素を間引いて縮小画像Ｌを生成する際の縮小比（スケールＭｘ＝Ｓｘ／Ｔｘ，Ｍｙ＝Ｓｙ／Ｔｙ）を考慮し、同じ縮小比にて各領域Ｄｉから所定の領域を間引いて縮小する。そして、画像拡大切り出し手段１８は、縮小した領域情報に基づいて、縮小画像Ｌから部分画像を切り出し、画像拡大手段１２において画素を増やして画像を拡大する際の拡大比を考慮し、同じ拡大比にて部分画像に画素を挿入して拡大し、部分画像Ｂｉを生成する。これにより、画像符号化手段１は、拡大画像Ｋを生成することなく、切り出した部分画像を拡大するようにしたから、演算量及びメモリ量が少なくて済み、補強信号Ｅｉを用いて、オブジェクトである被写体を含む部分画像の空間分解能を、一層効率的に向上させることが可能となる。
【００８６】
〔実施例１の変形例〕
次に、実施例１の変形例について説明する。実施例１の変形例では、画像符号化装置１００は、画像の空間分解能を向上させるために、画像Ｈの縮小画像Ｌの符号列を復号して局所復号画像Ｌ’を生成し、局所復号画像Ｌ’をオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成し、空間方向の画像処理を行う。
【００８７】
実施例１の変形例において、画像符号化装置１００のオブジェクト検出手段２は、オブジェクト検出用画像として、縮小画像Ｌの代わりに局所復号画像Ｌ’を入力し、実施例１のオブジェクト検出手段２と同様の処理を行う。
【００８８】
図４は、実施例１の変形例による画像符号化手段１の構成を示すブロック図である。この画像符号化手段１は、画像縮小手段１０、縮小画像符号化手段１１、画像拡大手段１２、画像切り出し手段１３，１４、差分演算手段１５、補強信号符号化手段１６、多重化手段１７及び局所画像復号手段１９を備えて構成される。図４において、図２に示した実施例１による画像符号化手段１の構成と共通する部分には図２と同一の符号を付し、その詳しい説明は省略する。
【００８９】
図２に示した実施例１による画像符号化手段１と、図４に示す実施例１の変形例による画像符号化手段１とを比較すると、両手段は、画像縮小手段１０、縮小画像符号化手段１１、画像拡大手段１２、画像切り出し手段１３，１４、差分演算手段１５、補強信号符号化手段１６及び多重化手段１７を備えている点で同一である。しかし、図４に示す実施例１の変形例による画像符号化手段１は、図２に示した実施例１による画像符号化手段１の構成に加え、局所画像復号手段１９を備えている点で相違する。
【００９０】
具体的には、図２に示した実施例１による画像符号化手段１は、縮小画像Ｌをオブジェクト検出用画像としてオブジェクト検出手段２に出力し、オブジェクト検出手段２から、縮小画像Ｌに基づいて生成されたオブジェクト領域情報Ｄを入力する。これに対し、図４に示す実施例１の変形例による画像符号化手段１は、縮小画像Ｌの符号列λを復号して得た局所復号画像Ｌ’をオブジェクト検出用画像としてオブジェクト検出手段２に出力し、オブジェクト検出手段２から、局所復号画像Ｌ’に基づいて生成されたオブジェクト領域情報Ｄを入力する。また、図２に示した実施例１による画像符号化手段１は、縮小画像Ｌを拡大し、部分画像Ｂｉを切り出して補強信号Ｅｉを生成する。これに対し、図４に示す実施例１の変形例による画像符号化手段１は、局所復号画像Ｌ’を拡大し、部分画像Ｂｉを切り出して補強信号Ｅｉを生成する。
【００９１】
（局所画像復号手段）
図４において、局所画像復号手段１９は、縮小画像符号化手段１１から縮小画像Ｌである低解像度画像の符号列λを入力し、符号列λを復号して局所復号画像Ｌ’を生成し、画像拡大手段１２に出力すると共に、オブジェクト検出用画像としてオブジェクト検出手段２に出力する。この局所画像復号手段１９は、縮小画像符号化手段１１と対になる復号手段である。
【００９２】
具体的には、局所画像復号手段１９は、縮小画像符号化手段１１がＰＣＭの符号化方式を用いる場合、符号列λを画素毎の部分符号列に分解し、分解した部分符号列を逆量子化して輝度値に戻し、これをラスタスキャンの順序で局所復号画像Ｌ’の各画素位置にマッピングすることにより復号し、局所復号画像Ｌ’を生成する。
【００９３】
また、縮小画像符号化手段１１が、符号化方式として、ＪＰＥＧ、ＪＰＥＧ  ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の既存の画像符号化方式または動画像符号化方式を用いる場合、局所画像復号手段１９は、その符号化方式と対になる復号方式を用いて、局所復号画像Ｌ’を生成する。
【００９４】
（実施例１の変形例の画像符号化手段により処理される画像例）
図５は、実施例１の変形例の画像符号化手段１により、空間方向に処理される画像例を説明する図である。縮小画像Ｌ、部分画像Ｂｉ，Ｃｉ、及び差分画像Ｅｉである補強信号Ｅｉは、実施例１と同様にして生成される。局所復号画像Ｌ’は、局所画像復号手段１９により符号列λから生成され、オブジェクト領域情報Ｄは、オブジェクト検出手段２により局所復号画像Ｌ’であるオブジェクト検出用画像から生成され、拡大画像Ｋは、画像拡大手段１２により局所復号画像Ｌ’から生成される。
【００９５】
そして、低解像度画像の符号列λは、縮小画像符号化手段１１により、縮小画像Ｌから生成され、高解像度画像を生成するための符号列εは、補強信号符号化手段１６により、差分画像Ｅｉである補強信号Ｅｉから生成される。
【００９６】
以上のように、実施例１の変形例の画像符号化手段１を備えた画像符号化装置１００によれば、画像符号化手段１の局所画像復号手段１９が、縮小画像Ｌである低解像度画像の符号列λを復号して局所復号画像Ｌ’を生成し、オブジェクト検出手段２が、局所復号画像Ｌ’であるオブジェクト検出用画像に基づいて、高精細な高解像度画像を伝送する必要があると判断されるオブジェクト領域情報Ｄ（所定のオブジェクトを含む領域の情報）を生成し、画像符号化手段１の差分演算手段１５が、オブジェクト領域情報Ｄの示す空間領域を高解像度化するための補強信号Ｅｉを、画像Ｈと、局所復号画像Ｌ’が拡大された拡大画像Ｋとの間の差分を演算することにより生成し、多重化手段１７が、縮小画像符号化手段１１により縮小画像Ｌから生成された、低解像度画像の符号列λと、補強信号符号化手段１６により補強信号Ｅｉから生成された、高解像度化のための符号列εとを多重化し、符号列μを画像復号装置２００へ出力するようにした。これにより、画像復号装置２００は、画像符号化装置１００に備えたオブジェクト検出手段２と同様の手段を用いることにより、低解像度画像の符号列λが復号された縮小画像Ｌからオブジェクト領域情報Ｄを生成することができる。また、オブジェクト領域情報Ｄの示す空間領域について、符号列εが復号された補強信号Ｅｉから、オブジェクトである被写体の滑らかな輪郭と詳細なテクスチャを再現した高精細な高解像度画像を生成することができる。
【００９７】
実施例１の変形例による画像符号化手段１は、局所画像復号手段１９により生成される局所復号画像Ｌ’をオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、補強信号Ｅｉを生成して符号列εを生成する。一方、実施例１による画像符号化手段１は、画像縮小手段１０により生成される縮小画像Ｌをオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、補強信号Ｅｉを生成して符号列εを生成する。この場合、画像復号装置２００は、後述する縮小画像復号手段２２により生成される縮小画像Ｌをオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、鮮鋭化画像Ｈを生成することになる。ここで、実施例１の画像縮小手段１０により生成される縮小画像Ｌは、画像復号装置２００の縮小画像復号手段２２により生成される縮小画像Ｌに対応しているが、実施例１の変形例の局所画像復号手段１９により生成される局所復号画像Ｌ’の方が実施例１の縮小画像Ｌよりも、画像復号装置２００の縮小画像復号手段２２により生成される縮小画像に近いものとなる。したがって、縮小画像符号化手段１１が非可逆の符号化方式を用いた場合であっても、画像符号化装置１００及び画像復号装置２００は、同一のオブジェクト領域情報Ｄを生成することができる。つまり、縮小画像符号化手段１１の符号化による画質劣化が生じたとしても、生成されるオブジェクト領域情報Ｄへの影響はなく、オブジェクト検出の破綻が起こることがない。また、補強信号Ｅｉは、局所復号画像Ｌ’を用いて生成された拡大画像Ｋにより生成されるから、縮小画像符号化手段１１が非可逆の符号化方式を用いた場合であっても、符号化による画質劣化の歪みを考慮した信号となる。つまり、画像復号装置２００は、このような補強信号Ｅｉを用いることにより、縮小画像符号化手段１１の符号化によっていかなる画質劣化の歪みが生じたとしても、画像の高分解能化を実現することができる。すなわち、実施例１の変形例による画像符号化手段１は、画像復号装置２００の復号処理を考慮して補強信号Ｅｉを生成し、符号列εを生成するから、画像復号装置２００において、画像符号化装置１００に入力された画像Ｈが一層反映された鮮鋭化画像Ｈを生成することができる。
【００９８】
また、実施例１の変形例の画像符号化手段１を備えた画像符号化装置１００によれば、実施例１と同様に、画像符号化手段１の補強信号符号化手段１６が符号化する信号は、オブジェクト領域情報Ｄの示す空間領域についての補強信号Ｅｉのみで済み、補強信号Ｅｉは、差分演算手段１５において部分画像Ｂｉ，Ｃｉの差分演算により生成されるから、符号量を削減することができる。また、画像符号化装置１００から画像復号装置２００へ出力される符号列は、オブジェクトの配置に関するオブジェクト領域情報Ｄを含まないから、符号量を削減することができる。このような符号量の削減によって、符号化の効率を向上させることができる。つまり、補強信号Ｅｉを用いて、オブジェクトである被写体を含む部分画像の空間分解能を、効率的に向上させることが可能となる。
【００９９】
尚、実施例１と同様に、画像符号化手段１に備えた画像拡大手段１２と画像切り出し手段１３とを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像符号化手段１は、図４に示すように、画像拡大手段１２及び画像切り出し手段１３の代わりに、画像拡大切り出し手段１８を備えるようにしてもよい。
【０１００】
〔実施例２〕
次に、実施例２について説明する。実施例２では、画像符号化装置１００は、画像の時間分解能を向上させるために、画像Ｈの縮小画像Ｌをオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成し、時間方向の画像処理を行う。図６は、実施例２の画像符号化手段１により、時間方向に処理される画像例を説明する図である。以下、図６を参照して説明する。
【０１０１】
実施例２において、画像符号化装置１００のオブジェクト検出手段２は、画像符号化手段１からオブジェクト検出用画像である縮小画像Ｌを入力し、この縮小画像Ｌから時間方向に局在する所定のオブジェクトを検出し、そのオブジェクトを含む領域群をオブジェクト領域情報Ｄとして画像符号化手段１に出力する。具体的には、オブジェクト検出手段２は、オブジェクト検出用画像である縮小画像Ｌ内において、オブジェクトが存在する時間区間を推定する。例えば、オブジェクト検出手段２は、縮小画像Ｌにおけるフレーム間（図６の例では２フレームの間隔を有する隣接フレーム間）の差分を計算し、差分の絶対値和ｄ（ｔ）が閾値を超えたフレームを検出し、オブジェクト領域情報Ｄを生成する。
【０１０２】
まず、オブジェクト検出手段２は、以下の式により、縮小画像Ｌにおける隣接フレーム間の差分を計算し、差分の絶対値和ｄ（ｔ）を計算する。
【数２７】
2011130114.tif 000032
ここで、Δｔは、縮小画像Ｌにおける隣接フレーム間の時間間隔である。
【０１０３】
そして、オブジェクト検出手段２は、以下の式に示すように、絶対値和ｄ（ｔ）が閾値θを超える時刻ｔの集合Ｔを求める。
【数２８】
2011130114.tif 000033
オブジェクト検出手段２は、集合Ｔ内における各時刻ｔについて、時間的に互いに隣接する時刻同士をグループ化し、０個以上（Ｆ個、Ｆは０以上の整数）の領域Ｄｉ（ｉは、０≦ｉ≦Ｆ−１を満たす整数のインデックス）に分割する。この領域Ｄｉは、インデックスｉに対して一定の規則により整順されるものとする。例えば、時刻により整順されるようにしてもよいし、領域Ｄｉ内のある代表時刻τｉにおける絶対値和ｄ（ｔｉ）により整順されるようにしてもよい。
【０１０４】
図６の例では、絶対値和ｄ（ｔ）が閾値θを超える時刻ｔの集合Ｔは、以下の式で表される。
【数２９】
2011130114.tif 000034
また、領域Ｄｉは、時刻順に整順された場合、以下の式で表される。
【数３０】
2011130114.tif 000035
ここで、領域Ｄｉは、式（３０）における各集合を時間方向に前後それぞれ一定時間拡張した集合、以下の式で表される。
【数３１】
2011130114.tif 000036
尚、一定時間拡張した結果、複数の領域Ｄｉが時間的に隣接するようになった場合には、これらを一つの集合に併合し、新たな領域Ｄｉとして扱うようにしてもよい。
【０１０５】
オブジェクト検出手段２は、このようにして求めた領域Ｄｉをオブジェクト領域情報Ｄとして画像符号化手段１に出力する。ここで、オブジェクト検出手段２により出力されるオブジェクト領域情報Ｄは、検出されたオブジェクトを含むフレームの時刻情報群であり、画像Ｈと同じ時間スケールの情報である。
【０１０６】
実施例２において、画像符号化装置１００の画像符号化手段１は、図２に示した画像符号化手段１と同じ手段を備えて構成される。画像縮小手段１０は、画像Ｈを入力し、画像Ｈの時間分解能を減らすために、画像Ｈにおける時間方向のフレームを間引いて縮小し、時間分解能の低い縮小画像Ｌを生成して縮小画像符号化手段１１及び画像拡大手段１２に出力すると共に、オブジェクト検出用画像としてオブジェクト検出手段２に出力する。具体的には、画像縮小手段１０は、画像Ｈに対し、一定時間間隔のフレームのみを標本化するサブサンプリングにより、時間分解能の低い縮小画像Ｌを生成する。尚、画像縮小手段１０は、画像Ｈに対し、複数フレームの画像情報を平滑化し、縮小画像Ｌを生成するようにしてもよい。
【０１０７】
図６の例では、画像縮小手段１０は、画像Ｈを構成するフレーム（ｔ＝０，１，２，３，４，５，６，７，・・・）に対し、時間方向に奇数時刻のフレームを間引いて縮小し、偶数時刻のフレーム（ｔ＝０，２，４，６，・・・）により構成される時間分解能の低い縮小画像Ｌを生成する。
【０１０８】
画像拡大手段１２は、画像縮小手段１０から縮小画像Ｌを入力し、縮小画像Ｌに対し時間方向に補間処理を行い、画像Ｈと同じ大きさ（画像Ｈと同じフレームレート）になるまでフレームを挿入して拡大し、拡大画像Ｋを生成して画像切り出し手段１３に出力する。具体的には、画像拡大手段１２は、縮小画像Ｌに対し、前時刻のフレームからの０次外挿により補間処理を行い、または、隣接する２フレームを用いた１次外挿等により補間処理を行い、拡大画像Ｋを生成する。０次外挿による補間処理は、以下の式により行われる。
【数３２】
2011130114.tif 000037
ここで、ΔＴは、縮小画像Ｌが存在する時間間隔（サンプリング間隔）であり、ωは、縮小画像Ｌが存在する時刻の位相である。図６の例では、ΔＴ＝２、ω＝０である。
【０１０９】
図６の例では、画像拡大手段１２は、縮小画像Ｌを構成する偶数時刻のフレーム（ｔ＝０，２，４，６，・・・）に対し、時間方向に奇数時刻のフレームを補間し、奇数及び偶数時刻のフレーム（ｔ＝０，１，２，３，４，５，６，７，・・・）により構成される拡大画像Ｋを生成する。
【０１１０】
画像切り出し手段１３は、画像拡大手段１２から拡大画像Ｋを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、拡大画像Ｋを構成するフレームの中から、オブジェクト領域情報Ｄが示す時刻情報のフレームを切り出し画像Ｂｉとして切り出し、切り出し画像Ｂｉを差分演算手段１５に出力する。オブジェクト領域情報Ｄは、複数の集合列（Ｆ個の集合列）であってもよく、Ｆは０以上の整数である。この場合、画像切り出し手段１３により出力される切り出し画像Ｂｉは、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ∈｛０，・・・，Ｆ−１｝）に対応している。Ｆ＝０のときには、切り出し画像Ｂｉは出力されない。つまり、画像切り出し手段１３は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して切り出し画像Ｂｉを切り出し、切り出し画像の画像列（Ｂｉ）ｉ＝０，・・・，Ｆ−１を出力する。
【０１１１】
図６の例では、画像切り出し手段１３は、拡大画像Ｋを構成するフレーム（ｔ＝０，１，２，３，４，５，６，７，・・・）の中から、式（３１）に示すオブジェクト領域情報Ｄ（Ｄ０＝｛３，４，５｝）のフレームを切り出し画像Ｂｉ（Ｂ０）として切り出し、拡大画像Ｋにおけるｔ＝３，４，５のフレームを、切り出し画像Ｂｉ（Ｂ０）を構成するｔ＝−１，０，＋１のフレームとして生成する。
【０１１２】
画像切り出し手段１４は、画像Ｈを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、画像Ｈを構成するフレームの中から、オブジェクト領域情報Ｄが示す時刻情報のフレームを切り出し画像Ｃｉとして切り出し、切り出し画像Ｃｉを差分演算手段１５に出力する。画像切り出し手段１４により出力される切り出し画像Ｃｉは、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ∈｛０，・・・，Ｆ−１｝）に対応している。Ｆ＝０のときには、切り出し画像Ｃｉは出力されない。つまり、画像切り出し手段１４は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して切り出し画像Ｃｉを切り出し、切り出し画像の画像列（Ｃｉ）ｉ＝０，・・・，Ｆ−１を出力する。
【０１１３】
図６の例では、画像切り出し手段１４は、画像Ｈを構成するフレーム（ｔ＝０，１，２，３，４，５，６，７，・・・）の中から、式（３１）に示すオブジェクト領域情報Ｄ（Ｄ０＝｛３，４，５｝）のフレームを切り出し画像Ｃｉ（Ｃ０）として切り出し、画像Ｈにおけるｔ＝３，４，５のフレームを、切り出し画像Ｃｉ（Ｃ０）を構成するｔ＝−１，０，＋１のフレームとして生成する。
【０１１４】
差分演算手段１５は、画像切り出し手段１３から切り出し画像Ｂｉを入力し、画像切り出し手段１４から切り出し画像Ｃｉを入力し、切り出し画像Ｂｉと切り出し画像Ｃｉとの間の差分画像Ｅｉを演算し、差分画像Ｅｉを補強信号Ｅｉとして補強信号符号化手段１６に出力する。例えば、差分演算手段１５は、切り出し画像Ｂｉと切り出し画像Ｃｉとの間で通常の引き算を行い、差分画像Ｅｉを生成する。または、差分演算手段１５は、切り出し画像Ｂｉと切り出し画像Ｃｉとの間で、画素値の階調数を法とする差分を演算し、差分画像Ｅｉを生成する。ここで、差分演算手段１５は、全てのインデックスｉ＝０，・・・，Ｆ−１に対して差分画像Ｅｉを演算し、差分画像の画像列（Ｅｉ）ｉ＝０，・・・，Ｆ−１を出力する。Ｆ＝０の場合、差分演算手段１５は、画像切り出し手段１３，１４から切り出し画像Ｂｉ，Ｃｉを入力しないから、差分画像Ｅｉを出力しない。
【０１１５】
図６の例では、差分演算手段１５は、ｔ＝−１，０，＋１のフレームにより構成される切り出し画像Ｂｉと、ｔ＝−１，０，＋１のフレームにより構成される切り出し画像Ｃｉとにより、ｔ＝−１，０，＋１のフレームにより構成される差分画像Ｅｉを生成する。
【０１１６】
実施例２の縮小画像符号化手段１１、補強信号符号化手段１６及び多重化手段１７は、図２に示した実施例１による画像符号化手段１に備えた各手段と同様の処理を行うから、ここでは説明を省略する。
【０１１７】
以上のように、実施例２の画像符号化手段１を備えた画像符号化装置１００によれば、オブジェクト検出手段２が、時間分解能の低い縮小画像Ｌであるオブジェクト検出用画像に基づいて、高精細な時間分解能の高い画像を伝送する必要があると判断されるオブジェクト領域情報Ｄ（所定のオブジェクトを含む時間領域の情報）を生成し、画像符号化手段１の差分演算手段１５が、オブジェクト領域情報Ｄの示す時間領域を高分解能化するための補強信号Ｅｉを、画像Ｈと、縮小画像Ｌが拡大された拡大画像Ｋとの間の差分を演算することにより生成し、多重化手段１７が、縮小画像符号化手段１１により縮小画像Ｌから生成された、時間分解能の低い画像の符号列λと、補強信号符号化手段１６により補強信号Ｅｉから生成された、時間分解能の高い画像を生成するための符号列εとを多重化し、符号列μを画像復号装置２００へ出力するようにした。これにより、画像復号装置２００は、画像符号化装置１００に備えたオブジェクト検出手段２と同様の手段を用いることにより、時間分解能の低い画像の符号列λが復号された縮小画像Ｌからオブジェクト領域情報Ｄを生成することができる。また、オブジェクト領域情報Ｄが示す時間領域について、符号列εが復号された補強信号Ｅｉから、オブジェクトである被写体の滑らかな動きを再現した、高精細な時間分解能の高い画像を生成することができる。
【０１１８】
また、実施例２の画像符号化手段１を備えた画像符号化装置１００によれば、実施例１と同様に、画像符号化手段１の補強信号符号化手段１６が符号化する信号は、オブジェクト領域情報Ｄの示す時間領域についての補強信号Ｅｉのみで済み、補強信号Ｅｉは、差分演算手段１５において切り出し画像Ｂｉ，Ｃｉの差分演算により生成されるから、符号量を削減することができる。また、画像符号化装置１００から画像復号装置２００へ出力される符号列は、オブジェクトの配置に関するオブジェクト領域情報Ｄを含まないから、符号量を削減することができる。このような符号量の削減によって、符号化の効率を向上させることができる。つまり、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の時間分解能を、効率的に向上させることが可能となる。
【０１１９】
尚、実施例１と同様に、画像符号化手段１に備えた画像拡大手段１２と画像切り出し手段１３とを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像符号化手段１は、図２に示すように、画像拡大手段１２及び画像切り出し手段１３の代わりに、画像拡大切り出し手段１８を備える。この場合、画像拡大切り出し手段１８は、画像縮小手段１０から縮小画像Ｌを入力し、オブジェクト検出手段２からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄに含まれる各領域Ｄｉ（ｉ＝０，・・・，Ｆ−１）について、画像縮小手段１０における画像Ｈから所定のフレームを間引いて縮小画像Ｌを生成する際の縮小比を考慮し、同じ縮小比にて各領域Ｄｉのフレームを間引いて縮小する。そして、画像拡大切り出し手段１８は、縮小した領域Ｄｉの時刻情報に基づいて、縮小画像Ｌから切り出し画像を切り出し、画像拡大手段１２においてフレームを挿入して画像を拡大する際の拡大比を考慮し、同じ拡大比にて切り出し画像にフレームを挿入して画像を拡大し、切り出し画像Ｂｉを生成する。これにより、画像符号化手段１は、拡大画像Ｋを生成することなく、切り出し画像のみを拡大するようにしたから、演算量及びメモリ量が少なくて済み、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の時間分解能を、一層効率的に向上させることが可能となる。
【０１２０】
〔実施例２の変形例〕
次に、実施例２の変形例について説明する。実施例２の変形例では、画像符号化装置１００は、画像の時間分解能を向上させるために、画像Ｈの縮小画像Ｌの符号列を復号して局所復号画像Ｌ’を生成し、局所復号画像Ｌ’をオブジェクト検出用画像とし、オブジェクト検出用画像に基づいてオブジェクト領域情報Ｄを生成し、時間方向の画像処理を行う。図７は、実施例２の変形例の画像符号化手段１により、時間方向に処理される画像例を説明する図である。以下、図７を参照して説明する。
【０１２１】
実施例２の変形例において、画像符号化装置１００のオブジェクト検出手段２は、オブジェクト検出用画像として、縮小画像Ｌの代わりに局所復号画像Ｌ’を入力し、実施例２のオブジェクト検出手段２と同様の処理を行う。すなわち、オブジェクト検出手段２は、画像符号化手段１からオブジェクト検出用画像である局所復号画像Ｌ’を入力し、この局所復号画像Ｌ’から時間方向に局在する所定のオブジェクトを検出し、そのオブジェクトを含む領域群をオブジェクト領域情報Ｄとして画像符号化手段１の画像切り出し手段１３，１４に出力する。
【０１２２】
実施例２の変形例において、画像符号化装置１００の画像符号化手段１は、図４に示した画像符号化手段１と同じ手段を備えて構成される。実施例２による画像符号化手段１と、実施例２の変形例による画像符号化手段１との間の構成上の同一点及び相違点は、実施例１と実施例１の変形例との間で比較説明したものと同様である。
【０１２３】
実施例２の変形例において、局所画像復号手段１９は、縮小画像符号化手段１１から時間分解能の低い縮小画像Ｌの符号列λを入力し、符号列λを復号して局所復号画像Ｌ’を生成し、画像拡大手段１２に出力すると共に、オブジェクト検出用画像としてオブジェクト検出手段２に出力する。画像拡大手段１２は、局所画像復号手段１９から局所復号画像Ｌ’を入力し、局所復号画像Ｌ’に対し時間方向に補間処理を行い、画像Ｈと同じ大きさ（画像Ｈと同じフレームレート）になるまでフレームを挿入して拡大し、拡大画像Ｋを生成して画像切り出し手段１３に出力する。
【０１２４】
以上のように、実施例２の変形例の画像符号化手段１を備えた画像符号化装置１００によれば、画像符号化手段１の局所画像復号手段１９が、時間分解能の低い縮小画像Ｌの符号列λを復号して局所復号画像Ｌ’を生成し、オブジェクト検出手段２が、局所復号画像Ｌ’であるオブジェクト検出用画像に基づいて、高精細な時間分解能の高い画像を伝送する必要があると判断されるオブジェクト領域情報Ｄ（所定のオブジェクトを含む時間領域の情報）を生成し、画像符号化手段１の差分演算手段１５が、オブジェクト領域情報Ｄの示す時間領域のフレームにおける補強信号Ｅｉを、画像Ｈと、局所復号画像Ｌ’が拡大された拡大画像Ｋとの間の差分を演算することにより生成し、多重化手段１７が、縮小画像符号化手段１１により縮小画像Ｌから生成された時間分解能の低い画像の符号列λと、補強信号符号化手段１６により補強信号Ｅｉから生成された、時間分解能の高い画像を生成するための符号列εとを多重化し、符号列μを画像復号装置２００へ出力するようにした。これにより、画像復号装置２００は、画像符号化装置１００に備えたオブジェクト検出手段２と同様の手段を用いることにより、時間分解能の低い画像の符号列λが復号された縮小画像Ｌからオブジェクト領域情報Ｄを生成することができる。また、オブジェクト領域情報Ｄが示す時間領域について、符号列εが復号された補強信号Ｅｉから、オブジェクトである被写体の滑らかな動きを再現した、高精細な時間分解能の高い画像を生成することができる。
【０１２５】
実施例２の変形例による画像符号化手段１は、局所画像復号手段１９により生成される局所復号画像Ｌ’をオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、補強信号Ｅｉを生成して符号列εを生成する。一方、実施例２による画像符号化手段１は、画像縮小手段１０により生成される縮小画像Ｌをオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、補強信号Ｅｉを生成して符号列εを生成する。この場合、画像復号装置２００は、後述する縮小画像復号手段２２により生成される縮小画像Ｌをオブジェクト検出用画像に用いることにより、オブジェクト領域情報Ｄを生成し、鮮鋭化画像Ｈを生成することになる。ここで、実施例２の画像縮小手段１０により生成される縮小画像Ｌは、画像復号装置２００の縮小画像復号手段２２により生成される縮小画像Ｌに対応しているが、実施例２の変形例の局所画像復号手段１９により生成される局所復号画像Ｌ’の方が実施例２の縮小画像Ｌよりも、画像復号装置２００の縮小画像復号手段２２により生成される縮小画像Ｌに近いものとなる。したがって、縮小画像符号化手段１１が非可逆の符号化方式を用いた場合であっても、画像符号化装置１００及び画像復号装置２００は、同一のオブジェクト領域情報Ｄを生成することができる。つまり、縮小画像符号化手段１１の符号化による画質劣化が生じたとしても、オブジェクト検出の破綻が起こることがない。また、補強信号Ｅｉは、局所復号画像Ｌ’を用いて生成された拡大画像Ｋにより生成されるから、縮小画像符号化手段１１が非可逆の符号化方式を用いた場合であっても、符号化による画質劣化の歪みを考慮した信号となる。つまり、画像復号装置２００は、このような補強信号Ｅｉを用いることにより、画像の高分解能化を実現することができる。すなわち、実施例２の変形例による画像符号化手段１は、画像復号装置２００の復号処理を考慮して補強信号Ｅｉを生成し、符号列εを生成するから、画像復号装置２００において、画像符号化装置１００に入力された画像Ｈが一層反映された鮮鋭化画像Ｈを生成することができる。
【０１２６】
また、実施例２の変形例の画像符号化手段１を備えた画像符号化装置１００によれば、実施例２と同様に、画像符号化手段１の補強信号符号化手段１６が符号化する信号は、オブジェクト領域情報Ｄの示す時間領域についての補強信号Ｅｉのみで済み、補強信号Ｅｉは、差分演算手段１５において部分画像Ｂｉ，Ｃｉの差分演算により生成されるから、補強信号Ｅｉから生成される符号列εの符号量を削減することができる。また、画像符号化装置１００から画像復号装置２００へ出力される符号列は、オブジェクトの配置に関するオブジェクト領域情報Ｄを含まないから、符号量を削減することができる。このような符号量の削減によって、符号化の効率を向上させることができる。つまり、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の時間分解能を、効率的に向上させることが可能となる。
【０１２７】
尚、実施例２と同様に、画像符号化手段１に備えた画像拡大手段１２と画像切り出し手段１３とを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像符号化手段１は、図４に示すように、画像拡大手段１２及び画像切り出し手段１３の代わりに、画像拡大切り出し手段１８を備えるようにしてもよい。
【０１２８】
以上、本発明の実施形態による画像符号化装置１００について、実施例１、実施例１の変形例、実施例２及び実施例２の変形例に分けて説明したが、他の実施例として、実施例１または実施例１の変形例と、実施例２または実施例２の変形例とを組み合わせるようにしてもよい。すなわち、他の実施例では、画像の空間分解能及び時間分解能を向上させるために、空間方向及び時間方向の画像処理を行う。具体的には、オブジェクト検出手段２は、縮小画像Ｌまたは局所復号画像Ｌ’に基づいて、オブジェクトを含む空間領域及び時間領域のオブジェクト領域情報Ｄを生成する。また、画像符号化手段１の画像縮小手段１０は、空間分解能及び時間分解能の低い縮小画像Ｌを生成し、画像切り出し手段１３，１４は、オブジェクト領域情報Ｄの示す時間領域のフレームについて、そのフレームに対してオブジェクト領域情報Ｄの示す空間領域の画像を切り出し画像Ｂｉ，Ｃｉとして生成する。そして、補強信号符号化手段１６は、差分演算手段１５からオブジェクトを含む空間領域及び時間領域の差分画像Ｅｉ（補強信号Ｅｉ）を入力し、符号化を行い、オブジェクトを含む空間領域及び時間領域の補強信号Ｅｉの符号列εを生成する。これにより、画像復号装置２００は、高精細な空間分解能及び時間分解能の高い画像を生成することができる。また、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の空間分解能及び時間分解能を、効率的に向上させることが可能となる。
【０１２９】
〔画像復号装置〕
次に、本発明の実施形態による画像復号装置について説明する。図８は、画像復号装置の構成を示すブロック図である。この画像復号装置２００は、画像復号手段３及びオブジェクト検出手段４を備えて構成される。画像復号装置２００は、図１に示した画像符号化装置１００により出力された符号列μを入力し、画像復号処理及びオブジェクト検出処理により低分解能画像及び高精細な鮮鋭化画像Ｈを生成し、これらの画像を出力する。
【０１３０】
画像復号手段３は、画像符号化装置１００から符号列μを入力し、オブジェクト検出手段４からオブジェクト領域情報Ｄを入力し、符号列μとオブジェクト領域情報Ｄとに基づいて画像復号を行い、低分解能画像及び鮮鋭化画像Ｈを生成して出力する。また、画像復号手段３は、符号列μを復号し、オブジェクト検出手段４がオブジェクトを検出するために用いる画像（オブジェクト検出用画像）を生成し、オブジェクト検出用画像をオブジェクト検出手段４に出力する。尚、画像復号手段３は、低分解能画像を出力しなくてもよい。画像符号化装置１００から入力する符号列μは、縮小画像Ｌが符号化された符号列λと、補強信号Ｅｉが符号化された符号列εとが多重化されている。
【０１３１】
オブジェクト検出手段４は、画像復号手段３からオブジェクト検出用画像を入力し、オブジェクト検出用画像からオブジェクトを検出し、高精細な画像を伝送する必要があると判断される空間領域または時間領域（オブジェクトを含む領域）をオブジェクト領域情報Ｄとして生成し、画像復号手段３に出力する。尚、オブジェクト検出手段４は、図１に示した画像符号化装置１００のオブジェクト検出手段２と同様の処理を行うから、ここでは詳細な説明を省略する。
【０１３２】
以下、図１に示した画像符号化装置１００と同様に、画像はモノクロ画像の場合を例にとって説明するが、カラー画像等の場合には、各色成分を要素に持つ色ベクトルとして各画素の画素値を取り扱うこととする。したがって、画像はモノクロ画像に限らず、カラー画像等にも適用がある。
【０１３３】
以下、図８に示した画像復号装置２００の画像復号手段３について、前述した実施例１及び実施例１の変形例による画像符号化手段１に対応して、空間方向の画像処理を行う画像復号手段３と、前述した実施例２及び実施例２の変形例による画像符号化手段１に対応して、時間方向の画像処理を行う画像復号手段３とに分けて説明する。
【０１３４】
〔実施例１及び実施例１の変形例に対応する画像復号手段〕
まず、前述した実施例１及び実施例１の変形例による画像符号化手段１に対応して、空間方向の画像処理を行う画像復号手段３について説明する。画像復号手段３は、符号列μを復号して得た縮小画像Ｌをオブジェクト検出用画像とし、オブジェクト検出手段４にオブジェクト領域情報Ｄを生成させ、空間方向の画像処理を行い、符号列μを復号して得た補強信号Ｅｉを用いて、オブジェクト領域情報Ｄの示す空間領域の分解能を向上させた鮮鋭化画像Ｈを生成する。
【０１３５】
図９は、画像復号手段３の構成を示すブロック図である。この画像復号手段３は、逆多重化手段２０、補強信号復号手段２１、縮小画像復号手段２２、配置手段２３、画像拡大手段２４及び加算手段２５を備えて構成される。以下、画像の水平位置ｘ及び垂直位置ｙの座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）における、画像Ｉの画素値をＩ（ｘ，ｙ）とする。
【０１３６】
（逆多重化手段）
逆多重化手段２０は、画像符号化装置１００から符号列μを入力し、予め設定された順序で、縮小画像Ｌが符号化された符号列λと、補強信号Ｅｉが符号化された符号列εとに分離し、符号列λを縮小画像復号手段２２に出力し、符号列εを補強信号復号手段２１に出力する。
【０１３７】
尚、逆多重化手段２０は、符号列μにおけるヘッダ情報またはフッタ情報等の付加的な情報に、符号列λ及び符号列εの位置が記述されている場合、その付加的な情報に基づいて、符号列μを符号列λ及び符号列εに分離する。
【０１３８】
（補強信号復号手段）
補強信号復号手段２１は、逆多重化手段２０から、補強信号Ｅｉが符号化された符号列εを入力し、符号列εを復号して補強信号Ｅｉを生成し、配置手段２３に出力する。この補強信号復号手段２１は、符号列εを生成した、画像符号化装置１００の画像符号化手段１における補強信号符号化手段１６と対になる復号手段である。
【０１３９】
具体的には、補強信号復号手段２１は、補強信号符号化手段１６がＰＣＭの符号化方式を用いる場合、符号列εを画素毎の部分符号列に分解し、分解した部分符号列を逆量子化して輝度値に戻し、これをラスタスキャンの順序で補強信号Ｅｉの各画素位置にマッピングすることにより復号し、補強信号Ｅｉを生成する。
【０１４０】
また、補強信号符号化手段１６が、符号化方式として、ＪＰＥＧ、ＪＰＥＧ  ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の既存の画像符号化方式または動画像符号化方式を用いる場合、補強信号復号手段２１は、その符号化方式と対になる復号方式を用いて、補強信号Ｅｉを生成する。
【０１４１】
ここで、補強信号復号手段２１により生成される補強信号Ｅｉは、オブジェクト領域情報Ｄの示す空間領域を補強し、高解像度の（空間分解能の高い）画像を生成するための信号である。以下、ｉ番目（ｉ＝０，・・・，Ｆ−１（Ｆはオブジェクトの個数））のインデックスについて、ｉ番目のオブジェクトを含む領域内の代表点（例えば、重心、最もｘ座標の小さい画素群の中で最もｙ座標の小さい画素の画像座標等）を原点としたときの、座標（ｘ，ｙ）における補強信号をＥｉ（ｘ，ｙ）とする。
【０１４２】
（縮小画像復号手段）
縮小画像復号手段２２は、逆多重化手段２０から、縮小画像Ｌが符号化された符号列λを入力し、符号列λを復号して縮小画像Ｌを生成し、画像拡大手段２４に出力すると共に、オブジェクト検出用画像としてオブジェクト検出手段４に出力する。この縮小画像復号手段２２は、符号列λを生成した、画像符号化装置１００の画像符号化手段１における縮小画像符号化手段１１と対になる復号手段である。
【０１４３】
具体的には、縮小画像復号手段２２は、縮小画像符号化手段１１がＰＣＭの符号化方式を用いる場合、符号列λを画素毎の部分符号列に分解し、分解した部分符号列を逆量子化して輝度値に戻し、これをラスタスキャンの順序で縮小画像Ｌの各画素位置にマッピングすることにより復号し、縮小画像Ｌを生成する。
【０１４４】
また、縮小画像符号化手段１１が、符号化方式として、ＪＰＥＧ、ＪＰＥＧ  ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の既存の画像符号化方式または動画像符号化方式を用いる場合、縮小画像復号手段２２は、その符号化方式と対になる復号方式を用いて、縮小画像Ｌを生成する。
【０１４５】
（配置手段）
配置手段２３は、補強信号復号手段２１から補強信号Ｅｉを入力し、オブジェクト検出手段４からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄの示す空間領域に基づいて、補強信号Ｅｉを重畳すべき位置を決定し、補強画像Ｇを生成して加算手段２５に出力する。具体的には、配置手段２３は、画像復号手段３が出力すべき鮮鋭化画像Ｈの大きさ（画素数及びアスペクト比）を有するフレームメモリを備え、補強信号Ｅｉの重畳位置を決定した後、重畳位置に対応したフレームメモリのアドレス位置に補強信号Ｅｉを格納し、フレームメモリ上の画像を補強画像Ｇとして生成する。
【０１４６】
例えば、配置手段２３は、補強信号Ｅｉの画素値を、重畳位置に対応したフレームメモリのアドレスに格納することにより、補強画像Ｇを生成する。但し、複数の補強信号Ｅｉの領域が重なっている場合、配置手段２３は、その領域における画素値の代表値（例えば平均値）を算出し、算出結果の画素値をその領域の画素値として用いる。
【０１４７】
例えば、オブジェクト領域情報Ｄに含まれる領域Ｄｉが、バウンディングボックス（左上の頂点の画像座標（ｐｉ，ｑｉ）、右下の頂点の画像座標（ｒｉ，ｓｉ）とした情報）で表されており、補強信号Ｅｉが、画像符号化装置１００の画像符号化手段１における差分演算手段１５において、部分画像Ｂｉ，Ｃｉの差分、または部分画像Ｂｉ，Ｃｉの階調数を法とする剰余の差分として演算されている場合、配置手段２３は、以下の式により、補強画像Ｇを生成する。
【数３３】
2011130114.tif 000038
【０１４８】
（画像拡大手段）
画像拡大手段２４は、縮小画像復号手段２２から縮小画像Ｌを入力し、縮小画像Ｌを所定の大きさ（例えば、鮮鋭化画像Ｈの大きさ）になるまで画素を挿入して拡大し、拡大画像Ｋを生成して加算手段２５に出力する。画像拡大手段２４は、図２及び図４に示した実施例１及び実施例１の変形例による画像符号化手段１の画像拡大手段１２と同様の処理を行うから、ここでは説明を省略する。
【０１４９】
（加算手段）
加算手段２５は、配置手段２３から補強画像Ｇを入力し、画像拡大手段２４から拡大画像Ｋを入力し、以下の式に示すように、補強画像Ｇと拡大画像Ｋとを加算し、鮮鋭化画像Ｈを生成して出力する。
【数３４】
2011130114.tif 000039
【０１５０】
（実施例１及び実施例１の変形例に対応する画像復号手段により処理される画像例）
図１０は、実施例１及び実施例１の変形例の画像復号手段３により、空間方向に処理される画像例を説明する図である。拡大画像Ｋは、画像拡大手段２４により縮小画像Ｌから生成され、オブジェクト領域情報Ｄに含まれる領域Ｄ０，Ｄ１は、オブジェクト検出手段４により縮小画像Ｌであるオブジェクト検出用画像から生成される。また、補強画像Ｇは、配置手段２３により、補強信号Ｅ０，Ｅ１及びオブジェクト領域情報Ｄに含まれる領域Ｄ０，Ｄ１から生成され、鮮鋭化画像Ｈは、加算手段２５により拡大画像Ｋ及び補強画像Ｇから生成される。鮮鋭化画像Ｈは、スペクトルの広域成分が存在しないぼけた印象を受ける拡大画像Ｋと補強画像Ｇとが加算された結果、オブジェクト領域情報Ｄが示す領域が高解像度画像となる。
【０１５１】
以上のように、実施例１及び実施例１の変形例に対応して、空間方向の画像処理を行う画像復号手段３を備えた画像復号装置２００によれば、画像符号化装置１００から、符号列μを入力し、オブジェクト検出手段４が、符号列μに含まれる符号列λから復号された低解像度の縮小画像Ｌであるオブジェクト検出用画像に基づいて、オブジェクト領域情報Ｄ（所定のオブジェクトを含む領域の情報）を生成するようにした。また、画像復号手段３の配置手段２３が、オブジェクト領域情報Ｄの示す空間領域の位置に、符号列μに含まれる符号列εから復号された補強信号Ｅｉを配置し、高解像度画像を生成するための補強画像Ｇを生成し、加算手段２５が、画像拡大手段２４により縮小画像Ｌが拡大された拡大画像Ｋと補強画像Ｇとを加算して、鮮鋭化画像Ｈを生成するようにした。これにより、鮮鋭化画像Ｈは、オブジェクト領域情報Ｄの空間領域について、オブジェクトである被写体の滑らかな輪郭と詳細なテクスチャを再現した高精細な高解像度画像となる。また、画像符号化装置１００から入力する符号列μは、低解像度画像の符号列λ、及びオブジェクト領域情報Ｄの示す空間領域における補強信号Ｅｉの符号列εであり、オブジェクトの配置に関するオブジェクト領域情報Ｄを含まないから、符号量は少なくて済み、復号処理の負担を軽減することができる。したがって、補強信号Ｅｉを用いて、オブジェクトである被写体を含む部分画像の分解能を、効率的に向上させることが可能となる。
【０１５２】
尚、図９に示した画像復号手段３では、配置手段２３と加算手段２５とを、別々の処理単位の構成要素として説明したが、これらを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像復号手段３は、図９に示すように、配置手段２３及び加算手段２５の代わりに、配置加算手段２６を備える。配置加算手段２６は、画像拡大手段２４から拡大画像Ｋを入力し、補強信号復号手段２１から補強信号Ｅｉを入力し、オブジェクト検出手段４からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄの示す空間領域に基づいて、補強信号Ｅｉを加算すべき位置を決定し、拡大画像Ｋのうちの前記決定位置の画像に、前記決定位置の補強信号Ｅｉを加算し、加算後の拡大画像Ｋを鮮鋭化画像Ｈとして出力する。これにより、画像復号手段３は、補強画像Ｇを生成することなく、鮮鋭化画像Ｈを直接生成するようにしたから、演算量及びメモリ量が少なくて済み、復号処理の負担を一層軽減することができる。したがって、補強信号Ｅｉを用いて、オブジェクトである被写体を含む部分画像の分解能を、一層効率的に向上させることが可能となる。
【０１５３】
〔実施例２及び実施例２の変形例に対応する画像復号手段〕
次に、前述した実施例２及び実施例２の変形例による画像符号化手段１に対応して、時間方向の画像処理を行う画像復号手段３について説明する。画像復号手段３は、符号列μを復号して得た縮小画像Ｌをオブジェクト検出用画像とし、オブジェクト検出手段４にオブジェクト領域情報Ｄを生成させ、時間方向の画像処理を行い、符号列μを復号して得た補強信号Ｅｉを用いて、オブジェクト領域情報Ｄの示す時間領域の分解能を向上させた鮮鋭化画像Ｈを生成する。
【０１５４】
実施例２及び実施例２の変形例に対応する画像復号手段３は、図９に示した画像復号手段３と同じ手段を備えて構成される。逆多重化手段２０、補強信号復号手段２１及び縮小画像復号手段２２は、実施例１及び実施例１の変形例に対応する画像復号手段３における各手段と同様の処理を行うから、ここでは説明を省略する。以下、時刻をｔとし、画像Ｉの時刻ｔ、画像座標（ｘ，ｙ）における画素値をＩ（ｔ，ｘ，ｙ）とする。
【０１５５】
（画像拡大手段）
画像拡大手段２４は、縮小画像復号手段２２から縮小画像Ｌを入力し、縮小画像Ｌに対し時間方向に補間処理を行い、所定の大きさ（例えば、鮮鋭化画像Ｈと同じフレームレート）になるまでフレームを挿入して拡大し、拡大画像Ｋを生成して加算手段２５に出力する。画像拡大手段２４は、図２及び図４に示した実施例２及び実施例２の変形例による画像符号化手段１の画像拡大手段１２と同様の処理を行うから、ここでは説明を省略する。
【０１５６】
（配置手段）
配置手段２３は、補強信号復号手段２１から補強信号Ｅｉを入力し、オブジェクト検出手段４からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄに含まれる領域Ｄｉから代表時刻τｉを求める。例えば、領域Ｄｉの時刻から、最小の時刻、小さい方から所定番目の時刻、中央の時刻、最大の時刻、平均時刻等を代表時刻τｉとして求める。
【０１５７】
そして、配置手段２３は、以下の式により、補強信号Ｅｉを配置すべきフレーム位置を決定し、フレームの位置（時刻）合わせをしながら補強信号Ｅｉを配置し、補強画像Ｇを生成して加算手段２５に出力する。
【数３５】
2011130114.tif 000040
但し、Ｅｉ（ｔ，ｘ，ｙ）の値が定義されない時刻ｔに対しては、Ｅｉ（ｔ，ｘ，ｙ）＝０とする。
【０１５８】
（加算手段）
加算手段２５は、配置手段２３から補強画像Ｇを入力し、画像拡大手段２４から拡大画像Ｋを入力し、以下の式により、補強画像Ｇと拡大画像Ｋとを加算し、鮮鋭化画像Ｈを生成して出力する。
【数３６】
2011130114.tif 000041
【０１５９】
尚、加算手段２５は、以下の式により、補強画像Ｇ及び拡大画像Ｋの階調数を法とする剰余の加算を演算し、この演算結果を鮮鋭化画像Ｈとして生成するようにしてもよい。
【数３７】
2011130114.tif 000042
【０１６０】
（実施例２及び実施例２の変形例に対応する画像復号手段により処理される画像例）
図１１は、実施例２及び実施例２の変形例の画像復号手段３により、時間方向に処理される画像例を説明する図である。
【０１６１】
まず、図１１におけるオブジェクト検出手段４の処理について説明する。前述のとおり、オブジェクト検出手段４は、オブジェクト検出用画像である縮小画像Ｌから時間方向に局在する所定のオブジェクトを検出し、そのオブジェクトを含む領域群をオブジェクト領域情報Ｄとして生成する。具体的には、オブジェクト検出手段４は、オブジェクト検出用画像である縮小画像Ｌ内において、オブジェクトが存在する時間区間を推定する。例えば、オブジェクト検出手段４は、縮小画像Ｌにおけるフレーム間の差分を計算し、差分の絶対値和ｄ（ｔ）を計算し、この絶対値和ｄ（ｔ）が閾値θを超える時刻ｔの集合Ｔを求め、集合Ｔを部分集合の領域Ｄｉとしてオブジェクト領域情報Ｄを生成する。差分の絶対値和ｄ（ｔ）は、前述の式（２７）により計算され、集合Ｔは、前述の式（２８）により求められる。
【０１６２】
図１１の例では、絶対値和ｄ（ｔ）が閾値θを超える時刻ｔの集合Ｔは、以下の式で表される。
【数３８】
2011130114.tif 000043
また、部分集合の領域Ｄｉは、時刻順に整順された場合、以下の式で表される。
【数３９】
2011130114.tif 000044
ここで、部分集合の領域Ｄｉは、式（３９）における各集合を時間方向に前後それぞれ一定時間拡張した集合、以下の式で表される。
【数４０】
2011130114.tif 000045
尚、一定時間拡張した結果、複数の部分集合の領域Ｄｉが時間的に隣接するようになった場合には、これらを一つの集合に併合し、新たな部分集合の領域Ｄｉとして扱うようにしてもよい。
【０１６３】
図１１において、拡大画像Ｋは、画像拡大手段２４により縮小画像Ｌから生成され、オブジェクト領域情報Ｄに含まれる領域Ｄ０，Ｄ１は、オブジェクト検出手段４により縮小画像Ｌであるオブジェクト検出用画像から生成される。また、補強画像Ｇは、配置手段２３により、補強信号Ｅ０，Ｅ１及びオブジェクト領域情報Ｄに含まれる領域Ｄ０，Ｄ１から生成される。ここで、代表時刻τ０＝４，τ１＝８は、オブジェクト領域情報Ｄｎに含まれる領域Ｄ０，Ｄ１から求められ、補強画像Ｇにおけるｔ＝３，４，５のフレームに補強信号Ｅ０が配置され、ｔ＝７，８，９のフレームに補強信号Ｅ１が配置される。鮮鋭化画像Ｈは、加算手段２５により拡大画像Ｋ及び補強画像Ｇから生成される。鮮鋭化画像Ｈは、オブジェクト領域情報Ｄが示す時間領域に配置された補強画像Ｇにより、時間分解能の高い画像となる。
【０１６４】
以上のように、実施例２及び実施例２の変形例に対応して、時間方向の画像処理を行う画像復号手段３を備えた画像復号装置２００によれば、画像符号化装置１００から、符号列μを入力し、オブジェクト検出手段４が、符号列μに含まれる符号列λから復号された時間分解能の低い縮小画像Ｌであるオブジェクト検出用画像に基づいて、オブジェクト領域情報Ｄ（所定のオブジェクトを含む時間領域の情報）を生成するようにした。また、画像復号手段３の配置手段２３が、オブジェクト領域情報Ｄの示す時間領域の位置に、符号列μに含まれる符号列εから復号された補強信号Ｅｉを配置し、補強画像Ｇを生成し、加算手段２５が、画像拡大手段２４により縮小画像Ｌが拡大された拡大画像Ｋと補強画像Ｇとを加算して、鮮鋭化画像Ｈを生成するようにした。これにより、鮮鋭化画像Ｈは、オブジェクト領域情報Ｄの時間領域について、オブジェクトである被写体の滑らかな動きを再現した、時間分解能の高い画像となる。画像符号化装置１００から入力する符号列μは、時間分解能の低い画像の符号列λ、及びオブジェクト領域情報Ｄの示す時間領域における補強信号Ｅｉの符号列εであり、オブジェクト領域情報Ｄを含まないから、符号量は少なくて済み、復号処理の負担を軽減することができる。したがって、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の時間分解能を、効率的に向上させることが可能となる。
【０１６５】
尚、実施例２及び実施例２の変形例に対応する画像復号手段３では、配置手段２３と加算手段２５とを、別々の処理単位の構成要素として説明したが、これらを一つの処理単位の構成要素とするようにしてもよい。具体的には、画像復号手段３は、図９に示すように、配置手段２３及び加算手段２５の代わりに、配置加算手段２６を備える。配置加算手段２６は、画像拡大手段２４から拡大画像Ｋを入力し、補強信号復号手段２１から補強信号Ｅｉを入力し、オブジェクト検出手段４からオブジェクト領域情報Ｄを入力し、オブジェクト領域情報Ｄの示す時間領域に基づいて、補強信号Ｅｉを加算すべき時間位置を決定し、拡大画像Ｋのうちの前記決定位置の画像と、前記決定位置の補強信号Ｅｉとを加算し、鮮鋭化画像Ｈを生成して出力する。これにより、画像復号手段３は、補強画像Ｇを生成することなく、鮮鋭化画像Ｈを直接生成するようにしたから、演算量及びメモリ量が少なくて済み、復号処理の負担を軽減することができる。したがって、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の時間分解能を、一層効率的に向上させることが可能となる。
【０１６６】
以上、本発明の実施形態による画像復号装置２００について、実施例１及び実施例１の変形例に対応する画像復号手段３と、実施例２及び実施例２の変形例に対応する画像復号手段３とに分けて説明したが、画像符号化装置１００が、実施例１または実施例１の変形例と、実施例２または実施例２の変形例とを組み合わせて構成される場合、画像復号装置２００は、空間方向及び時間方向の画像処理を行い、空間分解能及び時間分解能を向上させた鮮鋭化画像Ｈを生成する。具体的には、オブジェクト検出手段４は、縮小画像Ｌであるオブジェクト検出用画像に基づいて、オブジェクトを含む空間領域及び時間領域のオブジェクト領域情報Ｄを生成し、画像復号手段３の配置手段２３は、オブジェクト領域情報Ｄの示す時間領域に基づいて、補強信号Ｅｉを加算すべき時間位置を決定し、オブジェクト領域情報Ｄの示す空間領域に基づいて、補強信号Ｅｉを加算すべき空間位置を決定し、補強画像Ｇを生成する。そして、加算手段２５は、縮小画像Ｌが拡大された拡大画像Ｋと補強画像Ｇとを加算し、鮮鋭化画像Ｈを生成する。これにより、補強信号Ｅｉを用いて、オブジェクトである被写体を含む画像の空間分解能及び時間分解能を、一層効率的に向上させることが可能となる。
【０１６７】
以上、実施例を挙げて本発明を説明したが、本発明は前記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。本発明による画像符号化装置及び画像復号装置は、全体画像を低分解能の符号列で伝送し、オブジェクトである被写体を含む画像を高分解能化するために、補強信号Ｅｉの符号列を伝送する装置に適用があり、例えば、画像復号装置として、小画面の表示器を備えた携帯端末にも適用がある。
【０１６８】
例えば、携帯端末は、通常時に、縮小画像復号手段２２により復号された分解能の低い縮小画像Ｌを表示器に表示する。そして、携帯端末は、ユーザによるオブジェクト表示の操作があったときに、オブジェクトを含む領域の画像を、加算手段２５により出力された鮮鋭化画像Ｈから切り出し、その画像を拡大して表示器に画面表示する。具体的には、携帯端末の画像復号手段３は表示手段を備えており、配置手段２３は、オブジェクト領域情報Ｄから、オブジェクトを含む空間領域の座標情報、またはオブジェクトを含む時間領域のフレーム情報を生成する。表示手段は、縮小画像復号手段２２から縮小画像Ｌである低分解能画像を入力して表示器に画面表示する。そして、表示手段は、ユーザの操作に従って、配置手段２３から座標情報またはフレーム情報を入力し、加算手段２５から鮮鋭化画像Ｈを入力し、鮮鋭化画像Ｈから、座標情報またはフレーム情報が示す領域の画像を切り出して拡大し、表示器に画面表示する。これにより、オブジェクトを含む領域の画像は高分解能に表示されるから、符号化効率の優れた伝送によって、ユーザの操作の従った見易い画像を提示することができる。
【０１６９】
また、画像符号化装置１００は、縮小画像Ｌの符号列λと補強信号Ｅｉの符号列εとを多重化した符号列μを、放送伝送路を介して画像復号装置２００へ送信するようにしてもよいし、インターネット等の通信ネットワークを介して送信するようにしてもよい。
【０１７０】
また、画像符号化装置１００の画像符号化手段１は、必ずしも多重化手段１７を備える必要がない。多重化手段１７を備えていない場合、画像符号化装置１００は、縮小画像Ｌの符号列λ及び補強信号Ｅｉの符号列εをそれぞれ独立に、放送伝送路を介して画像復号装置２００へ送信するようにしてもよいし、通信ネットワークを介して送信するようにしてもよい。また、画像符号化装置１００は、縮小画像Ｌの符号列λを、放送伝送路を介して画像復号装置２００へ送信し、補強信号Ｅｉの符号列εを、通信ネットワークを介して画像復号装置２００へ送信するようにしてもよいし、縮小画像Ｌの符号列λを、通信ネットワークを介して画像復号装置２００へ送信し、補強信号Ｅｉの符号列εを、放送伝送路を介して画像復号装置２００へ送信するようにしてもよい。また、画像符号化装置１００は、縮小画像Ｌの符号列λに対し、高度なエラー対策等の処理を施し信頼性の高い通信ネットワークを介して画像復号装置２００へ送信し、補強信号Ｅｉの符号列εを、信頼性の低い通信ネットワークを介して画像復号装置２００へ送信するようにしてもよい。これにより、符号量を削減することができ、符号化の効率を向上させることができる。また、画像符号化装置１００は、縮小画像Ｌの符号列λを、無料で画像復号装置２００へ送信し、補強信号Ｅｉの符号列εを、課金処理により有料で画像復号装置２００へ送信するようにしてもよい。画像符号化装置１００が、縮小画像Ｌの符号列λと補強信号Ｅｉの符号列εとを独立して送信する場合、画像復号装置２００の画像復号手段３は、逆多重化手段２０を備える必要がない。
【０１７１】
尚、画像符号化装置１００及び画像復号装置２００のハード構成としては、通常のコンピュータを使用することができる。画像符号化装置１００及び画像復号装置２００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像符号化装置１００に備えた画像符号化手段１及びオブジェクト検出手段２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、画像復号装置２００に備えた画像復号手段３及びオブジェクト検出手段４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【０１７２】
１  画像符号化手段
２，４  オブジェクト検出手段
３  画像復号手段
１０  画像縮小手段
１１  縮小画像符号化手段
１２，２４  画像拡大手段
１３，１４  画像切り出し手段
１５  差分演算手段
１６  補強信号符号化手段
１７  多重化手段
１８  画像拡大切り出し手段
１９  局所画像復号手段
２０  逆多重化手段
２１  補強信号復号手段
２２  縮小画像復号手段
２３  配置手段
２５  加算手段
２６  配置加算手段
１００  画像符号化装置
２００  画像復号装置
【図１】
2011130114.tif 000046
【図２】
2011130114.tif 000047
【図３】
2011130114.tif 000048
【図４】
2011130114.tif 000049
【図５】
2011130114.tif 000050
【図６】
2011130114.tif 000051
【図７】
2011130114.tif 000052
【図８】
2011130114.tif 000053
【図９】
2011130114.tif 000054
【図１０】
2011130114.tif 000055
【図１１】
2011130114.tif 000056