(57)【要約】【課題】  画像サイズを変換する際の処理を軽減し、送信側から送信する情報を有効に活用することができる圧縮符号化装置および圧縮符号化プログラム、並びに、復号化装置および復号化プログラムを提供する。【解決手段】  圧縮符号化装置１は、入力された入力画像の画像サイズを、復号化して表示する際の表示画面の表示サイズに適合するように変換し、予め規定されている符号化可能な符号化画像サイズに調整して符号化するものであって、画像サイズ変換手段５と、入力サイズ調整手段７と、符号化手段９と、を備えた。【選択図】      図１
2006222790.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像の画像サイズを、復号化して表示する際の表示画面の表示サイズに適合するように変換し、予め規定されている符号化可能な符号化画像サイズに調整して符号化する圧縮符号化装置であって、
入力された入力画像の画像サイズを、復号化して表示する際の表示サイズを指定するパンスキャン信号および復号化する際の画面アスペクト比を示すアスペクト比提示信号に基づいて、前記表示サイズに適合するように変換する画像サイズ変換手段と、
この画像サイズ変換手段で画像サイズが変換された変換画像に、復号化後に除去される部分画像を付加して、前記符号化画像サイズに調整する入力サイズ調整手段と、
この入力サイズ調整手段で画像サイズが調整された画像サイズ調整画像、前記パンスキャン信号および前記アスペクト比提示信号を符号化してビットストリーム信号とする符号化手段と、
を備えることを特徴とする圧縮符号化装置。
【請求項２】
前記画像サイズ変換手段は、前記入力画像の画面アスペクト比が１６：９であり、前記表示画面の画面アスペクト比が４：３の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする請求項１に記載の圧縮符号化装置。
【請求項３】
前記画像サイズ変換手段は、前記入力画像の画面アスペクト比が４：３であり、前記表示画面が前記入力画像より小さく、且つ、画面アスペクト比が４：３の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする請求項１に記載の圧縮符号化装置。
【請求項４】
前記符号化手段は、前記ビットストリーム信号を復号化した復号画像の左右の部分画像を切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする請求項２または請求項３に記載の圧縮符号化装置。
【請求項５】
前記画像サイズ変換手段は、前記入力画像の画面アスペクト比が１６：９であり、前記表示画面が前記入力画像より小さく、且つ、画面アスペクト比が１６：９の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする請求項１に記載の圧縮符号化装置。
【請求項６】
前記符号化手段は、前記ビットストリーム信号を復号化した復号画像の上下および左右の部分画像を切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする請求項５に記載の圧縮符号化装置。
【請求項７】
前記符号化手段は、前記ビットストリーム信号を復号化した復号画像の上下の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする請求項２から請求項６までのいずれか一項に記載の圧縮符号化装置。
【請求項８】
前記符号化手段は、前記ビットストリーム信号を復号化した復号画像の左右の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする請求項２から請求項６までのいずれか一項に記載の圧縮符号化装置。
【請求項９】
請求項１から請求項８までのいずれか一項に記載の圧縮符号化装置から出力されたビットストリーム信号を復号化した復号画像を、このビットストリーム信号に含まれているパンスキャン信号およびアスペクト比提示信号に基づいて表示する復号化装置であって、
前記ビットストリーム信号を復号化する復号処理手段と、
この復号処理手段で復号化された復号画像から、前記パンスキャン信号およびアスペクト比提示信号に基づいて、表示する際の表示画面の表示サイズに適合する表示画像を切り出して出力するパンスキャン処理手段と、
を備えることを特徴とする復号化装置。
【請求項１０】
入力された入力画像の画像サイズを、復号化して表示する際の表示画面の表示サイズに適合するように変換し、予め規定されている符号化可能な符号化画像サイズに調整して符号化するために、コンピュータを、
入力された入力画像の画像サイズを、復号化して表示する際の表示サイズを指定するパンスキャン信号および復号化する際の画面アスペクト比を示すアスペクト比提示信号に基づいて、前記表示サイズに適合するように変換する画像サイズ変換手段、
この画像サイズ変換手段で画像サイズが変換された変換画像に、復号化後に除去される部分画像を付加して、前記符号化画像サイズに調整する入力サイズ調整手段、
この入力サイズ調整手段で画像サイズが調整された画像サイズ調整画像、前記パンスキャン信号および前記アスペクト比提示信号を符号化してビットストリーム信号とする符号化手段、
として機能させることを特徴とする圧縮符号化プログラム。
【請求項１１】
請求項１０に記載の圧縮符号化プログラムに従って出力されたビットストリーム信号を復号化した復号画像を、このビットストリーム信号に含まれているパンスキャン信号およびアスペクト比提示信号に基づいて表示するために、コンピュータを、
前記ビットストリーム信号を復号化する復号処理手段、
この復号処理手段で復号化された復号画像から、前記パンスキャン信号およびアスペクト比提示信号に基づいて、表示する際の表示画面の表示サイズに適合する表示画面を切り出して出力するパンスキャン処理手段、
として機能させることを特徴とする復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に係り、特に画像の圧縮符号化および復号化において、符号化対象の入力画像の画像サイズが縮小されても復号画像を適切に表示する圧縮符号化装置および圧縮符号化プログラム、並びに、復号化装置および復号化プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２（非特許文献１参照）やＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（非特許文献２参照）といった画像の圧縮符号化規格では、符号化される画像の画像サイズと、復号化される画像が表示される表示画面の表示サイズとが異なる場合でも、モニタ等の表示装置に表示可能な機能が備えられている。
【０００３】
この機能はパンスキャンと呼ばれており、パンスキャンは画像の表示部分を指定するための情報を付加する機能である。また、このパンスキャンは、画像の符号化・復号化の処理に直接影響するものではなく、復号化された画像（復号画像）を表示するための補助的なデータのフォーマットのみが定められたもので、復号化時に使用するか否かは、規格では規定されていない。
【０００４】
ところで、日本のデジタル放送では、従来の標準テレビのサイズに当たる画面アスペクト比が４：３の画像から成る番組と、ハイビジョン等のワイド型テレビのサイズに当たる画面アスペクト比が１６：９の画像から成る番組とがある。また、受信側の装置であるモニタも画面アスペクト比が４：３のものと、１６：９のものとが混在しているため、受信した画像とモニタとの組み合わせによっては、画像の周りに枠（黒色で何も映っていない部分）ができる、いわゆる額縁現象が生じてしまうことがある。
【０００５】
この額縁現象について、図１３を参照して説明する。図１３は、画面アスペクト比が１６：９の場合と、画面アスペクト比が４：３の場合との画像の表示形式について説明した図である。
この図１３に示すように、画面アスペクト比が１６：９の画像と４：３の画像とがあり、番組の制作過程において、これらの画像が混在することで、例えば、画面アスペクト比が１６：９であっても、実際の画像は、その画面中の４：３の画面アスペクト比の部分のみ（（Ｂ）参照）になることや、画面アスペクト比が４：３であっても、実際の画像は、その画面中の１６：９の画面アスペクト比の部分のみ（（Ｄ）参照）になることがある。
【０００６】
これらの画像がそれぞれ、符号化・復号化され、受信側の装置であるモニタに表示されることになる。現在のところ、モニタには、ハイビジョンテレビやワイドテレビ等の画面アスペクト比が１６：９に対応したテレビと、従来の標準テレビ等の画面アスペクト比が４：３に対応したテレビとが混在しているので、図１３において左側の（Ａ）、（Ｂ）、（Ｃ）および（Ｄ）の画像の表示させ方は、図１３においてほぼ中央の（Ａ−１）、（Ｂ−１）、（Ｃ−１）および（Ｄ−１）の画像と、右側の（Ａ−２）、（Ｂ−２）、（Ｃ−２）および（Ｄ−２）の画像とに示すように複雑になる。
【０００７】
個々に見ていくと、まず、画面アスペクト比が１６：９の画面中にフル画面の画像（Ａ）が存在している場合、（Ａ−１）は、この画像（Ａ）を、画面アスペクト比が１６：９のモニタにそのまま表示した状態を示している。また、（Ａ−２）は、この画像（Ａ）を、画面アスペクト比が４：３のモニタに表示した状態を示しており、レターボックス（上下に縁部がある状態）で表示していることを示している。
【０００８】
また、画面アスペクト比が１６：９の画面中に４：３の画面アスペクト比の画像（Ｂ）が存在している場合（サイドパネルが付いている画像）、（Ｂ−１）は、この画像（Ｂ）を、画面アスペクト比が１６：９のモニタにそのまま表示した状態を示している。また、（Ｂ−２）は、この画像（Ｂ）を、画面アスペクト比が４：３のモニタにレターボックスで表示した状態を示しており、額縁現象が生じていることを示している。
【０００９】
さらに、画面アスペクト比が４：３の画面中に４：３の画面アスペクト比の画像（Ｃ）が存在している場合、（Ｃ−１）は、この画像（Ｃ）を、画面アスペクト比が１６：９のモニタに、サイドパネルをつけて表示した状態を示している。また、（Ｃ−２）は、この画像（Ｃ）を、画面アスペクト比が４：３のモニタにそのまま表示した状態（フル画面の画像）を示している。
【００１０】
さらにまた、画面アスペクト比が４：３の画面中に１６：９の画面アスペクト比の画像（Ｄ）がレターボックスで存在している場合、（Ｄ−１）は、この画像（Ｄ）を、画面アスペクト比が４：３のモニタに、サイドパネルをつけて表示した状態を示しており、額縁現象が生じていることを示している。また、（Ｄ−２）は、この画像（Ｄ）を、画面アスペクト比が４：３のモニタにそのまま表示した状態を示している。
【００１１】
以上、説明したように、画面アスペクト比が１６：９の画像および画面アスペクト比が４：３の画像と、画面アスペクト比が１６：９の画面および画面アスペクト比が４：３の画面とが混在している状態（状況）では、（Ｂ−２）、（Ｄ−１）に示した額縁現象が生じてしまう場合がある。
【００１２】
このため、パンスキャンによって付加される付加情報を利用して、図１４に示すように、（Ｂ−２）、（Ｄ−１）の場合、それぞれをフル画面表示させるようにしている。この方法は、衛星によるデジタル放送と地上波によるデジタル放送とに関して、ＡＲＩＢ（電波産業会）の標準規格（非特許文献３参照）で定められており、地上波を用いた１セグメント放送（携帯端末向け放送）に関して、ＡＲＩＢの技術資料（非特許文献４、非特許文献５参照）で定められている。
【００１３】
これら非特許文献３、非特許文献４および非特許文献５で定められている規定では、パンスキャンを行う場合に最終的に表示する画像サイズが定められている。受信側の装置（受信機および表示装置）は、これらの情報を利用して、送信側から送信された信号を、適切に表示するように処理する。
【００１４】
さらに、パンスキャンを実際に利用する場合について説明する。パンスキャンでは、図１３に示したサイドパネル（Ｃ−１）や、レターボックス（（Ａ−２）、（Ｄ−２））等、元々の画像と異なるアスペクト比で符号化する場合には、以下に説明するパラメータ（画像サイズ、アスペクト比）を設定することで、受信側の装置で表示される際に、額縁現象が発生しないようにする（額縁表示にならないようにする）ことが可能である。パンスキャンを以下に示す２つの場合（１）（２）のみ適用し、図１５を参照して説明する。
【００１５】
（１）では、符号化する画像の画像サイズが３２０画素×２４０ラインで、元の画像（入力画像）の画面アスペクト比が１６：９であり、レターボックスが生じている場合に、入力画像の上下部分、つまり、画像サイズ３２０画素×２４０ラインの上下各３０ラインの部分を除き、画像サイズ３２０画素×１８０ラインの部分を画面アスペクト比が１６：９の画像表示領域全体にする場合を示している。
【００１６】
（２）では、符号化する画像の画像サイズが３２０画素×１８０ラインで、元の画像（入力画像）の画面アスペクト比が４：３であり、サイドパネルが生じている場合に、入力画像の一部分、つまり、画像サイズ２４０画素×１８０ラインの部分（残り、左４０画素および右４０画素がサイドパネルの部分）を画面アスペクト比が４：３の画像表示領域全体にする場合を示している。
【００１７】
なお、これらの場合、符号化する画像の中央と、元の画像の中央とは縦横とも一致させる。図１６にこれらに対応した非特許文献４および非特許文献５のパンスキャンの値を示す。この図１６に示したように、（１）の場合、定義箇所「Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ」において、画面の横幅を示す「ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」の設定（元の画像の映像フォーマットの種類）が“１９”であり、画面の高さを示す「ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」の設定（元の画像の画面アスペクト比）が“１４”であり、この場合、画面アスペクト比は４：３である。
【００１８】
また、定義箇所「Ｐａｎ−ｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅ」において、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｌｅｆｔ＿ｏｆｆｓｅｔ」の設定が“０”であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ」の設定が“０”であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｔｏｐ＿ｏｆｆｓｅｔ」の設定が“４８０”（非特許文献４および非特許文献５の定義により１６で除算すると、３０ラインとなる）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ」の設定が“−４８０”（１６で除算すると、−３０ラインとなる）である。
【００１９】
（２）の場合、定義箇所「Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ」において、「ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」の設定が“１９”であり、「ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」の設定が“１１”であり、この場合、画面アスペクト比が１６：９である。また、定義箇所「Ｐａｎ−ｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅ」において、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｌｅｆｔ＿ｏｆｆｓｅｔ」の設定が“６４０”（１６で除算すると、４０画素）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ」の設定が“−６４０”（１６で除算すると、−４０画素）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｔｏｐ＿ｏｆｆｓｅｔ」の設定が“０”であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ」の設定が“０”である。
【００２０】
以上説明したように、画面アスペクト比が１６：９の画像と画面アスペクト比が４：３の画像とが混在する状態（状況）では、いわゆる額縁現象（額縁表示）を回避するための手段として、パンスキャンを利用することが可能になっている。
【００２１】
また、パンスキャンの機能自体に関しては、「単一アスペクト比で記憶された映画ディスクから多重アスペクト比信号を発生するシステム」（特許文献１）、「画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法」（特許文献２）および「画像表示制御装置および画像表示制御方法」（特許文献３）に詳細な内容が開示されている。
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−２の規格書  全項
【非特許文献２】ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇの規格書  全項
【非特許文献３】ＡＲＩＢ  ＳＴＤ−Ｂ３２  デジタル放送における映像符号化、音声符号化及び多重化方式の規格書  全項
【非特許文献４】ＡＲＩＢ  ＴＲ−Ｂ１４  地上デジタルテレビジョン放送運用規定の規格書  全頁
【非特許文献５】ＡＲＩＢ  ＴＲ−Ｂ１３  地上デジタル音声放送運用規定の規格書  全頁
【特許文献１】特表平８−５００９５７号公報
【特許文献２】特開平１０−２３４０７号公報
【特許文献３】特開平１１−１４３４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
そして、放送用の規格である非特許文献３、非特許文献４および非特許文献５では、入力画像の画像サイズが固定的に定められており、それら以外の画像サイズについては、符号化前に拡大や縮小或いはトリミングするなどして、定められた画像サイズに変換しておく必要がある。
【００２３】
しかしながら、この定められた画像サイズに変換された画像を符号化後、受信側の装置で復号化する際に、当該受信側の装置が携帯型端末等であった場合、処理負荷がかかり、消費電力が大きくなるという問題がある。また、受信側の携帯型端末等で表示される画像の画像サイズよりも、符号化する画像の画像サイズの方が大きくなる場合が想定され、送信する情報が無駄になってしまうという問題がある。
【００２４】
例を挙げて説明すると、例えば、非特許文献４に開示されている地上波を用いた１セグメント放送（携帯端末向け放送）では、入力画像の画像サイズが３２０×２４０（画面アスペクト比が４：３）と、３２０×１８０（画面アスペクト比が１６：９）とに限られている。１セグメント放送は、携帯型端末（第３世代以降の携帯電話等）によって、画像や音声の視聴を想定したものである。
【００２５】
この場合、例えば、携帯型端末の表示画面が、現状の携帯電話の表示画面のサイズであるＱＶＧＡサイズ３２０×２４０と同様の場合、３２０×２４０の画像サイズで符号化された画像は、全画面に表示されることになる。
【００２６】
しかし、現状の携帯電話の通常の利用では、表示画面を縦型にすることが多く、携帯型端末においても表示画面を縦型で利用する場合、画像を縦型画面の上部に表示し、縦型画面の下部には、データ放送のデータや、受信したメール等を表示するなど他の用途に利用することが想定される。このように縦型画面の一部に画像を表示する場合、ＱＶＧＡサイズであれば、元々の３２０×２４０の画像サイズを、２４０×１８０の画像サイズに縮小変換して表示することになる。
【００２７】
このため、携帯型端末では、処理負荷がかかり、消費電力も多くなる。また、縦型画面に表示される画像サイズが２４０×１８０であるのに対して、符号化する画像の画像サイズが３２０×２４０であるので、受信した情報を削除することになり、送信側から送信された情報が無駄になってしまう。
【００２８】
そこで、本発明では、前記した問題を解決し、画像サイズを変換する際の処理を軽減し、送信側から送信する情報を有効に活用することができる圧縮符号化装置および圧縮符号化プログラム、並びに、復号化装置および復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
前記課題を解決するため、請求項１に記載の圧縮符号化装置は、入力された入力画像の画像サイズを、復号化して表示する際の表示画面の表示サイズに適合するように変換し、予め規定されている符号化可能な符号化画像サイズに調整して符号化する圧縮符号化装置であって、画像サイズ変換手段と、入力サイズ調整手段と、符号化手段と、を備える構成とした。
【００３０】
かかる構成によれば、圧縮符号化装置は、画像サイズ変換手段によって、入力された入力画像の画像サイズを、パンスキャン信号およびアスペクト比提示信号に基づいて、復号化して表示する際の表示画面の表示サイズに適合するように変換する。入力画像の画像サイズを変換した変換画像の画像サイズは、非特許文献１〜非特許文献５のいずれかに記載されている規格に準じて設定されるものである。
【００３１】
パンスキャン信号は、復号化した画像を表示する際の画像サイズを指定するものであり、当該画像サイズを、画面の左端、右端、上端および下端の座標（左上方、左下方、右上方、右下方の４つ座標）で指定し、この座標を、画素値の所定数倍（例えば、１６倍）で定義したものである。アスペクト比提示信号は、復号化する際の画面アスペクト比を示すものであり、画面アスペクト比は、画面（表示画面）の横の長さと縦の長さとの比であり、例えば、１６：９、４：３等である。また、変換画像の画像サイズは、例えば、復号化する装置が携帯電話であり、この携帯電話の表示部に復号化した画像を、縦型で利用して表示する際に、当該表示部が典型的な表示サイズであるＱＶＧＡ（３２０画素×２４０ライン）で、画面のアスペクト比が１６：９の場合、２４０画素×１３５ラインであり、画面アスペクト比が４：３の場合、２４０画素×１８０ラインである。
【００３２】
続いて、圧縮符号化装置は、入力サイズ調整手段によって、符号化手段に入力する画像サイズを調整する。つまり、画像サイズ変換手段で変換された変換画像に、当該復号化後に除去される部分画像を付加することで、符号化手段で符号可能な符号化画像サイズに調整する。
【００３３】
そして、圧縮符号化装置は、符号化手段によって、入力サイズ調整手段で画像サイズが調整された画像サイズ調整画像、パンスキャン信号およびアスペクト比提示信号を符号化してビットストリーム信号として出力する。この符号化手段では、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４  ＡＶＣ等といった圧縮符号化方式のいずれかを採用することができる。
【００３４】
請求項２に記載の圧縮符号化装置は、請求項１に記載の圧縮符号化装置において、前記画像サイズ変換手段が、前記入力画像の画面アスペクト比が１６：９であり、前記表示画面の画面アスペクト比が４：３の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする。
【００３５】
かかる構成によれば、圧縮符号化装置は、入力画像の画面アスペクト比が１６：９であり、表示画面の画面アスペクト比が４：３である場合に、画像サイズ変換手段によって、変換画像の少なくとも一辺を表示画面の表示サイズに適合するように変換し、入力サイズ調整手段でサイズが調整された画像サイズ調整画像を、符号化手段によって符号化することで、復号化した際に、画像アスペクト比が４：３の復号画像に、画像アスペクト比が１６：９の表示画像をレターボックス形式で表示するビットストリーム信号を出力する。
【００３６】
請求項３に記載の圧縮符号化装置は、請求項１に記載の圧縮符号化装置において、前記画像サイズ変換手段が、前記入力画像の画面アスペクト比が４：３であり、前記表示画面が入力画像より小さく、且つ、画面アスペクト比が４：３の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする。
【００３７】
かかる構成によれば、圧縮符号化装置は、入力画像の画面アスペクト比が４：３であり、表示画面が入力画像より小さく、且つ、画面アスペクト比が４：３である場合に、画像サイズ変換手段によって、変換画像の少なくとも一辺を表示画面の表示サイズに適合するように変換し、入力サイズ調整手段でサイズが調整された画像サイズ調整画像を、符号化手段によって符号化することで、復号化した際に、画像アスペクト比が４：３の復号画像を表示するビットストリーム信号を出力する。
【００３８】
請求項４に記載の圧縮符号化装置は、請求項２または請求項３に記載の圧縮符号化装置において、前記符号化手段が、前記ビットストリーム信号を復号化した復号画像の左右の部分画像を切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする。
【００３９】
かかる構成によれば、圧縮符号化装置は、符号化手段によって、ビットストリーム信号を復号化した復号画像の左右の部分画像を切り取るように指定したパンスキャン信号を符号化することで、復号化側では、復号画像の左右の部分画像を切り取って（除去して）、表示画像を表示することができる。
【００４０】
請求項５に記載の圧縮符号化装置は、請求項１に記載の圧縮符号化装置において、前記画像サイズ変換手段が、前記入力画像の画面アスペクト比が１６：９であり、前記表示画面が前記入力画像より小さく、且つ、画面アスペクト比が１６：９の場合に、前記変換画像の少なくとも一辺を、当該表示画面の表示サイズに適合するように変換することを特徴とする。
【００４１】
かかる構成によれば、圧縮符号化装置は、入力画像の画面アスペクト比が１６：９であり、表示画面が入力画像より小さく、且つ、画面アスペクト比が１６：９である場合に、画像サイズ変換手段によって、変換画像の少なくとも一辺を表示画面の表示サイズに適合するように変換し、入力サイズ調整手段でサイズが調整された画像サイズ調整画像を、符号化手段によって符号化することで、復号化した際に、画像アスペクト比が１６：９の復号画像を表示するビットストリーム信号を出力する。
【００４２】
請求項６に記載の圧縮符号化装置は、請求項５に記載の圧縮符号化装置において、前記符号化手段が、前記ビットストリーム信号を復号化した復号画像の上下および左右の部分画像を切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする。
【００４３】
かかる構成によれば、圧縮符号化装置は、符号化手段によって、ビットストリーム信号を復号化した復号画像の上下および左右の部分画像を切り取るように指定したパンスキャン信号を符号化することで、復号化側では、復号画像の上下および左右の部分画像を切り取って（除去して）、表示画像を表示することができる。
【００４４】
請求項７に記載の圧縮符号化装置は、請求項２から請求項６までのいずれか一項に記載の圧縮符号化装置において、前記符号化手段が、前記ビットストリーム信号を復号化した復号画像の上下の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を、前記画像サイズ調整画像と共に符号化することを特徴とする。
【００４５】
かかる構成によれば、圧縮符号化装置は、符号化手段によって、ビットストリーム信号を復号化した復号画像の上下の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を符号化することで、復号化側では、復号画像の上下の部分画像のいずれかのみを切り取って（除去して）、表示画面の上方または下方に偏った表示画像を表示することができる。
【００４６】
請求項８に記載の圧縮符号化装置は、請求項２から請求項６までのいずれか一項に記載の圧縮符号化装置において、前記符号化手段が、前記ビットストリーム信号を復号化した復号画像の左右の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を前記画像サイズ調整画像と共に符号化することを特徴とする。
【００４７】
かかる構成によれば、圧縮符号化装置は、符号化手段によって、ビットストリーム信号を復号化した復号画像の左右の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を符号化することで、復号化側では、復号画像の左右の部分画像のいずれかのみを切り取って（除去して）、表示画面の左側または右側に偏った表示画像を表示することができる。
【００４８】
請求項９に記載の復号化装置は、請求項１から請求項８までのいずれか一項に記載の圧縮符号化装置から出力されたビットストリーム信号を復号化した復号画像を、このビットストリーム信号に含まれているパンスキャン信号およびアスペクト比提示信号に基づいて表示する復号化装置であって、復号処理手段と、パンスキャン処理手段と、を備える構成とした。
【００４９】
かかる構成によれば、復号化装置は、復号処理手段によって、前記ビットストリーム信号を復号化する。なお、復号処理手段は、圧縮符号化装置における符号化手段に対応した形式を採用している。そして、復号化装置は、パンスキャン処理手段によって、復号処理手段で復号化された復号画像を、パンスキャン信号およびアスペクト比提示信号に基づいて、部分画像を切り出す（除去する）または表示画像を切り出して、切り出した表示画像を表示装置等に出力（表示）する。つまり、パンスキャン信号に基づいて、表示装置等の表示画面上において、表示画像を表示させる位置（範囲）を決定して、アスペクト比提示信号に基づいて、表示画像の画面アスペクト比を決定する。
【００５０】
請求項１０に記載の圧縮符号化プログラムは、入力された入力画像の画像サイズを、復号化して表示する際の表示画面の表示サイズに適合するように変換し、予め規定されている符号化可能な符号化画像サイズに調整して符号化するために、コンピュータを、画像サイズ変換手段、入力サイズ調整手段、符号化手段、として機能させる構成とした。
【００５１】
かかる構成によれば、圧縮符号化プログラムは、画像サイズ変換手段によって、入力された入力画像の画像サイズを、パンスキャン信号およびアスペクト比提示信号に基づいて、変換する。続いて、圧縮符号化プログラムは、入力サイズ調整手段によって、符号化手段に入力する画像サイズを調整する。つまり、画像サイズ変換手段で変換された変換画像に、復号化後に除去される部分画像を付加することで、符号化手段で符号化可能な符号化画像サイズに調整する。そして、圧縮符号化プログラムは、符号化手段によって、入力サイズ調整手段で画像サイズが調整された画像サイズ調整画像、パンスキャン信号およびアスペクト比提示信号を符号化してビットストリーム信号として出力する。
【００５２】
請求項１１に記載の復号化プログラムは、請求項１０に記載の圧縮符号化プログラムに従って出力されたビットストリーム信号を復号化した復号画像を、このビットストリーム信号に含まれているパンスキャン信号およびアスペクト比提示信号に基づいて表示するために、コンピュータを、復号処理手段、パンスキャン処理手段、として機能させる構成とした。
【００５３】
かかる構成によれば、復号化プログラムは、復号処理手段によって、ビットストリーム信号を復号化する。なお、復号処理手段は、圧縮符号化装置における符号化手段に対応した形式を採用している。そして、復号化装置は、パンスキャン処理手段によって、復号処理手段で復号化された復号画像を、パンスキャン信号およびアスペクト比提示信号に基づいて、部分画像を切り出す（除去する）または表示画像を切り出して、切り出した表示画像を表示装置等に出力（表示）する。
【発明の効果】
【００５４】
請求項１、１０に記載の発明によれば、画像サイズが固定されている場合、パンスキャン信号によって、ビットストリーム信号を復号化して表示する際の表示画面に合わせた画像サイズ、例えば、最終的に受信側で表示される携帯型端末等の表示画面に合わせた画像サイズで、効率よく符号化することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減し、送信側から送信する情報を有効に活用することができる。
【００５５】
請求項２に記載の発明によれば、画面アスペクト比が１６：９の入力画像を、画面アスペクト比が４：３の表示画面に合わせた画像サイズで、効率よく符号化することができる。
【００５６】
請求項３に記載の発明によれば、画面アスペクト比が４：３の入力画像を、画面アスペクト比が４：３の表示画面に合わせた画像サイズで、効率よく符号化することができる。
【００５７】
請求項４に記載の発明によれば、ビットストリーム信号を復号化した復号画像の左右の部分画像を切り取るようにパンスキャン信号を指定することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像をほぼ中央に表示することができる。
【００５８】
請求項５に記載の発明によれば、画面アスペクト比が１６：９の入力画像を、画面アスペクト比が１６：９の表示画面に合わせた画像サイズで、効率よく符号化することができる。
【００５９】
請求項６に記載の発明によれば、ビットストリーム信号を復号化した復号画像の上下および左右の部分画像を切り取るようにパンスキャン信号を指定することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像をほぼ中央に表示することができる。
【００６０】
請求項７に記載の発明によれば、ビットストリーム信号を復号化した復号画像の上下の部分画像のいずれかのみを切り取るようにパンスキャン信号を指定することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像を上方または下方に偏らせて表示することができる。
【００６１】
請求項８に記載の発明によれば、ビットストリーム信号を復号化した復号画像の左右の部分画像のいずれかのみを切り取るようにパンスキャン信号を指定することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像を左側または右側に偏らせて表示することができる。
【００６２】
請求項９、１１に記載の発明によれば、入力されたビットストリーム信号を復号化した復号画像を、パンスキャン信号に基づいて切り出して、表示画像として出力することで、画像サイズを変換（例えば、縮小）する処理（スケーリング処理）を施す必要が無くなり、こういった処理に要していた消費電力を抑制することができる。
【発明を実施するための最良の形態】
【００６３】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
図１は圧縮符号化・復号化システムのブロック図である。この図１に示すように、圧縮符号化・復号化システムＡは、圧縮符号化装置１と、復号化装置３と、この復号化装置３から出力された表示画像を表示する表示装置２とから構成されている。なお、この圧縮符号化・復号化システムＡの復号化装置３と表示装置２とは、これらを包含した携帯型端末として構成することが可能である。
【００６４】
この圧縮符号化・復号化システムＡは、ＡＲＩＢ  ＴＲ−Ｂ１４  地上デジタルテレビジョン放送運用規定の規格書（非特許文献４）で規定されている符号化・復号化の画像サイズと、パンスキャンの機能とに沿って、画面アスペクト比が１６：９の画像を、本来ならば（従来であれば）、３２０画素×１８０ラインの画像サイズで符号化・復号化するところを、２４０画素×１３５ラインの画像サイズで符号化・復号化を実施して、表示装置２で適切に表示することを可能にしているものである。
【００６５】
ただし、この圧縮符号化・復号化システムＡで採用している画像サイズやパンスキャンの機能は一例であり、他の画像サイズや他のパンスキャンの機能を用いても、画像の符号化・復号化を実施することは可能である。これより、圧縮符号化装置１の構成、復号化装置３の構成、それぞれの動作を順番に説明する。
【００６６】
〈圧縮符号化装置の構成〉
圧縮符号化装置１は、入力された入力画像（入力画像信号）を、当該入力画像の画像アスペクト比および復号化して表示装置２で表示する際の表示画面の画面アスペクト比と、入力画像の画像サイズおよび表示画面の表示サイズとに基づいて、符号化するもので、画像サイズ変換手段５と、入力サイズ調整手段７と、符号化手段９とを備えている。
【００６７】
画像サイズ変換手段５は、入力画像の画像サイズを、パンスキャン信号およびアスペクト比提示信号に基づいて、表示装置２の表示サイズに適合するように変換するものである。この画像サイズ変換手段５は、入力画像の画面アスペクト比が１６：９であり、この入力画像の画像サイズが３２０画素×１８０ラインである場合に、当該入力画像の画像サイズ３２０画素×１８０ラインを、表示装置２の表示サイズに適合するように縮小させて、画像サイズ２４０画素×１３５ラインに変換する。
【００６８】
また、この画像サイズ変換手段５は、入力画像の画面アスペクト比が４：３であり、この入力画像の画像サイズが３２０画素×２４０ラインである場合に、当該入力画像の画像サイズ３２０画素×１８０ラインを、表示装置２の表示サイズに適合するように縮小させて、画像サイズ２４０画素×１８０ラインに変換する。
【００６９】
なお、入力画像は、ハイビジョン信号、ワイドサイズ信号、このワイドサイズ信号をスクイーズした信号（ワイドサイズ信号の横方向を縮めたもの）、または、レターボックス形式の信号（レターボックスが生じている信号）であってもよい。また、この画像サイズ変換手段５では、入力画像（入力画像）の画像部分のみ（レターボックス形式の信号における上下部分やサイドパネルの部分を除いた画像）を縮小する。
【００７０】
パンスキャン信号は、符号化した画像を復号化し、表示する際の画像サイズを指定したものである。例えば、ＡＲＩＢ  ＴＲ−Ｂ１４  地上デジタルテレビジョン放送運用規定の規格書（非特許文献４）で規定されているパンスキャン信号（パンスキャンの機能）は、ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇの規格書（非特許文献２）で規定されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）の中のＰａｎ＿ｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅの値が変化することで、様々な機能を実現するように定められている。このＰａｎｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅの値を以下に例示する。
【００７１】
このＰａｎ＿ｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅの値は、
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｉｄ＝０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０  ｏｒ  １
ｐａｎ＿ｓｃａｎ＿ｃｎｔ＿ｍｉｎｕｓｌ＝０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＝０  ｏｒ  ６４０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＝０  ｏｒ  ６４０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｔｏｐ＿ｏｆｆｓｅｔ＝４８０  ｏｒ  ０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＝４８０  ｏｒ  ０
ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄ＝１
といったように設定されている。
【００７２】
そして、これらの値の意味について説明すると、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｉｄ」の値は、パンスキャンの値の設定に付けた識別番号（ｉｄ）を意味している。また、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｃａｎｃｅｌ＿ｆｌａｇ」の値は、設定してあるパンスキャンの値を取り消すか否かということを意味しており、“１”の場合にパンスキャンの値を取り消すことを意味し、“０”の場合にパンスキャンの値を取り消さないことを意味している。
【００７３】
また、「ｐａｎ＿ｓｃａｎ＿ｃｎｔ＿ｍｉｎｕｓｌ」の値は、インタレース時に、フィールドごとに設定するか否かを示す値を意味している。「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｌｅｆｔ＿ｏｆｆｓｅｔ」の値は、符号化する画像の画面左端から表示画面の画面左端までの画素数（画素値の１６倍で定義されている）を意味している。「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ」の値は、符号化する画像の画面右端から表示画面の画面右端までの画素数（画素値の１６倍で定義されている）を意味している。「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｔｏｐ＿ｏｆｆｓｅｔ」の値は、符号化する画像の画面上端から表示画面の画面上端までの画素数（画素値の１６倍で定義されている）を意味している。「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ」の値は、符号化する画像の画面下端から表示画面の画面下端までの画素数（画素値の１６倍で定義されている）を意味している。「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄ」の値は、現在の設定値を次の画像を符号化する際に用いるか否かということを意味している。
【００７４】
なお、これらのパンスキャン信号は、後記する図７に対応する場合では、図２に示す値に設定されている。定義箇所「Ｐａｎ−ｓｃａｎ  ｒｅｃｔａｎｇｌｅ  ＳＥＩ  ｍｅｓｓａｇｅ」において、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｌｅｆｔ＿ｏｆｆｓｅｔ」の設定が“６４０”（１６で除算すると、４０画素となる）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ」の設定が“−６４０”（１６で除算すると、−４０画素となる）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｔｏｐ＿ｏｆｆｓｅｔ」の設定が“３６８”（１６で除算すると、２３ラインとなる）であり、「ｐａｎ＿ｓｃａｎ＿ｒｅｃｔ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ」の設定が“−３５２”（１６で除算すると、−２２ラインとなる）である。
【００７５】
なお、図２の定義箇所「Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ」において、「ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」の設定が“１９”であり、「ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」の設定が“１１”である。これらは、画像サイズを表しており、アスペクト比提示信号を計算することができ、「ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」の設定が“１９”である場合、入力画像の映像ファーマットの横幅が３２０画素（ＱＶＧＡ）であることを示しており、「ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」の設定が“９”である場合、入力画像の映像ファーマットの横幅が１６０画素（ＳＱＶＧＡ）であることを示している。また、「ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」の設定が“１１”（ＱＶＧＡ）または“５”（ＳＱＶＧＡ）である場合、画面アスペクト比が１６：９であることを示している。「ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」の設定が“１４”（ＱＶＧＡ）または“７”（ＳＱＶＧＡ）である場合、画面アスペクト比が４：３であることを示している。
【００７６】
アスペクト比提示信号は、入力画像の画面アスペクト比を示すものである。ここで、画面アスペクト比（表示サイズ）と画像サイズとの関係について、図３を参照して説明する。図３は、画像サイズと画面アスペクト比との関係を例示した図である。この図３に示すように、画像サイズが１９２０画素×１０８０ラインの画面アスペクト比は１６：９であり、画像サイズが１２８０画素×７２０ラインの画面アスペクト比は１６：９である。また、画像サイズが７２０画素×４８０ラインの画面アスペクト比は１６：９であると共に４：３でもあり、画像サイズが３２０画素×２４０ラインの画面アスペクト比は４：３であり、画像サイズが３２０画素×１８０ラインの画面アスペクト比は１６：９である。さらに、画像サイズが１６０画素×１２０ラインの画面アスペクト比は４：３であり、画像サイズが１６０画素×９０ラインの画面アスペクト比は１６：９である。
【００７７】
図１に戻って、圧縮符号化装置１の構成の説明を続ける。
入力サイズ調整手段７は、画像サイズ変換手段５で画像サイズが変換された所定画像サイズの画像に、復号化装置３で復号化後に除去される部分画像を付加して、符号化手段９で符号化可能な符号化画像サイズに調整するものである。この入力サイズ調整手段７で符号化画像サイズに調整した画像を画像サイズ調整画像とする。
【００７８】
ここでは、入力サイズ調整手段７は、画像アスペクト比が１６：９で、画像サイズが２４０画素×１３５ラインの画像（図４（ａ）の当初の画像α）を、符号化画像サイズである３２０画素×１８０ラインになるように、図４（ａ）に示すように、部分画像によって、当初の画像αの周辺を補填する。
【００７９】
また、入力サイズ調整手段７は、画像アスペクト比が４：３で、画像サイズが２４０画素×１８０ラインの画像（図４（ｂ）の当初の画像β）を、符号化画像サイズである３２０画素×１８０ラインになるように、図４（ｂ）に示すように、部分画像によって、当初の画像βの左右を補填する。
【００８０】
さらに、入力サイズ調整手段７は、画像アスペクト比が１６：９で、画像サイズが２４０画素×１３５ラインの画像（図４（ｃ）の当初の画像γ）を、符号化画像サイズである３２０画素×１８０ラインになるように、図４（ｃ）に示すように、部分画像によって、当初の画像γの周辺を補填する。図４（ａ）、（ｂ）、（ｃ）は、入力サイズ調整手段７で生成される画像サイズ調整画像の例を示した図である。
【００８１】
図４（ａ）において、黒色に塗りつぶした部分（当初画像αの左端部分と右端部分）は、復号化装置３のパンスキャン処理手段１３（詳細は後記する）によって、切り取られる部分（サイドパネル）であり、灰色に塗りつぶした部分（薄いハッチング部分）は表示装置２によって、表示画像の一部として表示される部分である。なお、黒色に塗りつぶした部分の取り扱いは、非特許文献４等の規格では規定されていない（規格の範囲外である）。また、灰色に塗りつぶした部分の取り扱いは、非特許文献４等の規格で規定されており、詳細な説明は後記する。
【００８２】
図４（ｂ）において、黒色に塗りつぶした部分（当初画像βの左端部分と右端部分）は、復号化装置３のパンスキャン処理手段１３（詳細は後記する）によって、切り取られる部分（サイドパネル）である。なお、黒色に塗りつぶした部分の取り扱いは、非特許文献４等の規格では規定されていない（規格の範囲外である）。
【００８３】
図４（ｃ）において、黒色に塗りつぶした部分（当初画像γを額縁状に囲った部分）は、復号化装置３のパンスキャン処理手段１３（詳細は後記する）によって、切り取られる部分（額縁部分）である。なお、黒色に塗りつぶした部分の取り扱いは、非特許文献４等の規格では規定されていない（規格の範囲外である）。
【００８４】
図１に戻って、圧縮符号化装置１の構成の説明を続ける。
符号化手段９は、入力サイズ調整手段７から出力された画像サイズ調整画像を符号化するものである。ここでは、符号化手段９は、非特許文献２に開示されているＨ．２６４／ＡＶＣの符号化方式で、画像サイズ調整画像を符号化する。
【００８５】
この符号化手段９は、画像サイズ調整画像を符号化する際に、パンスキャン信号およびアスペクト比提示信号を、当該画像サイズ調整画像に含めて符号化し、ビットストリーム信号として出力している。そして、この符号化手段９から出力されたビットストリーム信号は、図示を省略した送信装置から放送波として出力されたり、ネットワークを介して配信されたりする。
【００８６】
〈復号化装置の構成〉
また、復号化装置３は、圧縮符号化装置１から出力（配信）されたビットストリーム信号を復号化して、切り出して表示画像（表示画像信号）として、表示装置２に出力（表示）するもので、復号処理手段１１と、パンスキャン処理手段１３とを備えている。
【００８７】
復号処理手段１１は、入力したビットストリーム信号を、圧縮符号化装置１の符号化手段９の符号化方式に対応した復号化方式によって復号化して、復号画像と、パンスキャン信号と、アスペクト比提示信号とをパンスキャン処理手段１３に出力するものである。
この復号処理手段１１では、圧縮符号化装置１の入力サイズ調整手段７で付加された部分画像を含んだ状態の復号画像が生成される。
【００８８】
パンスキャン処理手段１３は、復号処理手段１１から出力された復号画像の画面アスペクト比を、アスペクト比提示信号に基づいて識別して、パンスキャン信号に基づいて切り出して（ｃｒｏｐ）して、表示画像（表示画像信号）として、表示装置２に出力（表示）するものである。
【００８９】
ここで、図５から図７までを参照して、圧縮符号化装置１で入力画像を符号化して、ビットストリーム信号として出力してから、復号化装置３で復号化して、表示装置２で表示するまでの推移を説明する。
【００９０】
図５から図７までは、従来の装置（システム）で圧縮符号化・復号化を行った場合の入力画像の状態と、表示された状態とを示すと共に、圧縮符号化・復号化システムＡにおいて、地上デジタル放送を行っている放送局側に設置された圧縮符号化装置１で処理された入力画像の状態と、復号化装置３および表示装置２が一体的に構成されている携帯型端末で、受信されたビットストリーム信号が復号化されて表示された状態とを示した図である。つまり、従来のシステムと、本願の圧縮符号化・復号化システムＡとを対比して示した図である。
【００９１】
図５の上側（破線より上）に示すように、従来のシステムでは、送信側（符号化側）において、入力画像（画面アスペクト比が１６：９の元の画像、ハイビジョン信号等）は、画像サイズが３２０画素×１８０ラインに縮小されて、画面アスペクト比が１６：９の表示サイズに適合するように符号化される。そして、受信側（復号化側）において、携帯型端末を横向きにした状態で、３２０画素×１８０ライン（画面アスペクト比が１６：９）で表示されるか、携帯型端末を縦向きにした状態で、２４０画素×１３５ライン（画面アスペクト比が１６：９）に縮小（スケーリング）されて表示される。
【００９２】
図５の下側（破線より下）に示すように、圧縮符号化・復号化システムＡでは、送信側（符号化側、つまり、圧縮符号化装置１）において、入力画像は、画像サイズが２４０画素×１３５ラインに縮小されて、部分画像（サイドパネル）が付加されることでサイズ調整がなされ（画像部分は２４０画素×１８０ラインであり、灰色部分も付加される）、画面アスペクト比が１６：９の表示サイズに適合するように符号化される。そして、受信側（復号化側、つまり、復号化装置３および表示装置２）において、携帯型端末を縦向きにした状態で、２４０画素×１８０ライン（画面アスペクト比が４：３）になるようにパンスキャン機能で左右の部分画像がカットされて（パンスキャン信号によって、サイドパネルを除くように切り出されて）表示される。
【００９３】
図６の上側（破線より上）に示すように、従来のシステムでは、送信側（符号化側）において、入力画像（画面アスペクト比が４：３の元の画像、標準テレビ信号等）は、画像サイズが３２０画素×２４０ラインに縮小されて、画面アスペクト比が４：３の表示サイズに適合するように符号化される。そして、受信側（復号化側）において、携帯型端末を横向きにした状態で、３２０画素×２４０ライン（画面アスペクト比が４：３）で表示されるか、携帯型端末を縦向きにした状態で、２４０画素×１８０ライン（画面アスペクト比が４：３）に縮小（スケーリング）されて表示される。
【００９４】
図６の下側（破線より下）に示すように、圧縮符号化・復号化システムＡでは、送信側（符号化側、つまり、圧縮符号化装置１）において、入力画像は、画像サイズが２４０画素×１８０ラインに縮小されて、部分画像（サイドパネル）が付加されることでサイズ調整がなされ、画面アスペクト比が１６：９の表示サイズに適合するように符号化される。そして、受信側（復号化側、つまり、復号化装置３および表示装置２）において、携帯型端末を縦向きにした状態で、２４０画素×１８０ライン（画面アスペクト比が４：３）になるようにパンスキャン機能で左右の部分画像がカットされて（パンスキャン信号によって、サイドパネルを除くように切り出されて）表示される。
【００９５】
図７の上側（破線より上）に示すように、従来のシステムでは、送信側（符号化側）において、入力画像（画面アスペクト比が１６：９の元の画像、ハイビジョン信号等）は、画像サイズが３２０画素×１８０ラインに縮小されて、画面アスペクト比が１６：９の表示サイズに適合するように符号化される。そして、受信側（復号化側）において、携帯型端末を横向きにした状態で、３２０画素×１８０ライン（画面アスペクト比が１６：９）で表示されるか、携帯型端末を縦向きにした状態で、２４０画素×１３５ライン（画面アスペクト比が１６：９）に縮小（スケーリング）されて表示される。
【００９６】
図７の下側（破線より下）に示すように、圧縮符号化・復号化システムＡでは、送信側（符号化側、つまり、圧縮符号化装置１）において、入力画像は、画像サイズが２４０画素×１３５ラインに縮小されて、部分画像（額縁状に、サイドパネルおよびレターボックスの上下）が付加されることでサイズ調整がなされ、画面アスペクト比が１６：９の表示サイズに適合するように符号化される。そして、受信側（復号化側、つまり、復号化装置３および表示装置２）において、携帯型端末を縦向きにした状態で、２４０画素×１３５ライン（画面アスペクト比が１６：９）になるようにパンスキャン機能で額縁状の部分画像がカットされて（パンスキャン信号によって、サイドパネルおよびレターボックスの上下を除くように切り出されて）表示される。
【００９７】
次に、図８を参照して、図５から図７までに示した携帯型端末（復号化装置３と表示装置２）の表示画面に表示される表示画像の状態について、より具体的に説明する（適宜、図１参照）。
図８（ａ）は、図５の下側に示した順序で、画面アスペクト比が１６：９の画像（１６：９簡易動画）を符号化・復号化して、携帯型端末に横向き表示および縦向き表示させた状態を示している。図８（ｂ）は、図６の下側に示した順序で、画面アスペクト比が４：３の画像（４：３簡易動画）を符号化・復号化して、携帯型端末に横向き表示および縦向き表示させた状態を示している。図８（ｃ）は、図７の下側に示した順序で、画面アスペクト比が１６：９の画像（１６：９簡易動画）を符号化・復号化して、携帯型端末に横向き表示および縦向き表示させた状態を示している。
【００９８】
図８（ａ）に示したように、携帯型端末に横向き表示させた場合、表示画面のほぼ全面に、画面アスペクト比が１６：９の画像が表示され、当該表示画面の上部と下部とに無駄な隙間が生じている。縦向き表示させた場合、表示画面の上方半分に画面アスペクト比が１６：９の画像が表示され、表示画面の下方半分に、データ放送による文字等を表示する箇所が確保されている。この縦向き表示させた場合、画面アスペクト比が１６：９の画像の画像サイズは２４０画素×１３５ラインであり、当該画像の上部と下部とに無駄な隙間が生じている。なお、この画面アスペクト比が１６：９の画像を表示するために送信する情報量（圧縮符号化装置１から出力するビットストリーム信号の情報量）は、従来の符号化・復号化方法によって送信する情報量の４２％（面積比）である。
【００９９】
図８（ｂ）に示したように、携帯型端末に横向き表示させた場合、表示画面の全面に、画面アスペクト比が４：３の画像が表示され、当該表示画面の上部と下部とに無駄な隙間は生じていない。縦向き表示させた場合、表示画面の上方３／４に画面アスペクト比が４：３の画像が表示され、表示画面の下方１／４に、データ放送による文字等を表示する箇所が確保されている。この縦向き表示させた場合、画面アスペクト比が４：３の画像の画像サイズは２４０画素×１８０ラインであり、当該画像の上部と下部とに無駄な隙間は生じていない。なお、この画面アスペクト比が４：３の画像を表示するために送信する情報量は、従来の符号化・復号化方法によって送信する情報量の５６．２％（面積比）である。
【０１００】
図８（ｃ）に示したように、携帯型端末に横向き表示させた場合、表示画面のほぼ全面に、画面アスペクト比が１６：９の画像が表示され、当該表示画面の上部と下部とに無駄な隙間が生じている。縦向き表示させた場合、表示画面の上方半分に画面アスペクト比が１６：９の画像が表示され、表示画面の下方半分に、データ放送による文字等を表示する箇所が確保されている。この縦向き表示させた場合、画面アスペクト比が１６：９の画像の画像サイズは２４０画素×１３５ラインであり、当該画像の上部と下部とに無駄な隙間は生じていない。なお、この画面アスペクト比が１６：９の画像を表示するために送信する情報量は、従来の符号化・復号化方法によって送信する情報量の４２％（面積比）である。
【０１０１】
また、図９を参照して、パンスキャン機能による情報量の圧縮について説明する（適宜、図１参照）。図９（ａ）は、圧縮符号化装置１に入力される入力画像（ここでは、Ｄ１映像ソース）の画面アスペクト比が４：３の画像であり、符号化する際の映像フォーマットが１６：９であり、表示する表示画面の表示サイズである画像プレーンが３２０画素×２４０ラインである場合、縦向き表示した状態（縦型表示画面）の概略を示している。図９（ｂ）は、圧縮符号化装置１に入力される入力画像（ここでは、Ｄ１映像ソース）の画面アスペクト比が１６：９の画像（画像がスクイーズされている状態）であり、符号化する際の映像フォーマットが１６：９であり、表示する表示画面の表示サイズである画像プレーンが３２０画素×２４０ラインである場合、縦向き表示した状態（縦型表示画面）の概略を示している
【０１０２】
図９（ａ）に示すように、画面アスペクト比が４：３の映像ソースを、映像フォーマットが１６：９で符号化する前に、左右に４０画素分の部分画像（サイドパネル）が付加されている。そして、復号化後、表示する際には、このサイドパネルを除去した画像サイズ２４０画素×１８０ラインの画像が表示されている。図８（ｂ）を用いて説明したように、情報量は５６．２％に減少しており、従来の符号化・復号化方法に比べ、４３．８％の情報量が圧縮されたことになる。
【０１０３】
図９（ｂ）に示すように、画面アスペクト比が１６：９の映像ソースを、映像フォーマットが１６：９で符号化する前に、左右に４０画素分の部分画像（サイドパネル）と、上下に４５ライン分の部分画像（レターボックス）とが付加されている。そして、復号化後、表示する際には、このサイドパネルを除去した画像サイズ２４０画素×１８０ラインの画素が表示されている。図８（ａ）を用いて説明したように、情報量は４２％に減少しており、従来の符号化・復号化方法に比べ、５８％の情報量が圧縮されたことになる。
【０１０４】
また、ここで、図１０を参照して、圧縮符号化装置１の入力サイズ調整手段７で、部分画像が付加される場合の付加の仕方（部分画像付加パターン）について説明する。図１０（ａ）〜（ｇ）は、画面アスペクト比が４：３の画像に部分画像を付加した状態を示しており、図１０（ｈ）〜（ｎ）は、画面アスペクト比が１６：９の画像に部分画像を付加した状態を示している。
【０１０５】
図１０（ａ）〜（ｎ）において、黒色の部分が復号化装置３のパンスキャン処理手段１３によるパンスキャン機能で切り取られる部分を示しており、灰色の部分が切り取られずに表示装置２に表示される部分を示している。
【０１０６】
図１０（ａ）〜（ｃ）は、画面アスペクト比が４：３の画像について、横方向（左右）に付加する部分画像の部分画像付加パターンを示しており、（ａ）は、左右に均等に付加した場合を示しており、（ｂ）は、右側に偏らせて付加した場合を示しており、（ｃ）は、左側に偏らせて付加した場合を示している。
【０１０７】
図１０（ｄ）〜（ｇ）は、画面アスペクト比が４：３の画像について、縦方向（上下）に偏らせて付加する部分画像と横方向に偏らせて付加する部分画像との部分画像付加パターンを示しており、（ｄ）は、下側と右側とに部分画像を偏らせて付加した場合を示しており、（ｅ）は、下側と左側とに部分画像を偏らせて付加した場合を示しており、（ｆ）は、上側と右側とに部分画像を偏らせて付加した場合を示しており、（ｇ）は、上側と左側とに部分画像を偏らせて付加した場合を示している。
【０１０８】
図１０（ｈ）〜（ｊ）は、画面アスペクト比が１６：９の画像について、縦方向（上下）に付加する部分画像の部分画像付加パターンを示しており、（ｈ）は、上下に均等に付加した場合を示しており、（ｉ）は、下側に偏らせて付加した場合を示しており、（ｊ）は、上側に偏らせて付加した場合を示している。
【０１０９】
図１０（ｋ）〜（ｎ）は、画面アスペクト比が１６：９の画像について、縦方向（上下）に偏らせて付加する部分画像と横方向に偏らせて付加する部分画像との部分画像付加パターンを示しており、（ｋ）は、下側と右側とに部分画像を偏らせて付加した場合を示しており、（ｌ）は、下側と左側とに部分画像を偏らせて付加した場合を示しており、（ｍ）は、上側と右側とに部分画像を偏らせて付加した場合を示しており、（ｎ）は、上側と左側とに部分画像を偏らせて付加した場合を示している。
【０１１０】
〈圧縮符号化装置の動作〉
次に、図１１に示すフローチャートを参照して、圧縮符号化装置１の動作について説明する（適宜、図１参照）。
まず、圧縮符号化装置１は、入力画像を入力（取得）し（ステップＳ１）、画像サイズ変換手段５によって、パンスキャン信号とアスペクト比提示信号とに基づいて、入力画像の画像サイズが所定画像サイズ（表示サイズに適合している画像サイズ）であるか否かを判定し（ステップＳ２）、所定画像サイズでないと判定した場合（ステップＳ２、Ｎｏ）には、入力画像の画像サイズを所定画像サイズに変換する（ステップＳ３）。なお、入力画像の画像サイズが所定画像サイズであると判定した場合（ステップＳ２、Ｙｅｓ）、ステップＳ３を省略してステップＳ４に移行する。
【０１１１】
続いて、圧縮符号化装置１は、入力サイズ調整手段７によって、画像サイズが変換された変換画像に部分画像を付加する（ステップＳ４）。この部分画像を付加することで、符号化可能な符号化画像サイズに調整されることになる。
【０１１２】
そして、圧縮符号化装置１は、符号化手段９によって、入力サイズ調整手段７から出力された画像サイズ調整画像と、パンスキャン信号およびアスペクト比提示信号とを符号化して、ビットストリーム信号として出力する（ステップＳ５）。
【０１１３】
この圧縮符号化装置１によれば、画像サイズが規格等によって固定されている場合、パンスキャン信号およびアスペクト比提示信号に基づいて、画像サイズを変換した後、入力サイズ調整手段７によって、符号化可能な符号化画像サイズに調整した後、符号化することで、復号化側（受信側）である復号化装置３で画像サイズを変換する際の処理を軽減し、送信された情報を有効に活用することができる。
【０１１４】
また、この圧縮符号化装置１によれば、符号化手段９によって、画面アスペクト比が１６：９の入力画像を、画面アスペクト比が４：３の表示画面に合わせた画像サイズで、効率よく符号化することができる。また、符号化手段９によって、画面アスペクト比が４：３の入力画像を、画面アスペクト比が４：３の表示画面に合わせた画像サイズで、効率よく符号化することができる。
【０１１５】
さらに、この圧縮符号化装置１によれば、ビットストリーム信号を復号化した復号画像の左右の部分画像を切り取るように指定したパンスキャン信号を、画像サイズ調整画像と共に、符号化手段９によって符号化することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から左右の部分画像を除いた表示画像をほぼ中央に表示することができる。
【０１１６】
さらにまた、この圧縮符号化装置１によれば、ビットストリーム信号を復号化した復号画像の上下および左右の部分画像を切り取るように指定したパンスキャン信号を、画像サイズ調整画像と共に、符号化手段９によって符号化することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から上下および左右の部分画像を除いた表示画像をほぼ中央に表示することができる。
【０１１７】
そしてまた、この圧縮符号化装置１によれば、ビットストリーム信号を復号化した復号画像の上下の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を、画像サイズ調整画像と共に、符号化手段９によって符号化することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像を上方または下方に偏らせて表示することができる。
【０１１８】
或いはまた、この圧縮符号化装置１によれば、ビットストリーム信号を復号化した復号画像の左右の部分画像のいずれかのみを切り取るように指定したパンスキャン信号を、画像サイズ調整画像と共に、符号化手段９によって符号化することで、復号化側（受信側）で画像サイズを変換する際の処理を軽減することができ、この復号化側の表示画面では、復号画像から部分画像を除いた表示画像を左側または右側に偏らせて表示することができる。
【０１１９】
〈復号化装置の動作〉
次に、図１２に示すフローチャートを参照して、復号化装置３の動作について説明する（適宜、図１参照）。
まず、復号化装置３は、ビットストリーム信号を入力し（ステップＳ１１）、復号処理手段１１によって、ビットストリーム信号を復号化する（ステップＳ１２）。この復号処理手段１１は、圧縮符号化装置１の入力サイズ調整手段７で部分画像が付加された画像サイズ調整画像を、復号画像として出力することになる。また、復号処理手段１１は、ビットストリーム信号に含まれていたパンスキャン信号とアスペクト比提示信号とをパンスキャン処理手段１３に出力する。
【０１２０】
そして、復号化装置３は、パンスキャン処理手段１３によって、パンスキャン信号に基づいて、復号画像から部分画像を除去し（ステップＳ１３）、アスペクト比提示信号に基づいて、部分画像を除去した表示画像を、表示装置２に出力（表示）する（ステップＳ１４）。
【０１２１】
この復号化装置３によれば、入力されたビットストリーム信号を、復号処理手段１１で復号化した復号画像を、パンスキャン処理手段１３によって、パンスキャン信号に基づいて切り出して、表示画像として出力することで、画像サイズを変換（例えば、縮小）する処理（スケーリング処理）を施す必要が無くなり、こういった処理に要していた消費電力を抑制することができる。
【０１２２】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、圧縮符号化装置１、復号化装置３として説明したが、これらの構成の処理を実現するように、汎用的または特殊なコンピュータ言語で記述した圧縮符号化プログラム、復号化プログラムとして構成してもよい。この場合、圧縮符号化装置１、復号化装置３と同様の効果を得ることができる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施形態に係る圧縮符号化・復号化システム（圧縮符号化装置および復号化装置を内包）のブロック図である。
【図２】パンスキャン信号の値について説明した図である。
【図３】画面アスペクト比と表示サイズとの関係について説明した図である。
【図４】入力サイズ調整手段で付加される部分画像について説明した図である。
【図５】入力画像の画面アスペクト比が１６：９の画像の符号化・復号化について、従来の符号化・復号化手法と対比して説明した図である。
【図６】入力画像の画面アスペクト比が４：３の画像の符号化・復号化について、従来の符号化・復号化手法と対比して説明した図である。
【図７】入力画像の画面アスペクト比が１６：９の画像の符号化・復号化について、従来の符号化・復号化手法と対比して説明した図である。
【図８】携帯型端末に表示される表示画面の具体例について説明した図である。
【図９】パンスキャン運用による情報量の圧縮の概略について説明した図である。
【図１０】入力サイズ調整手段で付加される部分画像のパターン（部分画像付加パターン）について説明した図である。
【図１１】図１に示した圧縮符号化装置の動作を説明したフローチャートである。
【図１２】図１に示した復号化装置の動作を説明したフローチャートである。
【図１３】従来の符号化・復号化手法によって生じていた額縁現象について説明した図である。
【図１４】従来の符号化・復号化手法による表示の仕方について説明した図である。
【図１５】従来の符号化・復号化手法によって生じていたレターボックスとサイドパネルとについて説明した図である。
【図１６】従来のパンスキャン信号の値について説明した図である。
【符号の説明】
【０１２４】
１      圧縮符号化装置
２      表示装置
３      復号化装置
５      画像サイズ変換手段
７      入力サイズ調整手段
９      符号化手段
１１    復号処理手段
１３    パンスキャン処理手段
Ａ      圧縮符号化・復号化システム
【図１】
2006222790.tif 000003
【図２】
2006222790.tif 000004
【図３】
2006222790.tif 000005
【図４】
2006222790.tif 000006
【図５】
2006222790.tif 000007
【図６】
2006222790.tif 000008
【図７】
2006222790.tif 000009
【図８】
2006222790.tif 000010
【図９】
2006222790.tif 000011
【図１０】
2006222790.tif 000012
【図１１】
2006222790.tif 000013
【図１２】
2006222790.tif 000014
【図１３】
2006222790.tif 000015
【図１４】
2006222790.tif 000016
【図１５】
2006222790.tif 000017
【図１６】
2006222790.tif 000018