(57)【要約】【課題】符号化された画像を効率的に処理することができる画像復号装置を提供する。【解決手段】画像復号装置は、画像送信装置に画像の送信を要求する要求部１１０３と、画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を画像送信装置に送信する送信部１１０２と、画像の一部の範囲が選択されている状態において、画像が第１種類に属する場合、画像の全体を画像送信装置から受信し、画像が第２種類に属する場合、画像に含まれる複数のタイルのうち、画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、画像の一部を画像送信装置から受信する受信部１１０４と、画像送信装置から受信された画像の全体または一部を復号する復号部１１０５とを備える。【選択図】図２９
2015142376.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像を画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する画像復号装置であって、
前記画像送信装置に前記画像の送信を要求する要求部と、
前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する送信部と、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する受信部と、
前記受信部で前記画像送信装置から受信された前記画像の全体または一部を復号する復号部とを備える
画像復号装置。
【請求項２】
前記画像復号装置は、さらに、前記復号部で復号された前記画像の全体または一部を第１表示装置に表示する表示制御部を備える
請求項１に記載の画像復号装置。
【請求項３】
前記受信部は、前記画像の一部を受信する場合、保存されている前記範囲情報に従って、前記画像の一部を受信し、
前記復号部は、前記画像の一部を復号する場合、保存されている前記範囲情報に従って受信された前記画像の一部を復号し、
前記表示制御部は、前記画像の一部を表示する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示する
請求項２に記載の画像復号装置。
【請求項４】
前記表示制御部は、別の画像の全体を表示した後に前記画像の一部を表示する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示する
請求項３に記載の画像復号装置。
【請求項５】
前記表示制御部は、さらに、前記画像の一部の表示を停止した後に前記画像の一部の表示を再開する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示する
請求項３または４に記載の画像復号装置。
【請求項６】
前記表示制御部は、さらに、保存されている前記範囲情報に従って受信され復号された前記画像の一部を前記第１表示装置とは異なる第２表示装置に表示する
請求項３〜５のいずれか１項に記載の画像復号装置。
【請求項７】
前記送信部は、前記範囲情報が保存されていない場合、前記範囲情報を前記画像送信装置に送信し、
前記受信部は、前記範囲情報が保存されており、かつ、前記画像の一部を受信する場合、前記範囲情報が前記送信部によって前記画像送信装置に送信されずに、保存されている前記範囲情報に従って、前記画像の一部を受信する
請求項３〜６のいずれか１項に記載の画像復号装置。
【請求項８】
前記画像復号装置は、さらに、前記ユーザの操作に従って、前記画像の一部の範囲を選択する選択部を備え、
前記送信部は、前記選択部で選択された前記範囲を示す前記範囲情報を前記画像送信装置に送信する
請求項１〜７のいずれか１項に記載の画像復号装置。
【請求項９】
前記受信部は、前記画像の一部の範囲が選択されている状態において、
全体表示が推奨される前記第１種類に前記画像が属する場合、前記画像の全体を受信し、
全体表示が推奨されない前記第２種類に前記画像が属する場合、前記画像の一部を受信する
請求項１〜８のいずれか１項に記載の画像復号装置。
【請求項１０】
前記受信部は、前記画像の一部の範囲が選択されている状態において、
前記画像がコマーシャルである前記第１種類に属する場合、前記画像の全体を受信し、
前記画像がコマーシャルとは異なる前記第２種類に属する場合、前記画像の一部を受信する
請求項１〜９のいずれか１項に記載の画像復号装置。
【請求項１１】
前記画像には、前記画像が前記第１種類に属するか前記第２種類に属するかを示すフラグが付与されており、
前記受信部は、前記フラグに従って、前記画像の全体または一部を受信する
請求項１〜１０のいずれか１項に記載の画像復号装置。
【請求項１２】
符号化された画像を画像復号装置に送信する画像送信装置であって、
前記画像復号装置から前記画像の送信の要求を受け付ける要求受付部と、
前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像復号装置から受信する受信部と、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像復号装置に送信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを送信することにより、前記画像の一部を前記画像復号装置に送信する送信部とを備える
画像送信装置。
【請求項１３】
前記送信部は、前記画像の一部の範囲が選択されている状態において、
全体表示が推奨される前記第１種類に前記画像が属する場合、前記画像の全体を送信し、
全体表示が推奨されない前記第２種類に前記画像が属する場合、前記画像の一部を送信する
請求項１２に記載の画像送信装置。
【請求項１４】
前記送信部は、前記画像の一部の範囲が選択されている状態において、
前記画像がコマーシャルである前記第１種類に属する場合、前記画像の全体を送信し、
前記画像がコマーシャルとは異なる前記第２種類に属する場合、前記画像の一部を送信する
請求項１２または１３に記載の画像送信装置。
【請求項１５】
前記画像には、前記画像が前記第１種類に属するか前記第２種類に属するかを示すフラグが付与されており、
前記送信部は、前記フラグに従って、前記画像の全体または一部を送信する
請求項１２〜１４のいずれか１項に記載の画像送信装置。
【請求項１６】
符号化された画像を処理する画像処理システムであって、
前記画像を画像復号装置に送信する画像送信装置と、
前記画像を前記画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する前記画像復号装置とを備え、
前記画像復号装置は、
前記画像送信装置に前記画像の送信を要求する要求部と、
前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する第１送信部と、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する第１受信部と、
前記第１受信部で前記画像送信装置から受信された前記画像の全体または一部を復号する復号部とを備え、
前記画像送信装置は、
前記画像復号装置から前記画像の送信の要求を受け付ける要求受付部と、
前記範囲情報を前記画像復号装置から受信する第２受信部と、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が前記第１種類に属する場合、前記画像の全体を前記画像復号装置に送信し、（ｉｉ）前記画像が前記第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記１以上のタイルのみを送信することにより、前記画像の一部を前記画像復号装置に送信する第２送信部とを備える
画像処理システム。
【請求項１７】
符号化された画像を画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する画像復号方法であって、
前記画像送信装置に前記画像の送信を要求する要求ステップと、
前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する送信ステップと、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する受信ステップと、
前記受信ステップで前記画像送信装置から受信された前記画像の全体または一部を復号する復号ステップとを含む
画像復号方法。
【請求項１８】
符号化された画像を画像復号装置に送信する画像送信方法であって、
前記画像復号装置から前記画像の送信の要求を受け付ける要求受付ステップと、
前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像復号装置から受信する受信ステップと、
前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像復号装置に送信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを送信することにより、前記画像の一部を前記画像復号装置に送信する送信ステップとを含む
画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された画像を画像送信装置から受信し、画像送信装置から受信された画像を復号する画像復号装置等に関する。
【背景技術】
【０００２】
現在、新しい画像コーデック規格としてＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式が検討されている（非特許文献１参照）。ＨＥＶＣ方式は、従来の方式と比べ、低ビットレートで高画質な画像の送受信を可能にするため、今後、画像を含むデータの送受信が、よりいっそう行われると想定される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＪＣＴＶＣ−Ｎ１００５，  “Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  Ｒａｎｇｅ  ｅｘｔｅｎｓｉｏｎ  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ４”
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、画像を含むデータの処理において、字幕、番組情報、広告、または、コマーシャルなどの画像に関連したり、ユーザの利便性を高めたりする情報を画像に付随させるサービスが増えている。しかし、こうしたサービスにおいて、不必要な情報が扱われる可能性がある。
【０００５】
そこで、本発明は、符号化された画像を効率的に処理することができる画像復号装置等を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像復号装置は、符号化された画像を画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する画像復号装置であって、前記画像送信装置に前記画像の送信を要求する要求部と、前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する送信部と、前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する受信部と、前記受信部で前記画像送信装置から受信された前記画像の全体または一部を復号する復号部とを備える。
【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本発明の一態様に係る画像復号装置等は、符号化された画像を効率的に処理することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、タイルにおけるブロックの参照関係を示す図である。
【図２】図２は、制限タイルにおけるブロックの参照関係を示す図である。
【図３】図３は、実施の形態１に係る画像処理システムの構成例を示すブロック図である。
【図４】図４は、実施の形態１に係る画像復号装置の構成例を示すブロック図である。
【図５】図５は、実施の形態１に係る動き補償制限を示すシンタックスの一例を示す図である。
【図６】図６は、実施の形態１に係る動き補償制限を示すシンタックスが格納されるビットストリームの例を示す図である。
【図７】図７は、実施の形態１に係る画像処理システムの処理フローの一例を示す図である。
【図８】図８は、実施の形態１に係る画像データ選択処理の一例を示す図である。
【図９】図９は、実施の形態１に係る画像内の複数のタイルに対する第１割り当て例を示す図である。
【図１０】図１０は、実施の形態１に係る画像内の複数のタイルに対する第２割り当て例を示す図である。
【図１１】図１１は、実施の形態１に係る画像内の複数のタイルに対する第３割り当て例を示す図である。
【図１２】図１２は、実施の形態１に係る画像内の複数のタイルに対する第４割り当て例を示す図である。
【図１３】図１３は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更するタイミングの一例を示す図である。
【図１４】図１４は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更する操作の一例を示す図である。
【図１５】図１５は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更する処理フローの一例を示す図である。
【図１６】図１６は、実施の形態１に係る画像内の複数のタイルのうち一部をスクランブリングする動作の一例を示す図である。
【図１７】図１７は、実施の形態１に係るサーバの処理部の構成例を示すブロック図である。
【図１８】図１８は、実施の形態２に係る第１モードの表示例を示す図である。
【図１９】図１９は、実施の形態２に係る第２モードの表示例を示す図である。
【図２０】図２０は、実施の形態２に係る第３モードの表示例を示す図である。
【図２１】図２１は、実施の形態４に係る放送システムの構成例を示す模式図である。
【図２２】図２２は、実施の形態４に係るテレビの構成例を示すブロック図である。
【図２３】図２３は、実施の形態４に係る放送システムの処理フローの一例を示す図である。
【図２４】図２４は、実施の形態５に係る画像処理システムの処理フローの一例を示す図である。
【図２５】図２５は、実施の形態５に係る画像処理システムの処理フローの一例（続き）を示す図である。
【図２６】図２６は、実施の形態５に係る全体表示と部分表示とが切り替えられるタイミングの一例を示す図である。
【図２７】図２７は、実施の形態５に係る部分表示の一例を示す図である。
【図２８】図２８は、実施の形態５に係る全体表示の一例を示す図である。
【図２９】図２９は、実施の形態５に係る特徴的な構成の一例を示すブロック図である。
【図３０】図３０は、実施の形態５に係る特徴的な動作の処理フローの一例を示す図である。
【図３１】図３１は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図３２】図３２は、デジタル放送用システムの全体構成図である。
【図３３】図３３は、テレビの構成例を示すブロック図である。
【図３４】図３４は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。
【図３５】図３５は、光ディスクである記録メディアの構造例を示す図である。
【図３６Ａ】図３６Ａは、携帯電話の一例を示す図である。
【図３６Ｂ】図３６Ｂは、携帯電話の構成例を示すブロック図である。
【図３７】図３７は、多重化データの構成を示す図である。
【図３８】図３８は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。
【図３９】図３９は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。
【図４０】図４０は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。
【図４１】図４１は、ＰＭＴのデータ構成を示す図である。
【図４２】図４２は、多重化データ情報の内部構成を示す図である。
【図４３】図４３は、ストリーム属性情報の内部構成を示す図である。
【図４４】図４４は、映像データを識別するステップを示す図である。
【図４５】図４５は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。
【図４６】図４６は、駆動周波数を切り替える構成を示す図である。
【図４７】図４７は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。
【図４８】図４８は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。
【図４９Ａ】図４９Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。
【図４９Ｂ】図４９Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となる知見）
本発明者は、画像送信装置および画像復号装置等に関し、課題を見出した。以下、具体的に説明する。
【００１１】
Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格、または、ＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格においては、ピクチャが、図１に示すようにタイルと呼ばれる複数の矩形単位に分割される。各タイルは、画面内（ピクチャ内）では他のタイル領域を参照することはできない。例えば、第２タイルを符号化対象または復号対象のタイルである場合、第２タイルは、第１タイルを参照することができない。
【００１２】
ただし、時間的に異なる画像信号の場合、符号化対象または復号対象のタイルにおけるカレントブロックは、符号化対象または復号対象のタイルとは異なる領域を参照することが可能である。例えば、図１の第ｍピクチャは、時間ｔ−１での画像信号に対応し、第ｎピクチャは、時間ｔでの画像信号に対応する。これらは、時間的に異なる画像信号である。この場合、符号化対象または復号対象のタイルにおける符号化対象または復号対象のブロックＣは、第２タイルの領域とは異なる領域を参照することができる。
【００１３】
ここでは、タイルまたはブロック等が他のタイルまたは他のブロック等を参照するとは、タイルまたはブロック等を処理する際に他のタイルまたは他のブロック等を参照することを意味する。図１は、時間ｔにおける第ｎピクチャの第２タイルに属するブロックＣを処理する際に、時間ｔ−１における第ｍピクチャの第３タイルに属する参照領域Ｒを参照画像として用いる例を示す。
【００１４】
一方、このような参照が許される場合、次のような課題がある。例えば、画面サイズ（ピクチャサイズ）が非常に大きい場合、複数のタイル領域をそれぞれ別のＬＳＩで並列処理する手法がある。しかし、前述のように、時間の異なる画像信号への参照が許される場合、別々のＬＳＩで生成された画像信号を一つの大きなメモリに書き出し、そのメモリを共有することが必要かもしれない。そして、この場合、別々のＬＳＩを同期させることが必要かもしれない。また、そのため、同期処理のための処理量が増加するかもしれない。
【００１５】
非特許文献１には、時間の異なる画像信号への参照を制限することを示す情報を符号化ストリーム中に記述する方法が記載されている。この場合、図２に示すように、時間的に異なる画像信号（第ｍピクチャ）に対して、処理対象のブロックＣは、同一のタイル領域（第２タイル）内の参照領域Ｒを参照する。これにより、複数のＬＳＩが、複数のタイル領域に対して並列処理を行う場合に、すべての参照画像を共有のメモリに出力しなくてもよい。
【００１６】
なお、以降では、このようなタイルをＭＶ制限タイルまたは制限タイルと呼ぶ。また、参照可能な領域は同一のタイル領域だけに限られず、例えば、第ｍピクチャの第１タイルと第２タイルとを含む領域内において、参照領域Ｒが指定されてもよい。
【００１７】
このようなＭＶ制限タイルが利用されることにより、画像の一部の領域を他の領域に依存させずに符号化または復号を行うことが可能である。
【００１８】
そこで、発明者らは、タイル単位で、画像の送受信および復号を行うことができると考えた。
【００１９】
例えば、本発明の一態様に係る画像復号装置は、符号化された画像を画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する画像復号装置であって、前記画像送信装置に前記画像の送信を要求する要求部と、前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する送信部と、前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する受信部と、前記受信部で前記画像送信装置から受信された前記画像の全体または一部を復号する復号部とを備える。
【００２０】
これにより、画像復号装置は、画像の種類に従って、画像の全体の復号と、画像の一部の復号とを切り替えることができる。したがって、画像復号装置は、符号化された画像を効率的に処理することができる。
【００２１】
また、例えば、前記画像復号装置は、さらに、前記復号部で復号された前記画像の全体または一部を第１表示装置に表示する表示制御部を備えてもよい。
【００２２】
これにより、画像復号装置は、画像の全体の表示と、画像の一部の表示とを切り替えることができる。
【００２３】
また、例えば、前記受信部は、前記画像の一部を受信する場合、保存されている前記範囲情報に従って、前記画像の一部を受信し、前記復号部は、前記画像の一部を復号する場合、保存されている前記範囲情報に従って受信された前記画像の一部を復号し、前記表示制御部は、前記画像の一部を表示する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示してもよい。
【００２４】
これにより、画像復号装置は、画像復号装置または画像送信装置などで保存されている範囲情報に従って、画像の一部の受信、復号および表示を行うことができる。
【００２５】
また、例えば、前記表示制御部は、別の画像の全体を表示した後に前記画像の一部を表示する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示してもよい。
【００２６】
これにより、画像復号装置は、別の画像の全体の表示から画像の一部の表示へ表示を切り替えることができる。
【００２７】
また、例えば、前記表示制御部は、さらに、前記画像の一部の表示を停止した後に前記画像の一部の表示を再開する場合、保存されている前記範囲情報に従って受信され復号された前記画像の一部を表示してもよい。
【００２８】
これにより、画像復号装置は、画像復号装置または画像送信装置などで保存されている範囲情報に従って、画像の一部の表示を再開することができる。
【００２９】
また、例えば、前記表示制御部は、さらに、保存されている前記範囲情報に従って受信され復号された前記画像の一部を前記第１表示装置とは異なる第２表示装置に表示してもよい。
【００３０】
これにより、画像復号装置は、１つの表示装置における表示形式を別の表示装置に引き継ぐことができる。
【００３１】
また、例えば、前記送信部は、前記範囲情報が保存されていない場合、前記範囲情報を前記画像送信装置に送信し、前記受信部は、前記範囲情報が保存されており、かつ、前記画像の一部を受信する場合、前記範囲情報が前記送信部によって前記画像送信装置に送信されずに、保存されている前記範囲情報に従って、前記画像の一部を受信してもよい。
【００３２】
これにより、画像復号装置は、例えば、他の画像復号装置から送信され保存されている範囲情報に従って、画像の一部の受信、復号および表示を行うことができる。
【００３３】
また、例えば、前記画像復号装置は、さらに、前記ユーザの操作に従って、前記画像の一部の範囲を選択する選択部を備え、前記送信部は、前記選択部で選択された前記範囲を示す前記範囲情報を前記画像送信装置に送信してもよい。
【００３４】
これにより、画像復号装置は、ユーザの操作に従って、受信および復号される部分を適切に選択することができる。
【００３５】
また、例えば、前記受信部は、前記画像の一部の範囲が選択されている状態において、全体表示が推奨される前記第１種類に前記画像が属する場合、前記画像の全体を受信し、全体表示が推奨されない前記第２種類に前記画像が属する場合、前記画像の一部を受信してもよい。
【００３６】
これにより、画像復号装置は、全体表示が推奨される場合、画像の全体を受信し、全体表示が推奨されない場合、画像の一部を受信することができる。したがって、画像復号装置は、画像を適切に受信し、復号することができる。
【００３７】
また、例えば、前記受信部は、前記画像の一部の範囲が選択されている状態において、前記画像がコマーシャルである前記第１種類に属する場合、前記画像の全体を受信し、前記画像がコマーシャルとは異なる前記第２種類に属する場合、前記画像の一部を受信してもよい。
【００３８】
これにより、画像復号装置は、画像の全体の表示が適切なコマーシャルでは、画像の全体を受信し、画像の全体の表示が行われなくてもよい本編では、画像の一部を受信することができる。
【００３９】
また、例えば、前記画像には、前記画像が前記第１種類に属するか前記第２種類に属するかを示すフラグが付与されており、前記受信部は、前記フラグに従って、前記画像の全体または一部を受信してもよい。
【００４０】
これにより、画像復号装置は、画像に付与されたフラグに従って、画像の全体または部分を受信することができる。
【００４１】
また、例えば、本発明の一態様に係る画像送信装置は、符号化された画像を画像復号装置に送信する画像送信装置であって、前記画像復号装置から前記画像の送信の要求を受け付ける要求受付部と、前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像復号装置から受信する受信部と、前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像復号装置に送信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを送信することにより、前記画像の一部を前記画像復号装置に送信する送信部とを備える。
【００４２】
これにより、画像送信装置は、画像の種類に従って、画像の全体の送信と、画像の一部の送信とを切り替えることができる。したがって、画像送信装置は、符号化された画像を効率的に処理することができる。
【００４３】
また、例えば、前記送信部は、前記画像の一部の範囲が選択されている状態において、全体表示が推奨される前記第１種類に前記画像が属する場合、前記画像の全体を送信し、全体表示が推奨されない前記第２種類に前記画像が属する場合、前記画像の一部を送信してもよい。
【００４４】
これにより、画像送信装置は、画像の全体の表示が推奨される場合、画像の全体を送信し、画像の全体の表示が推奨されない場合、画像の一部を送信することができる。したがって、画像送信装置は、画像を適切に送信することができる。
【００４５】
また、例えば、前記送信部は、前記画像の一部の範囲が選択されている状態において、前記画像がコマーシャルである前記第１種類に属する場合、前記画像の全体を送信し、前記画像がコマーシャルとは異なる前記第２種類に属する場合、前記画像の一部を送信してもよい。
【００４６】
これにより、画像送信装置は、画像の全体の表示が適切なコマーシャルでは、画像の全体を送信し、画像の全体の表示が行われなくてもよい本編では、画像の一部を送信することができる。
【００４７】
また、例えば、前記画像には、前記画像が前記第１種類に属するか前記第２種類に属するかを示すフラグが付与されており、前記送信部は、前記フラグに従って、前記画像の全体または一部を送信してもよい。
【００４８】
これにより、画像送信装置は、画像に付与されたフラグに従って、画像の全体または一部を送信することができる。
【００４９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００５０】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５１】
また、同じ要素には同じ符号を付しており、説明を省略する場合もある。
【００５２】
（実施の形態１）
実施の形態１では、画像が複数のタイルに分割され符号化されたビットストリームから画像を復号する画像処理システム、画像の復号方法、および、ビットストリームの生成方法について説明する。
【００５３】
特に、実施の形態１では、ビットストリームは、符号化または復号の並列処理を可能にするための情報を含む。例えば、それぞれがタイルと呼ばれる複数の領域に画像が分割される。ビットストリームは、動き予測処理または動き補償処理の際に、同一または異なる時間の画像信号において対応する１つ以上のタイルの画素のみを参照するという、動き予測または動き補償の制限が指定可能な情報を含む。
【００５４】
［構成の説明］
図３は、実施の形態１の画像処理システム１００の構成例を示す。図３に示された画像処理システム１００は、復号装置（画像復号装置）２００と、サーバ（画像送信装置）３００とを有する。復号装置２００は、処理部２１０、記憶部２２０、通信部２３０、制御部２４０、および、表示部２５０を備える。サーバ３００は、処理部３１０、記憶部３２０、通信部３３０、および、制御部３４０を備える。記憶部３２０には、画像ストリームＡ、Ｂ、Ｃが符号化された状態で格納される。
【００５５】
なお、復号装置２００の記憶部２２０およびサーバ３００の記憶部３２０は、外付けのメモリ等であってもよいし、有線または無線のネットワークを介して接続される外部のメモリであってもよい。現在では、ＧＰＳなどを利用し、復号装置２００の位置に応じて最も近い場所から画像が配信されるように、サーバ３００は、同様のデータを保持する、世界各国に配置されたメモリを有していることが多い。
【００５６】
その他の構成要素も、同様に、有線または無線で互いに接続され、ハードウェアまたはソフトウェアによって全体の処理を実行できればよく、物理的に１つの装置に統合されていなくても構わない。
【００５７】
また、各部は、１以上のプロセッサ、１以上の回路、１以上のメモリ、または、これらの任意の組み合わせで構成されてもよいし、各部の処理を行うソフトウェアを実行する汎用回路等でも構わない。
【００５８】
図４は、図３に示された復号装置２００の構成例を示すブロック図である。図４は、特に、復号装置２００の処理部２１０の構成例を示す。図４に示された復号装置２００は、エントロピー復号部２０１、逆量子化部２０２、逆変換部２０３、ブロックメモリ２０４、フレームメモリ２０５、イントラ予測部２０６、および、インター予測部２０７を備える。
【００５９】
エントロピー復号部２０１、逆量子化部２０２、逆変換部２０３、イントラ予測部２０６、および、インター予測部２０７は、処理部２１０に含まれる。ブロックメモリ２０４、および、フレームメモリ２０５は、記憶部２２０に含まれてもよいし、記憶部２２０とは別の構成要素でもよい。
【００６０】
処理部２１０には、通信部２３０が外部から取得した、符号化された画像信号であるビットストリームが入力される。
【００６１】
エントロピー復号部２０１は、ビットストリームに対してエントロピー復号を行う。逆量子化部２０２は、エントロピー復号で得られた係数に対して逆量子化を行う。逆変換部２０３は、逆量子化が行われた係数に対して逆周波数変換を行う。逆周波数変換で得られたブロックで構成されるフレーム（ピクチャ）は、表示部２５０に出力される。
【００６２】
ブロックメモリ２０４には、逆周波数変換で得られたブロックが格納される。フレームメモリ２０５には、逆周波数変換で得られたブロックで構成されるフレームが格納される。イントラ予測部２０６は、ブロックメモリ２０４に格納されたブロックを参照してイントラ予測を行う。インター予測部２０７は、フレームメモリ２０５に格納されたフレームを参照してインター予測を行う。
【００６３】
図５は、動き補償制限を示すシンタックスの一例を示す図である。ビットストリームには、図５に示されたシンタックスが含まれる。
【００６４】
図６は、図５に示されたシンタックスが格納されるビットストリームの例を示す図である。図５に示されたシンタックスは、図６に示されるように、Ｓｕｐｐｌｅｍｅｎｔａｒｙ  ｅｎｈａｎｃｅｍｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）と呼ばれるヘッダに書き込まれる。ＳＥＩは、後に続く符号化された画像データに共通に用いられる補助情報を格納するためのヘッダである。ただし、もちろん、図５に示されたシンタックスは、ＳＰＳ、ＰＰＳと呼ばれるヘッダ、または、その他のヘッダに記載されていても構わない。
【００６５】
処理部２１０は、ブロックメモリ２０４およびフレームメモリ２０５に必要なデータを書き込んだり、または、それらのメモリから必要なデータを読み出したりする。そして、処理部２１０におけるエントロピー復号部２０１、逆量子化部２０２、逆変換部２０３、イントラ予測部２０６、および、インター予測部２０７は、Ｈ．２６ｘで規定されるような復号処理を行い、ビットストリームから画像を復号する。
【００６６】
通信部２３０は、処理部２１０または制御部２４０等の指示に基づいて、外部にビットストリームの伝送の要求を送信し、外部からビットストリームを受信する。
【００６７】
このような復号装置２００からの要求に対して、サーバ３００は、制御部３４０が行う制御に基づいて、対応するビットストリームを記憶部３２０から読み出し、処理部３１０で処理された画像データを通信部３３０から復号装置２００に対して送信する。例えば、サーバ３００は、復号装置２００から画像ストリームＡの要求を受けて、画像ストリームＡを復号装置２００に送信する。
【００６８】
［動作の説明］
図７は、実施の形態１の画像処理システム１００の動作の処理フローを示す図である。
【００６９】
復号装置２００は、ユーザが視聴したい画像の要求を外部のサーバ３００に送信する（Ｓ５０１）。なお、現在では、要求を受信する処理装置と、その処理装置からの指示に従って画像を復号装置２００に送るサーバとは別であることが多く、それぞれを運用する会社も、それぞれを配置されている国も異なることが多い。ここでは簡略化のため、要求を受信する装置、および、画像を送るサーバ等の全てを含め、外部のサーバ３００として説明する。
【００７０】
復号装置２００は、要求に加え、さらに付加情報をサーバ３００に送ることで、より適切な画像を受信できる。付加情報は、例えば、位置情報、ユーザ情報、または、性能情報などを含む。付加情報は、サーバ３００が同じ内容を示す画像について形式などが異なるいくつかの画像を持っている場合、そのいくつかの画像のうちより適切な画像をサーバ３００が復号装置２００に送信するための情報である。
【００７１】
サーバ３００は、画像の要求を受信し（Ｓ５０２）、さらに、付加情報があるか否かを判定する（Ｓ５０３）。
【００７２】
付加情報がある場合（Ｓ５０３でＹｅｓ）、サーバ３００は、その付加情報に基づいて、送信する画像データを選択する（Ｓ５０４）。付加情報がない場合（Ｓ５０３でＮｏ）、サーバ３００は、予め定められた条件に基づいて、送信する画像データを選択する（Ｓ５０５）。ここで、画像データには、復号装置２００からの要求に対応するメイン画像と、テキストまたは画像を含むサブ情報とが含まれる。
【００７３】
サーバ３００は、選択された画像データを含むビットストリームを復号装置２００に送信する（Ｓ５０６）。復号装置２００は、そのビットストリームを受信する（Ｓ５０７）。そして、復号装置２００は、そのビットストリームに含まれる符号化された画像を復号し、復号された画像を表示する（Ｓ５０８）。
【００７４】
［選択処理の詳細説明］
図８は、図７に示された画像データの選択処理（Ｓ５０３〜Ｓ５０５）の一例を示す図である。
【００７５】
図８における判定処理（Ｓ６０１〜Ｓ６０３）では、付加情報に、性能情報、位置情報およびユーザ情報のそれぞれが含まれているか否かを判定する。これらの判定処理は、どのような順番で行われてもよいし、並列に行われてもよい。なお、これらの判定処理は、あくまで例示である。画像データの選択処理には、何らかの情報に基づいてサブ情報を選択するステップを１つ以上含む他の手順が用いられてもよい。
【００７６】
性能情報、位置情報およびユーザ情報の全てに対して判定処理が行われなくてもよい。これら以外の情報が画像データの選択処理に用いられてもよいし、性能情報に基づいてサブ情報が選択されてもよい。
【００７７】
図８では、例えば、付加情報に性能情報が含まれると判定された場合（Ｓ６０１でＹｅｓ）、その性能情報に基づいて、復号装置２００が復号可能な規格、または、その規格のうち復号装置２００が対応しているプロファイルまたはレベルなどが判定される。規格の例は、ＭＰＥＧ―２、ＭＰＥＧ―４  Ｖｉｓｕａｌ、Ｈ．２６４／ＡＶＣ、または、Ｈ．２６５／ＨＥＶＣなどである。サーバ３００は、判定結果に基づいて、サーバ３００の記憶部３２０に格納されている複数のタイプのメイン画像から１つを選択する（Ｓ６０４）。
【００７８】
復号装置２００が複数の規格または複数のプロファイル等に対応している場合、サーバ３００は、さらに伝送路などの状況に基づいて、複数のメイン画像から、より高品質で高効率な規格またはプロファイルに準拠する１つのメイン画像を選択してもよい。または、復号装置２００が伝送路などの状況に基づいてメイン画像を選択できるように、サーバ３００は、メイン画像の各候補へリンクづけされた情報を送る配信システム（例えば、ＭＰＥＧ−ＤＡＳＨ等）を用いて、その情報を配信してもよい。
【００７９】
性能情報が含まれないと判定された場合（Ｓ６０１でＮｏ）、サーバ３００は、予め定められたメイン画像、例えば、最も基本的な規格またはプロファイルなどに準拠したメイン画像を選択する（Ｓ６０５）。
【００８０】
付加情報に位置情報が含まれると判定された場合（Ｓ６０２でＹｅｓ）、サーバ３００は、その位置情報が復号装置２００の位置として示す国または地域に基づいて、サブ情報を選択する（Ｓ６０６）。このサブ情報は、例えば、その地域の天気、その地域で放送されるラジオ番組またはテレビ番組、あるいは、その地域の近辺における食料品店またはレストランなどをその地域の言語で示す情報である。
【００８１】
付加情報に位置情報が含まれないと判定された場合（Ｓ６０２でＮｏ）、サーバ３００は、位置に基づくサブ情報を選択しなくてもよいし、予め定められたサブ情報を選択してもよい。例えば、サーバ３００は、位置情報を取得できず、最適な言語が不明である場合、英語で記載された一般ニュースをサブ情報として選択してもよい。
【００８２】
付加情報にユーザ情報が含まれると判定された場合（Ｓ６０３でＹｅｓ）、サーバ３００は、そのユーザ情報に基づいて、サブ情報を選択する。例えば、サーバ３００は、ユーザの性別または年齢などに基づいてサブ情報を選択する（Ｓ６０７）。もしくは、サーバ３００は、ＳＮＳ経由でユーザの親しい友人のネットワークなどに関する情報を取得し、その情報から推定されるユーザの好みに基づいて、サブ情報を選択してもよい。
【００８３】
例えば、サーバ３００は、そのユーザが車好きであれば、最新製品に関するニュース、または、車の外装または内装などに関連する車関連用品の広告をサブ情報として選択する。
【００８４】
付加情報にユーザ情報が含まれないと判定された場合（Ｓ６０３でＮｏ）、サーバ３００は、ユーザ情報に基づいてサブ情報を選択しなくてもよいし、予め定められたサブ情報を選択してもよい。例えば、サーバ３００は、メイン画像に関連するグッズまたは映画の情報など、メイン画像に関連する情報をサブ情報として選択してもよい。
【００８５】
以上のように、サーバ３００は、サブ情報の複数の候補の中から１以上をサブ情報として選択または生成する。
【００８６】
［メイン画像およびサブ情報の送信方法］
図７の送信処理（Ｓ５０６）では、以上のように選択されたメイン画像とサブ情報とを含む画像を複数のタイルを用いて構築し、構築された画像を含むビットストリームを復号装置２００に送信する。基本的には、これらの複数のタイルのそれぞれは、ＭＶ制限タイルであるが、これらの複数のタイルに、ＭＶ制限タイルでないタイルが含まれてもよい。
【００８７】
図９は、実施の形態１に係る画像内の複数のタイルに対する第１割り当て例を示す図である。図９に例示するように、タイルは、１つの画像（ピクチャ）を縦または横の直線で分割することで得られる矩形領域である。
【００８８】
例えば、図９に示すように、１つの画像が第１タイルと第２タイルとに分割される。そして、処理部３１０は、Ｈ．２６５／ＨＥＶＣに従って、選択されたメイン画像を第１タイルとして符号化し、選択されたサブ情報を第２タイルとして符号化する。その際、処理部３１０は、第１タイルおよび第２タイルのそれぞれをＭＶ制限タイルとして符号化する。図９は、例えば、サブ情報として、天気とニュースとが選択され、それらが横に並ぶ形式で符号化された例を示す。
【００８９】
図１０は、実施の形態１に係る画像内の複数のタイルに対する第２割り当て例を示す図である。図１０は、図９の例とは別のメイン画像とサブ情報との構成例を示す。ここでは、第１タイル、および、第５タイル〜第８タイルがサブ情報に対応し、第２タイル〜第４タイルがメイン画像に対応する。
【００９０】
メイン画像の番組情報など、メイン画像に関連する情報が第１タイルに含まれ、広告が第５タイルに含まれている。さらに、第２タイル〜第４タイルに分割されたメイン画像に対応するようにサブ情報が第６タイル〜第８タイルに分割されている。
【００９１】
なお、図１０に示すように、メイン画像に対応する第２タイル〜第４タイルのそれぞれが、特定の一人またはマイクに対応付けられている場合、音声のコーデック方式にはオブジェクト符号化が用いられてもよい。そして、復号時に特定の位置またはマイクの音が再現可能である場合、復号装置２００は、タイルに表示されている画像に対応する音声を再生してもよい。また、その音声が主になるように調整された音声へのリンクが、対応するサブ情報のタイルに貼り付けられていてもよい。
【００９２】
図１１は、実施の形態１に係る画像内の複数のタイルに対する第３割り当て例を示す図である。図１１は、メイン画像が第１タイルと第２タイルとに分割され、サブ情報が第３タイルと第４タイルとに分割される例を示す。この例では、天気とニュースとの２種類のサブ情報が、それぞれ別のタイルで符号化される。
【００９３】
図１２は、実施の形態１に係る画像内の複数のタイルに対する第４割り当て例を示す図である。図１２は、メイン画像の一部のタイルがサブ情報で置き換えて符号化される例を示す。具体的には、図１２は、メイン画像が第１タイル〜第３５タイルに分割され、その一部である第７タイルおよび第２９タイル〜第３２タイルがサブ情報で置き換えられた例を示している。この例では、各サブ情報を表示する時間またはタイミングに合わせて、第７タイルにＭＶ制限タイルが用いられる。
【００９４】
図１３は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更するタイミングの一例を示す図である。具体的には、図１３では、所定の時間に近いＩピクチャでタイルの分割形式が切り替えられている。
【００９５】
例えば、１０秒おきに、５秒間、第７タイルで天気の情報を表示する際、５秒間、ピクチャの第７タイルにＭＶ制限タイルが用いられ、メイン画像の一部に天気の情報が埋め込まれる。図１３では、Ｉ０で第７タイルが構築されるようにピクチャが分割される。そして、Ｉ１までのピクチャでは、その分割形式が維持される。Ｉ１で天気の情報がメイン画像に戻され、制限および分割形式が初期状態に変更される。もちろん、これに限らず分割形式および制限が継続された状態で、天気の情報がメイン画像に戻されても構わない。
【００９６】
なお、ユーザの視聴中において分割の形式が変更された場合、または、メイン画像とサブ情報との割り当ての形式が変更された場合、サーバ３００は、復号装置２００に、形式が変更されたことを通知する。例えば、サーバ３００は、ＭＰＥＧ−ＤＡＳＨ等の配信システムを利用する場合、ＭＰＤファイルを変更し、ＭＰＤファイルが変更されたことを通知する。
【００９７】
その後、１０秒経過した時刻に近いＩピクチャで（図１３ではＩ３）、第７タイルが構築されるようにタイルが再度分割される。そして、サーバ３００は、メイン画像の一部をサブ情報に置き換え、ＭＶ制限を用いて画像を符号化する。
【００９８】
図１４は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更する操作の一例を示す図である。具体的には、図１４は、ユーザからの指示に基づいて、次のタイミングで、第２９タイル〜第３２タイルに表示されたサブ情報がメイン画像の一部に戻され、第７タイルに表示されたサブ情報が第１タイルの位置へ移動される例を示す。ここで、次のタイミングは、例えば、指示後のＩピクチャのタイミングである。
【００９９】
図１５は、実施の形態１に係る画像内の複数のタイルに対する割り当てを変更する処理フローの一例を示す図である。例えば、図１５の例のように、復号装置２００は、ユーザからの指示に基づいて、第７タイルから第１タイルへサブ情報を表示する位置の変更要請をサーバ３００へ通信部２３０を介して送信する（Ｓ８０１〜Ｓ８０３）。その要請を受けたサーバ３００は、次の適切なタイミングで、第１タイルにサブ情報が表示されるように、タイルの列を変更したビットストリームを送信する。
【０１００】
そして、復号装置２００は、変更されたビットストリームを受信する（Ｓ８０１）。そして、復号装置２００は、変更されたビットストリームに含まれる符号化された画像を復号して、復号された画像を表示する（Ｓ８０４）。また、ユーザがサブ情報の表示を削除する操作を行った場合（Ｓ８０２でＹｅｓ）、復号装置２００は、サブ情報の削除に対応する表示変更を要請する（Ｓ８０３）。この場合、サーバ３００は、サブ情報がメイン画像の一部に戻されたビットストリームを送信する。
【０１０１】
図１５では、復号装置２００は、表示変更の要請をサーバ３００に送る。ＭＰＥＧ−ＤＡＳＨ等のように、状況に応じて、受信するストリームを切り替えられる配信システムが用いられる場合、復号装置２００は、要請を送らずに、サーバ３００から送信される複数選択肢の中から適切な画像を選んでもよい。また、復号装置２００は、最初にデフォルトの画像を選択してもよい。サーバ３００は、緊急災害情報等のように通知すべき情報を有する場合、その情報が選ばれるようにその情報を送信してもよい。
【０１０２】
もちろん、このような配信システムが用いられる場合においても、適切な選択肢がなければ、復号装置２００は、適切な選択肢を作成するようサーバ３００に要請しても構わない。
【０１０３】
図１５では、復号装置２００は、表示変更の要請の後、次のタイミングで新たなストリームを受信する。復号装置２００は、新たなストリームの受信および復号が完了するまで、表示変更が行われるべきタイルに、例えば、次の２つのうちいずれかの表示を行ってもよい。つまり、復号装置２００は、（１）現在の表示の継続、および、（２）予め定められた背景画像の表示のうち、いずれかの表示を行ってもよい。
【０１０４】
（１）の場合には、復号装置２００には新たな処理が発生しないため、表示が安定する。一方、ユーザは、移動または削除の要求を行ったにもかかわらず、表示が変更されないため、レスポンスが悪いと感じる可能性がある。
【０１０５】
そのため、復号装置２００は、新しいストリームの受信および復号が完了するまでの期間が短い場合、（１）の表示を行ってもよい。そして、復号装置２００は、新しいストリームの受信および復号が完了するまでの期間が一定期間以上である場合、（２）の表示を行うように、動作を変更した方がよい。
【０１０６】
（２）の場合には、復号装置２００は、背景画像を表示することにより、ユーザに要求が受け付けられたことを視覚的に通知できる。さらに、（２）の場合には、処理も簡便である。なお、背景画像は、グレー、ロゴ、パターン画像、メモリ内に予め格納されている画像、あるいは、直近で最後に復号されメモリ内に保持されているメイン画像のタイル部分などである。また、背景画像は、静止画に限られない。
【０１０７】
また、移動および削除に限らず、例えば、復号装置２００は、サブ情報を画像からテキストデータへ変更したり、領域を小さくしたり、サブ情報を他のサブ情報へ変更したりなどをユーザの操作に基づいて行っても構わない。サブ情報のデータ量が大きく処理が重たくなる場合、または、動画のサブ情報がチラチラしてメイン画像への集中が妨げられる場合などにおいて、復号装置２００は、サブ情報をテキストデータに変更することで、よりメイン画像の視聴に適した状態を構築できる。
【０１０８】
なお、ユーザが、リモートコントローラを用いて、移動元を選択し、移動先を矢印キーなどでサブ情報の移動を指示することで、復号装置２００は、ユーザの指示を受け付けることができる。復号装置２００がタッチパネルを有していれば、ユーザが、スワイプなどのタッチ操作により移動元から移動先を指示したり、画面内から画面外へのスワイプで削除を指示したりすることで、復号装置２００は、ユーザの指示を受け付けることができる。
【０１０９】
また、復号装置２００は、加速度センサまたは深度センサなどで検出される動きまたはジェスチャの情報を用いることにより、同様に、移動または削除の指示を受け付けることができる。なお、ここでは、ユーザが移動または削除を指示する例が示されている。しかし、サーバ３００は、通知すべき緊急災害情報などのサブ情報を復号装置２００に表示させる場合、このようなサブ情報をデフォルトで選択してもよい。
【０１１０】
図９〜１２で示したように、メイン画像の一部がサブ情報に置き換えられ、サブ情報がピクチャにおけるタイルとして符号化される場合、サブ情報は、画面の四隅または左右上下の端部など、メイン画像の視聴を妨げない領域に配置された方がよい。
【０１１１】
しかし、有料で提供されるメイン画像がトライアル期間で配信される場合、メイン画像の視聴を妨げる領域に、広告などのサブ情報のタイルが配置されてもよい。これにより、復号装置２００は、視聴者がより適切なメイン画像を視聴したくなるように働きかけることができる。そして、これにより、復号装置２００は、ユーザから適切な著作権料を回収するコンテンツ配信サービスを可能にする。
【０１１２】
図１６は、実施の形態１に係る画像内の複数のタイルのうち一部をスクランブリングする動作の一例を示す。例えば、図１６では、初めに、画像の全タイルがメイン画像に対応する。そして、Ｉピクチャが表示されるタイミングで徐々に、一部のタイルがそれぞれＭＶ制限タイルに変更されてもよい。そして、変更されたタイルにおいて、サブ情報、グレー画像、スクランブルされた画像、もしくは、粗かったりぼやけたりするような視聴しにくいメイン画像などが表示されてもよい。
【０１１３】
ユーザが、そのメイン画像を視聴する場合、例えば、上述のＵＩを用いて、そのタイルが選択され、電子決済システムを介して適切な視聴料が支払われることで、そのタイルで視聴を妨げる表示が解除されてもよい。ユーザが視聴する領域を選択し、その領域のサイズに基づいて、視聴料が決定されてもよい。選択されていない領域にはサブ情報を表示するためのタイルが配置され、常に広告等が表示されてもよい。
【０１１４】
以上のように、復号装置２００は、送信されたビットストリームを受信し、ビットストリームが準拠する規格をヘッダから読み取り、その規格に対応する復号処理を実行し、復号された画像を表示部２５０に表示する。
【０１１５】
一方、サーバ３００は、上記のような復号装置２００からの要請に対応できるように、同じタイル数で内容が互いに異なる複数のパターンに対応する複数のビットストリームを保持する。そして、例えば、サーバ３００は、ＭＰＥＧ―Ｄａｓｈを用いる場合、複数のビットストリームへのリンクづけがされたセグメント情報を含むＭｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）ファイルを復号装置２００に送信してもよい。
【０１１６】
［効果］
実施の形態１では、上述のように、画像が複数のタイルに分割され、選択されたメイン画像および選択されたサブ情報が別々のタイルに符号化される。これにより、適切な情報が付随した画像が１つのストリームの形式で復号装置２００に送信される。また、これにより、サーバ３００は、送信すべきサブ情報を送信することができ、復号装置２００は、適切なサブ情報を受け取ることができる。
【０１１７】
以上のように、実施の形態１の画像処理システム１００は、適切な情報が付随した画像を送受信することができる。
【０１１８】
［補足］
なお、図７の送信処理（Ｓ５０６）での画像の符号化において、メイン画像もサブ情報もＨ．２６５／ＨＥＶＣで予め符号化されたデータであれば、サーバ３００は、それらを組み合わせてもよい。そして、サーバ３００は、それらのタイル数を合算した総タイル数を画像内のタイル数として含むようにヘッダ部分を書き換えることで、メイン画像とサブ情報とを含むビットストリームが構築される。
【０１１９】
一方、例えば、メイン画像がＨ．２６４／ＡＶＣで符号化されており、サブ情報がテキストデータまたはＪＰＥＧデータ等である場合、メイン画像とサブ情報とを含む画像が、全体的にＨ．２６５／ＨＥＶＣに準拠するように、符号化し直されてもよい。
【０１２０】
メイン画像もサブ情報もＨ．２６５／ＨＥＶＣで予め符号化されたデータであっても、サーバ３００は、画面外を参照しないようにメイン画像とサブ情報とを含む画像を符号化し直してもよい。例えば、メイン画像の端部に位置するタイルに画面外（ピクチャ外）を参照するブロックが含まれる場合、単にヘッダ部分の書き換えのみでは、サブ情報のタイルが参照される可能性がある。そのため、サーバ３００は、画面外を参照しないようにメイン画像とサブ情報とを含む画像を符号化し直してもよい。
【０１２１】
その際、サブ情報が動画像を含む大きなデータであり、かつ、動画像を視認しにくい小さいタイルがサブ情報に対して用意されている場合など、選択されたサブ情報と用意された領域とが不適合な場合もある。この場合、サーバ３００は、サブ情報を変換してもよい。具体的には、サーバ３００は、サブ情報における動画像からテキストデータを抽出し、サブ情報をそのテキストデータに置き換えて、メイン画像とサブ情報とを符号化してもよい。
【０１２２】
図１７は、図３に示されたサーバ３００の処理部３１０の構成例を示すブロック図である。上記の符号化処理は、図１７のような構成を備える処理部３１０で行われる。図１７に示された処理部３１０は、減算部３０１、変換量子化部３０２、エントロピー符号化部３０３、逆量子化逆変換部３０４、加算部３０５、デブロッキングフィルタ部３０６、イントラ予測部３０７、動き補償部３０８、動き検出部３０９、および、メモリ３１１を備える。
【０１２３】
減算部３０１は、入力信号が示す値から予測信号が示す値を減算して、予測誤差を出力する。変換量子化部３０２は、予測誤差に対して周波数変換および量子化を行って、量子化係数を出力する。エントロピー符号化部３０３は、量子化係数に対してエントロピー符号化を行って、符号化信号を出力する。逆量子化逆変換部３０４は、量子化係数に対して逆量子化および逆周波数変換を行う。加算部３０５は、逆量子化および逆周波数変換で得られる予測誤差と、予測信号が示す値とを加算して、画素値を出力する。
【０１２４】
デブロッキングフィルタ部３０６は、画素値で構成される画像のブロック歪を取り除く。イントラ予測部３０７は、符号化対象ピクチャ内の画素値を参照してイントラ予測を行う。動き補償部３０８は、符号化対象ピクチャとは異なるピクチャ内の画素値を参照してインター予測を行う。動き検出部３０９は、入力信号と、メモリ３１１に格納されたピクチャとに基づいて、動き検出を行って、動きデータを出力する。メモリ３１１は、予測誤差と、予測信号が示す値との加算などによって、再構成されたピクチャが格納される。
【０１２５】
ここで、メモリ３１１には、サーバ３００が有する記憶部３２０が使用されてもよいし、処理部３１０に固有のメモリが用いられてもよい。
【０１２６】
また、復号装置２００がＨ．２６５／ＨＥＶＣに対応していない場合には、サーバ３００は、対応する符号化方式でメイン画像とサブ情報とのそれぞれを符号化して、別々のストリームで、それぞれをパケット化して送る伝送方法を利用しても構わない。この場合、復号装置２００は、メイン画像が画面の全体に対応し、サブ情報がそのメイン画像の一部の領域に重畳されるように、メイン画像とサブ情報とを表示させてもよい。また、この伝送方法では、サブ情報を含むパケットを頻繁に伝送することで、データの欠落が予防されてもよい。
【０１２７】
Ｈ．２６５／ＨＥＶＣが用いられる場合、より優先度が高いと思われる情報、例えば広告よりも台風情報などのサブ情報が、優先して頻繁に埋め込まれるように、優先度が予め設定されていてもよい。さらに、復号装置２００から特定の情報の表示を除外するための要求を受け取り、以降の画像では、その情報が選択されないように選択動作が制御されてもよい。
【０１２８】
（実施の形態２）
実施の形態２は、実施の形態１と同様の構成を有する画像処理システム１００における復号方法、表示方法および管理方法の他の例を示す。実施の形態２でも、ビットストリームは、動き予測または動き補償の制限を指定するための情報を含む。
【０１２９】
実施の形態２において、復号装置２００は、ユーザがメイン画像を視聴し始める際に、ユーザの操作に基づいて、または、自動的に、１以上のモードを１以上の選択肢として表示部２５０に表示する。モードは画面（ピクチャ）の分割形式に対応する。すなわち、復号装置２００は、１以上のモードのそれぞれについて、画面が複数のタイルにどのように分割されるかを表示部２５０に表示する。
【０１３０】
図１８〜２０は、各モードの表示例を示す。図１８〜２０において、網掛けで表示されている領域は、主にメイン画像が表示される領域である。ユーザは１以上のモードから１つのモードを選択する。復号装置２００は、選択されたモードに対応する分割形式でメイン画像とサブ情報とを含むビットストリームをサーバ３００から受信する。
【０１３１】
実施の形態２では、ユーザがメイン画像を視聴する端末である復号装置２００において、表示領域がユーザの好みで複数のタイルに分割される。そして、所望のタイルでメイン画像が視聴可能である。また、例えば、復号装置２００は、メイン画像の一部に、例えば、メールまたはゲームなどの他のアプリケーションが前面に出るように、サブ情報を重畳する。復号装置２００は、複数のアプリケーションを同時に実行してもよい。
【０１３２】
また、視聴の開始時にモードが選択されることにより、視聴中において、サブ情報の表示位置に対する変更要請の発生が抑制される。そのため、サーバ３００は、符号化の形式を変更することなく、１以上のモードに基づいてもともと保持しているストリームを復号装置２００に送信することができる。
【０１３３】
復号装置２００は、どのモードが視聴に適しているかをユーザが確認しやすいように、各モードを表示する。例えば、復号装置２００は、各モードについて、タイル境界を破線等で表したり、メイン画像の領域とサブ情報の領域との境界を太線で表したり、メイン画像の領域とサブ情報の領域とでカラーリングを変更したりなどを行ってもよい。
【０１３４】
上記では、ユーザがモードを選択する。しかし、サーバ３００が、メイン画像の内容、または、配信ネットワークの混雑度合いなどの環境に基づいて、タイルの分割および割り当てに対応する初期モードを決定してもよい。そして、復号装置２００は、初期モードでメイン画像およびサブ情報を表示してもよい。
【０１３５】
これにより、サーバ３００は、メイン画像の内容などに応じて、より適した分割および割り当てで、メイン画像およびサブ情報をユーザに視聴させることができる。また、緊急災害情報等のように視聴させるべきサブ情報が、不適切に削除されたり改変されたりすることが抑制される。さらに、復号装置２００は、最新のＭＰＤを表示し、ＭＰＤの変更を契機にして、ユーザからモードの再選択を受け付けてもよい。
【０１３６】
（実施の形態３）
実施の形態３では、実施の形態１と同様の構成を有する画像処理システム１００における復号方法、表示方法および管理方法の他の例を示す。実施の形態３でも、ビットストリームは、動き予測または動き補償の制限を指定するための情報を含む。
【０１３７】
実施の形態１および２で示されたように、ユーザの操作によってメイン画像およびサブ情報の表示方法が変更される場合、復号装置２００またはサーバ３００は、ユーザの操作または視聴形態の情報を保持しておいてもよい。そして、復号装置２００は、保持された情報に基づいて、より適切なサブ情報の表示を行うためのビットストリームの受信および復号を行って、画像を表示してもよい。
【０１３８】
例えば、ユーザが他の広告を削除または縮小する操作を行うにも関わらず、車の広告を逆に拡大する操作を行ったり、車の広告が表示されたタイルを選択してＭＰＤファイル等で示されるＵＲＬにアクセスしたりするかもしれない。この場合、復号装置２００は、車の広告を多く表示するようなビットストリームを生成するようにサーバ３００に要求してもよい。あるいは、サーバ３００は、そのようなビットストリームを初めから選択してもよい。
【０１３９】
（実施の形態４）
実施の形態４は、画像が複数のタイルに分割されて符号化されたビットストリームから画像を復号する画像処理システム、画像の復号方法、および、ビットストリームの生成方法に関する他の例を示す。
【０１４０】
特に、実施の形態４では、ビットストリームは、符号化または復号の並列処理を可能にするための情報を含む。例えば、それぞれがタイルと呼ばれる複数の領域に画像が分割される。ビットストリームは、動き予測処理または動き補償処理の際に、同一または異なる時間の画像信号において対応する１つ以上のタイルの画素のみを参照するという、動き予測または動き補償の制限が指定可能な情報を含む。
【０１４１】
［構成の説明］
図２１は、実施の形態４の放送システム１１０の構成例を示す。テレビ４００、セットトップボックス（ＳＴＢ）４６０、リーダ／レコーダ４７０、再生装置６００、携帯電話（スマートフォン）７００、および、カーナビ８００のそれぞれは、実施の形態１の復号装置２００に対応する。モニタ４５０およびモニタ６５０は、実施の形態１の表示部２５０に対応する。記録メディア４３０、記録メディア４３１および記録メディア４３２は、実施の形態１の記憶部２２０に対応する。
【０１４２】
放送局５００は、実施の形態１のサーバ３００に対応する。テレビ４００、ＳＴＢ４６０、リーダ／レコーダ４７０、再生装置６００、携帯電話（スマートフォン）７００、および、カーナビ８００のうち１つが放送を受信する装置として放送システム１１０に含まれていてもよい。すなわち、これらの全てが放送を受信する装置として放送システム１１０に含まれていなくてもよい。
【０１４３】
放送局５００は、符号化された映像データに符号化された音楽データなどが多重化された多重化データを衛星５０１へ電波によって伝送する。放送局５００から電波を受けた衛星５０１は、放送用の電波を発信し、放送用の電波を衛星放送の受信が可能な家庭のアンテナ５０３が受信する。多重化データはケーブル５０２を介して伝送されてもよい。テレビ（受信機）４００またはＳＴＢ４６０等の装置が、受信した多重化データを復号して、画像をモニタ４５０に表示し、音声をスピーカから出力する。
【０１４４】
車８０１のアンテナ８０２が電波を受信してもよい。この場合、カーナビ８００が、テレビ４００と同様に、画像を表示する。
【０１４５】
また、図４および図１７に示すような処理部２１０、３１０（復号処理部、符号化処理部）を有するリーダ／レコーダ４７０は、ＨＤＤ、ＤＶＤ、ＢＤまたはＳＤ等の記録メディア４３１、４３２に受信した多重化データを記録し、再生する。この場合、復号された映像および音声は、モニタ４５０またはスピーカを介して出力される。また、多重化データが記録された記録メディア４３１、４３２を介して、他の装置または他のシステムが映像および音声を再生することができる。
【０１４６】
また、ケーブルテレビ用のケーブル５０２または衛星／地上波放送用のアンテナ５０３に接続されたＳＴＢ４６０内に図４に示したような処理部２１０が実装され、ＳＴＢ４６０を介してテレビ４００のモニタ４５０に映像が表示されてもよい。また、テレビ４００内に図４に示したような処理部２１０が組み込まれてもよい。
【０１４７】
図２２は、テレビ４００の構成例を示すブロック図である。チューナ４０１、変調／復調部４０２、および、多重／分離部４０３は、多重化ストリームを受信し、復調し、音声データと映像データとに分離する。音声信号処理部４０４および映像信号処理部４０５を含む信号処理部４２０で音声データおよび映像データの復号処理が行われ、音声データおよび映像データが出力部４０９におけるスピーカ４８０および表示部４５０から出力される。
【０１４８】
テレビ４００は、テレビ４００の各部に電力を供給する電源回路部４１１を備える。また、テレビ４００は、ＬＳＩ９００を備え、いくつかの構成要素は、ＬＳＩ９００に含まれる。
【０１４９】
さらに、テレビ４００は、外部のリモートコントローラ４９０等がテレビ４００を制御し、かつ、テレビ４００が外部の周辺機器を制御するためのインタフェース部４１７を備える。インタフェース部４１７は、操作入力部４１２、ブリッジ４１３、スロット部４１４、ドライバ４１５、および、モデム４１６を備える。その他の複数の構成要素も、制御部４１０からの制御に基づいて、協同して、受信、復号、および、表示のための動作を行う。
【０１５０】
なお、制御部４１０、信号処理部４２０、および、表示部（モニタ）４５０は、それぞれ、実施の形態１の制御部２４０、処理部２１０、および、表示部２５０に対応する。また、記録メディア４３１、記録メディア４３２、バッファ４３３、バッファ４３４、バッファ４３５、および、バッファ４３６は、実施の形態１の記憶部２２０に対応する。
【０１５１】
［動作の説明］
図２３は、実施の形態４の放送システム１１０の処理フローの例を示す。まず、放送局５００は、テレビ４００から要求を受信することなく、複数のコンテンツに対応する複数の画像ストリームを放送する（Ｓ１３０１）。複数の画像ストリームのそれぞれは、例えば、１つのチャンネルに対応する１つのメイン画像と、実施の形態１に示されたサブ情報とが、画面（ピクチャ）を分割する複数のタイルを用いて、符号化されているストリームである。
【０１５２】
実施の形態１では、サブ情報は、復号装置２００からの付加情報に基づき、複数の候補から選択される。実施の形態４では、サブ情報は、複数の候補から予め選択されている。
【０１５３】
ここで、サブ情報は、タイルとして符号化される。サブ情報は、実施の形態１に示されたような、優先度の高い情報を主に含む。サブ情報は、優先度の低い情報がヘッドラインとして要約された情報を含む場合もある。サブ情報の詳細内容は、タイルに関連付けられて、追加の別ストリームとして送られてもよい。
【０１５４】
テレビ４００は、視聴対象コンテンツに対応する画像ストリームを確認する（Ｓ１３０２）。そして、テレビ４００は、視聴対象コンテンツに対応する複数の画像ストリームが存在するか否かを判定する（Ｓ１３０３）。例えば、テレビ４００は、メイン画像に対して互いに異なる複数の符号化規格または複数の符号化レベルに対応する複数の候補があるか否かを判定する。また、テレビ４００は、タイルとして符号化されているサブ情報について、複数の候補があるか否かを判定する。
【０１５５】
メイン画像について複数の候補がある場合（Ｓ１３０３でＹｅｓ）、テレビ４００は、高画質かつ高効率に受信および復号が可能な候補をメイン画像として選択する。サブ情報について複数の候補がある場合、テレビ４００は、自身が保持する位置情報またはユーザ情報等に基づいて、複数の候補からサブ情報を選択する。例えば、サブ情報の選択は、実施の形態１で示された例と同様に行われる。これにより、テレビ４００は、固有情報に基づいて画像ストリームを選択する（Ｓ１３０４）。
【０１５６】
複数の画像ストリームが存在しないと判定された場合（Ｓ１３０３でＮｏ）、テレビ４００は、受信可能な画像ストリームを選択する（Ｓ１３０５）。そして、テレビ４００は、選択処理（Ｓ１３０４、Ｓ１３０５）で選択された画像ストリームを復号し、復号された画像ストリームをモニタ４５０に表示する（Ｓ１３０６）。
【０１５７】
［効果］
このようにして、放送局５００は、画面（ピクチャ）を複数のタイルに分割し、選択されたメイン画像および選択されたサブ情報をそれぞれ別々のタイルとして符号化を行う。
【０１５８】
これにより、テレビ４００は、適切な情報が付随した画像を１つのストリームの形式で受信することができる。また、これにより、放送局５００は、サブ情報を受信または中継する装置またはシステムでサブ情報が意図しない形式に改ざんされないように、サブ情報を送信することができる。したがって、テレビ４００は、適切なサブ情報を受け取ることができる。
【０１５９】
以上のように、実施の形態４におけるテレビ４００は、適切な情報が付随した画像を受信することができる。
【０１６０】
［補足］
実施の形態１〜３に示された選択方法、符号化方法、復号方法、送信方法および表示方法は、実施の形態４にも同様に適応可能である。
【０１６１】
例えば、メイン画像の画質が変更になったり、視聴するチャンネルが切り替わったり、ＣＭが挿入されたり、ユーザが直接サブ情報の変更を指示したりする可能性がある。ＭＰＥＧ２システムが用いられている場合、プログラム情報またはイベント情報などを用いて、コンテンツを構成するタイルの変更が通知されてもよい。そして、テレビ４００は、変更を契機にして、タイル（サブ情報等）の再選択を受け付けてもよい。
【０１６２】
１つのコンテンツは、１つのチャンネルに対応づけて放送される。しかし、画像のサイズが８ｋ４ｋ等のように大きい場合、複数のチャンネルで１つのコンテンツが放送される可能性がある。また、画像の一部の送受信に放送が用いられ、画像の一部の送受信に通信が用いられる可能性がある。すなわち、画像の送受信に複数の伝送路が用いられる可能性がある。
【０１６３】
なお、メイン画像に対して、１つのチャンネルに、１つの候補（１つのメイン画像）が存在する場合があり、また、メイン画像に対して、１つのチャンネルに、符号化規格またはレベルが互いに異なる複数の候補が存在する場合がある。
【０１６４】
（実施の形態５）
実施の形態５は、画像が複数のタイルに分割されて符号化されたビットストリームから画像を復号する画像処理システムと、画像の復号方法、および、ビットストリームの生成方法に関する他の例を示す。
【０１６５】
特に、実施の形態５でも、ビットストリームは、符号化または復号の並列処理を可能にするための情報を含む。例えば、それぞれがタイルと呼ばれる複数の領域に画像が分割される。ビットストリームは、動き予測処理または動き補償処理の際に、同一または異なる時間の画像信号において対応する１つ以上のタイルの画素のみを参照するという、動き予測または動き補償の制限が指定可能な情報を含む。
【０１６６】
［概要］
ＨＥＶＣ方式などが利用される場合、８ｋ４ｋなどのように大きく高精細な画像データの送受信が可能である。しかし、画像データを受信するモバイル端末は、大きい画像の表示に適さない可能性がある。また、ユーザは、大きい画像の一部のみに興味をもち、画像の一部を詳細に視聴したい可能性もある。さらに、このような領域は時間的に変化する可能性もある。
【０１６７】
また、画像の一部のみの視聴でも弊害の少ない画像データがある。一方、画像の全体が視聴されなければ、画像の内容を把握することが困難な画像データもある。
【０１６８】
実施の形態５では、画像の一部の範囲が選択され、適切な復号および適切な表示が行われる。より具体的には、サッカーの試合等のように画像の一部を切り取って視聴することに適した画像データと、ＣＭ等のように画像の全体を視聴すべき画像データとが混在したコンテンツが受信され視聴される場合に、違和感のない表示が行われる。
【０１６９】
［構成の説明］
実施の形態５に係る構成は、実施の形態１（図３および図４）と同様であるため、説明を省略する。
【０１７０】
［動作の説明］
図２４および図２５は、実施の形態５に係る画像処理システム１００の動作の処理フローを示す図である。
【０１７１】
復号装置２００は、視聴対象の画像の要求をサーバ３００に送信する（Ｓ１４０１）。より具体的には、復号装置２００は、視聴対象の複数の画像で構成される画像ストリーム（画像列）の送信をサーバ３００に要求する。サーバ３００は、画像の要求を受信する（Ｓ１４０２）。
【０１７２】
また、サーバ３００は、画像において再生される領域の範囲である選択範囲（選択位置）が保存済みか否かを判定する（Ｓ１４０３）。選択範囲が保存されていない場合（Ｓ１４０３でＮｏ）、サーバ３００は、選択範囲を送信するよう復号装置２００に要求する（Ｓ１４０３）。復号装置２００は、選択範囲の要求を受けて（Ｓ１４０５でＹｅｓ）、選択範囲をサーバ３００へ送信する（Ｓ１４０６）。サーバ３００は、選択範囲を受信し、受信した選択範囲を保存する（Ｓ１４０７）。
【０１７３】
次に、サーバ３００は、画像ストリームのうち送信対象の画像が全体表示対象画像であるか否かを判定する（Ｓ１４０８）。全体表示対象画像は、全体を表示した方がよい画像である。画像が全体表示対象画像である場合（Ｓ１４０８でＹｅｓ）、サーバ３００は、復号装置２００で指定された選択範囲とは無関係に画像の全体を選択する（Ｓ１４０９）。
【０１７４】
逆に、送信対象の画像が全体表示対象画像でない場合（Ｓ１４０８でＮｏ）、サーバ３００は、保存処理（Ｓ１４０７）で保存された選択範囲または以前に保存された選択範囲を取得する（Ｓ１４１０）。そして、サーバ３００は、取得した選択範囲に応じて画像の一部を選択する（Ｓ１４１１）。
【０１７５】
そして、サーバ３００は、選択された画像の全体または一部を含むビットストリームを復号装置２００に送信する（Ｓ１４１２）。復号装置２００は、サーバ３００から送信されたビットストリームを受信する（Ｓ１４１３）。
【０１７６】
ここで、送受信されるビットストリームは、実施の形態１と同様に、ＭＶ制限タイルを用いて画像が符号化されることで生成される。図２で示したように、ＭＶ制限タイルにおける処理対象ブロックは、時間的に異なる画像に対して（つまり、時間的に異なる他のピクチャに対して）、タイルの範囲内で参照領域を参照する。
【０１７７】
そのため、例えば、選択範囲が図２の第２タイルである場合、画像の全体に対応するビットストリームの全体が送受信されなくてもよい。この場合、ビットストリームのうち第２タイルに対応する部分のみが送受信されてもよい。復号装置２００は、ビットストリームのうち第２タイルに対応する部分に基づいて、第２タイル内の画像を復号し、表示することができる。
【０１７８】
次に、復号装置２００は、ビットストリームから画像を復号する。そして、復号装置２００は、復号された画像を復号装置２００のディスプレイサイズに合うようにリサイズ（拡大または縮小）して表示する（Ｓ１４１４）。
【０１７９】
そして、復号装置２００は、ユーザから再生停止の指示を受け付けた場合（Ｓ１４１５でＹｅｓ）、再生停止要求をサーバ３００に送信する（Ｓ１４１６）。その他の場合（Ｓ１４１５でＮｏ）、復号装置２００は、画像ストリームにおける全ての画像の表示が完了するまで、受信、復号および表示（Ｓ１４１３およびＳ１４１４）を繰り返す（Ｓ１４１８）。
【０１８０】
また、サーバ３００は、復号装置２００から再生停止要求を受信するまで、または、画像ストリームにおける全ての画像の送信が完了するまで、選択および送信（Ｓ１４０８〜Ｓ１４１２）を繰り返す（Ｓ１４１７）。
【０１８１】
［効果］
上記の動作により、全体表示対象画像の場合、画像の再生が、選択範囲によらず自動的に画像の全体の再生に切り替わる。これにより、ユーザの利便性が向上する。
【０１８２】
より具体的には、サーバ３００は、画像の全体または一部を選択する際、画像が全体表示対象画像であるか否かを判定する。画像が全体表示対象画像である場合、サーバ３００は、画像の全体を選択する。画像が全体表示対象画像でない場合、サーバ３００は、ユーザによって指定され保存された選択範囲、または、過去の再生で指定された選択範囲に応じて、画像の一部を選択する。これにより、自動的に、選択の切り替えが行われる。以下、図２６〜２８を用いて、より具体的な例を説明する。
【０１８３】
図２６は、全体表示と部分表示とが切り替えられるタイミングの一例を示す図である。具体的には、図２６は、ユーザが選択した画像ストリームの例を示す。この例において、画像ストリームは、４つのシーン（本編部分）の間に３つのＣＭ（広告部分）がある。第１本編部分〜第４本編部分に含まれる画像は全体表示対象画像ではなく、第１広告部分〜第３広告部分に含まれる画像は全体表示対象画像である。
【０１８４】
図２７は、部分表示の一例を示す図である。具体的には、図２７は、ユーザが指定した画像ストリームの第１本編部分における画像の一部の例を示し、図１２のような画像全体の左上の６つのタイルの範囲が選択されている例を示す。
【０１８５】
図２８は、全体表示の一例を示す図である。具体的には、図２８は、第１広告部分の画像の例を示す。第１広告部分の画像は、複数のタイルに分割されていてもよいし、分割されていなくてもよい。以下、図２６〜図２８を用いて、画像処理システム１００の動作を説明する。
【０１８６】
まず、ユーザの操作に基づいて、復号装置２００は、図２６に示された画像ストリームを選択して、選択された画像ストリームをサーバ３００に要求する。また、復号装置２００は、図２７に示された部分が再生されるように、ユーザから選択範囲を受け付け、選択範囲をサーバ３００に送信する。
【０１８７】
サーバ３００は、図２６の第１本編部分について、図２７のような画像の一部を示すビットストリームを送信する。また、サーバ３００は、処理対象画像が第１広告部分の画像に切り替わった時点で、図２８のような画像の全体を示すビットストリームを送信する。復号装置２００は、ビットストリームを復号することで得られる画像を表示する。図２７または図２８に示された画像が復号装置２００の表示部２５０のサイズに合致しない場合がある。その場合、復号装置２００は、画像を拡大または縮小して表示する。
【０１８８】
ＣＭ（広告部分）の内容は、ＣＭの画像の全体を見ることで、把握される場合が多い。そのため、ＣＭでは画像の全体が表示される。逆に、その他のシーン（本編部分）では、復号装置２００のディスプレイサイズまたはユーザの要求に応じて、画像の一部のみが表示される。これにより、ユーザの指示なく、自動的に画像の一部の再生と、画像の全体の再生とが切り替えられる。そして、これにより、ユーザの利便性が向上する。
【０１８９】
なお、画像が全体表示対象画像でない場合、画像の一部を示すビットストリームのみが送受信される。したがって、全体表示対象画像でない画像内のブロックは復号されない可能性がある。また、復号装置２００からサーバ３００への指示、または、既に保存された選択範囲に応じて、画像の一部の選択範囲は変化する。そのため、全体表示対象画像である画像内のブロックは、全体表示対象画像でない画像内のブロックを参照せずに符号化される。
【０１９０】
例えば、図１２の画像が全体表示対象画像でない場合、復号装置２００からの指示、または、保存している選択範囲に応じて、復号場所（復号範囲）は変化する。そのため、状況に応じて、第１タイルのみが復号される場合があり、第２タイルのみが復号される場合がある。その後、図２８のような全体表示対象画像が復号される場合、図１２の画像のうち復号されている部分が状況に応じて異なるため、図２８のような全体表示対象画像のブロックから図１２の画像への参照は禁止される。
【０１９１】
また、最初にユーザが指定した画像内の選択範囲は、サーバ３００で保存されてもよい。そして、保存された選択範囲は、広告部分から本編部分に切り替わった時に、呼び出され使用されてもよい。これにより、広告部分の再生が終わる度にユーザによって選択範囲が再度指定されなくてもよい。
【０１９２】
具体的には、図２６の例では、サーバ３００は、第１広告部分から第２本編部分に画像が切り替わった時点で、最初にユーザが指定した選択範囲を読み出し、その選択範囲に応じて第２本編部分のビットストリームを送信する。同様に、サーバ３００は、第２広告部分では、画像の全体の送信、第３本編部分では、画像の一部の送信、第３広告部分では、画像の全体の送信、第４本編部分では、画像の一部の送信を行う。
【０１９３】
すなわち、サーバ３００は、ユーザによって最初に指定された選択範囲を取得する。その後、サーバ３００は、新たに選択範囲を取得することなく、自動的に画像の一部の再生と画像の全体の再生とを切り替える。これにより、ユーザの利便性が向上する。また、復号装置２００からサーバ３００への選択範囲の情報の送受信のための処理量が削減される。
【０１９４】
また、ユーザの操作に従い、画像の再生が一時的に停止し、しばらく時間をおいてから、画像の再生が再開される場合、または、別の復号装置で同じ画像の再生が開始される場合、選択範囲の再指定が省略される。以下、これらの動作を図２４等に従って具体的に説明する。
【０１９５】
サーバ３００は、画像の要求を受信した際、選択範囲が保存されているか否かを判定する（Ｓ１４０３）。選択範囲が保存されている場合（Ｓ１４０３でＹｅｓ）、サーバ３００は、復号装置２００に選択範囲を要求しない。すなわち、もし、別の復号装置が選択範囲を指定して過去に同じ画像を再生していた場合、選択範囲が保存されているため、サーバ３００は、選択範囲を要求しない。
【０１９６】
例えば、図２６の画像ストリームの第１本編部分に対し、ユーザの操作によって、携帯電話で、図２７のような画像の一部の再生が開始され、その後、ユーザの操作によって、第１本編部分の途中で一時的に再生が停止される。
【０１９７】
次に、ユーザの操作によってパソコンで再生が再開される場合、サーバ３００は、保存済みの選択範囲を呼び出して、保存済みの選択範囲に従って画像の一部を示すビットストリームをパソコンに送信する。そして、パソコンにおいて、ユーザから選択範囲の指示を受けることなく図２７のような画像の一部の再生が開始される。
【０１９８】
これにより、選択範囲の指定の繰り返しが抑制される。したがって、ユーザの利便性が向上する。また、復号装置２００からサーバ３００への選択範囲の情報の送受信のための処理量が削減される。
【０１９９】
［補足］
なお、サーバ３００は、画像が全体表示対象画像であるか否かを判定する（図２５のＳ１４０８）。画像が全体表示対象画像であるか否かは、ビットストリーム内のＳＥＩまたはＰＰＳに明示的に記載されてもよい。
【０２００】
例えば、画像毎に画像が全体表示対象画像であるか否かを示すフラグがビットストリームに含まれていてもよい。このフラグは、画像の全体の表示を推奨するか否かを示すフラグでもよいし、画像の一部の表示を禁止するか否かを示すフラグでもよい。具体的には、画像の全体の表示を推奨すること、または、画像の一部の表示を禁止することをフラグが示している場合、サーバ３００は、画像が全体表示対象画像であると判定する。そうでない場合、サーバ３００は、画像が全体表示対象画像でないと判定する。
【０２０１】
また、例えば、画像が全体表示対象画像であるか否かを明示的に記載するための符号量または処理量を減らすため、サーバ３００は、画像の特徴を抽出して、抽出された特徴に基づいて、画像が全体表示対象画像であるか否かを判定してもよい。
【０２０２】
また、同様の目的で、画像が複数のタイルに分割されていない場合、タイル数が少ない場合、または、分割形式が前のシーンとは異なる場合等において、サーバ３００は、画像が全体表示対象画像であると判定してもよい。全体表示対象画像である画像と全体表示対象画像でない画像とでは、内容が大きく異なる。そのため、これらの画像が切り替わる時点で、タイルの分割形式も変わることが多い。したがって、画像が全体表示対象画像であるか否かの判定に、このような分割形式の変化が利用されてもよい。
【０２０３】
また、図２６の例では、ＣＭの画像が全体表示対象画像であると判定される。全体表示対象画像であるか否かの判定は、このような判定に限られない。例えば、緊急ニュースの画像、ドラマの画像、または、低解像度の画像などは、全体表示対象画像であると判定されてもよい。また、例えば、スポーツの画像、または、コンサートの画像などは、全体表示対象画像でないと判定されてもよい。
【０２０４】
また、全体表示対象画像であるか否かは、画像の作成者または提供者によって、自由に設定されてもよい。全体をユーザに見せるべき画像が全体表示対象画像と設定されることにより、画像の作成者または提供者の意図に沿って画像が表示される。
【０２０５】
また、上記では、選択範囲は、再生の開始時に指定される。しかし、選択範囲は、ユーザの操作、または、表示デバイスに応じて、再生の途中で変更されてもよい。その場合、新たに指定された選択範囲は、再度保存される。
【０２０６】
また、上記では、サーバ３００は、選択範囲が保存されていない場合、選択範囲を復号装置２００に要求する（Ｓ１４０３、Ｓ１４０４）。しかし、選択範囲が保存されていない場合、まず、画像の全体の範囲を選択範囲として用いて、再生が開始されてもよい。その後、ユーザから選択範囲の指示に応じて、選択範囲が変更されてもよい。また、デフォルトの選択範囲を用いて、再生が開始されてもよい。
【０２０７】
これにより、再生開始時の処理が削減される。また、画像の全体の表示、または、デフォルトの選択範囲が、ユーザの要望に沿っている場合、新たな選択範囲の指定が省略可能である。
【０２０８】
また、サーバ３００は、ユーザ毎に画像選択範囲を保存してもよい。例えば、サーバ３００は、ユーザＩＤ毎に選択範囲を保存する。そして、同じユーザによって同じ画像が再生される場合、サーバ３００は、ユーザに対応する選択範囲を呼び出すようにしてもよい。これにより、サーバ３００が複数のユーザによってアクセスされ、画像が再生される場合でも、各ユーザが過去に指定した選択範囲で画像の再生が開始される。したがって、ユーザの利便性が向上する。
【０２０９】
また、過去に指定した選択範囲は、画像に対して絶対座標で定められる範囲でもよいし、その他の基準で定められる範囲でもよい。例えば、アイドルグループのライブ映像などで一人のアイドルが選択された場合、そのアイドルが画像毎に表示される領域が選択範囲でもよい。
【０２１０】
また、ユーザ間で選択範囲が共有されてもよい。別のユーザによって指定された選択範囲を用いて再生が開始されてもよい。すなわち、ユーザ自身によって選択範囲が指定されなくても、別のユーザによって指定された選択範囲が使用されてもよい。これにより、別のユーザが選択した適切な選択範囲を手間無く利用することが可能である。
【０２１１】
例えば、画像処理システム１００は、ＳＮＳのアカウントなどの情報に基づいてユーザの趣味または経歴等を特定し、それに類似した趣味または経歴等を有する別ユーザによって指定された選択範囲をリコメンドしてもよい。
【０２１２】
また、上記では、サーバ３００において選択範囲が保存される。しかし、選択範囲は、サーバ３００とは別の装置において保存されてもよいし、復号装置２００において保存されてもよい。
【０２１３】
例えば、選択範囲が復号装置２００において保存されている場合、復号装置２００は、ユーザの操作に従って再生を開始する際に、保存されている選択範囲を呼び出して、サーバ３００へ選択範囲を送信してもよい。選択範囲が別の装置において保存されている場合、復号装置２００は、別の装置から選択範囲を読み出して、サーバ３００へ選択範囲を送信してもよい。あるいは、サーバ３００が、要求を受けた時に別の装置から選択範囲を読み出してもよい。
【０２１４】
ここでは、画像の再生が示されているが、画像の一部が表示される場合、画像の内容によって、復号装置２００は、その一部に関連する音声のみを復号してもよい。
【０２１５】
例えば、多くの人物が写された画像において個々の人物に個々のマイクが割り当てられ、選択範囲が特定の人物である場合、復号装置２００は、特定の人物に対応するマイクからの信号のみを復号してもよい。この場合、復号対象の音声も、画像が全体表示対象画像に切り替わった際には、画像の全体に対応づけられた全体の音声を復号するように、同時に切り替えられる。
【０２１６】
［結び］
実施の形態５に示された画像処理システムの特徴的な構成および特徴的な動作を以下に示す。
【０２１７】
図２９は、実施の形態５に係る画像処理システムの特徴的な構成を一例として示すブロック図である。図２９に示された画像処理システム１０００は、画像復号装置１１００および画像送信装置１２００を備える。画像復号装置１１００および画像送信装置１２００は、図３の復号装置２００およびサーバ３００に対応する。
【０２１８】
画像復号装置１１００は、選択部１１０１、送信部１１０２、要求部１１０３、受信部１１０４、復号部１１０５、表示制御部１１０６、表示装置１１０７、および、保存部１１１０を備える。特に、選択部１１０１、表示制御部１１０６、表示装置１１０７および保存部１１１０等は、画像復号装置１１００に含まれなくてもよい。例えば、これらは、別の装置に含まれてもよいし、画像処理システム１０００において用いられなくてもよい。
【０２１９】
選択部１１０１、要求部１１０３および復号部１１０５は、主に、図３の処理部２１０に対応する。送信部１１０２および受信部１１０４は、主に、図３の通信部２３０に対応する。表示制御部１１０６は、主に、図３の制御部２４０に対応する。表示装置１１０７は、主に、図３の表示部２５０に対応する。保存部１１１０は、主に、図３の記憶部２２０に対応する。
【０２２０】
画像送信装置１２００は、受信部１２０１、要求受付部１２０２、送信部１２０３および保存部１２１０を備える。特に、保存部１２１０は、画像送信装置１２００に含まれなくてもよい。例えば、保存部１２１０は、別の装置に含まれてもよいし、画像処理システム１０００において用いられなくてもよい。
【０２２１】
受信部１２０１および送信部１２０３は、主に、図３の通信部３３０に対応する。要求受付部１２０２は、主に、図３の処理部３１０に対応する。保存部１２１０は、主に、図３の記憶部３２０に対応する。
【０２２２】
図３０は、図２９に示された画像処理システム１０００の特徴的な動作の処理フローを一例として示す図である。画像処理システム１０００は、図３０に示された動作に従って、符号化された画像を処理する。
【０２２３】
また、画像処理システム１０００に含まれる画像復号装置１１００は、図３０に示された動作に従って、符号化された画像を画像送信装置１２００から受信して、画像送信装置１２００から受信された画像を復号する。また、画像処理システム１０００に含まれる画像送信装置１２００は、図３０に示された動作に従って、符号化された画像を画像復号装置１１００に送信する。
【０２２４】
具体的には、まず、画像復号装置１１００において、選択部１１０１は、ユーザの操作に従って、画像の全体の範囲うち、画像の一部の範囲を選択する（Ｓ１１０１）。例えば、選択部１１０１は、ユーザの入力を受け付け、受け付けた入力に従って、画像の一部の範囲を選択する。画像の一部の範囲が既に選択されている場合、この動作は省略されてもよい。
【０２２５】
選択部１１０１は、保存部１１１０を介して、画像復号装置１１００の各部に画像の一部の範囲を通知してもよい。保存部１１１０は、画像の一部の範囲を示す範囲情報を保存する。保存部１１１０は、画像復号装置１１００の内部の記憶部に範囲情報を保存してもよいし、画像復号装置１１００の外部の記憶部に範囲情報を保存してもよい。例えば、保存部１１１０は、送信部１１０２を介して、画像送信装置１２００に範囲情報を保存してもよい。
【０２２６】
次に、要求部１１０３は、画像送信装置１２００に画像の送信を要求する（Ｓ１１０２）。例えば、要求部１１０３は、送信部１１０２を介して、画像の送信を要求するための信号を画像送信装置１２００に送信する。
【０２２７】
次に、画像送信装置１２００において、要求受付部１２０２は、画像復号装置１１００から画像の送信の要求を受け付ける（Ｓ１２０１）。例えば、要求受付部１２０２は、受信部１２０１を介して、画像の送信を要求するための信号を画像復号装置１１００から受信する。
【０２２８】
次に、画像復号装置１１００において、送信部１１０２は、画像の一部の範囲を示す範囲情報を画像送信装置１２００に送信する（Ｓ１１０３）。より具体的には、範囲情報によって示される範囲は、選択部１１０１において、ユーザの操作に従って選択された範囲である。
【０２２９】
次に、画像送信装置１２００において、受信部１２０１は、範囲情報を画像復号装置１１００から受信する（Ｓ１２０２）。保存部１２１０は、受信部１２０１で受信された範囲情報を保存してもよい。また、保存部１２１０は、画像送信装置１２００の内部の記憶部に範囲情報を保存してもよいし、画像送信装置１２００の外部の記憶部に範囲情報を保存してもよい。
【０２３０】
次に、画像送信装置１２００において、送信部１２０３は、画像の一部の範囲が選択されている状態において、画像の全体または一部を画像復号装置１１００に送信する（Ｓ１２０３）。
【０２３１】
具体的には、送信部１２０３は、画像が第１種類に属する場合、画像の全体を画像復号装置１１００に送信する。また、送信部１２０３は、画像が第２種類に属する場合、画像の一部を画像復号装置１１００に送信する。より具体的には、送信部１２０３は、画像が第２種類に属する場合、画像に含まれる複数のタイルのうち、画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを送信する。
【０２３２】
例えば、第１種類は、全体表示が推奨される種類であり、第２種類は、全体表示が推奨されない種類である。また、例えば、第１種類はコマーシャルであり、第２種類はコマーシャルとは異なる。また、例えば、画像が第１種類に属するか第２種類に属するかを示すフラグが画像に付与されていてもよい。そして、送信部１２０３は、フラグに従って、画像の全体または一部を送信してもよい。
【０２３３】
面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルは、それぞれ、ＭＶ制限タイルに相当する。各タイルに対応する範囲は、タイル毎に定められる範囲であり、基本的には、各タイルの範囲である。
【０２３４】
次に、画像復号装置１１００において、受信部１１０４は、画像の一部の範囲が選択されている状態において、画像の全体または一部を画像送信装置１２００から受信する（Ｓ１１０４）。
【０２３５】
具体的には、受信部１１０４は、画像が第１種類に属する場合、画像の全体を画像送信装置１２００から受信する。また、受信部１１０４は、画像が第２種類に属する場合、画像の一部を画像送信装置１２００から受信する。より具体的には、受信部１１０４は、画像が第２種類に属する場合、画像に含まれる複数のタイルのうち、画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信する。
【０２３６】
例えば、画像が第１種類に属するか第２種類に属するかを示すフラグが画像に付与されており、受信部１１０４は、フラグに従って、画像の全体または一部を受信してもよい。
【０２３７】
次に、復号部１１０５は、受信部１１０４で画像送信装置１２００から受信された画像の全体または一部を復号する（Ｓ１１０５）。
【０２３８】
次に、表示制御部１１０６は、復号部１１０５で復号された画像の全体または一部を表示装置１１０７に表示する（Ｓ１１０６）。復号された画像の全体または一部がデータとして保存部１１１０に格納されてもよい。この場合、表示は省略されてもよい。
【０２３９】
これにより、画像送信装置１２００は、画像の種類に従って、画像の全体の送信と、画像の一部の送信とを切り替えることができる。また、画像復号装置１１００は、画像の種類に従って、画像の全体の復号と、画像の一部の復号とを切り替えることができる。したがって、画像送信装置１２００および画像復号装置１１００は、符号化された画像を効率的に処理することができる。
【０２４０】
また、例えば、上記の通り、範囲情報は、画像復号装置１１００または画像送信装置１２００等において保存されてもよい。そして、画像復号装置１１００の受信部１１０４は、保存されている範囲情報に従って、画像の一部を受信してもよい。そして、画像復号装置１１００の復号部１１０５は、保存されている範囲情報に従って受信された画像の一部を復号してもよい。そして、画像復号装置１１００の表示制御部１１０６は、保存されている範囲情報に従って受信され復号された画像の一部を表示してもよい。
【０２４１】
また、例えば、画像復号装置１１００の送信部１１０２は、範囲情報が保存されていない場合、範囲情報を画像送信装置１２００に送信し、範囲情報が保存されている場合、範囲情報を画像送信装置１２００に送信しなくてもよい。画像復号装置１１００の受信部１１０４は、範囲情報が保存されており、かつ、画像の一部を受信する場合、範囲情報が送信部１１０２によって画像送信装置１２００に送信されずに、保存されている範囲情報に従って、画像の一部を受信してもよい。
【０２４２】
また、例えば、表示制御部１１０６は、他の画像の全体を表示した後に画像の一部を表示する場合、保存されている範囲情報に従って受信され復号された画像の一部を表示してもよい。また、例えば、表示制御部１１０６は、画像の一部の表示を停止した後に画像の一部の表示を再開する場合、保存されている範囲情報に従って受信され復号された画像の一部を表示してもよい。
【０２４３】
また、例えば、表示制御部１１０６は、保存されている範囲情報に従って受信され復号された画像の一部を表示装置１１０７とは異なる他の表示装置に表示してもよい。
【０２４４】
（その他の変形例）
本発明に係る構成は、上記の複数の実施の形態に限定されない。本発明に係る構成は、以下に示される形態でもよい。
【０２４５】
（１）上記の各装置（画像復号装置および画像送信装置等のそれぞれ）は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムである。
【０２４６】
ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードを複数個組み合わせて構成される。
【０２４７】
（２）上記の各装置を構成する複数の構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどを含めて構成されるコンピュータシステムである。
【０２４８】
ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０２４９】
（３）上記の各装置を構成する複数の構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールで構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどで構成されるコンピュータシステムである。
【０２５０】
ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。ＩＣカードまたはモジュールは、耐タンパ性を有してもよい。
【０２５１】
（４）本発明に係る構成は、上記に示す方法でもよい。また、本発明に係る構成は、この方法をコンピュータにより実現するコンピュータプログラムでもよいし、コンピュータプログラムで構成されるデジタル信号でもよい。
【０２５２】
また、本発明に係る構成は、コンピュータプログラムまたはデジタル信号が記録されたコンピュータ読み取り可能な記録媒体でもよい。コンピュータ読み取り可能な記録媒体は、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、または、半導体メモリなどである。また、本発明に係る構成は、これらの記録媒体に記録されているデジタル信号でもよい。
【０２５３】
また、本発明に係る構成は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線通信回線、有線通信回線、インターネットに代表されるネットワーク、または、データ放送等を経由して伝送する構成でもよい。
【０２５４】
また、本発明に係る構成は、マイクロプロセッサとメモリを備えるコンピュータシステムでもよい。そして、メモリは、上記のコンピュータプログラムを記憶していてもよいし、マイクロプロセッサは、コンピュータプログラムに従って動作してもよい。
【０２５５】
また、プログラムまたはデジタル信号は、記録媒体に記録されて移送されてもよいし、ネットワーク等を経由して移送されてもよい。そして、本発明に係る構成は、独立した他のコンピュータシステムにより実施されてもよい。
【０２５６】
（５）上記の実施の形態では、画像復号方法、画像復号装置、画像送信方法、および、画像送信装置等が主に説明されている。もちろん、これらを可能にするビットストリームを生成するための画像符号化方法および画像符号化装置が用いられてもよい。画像符号化装置と画像送信装置とは同じ１つの装置であっても構わない。一部の処理を行う一部の装置または回路が別の国にあってもよい。全体として、本発明に係るシステムが構築されていれば、そのシステムは本発明の範囲に含まれる。
【０２５７】
（６）上記の実施の形態および上記の変形例が組み合わされてもよい。
【０２５８】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２５９】
言い換えると、画像復号装置および画像送信装置は、処理回路（Ｐｒｏｃｅｓｓｉｎｇ  Ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（Ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェアおよびプログラム実行部の少なくとも一方を含み、記憶装置を用いて処理を実行する。また、記憶装置は、処理回路がプロラグム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。
【０２６０】
ここで、上記各実施の形態の画像復号装置などを実現するソフトウェアは、次のようなプログラムである。
【０２６１】
すなわち、このプログラムは、コンピュータに、符号化された画像を画像送信装置から受信して、前記画像送信装置から受信された前記画像を復号する画像復号方法であって、前記画像送信装置に前記画像の送信を要求する要求ステップと、前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像送信装置に送信する送信ステップと、前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像送信装置から受信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを受信することにより、前記画像の一部を前記画像送信装置から受信する受信ステップと、前記受信ステップで前記画像送信装置から受信された前記画像の全体または一部を復号する復号ステップとを含む画像復号方法を実行させる。
【０２６２】
また、このプログラムは、コンピュータに、符号化された画像を画像復号装置に送信する画像送信方法であって、前記画像復号装置から前記画像の送信の要求を受け付ける要求受付ステップと、前記画像の全体の範囲のうち、前記画像の一部の範囲であって、ユーザの操作に従って選択された範囲を示す範囲情報を前記画像復号装置から受信する受信ステップと、前記画像の一部の範囲が選択されている状態において、（ｉ）前記画像が第１種類に属する場合、前記画像の全体を前記画像復号装置に送信し、（ｉｉ）前記画像が第２種類に属する場合、前記画像に含まれる複数のタイルのうち、前記画像の一部の範囲に対応する１以上のタイルであって、面間予測において各タイルに対応する範囲外への参照が禁止された１以上のタイルのみを送信することにより、前記画像の一部を前記画像復号装置に送信する送信ステップとを含む画像送信方法を実行させるプログラムでもよい。
【０２６３】
また、各構成要素は、上述の通り、回路であってもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路であってもよい。また、各構成要素は、汎用的なプロセッサで実現されてもよいし、専用のプロセッサで実現されてもよい。
【０２６４】
また、特定の構成要素が実行する処理を別の構成要素が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。また、画像処理装置が、画像復号装置および画像送信装置を備えていてもよい。
【０２６５】
また、上記に示された画像処理システム、画像送信装置、画像送信方法、画像復号装置、および、画像復号方法は、それぞれ、画像配信システム、画像配信装置、画像配信方法、画像受信装置、および、画像受信方法と表現されてもよい。
【０２６６】
以上、一つまたは複数の態様に係る画像復号装置および画像送信装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【０２６７】
（実施の形態６）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０２６８】
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【０２６９】
図３１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。
【０２７０】
このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。
【０２７１】
しかし、コンテンツ供給システムex１００は図３１のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０２７２】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０２７３】
コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
【０２７４】
なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０２７５】
また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。
【０２７６】
また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０２７７】
以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【０２７８】
なお、コンテンツ供給システムex１００の例に限らず、図３２に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
【０２７９】
また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【０２８０】
図３３は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。
【０２８１】
また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。
【０２８２】
まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０２８３】
また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【０２８４】
また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。
【０２８５】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図３４に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０２８６】
以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０２８７】
図３５に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
【０２８８】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０２８９】
また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図３３に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。
【０２９０】
図３６Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。
【０２９１】
さらに、携帯電話ex１１４の構成例について、図３６Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。
【０２９２】
電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。
【０２９３】
携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。
【０２９４】
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。
【０２９５】
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。
【０２９６】
多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。
【０２９７】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。
【０２９８】
また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
【０２９９】
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０３００】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０３０１】
（実施の形態７）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
【０３０２】
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
【０３０３】
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。
【０３０４】
図３７は、多重化データの構成を示す図である。図３７に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ  Ｄｉｇｉｔａｌ  Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。
【０３０５】
多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。
【０３０６】
図３８は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。
【０３０７】
図３９は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３９における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３９の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ  Ｐｒｅｓｅｎｔａｔｉｏｎ  ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
【０３０８】
図４０は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図４０下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。
【０３０９】
また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。
【０３１０】
図４１はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
【０３１１】
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
【０３１２】
多重化データ情報ファイルは、図４２に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
【０３１３】
多重化データ情報は図４２に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。
【０３１４】
ストリーム属性情報は図４３に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
【０３１５】
本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
【０３１６】
また、本実施の形態における動画像復号化方法のステップを図４４に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。
【０３１７】
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
【０３１８】
（実施の形態８）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４５に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０３１９】
例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ  Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。
【０３２０】
なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０３２１】
また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。
【０３２２】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３２３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。このようなプログラマブル・ロジック・デバイスは、典型的には、ソフトウェア又はファームウェアを構成するプログラムを、ロードする又はメモリ等から読み込むことで、上記各実施の形態で示した動画像符号化方法、又は動画像復号化方法を実行することができる。
【０３２４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３２５】
（実施の形態９）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
【０３２６】
この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図４６は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。
【０３２７】
より具体的には、駆動周波数切替え部ex８０３は、図４５のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図４５の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態７で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態７で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図４８のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
【０３２８】
図４７は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
【０３２９】
さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。
【０３３０】
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
【０３３１】
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
【０３３２】
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
【０３３３】
（実施の形態１０）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。
【０３３４】
この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４９Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、動き補償に特徴を有していることから、例えば、動き補償については専用の復号処理部ex９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、逆量子化のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
【０３３５】
また、処理を一部共有化する他の例を図４９Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。
【０３３６】
このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。
【産業上の利用可能性】
【０３３７】
本発明は、例えば、テレビジョン受像機、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ、コンテンツ配信サーバ、または、コンテンツ配信システム等に利用可能である。
【符号の説明】
【０３３８】
１００、１０００  画像処理システム
１１０  放送システム
２００、１１００  復号装置（画像復号装置）
２０１  エントロピー復号部
２０２  逆量子化部
２０３  逆変換部
２０４  ブロックメモリ
２０５  フレームメモリ
２０６、３０７  イントラ予測部
２０７  インター予測部
２１０、３１０  処理部
２２０、３２０  記憶部
２３０、３３０  通信部
２４０、３４０、４１０  制御部
２５０、４５０、６５０  表示部（モニタ）
３００、１２００  サーバ（画像送信装置）
３０１  減算部
３０２  変換量子化部
３０３  エントロピー符号化部
３０４  逆量子化逆変換部
３０５  加算部
３０６  デブロッキングフィルタ部
３０８  動き補償部
３０９  動き検出部
３１１  メモリ
４００  テレビ（受信機）
４０１  チューナ
４０２  変調／復調部
４０３  多重／分離部
４０４  音声信号処理部
４０５  映像信号処理部
４０９  出力部
４１１  電源回路部
４１２  操作入力部
４１３  ブリッジ
４１４  スロット部
４１５  ドライバ
４１６  モデム
４１７  インタフェース部
４２０  信号処理部
４３０、４３１、４３２  記録メディア
４３３、４３４、４３５、４３６  バッファ
４６０  セットトップボックス（ＳＴＢ）
４７０  リーダ／レコーダ
４８０  スピーカ
４９０  リモートコントローラ（リモコン）
５００  放送局
５０１  衛星
５０２  ケーブル
５０３、８０２  アンテナ
６００  再生装置
７００  携帯電話（スマートフォン）
８００  カーナビ（カーナビゲーション）
８０１  車
９００  ＬＳＩ
１１０１  選択部
１１０２、１２０３  送信部
１１０３  要求部
１１０４、１２０１  受信部
１１０５  復号部
１１０６  表示制御部
１１０７  表示装置
１１１０、１２１０  保存部
１２０２  要求受付部
【図１】
2015142376.tif 000003
【図２】
2015142376.tif 000004
【図３】
2015142376.tif 000005
【図４】
2015142376.tif 000006
【図５】
2015142376.tif 000007
【図６】
2015142376.tif 000008
【図７】
2015142376.tif 000009
【図８】
2015142376.tif 000010
【図９】
2015142376.tif 000011
【図１０】
2015142376.tif 000012
【図１１】
2015142376.tif 000013
【図１２】
2015142376.tif 000014
【図１３】
2015142376.tif 000015
【図１４】
2015142376.tif 000016
【図１５】
2015142376.tif 000017
【図１６】
2015142376.tif 000018
【図１７】
2015142376.tif 000019
【図１８】
2015142376.tif 000020
【図１９】
2015142376.tif 000021
【図２０】
2015142376.tif 000022
【図２１】
2015142376.tif 000023
【図２２】
2015142376.tif 000024
【図２３】
2015142376.tif 000025
【図２４】
2015142376.tif 000026
【図２５】
2015142376.tif 000027
【図２６】
2015142376.tif 000028
【図２７】
2015142376.tif 000029
【図２８】
2015142376.tif 000030
【図２９】
2015142376.tif 000031
【図３０】
2015142376.tif 000032
【図３１】
2015142376.tif 000033
【図３２】
2015142376.tif 000034
【図３３】
2015142376.tif 000035
【図３４】
2015142376.tif 000036
【図３５】
2015142376.tif 000037
【図３６Ａ】
2015142376.tif 000038
【図３６Ｂ】
2015142376.tif 000039
【図３７】
2015142376.tif 000040
【図３８】
2015142376.tif 000041
【図３９】
2015142376.tif 000042
【図４０】
2015142376.tif 000043
【図４１】
2015142376.tif 000044
【図４２】
2015142376.tif 000045
【図４３】
2015142376.tif 000046
【図４４】
2015142376.tif 000047
【図４５】
2015142376.tif 000048
【図４６】
2015142376.tif 000049
【図４７】
2015142376.tif 000050
【図４８】
2015142376.tif 000051
【図４９Ａ】
2015142376.tif 000052
【図４９Ｂ】
2015142376.tif 000053