(57)【要約】【課題】ユーザに対してより適切な情報を提供することができるようにする。【解決手段】本技術の情報処理装置は、画像から所定の特徴情報を抽出する抽出部と、前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部とを備える。本技術は、例えば、情報処理装置に適用することができる。【選択図】図１
2014052858.tif 000002
【特許請求の範囲】
【請求項１】
画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部と
を備える情報処理装置。
【請求項２】
前記特徴情報は、前記画像に含まれる人物の性別、年齢、伸張、肌色、髪型、および衣服のうち、少なくともいずれか１つを含む
請求項１に記載の情報処理装置。
【請求項３】
前記発注情報生成部は、前記特徴情報と、要求する出力情報に関する情報とを含む前記発注情報を生成する
請求項１に記載の情報処理装置。
【請求項４】
前記競争入札部は、入札された各出力情報の中から、入札条件が前記発注情報に対して最適なものを選択する
請求項１に記載の情報処理装置。
【請求項５】
前記競争入札部は、要求された出力情報の条件に合致し、かつ、前記特徴情報に対して最も適切な入札条件の出力情報を選択する
請求項４に記載の情報処理装置。
【請求項６】
他の装置から伝送される前記画像を取得する取得部をさらに備え、
前記抽出部は、前記取得部により取得された前記画像から所定の特徴情報を抽出する
請求項１に記載の情報処理装置。
【請求項７】
被写体を撮像する撮像部をさらに備え、
前記抽出部は、前記撮像部により撮像された前記被写体の画像から所定の特徴情報を抽出する
請求項１に記載の情報処理装置。
【請求項８】
前記出力部は、前記出力情報を画像として表示する
請求項１に記載の情報処理装置。
【請求項９】
前記出力部は、前記出力情報を他の装置に供給する
請求項１に記載の情報処理装置。
【請求項１０】
前記競争入札部により行われた前記競争入札の結果と、前記発注情報の前記特徴情報とともに記憶する競争入札結果記憶部をさらに備える
請求項１に記載の情報処理装置。
【請求項１１】
前記画像を符号化する符号化部と、
前記符号化部により前記画像が符号化された符号化データを記憶する符号化データ記憶部と
をさらに備える請求項１に記載の情報処理装置。
【請求項１２】
前記符号化部は、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化する
請求項１１に記載の情報処理装置。
【請求項１３】
前記符号化部により生成された前記符号化データを復号する復号部をさらに備える
請求項１１に記載の情報処理装置。
【請求項１４】
他の装置から供給される、前記画像が符号化された符号化データを取得する取得部と、
前記取得部により取得された前記符号化データを復号する復号部と
をさらに備え、
前記抽出部は、前記復号部により復号されて得られた前記画像から所定の特徴情報を抽出する
請求項１に記載の情報処理装置。
【請求項１５】
前記符号化データは、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化したものであり、
前記復号部は、前記符号化データを前記ラインブロック毎に復号する
請求項１４に記載の情報処理装置。
【請求項１６】
前記符号化データは、前記画像がウェーブレット変換され、エントロピ符号化されたものであり、
前記復号部は、
前記符号化データをエントロピ復号するエントロピ復号部と、
前記エントロピ復号部により前記符号化データがエントロピ復号されて得られたウェーブレット変換係数をウェーブレット逆変換するウェーブレット逆変換部と
を備える請求項１５に記載の情報処理装置。
【請求項１７】
前記符号化データは、前記画像がウェーブレット変換され、量子化され、エントロピ符号化されたものであり、
前記復号部は、前記エントロピ復号部により前記符号化データがエントロピ復号されて得られた、量子化されたウェーブレット変換係数を逆量子化する逆量子化部をさらに備え、
前記ウェーブレット逆変換部は、前記逆量子化部により逆量子化されて得られたウェーブレット変換係数をウェーブレット逆変換する
請求項１６に記載の情報処理装置。
【請求項１８】
情報処理装置の情報処理方法において、
前記情報処理装置が、
画像から所定の特徴情報を抽出し、
抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成し、
生成された前記発注情報に基づいて、前記競争入札を行い、
行われた前記競争入札により選択された出力情報を出力する
情報処理方法。
【請求項１９】
コンピュータを、
画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部と
して機能させるためのプログラム。
【請求項２０】
端末装置と情報提供装置とを備える情報処理システムであって、
前記端末装置は、
被写体を撮像する撮像部と、
前記撮像部により撮像されて得られた前記被写体の画像を、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に符号化する符号化部と、
前記符号化部により前記被写体の画像が符号化されて得られた符号化データを前記情報提供装置に供給する第１の供給部と、
前記情報提供装置により、前記第１の供給部により供給された前記符号化データを用いて選択され、供給された出力情報に関する情報を取得する第１の取得部と、
前記第１の取得部により取得された前記出力情報に関する情報に基づいて、前記出力情報を出力する出力部と
を備え、
前記情報提供装置は、
前記端末装置から供給される前記符号化データを取得する第１の取得部と、
前記第１の取得部により取得された前記符号化データを、前記ラインブロック毎に復号する復号部と、
前記復号部により前記符号化データが復号されて得られた前記被写体の画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報に関する情報を前記端末装置に供給する第２の供給部と
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、プログラム、並びに情報処理システムに関し、特に、ユーザに対してより適切な情報を提供することができるようにした情報処理装置および方法、プログラム、並びに情報処理システムに関する。
【背景技術】
【０００２】
現在の広告システムで代表的なものを以下説明する。例えば、最もよくあるケースとしてインターネットにユーザが出現した瞬間、ユーザの使っているブラウザのクッキー（Cookie）に保存されているそのユーザの情報（例えば、ユーザID、広告バナーの表示回数と最終日時、広告主サイトへの訪問回数と最終日時、推定した性別、年代、属性など）を抽出する。
【０００３】
Cookieの役割としては、例えば以下のようなものがある。
・訪問者がそのページに何回訪れたか記録して表示する。
・通常モード、フレームモードなど、訪問者の好みを記録しておき、次回訪問時にその好みのモードで表示する。
・掲示板やチャットで入力したユーザ名を記録しておき、次回訪問時にユーザ名の入力を省略する。
・ログインによるセッションを確立する。
【０００４】
Cookieを用いることにより、上記のようなデータを、クライアント側（ブラウザを起動する側）のハードディスク内にCookie情報と呼ばれるデータとして記録することができる。
【０００５】
従来、このようなCookieを利用してユーザの特徴に適した（有効な）広告を提供するシステムがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−６３４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような広告システムの場合、過去にユーザがインターネットを介して残したCookieの情報を利用することになるので、新規のユーザに対しては有効な広告を出すことができない恐れがあった。
【０００８】
本技術は、このような状況に鑑みて提案されたものであり、過去の履歴情報を持たないユーザに対してもより適切な情報を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本技術の一側面は、画像から所定の特徴情報を抽出する抽出部と、前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部とを備える情報処理装置である。
【００１０】
前記特徴情報は、前記画像に含まれる人物の性別、年齢、伸張、肌色、髪型、および衣服のうち、少なくともいずれか１つを含むことができる。
【００１１】
前記発注情報生成部は、前記特徴情報と、要求する出力情報に関する情報とを含む前記発注情報を生成することができる。
【００１２】
前記競争入札部は、入札された各出力情報の中から、入札条件が前記発注情報に対して最適なものを選択することができる。
【００１３】
前記競争入札部は、要求された出力情報の条件に合致し、かつ、前記特徴情報に対して最も適切な入札条件の出力情報を選択することができる。
【００１４】
他の装置から伝送される前記画像を取得する取得部をさらに備え、前記抽出部は、前記取得部により取得された前記画像から所定の特徴情報を抽出することができる。
【００１５】
被写体を撮像する撮像部をさらに備え、前記抽出部は、前記撮像部により撮像された前記被写体の画像から所定の特徴情報を抽出することができる。
【００１６】
前記出力部は、前記出力情報を画像として表示することができる。
【００１７】
前記出力部は、前記出力情報を他の装置に供給することができる。
【００１８】
前記競争入札部により行われた前記競争入札の結果と、前記発注情報の前記特徴情報とともに記憶する競争入札結果記憶部をさらに備えることができる。
【００１９】
前記画像を符号化する符号化部と、前記符号化部により前記画像が符号化された符号化データを記憶する符号化データ記憶部とをさらに備えることができる。
【００２０】
前記符号化部は、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化することができる。
【００２１】
前記符号化部により生成された前記符号化データを復号する復号部をさらに備えることができる。
【００２２】
他の装置から供給される、前記画像が符号化された符号化データを取得する取得部と、前記取得部により取得された前記符号化データを復号する復号部とをさらに備え、前記抽出部は、前記復号部により復号されて得られた前記画像から所定の特徴情報を抽出することができる。
【００２３】
前記符号化データは、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化したものであり、前記復号部は、前記符号化データを前記ラインブロック毎に復号することができる。
【００２４】
前記符号化データは、前記画像がウェーブレット変換され、エントロピ符号化されたものであり、前記復号部は、前記符号化データをエントロピ復号するエントロピ復号部と、前記エントロピ復号部により前記符号化データがエントロピ復号されて得られたウェーブレット変換係数をウェーブレット逆変換するウェーブレット逆変換部とを備えることができる。
【００２５】
前記符号化データは、前記画像がウェーブレット変換され、量子化され、エントロピ符号化されたものであり、前記復号部は、前記エントロピ復号部により前記符号化データがエントロピ復号されて得られた、量子化されたウェーブレット変換係数を逆量子化する逆量子化部をさらに備え、前記ウェーブレット逆変換部は、前記逆量子化部により逆量子化されて得られたウェーブレット変換係数をウェーブレット逆変換することができる。
【００２６】
本技術の一側面は、また、情報処理装置の情報処理方法において、前記情報処理装置が、画像から所定の特徴情報を抽出し、抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成し、生成された前記発注情報に基づいて、前記競争入札を行い、行われた前記競争入札により選択された出力情報を出力する情報処理方法である。
【００２７】
本技術の一側面は、さらに、コンピュータを、画像から所定の特徴情報を抽出する抽出部と、前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部として機能させるためのプログラムである。
【００２８】
本技術の他の側面は、端末装置と情報提供装置とを備える情報処理システムであって、前記端末装置は、被写体を撮像する撮像部と、前記撮像部により撮像されて得られた前記被写体の画像を、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に符号化する符号化部と、前記符号化部により前記被写体の画像が符号化されて得られた符号化データを前記情報提供装置に供給する第１の供給部と、前記情報提供装置により、前記第１の供給部により供給された前記符号化データを用いて選択され、供給された出力情報に関する情報を取得する第１の取得部と、前記第１の取得部により取得された前記出力情報に関する情報に基づいて、前記出力情報を出力する出力部とを備え、前記情報提供装置は、前記端末装置から供給される前記符号化データを取得する第１の取得部と、前記第１の取得部により取得された前記符号化データを、前記ラインブロック毎に復号する復号部と、前記復号部により前記符号化データが復号されて得られた前記被写体の画像から所定の特徴情報を抽出する抽出部と、前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、前記競争入札部により行われた前記競争入札により選択された出力情報に関する情報を前記端末装置に供給する第２の供給部とを備える情報処理システム。
【００２９】
本技術の一側面においては、画像から所定の特徴情報が抽出され、抽出された特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報が生成され、生成された発注情報に基づいて、競争入札が行われ、行われた競争入札により選択された出力情報が出力される。
【００３０】
本技術の他の側面においては、端末装置と情報提供装置とを備える情報処理システムの端末装置においては、被写体が撮像され、撮像されて得られた被写体の画像が、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に符号化され、被写体の画像が符号化されて得られた符号化データが情報提供装置に供給され、情報提供装置により、第１の供給部により供給された符号化データを用いて選択され、供給された出力情報に関する情報が取得され、取得された出力情報に関する情報に基づいて、出力情報が出力され、情報提供装置においては、端末装置から供給される符号化データが取得され、取得された符号化データが、ラインブロック毎に復号され、符号化データが復号されて得られた被写体の画像から所定の特徴情報が抽出され、抽出された特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報が生成され、生成された発注情報に基づいて、競争入札が行われ、競争入札により選択された出力情報に関する情報が端末装置に供給される。
【発明の効果】
【００３１】
本技術によれば、情報を提供することが出来る。特に、ユーザに対してより適切な情報を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】広告提供装置の主な構成例を示すブロック図である。
【図２】競争入札の様子の例を説明する図である。
【図３】広告提供処理の流れの例を説明するフローチャートである。
【図４】広告提供の具体的な例を説明する図である。
【図５】広告提供の具体的な例を説明する図である。
【図６】広告提供装置の主な構成例を示すブロック図である。
【図７】広告提供処理の流れの例を説明するフローチャートである。
【図８】広告提供装置の主な構成例を示すブロック図である。
【図９】広告提供処理の流れの例を説明するフローチャートである。
【図１０】広告提供装置の主な構成例を示すブロック図である。
【図１１】タイルの例を説明する図である。
【図１２】画像符号化部の一例の構成を示すブロック図である。
【図１３】ウェーブレット変換について概略的に説明するための略線図である。
【図１４】ウェーブレット変換について概略的に説明するための略線図である。
【図１５】5×3フィルタに対してリフティング技術を適用した場合のウェーブレット変換について概略的に説明するための略線図である。
【図１６】5×3フィルタに対してリフティング技術を適用した場合のウェーブレット逆変換について概略的に説明するための略線図である。
【図１７】5×3フィルタのリフティングによるフィルタリングを分解レベル＝2まで実行した例を示す略線図である。
【図１８】ウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。
【図１９】符号化処理の流れの例を説明するためのフローチャートである。
【図２０】画像復号部の一例の構成を示すブロック図である。
【図２１】復号処理の流れの例を説明するためのフローチャートである。
【図２２】広告提供システムにおいて行われる各処理の並列動作の例を概略的に示す略線図である。
【図２３】符号化データの授受の様子の例を説明する模式図である。
【図２４】広告提供処理の流れの例を説明するフローチャートである。
【図２５】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（広告提供装置）
２．第２の実施の形態（広告提供装置）
３．第３の実施の形態（広告提供システム）
４．第４の実施の形態（コンピュータ）
【００３４】
＜１．第１の実施の形態＞
［広告提供装置］
図１は、本技術を適用した情報処理装置の一実施の形態である広告提供装置の主な構成例を示すブロック図である。図１に示される広告提供装置１００は、ユーザ１０若しくはユーザ１０が操作する端末装置１１に対して、ユーザ１０に対して適切な出力情報を提供する情報処理装置の一例である。
【００３５】
ユーザ１０は、出力情報の提供を受ける者である。ユーザ１０は、１名であってもよいし、複数名（グループ）であってもよい。端末装置１１は、例えばパーソナルコンピュータやAV機器等の据置型コンピュータ、または、例えば携帯電話、スマートフォン、タブレット型端末等の携帯型コンピュータ等、少なくとも、被写体を撮像する撮像機能と、他の装置と通信を行う通信機能とを有するコンピュータである。
【００３６】
広告提供装置１００は、出力情報として例えば画像や音声等の広告を選択して提供する。もちろん、提供される出力情報は任意であり、ユーザ１０に対して適切な情報として選択された情報であれば、どのような情報であってもよい。例えば、移動経路や予定等の案内表示であってもよいし、ユーザ１０専用にカスタマイズされたユーザインタフェースであってもよい。また、例えば映画、音楽、Web等のコンテンツ（またはそれらを組み合わせたもの）であってもよい。なお、説明の便宜上、以下においては、画像よりなる広告を出力情報として説明する。
【００３７】
広告提供装置１００は、ユーザ１０に適した広告情報を、ユーザ１０の画像等に基づいて選択する。より具体的には、広告提供装置１００は、ユーザ１０の画像から、ユーザ１０の特徴を示す所定の特徴情報を抽出し、その特徴情報等を基に、ユーザ１０に適した広告を選択する。
【００３８】
広告提供装置１００は、その選択を、競争入札により行う。広告提供装置１００には、広告表示を希望する業者から、広告の入札が予め登録されている。各入札においては、表示させたい広告の画像に関する情報（広告情報）と入札条件が設定されている。この入札条件は任意である。例えば、広告の主な対象（ターゲット）となるユーザの特徴（ターゲット条件）を含む。例えば、この入札条件において、１画像に対して複数の入札条件（ターゲット条件）を設定することもできる。また、入札条件として、ターゲット条件以外の任意の情報が含まれるようにしても良い。例えば、入札金額（広告料金）を入札条件に含めても良い。例えば、ターゲット条件毎に入札金額を設定することもできる。また、表示可能な（若しくは推奨する）時刻（時間帯）等の条件を入札条件に含めても良い。以下においては、一例として、入札条件がターゲット条件と入札金額を含むものとして説明する。
【００３９】
広告提供装置１００は、ユーザ１０の特徴情報等に基づいて、ユーザ１０をターゲットとする入札群の中から最適な（この場合、最も入札金額の高い）ものを選択し、その入札に対応する広告情報を提供する。
【００４０】
このようにすることにより、広告提供装置１００は、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができる。
【００４１】
図１に示されるように、広告提供装置１００は、制御部１０１、画像取得部１１１、特徴抽出部１１２、SSP（Supply Side Platform）部１１３、DSP（Demand Side Platform）部１１４、広告出力部１１５、および課金処理部１１６を有する。
【００４２】
制御部１０１は、広告提供に関する制御処理を行う。例えば、制御部１０１は、画像取得部１１１を制御し、ユーザ１０の画像を取得させる（矢印１３１）。また、制御部１０１は、SSP部１１３に対して、要求する広告の仕様等に関する情報（要求する出力情報に関する情報）を供給し、広告の競争入札を発注させる（矢印１３４）。要求する広告の仕様等に関する情報は、例えば、画像や音声等といったデータの種類、データフォーマット、データサイズ、出力時間、不適切なジャンル等の内容に関する制限、または、その他各種条件等、要求する任意の条件に関する情報を含む。制御部１０１は、例えば、この要求する広告の仕様等に関する情報を、自ら生成し、SSP部１１３に供給する。また、制御部１０１は、例えば、この要求する広告の仕様等に関する情報を、端末装置１１等の広告表示を要求する他の装置から取得する。
【００４３】
画像取得部１１１は、例えば制御部１０１の制御に基づいて、ユーザ１０の画像を取得し、その画像データを特徴抽出部１１２に供給する（矢印１３２）。画像取得部１１１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）若しくはCCD（Charge Coupled Device）を用いたイメージセンサによって被写体を撮像する撮像部を有してもよい。その場合、画像取得部１１１は、撮像により得られたユーザ１０の画像の画像データを特徴抽出部１１２に供給する。また、画像取得部１１１は、例えば、端末装置１１等の他の装置と通信を行い、他の装置から供給されるユーザ１０の画像データを取得する通信インタフェース（若しくは入力端子）であってもよい。その場合、画像取得部１１１は、他の装置から供給されたユーザ１０の画像の画像データを特徴抽出部１１２に供給する。
【００４４】
特徴抽出部１１２は、画像取得部１１１から供給された画像データ（ユーザ１０の画像）に対して、所定の画像認識技術や分析技術を用いたデジタル画像処理を行い、被写体（ユーザ１０）の特徴を示す所定の特徴情報を抽出する。このデジタル画像処理の内容（画像認識技術や分析技術）は任意である。また、この特徴情報の内容は任意である。例えば、特徴情報が、被写体の性別、年齢、肌色、髪型、若しくは衣服の特徴、または、これらのうち複数の組み合わせを含むようにしてもよい。もちろん、特徴情報が、上述した例以外の特徴を含むようにしてもよい。特徴抽出部１１２は、抽出した特徴情報をSSP部１１３に供給する（矢印１３３）。
【００４５】
SSP（Supply Side Platform）部１１３は、特徴抽出部１１２から供給される特徴情報と、制御部１０１から供給される、要求する広告の仕様等に関する情報とを用いて、広告情報を選択するための競争入札を発注する発注情報を生成する。つまり、例えば、発注情報には、特徴情報、および、要求する広告の仕様等に関する情報が含まれる。SSP部１１３は、生成した発注情報をDSP部１１４に供給し、要求する広告についての競争入札を発注する（矢印１３５）。
【００４６】
なお、SSPは、オンライン広告において、媒体社（メディア）の広告枠の販売や広告収益の最大化などを支援するツールのことである。より具体的には、SSPは、個別ユーザがインターネットに出現する度に、最適な広告を自動的に選択し、収益性の向上を図る、といった仕組みを提供するものである。具体的にどのような方式により広告を選択するかはサービス毎に決定される事項である。その方法の一例として、例えば、リアルタイム入札（RTB（Real-time Bidding））がある。
【００４７】
SSP部１１３は、また、DSP部１１４（後述する広告配信部１２３）から供給された競争入札結果（例えば、選択された広告情報や、その広告の入札条件等の情報を含む入札情報等）を取得する（矢印１３８）。SSP部１１３は、その広告情報や入札情報を広告出力部１１５に供給する（矢印１３９）。
【００４８】
さらに、このような競争入札を用いた広告配信サービスについて課金処理を行う場合、SSP部１１３は、入札結果等の、課金処理に必要な情報を課金処理部１１６に供給する（矢印１４０）。
【００４９】
DSP（Demand Side Platform）部１１４は、SSP部１１３からの発注について競争入札を行う。DSP部１１４は、例えば、選択された広告に関する情報や入札条件等、競争入札の結果に関する情報を、競争入札の発注元であるSSP部１１３に供給する（矢印１３５）。DSPは、広告主側を支援するツールである。具体的には、ユーザ属性などに基づいた最適な広告枠の選定、あるいは、過去の成果を反映することで行われる配信条件の最適化、といった機能を提供する。
【００５０】
図１にある様に、DSP部１１４は、RTB部１２１、データベース１２２、および広告配信部１２３を有する。
【００５１】
RTB部１２１は、SSP部１１３から供給される発注情報に含まれる各種条件を満たす入札を、データベース２０２に予め記憶されている入札の中から検索する。例えば、RTB部１２１は、データベース２０２に予め記憶されている入札の中から、要求された広告の仕様等に適合し、かつ、ユーザ１０の特徴をターゲットとする広告の入札を検索する（矢印１３６）。RTB部１２１は、その検索結果の中から、最も適切な（条件の良い）入札を選択する。例えば、RTB部１２１は、入札金額が最も高い入札を選択する。
【００５２】
RTBは、オンライン広告の仕組みの１つである。RTBでは、広告の機会が発生する度に広告枠の競争入札を行い、配信する広告を決定する。リアルタイム入札では、入札希望者は予め、ターゲットとなるユーザー属性、広告の掲載基準、掲載面、入札価格等を設定しておく。そして、ある掲載面で広告の機会が発生した場合、その媒体・掲載面・ユーザ属性等の条件に合致する購入者（広告主）の入札を募り、最も高く入札した購入者の広告を配信する。
【００５３】
入札リクエストを送信してから最終的に実際の広告が表示される迄の時間は、リアルタイムと言える程に非常に短い（例えば150msec）。従って、SSP部１１３およびDSP部１１４間のデータのやり取りやDSP業者の選定は、すべてコンピュータでプログラミングされおり、人手を介することは無い。
【００５４】
RTB部１２１は、選択した入札の広告に関する情報である広告情報と、入札結果や入札条件等に関する情報（入札情報）を、広告配信部１２３に供給する（矢印１３７）。
【００５５】
広告配信部１２３は、RTB部１２１から供給された広告情報や入札情報等を、競争入札結果として、SSP部１１３に供給する（矢印１３８）。
【００５６】
なお、競争入札に用いられたユーザ１０の特徴情報は、今回選定されたDSP事業者の情報と一緒に、データベース１２２に保存されるようにしてもよい。これによって、次回このユーザが出現した際には、選定されたDSP事業者を優先して広告の候補に出す等のサービスが可能になる。
【００５７】
広告出力部１１５は、SSP部１１３から供給される広告情報を出力する。例えば、広告出力部１１５が、画像を表示するモニタを有し、SSP部１１３から供給される広告情報に対応する広告の画像を含む画像をそのモニタに表示するようにしてもよい。また、例えば、広告出力部１１５が、音声を出力するスピーカを有し、SSP部１１３から供給される広告情報に対応する広告の音声を含む音声をそのスピーカから出力させるようにしてもよい。
【００５８】
さらに、例えば、広告出力部１１５が、他の装置と通信を行う通信インタフェース（若しくは出力端子）を有し、その通信インタフェース（若しくは出力端子）を介して、SSP部１１３から供給される広告情報を他の装置に供給し、他の装置のモニタにその広告情報に対応する広告の画像を含む画像を表示させたり、他の装置のスピーカにその広告情報に対応する広告の音声を含む音声をそのスピーカから出力させたりするようにしてもよい。なお、他の装置は、端末装置１１であっても良いし、端末装置１１以外の装置であってもよい。
【００５９】
もちろん、広告出力部１１５が、上述した以外の方法で広告を出力するようにしてもよいし、複数の方法で広告を出力するようにしてもよい。
【００６０】
課金処理部１１６は、SSP部１１３から必要な情報を取得し、その情報に基づいて、競争入札を用いた広告配信サービスに関する課金処理を行う。例えば、広告提供装置１００の運用者が、ユーザ１０に広告を提供する広告提供者と同一である場合、課金処理部１１６は、入札した事業者に対して、入札金額の徴収等の、入札結果に応じた課金処理を行う。また、例えば、広告提供装置１００の運用者が、ユーザ１０に広告を提供する広告提供者と異なる場合、課金処理部１１６は、ユーザ１０に広告を提供する広告提供者に対して、競争入札を用いた広告配信サービスの利用料等の課金処理を行う。この場合、入札金額の徴収等の、入札した事業者に対する入札結果に応じた課金処理は、基本的に、ユーザ１０に広告を提供する広告提供者が行う。もちろん、課金処理部１１６が代理で行うようにしても良い。
【００６１】
［競争入札］
上記のSSPとDSPとの関係を具体的に示したものを図２に示す。ここで行われる動作の流れは以下の通りである。
１．インターネットのサイトXにID=123というユーザ１０が出現する。
２．ID=123の個人情報がサイトＸのブラウザから、SSP事業者に送出される。
３．SSP事業者は、予め登録されているDSP事業者（競争入札に参加する者）の中から、ID=123のユーザの情報を見て、このユーザに適したDSP業者を選定する（図ではDSP事業者１乃至DSP事業者３）。
４．SSP事業者は、各DSP事業者に対して、広告オークション（競争入札）を提示する。
５．DSP事業者１乃至DSP事業者３の中で、最も高い価格の入札価格を提示しているDSP事業者（図ではDSP事業者３）を選定する。
６．選定されたDSP事業者３の表示広告（実際はHTMLタグ）を、サイトXに送信する。
７．ID=123のユーザは、自らのブラウザで６．の表示広告を見て、気に入った場合にはこれをクリックする。
【００６２】
上記３．の動作としては、SSP部１１３は、例えばユーザが女性で年齢が２０歳周辺と画像認識した結果の特徴情報をDSP部１１４のRTB部１２１に供給する。RTB部１２１は、この特徴情報を基にして、２０歳代の女性が興味を持ちそうなサイトの情報を提供するDSP事業者を選定する。そして、RTB部１２１は、これらのDSP事業者の中から、最高額のオークション額を提示したDSP事業者を選定する。
【００６３】
応用例としては、顔画像から疲労度が激しいと認識された場合、疲労回復に寄与する栄養ドリンク剤やビタミンサプリメント等の広告サイトを選定することが考えられる。また、瞼の開閉のインターバルをカウントして、一定時間以上瞼が閉じたままであると認識した際には、居眠りをしていると判断して、その特徴情報（居眠り中）を参考にして、眠気を覚ます映像広告や眠気を飛ばすためのガムやドリンク剤の広告等を表示するようにしてもよい。
【００６４】
［広告提供処理の流れ］
図３のフローチャートを参照して、図１の広告提供装置１００による広告提供処理の流れの例を説明する。
【００６５】
制御部１０１は、予め定められた所定のタイミングにおいて、若しくは、発生した所定のイベントに応じて、広告提供処理を開始する。
【００６６】
広告提供処理が開始されると、画像取得部１１１は、ステップＳ１０１において、制御部１０１の制御に基づいて、ユーザ１０の画像を取得する。
【００６７】
ステップＳ１０２において、特徴抽出部１１２は、ステップＳ１０１において取得された画像から、被写体であるユーザ１０の特徴を抽出する。
【００６８】
ステップＳ１０３において、SSP部１１３は、ステップＳ１０２の処理により得られたユーザ１０の特徴情報、および、制御部１０１から取得した、要求する広告の仕様等に関する情報を用いて、要求する広告についての競争入札を発注する発注情報を生成する。SSP部１１３は、その生成した発注情報を用いて、競争入札を発注する。
【００６９】
ステップＳ１０４において、DSP部１１４のRTB部１２１は、競争入札を行い、ユーザ１０に対して最も適切な広告を選択する。広告配信部１２３は、選択された広告の広告情報や入札情報を競争入札結果としてSSP部１１３に供給する。
【００７０】
ステップＳ１０５において、データベース１２２は、選択した広告に関する情報を、対応する特徴情報とともに記憶する。
【００７１】
ステップＳ１０６において、広告出力部１１５は、選択された広告情報をSSP部１１３から取得し、その広告情報に対応する広告を出力する。例えば、広告出力部１１５は、SSP部１１３から取得した広告情報に対応する広告の画像（若しくはその広告の画像を含む画像）をモニタに表示する。
【００７２】
ステップＳ１０７において、課金処理部１１６は、SSP部１１３から供給された情報に基づいて課金処理を行う。
【００７３】
ステップＳ１０７の処理が終了すると、広告提供処理が終了する。
【００７４】
以上のように、広告提供処理を実行することにより、広告提供装置１００は、ユーザの画像の特徴に基づいて広告を選択することができるので、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができる。
【００７５】
次に、以上のような広告提供装置１００の具体的な適用例について説明する。
【００７６】
［ユースケース１］
図４は、広告提供装置１００をWebサービスに利用した例を説明する図である。図４に示されるようなWebページを提供するWebサービスにおいて、図１の広告提供装置１００は、広告提供サーバ１５４として適用することができる。
【００７７】
例えば、ユーザ１０が操作する端末装置１１が撮像装置１５１を有するとする。また、端末装置１１には、予め、WEBサイト１５３が提供するユーザ画像提供アプリケーション１５２がインストールされているものとする。
【００７８】
ユーザが端末装置１１を操作し、図示せぬブラウザ等でWEBサイト１５３にアクセスするとする。その際、ユーザ画像提供アプリケーション１５２は、ブラウザ等により起動され、撮像装置１５１を制御してユーザ１０を撮像し、得られたユーザ画像をWebページ表示要求とともに、インターネット等のネットワーク（図示せず）を介して、WEBサイト１５３のWEBサーバ（図示せず）に供給する。
【００７９】
WEBサイト１５３は、要求されたWebページを動的に生成する。その際、WEBサイト１５３は、ユーザ１０に対する広告をWebページに掲載する。その掲載する広告をユーザ１０に対してより適切な（より有用な）ものとするために、WEBサイト１５３は、広告提供サーバ１５４にその広告を選択させる。つまり、WEBサイト１５３は、広告の競争入札を要求する広告競争入札要求を、インターネット等のネットワーク（図示せず）を介して、広告提供サーバ１５４に供給する。また、WEBサイト１５３は、ユーザ画像も、インターネット等のネットワーク（図示せず）を介して、広告提供サーバ１５４に供給する。
【００８０】
広告競争入札要求には、上述した要求する広告の仕様等に関する情報が含まれる。広告提供サーバ１５４（広告提供装置１００）の制御部１０１は、その広告競争入札要求を取得すると、画像取得部１１１を制御し、WEBサイト１５３から供給されるユーザ画像を取得させる。
【００８１】
広告提供サーバ１５４は、上述したようにユーザ画像の特徴に基づいて競争入札を行い、ユーザ１０に対してより適切な（より有用な）広告を選択する。広告提供サーバ１５４は、広告情報と入札情報を競争入札結果として、インターネット等のネットワーク（図示せず）を介して、WEBサイト１５３に供給する。
【００８２】
WEBサイト１５３は、供給された広告情報を用いて、広告付きWebページを生成し、それを、インターネット等のネットワーク（図示せず）を介して、端末装置１１に供給する。端末装置１１は、供給された広告付きWebページの画像をモニタに表示する。
【００８３】
以上のようにして、ユーザ１０がWEBサイト１５３にアクセスすると、ユーザ１０に適した広告が表示された所望のWebページを端末装置１１に表示させることができる。
【００８４】
なお、端末装置１１がユーザ画像をWEBサイト１５３に提供するタイミングは、任意であり、Webページ表示要求よりも前であってもよい。しかしながら、このユーザ画像の提供タイミングを、最初にWEBサイト１５３にアクセスしたときのWebページ表示要求と同時若しくは略同時とすることにより、WEBサイト１５３は、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができる。
【００８５】
また、ユーザ画像提供アプリケーション１５２は、WEBサイト１５３の提供物でなくてもよい。また、ユーザ画像提供アプリケーション１５２の画像提供先もWEBサイト１５３に限定されない。例えば、ユーザ画像提供アプリケーション１５２は、広告提供サーバ１５４が提供したものとし、ユーザ画像提供アプリケーション１５２が、広告提供サーバ１５４にユーザ画像を提供するようにしてもよい。その場合、例えば、ユーザ画像提供アプリケーション１５２が、広告提供サーバ１５４の制御に従って、撮像装置１５１にユーザ１０を撮像させるようにしてもよい。このようにすることにより、例えば、広告提供サーバ１５４は、自身が契約している業者が運営する複数のWEBサイトについて、WEBサイト１５３に対するサービスと同様のサービスを提供することができる。
【００８６】
［ユースケース２］
図５は、広告提供装置１００を、デジタルサイネージを用いた広告掲示サービスに利用した例を説明する図である。
【００８７】
近年、デジタルサイネージという公衆での電子看板が、急速に普及しつつある。デジタルサイネージとは、一般に野外や店頭、交通機関等、一般家庭以外の場所において、ディスプレイ等の電子表示装置を使って情報を発信するものである。
【００８８】
デジタルサイネージを公衆向けの広告として使った場合、以下の利点がある。
・ネットワークを使った表示内容の操作が可能である。
・リアルタイムにタイムリーな情報への更新、また配信の停止ができる。
・印刷、設置、交換の手間がかからない。
・動画の表示が可能である。
・１つの設置場所に複数のクライアント（広告）の募集ができる。
・注目度が高い。
【００８９】
これまでの広告ディスプレイでは、予め表示するコンテンツが決まっており、それらのコンテンツを所定の時間間隔毎に表示するのが一般的であった。これに対して、図５のデジタルサイネージ１６１は、通行人１６０がその近傍において立ち止まった際、その通行人１６０に対してより適切な（より有用な）広告を含む画像を、動的に生成し、モニタ１７３に表示する。
【００９０】
そのために、デジタルサイネージ１６１は、モニタ１７３近傍に設置された撮像装置１７１によって、その通行人１６０を撮像する。得られた通行人１６０の画像情報は、通信部１７２に供給される。
【００９１】
通信部１７２は、表示する広告を通行人１６０に対してより適切な（より有用な）ものとするために、広告提供サーバ１６２にその広告を選択させる。この広告提供サーバ１６２として、図１の広告提供装置を適用する。つまり、通信部１７２は、広告の競争入札を要求する広告競争入札要求を、インターネット等のネットワーク（図示せず）を介して、広告提供サーバ１６２に供給する。また、通信部１７２は、撮像装置１７１により得られた通行人１６０の画像情報も、インターネット等のネットワーク（図示せず）を介して、広告提供サーバ１６２に供給する。
【００９２】
広告競争入札要求には、上述した要求する広告の仕様等に関する情報が含まれる。広告提供サーバ１６２（広告提供装置１００）の制御部１０１は、その広告競争入札要求を取得すると、画像取得部１１１を制御し、デジタルサイネージ１６１から供給される画像情報を取得させる。
【００９３】
広告提供サーバ１６２は、上述したように画像情報の特徴に基づいて競争入札を行い、通行人１６０に対してより適切な（より有用な）広告を選択する。広告提供サーバ１６２は、広告情報を競争入札結果として、インターネット等のネットワーク（図示せず）を介して、通信部１７２に供給する。
【００９４】
通信部１７２は、取得した広告情報をモニタ１７３に供給し、その広告情報の広告を含む画像をモニタ１７３に表示させる。
【００９５】
以上のようにして、上述した本技術を適用することにより、通行人１６０デジタルサイネージ１６１の近傍に位置すると、その通行人１６０に適した広告が表示デジタルサイネージ１６１のモニタ１７３に表示させるサービスを実現することができる。
【００９６】
なお、広告提供サーバ１６２は、選択された広告に関する入札情報をデジタルサイネージ１６１の運営業者１６３に供給するようにしてもよい。広告掲載料金の徴収等は、運営業者１６３が行うようにしてもよい。
【００９７】
なお、以上のサービスにおいて、広告提供サーバ１６２は、リアルタイム入札により広告を選択するので、通行人に対して、より適切な広告を、より低遅延に提示することができる。したがって、通行人１６０が、デジタルサイネージ１６１の近傍で立ち止まらず、デジタルサイネージ１６１近傍（例えばモニタ１７３の前）を通り過ぎる場合であっても、その通り過ぎる間に、通行人１６０により適した広告を即座にモニタ１７３に表示させることができる。
【００９８】
なお、競争入札により選択される広告（若しくはDSP業者）を１つとして説明したが、競争入札により選択される広告（若しくはDSP業者）は、複数であってもよい。例えば、広告提供サーバ１６２が、候補の中から、入札金額の多い順に複数の広告を選択するようにしてもよい。
【００９９】
その場合、例えば、１画面内に複数の小ウィンドウを表示し、各広告が、互いに異なる小ウェインドウに表示されるようにしてもよい。このように複数の広告を同時に提示することにより、例えば、ユーザがその複数の広告の中から自分の気に入ったものをタッチして、見ることができる。
【０１００】
なお、広告提供サーバ１６２が、画像情報の特徴以外の情報に基づいて、広告を選択することができるようにしてもよい。例えば、駅の商店などの公衆が多く集まる場所に設置されている場合において、人の混雑度を認識し、非常に混雑度が激しいときは、ストレスを和らげる広告を提供するDSP業者を選定するようにしてもよい。
【０１０１】
＜２．第２の実施の形態＞
［広告提供装置］
特徴を抽出する画像を保存するようにしてもよい。その際、その画像を圧縮して保存するようにしてもよい。
【０１０２】
図６は、その場合の広告提供装置の主な構成例を示すブロック図である。図６に示される広告提供装置２００は、基本的に図１の広告提供装置１００と同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、広告提供装置２００は、画像符号化部２１１をさらに有する。
【０１０３】
広告提供装置２００の場合、画像取得部１１１は、ユーザ１０の画像の画像データを、さらに、画像符号化部２１１に供給する（矢印１３２）。
【０１０４】
画像符号化部２１１は、供給された画像データを符号化し、符号化データを生成する。この画像符号化の方法は、容量を低減することができるものであれば任意である。画像符号化部２１１は、画像データより生成した、画像データより容量が低減された符号化データをデータベース１２２に供給し、記憶させる（矢印２３１）。
【０１０５】
データベース１２２は、供給された符号化データを、例えば、その符号化データ（画像データ）に対応する特徴情報や入札結果に関する情報等と関連付けて記憶する。この符号化データは、例えば、広告選択の際に特徴情報とともに利用されるようにしてもよい。例えば、ターゲットが適合する広告の検索の際に、特徴情報に基づく検索だけでなく、画像の類似度等による検索が行われるようにしてもよい。もちろん、データベース１２２に記憶された符号化データは、それ以外の任意の用途に利用されるようにしてもよい。
【０１０６】
上述したように、画像符号化部２１１による画像符号化の方法は任意であるが、この符号化は、競争入札の間に符号化が終了するのが望ましい。このようにすることにより、例えば、特徴情報等をデータベース１２２に格納する際に、生成された符号化データも関連付けて格納することができるようになる。つまり、この符号化は、より低遅延に行われることが望ましい。
【０１０７】
動画像圧縮で著名なMPEG（Moving Picture Experts Group）-2やH.264では、圧縮率を向上させるために、近傍のフレームを予測の対象としている。そのため遅延時間が大きくなる（通常500msec程度）。従って、例えば、リアルタイムの広告提供サービスで必要とされる最大150msecの範囲には収まらない。
【０１０８】
撮像画像は通常、最上位ラインから順番にライン毎に出力されるが、エンコーダに画像の最上位ラインが入力した時刻をT1、エンコーダから最初の符号化データが出力された時刻をT2とすると、遅延時間＝T2-T1である。
【０１０９】
低遅延を実現するエンコーダとしては、例えばJPEG2000やJPEGのような1ピクチャ単位にエンコードを行う方式や、1ピクチャを更に再分割して矩形ブロック単位にエンコードすることで、更に遅延時間を短縮する方式等がある。
【０１１０】
上述したようなリアルタイムの広告提供サービスの遅延時間は、通常のインターネットの場合、例えば100msec乃至120msec程度が想定される。そのため、画像符号化部２１１の符号化方式には、より低遅延な符号化方式を採用するのが望ましい。例えば、第３の実施の形態において後述するような低遅延な符号化方法を適用するようにしてもよい。
【０１１１】
なお、ユーザの画像を最初の1ピクチャだけでなく、後続の動画像を複数ピクチャとして連続してエンコードする場合、同様に特徴情報等と関連付けて、ピクチャ単位にデータベース１２２に記憶させるようにすれば良い。
【０１１２】
［広告提供処理の流れ］
次に、図７のフローチャートを参照して、図６の広告提供装置２００による広告提供処理の流れの例を説明する。
【０１１３】
制御部１０１は、予め定められた所定のタイミングにおいて、若しくは、発生した所定のイベントに応じて、広告提供処理を開始する。
【０１１４】
広告提供処理が開始されると、画像取得部１１１は、ステップＳ２０１において、制御部１０１の制御に基づいて、ユーザ１０の画像を取得する。
【０１１５】
ステップＳ２０２において、画像符号化部２１１は、ステップＳ２０１において取得された画像データを符号化する。
【０１１６】
ステップＳ２０３乃至ステップＳ２０５の各処理は、図３のステップＳ１０２乃至ステップＳ１０４の各処理と同様に実行される。
【０１１７】
ステップＳ２０６において、データベース１２２は、選択した広告に関する情報を、対応する特徴情報や、ステップＳ２０２において生成された符号化データとともに記憶する。
【０１１８】
ステップＳ２０７およびステップＳ２０８の各処理は、図３のステップＳ１０６およびステップＳ１０７の各処理と同様に実行される。
【０１１９】
ステップＳ２０８の処理が終了すると、広告提供処理が終了する。
【０１２０】
以上のように、広告提供処理を実行することにより、広告提供装置２００は、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができるとともに、容量の増大を抑制しながら画像データを記憶することができる。
【０１２１】
［広告提供装置］
さらに符号化データを復号することができるようにしてもよい。
【０１２２】
図８は、その場合の広告提供装置の主な構成例を示すブロック図である。図８に示される広告提供装置２５０は、基本的に図６の広告提供装置２００と同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、広告提供装置２５０は、画像復号部２５１をさらに有する。
【０１２３】
広告提供装置２００の場合、画像符号化部２１１は、符号化データを、さらに、画像復号部２５１に供給する（矢印２３１）。
【０１２４】
画像復号部２５１は、供給された符号化データを画像符号化部２１１の符号化方式に対応する復号方法で復号し、復元画像データを生成する。画像復号部２５１は、その復元画像データを外部に出力する（矢印２８１）。出力された画像データは、例えば、図示せぬ外部のモニタ等に供給され、その画像が表示される。
【０１２５】
この画像復号部２５１も、画像符号化部２１１の場合と同様に、低遅延で符号化データを復号するのが望ましい。デコーダの場合、最初の符号化データを受信した時間をT3、最初の画像単位を出力開始した時間をT4とした時、デコーダの遅延時間＝T4-T3である。
【０１２６】
［広告提供処理の流れ］
次に、図９のフローチャートを参照して、図８の広告提供装置２５０による広告提供処理の流れの例を説明する。
【０１２７】
制御部１０１は、予め定められた所定のタイミングにおいて、若しくは、発生した所定のイベントに応じて、広告提供処理を開始する。
【０１２８】
広告提供処理が開始されると、ステップＳ２５１乃至ステップＳ２５７の各処理が、図７のステップＳ２０１乃至ステップＳ２０７の各処理と同様に実行される。
【０１２９】
ステップＳ２５８において、画像復号部２５１は、ステップＳ２５２の処理により得られた符号化データを復号する。
【０１３０】
ステップＳ２５９において、画像復号部２５１は、ステップＳ２５８の処理により得られた復号画像データを外部に出力する。
【０１３１】
ステップＳ２６０の処理は、図７のステップＳ２０８の処理と同様に実行される。
【０１３２】
ステップＳ２６０の処理が終了すると、広告提供処理が終了する。
【０１３３】
以上のように、広告提供処理を実行することにより、広告提供装置２５０は、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができる。さらに、広告提供装置２５０は、容量の増大を抑制しながら画像データを記憶することができる。さらに、広告提供装置２５０は、復号画像を出力することができる。
【０１３４】
＜３．第３の実施の形態＞
［広告提供システム］
以上においては、広告提供装置自身がユーザ１０を撮像してユーザ１０の画像データを得るか、端末装置１１において得られたユーザ１０の画像データを圧縮せずに（生データのまま）、広告提供装置に伝送するように説明したが、画像データの取得方法は、これに限らない。
【０１３５】
例えば、端末装置１１において得られたユーザ１０の画像データを圧縮し、符号化データとして広告提供装置に伝送するようにしてもよい。
【０１３６】
図１０は、その場合の広告提供システムの主な構成例を示すブロック図である。図１０に示される広告提供システム３００は、端末装置３０１および広告提供装置３０２を有し、広告提供装置３０２から端末装置３０１に対して広告を提供するシステムである。
【０１３７】
端末装置３０１は、上述した端末装置１１と基本的に同様の装置であり、ユーザ１０により操作される。広告提供装置３０２は、上述した広告提供装置１００等と基本的に同様の装置であり、端末装置３０１からの要求に基づいて、ユーザ１０により適した（より有用な）広告を端末装置３０１（ユーザ１０）に提供する。
【０１３８】
つまり、広告提供システム３００は、基本的に、図１の広告提供装置１００や端末装置１１を用いたシステムと基本的に同様であるが、広告提供システム３００の場合、端末装置３０１は、ユーザ１０の画像データを符号化し、符号化データとして広告提供装置３０２に供給する。広告提供装置３０２は、供給された符号化データを復号して利用する。
【０１３９】
このようにすることにより、画像データ伝送のために使用する帯域幅を低減させることができる。
【０１４０】
図１０に示されるように、端末装置３０１は、撮像部３１１、画像符号化部３１２、通信部３１３、および表示部３１４を有する。
【０１４１】
撮像部３１１は、CMOSやCCDを用いたイメージセンサを有し、例えば端末装置３０１を操作するユーザ１０を撮像する。撮像部３１１は、撮像して得られた画像データを画像符号化部３１２に供給する（矢印３２１）。
【０１４２】
画像符号化部３１２は、供給された画像データを符号化し、符号化データを生成する。この画像符号化の方法は、容量を低減することができるものであれば任意である。画像符号化部３１２は、画像データより生成した、画像データより容量が低減された符号化データを通信部３１３に供給し、記憶させる（矢印３２２）。
【０１４３】
通信部３１３は、所定の通信方式の通信インタフェースであり、例えばインターネット等のネットワークを介して、広告提供装置３０２の制御部１０１、画像取得部１１１、および広告出力部１１５等と通信を行う。
【０１４４】
例えば、通信部３１３は、表示する広告をユーザ１０に対してより適切な（より有用な）ものとするために、広告提供サーバ１６２にその広告を選択させるように、広告の競争入札を要求する広告競争入札要求を、インターネット等のネットワーク（図示せず）を介して、広告提供装置３０２の制御部１０１に供給する（矢印３２３）。
【０１４５】
また、例えば、通信部３１３は、広告競争入札に利用することができるように、画像符号化部３１２から供給された符号化データを、インターネット等のネットワーク（図示せず）を介して、広告提供装置３０２の画像取得部１１１に供給する（矢印３２４）。
【０１４６】
さらに、例えば、通信部３１３は、以上のような要求に対する応答として、広告提供装置３０２広告出力部１１５からインターネット等のネットワーク（図示せず）を介して供給される、広告情報を含む競争入札結果を取得する（矢印３２５）。通信部３１３は、取得した広告情報等を表示部３１４に供給する（矢印３２６）。
【０１４７】
表示部３１４は、供給された広告情報の広告を含む画像を表示する（ユーザ１０に提示する）。
【０１４８】
これに対して、広告提供装置３０２は、基本的に、図１の広告提供装置と同様の構成を有し、同様の処理を行う。ただし、広告提供装置３０２は、画像復号部３３１を有する。
【０１４９】
制御部１０１は、端末装置３０１の通信部３１３から供給された広告の競争入札を要求する広告競争入札要求を取得すると、その広告競争入札要求に基づいて、画像取得部１１１を制御し、画像を取得させる（矢印１３１）。また、制御部１０１は、広告競争入札要求に含まれる要求する広告の仕様等に関する情報（要求する出力情報に関する情報）をSSP部１１３に供給し、広告の競争入札を発注させる（矢印１３４）。
【０１５０】
画像取得部１１１は、制御部１０１の制御に基づいて、端末装置３０１の通信部３１３から供給された符号化データ（ユーザ１０の画像データを符号化したもの）を取得し、その符号化データを画像復号部３３１に供給する（矢印３４１）。
【０１５１】
画像復号部３３１は、供給された符号化データを、その符号化方式（つまり、画像符号化部３１２が行った符号化の符号化方式）に対応する復号方式によって復号し、復号画像データを得る。画像復号部３３１は、得られた復号画像データを特徴抽出部１１２に供給する（矢印３４２）。
【０１５２】
特徴抽出部１１２、SSP部１１３、DSP部１１４、および課金処理部１１６は、広告提供装置１００（図１）の場合と同様に各処理を実行する。
【０１５３】
広告出力部１１５は、SSP部１１３から供給される広告情報を、インターネット等のネットワーク（図示せず）を介して、端末装置３０１の通信部３１３に供給する（矢印３２５）。
【０１５４】
以上のように、端末装置３０１は、ユーザ１０の画像データを符号化した符号化データを用いて、ユーザ１０に提示する広告を、広告提供装置３０２に要求する。この要求に対して、広告提供装置３０２は、ユーザ１０の画像の特徴等に基づいて適切な広告を選択し、リアルタイムに競争入札を行い、最も条件の良い広告を選択し、提供する。端末装置３０１は、広告提供装置３０２より提供された広告をユーザに提示する。このようにすることにより、広告提供システムは、ユーザに対してより適切な情報を提供することができる。
【０１５５】
以上のような広告提供サービスを低遅延に実現するために、端末装置３０１および広告提供装置３０２間の画像データ（符号化データ）の伝送をより低遅延に行うことが望ましい。すなわち、画像符号化部３１２による符号化と、画像復号部３３１による復号をより低遅延に行うことが望ましい。
【０１５６】
低遅延を実現するエンコーダとしては、例えばJPEG2000やJPEGのような1ピクチャ単位にエンコードを行う方式や、１ピクチャを更に再分割して矩形ブロック単位にエンコードすることで、更に遅延時間を短縮する方式も提案されている。例えば、画面を複数個のタイル（矩形のブロック）に分割して、タイル毎にエンコードを行う方法がよく知られている。
【０１５７】
図１１は一般的なタイル符号化を示した図で、画像を6個のタイルに分割している。エンコードの対象画像サイズは、H×（V/6）である。画像符号化部３１２が、この画像（各タイル）に対して、JPEGまたはJPEG2000のような国際標準方式のエンコードを行うようにする。この場合、画像復号部３３１もタイル毎にデコードを行う。この場合、タイル分割の分だけ遅延時間を低減することができる。この方式の利点としては、Nの数を大きくすることでタイルサイズが小さくなるので、遅延時間が更に短縮されることである。
【０１５８】
その他の低遅延な符号化・復号方法の例としては、特許第4900720号や特許第4888729号等において提案された符号化・復号方法がある。この符号化方法の場合、画像の数十ラインの遅延時間で最初の符号化データ（ビットストリーム）を出力することができる。従って、フルHDTV（High Definition Television）と呼ばれる動画入力の場合（1920×1080＠60I；水平画素1920画素、垂直ライン数1080ライン、秒60フィールド）には、実際の遅延時間は10msec以下になる。上記のライン数はウェーブレット変換のフィルタのタップ数に依存し、JPEG2000の非可逆エンコード用に使われている9×7フィルタの場合には遅延時間が長く、可逆用の5×3フィルタの場合には短くなる。
【０１５９】
［低遅延符号化・復号］
この低遅延な符号化・復号方式について、より具体的に説明する。
【０１６０】
図１２は、低遅延な符号化を行う画像符号化部の一例の構成を示す図である。図１２に示されるように、この場合、画像符号化部３１２は、ウェーブレット変換部４１０、途中計算用バッファ部４１１、係数並び替え用バッファ部４１２、係数並び替え部４１３、レート制御部４１４、およびエントロピ符号化部４１５からなる。
【０１６１】
画像取得部１１１から供給された画像データ（入力画像データ）は、途中計算用バッファ部４１１に一時的に溜め込まれる。ウェーブレット変換部４１０は、途中計算用バッファ部４１１に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部４１０は、途中計算用バッファ部４１１から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部４１１に格納する。ウェーブレット変換部４１０は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部４１０は、途中計算用バッファ部４１１に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部４１１に格納される。
【０１６２】
ウェーブレット変換部４１０は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部４１１から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部４１２に書き込む。
【０１６３】
係数並び替え部４１３は、係数並び替え用バッファ部４１２に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部４１５に供給する。エントロピ符号化部４１５は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。
【０１６４】
エントロピ符号化部４１５は、レート制御部４１４と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部４１４は、エントロピ符号化部４１５からの符号化データ情報に基づき、エントロピ符号化部４１５により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号化部４１５による符号化処理を終了するように制御する制御信号を、エントロピ符号化部４１５に対して供給する。エントロピ符号化部４１５は、レート制御部４１４から供給される制御信号に応じて符号化処理が終了した時点で、符号化データを出力する。
【０１６５】
ウェーブレット変換部４１０で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図１３に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。
【０１６６】
なお、図１３は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割レベル＝３とした場合の例である。図１３において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の分割レベルを示す。
【０１６７】
また、図１３の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図１３の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域3HHとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域0LLとされる。
【０１６８】
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図１４Ａに一例が示される分割レベル＝１の状態から、図１４Ｂに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図１４Ｂに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図１３におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。
【０１６９】
ウェーブレット変換部４１０は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、ディジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
【０１７０】
次に、この符号化方式におけるウェーブレット変換の具体的な例として、5×3フィルタを用いた方法について説明する。この5×3フィルタを用いた方法は、従来技術で既に説明したJPEG2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
【０１７１】
5×3フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタH0（z）と、高域フィルタH1（z）とから構成される。式（１）および式（２）から、低域フィルタH0（z）は、５タップで、高域フィルタH1（z）は、３タップであることが分かる。
【０１７２】
H0（z）＝(-1+2z-1+6z-2+2z-3-z-4)/8    ・・・（１）
H1（z）＝(-1+2z-1-z-2)/2            ・・・（２）
【０１７３】
これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。図１５を用いて、5×3フィルタに対してリフティング技術を適用した場合の、ウェーブレット変換を行う分析フィルタ側の処理について、概略的に説明する。
【０１７４】
図１５において、最上段部、中段部および最下段部は、それぞれ入力画像の画素列、高域成分出力および低域成分出力を示す。最上段は、入力画像の画素列に限らず、先のフィルタ処理で得られた係数でもよい。ここでは、最上段部が入力画像で画素列であるものとし、四角印（■）が偶数番目（最初を０番目とする）の画素またはライン、丸印（●）が奇数番目の画素またはラインとする。
【０１７５】
先ず第１段階として、次式（３）により入力画素列から高域成分の係数di1を生成する。
di1＝di0-1/2(si0+si+10)      ・・・（３）
【０１７６】
次に第２段階として、この生成された高域成分の係数と、入力画像の奇数番目の画素とを用いて、次式（4）により低域成分の係数si1を生成する。
si1＝si0+1/4(di-11＋di1）      ・・・（４）
【０１７７】
分析フィルタ側では、このようにして、フィルタリング処理により入力画像の画素データを低域成分と高域成分とに分解する。
【０１７８】
図１６を用いて、ウェーブレット変換により生成された係数を復元するウェーブレット逆変換を行う合成フィルタ側の処理について、概略的に説明する。この図１６は、上述の図１５と対応し、5×3フィルタを用い、リフティング技術を適用した例を示す。図１６において、最上段部は、ウェーブレット変換により生成された入力係数を示し、丸印（●）が高域成分の係数、四角印（■）が低域成分の係数をそれぞれ示す。
【０１７９】
先ず第１段階として、次式（５）に従い、入力された低域成分および高域成分の係数から、偶数番目（最初を０番目とする）の係数si0が生成される。
si0＝si1-1/4(di-11＋di1)      ・・・（５）
【０１８０】
次に第２段階として、次式（６）に従い、上述の第１段階で生成された偶数番目の係数si0と、入力された高域成分の係数di1とから、奇数番目の係数di0が生成される。
di0＝di1+1/2(si0＋si+10)      ・・・（６）
【０１８１】
合成フィルタ側では、このようにして、フィルタリング処理により低域成分および高域成分の係数を合成し、ウェーブレット逆変換を行う。
【０１８２】
次に、ウェーブレット変換方法について説明する。図１７は、図１５を用いて説明した5×3フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示す。なお、図１７において、図の左側に分析フィルタとして示される部分は、画像符号化部３１２側におけるウェーブレット変換部４１０のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述する画像復号部３３１側におけるウェーブレット逆変換部のフィルタである。
【０１８３】
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。
【０１８４】
図１７において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部４１０におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。
【０１８５】
分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図１７における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図１２で説明した係数並び替え用バッファ部４１２に格納される。また、算出された低域成分の係数データは、途中計算用バッファ部４１１に格納される。
【０１８６】
図１７においては、係数並び替え用バッファ部４１２は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部４１１は、点線で囲まれた部分として示す。
【０１８７】
途中計算用バッファ部４１１に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、図１２で説明した係数並び替え用バッファ部４１２に格納される。
【０１８８】
ウェーブレット変換部４１０では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部４１１に格納する。次に、途中計算用バッファ部４１１に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域HHおよび領域HLと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域LHおよび領域LLとの４領域が形成される。
【０１８９】
そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域LLがさらに４分割され、領域LL内にさらに領域HH、領域HL、領域LHおよび領域LLが形成される。
【０１９０】
この符号化方式では、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図１７の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。
【０１９１】
なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの1ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、ラインブロック（またはプレシンクト）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、ラインブロック（プレシンクト）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。
【０１９２】
図１７によれば、分解レベル＝２のフィルタ処理結果で得られる係数C5は、係数C4および途中計算用バッファ部４１１に格納された係数Caに基づき算出され、係数C4は、途中計算用バッファ部４１１に格納された係数Ca、係数Cbおよび係数Ccに基づき算出される。さらに、係数Ccは、係数並び替え用バッファ部４１２に格納される係数C2および係数C3、並びに、第５ラインの画素データに基づき算出される。また、係数C3は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数C5を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。
【０１９３】
これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部４１２に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。
【０１９４】
すなわち、図１７によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数C5の次の係数である係数C9は、係数C4および係数C8、並びに、途中計算用バッファ部４１１に格納された係数Ccに基づき算出される。係数C4は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部４１２に格納されている。同様に、係数Ccは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部４１１に格納されている。したがって、この２回目のフィルタ処理においては、係数C8を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。
【０１９５】
このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部４１１および係数並び替え用バッファ部４１２に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。
【０１９６】
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定に複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。
【０１９７】
詳細は後述するが、本技術では、このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（ラインブロック単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。
【０１９８】
ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部４１１に対応し、図１７においては点線で囲まれて示されている。また、第２のバッファは、係数並び替え用バッファ部４１２に対応し、図１７においては一点鎖線に囲まれて示されている。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。
【０１９９】
係数並び替え部４１３の処理について説明する。上述したように、ウェーブレット変換部４１０で算出された係数データは、係数並び替え用バッファ部４１２に格納され、係数並び替え部４１３により順序を並び替えられて読み出され、エントロピ符号化部４１５に送出される。
【０２００】
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図１７の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数C1、係数C2および係数C3が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数C4および係数C5が順次生成される。すなわち、第１回目では、係数C1、係数C2、係数C3、係数C4、係数C5の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。
【０２０１】
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。
【０２０２】
図１７の例を用いて、より具体的に説明する。図１７の右側は、ウェーブレット逆変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（ウェーブレット逆変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数C4および係数C5と、係数C1とを用いて行われる。
【０２０３】
すなわち、１回目の合成処理においては、係数C5、係数C4、係数C1の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数C5および係数C4に対して合成処理を行って係数Cfを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Cfと係数C1に対して合成処理を行って、第１ラインを出力する。
【０２０４】
このように、第１回目の合成処理においては、符号化側で係数C1、係数C2、係数C3、係数C4、係数C5の順に生成され係数並び替え用バッファ部４１２に格納された係数データが、係数C5、係数C4、係数C1、・・・の順に並び替えられて復号側に供給される。
【０２０５】
なお、図１７の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数C1（５）は、図１７の左側の分析フィルタ側では係数C5であって、合成フィルタ側では第１ライン目であることを示す。
【０２０６】
符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図１７の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数C8および係数C9を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数C2および係数C3がさらに必要とされ、第２ライン乃至第５ラインが復号される。
【０２０７】
すなわち、２回目の合成処理においては、係数C9、係数C8、係数C2、係数C3の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数C8および係数C9と、１回目の合成処理の際に符号化側から供給された係数C4とを用いて係数Cgを生成し、バッファに格納する。この係数Cgと、上述の係数C4と、１回目の合成処理により生成されバッファに格納された係数Cfとを用いて係数Chを生成し、バッファに格納する。
【０２０８】
そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Cgおよび係数Chと、符号化側から供給された係数C2（合成フィルタでは係数C6（2）と示されている）および係数C3（合成フィルタでは係数C7（3）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。
【０２０９】
このように、第２回目の合成処理においては、符号化側で係数C2、係数C3、（係数C4、係数C5）、係数C6、係数C7、係数C8、係数C9の順に生成された係数データが、係数C9、係数C8、係数C2、係数C3、・・・の順に並び替えられて復号側に供給される。
【０２１０】
３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部４１２に格納された係数データが所定に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。
【０２１１】
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図１７の例では、最後の回に８ラインが出力される。
【０２１２】
なお、係数並び替え部４１３による係数データの並び替え処理は、例えば、係数並び替え用バッファ部４１２に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。
【０２１３】
図１８を用いて、上述までの処理をより具体的に説明する。図１８は、5×3フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部４１０において、図１８Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図１８ＡのIn-1）。
【０２１４】
１回目のフィルタ処理の分解レベル＝１の処理において、係数C1、係数C2、および係数C3の３ライン分の係数データが生成され、図１８Ｂに一例が示されるように、分解レベル＝１で形成される領域HH、領域HLおよび領域LHのそれぞれに配置される（図１８ＢのWT-1）。
【０２１５】
また、分解レベル＝１で形成される領域LLは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数C5および係数C4は、分解レベル＝１による領域LL内において、領域LLに係数C5による１ラインが配置され、領域HH、領域HLおよび領域LHのそれぞれに、係数C4による１ラインが配置される。
【０２１６】
ウェーブレット変換部４１０による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図１８ＡのIn-2・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図１８ＢのWT-2）、分解レベル＝２で１ラインずつの係数データが生成される。
【０２１７】
図１７の２回目の例では、分解レベル＝１のフィルタ処理で係数C6および係数C7の２ライン分の係数データが生成され、図１８Ｂに一例が示されるように、分解レベル１で形成される領域HH、領域HLおよび領域LHの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域LL内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数C9が領域LLに配置され、1ライン分の係数C8が領域HH、領域HLおよび領域LHにそれぞれ配置される。
【０２１８】
図１８Ｂのようにウェーブレット変換されたデータを復号した際には、図１８Ｃに一例が示されるように、符号化側の第１ライン乃至第7ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図１８ＣのOut-1）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図１８ＣのOut-2・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。
【０２１９】
ウェーブレット変換部４１０で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部４１２に順次格納される。係数並び替え部４１３は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部４１２に係数データが蓄積されると、係数並び替え用バッファ部４１２から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部４１５に順次、供給される。
【０２２０】
エントロピ符号化部４１５は、供給された係数データに対して、レート制御部４１４から供給される制御信号に基づき出力データのビットレートが目標ビットレートになるように符号化動作を制御して、エントロピ符号化を施す。エントロピ符号化された符号化データは、復号側に供給される。符号化方式としては、既知の技術であるハフマン符号化や算術符号化などが考えられる。勿論、これらに限らず、可逆的な符号化処理が可能であれば、他の符号化方式を用いてもよい。
【０２２１】
なお、エントロピ符号化部４１５が、係数並び替え部４１３から読み出された係数データに対して、最初に量子化を行い、得られた量子化係数に対してハフマン符号化や算術符号化等の情報源符号化処理を施すようにすれば、さらに圧縮効果の向上を期待することができる。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手法、つまり、以下の式（７）に示されるような、係数データＷを量子化ステップサイズΔで除算する手法を用いれば良い。
【０２２２】
量子化係数＝Ｗ／Δ  ・・・（７）
【０２２３】
図１７および図１８を用いて説明したように、この場合、ウェーブレット変換部４１０は、画像データの複数ライン毎（ラインブロック毎）にウェーブレット変換する。エントロピ符号化部４１５では符号化された符号化データは、このラインブロック毎に出力される。すなわち、上述の、5×3フィルタを用い、分解レベル＝２まで処理を行った場合には、１画面のデータの出力において、最初が１ライン、２回目以降最後の回の前までが４ラインずつ、最後の回が８ラインの出力が得られる。
【０２２４】
なお、係数並び替え部４１３で並び替えられた後の係数データをエントロピ符号化する場合、例えば図１７で示した１回目のフィルタ処理では、最初の係数C5のラインをエントロピ符号化する際には、未だ過去のラインすなわち既に係数データが生成されたラインが存在していない。したがって、この場合には、この１ラインだけをエントロピ符号化する。これに対して、係数C1のラインを符号化する際には、係数C5および係数C4のラインが過去のラインとなっている。これら近接する複数ラインは、似たデータで構成されていることが考えられるので、これら複数ラインを纏めてエントロピ符号化することは、有効である。
【０２２５】
また、上述では、ウェーブレット変換部４１０において、5×3フィルタを用いてウェーブレット変換によるフィルタ処理を行う例について説明したが、これはこの例に限られない。例えば、ウェーブレット変換部４１０は、9×7フィルタといった、さらにタップ数の長いフィルタを用いることができる。この場合、フィルタのタップ数が長ければ、フィルタに蓄積されるライン数も多くなるので、画像データの入力から符号化データの出力までの遅延時間が長くなることになる。
【０２２６】
また、上述では、説明のためウェーブレット変換の分解レベルを分解レベル＝２としたが、これはこの例に限られず、さらに分解レベルを上げることができる。分解レベルを上げるほど、より高圧縮率を実現することができる。例えば、一般的には、ウェーブレット変換においては、分解レベル＝4までフィルタ処理が繰り返される。なお、分解レベルが上がれば、遅延時間も増大することになる。
【０２２７】
したがって、広告提供システム３００に要求される遅延時間や復号画像の画質などに応じて、フィルタのタップ数や、分解レベルを決めることが好ましい。このフィルタのタップ数や、分解レベルは、固定値とせずに、適応的に選択するようにもできる。
【０２２８】
次に、以上のような画像符号化部３１２による符号化処理全体の具体的な流れの例を図１９のフローチャートを参照して説明する。
【０２２９】
符号化処理が開始されると、ウェーブレット変換部４１０は、ステップＳ３０１において、処理対象ラインブロックの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部４１０は、ステップＳ３０２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１ラインブロック）の画像データを取得し、その画像データに対して、ステップＳ３０３において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップＳ３０４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。
【０２３０】
ステップＳ３０５においてウェーブレット変換部４１０は、分析フィルタリング処理を最終レベルまで行ったか否かを判定し、分解レベルが最終レベルに達していないと判定した場合、処理をステップＳ３０３に戻し、現在の分解レベルに対して、ステップＳ３０３およびステップＳ３０４の分析フィルタリング処理を繰り返す。
【０２３１】
ステップＳ３０５において、分析フィルタリング処理が最終レベルまで行われたと判定した場合、ウェーブレット変換部４１０は、処理をステップＳ３０６に進める。
【０２３２】
ステップＳ３０６において、係数並び替え部４１３は、ラインブロックＡ（ピクチャ（インタレース方式の場合フィールド）の上からＡ番目のラインブロック）の係数を低域から高域の順番に並び替える。エントロピ符号化部４１５は、ステップＳ３０７において、その係数に対してライン毎にエントロピ符号化する。エントロピ符号化が終了すると、エントロピ符号化部４１５は、ステップＳ３０８においてラインブロックＡの符号化データを外部に送出する。
【０２３３】
ウェーブレット変換部４１０は、ステップＳ３０９において番号Ａの値を「１」インクリメントして次のラインブロックを処理対象とし、ステップＳ３１０において、処理対象のピクチャ（インタレース方式の場合フィールド）について、未処理の画像入力ラインが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ３０２に戻し、新たな処理対象のラインブロックに対してそれ以降の処理を繰り返す。
【０２３４】
以上のようにステップＳ３０２乃至ステップＳ３１０の処理が繰り返し実行され、各ラインブロックが符号化される。そして、ステップＳ３１０において、未処理の画像入力ラインが存在しないと判定した場合、ウェーブレット変換部４１０は、そのピクチャに対する符号化処理を終了する。次のピクチャに対しては新たに符号化処理が開始される。
【０２３５】
従来のウェーブレット変換の方法の場合、まず、水平分析フィルタリング処理をピクチャ（インタレース方式の場合フィールド）全体に対して行い、次に垂直分析フィルタリング処理をそのピクチャ全体に対して行う。そして得られた低域成分全体に対して同様の水平分析フィルタリング処理と垂直分析フィルタリング処理を順に行う。以上のように、分解レベルが最終レベルに達するまで、分析フィルタリング処理が再帰的に繰り返される。従って、各分析フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、ピクチャ（インタレース方式の場合フィールド）全体、若しくは、その時点の分解レベルの低域成分全体のフィルタリング結果を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。
【０２３６】
また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット変換が終了しないと、後段の係数並び替えやエントロピ符号化を行うことができず、遅延時間が増大する。
【０２３７】
これに対して、画像符号化部３１２のウェーブレット変換部４１０の場合、上述したようにラインブロック単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をラインブロック単位で行うことができる）。従って、従来の方法と比較して遅延時間を大幅に低減させることができる。
【０２３８】
図２０は、画像復号部３３１の一例の構成を示す。画像符号化部３１２のエントロピ符号化部４１５から出力された符号化データ（図１２の符号化データ出力）は、図２０の画像復号部３３１のエントロピ復号部４２１に供給され（図２０の符号化データ入力）、エントロピ符号を復号され、係数データとされる。係数データは、係数バッファ部４２２に格納される。ウェーブレット逆変換部４２３は、係数バッファ部４２２に格納された係数データを用いて、例えば図１６および図１７を用いて説明したようにして合成フィルタによる合成フィルタ処理を行い、合成フィルタ処理の結果を再び係数バッファ部４２２に格納する。ウェーブレット逆変換部４２３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得る。
【０２３９】
次に、以上のような画像復号部３３１による復号処理全体の具体的な流れの例を図２１のフローチャートを参照して説明する。
【０２４０】
復号処理が開始されると、エントロピ復号部４２１は、ステップＳ３３１において、符号化データを取得し、ステップＳ３３２において、ライン毎に符号化データをエントロピ復号する。ステップＳ３３３において、係数バッファ部４２２は、その復号されて得られた係数を保持する。ステップＳ３３４においてウェーブレット逆変換部４２３は、係数バッファ部４２２に１ラインブロック分の係数が蓄積されたか否かを判定し、蓄積されていないと判定した場合、処理をステップＳ３３１に戻し、それ以降の処理を実行させ、係数バッファ部４２２に１ラインブロック分の係数が蓄積されるまで待機する。
【０２４１】
ステップＳ３３４において係数バッファ部４２２に１ラインブロック分の係数が蓄積されたと判定した場合、ウェーブレット逆変換部４２３は、処理をステップＳ３３５に進め、係数バッファ部４２２に保持されている係数を１ラインブロック分読み出す。
【０２４２】
そしてその読み出した係数に対して、ウェーブレット逆変換部４２３は、ステップＳ３３６において、画面垂直方向に並ぶ係数に対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップＳ３３７において、画面水平方向に並ぶ係数に対して合成フィルタリング処理を行う水平合成フィルタリング処理を行い、ステップＳ３３８において、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定し、レベル１まで達していないと判定した場合、処理をステップＳ３３６に戻し、ステップＳ３３６およびステップＳ３３７のフィルタリング処理を繰り返す。
【０２４３】
ステップＳ３３８において、レベル１まで逆変換処理が終了したと判定した場合、ウェーブレット逆変換部４２３は、処理をステップＳ３３９に進め、逆変換処理により得られた画像データを外部に出力する。
【０２４４】
ステップＳ３４０において、エントロピ復号部４２１は、復号処理を終了するか否かを判定し、符号化データの入力が継続しており、復号処理を終了しないと判定した場合、処理をステップＳ３３１に戻し、それ以降の処理を繰り返す。また、ステップＳ３４０において、符号化データの入力が終了するなどして復号処理を終了すると判定した場合、エントロピ復号部４２１は、復号処理を終了する。
【０２４５】
従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。
【０２４６】
また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。
【０２４７】
これに対して、画像復号部３３１のウェーブレット逆変換部４２３の場合、上述したようにラインブロック単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（ラインブロック単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。
【０２４８】
なお、画像符号化部３１２および画像復号部３３１の各要素の動作（図１９の符号化処理や図２１の復号処理）は、例えば図示されないCPU(Central Processing Unit)により、所定のプログラムに従い制御される。プログラムは、例えば図示されないROM(Read Only Memory)に予め記憶される。これに限らず、画像符号化装置や画像復号装置を構成する各要素間でタイミング信号や制御信号を互いにやりとりして、全体として動作させることも可能である。また、画像符号化装置や画像復号装置は、コンピュータ装置上で動作するソフトウェアで実現することも可能である。
【０２４９】
図２２は、この画像符号化部３１２および画像復号部３３１の各要素の一例の並列動作を概略的に示す図である。この図２２は、上述した図１８と対応するものである。画像データの入力In-1（図２２Ａ）に対して、エントロピ符号化部４１５で１回目のウェーブレット変換WT-1が施される（図２２Ｂ）。図１７を参照し説明したように、この１回目のウェーブレット変換WT-1は、最初の３ラインが入力された時点で開始され、係数C1が生成される。すなわち、画像データIn-1の入力からウェーブレット変換WT-1が開始されるまで、３ライン分の遅延が生じる。
【０２５０】
生成された係数データは、係数並び替え用バッファ部４１２に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換WT-2に処理が移行する。
【０２５１】
２回目のウェーブレット変換WT-2のための画像データIn-2の入力と、当該２回目のウェーブレット変換WT-2の処理と並列的に、係数並び替え部４１３により３個の、係数C1、係数C4、および係数C5の並び替えOrd-1が実行される（図２２Ｃ）。
【０２５２】
なお、ウェーブレット変換WT-1の終了から並び替えOrd-1が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部４１３に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部４１３の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。
【０２５３】
係数データは、並び替えが終了した順に係数並び替え用バッファ部４１２から読み出され、エントロピ符号化部４１５に供給され、エントロピ符号化EC-1が行われる（図２２Ｄ）。このエントロピ符号化EC-1は、３個の、係数C1、係数C4、および係数C5の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数C5による１ラインの並び替えが終了した時点で、当該係数C5に対するエントロピ符号化を開始することができる。この場合、並び替えOrd-1の処理開始からエントロピ符号化EC-1の処理開始までの遅延は、１ライン分となる。
【０２５４】
エントロピ符号化部４１５によるエントロピ符号化EC-1が終了した符号化データは、何らかの伝送路を介して画像復号部３３１に伝送される（図２２Ｅ）。符号化データが伝送される伝送路としては、例えばインターネットなどの通信ネットワークが考えられる。この場合、符号化データは、IP(Internet Protocol)により伝送される。これに限らず、符号化データの伝送路としては、USB(Universal Serial Bus)やIEEE1394(Institute Electrical and Electronics Engineers 1394)といった通信インタフェースや、IEEE802.11規格などに代表される無線通信も考えられる。
【０２５５】
画像符号化部３１２に対して、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。画像符号化部３１２では、画像データの入力In-n（nは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換WT-n、並び替えOrd-nおよびエントロピ符号化EC-nを行う。画像符号化部３１２における最後の回の処理に対する並び替えOrdおよびエントロピ符号化ECは、６ラインに対して行われる。これらの処理は、画像符号化部３１２において、図２２Ａ乃至図２２Ｄに例示されるように、並列的に行われる。
【０２５６】
画像符号化部３１２によるエントロピ符号化EC-1により符号化された符号化データが、画像復号部３３１に伝送路を介して伝送され、エントロピ復号部４２１に供給される。エントロピ復号部４２１は、供給された、エントロピ符号化EC-1により符号化された符号化データに対して、順次、エントロピ符号の復号iEC-1を行い、係数データを復元する（図２２Ｆ）。復元された係数データは、順次、係数バッファ部４２２に格納される。ウェーブレット逆変換部４２３は、係数バッファ部４２２にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部４２２から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換iWT-1を行う（図２２Ｇ）。
【０２５７】
図１７を参照して説明したように、ウェーブレット逆変換部４２３によるウェーブレット逆変換iWT-1は、係数C4および係数C5が係数バッファ部４２２に格納された時点で開始することができる。したがって、エントロピ復号部４２１による復号iEC-1が開始されてからウェーブレット逆変換部４２３によるウェーブレット逆変換iWT-1が開始されるまでの遅延は、２ライン分となる。
【０２５８】
ウェーブレット逆変換部４２３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換iWT-1が終了すると、ウェーブレット逆変換iWT-1で生成された画像データの出力Out-1が行われる（図２２Ｈ）。出力Out-1では、図１７および図１８を用いて説明したように、第１ライン目の画像データが出力される。
【０２５９】
画像復号部３３１に対して、画像符号化部３１２における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化EC-n（nは２以上）により符号化された係数データが順次、入力される。画像復号部３３１では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号iEC-nおよびウェーブレット逆変換iWT-nを行い、ウェーブレット逆変換iWT-nにより復元された画像データの出力Out-nを順次、行う。画像符号化部３１２の最後の回に対応するエントロピ復号iECおよびウェーブレット逆変換iWTは、６ラインに対して行われ、出力Outは、８ラインが出力される。これらの処理は、画像復号部３３１において、図２２Ｆ乃至図２２Ｈに例示されるように、並列的に行われる。
【０２６０】
上述のようにして、画面上部から下部の方向に順番に、画像符号化部３１２および画像復号部３３１における各処理を並列的に行うことで、画像符号化処理および画像復号処理をより低遅延で行うことが可能となる。
【０２６１】
図２２を参照して、5×3フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが画像符号化装置1に入力されてから、この第１ライン目の画像データが画像復号部３３１から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。
【０２６２】
（１）最初のライン入力から７ライン分のウェーブレット変換WT-1が終了するまでの遅延D_WT
（２）３ライン分の計数並び替えOrd-1に伴う時間D_Ord
（３）３ライン分のエントロピ符号化EC-1に伴う時間D_EC
（４）３ライン分のエントロピ復号iEC-1に伴う時間D_iEC
（５）３ライン分のウェーブレット逆変換iWT-1に伴う時間D_iWT
【０２６３】
図２２を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延D_WTは、１０ライン分の時間である。（２）の時間D_Ord、（３）の時間D_EC、（４）の時間D_iEC、および（５）の時間D_iWTは、それぞれ３ライン分の時間である。また、画像符号化部３１２において、並び替えOrd-1が開始されてから１ライン後には、エントロピ符号化EC-1を開始することができる。同様に、画像復号部３３１において、エントロピ復号iEC-1が開始されてから２ライン後には、ウェーブレット逆変換iWT-1を開始することができる。また、エントロピ復号iEC-1は、エントロピ符号化EC-1で１ライン分の符号化が終了した時点で処理を開始することができる。
【０２６４】
したがって、この図２２の例では、画像符号化部３１２に第１ライン目の画像データが入力されてから、画像復号部３３１から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。
【０２６５】
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば1920画素×1080ラインの解像度で１フレームが構成され、１フィールドは、1920画素×540ラインとなる。したがって、フレーム周波数を30Hzとした場合、１フィールドの540ラインが16.67msec（＝1sec/60フィールド）の時間に、画像符号化部３１２に入力されることになる。
【０２６６】
したがって、７ライン分の画像データの入力に伴う遅延時間は、0.216msec（＝16.67msec×7/540ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延D_WT、（２）の時間D_Ord、（３）の時間D_EC、（４）の時間D_iEC、および（５）の時間D_iWTの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。各処理を行う要素をハードウェア化すれば、処理時間をさらに短縮することも可能である。
【０２６７】
なお、係数データの並び替えは、エントロピ符号化の後に行うようにしてもよい。このようにすることにより、係数並び替え用バッファ部４１２において必要とされる記憶容量を抑えることができる。
【０２６８】
なお、端末装置３０１および広告提供装置３０２の間の伝送において、符号化データがパケット化されるようにしてもよい。
【０２６９】
図２３は、その符号化データの授受の様子の例を説明する模式図である。上述したように、画像データは、ラインブロック毎に、所定のライン数分だけ入力されながらウェーブレット変換される（サブバンド４５１）。そして、所定のウェーブレット変換分解レベルまで達した際に、最低域サブバンドから最高域サブバンドまでの係数ラインが、生成された順序とは逆に、つまり低域から高域の順番に並び替えられる。
【０２７０】
図２３のサブバンド４５１において、斜め線、縦線、および波線の模様分けされた部分は、それぞれ異なるラインブロックである（矢印で示されるように、サブバンド４５１の白ヌキ部分も同様にラインブロック毎に分割して処理される）。並び替えられた後のラインブロックの係数が上述した様にエントロピ符号化され、符号化データが生成される。
【０２７１】
ここで、例えば通信部３１３が符号化データをそのまま送出すると、画像取得部１１１が各ラインブロックの境界を識別することが困難な（若しくは煩雑な処理が必要になる）場合がある。そこで、通信部３１３は、符号化データに例えばラインブロック単位でヘッダを付加し、ヘッダと符号化データとから成るパケットとして送出するようにする。
【０２７２】
つまり、通信部３１３は、図２３に示されるように、１番目のラインブロック（Lineblock-1）の符号化データ（エンコードデータ）をパケット化し、送信パケット４６１として画像取得部１１１に送出する。画像取得部１１１は、そのパケットを受信すると（受信パケット４７１）、その符号化データを抽出し、画像復号部３３１に供給する。画像復号部３３１は、供給された符号化データ（受信パケット４７１に含まれる符号化データ）を復号（デコード）する。
【０２７３】
次に、通信部３１３は、２番目のラインブロック（Lineblock-2）の符号化データをパケット化し、送信パケット４６２として画像取得部１１１に送出する。画像取得部１１１は、そのパケットを受信すると（受信パケット４７２）、その符号化データを抽出し、画像復号部３３１に供給する。画像復号部３３１は、供給された符号化データ（受信パケット４７２に含まれる符号化データ）を復号（デコード）する。
【０２７４】
さらに、通信部３１３は、３番目のラインブロック（Lineblock-3）の符号化データを生成すると、それをパケット化し、送信パケット４６３として画像取得部１１１に送出する。画像取得部１１１は、そのパケットを受信すると（受信パケット４７３）、その符号化データを抽出し、画像復号部３３１に供給する。画像復号部３３１は、供給された符号化データ（受信パケット４７３に含まれる符号化データ）を復号（デコード）する。
【０２７５】
通信部３１３および画像取得部１１１は、以上のような処理を、Ｘ番目の最終ラインブロック（Lineblock-X）まで繰り返す（送信パケット４６４、受信パケット４７４）。以上のようにして画像復号部３３１において復号画像４８１が生成される。
【０２７６】
以上のように、図１０の広告提供システム３００は、低遅延な符号化・復号を実現することができ、ユーザに対してより適切な情報を低遅延に提供することができる。
【０２７７】
［広告提供処理の流れ］
次に、図２４のフローチャートを参照して、図１０の広告提供システム３００による広告提供処理の流れの例を説明する。
【０２７８】
広告提供処理が開始されると、端末装置３０１の撮像部３１１は、ステップＳ４０１において、ユーザ１０を撮像する。
【０２７９】
ステップＳ４０２において、画像符号化部３１２は、ステップＳ４０１において得られたユーザ１０の画像データを符号化する。
【０２８０】
ステップＳ４０３において、通信部３１３は、ステップＳ４０２の処理により得られた符号化データを広告提供装置３０２に供給する。
【０２８１】
広告提供装置３０２の画像取得部１１１は、ステップＳ４２１において、その符号化データを取得する。画像復号部３３１は、取得した符号化データを復号する。
【０２８２】
ステップＳ４２２において、特徴抽出部１１２は、ステップＳ４２１の処理により得られた復号画像を解析し、被写体であるユーザ１０の特徴を抽出する。
【０２８３】
ステップＳ４２３において、SSP部１１３は、ステップＳ４２２の処理により得られたユーザ１０の特徴情報、および、制御部１０１から取得した、要求する広告の仕様等に関する情報を用いて、要求する広告についての競争入札を発注する発注情報を生成する。SSP部１１３は、その生成した発注情報を用いて、競争入札を発注する。
【０２８４】
ステップＳ４２４において、DSP部１１４のRTB部１２１は、競争入札を行い、ユーザ１０に対して最も適切な広告を選択する。広告配信部１２３は、選択された広告の広告情報や入札情報を競争入札結果としてSSP部１１３に供給する。
【０２８５】
ステップＳ４２５において、データベース１２２は、選択した広告に関する情報を、対応する特徴情報とともに記憶する。
【０２８６】
ステップＳ４２６において、広告出力部１１５は、選択された広告情報を端末装置３０１に供給する。
【０２８７】
端末装置３０１の通信部３１３は、ステップＳ４０４において、その広告情報を取得する。
【０２８８】
ステップＳ４０５において、表示部３１４は、ステップＳ４０４において取得された広告情報に対応する広告をモニタに表示する。
【０２８９】
なお、ステップＳ４２７において、課金処理部１１６は、SSP部１１３から供給された情報に基づいて課金処理を行う。
【０２９０】
ステップＳ４２７の処理が終了すると、広告提供処理が終了する。
【０２９１】
以上のように、広告提供処理を実行することにより、広告提供システム３００は、ユーザの画像の特徴に基づいて広告を選択することができるので、過去の履歴情報のない新規のユーザに対して、より適切な情報を提供することができる。
【０２９２】
以上においては、画像の特徴解析を広告提供装置において行うように説明したが、これに限らず、広告提供装置以外の装置において行うようにしてもよい。例えば、ユーザ１０を撮像して画像を得る端末装置において行うようにしてもよい。また、端末装置および広告提供装置以外の装置において行うようにしてもよい。
【０２９３】
なお、本技術は、インターネット等を用いたリアルタイム広告システム、装置、若しくは方法に関する。また、ディスプレイ装置を用いたデジタルサイネージや、一般大衆を対象にした広告システム等に適用することができる。使用形態、ユースケースとしては、パソコンに取り付けたウェブカメラや、スマートフォンの付属カメラを利用した、個人向けの広告がある。また、駅や公衆が多数集まる場所で、広告用に設置されている大画面のディスプレイ（デジタルサイネージ）に取り付けられたカメラから、歩行者の画像を取得して、その歩行者向けに広告を表示することも考えられる。或いは、デパートや商店のエレベータや通路などでお客の画像を取得して、お客が興味を持つ広告を表示することも有効である。
【０２９４】
＜４．第４の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２９５】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２９６】
図２５に示されるコンピュータ５００において、CPU（Central Processing Unit）５０１、ROM（Read Only Memory）５０２、RAM（Random Access Memory）５０３は、バス５０４を介して相互に接続されている。
【０２９７】
バス５０４にはまた、入出力インタフェース５１０も接続されている。入出力インタフェース５１０には、入力部５１１、出力部５１２、記憶部５１３、通信部５１４、およびドライブ５１５が接続されている。
【０２９８】
入力部５１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部５１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部５１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部５１４は、例えば、ネットワークインタフェースよりなる。ドライブ５１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５２１を駆動する。
【０２９９】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５１３に記憶されているプログラムを、入出力インタフェース５１０およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３００】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３０１】
コンピュータでは、プログラムは、リムーバブルメディア５２１をドライブ５１５に装着することにより、入出力インタフェース５１０を介して、記憶部５１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５１４で受信し、記憶部５１３にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５１３に、あらかじめインストールしておくことができる。
【０３０２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０３】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３０４】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３０５】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０３０６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３０７】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１０】
なお、本技術は以下のような構成も取ることができる。
（１）  画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部と
を備える情報処理装置。
（２）  前記特徴情報は、前記画像に含まれる人物の性別、年齢、伸張、肌色、髪型、および衣服のうち、少なくともいずれか１つを含む
前記（１）に記載の情報処理装置。
（３）  前記発注情報生成部は、前記特徴情報と、要求する出力情報に関する情報とを含む前記発注情報を生成する
前記（１）または（２）に記載の情報処理装置。
（４）  前記競争入札部は、入札された各出力情報の中から、入札条件が前記発注情報に対して最適なものを選択する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）  前記競争入札部は、要求された出力情報の条件に合致し、かつ、前記特徴情報に対して最も適切な入札条件の出力情報を選択する
前記（４）に記載の情報処理装置。
（６）  他の装置から伝送される前記画像を取得する取得部をさらに備え、
前記抽出部は、前記取得部により取得された前記画像から所定の特徴情報を抽出する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）  被写体を撮像する撮像部をさらに備え、
前記抽出部は、前記撮像部により撮像された前記被写体の画像から所定の特徴情報を抽出する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記出力部は、前記出力情報を画像として表示する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）  前記出力部は、前記出力情報を他の装置に供給する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）  前記競争入札部により行われた前記競争入札の結果と、前記発注情報の前記特徴情報とともに記憶する競争入札結果記憶部をさらに備える
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）  前記画像を符号化する符号化部と、
前記符号化部により前記画像が符号化された符号化データを記憶する符号化データ記憶部と
をさらに備える前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）  前記符号化部は、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化する
前記（１１）に記載の情報処理装置。
（１３）  前記符号化部により生成された前記符号化データを復号する復号部をさらに備える
前記（１１）または（１２）に記載の情報処理装置。
（１４）  他の装置から供給される、前記画像が符号化された符号化データを取得する取得部と、
前記取得部により取得された前記符号化データを復号する復号部と
をさらに備え、
前記抽出部は、前記復号部により復号されて得られた前記画像から所定の特徴情報を抽出する
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）  前記符号化データは、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に前記画像を符号化したものであり、
前記復号部は、前記符号化データを前記ラインブロック毎に復号する
前記（１４）に記載の情報処理装置。
（１６）  前記符号化データは、前記画像がウェーブレット変換され、エントロピ符号化されたものであり、
前記復号部は、
前記符号化データをエントロピ復号するエントロピ復号部と、
前記エントロピ復号部により前記符号化データがエントロピ復号されて得られたウェーブレット変換係数をウェーブレット逆変換するウェーブレット逆変換部と
を備える前記（１５）に記載の情報処理装置。
（１７）  前記符号化データは、前記画像がウェーブレット変換され、量子化され、エントロピ符号化されたものであり、
前記復号部は、前記エントロピ復号部により前記符号化データがエントロピ復号されて得られた、量子化されたウェーブレット変換係数を逆量子化する逆量子化部をさらに備え、
前記ウェーブレット逆変換部は、前記逆量子化部により逆量子化されて得られたウェーブレット変換係数をウェーブレット逆変換する
前記（１６）に記載の情報処理装置。
（１８）  情報処理装置の情報処理方法において、
前記情報処理装置が、
画像から所定の特徴情報を抽出し、
抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成し、
生成された前記発注情報に基づいて、前記競争入札を行い、
行われた前記競争入札により選択された出力情報を出力する
情報処理方法。
（１９）  コンピュータを、
画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報を出力する出力部と
して機能させるためのプログラム。
（２０）  端末装置と情報提供装置とを備える情報処理システムであって、
前記端末装置は、
被写体を撮像する撮像部と、
前記撮像部により撮像されて得られた前記被写体の画像を、ウェーブレット変換において最低域成分を少なくとも１ライン以上生成するために必要なライン数のラインブロック毎に符号化する符号化部と、
前記符号化部により前記被写体の画像が符号化されて得られた符号化データを前記情報提供装置に供給する第１の供給部と、
前記情報提供装置により、前記第１の供給部により供給された前記符号化データを用いて選択され、供給された出力情報に関する情報を取得する第１の取得部と、
前記第１の取得部により取得された前記出力情報に関する情報に基づいて、前記出力情報を出力する出力部と
を備え、
前記情報提供装置は、
前記端末装置から供給される前記符号化データを取得する第１の取得部と、
前記第１の取得部により取得された前記符号化データを、前記ラインブロック毎に復号する復号部と、
前記復号部により前記符号化データが復号されて得られた前記被写体の画像から所定の特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報を用いて、出力情報を選択するための競争入札を発注する発注情報を生成する発注情報生成部と、
前記発注情報生成部により生成された前記発注情報に基づいて、前記競争入札を行う競争入札部と、
前記競争入札部により行われた前記競争入札により選択された出力情報に関する情報を前記端末装置に供給する第２の供給部と
を備える情報処理システム。
【符号の説明】
【０３１１】
１０  ユーザ，  １１  端末装置，  １００  広告提供装置，  １０１  制御部，  １１１  画像取得部，  １１２  特徴抽出部，  １１３  SSP部，  １１４  DSP部，  １１５  広告出力部，  １１６  課金処理部，  １２１  RTB部，  １２２  データベース，  １２３  広告配信部，  １５１  撮像装置，  １５２  ユーザ画像提供アプリケーション，  １５３  WEBサイト，  １５４  広告提供サーバ，  １６０  通行人，  １６１  デジタルサイネージ，  １６２  広告提供サーバ，  １６３  運営業者，  １７１  撮像装置，  １７２  通信部，  １７３  モニタ，  ２００  広告提供装置，  ２１１  画像符号化部，  ２５０  広告提供装置，  ２５１  画像復号部，  ３００  広告提供システム，  ３０１  端末装置，  ３０２  広告提供装置，  ３１１  撮像部，  ３１２  画像符号化部，  ３１３  通信部，  ３１４  表示部，  ３３１  画像復号部
【図１】
2014052858.tif 000003
【図２】
2014052858.tif 000004
【図３】
2014052858.tif 000005
【図４】
2014052858.tif 000006
【図５】
2014052858.tif 000007
【図６】
2014052858.tif 000008
【図７】
2014052858.tif 000009
【図８】
2014052858.tif 000010
【図９】
2014052858.tif 000011
【図１０】
2014052858.tif 000012
【図１１】
2014052858.tif 000013
【図１２】
2014052858.tif 000014
【図１３】
2014052858.tif 000015
【図１４】
2014052858.tif 000016
【図１５】
2014052858.tif 000017
【図１６】
2014052858.tif 000018
【図１７】
2014052858.tif 000019
【図１８】
2014052858.tif 000020
【図１９】
2014052858.tif 000021
【図２０】
2014052858.tif 000022
【図２１】
2014052858.tif 000023
【図２２】
2014052858.tif 000024
【図２３】
2014052858.tif 000025
【図２４】
2014052858.tif 000026
【図２５】
2014052858.tif 000027