(57)【要約】【課題】複数の画像をまとめて１つの画像として配信する場合の処理量を低減した画像処理装置、制御方法、及びプログラムを提供する。【解決手段】複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得部と、前記取得部により取得された前記エンコード情報を用いて、前記複数の入力画像を含む１つの画像としてエンコードするエンコード部と、前記エンコード部によりエンコードされた前記１つの画像を配信する配信部とを有する。【選択図】図８
2016171525.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得部と、
前記取得部により取得された前記エンコード情報を用いて、前記複数の入力画像を含む１つの画像としてエンコードするエンコード部と、
前記エンコード部によりエンコードされた前記１つの画像を配信する配信部と
を有することを特徴とする画像処理装置。
【請求項２】
前記エンコード情報を生成する生成部が前記複数の入力画像ごとに対応して設けられており、
前記取得部は、前記生成部により生成された前記エンコード情報を取得することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記生成部は、前記入力画像をエンコードするためのベクトル情報、またはモード情報を前記エンコード情報として生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記１つの画像に含まれる前記入力画像の条件が指定される指定部をさらに有し、
前記エンコード部は、前記指定部により指定された条件を満たす前記入力画像を１つの画像としてエンコードすることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記条件を多く満たす前記入力画像ほど、前記１つの画像の中心に配置されることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記１つの画像は、前記複数の入力画像を並べた画像であることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記１つの画像は、前記複数の入力画像を重畳した画像であることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
複数の入力画像を１つの画像として配信する画像処理装置での制御方法であって、
前記複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得ステップと、
前記取得ステップにより取得された前記エンコード情報を用いて、前記複数の入力画像を含む１つの画像としてエンコードするエンコードステップと、
前記エンコードステップによりエンコードされた前記１つの画像を配信する配信ステップと
を有することを特徴とする制御方法。
【請求項９】
複数の入力画像を１つの画像として配信する画像処理装置として機能させるためのプログラムであって、
前記複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得ステップと、
前記取得ステップにより取得された前記エンコード情報を用いて、前記複数の入力画像を含む１つの画像としてエンコードするエンコードステップと、
前記エンコードステップによりエンコードされた前記１つの画像を配信する配信ステップと
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットの普及とアクセス回線の広帯域化に伴い、撮影した動画を、インターネットを介して配信する技術が注目されている。例えば、特許文献１に記載の技術では、複数のカメラを配置することによって複数種類の動画配信を準備し、ユーザが所望の動画を選択することを可能としている。この技術では、ユーザは選択した動画の配信を受けることができる。
【０００３】
上記技術に関連して、複数の動画像をタイル状に並べて１つの動画像とし、その動画像を配信する技術がある。この場合、まず入力された複数の動画像はそれぞれデコードされ、デコードされた動画像をまとめて１つの動画像とし、まとめた１つの動画像をエンコードした後に配信するようになっている。このように、従来技術では、複数の動画像を１つの動画像にまとめた後にエンコードされていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０３５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の画像を１つにまとめる場合、１つにまとめた画像に含まれる画像の組合せが同じか、一部の画像が共通していても、画像を並べる順番など、まとめ方を変えて１つにまとめたときには、それぞれの動画像ごとにエンコードすることとなる。
この場合、共通する画像が含まれるにもかかわらず、１つにまとめた画像ごとにベクトル探索やモード決定を行わなければならず、配信先ごとに組合せを変えて１つにまとめた画像を配信することは、処理量やコスト面から現実的には困難であった。
【０００６】
本発明は、このような事情に鑑みてなされたもので、その目的は、複数の画像をまとめて１つの画像として配信する場合の処理量を低減した画像処理装置、制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得部と、前記取得部により取得された前記エンコード情報を用いて、前記複数の入力画像を含む１つの画像としてエンコードするエンコード部と、前記エンコード部によりエンコードされた前記１つの画像を配信する配信部とを有することを特徴とする。
【発明の効果】
【０００８】
以上説明したように、この発明によれば、複数の画像をまとめて１つの画像として配信する場合の処理量を低減した画像処理装置、制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態による画像処理装置としての動画配信システムの構成を示すブロック図である。
【図２】エンコード装置ＥＮから配信される２種類の合成画像例を示す図である。
【図３】デコード装置ＤＥとエンコード装置ＥＮの構成例を示す図である。
【図４】複数種類のサイズの画像を出力する場合のデコード装置ＤＥの構成例を示す図である。
【図５】動き検出・モード決定部により実行されるオフセット処理において、並べて合成する場合の座標変換の一例を示す図である。
【図６】動き検出・モード決定部により実行されるオフセット処理において、重畳して合成する場合の座標変換の一例を示す図である。
【図７】デコード装置ＤＥにより実行される処理を示すフローチャートである。
【図８】エンコード装置ＥＮにより実行される処理を示すフローチャートである。
【図９】合成画像コントローラにより実行される処理を示すフローチャートである。
【図１０】動画配信システムの構成の変形例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による画像処理装置としての動画配信システム１００の構成を示すブロック図である。この動画配信システム１００は、一例としてｍ個の端末から画像が入力され、入力された複数の入力画像を含む１つの画像（以下、「合成画像」という）を、ｎ個の端末に配信するシステムである。
【００１１】
同図に示すように、動画配信システム１００は、Ｈ．２６４（ＭＰＥＧ−４  Ｐａｒｔ１０：ＡＶＣ）に準拠した複数のデコード装置ＤＥ、複数のエンコード装置ＥＮ、合成画像コントローラ１１０、及び指向データベース１２０を含んで構成される。
デコード装置ＤＥは、デコード装置ＤＥ１からデコード装置ＤＥｍまでｍ個設けられており、最大でｍ個の入力画像に対応可能である。
デコード装置ＤＥは、まず入力画像がビットストリームで入力される。デコード装置ＤＥは、ビットストリームで入力された入力画像をデコードし、デコードした画像から動きベクトルやイントラまたはインターなどのモードを決定し、それをエンコード情報とする。そして、デコード装置ＤＥは、エンコード情報とデコードした画像とをエンコード装置ＥＮに出力する。
図１において、デコード装置ＤＥとエンコード装置ＥＮ間は、実線と破線で接続されているが、これはエンコード情報とデコードした画像とが別々に出力されるためである。本実施形態の場合、実線は画像の出力を示し、破線はエンコード情報の出力を示している。具体的なデータ転送例については後述する。
また、デコード装置ＤＥは、当該デコード装置ＤＥが出力している画像の特徴情報及びタグ情報（後述）、デコード装置ＤＥを識別するための識別子（ＤＥ＿ＩＤ）を、合成画像コントローラ１１０に出力する。
【００１２】
エンコード装置ＥＮは、エンコード装置ＥＮ１からエンコード装置ＥＮｎまでｎ個設けられており、最大でｎ個の合成画像を配信可能である。
エンコード装置ＥＮは、まず画像を配信する配信先（視聴者）を識別するための識別子（ユーザＩＤ）を合成画像コントローラ１１０に出力したり、配信する画像の条件である配信条件（例えば、女の子のみの画像、アニメ風の画像など）を必要に応じて合成画像コントローラ１１０に出力すると、合成画像コントローラ１１０から、合成画像に必要な入力画像を取得するデコード装置ＤＥを特定する特定情報と、取得した入力画像を配置する配置位置を示す配置情報が通知される。以下、特定情報と配置情報とを合わせて合成情報と表現する。
【００１３】
エンコード装置ＥＮは、デコード装置ＤＥから出力された入力画像とエンコード情報、そして合成情報から、複数の入力画像を含む１つの画像としてエンコードした合成画像を配信先に配信する。
合成画像コントローラ１１０は、上述した特徴情報、ユーザＩＤ、配信条件などから、指向データベースを参照することで、上記合成情報をエンコード装置ＥＮに通知する。指向データベース１２０は、ユーザＩＤと関連付けて、配信先のユーザ情報（例えば、性別、年齢、趣味、その他嗜好など）や、ＥＤ＿ＩＤと関連付けて特徴情報やタグ情報が記憶されているデータベースである。
【００１４】
以上説明した各処理により、エンコード装置ＥＮは、合成画像１、２、３に示されるように、配信先ごとに異なる合成画像を配信することができる。図２は、エンコード装置ＥＮから配信される２種類の合成画像例を示す図である。
【００１５】
図２（Ａ）は、複数の入力画像を並べた合成画像例を示す図である。図に示されるように、合成画像は、５×５のタイル状に分割した領域で構成され、複数の入力画像Ａ、Ｂ、Ｃ、…を左上から順に並べた１つの画像になっている。図２（Ａ）の場合、Ａ、Ｂ、Ｃの順に左上から順に並べているが、図１の合成画像Ｃに示されるように、Ｂ、Ｃ、…、Ａの順に左上から順に並べるなど、同じ画像を用いて並べる順番を変えた画像も配信することができる。なお、並べる入力画像の数は５×５に限らず、２〜２４、または２６以上の入力画像であってもよい。
【００１６】
図２（Ｂ）は、複数の入力画像を重畳した（重ねた）合成画像例を示す図である。図に示されるように、合成画像は、入力画像Ａに、入力画像Ｂ、Ｃが重畳された画像となっている。図２（Ｂ）に示される合成画像例の他に、例えば入力画像Ｂにさらに入力画像Ｃの一部または全部を重畳した画像も配信できる。なお、重畳する入力画像の数は３に限らず、２または４以上の入力画像であってもよい。
【００１７】
次にデコード装置ＤＥ及びエンコード装置ＥＮの構成例について説明する。図３は、デコード装置ＤＥとエンコード装置ＥＮの構成例を示す図である。まずデコード装置ＤＥについて説明する。なお、図３に示されるデコード装置ＤＥの構成は、エンコード装置ＥＮに出力する画像のサイズが１種類のサイズの場合の構成を示している。
デコード装置ＤＥは、デコーダ１０、特徴検出部１１、画像処理部１２、画像記憶部１３、エンコード情報取得部１４、エンコード情報記憶部１５を含んで構成される。
デコーダ１０は、ビットストリームで入力された入力画像をデコードし、デコードされた入力画像を特徴検出部１１に出力する。特徴検出部１１は、画像を分析して、画像の特徴情報（例えば屋外の画像、雪シーンの画像、人物を含んでいる画像など画像の特徴を示す情報）を検出し、検出した特徴情報を画像合成コントローラ１１０に出力するとともに、入力画像を画像処理部１２に出力する。
【００１８】
また、特徴検出部１１は、画像に設定されているタグ情報（例えば男、女、スポーツ、自動車、電車、料理、アニメ、カラオケ、楽器演奏など）も画像合成コントローラ１１０に出力する。従って、例えば雪が降る屋外にいる女性の画像であれば、特徴情報として「雪」、「屋外」が検出され、タグ情報として「女」が設定されているため、これらの情報が画像合成コントローラ１１０に出力される。
【００１９】
画像処理部１２は、特徴検出部１１から入力された入力画像に対し、画像のサイズ、輝度、及び色などを変更したり、物体の切り出しや、背景の切り出しを行ったり、各種イフェクト（例えば、アニメ風処理や美肌フィルタ処理などによるイフェクト）を追加したりするなどの画像処理を施し、画像処理を施した入力画像を画像記憶部１３に記憶する。
例えば、図２（Ａ）に示されるような５×５の合成画像（1920×1200）にする場合には、画像処理部１２は、入力画像のサイズを384×240のサイズにする。
【００２０】
エンコード情報取得部１４は、画像記憶部１３に記憶された入力画像に対して、動きベクトルの探索、動き補償、重み付き予測、イントラ予測、及びモード決定などを行うことで、入力画像をエンコードするためのエンコード情報を取得し、取得したエンコード情報をエンコード情報記憶部１５に記憶する。このエンコード情報は、ベクトル情報、またはモード情報であり、より詳細には動きベクトルやイントラ／インターや方向予測といったモードを示す情報である。
このように、エンコード情報取得部１４は、エンコードにおいて必要となる処理のうち、処理負荷の大半を占める処理を予め行う。こうして取得されたエンコード情報により、エンコード装置ＥＮでは、まとめる入力画像の配置などに関する処理を行った後は、周波数変換及び量子化といった処理負荷が比較的小さい処理を行うだけでエンコードすることができる。
【００２１】
デコード装置ＤＥは、画像記憶部１３に記憶された入力画像と、エンコード情報記憶部１５に記憶されたエンコード情報とを、入力画像を必要とするエンコード装置ＥＮに出力する。このように、エンコード情報を生成する生成部（後述するエンコード情報取得部に対応）が複数の入力画像ごとに対応して設けられている。
【００２２】
エンコード装置ＥＮは、マップ合成部２０、動き検出・モード決定部２１、周波数変換・量子化部２２、及びシンタックス変換部２３を含んで構成される。マップ合成部２０は、合成画像コントローラ１１０にユーザＩＤや配信条件を出力し、合成画像コントローラ１１０から通知された合成情報を受け取るとともに、入力画像ごとにエンコード情報をエンコード情報記憶部１５から取得して、入力画像と当該入力画像に対応するエンコード情報とを対応付けて動き検出・モード決定部２１に出力する。このように、マップ合成部２０は、複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得する取得部となっている。また、マップ合成部２０は、１つの画像に含まれる入力画像の条件が指定される指定部となっている。
【００２３】
動き検出・モード決定部２１は、マップ合成部２０から入力された入力画像とエンコード情報から、合成情報に示される配置位置に対応させたエンコード情報にするためのオフセット処理などを行うことで、合成画像のエンコード情報を決定する動き検出・モード決定処理を行う。そして動き検出・モード決定部２１は、決定されたエンコード情報を周波数変換・量子化部２２に出力する。
周波数変換・量子化部２２は、動き検出・モード決定部２１から入力されたエンコード情報を周波数変換及び量子化し、シンタックス変換部２３に出力して、シンタックス変換部２３は、ビットストリームで合成画像を配信する。
【００２４】
上述した動き検出・モード決定部２１及び周波数変換・量子化部２２は、マップ合成部２０により取得されたエンコード情報を用いて、複数の入力画像を含む１つの画像としてエンコードするエンコード部となっている。また、シンタックス変換部２３は、エンコードされた１つの画像を配信する配信部となっている。
【００２５】
ここで、デコード装置ＤＥからエンコード装置ＥＮへのデータ転送例について説明する。本実施形態では、データはライン転送される。具体的に、デコード装置ＤＥは、ラインメモリを介して画像をエンコード装置ＥＮに出力する。例えば、図１に示される合成画像１を配信する場合には、エンコード装置ＥＮは、入力画像１（Ａ）の１ライン目を受け取り、引き続き、入力画像２（Ｂ）の１ライン目の受け取り、入力画像３（Ｃ）の１ライン目のデータを受け取ることにより、ラインバッファには入力画像１，２，３（ＡＢＣ）という１ラインのデータが記憶される。
このライン転送を繰り返すことで、コーデックの処理単位（例えば、マクロブロック１６×１６）のライン分がラインバッファに記憶されると、入力画像１（Ａ）のマクロブロックの処理が可能となる。そこで、エンコード装置ＥＮは、デコーダ装置ＤＥからエンコード情報を受け取ることで、エンコーダ装置ＥＮにはフレームメモリを設けることなくエンコードすることができるので、フレームメモリを設ける場合と比較して、メモリ量を削減することができる。
【００２６】
次に、複数種類のサイズの画像を出力する場合のデコード装置ＤＥの構成について説明する。図４は、複数種類のサイズの画像を出力する場合のデコード装置ＤＥの構成例を示す図である。ここでは、図３と異なる構成について説明する。また、図４に示される構成例は、３種類（Ｌサイズ、Ｍサイズ、Ｓサイズ）の画像を出力する場合の構成を示している。
複数種類のサイズの画像を出力する場合、種類分の画像記憶部１３、エンコード情報取得部１４、及びエンコード情報記憶部１５が設けられる。図４の場合、３種類であるため、画像記憶部１３−１、１３−２、１３−３、エンコード情報取得部１４−１、１４−２、１４−３、及びエンコード情報記憶部１５−１、１５−２、１５−３が設けられる。
【００２７】
画像記憶部１３−１、１３−２、１３−３は、それぞれＬサイズ、Ｍサイズ、Ｓサイズの画像を記憶する。エンコード情報取得部１４−１、１４−２、１４−３は、それぞれＬサイズ、Ｍサイズ、Ｓサイズのエンコード情報を取得する。エンコード情報記憶部１５−１、１５−２、１５−３は、それぞれＬサイズ、Ｍサイズ、Ｓサイズのエンコード情報を記憶する。さらに、Ｓサイズのエンコード情報を記憶するエンコード情報記憶部１５−３は、記憶したエンコード情報をＭサイズのエンコード情報を記憶するエンコード情報記憶部１５−２に出力する。また、Ｍサイズのエンコード情報を記憶するエンコード情報記憶部１５−２は、記憶したエンコード情報をＬサイズのエンコード情報を記憶するエンコード情報記憶部１５−１に出力する。
【００２８】
また、図４には、画像処理部１２から出力された画像のサイズを変更する（図４の場合は縮小）するフィルタが設けられる。図４に示される構成の場合、Ｌサイズは画像処理部１２が出力した画像のサイズそのものとしているため、画像処理部１２と画像記憶部１３−１との間にフィルタは設けられていないが、画像処理部１２と画像記憶部１３−２との間、画像処理部１２と画像記憶部１３−３との間には、それぞれ縮小フィルタＦ１、Ｆ２が設けられている。
【００２９】
縮小フィルタＦ１は、画像処理部１２から出力された画像をＭサイズに縮小するフィルタである。縮小フィルタＦ２は、画像処理部１２から出力された画像をＳサイズに縮小するフィルタである。
また、エンコード情報取得部１４−１、１４−２、１４−３は、対応する画像記憶部１３−１、１３−２、１３−３に記憶された画像に対して、動きベクトルの探索、動き補償、重み付き予測、イントラ予測、及びモード決定などをそれぞれ独立して行ってもよいが、本実施形態ではエンコード情報取得部１４−３、１４−２、１４−１の順（サイズの小さい順）に処理を開始する。
【００３０】
これは、エンコード情報取得部１４−１、１４−２、１４−３がエンコード情報を取得する各々の画像はサイズが異なるだけであるため、まずエンコード情報を取得するために処理負荷が小さいＳサイズの画像に対して処理を開始することで、その処理で得られたエンコード情報を再利用することにより、さらに高速化が図れるためである。
【００３１】
従って、本実施形態では、エンコード情報取得部１４−３の処理で得られたエンコード情報は、エンコード情報取得部１４−２に出力され、エンコード情報取得部１４−２が再利用し、エンコード情報取得部１４−２の処理で得られたエンコード情報は、エンコード情報取得部１４−１に出力され、エンコード情報取得部１４−１が再利用することとなる。このようにすることにより、例えばデコード装置ＤＥをハードウェアで実現する場合の回路サイズを抑制でき、またメモリの帯域を削減できる。さらに、サイズに応じて、量子化パラメータなどを個別に設定するようにしてもよい。
こうして複数種類のサイズの画像を出力することにより、図１で示した合成画像１と合成画像３のように、同じ画像でサイズが異なる画像を同時に配信できるようになる。例えば、図１の合成画像２の場合、エンコード装置ＥＮ２は、Ｌサイズの画像Ａ、Ｍサイズの画像Ｂ、Ｓサイズの画像Ｃを取得することで、合成画像２を配信する。
【００３２】
なお、複数種類のサイズの画像を出力する場合の構成として、図４に示した構成の他に、エンコード情報取得部１４の内部に縮小フィルタを設けた構成でもよい。この場合、まず画像をＳサイズに縮小し、Ｓサイズに縮小した画像のエンコード情報を取得する。次いで画像をＭサイズに縮小し、Ｓサイズで取得したエンコード情報を再利用してＭサイズに縮小した画像のエンコード情報を取得する。そして、Ｍサイズで取得したエンコード情報を再利用してＬサイズの画像のエンコード情報を取得することとなる。このとき、エンコード情報を記憶するためのラインメモリを設け、ラインメモリに記憶されたエンコード情報を再利用することで、回路面積を減らすことができる。
図４に示した構成は、複数種類のサイズの画像を出力する場合の構成であるが、異なる画像処理が施された複数種類の画像を出力することも可能である。例えば、３種類の異なる画像処理が施された３種類の画像を出力する場合、画像記憶部１３−１、１３−２、１３−３の各々に対応して異なる画像処理を施す画像処理部を設け、これら画像処理部が対応する画像記憶部ごとに画像を出力することとなる。
【００３３】
このように、複数種類のサイズの画像を出力したり、異なる画像処理が施された複数種類の画像を出力したりする場合には、出力するサイズや画像処理の種類を合成画像コントローラ１１０に出力する。複数種類のサイズの画像を出力する場合、デコード装置ＤＥは、ＥＤ＿ＩＤとともに、「１．Ｌサイズ」、「２．Ｍサイズ」、「３．Ｓサイズ」を合成画像コントローラ１１０に出力する。同様に、異なる画像処理が施された複数種類の画像を出力する場合、デコード装置ＤＥは、ＥＤ＿ＩＤとともに、「１．アニメ風」、「２．美肌」、「３．イラスト風」を合成画像コントローラ１１０に出力する。
合成画像コントローラ１１０は、これらのサイズや画像処理の情報をＥＤ＿ＩＤと関連付けて、指向データベース１２０に記憶しておく。そして、合成画像コントローラ１１０は、上述した特徴情報、ユーザＩＤ、配信条件などから、指向データベース１２０を参照することで上記合成情報をエンコード装置ＥＮに通知する。
【００３４】
図５は、動き検出・モード決定部２１により実行されるオフセット処理において、並べて合成する場合の座標変換の一例を示す図である。この例では、合成情報の配置情報が、領域数ｍ×ｍで、ｎ番目の位置に入力画像を配置することを示しているとする。このｎ番目とは、図５に示されるように、入力画像を左上から横に並べ、右端に到達したら、左端に戻り、左端から再び並べていく場合の順番を示すものとする。
また、合成画像のサイズをＫ×Ｌとし、Ｋ＝ｍｋ、Ｌ＝ｍｌとする。入力画像は合成画像に合わせて画像処理部１２によりサイズが調整されているので、入力画像のサイズはｋ×ｌとなる。
【００３５】
ここで、入力画像におけるＳＴ座標での点を（ｓ、ｔ）とし、その（ｓ、ｔ）に対応する合成画像におけるＸＹ座標での点を（ｘ、ｙ）とし、ｑ、ｒをｎ＝ｍｑ＋ｒ（０≦ｒ＜ｍ）を満たすｑ、ｒとすると、（ｘ、ｙ）＝（ｓ＋ｋｒ、ｔ＋Ｌ−ｌ（ｑ＋１））となる。
この式に示されるように、画像合成コントローラ１１０は、配置位置に関して、入力画像の数ｍ×ｍを示すｍと、順番を示すｎとを通知すればよく、動き検出・モード決定部２１はｍとｎとを用いて座標変換を行うことができる。
【００３６】
図６は、動き検出・モード決定部２１により実行されるオフセット処理において、重畳して合成する場合の座標変換の一例を示す図である。この例では、合成情報の配置情報が、入力画像のＳＴ座標での原点Ｏを配置するＸＹ座標での位置（ｘ１、ｙ１）を示しているものとする。
ここで、入力画像におけるＳＴ座標での点を（ｓ、ｔ）とし、その（ｓ、ｔ）に対応する合成画像におけるＸＹ座標での点を（ｘ、ｙ）とすると、（ｘ、ｙ）＝（ｓ＋ｘ１、ｔ＋ｙ１）となる。
【００３７】
この式に示されるように、画像合成コントローラ１１０は、入力画像のＳＴ座標での原点Ｏを配置するＸＹ座標での位置（ｘ１、ｙ１）を通知すればよく、動き検出・モード決定部２１は位置（ｘ１、ｙ１）を用いて座標変換を行うことができる。
座標変換方法は、上述した図５、６で説明した方法に限らず、並べて合成する場合には、５×５など、最初から合成する入力画像の数を固定で定めておいて変換する方法や、重畳する場合には、最初から重畳する位置を固定で定めておいて変換する方法などもある。
【００３８】
図７は、デコード装置ＤＥにより実行される処理を示すフローチャートである。図７において、まずデコーダ１０は、ビットストリームで入力された入力画像をデコードする（ステップＳ１０１）。次いで、特徴検出部１１は、特徴情報を検出し、検出した特徴情報を画像合成コントローラ１１０に出力する（ステップＳ１０２）。
次いで、画像処理部１２は、上述した画像処理を施し（ステップＳ１９３）、画像処理を施した入力画像を画像記憶部１３に記憶する（ステップＳ１０４）。エンコード情報取得部１４は、画像記憶部１３に記憶された入力画像に対して、上述した動きベクトルの探索などを行うことで、エンコード情報を取得し（ステップＳ１０５）、取得したエンコード情報をエンコード情報記憶部１５に記憶する（ステップＳ１０６）。
【００３９】
そして、入力画像とエンコード情報をエンコード装置ＥＮに出力し（ステップＳ１０７）、デコードを終了するか否か判定する（ステップＳ１０８）。デコードを終了しない場合には（ステップＳ１０８：ＮＯ）、ステップＳ１０１に戻る。一方、ビットストリームの送信元から送信停止を受信したときなどによりデコードを終了する場合（ステップＳ１０８；ＹＥＳ）、本処理を終了する。
【００４０】
図８は、エンコード装置ＥＮにより実行される処理を示すフローチャートである。図８において、配信先から配信要求を受信すると（ステップＳ２０１：ＹＥＳ）、配信先のユーザＩＤを取得する（ステップＳ２０２）。
さらに、配信先から配信条件が通知されたことにより、配信条件があるか否か判定する（ステップＳ２０３）。配信条件が指定された場合には（ステップＳ２０３：ＹＥＳ）、配信条件を取得して（ステップＳ２０４）、ステップＳ２０５に進む。
一方、配信条件が指定されなかった場合（ステップＳ２０３：ＹＥＳ）、またはステップＳ２０４で配信条件を取得した場合には、マップ合成部２０は、合成画像コントローラ１１０にユーザＩＤを出力する（ステップＳ２０５）。このとき、ステップＳ２０４で配信条件を取得した場合には、配信条件も出力される。
【００４１】
マップ合成部２０は、合成画像コントローラ１１０から合成情報を受け取り（ステップＳ２０６）、配置情報に従って入力画像と当該入力画像に対応するエンコード情報取得する（ステップＳ２０７）。
次いで、動き検出・モード決定部２１は、上述した動き検出・モード決定処理を行い（ステップＳ２０８）、周波数変換・量子化部２２は、エンコード情報を周波数変換及び量子化し（ステップＳ２０９）、シンタックス変換部２３は、ビットストリームで合成画像を配信する（ステップＳ２１０）。
【００４２】
次いで、配信先から配信停止を受信したか否か判定する（ステップＳ２１１）。配信先から配信停止を受信した場合には（ステップＳ２１１：ＹＥＳ）、本処理を終了する。一方、配信先から配信停止を受信していない場合には（ステップＳ２１１：ＮＯ）、ステップＳ２０７に戻る。
【００４３】
図９は、合成画像コントローラ１１０により実行される処理を示すフローチャートである。まず、合成画像コントローラ１１０は、デコード装置ＤＥから特徴情報、メタ情報を受信したか否か判定する（ステップＳ３０１）。特徴情報、メタ情報を受信した場合には（ステップＳ３０１：ＹＥＳ）、合成画像コントローラ１１０は、特徴情報、メタ情報をＥＤ＿ＩＤと関連付けて指向データベース１２０に記憶して（ステップＳ３１１）、ステップＳ３０１に戻る。
特徴情報、メタ情報を受信していない場合には（ステップＳ３０１：ＮＯ）、合成画像コントローラ１１０は、エンコード装置ＥＮからユーザＩＤを受信したか否か判定する（ステップＳ３０２）。ユーザＩＤを受信していない場合には（ステップＳ３０２：ＮＯ）、ステップＳ３０１に戻る。
【００４４】
エンコード装置ＥＮからユーザＩＤを受信した場合には（ステップＳ３０２：ＹＥＳ）、合成画像コントローラ１１０は、配信条件があるか否か判定する（ステップＳ３０３）。配信条件がある場合には（ステップＳ３０３：ＹＥＳ）、合成画像コントローラ１１０は、配信条件に基づき特定情報を生成する（ステップＳ３０９）。
具体的に、合成画像コントローラ１１０は、まず特徴情報またはメタ情報が配信条件を満たす画像を出力するデコード装置ＤＥを検索する。そして、検索されたデコード装置ＤＥのうち、合成画像に必要な入力画像の数（例えば、５×５なら２５）だけ、配信条件を満たす特徴情報またはメタ情報が多い順にデコード装置ＤＥを特定し、その特定したデコード装置ＤＥのＥＤ＿ＩＤのリストを特定情報として生成する。
【００４５】
次いで、合成画像コントローラ１１０は、配置情報を生成する。具体的に、合成画像コントローラ１１０は、配信条件を満たす特徴情報またはメタ情報が多い画像ほど目立つような配置情報を生成し（ステップＳ３１０）、ステップＳ３０８に進む。
例えば、５×５の合成画像とする場合、中央の画像に、配信条件を満たす特徴情報またはメタ情報が最も多い画像が配置されるように配置情報を生成する。こうして配信条件を満たす特徴情報またはメタ情報が多いほど、中央に近い位置に配置されるような配置情報を生成してもよい。
【００４６】
ステップＳ３０３に戻り、配信条件がない場合には（ステップＳ３０３：ＮＯ）、合成画像コントローラ１１０は、指向データベース１２０を参照して、ユーザＩＤからユーザ情報を取得する（ステップＳ３０４）。
次いで、合成画像コントローラ１１０は、指向データベース１２０に記憶された特徴情報、メタ情報、ユーザ情報を用いて主成分分析を行うことで、エンコード装置ＥＮごとにスコアを算出する（ステップＳ３０５）。
そして、合成画像コントローラ１１０は、スコアに基づき特定情報を生成する（ステップＳ３０６）。
【００４７】
具体的に、合成画像コントローラ１１０は、デコード装置ＤＥのうち、合成画像に必要な入力画像の数だけ、スコアの大きい順にデコード装置ＤＥを特定し、その特定したデコード装置ＤＥのＥＤ＿ＩＤのリストを特定情報として生成する。
次いで、合成画像コントローラ１１０は、配置情報を生成する。具体的に、合成画像コントローラ１１０は、配置条件のときと同様に、スコアが大きい画像が目立つような配置情報を生成し（ステップＳ３０７）、ステップＳ３０８に進む。
例えば、５×５の合成画像とする場合、配置条件のときと同様に、中央の画像に、スコアが最も大きい画像が配置されるように配置情報を生成する。こうしてスコアが大きいほど、中央に近い位置に配置されるような配置情報を生成してもよい。
そして、合成画像コントローラ１１０は、合成情報をエンコード装置ＥＮに通知して（ステップＳ３０８）、本処理を終了する。
【００４８】
このように、配信条件や主成分分析を用いることにより、例えば視聴者が女性の場合、男性画像を集めて合成した合成画像を配信したり、視聴者がアニメ好きの場合、アニメに関係する画像を合成した合成画像を配信したり、視聴者がゲーム好きの場合、ゲームに関係する画像を合成した合成画像を配信したり、視聴者がスキー好きの場合、雪景色など雪に関係する画像を合成した合成画像を配信したりすることができる。
【００４９】
以上説明したように、本実施形態によれば、複数の入力画像ごとに、当該入力画像をエンコードするためのエンコード情報を取得し、取得されたエンコード情報を用いて、複数の入力画像を含む１つの画像としてエンコードするので、画像を１つにまとめてからエンコードする場合と比較して、大幅に処理量を低減することができる。
また、配信する画像の組合せや、並べ方が頻繁に変更される場合にも、単に配置を変えるだけであって、処理負荷の大半を占める動きベクトルの探索などを改めて行う必要がないので、画像を１つにまとめてからエンコードする場合と比較して、著しく処理量を低減することができる。
【００５０】
また、本実施形態において、図１に示した動画配信システム１００の構成例では、デコード装置ＤＥとエンコード装置ＥＮが直結した構成となっているが、デコード装置ＤＥまたはエンコード装置ＥＮの増加に伴い、配線が増えていくこととなる。そこでデコード装置ＤＥとエンコード装置ＥＮを、経路スイッチを介して接続するようにしてもよい。
【００５１】
図１０は、動画配信システム１００の構成の変形例を示すブロック図である。図１０において、動画配信システム１００は経路スイッチＳＷが設けられた構成となっている。この経路スイッチＳＷは、ＰＣＩｅ（ＰＣＩ−Ｅｘｐｒｅｓｓ）のスイッチであり、デコード装置ＤＥとエンコード装置ＥＮをＥｔｈｅｒｎｅｔ（登録商標） Ｏｖｅｒ ＰＣＩｅで接続する。
図１０に示す構成によれば、図１に示した構成と比較して、配線を減らすことができるとともに、配線の自由度を大きくすることができる。
【００５２】
なお、図２（Ａ）に示した並べてまとめる例では、いずれの入力画像も同じ大きさでまとめられたが、異なる大きさにしてもよい。例えば、配信条件を満たすものほど、または主成分分析のスコアが大きいものほど、大きく表示されるようにしてもよい。
【００５３】
また、本実施形態に係る画像処理装置としての動画配信システム１００は、上述したように、大きく分けてデコード装置ＤＥとエンコード装置ＥＮで構成されるが、運用形態の一例として、ブレードサーバのように、１つのブレードにデコード装置ＤＥとエンコード装置ＥＮとを搭載し、このブレードを筐体内に搭載した運用形態が挙げられる。
【００５４】
また、デコード装置ＤＥとエンコード装置ＥＮをそれぞれ異なる装置とし、デコード装置ＤＥとエンコード装置ＥＮをインテリジェントスイッチを備えたネットワークで接続する運用形態も挙げられる。この場合、上述したライン転送に代えて、例えばフレームごとに転送したときは、エンコード装置ＥＮにラインバッファではなく、フレームが記憶できる程度のメモリを設けるようにしておく。
また、ネットワーク上に合成画像コントローラとして動作する装置を設けることにより、図９で説明した配信条件やスコアに基づく合成画像の配信を実現することができる。さらに、データを効率よく転送するためにイーサスイッチと合成画像コントローラ１１０を結び付けて情報の伝達経路を効率よく制御するようにしてもよい。
【００５５】
また、デコード装置ＤＥとエンコード装置ＥＮをソフトウェアで実装する運用形態も挙げられる。特に、エンコード装置ＥＮは、処理負荷がデコード装置ＤＥと比較して小さいので、デコード装置ＤＥはハードウェアで実装し、エンコード装置ＥＮをソフトウェアで実装した運用形態も挙げられる。
【００５６】
なお、デコード装置ＤＥは、エンコード情報を取得するために、動きベクトルの探索、動き補償、重み付き予測、イントラ予測、及びモード決定などを行うが、これらの処理の一部をエンコード装置ＥＮで実行するようにしてもよい。
【００５７】
また、本実施形態に係る動画配信システム１００は、画像サイズが１６の倍数（例えば、画像サイズがＫ×Ｌのとき、Ｋ、Ｌのいずれも１６の倍数）の場合に非常に有効であるが、１６の倍数でない場合であっても、動き検出・モード決定部２１において、オフセット処理されたエンコード情報に基づき、動きベクトルの再探索や、イントラまたはインターなどのモードを決定する。この場合、画像サイズが１６の倍数の場合ほど処理量は減らないが、エンコード情報がない場合と比較して、かなりの処理量を削減できる。
なお、上述した動き検出・モード決定部２１による動きベクトルの再探索や、イントラまたはインターなどのモードの決定は、画像サイズが１６の倍数の場合やそうでない場合であっても、イントラ予測における予測モードの最適化や、動きベクトルの削減を目的として、エンコード情報が有効に利用可能な場合に限り実行するようにしてもよい。
【００５８】
また、本実施形態に係る動画配信システム１００は、上述したようにＨ．２６４に準拠しているが、Ｈ．２６４と同様の処理を行うＭＰＥＧ２（Ｈ.２２２／Ｈ.２６２、ＩＳＯ／ＩＥＣ  １３８１８）や、Ｈ．２６５（ＩＳＯ／ＩＥＣ  ２３００８−２  ＨＥＶＣ）にも適用可能である。具体的には、ＭＰＥＧ２またはＨ．２６５において、動きベクトルの探索など、エンコードにおいて必要となる処理のうち、処理負荷の大半を占める処理をエンコード情報取得部１４が予め行うことでエンコード情報を取得し、エンコード装置ＥＮが、エンコード情報取得部１４が取得したエンコード情報を用いてエンコードを行う。
【００５９】
本実施形態による処理量の軽減例について具体例を用いて説明する。例えば５個の入力画像を単に横に並べて合成する場合、その並べ方は１２０通り存在するが、従来技術では、この１２０個の合成画像の各々で動きベクトルの探索などを行わなければならなかった。一方、本実施形態によれば５個の入力画像の各々で動きベクトルの探索などを行えば、あとは処理負荷の小さい処理を行うだけでよい。
このように動きベクトルの探索の実行回数だけを考慮しても、従来技術では１２０回であるところ、本実施形態ではわずか５回（しかもサイズの小さい画像である）であるため、本実施形態によれば著しく処理量を軽減可能なことが分かる。
より一般的には、ｎ個の入力画像を単に横に並べて合成する場合の動きベクトルの探索の実行回数は、従来技術ではｎ！のオーダー（Ｏ（ｎ！））であるところ、本実施形態によればｎのオーダー（Ｏ（ｎ））であるため、著しく処理量を軽減可能なことが分かる。従って、図２（Ａ）のような５×５個の入力画像に対して処理を行う場合、その処理の軽減量は莫大なものとなる。
【００６０】
上述した実施形態における各装置の処理をコンピュータで実現する場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００６１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６２】
１００  動画配信システム、  ＤＥ、ＤＥ１〜ＤＥｍ  デコード装置、
ＥＮ、ＥＮ１〜ＥＮｎ  エンコード装置、  １０  デコーダ、  １１  特徴検出部
１２  画像処理部、１３、１３−１、１３−２、１３−３  画像記憶部、
１４、１４−１、１４−２、１４−３  エンコード情報取得部
１５、１５−１、１５−２、１５−３  エンコード情報記憶部、
２０  マップ合成部、  ２１  動き検出・モード決定部、  ２２  周波数変換・量子化部
２３  シンタックス変換部、Ｆ１、Ｆ２  縮小フィルタ
【図１】
2016171525.tif 000003
【図２】
2016171525.tif 000004
【図３】
2016171525.tif 000005
【図４】
2016171525.tif 000006
【図５】
2016171525.tif 000007
【図６】
2016171525.tif 000008
【図７】
2016171525.tif 000009
【図８】
2016171525.tif 000010
【図９】
2016171525.tif 000011
【図１０】
2016171525.tif 000012
【手続補正書】
【提出日】平成27年7月8日(2015.7.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
エンコード装置ＥＮは、デコード装置ＤＥから出力された入力画像とエンコード情報、そして合成情報から、複数の入力画像を含む１つの画像としてエンコードした合成画像を配信先に配信する。
合成画像コントローラ１１０は、上述した特徴情報、ユーザＩＤ、配信条件などから、指向データベースを参照することで、上記合成情報をエンコード装置ＥＮに通知する。指向データベース１２０は、ユーザＩＤと関連付けて、配信先のユーザ情報（例えば、性別、年齢、趣味、その他嗜好など）や、ＤＥ＿ＩＤと関連付けて特徴情報やタグ情報が記憶されているデータベースである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
図２（Ａ）は、複数の入力画像を並べた合成画像例を示す図である。図に示されるように、合成画像は、５×５のタイル状に分割した領域で構成され、複数の入力画像Ａ、Ｂ、Ｃ、…を左上から順に並べた１つの画像になっている。図２（Ａ）の場合、Ａ、Ｂ、Ｃの順に左上から順に並べているが、図１の合成画像３に示されるように、Ｂ、Ｃ、…、Ａの順に左上から順に並べるなど、同じ画像を用いて並べる順番を変えた画像も配信することができる。なお、並べる入力画像の数は５×５に限らず、２〜２４、または２６以上の入力画像であってもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
画像処理部１２は、特徴検出部１１から入力された入力画像に対し、画像のサイズ、輝度、及び色などを変更したり、物体の切り出しや、背景の切り出しを行ったり、各種エフェクト（例えば、アニメ風処理や美肌フィルタ処理などによるエフェクト）を追加したりするなどの画像処理を施し、画像処理を施した入力画像を画像記憶部１３に記憶する。
例えば、図２（Ａ）に示されるような５×５の合成画像（1920×1200）にする場合には、画像処理部１２は、入力画像のサイズを384×240のサイズにする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、図４には、画像処理部１２から出力された画像のサイズを変更（図４の場合は縮小）するフィルタが設けられる。図４に示される構成の場合、Ｌサイズは画像処理部１２が出力した画像のサイズそのものとしているため、画像処理部１２と画像記憶部１３−１との間にフィルタは設けられていないが、画像処理部１２と画像記憶部１３−２との間、画像処理部１２と画像記憶部１３−３との間には、それぞれ縮小フィルタＦ１、Ｆ２が設けられている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
従って、本実施形態では、エンコード情報取得部１４−３の処理で得られたエンコード情報は、エンコード情報取得部１４−２に出力され、エンコード情報取得部１４−２が再利用し、エンコード情報取得部１４−２の処理で得られたエンコード情報は、エンコード情報取得部１４−１に出力され、エンコード情報取得部１４−１が再利用することとなる。このようにすることにより、例えばデコード装置ＤＥをハードウェアで実現する場合の回路サイズを抑制でき、またメモリの帯域を削減できる。さらに、サイズに応じて、量子化パラメータなどを個別に設定するようにしてもよい。
こうして複数種類のサイズの画像を出力することにより、図１で示した合成画像１と合成画像２のように、同じ画像でサイズが異なる画像を同時に配信できるようになる。例えば、図１の合成画像２の場合、エンコード装置ＥＮ２は、Ｌサイズの画像Ａ、Ｍサイズの画像Ｂ、Ｓサイズの画像Ｃを取得することで、合成画像２を配信する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
このように、複数種類のサイズの画像を出力したり、異なる画像処理が施された複数種類の画像を出力したりする場合には、出力するサイズや画像処理の種類を合成画像コントローラ１１０に出力する。複数種類のサイズの画像を出力する場合、デコード装置ＤＥは、ＤＥ＿ＩＤとともに、「１．Ｌサイズ」、「２．Ｍサイズ」、「３．Ｓサイズ」を合成画像コントローラ１１０に出力する。同様に、異なる画像処理が施された複数種類の画像を出力する場合、デコード装置ＤＥは、ＤＥ＿ＩＤとともに、「１．アニメ風」、「２．美肌」、「３．イラスト風」を合成画像コントローラ１１０に出力する。
合成画像コントローラ１１０は、これらのサイズや画像処理の情報をＤＥ＿ＩＤと関連付けて、指向データベース１２０に記憶しておく。そして、合成画像コントローラ１１０は、上述した特徴情報、ユーザＩＤ、配信条件などから、指向データベース１２０を参照することで上記合成情報をエンコード装置ＥＮに通知する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図７は、デコード装置ＤＥにより実行される処理を示すフローチャートである。図７において、まずデコーダ１０は、ビットストリームで入力された入力画像をデコードする（ステップＳ１０１）。次いで、特徴検出部１１は、特徴情報を検出し、検出した特徴情報を画像合成コントローラ１１０に出力する（ステップＳ１０２）。
次いで、画像処理部１２は、上述した画像処理を施し（ステップＳ１０３）、画像処理を施した入力画像を画像記憶部１３に記憶する（ステップＳ１０４）。エンコード情報取得部１４は、画像記憶部１３に記憶された入力画像に対して、上述した動きベクトルの探索などを行うことで、エンコード情報を取得し（ステップＳ１０５）、取得したエンコード情報をエンコード情報記憶部１５に記憶する（ステップＳ１０６）。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
図８は、エンコード装置ＥＮにより実行される処理を示すフローチャートである。図８において、配信先から配信要求を受信すると（ステップＳ２０１：ＹＥＳ）、配信先のユーザＩＤを取得する（ステップＳ２０２）。
さらに、配信先から配信条件が通知されたことにより、配信条件があるか否か判定する（ステップＳ２０３）。配信条件が指定された場合には（ステップＳ２０３：ＹＥＳ）、配信条件を取得して（ステップＳ２０４）、ステップＳ２０５に進む。
一方、配信条件が指定されなかった場合（ステップＳ２０３：ＮＯ）、またはステップＳ２０４で配信条件を取得した場合には、マップ合成部２０は、合成画像コントローラ１１０にユーザＩＤを出力する（ステップＳ２０５）。このとき、ステップＳ２０４で配信条件を取得した場合には、配信条件も出力される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
図９は、合成画像コントローラ１１０により実行される処理を示すフローチャートである。まず、合成画像コントローラ１１０は、デコード装置ＤＥから特徴情報、メタ情報を受信したか否か判定する（ステップＳ３０１）。特徴情報、メタ情報を受信した場合には（ステップＳ３０１：ＹＥＳ）、合成画像コントローラ１１０は、特徴情報、メタ情報をＤＥ＿ＩＤと関連付けて指向データベース１２０に記憶して（ステップＳ３１１）、ステップＳ３０１に戻る。
特徴情報、メタ情報を受信していない場合には（ステップＳ３０１：ＮＯ）、合成画像コントローラ１１０は、エンコード装置ＥＮからユーザＩＤを受信したか否か判定する（ステップＳ３０２）。ユーザＩＤを受信していない場合には（ステップＳ３０２：ＮＯ）、ステップＳ３０１に戻る。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
エンコード装置ＥＮからユーザＩＤを受信した場合には（ステップＳ３０２：ＹＥＳ）、合成画像コントローラ１１０は、配信条件があるか否か判定する（ステップＳ３０３）。配信条件がある場合には（ステップＳ３０３：ＹＥＳ）、合成画像コントローラ１１０は、配信条件に基づき特定情報を生成する（ステップＳ３０９）。
具体的に、合成画像コントローラ１１０は、まず特徴情報またはメタ情報が配信条件を満たす画像を出力するデコード装置ＤＥを検索する。そして、検索されたデコード装置ＤＥのうち、合成画像に必要な入力画像の数（例えば、５×５なら２５）だけ、配信条件を満たす特徴情報またはメタ情報が多い順にデコード装置ＤＥを特定し、その特定したデコード装置ＤＥのＤＥ＿ＩＤのリストを特定情報として生成する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
具体的に、合成画像コントローラ１１０は、デコード装置ＤＥのうち、合成画像に必要な入力画像の数だけ、スコアの大きい順にデコード装置ＤＥを特定し、その特定したデコード装置ＤＥのＤＥ＿ＩＤのリストを特定情報として生成する。
次いで、合成画像コントローラ１１０は、配置情報を生成する。具体的に、合成画像コントローラ１１０は、配置条件のときと同様に、スコアが大きい画像が目立つような配置情報を生成し（ステップＳ３０７）、ステップＳ３０８に進む。
例えば、５×５の合成画像とする場合、配置条件のときと同様に、中央の画像に、スコアが最も大きい画像が配置されるように配置情報を生成する。こうしてスコアが大きいほど、中央に近い位置に配置されるような配置情報を生成してもよい。
そして、合成画像コントローラ１１０は、合成情報をエンコード装置ＥＮに通知して（ステップＳ３０８）、本処理を終了する。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2016171525.tif 000013