(57)【特許請求の範囲】
【請求項１】
画像を撮像する撮像部が撮像した被写体が含まれる画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された、前記被写体が含まれた作例を受信する結果受信部と、
前記結果受信部により受信された作例に関する情報を前記画像処理装置へ送信する選択結果送信部と、
前記選択結果送信部により送信された作例に基づいて前記画像処理装置で生成された、当該作例のように前記被写体を撮像する際の設定条件を示す設定情報を受信する設定受信部と、
前記設定受信部により受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更する設定変更部と、
を備える、撮像制御装置。
【請求項２】
前記撮像部が撮像した画像を解析する画像処理部をさらに備え、
前記画像情報には、前記画像処理部の解析の結果が含まれる、請求項１に記載の撮像制御装置。
【請求項３】
前記画像処理部は、前記撮像部が撮像した画像の特徴量を抽出する、請求項２に記載の撮像制御装置。
【請求項４】
前記画像情報として、該画像情報の基となる画像の撮像時の環境情報が含まれる、請求項１に記載の撮像制御装置。
【請求項５】
前記画像情報として、該画像情報の基となる画像の撮像時の機器情報が含まれる、請求項１に記載の撮像制御装置。
【請求項６】
前記画像情報として、該画像情報の基となる画像の撮像時のユーザに関する情報が含まれる、請求項１に記載の撮像制御装置。
【請求項７】
前記ユーザに関する情報は、前記ユーザによる撮像の履歴の情報を含む、請求項６に記載の撮像制御装置。
【請求項８】
前記ユーザに関する情報は、前記ユーザの趣味嗜好の情報を含む、請求項６に記載の撮像制御装置。
【請求項９】
前記ユーザに関する情報は、前記ユーザの生体情報を含む、請求項６に記載の撮像制御装置。
【請求項１０】
前記設定受信部が受信する前記設定情報は、前記撮像部で撮像しようとする画像に含まれる被写体の内容に関する情報を含む、請求項１に記載の撮像制御装置。
【請求項１１】
前記設定受信部が受信する前記設定情報は、前記撮像部で撮像しようとする画像の撮像位置に関する情報を含む、請求項１に記載の撮像制御装置。
【請求項１２】
前記設定受信部が受信する前記設定情報は、前記撮像部で撮像しようとする画像の撮像時間に関する情報を含む、請求項１に記載の撮像制御装置。
【請求項１３】
前記結果受信部が受信した１以上の作例を表示する画像表示部をさらに備える、請求項１に記載の撮像制御装置。
【請求項１４】
前記画像表示部は、前記結果受信部が受信した１以上の作例が撮像された場所を地図上に紐付けて表示する、請求項１３に記載の撮像制御装置。
【請求項１５】
前記画像を撮像する撮像部をさらに備える、請求項１に記載の撮像制御装置
【請求項１６】
前記画像処理装置に前記画像情報を送信する画像情報送信部をさらに備える、請求項１に記載の撮像制御装置。
【請求項１７】
画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された被写体が含まれる画像に関する情報である画像情報を用いて、前記被写体が含まれた作例を取得する作例検索部と、
前記作例検索部が取得した前記作例を前記撮像制御装置に送信する作例送信部と、
前記作例送信部が送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように前記被写体を撮像する際の設定条件を示す設定情報を生成する設定生成部と、
前記設定生成部が生成した前記設定情報を前記撮像制御装置に送信する設定送信部と、
を備える、画像処理装置。
【請求項１８】
画像を撮像する撮像部が撮像した被写体が含まれる画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された、前記被写体が含まれた作例を受信することと、
受信された前記作例に関する情報を前記画像処理装置へ送信することと、
送信された前記作例に基づいて前記画像処理装置で生成された、当該作例のように前記被写体を撮像する際の設定条件を示す設定情報を受信することと、
受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更することと、
を備える、撮像制御方法。
【請求項１９】
画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された所定の被写体が含まれる画像に関する情報である画像情報を用いて、前記被写体が含まれた作例を取得することと、
取得した前記作例を前記撮像制御装置に送信することと、
送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように前記被写体を撮像する際の設定条件を示す設定情報を生成することと、
生成した前記設定情報を前記撮像制御装置に送信することと、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像制御装置、画像処理装置、撮像制御方法及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いて画像を撮影しようとするユーザに対して、画像の撮影を支援する技術がある（例えば特許文献１，２等参照）。特許文献１には、撮影画像から仮撮像情報を生成し、その仮撮像情報に近い画像をサーバで検索し、撮像装置を制御するための制御情報をサーバで作成し、撮像装置へ送信することで、高度な写真撮影の楽しみを視聴者に提供する撮影支援システムが開示されている。また特許文献２には、撮影画像をサーバにアップロードし、画像に基づいて被写体画像を撮影するのに適した撮影条件を設定し、その撮影条件情報を、被写体画像を撮像した撮影装置に送信する撮影支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５５０８８号公報
【特許文献２】特開２００２−２９０８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、構図等は撮影者の好みにより変化するので、撮影者の好みを数値化し、提示するパラメータを自動的に１つに絞り込むことは難しく、必ずしもユーザの思い通りのパラメータが設定されるとは限らないという問題があった。また、撮影した画像を全て伝送すると、伝送帯域への負荷が大きくなるという問題があった。【０００５】
そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、ネットワークへの負荷を低く抑えつつ、ユーザに対して適切な撮影アドバイスを提供することが可能な、新規かつ改良された撮像制御装置、画像処理装置、撮像制御方法及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本開示によれば、画像を撮像する撮像部が撮像した画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された作例を受信する結果受信部と、前記結果受信部により受信された作例に関する情報を前記画像処理装置へ送信する選択結果送信部と、前記選択結果送信部により送信された作例に基づいて前記画像処理装置で生成された、当該作例のように撮像する際の設定条件を示す設定情報を受信する設定受信部と、前記設定受信部により受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更する設定変更部と、を備える、撮像制御装置が提供される。【０００７】
かかる構成によれば、結果受信部は、画像を撮像する撮像部が撮像した画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された作例を受信し、選択結果送信部は、結果受信部により受信された作例に関する情報を前記画像処理装置へ送信する。設定受信部は、前記選択結果送信部により送信された作例に基づいて前記画像処理装置で生成された、当該作例のように撮像する際の設定条件を示す設定情報を受信し、設定変更部は、前記設定受信部により受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更する。その結果、本開示の撮像制御装置は、ネットワークへの負荷を低く抑えつつ、ユーザに対して適切な撮影アドバイスを提供することが可能となる。【０００８】
また本開示によれば、画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された画像に関する情報である画像情報を用いて作例を取得する作例検索部と、前記作例検索部が取得した前記作例を前記撮像制御装置に送信する作例送信部と、前記作例送信部が送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように撮像する際の設定条件を示す設定情報を生成する設定生成部と、前記設定生成部が生成した前記設定情報を前記撮像制御装置に送信する設定送信部と、を備える、画像処理装置が提供される。【０００９】
かかる構成によれば、作例検索部は、画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された画像に関する情報である画像情報を用いて作例を取得し、作例送信部は、前記作例検索部が取得した前記作例を前記撮像制御装置に送信する。設定生成部は、前記作例送信部が送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように撮像する際の設定条件を示す設定情報を生成し、設定送信部は、前記設定生成部が生成した前記設定情報を前記撮像制御装置に送信する。その結果、本開示の画像処理装置は、ネットワークへの負荷を低く抑えつつ、ユーザに対して適切な撮影アドバイスを提供することが可能となる。【００１０】
また本開示によれば、画像を撮像する撮像部が撮像した画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された作例を受信することと、受信された前記作例に関する情報を前記画像処理装置へ送信することと、送信された前記作例に基づいて前記画像処理装置で生成された、当該作例のように撮像する際の設定条件を示す設定情報を受信することと、受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更することと、を備える、撮像制御方法が提供される。【００１１】
また本開示によれば、画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された画像に関する情報である画像情報を用いて作例を取得することと、取得した前記作例を前記撮像制御装置に送信することと、送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように撮像する際の設定条件を示す設定情報を生成することと、生成した前記設定情報を前記撮像制御装置に送信することと、を備える、画像処理方法が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、ネットワークへの負荷を低く抑えつつ、ユーザに対して適切な撮影アドバイスを提供することが可能な、新規かつ改良された撮像制御装置、画像処理装置、撮像制御方法及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態にかかる情報処理システム１の構成例を示す説明図である。
【図２】本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成例を示す説明図である。
【図３】本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成をさらに詳細に説明する説明図である。
【図４】画像情報生成部２３２の構成について示す説明図である。
【図５】画像特徴量抽出部２８１の動作例を示す流れ図である。
【図６】画像特徴量抽出部２８１の動作例を示す流れ図である。
【図７】画像情報生成部２３２の別の構成を示す説明図である。
【図８】データ解析部１２１の構成を示す説明図である。
【図９】アドバイス生成部１２２の構成を示す説明図である。
【図１０】処理実行部２５１の構成を示す説明図である。
【図１１】結果表示部２９２によって表示部２５０へ表示される作例の表示例を示す説明図である。
【図１２】結果表示部２９２によって表示部２５０へ表示される作例の表示例を示す説明図である。
【図１３】結果表示部２９２によって表示部２５０へ表示される作例の表示例を示す説明図である。
【図１４】アシスト情報提示部２９６によるアシスト情報の表示部２５０への提示処理を示す説明図である。
【図１５】アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。
【図１６】アシスト情報提示部２９６によるアシスト情報の表示部２５０への別の提示処理を示す説明図である。
【図１７】アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。
【図１８】アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。
【図１９】本開示の第２の実施形態にかかる撮影アドバイスサーバ１１００およびデジタルカメラ１２００の機能構成例を示す説明図である。
【図２０】本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作例を示す説明図である。
【図２１】本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作例を示す説明図である。
【図２２】一実施形態に係る画像処理部の概略的な構成を示すブロック図である。
【図２３】一実施形態に係る画像処理部の概略的な構成を示すブロック図である。
【図２４】図２２に示したＥＬ符号化部の構成の一例を示すブロック図である。
【図２５】図２３に示したＥＬ復号部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
＜１．本開示の第１の実施形態＞
［システムの構成例］
［撮影アドバイスサーバおよびデジタルカメラの機能構成例および動作例］
＜２．本開示の第２の実施形態＞
［システムの構成例］
［画像認識サーバおよびデジタルカメラの機能構成例および動作例］
＜３．まとめ＞
【００１６】
＜１．本開示の第１の実施形態＞
［システムの構成例］
まず、本開示の第１の実施形態にかかる情報処理システムの構成例について説明する。図１は、本開示の第１の実施形態にかかる情報処理システム１の構成例を示す説明図である。以下、図１を用いて本開示の第１の実施形態にかかる情報処理システム１の構成例について説明する。
【００１７】
図１に示したように、本開示の第１の実施形態にかかる情報処理システム１は、撮影アドバイスサーバ１００と、デジタルカメラ２００と、を含んで構成される。
【００１８】
撮影アドバイスサーバ１００は、デジタルカメラ２００に対して、デジタルカメラ２００で画像を撮影する際のアドバイス情報を生成する。撮影アドバイスサーバ１００は、１つまたは２つ以上のサーバ装置で構成される。図１に示した例では、撮影アドバイスサーバ１００は、３つのサーバ装置１００ａ、１００ｂ、１００ｃからなる。以下の説明では、サーバ装置１００ａ、１００ｂ、１００ｃを一纏めにして撮影アドバイスサーバ１００として説明する。
【００１９】
デジタルカメラ２００は、電子的に画像を撮影する装置である。デジタルカメラ２００は、ネットワークへの接続手段を備えており、本実施形態では、デジタルカメラ２００は、ネットワーク１０を介して撮影アドバイスサーバ１００との間で通信を行う機能を有している。
【００２０】
本実施形態では、デジタルカメラ２００で画像を撮影した際、または撮影しようとしている際に、所定の情報が、デジタルカメラ２００からネットワーク１０を介して撮影アドバイスサーバ１００へ送信される。撮影アドバイスサーバ１００は、デジタルカメラ２００から送信されてきた情報を解析して、ネットワーク１０を介してデジタルカメラ２００へ所定の撮影アドバイス情報を送信する。デジタルカメラ２００のユーザは、撮影アドバイスサーバ１００から送信されてきた撮影アドバイス情報を用いて、デジタルカメラ２００による画像の撮影が可能となる。
【００２１】
本開示の第１の実施形態にかかる情報処理システム１は、図１に示すように、画像を入力するローカル側（デジタルカメラ２００）と、撮影アシストのための解析、およびアシスト情報作成のための処理を担当するサーバ側（撮影アドバイスサーバ１００）とに分かれて構成されている。
【００２２】
撮影アシストのための画像認識処理およびアシスト情報作成には、解析用データベースが用いられる。そして、解析用データベースの情報量を多く用意できれば、ローカル側で得られる画像を用いて、精度の高い撮影アシストを提供することが可能となる。また、サーバ側で分担処理を行うことで、ローカル側での処理に比べて高度かつ高速な演算処理が可能となる。
【００２３】
以上、図１を用いて本開示の第１の実施形態にかかる情報処理システム１の構成例について説明した。次に、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成例について説明する。
【００２４】
［撮影アドバイスサーバおよびデジタルカメラの機能構成例および動作例］
図２は、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成例を示す説明図である。以下、図２を用いて本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成例について説明する。
【００２５】
図２に示したように、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００は、受信部１１０と、情報処理部１２０と、送信部１３０と、データベース１４０と、を含んで構成される。また、図２に示したように、本開示の第１の実施形態にかかるデジタルカメラ２００は、レンズ部２１０と、撮像素子２２０と、画像処理部２３０と、センサ部２４０と、表示部２５０と、記憶部２６０と、送信部２７０と、受信部２８０と、を含んで構成される。
【００２６】
受信部１１０は、ネットワーク１０を通じて、デジタルカメラ２００から各種情報やデータを受信する。情報処理部１２０は、受信部１１０がネットワーク１０を通じて受信した、デジタルカメラ２００から送られてくる各種情報やデータを用いた各種情報処理を実行する。送信部１３０は、ネットワーク１０を通じて、デジタルカメラ２００に向けて、情報処理部１２０で処理された各種情報やデータを送信する。データベース１４０は、情報処理部１２０による情報処理で用いられる各種データが格納される。
【００２７】
本実施形態にかかる撮影アドバイスサーバ１００は、複数のサーバ装置１００ａ、１００ｂ、１００ｃが一体となることで図２に示したような機能構成を有する。
【００２８】
レンズ部２１０は、被写体からの光を集約して撮像素子２２０へ照射する。撮像素子２２０は、レンズ部２１０で集約された光から電気信号を生成する。撮像素子２２０が生成した電気信号は画像処理部２３０で画像処理されることで画像データになる。
【００２９】
画像処理部２３０は、撮像素子２２０が生成した電気信号に対してＡ／Ｄ変換処理、フィルタリング処理などを施して画像データを生成する。また画像処理部２３０は、生成した画像データに対して、さらに撮影アドバイスサーバ１００に送信するための情報を生成するための画像処理を実行する。画像処理部２３０が生成した画像データは、表示部２５０で表示されたり、また記憶部２６０に記憶されたりする。
【００３０】
センサ部２４０は、デジタルカメラ２００での撮影時に、画像データに付随する種々の情報を得るためのセンサである。センサ部２４０として、例えば、測距センサ、位置測位センサ、ジャイロセンサ、生体センサ等が設けられていても良い。センサ部２４０は、デジタルカメラ２００での撮影時に取得した情報を画像処理部２３０に供給する。
【００３１】
表示部２５０は、デジタルカメラ２００の撮影処理によって画像処理部２３０で生成された画像データを表示したり、撮影アドバイスサーバ１００から送信されてきた撮影アドバイス情報を表示したりする。表示部２５０は、液晶ディスプレイ、有機ＥＬディスプレイ等の平板表示装置が用いられる。
【００３２】
記憶部２６０は、デジタルカメラ２００の撮影処理によって画像処理部２３０で生成された画像データを記憶する。記憶部２６０は、例えば所定の記憶容量を有するメモリカード等で構成される。
【００３３】
送信部２７０は、画像処理部２３０が生成した、撮影アドバイスサーバ１００に送信するための情報を、ネットワーク１０を通じて撮影アドバイスサーバ１００に送信する。受信部２８０は、撮影アドバイスサーバ１００で生成された各種情報やデータを、ネットワーク１０を通じて受信する。
【００３４】
以上、図２を用いて本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成例について説明した。続いて、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成についてさらに詳細に説明する。
【００３５】
図３は、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成をさらに詳細に説明する説明図である。以下、図３を用いて本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成についてさらに詳細に説明する。
【００３６】
図３に示したように、撮影アドバイスサーバ１００は、データ解析部１２１と、アドバイス生成部１２２と、カメラ設定生成部１２３と、を含んで構成される。またデジタルカメラ２００は、画像入力部２３１と、画像情報生成部２３２と、処理実行部２５１と、提示部２５２と、を含んで構成される。
【００３７】
まずデジタルカメラ２００の機能構成から説明する。画像入力部２３１は、撮影アドバイスの対象として認識したい画像データが入力される。撮影アドバイスの対象として認識したい画像データは画像処理部２３０により生成される。画像入力部２３１は、撮影アドバイスの対象として認識したい画像データが入力されると、その画像データを画像情報生成部２３２へ供給する。
【００３８】
画像情報生成部２３２は、画像入力部２３１から供給される画像データを用いて、撮影アドバイスサーバ１００へ送信する画像情報を生成する。画像情報生成部２３２が生成する画像情報については後に詳述する。画像情報生成部２３２で生成された画像情報は、送信部２７０からネットワーク１０を通じて撮影アドバイスサーバ１００に送られ、撮影アドバイスサーバ１００での処理に用いられる。
【００３９】
処理実行部２５１は、撮影アドバイスサーバ１００からネットワーク１０を通じて送信されてくる撮影アドバイス情報を用いて各種処理を実行する。例えば、処理実行部２５１は、撮影アドバイスサーバ１００から送信されてくる撮影アドバイス情報に基づいて、表示部２５０に所定の撮影アドバイス情報を表示する処理を実行する。また、表示部２５０に表示された撮影アドバイス情報に対してユーザが所望の撮影アドバイスを選択すると、その選択された撮影アドバイスの情報を、ネットワーク１０を通じて撮影アドバイスサーバ１００に送る処理を実行する。
【００４０】
提示部２５２は、撮影アドバイスサーバ１００からネットワーク１０を通じて送信されてくる撮影アドバイス情報を表示部２５０に表示させる処理を実行する。
【００４１】
続いて撮影アドバイスサーバ１００の機能構成について説明する。データ解析部１２１は、デジタルカメラ２００からネットワーク１０を通じて伝送された画像情報に基づいて所定のデータ解析を行う。データ解析部１２１は、所定のデータ解析の結果をアドバイス生成部１２２に送る。
【００４２】
アドバイス生成部１２２は、データ解析部１２１によるデータ解析の結果に基づいて、画像情報を送信してきたデジタルカメラ２００に伝送するための撮影アドバイス情報を生成する。アドバイス生成部１２２は、撮影アドバイス情報の生成に際してはデータベース１４０に格納されているデータを参照する。アドバイス生成部１２２は、撮影アドバイス情報を生成すると、生成した撮影アドバイス情報を、画像情報を送信してきたデジタルカメラ２００に伝送する。アドバイス生成部１２２は、例えばデジタルカメラ２００からネットワーク１０を通じて伝送された画像情報に関連する作例を、データベース１４０から抽出することで、撮影アドバイス情報を生成する。アドバイス生成部１２２は、データベース１４０から作例を複数抽出し、デジタルカメラ２００に提示する。
【００４３】
カメラ設定生成部１２３は、撮影アドバイスサーバ１００からデジタルカメラ２００に送信し、デジタルカメラ２００で選択された撮影アドバイス情報に対応する、デジタルカメラ２００の撮影設定を生成する。カメラ設定生成部１２３は、デジタルカメラ２００で選択された撮影アドバイス情報に対応する、デジタルカメラ２００の撮影設定を生成すると、生成した撮影設定をデジタルカメラ２００に送信する。処理実行部２５１は、カメラ設定生成部１２３で生成された撮影設定を受信すると、受信した撮影設定に基づいてデジタルカメラ２００の撮影設定を変更する。また処理実行部２５１は、デジタルカメラ２００の撮影設定を変更すると、その変更の内容を、提示部２５２によって表示部２５０に表示させるようにしても良い。
【００４４】
以上、図３を用いて本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００の機能構成について詳細に説明した。続いて、図３に示した画像情報生成部２３２の構成についてさらに詳細に説明する。
【００４５】
図４は、画像情報生成部２３２の構成について示す説明図である。以下、図４を用いて画像情報生成部２３２の構成について詳細に説明する。
【００４６】
図４に示したように、画像情報生成部２３２は、画像特徴量抽出部２８１と、メタ情報取得部２８２と、を含んで構成される。
【００４７】
画像特徴量抽出部２８１は、画像入力部２３１から供給される画像データの特徴量を抽出する。画像特徴量抽出部２８１が抽出する画像データの特徴量は様々なものがあり、認識したい物体によって最適な特徴量を選択する。画像特徴量抽出部２８１は、画像入力部２３１から供給される画像や、認識したい対象によって特徴量の抽出方法を変化させる。画像特徴量抽出部２８１が抽出した特徴量は、画像情報として、デジタルカメラ２００からネットワーク１０を通じて撮影アドバイスサーバ１００に送信される。
【００４８】
画像特徴量抽出部２８１で画像データの特徴量を抽出することで、画像そのものをデジタルカメラ２００からネットワーク１０を通じて送信しないため、ネットワーク１０に向けて送信するデータ量を抑えることができる。また、画像特徴量抽出部２８１で画像データの特徴量を抽出することで、画像そのものをデジタルカメラ２００からネットワーク１０を通じて送信しないため、画像のプライバシー情報を保持することが可能となる。また画像特徴量抽出部２８１で画像データの特徴量を抽出することで、画像そのものをデジタルカメラ２００からネットワーク１０を通じて送信しないため、ネットワーク１０に送るデータ量を削減することができる、ネットワーク１０に与える負荷を低く抑えながら、撮影アドバイスサーバ１００で認識処理をさせることができる。
【００４９】
メタ情報取得部２８２は、デジタルカメラ２００からネットワーク１０を通じて撮影アドバイスサーバ１００に送信される画像情報に付加するメタ情報を取得する、例えばメタ情報取得部２８２は、デジタルカメラ２００の機器情報（デバイス情報）や環境情報を取得する。デジタルカメラ２００の環境情報としては、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を利用したデジタルカメラ２００の位置情報、撮影時のデジタルカメラ２００の時刻、焦点距離などのデジタルカメラ２００のパラメータ、測距センサや生体センサなどの撮像センサ以外のセンサ情報を取得する。もちろんメタ情報取得部２８２が取得するメタ情報はかかる例に限定されるものではないことは言うまでもない。
【００５０】
画像特徴量抽出部２８１で計算された特徴量や、メタ情報取得部２８２で取得されたメタデータは、まとめて画像情報送信部２３３からネットワーク１０を通じて撮影アドバイスサーバ１００に送信される。
【００５１】
以上、画像情報生成部２３２の構成について説明した。続いて、画像特徴量抽出部２８１の動作例について説明する。
【００５２】
図５および図６は、画像特徴量抽出部２８１の動作例を示す流れ図である。図５に示した流れ図は、人間の手を認識する際の特徴量抽出動作を、図６に示した流れ図は、一般物体の例として車を認識する際の特徴量抽出動作の例を示したものである。以下、図５および図６を用いて画像特徴量抽出部２８１の動作例について説明する。
【００５３】
画像特徴量抽出部２８１は、画像入力部２３１から供給される画像データを入力すると（ステップＳ１０１、Ｓ１１１）、入力した画像データを変換する（ステップＳ１０２、Ｓ１１２）。画像特徴量抽出部２８１は、手を認識する際には、色情報に依らない認識処理を行う。従って画像特徴量抽出部２８１は、入力画像データをＲＧＢのカラー画像からグレースケール画像に変換する。なお、色情報に依る認識処理を行う場合には、このステップＳ１０２、Ｓ１１２の画像変換処理はスキップしても良い。
【００５４】
上記ステップＳ１０２、Ｓ１１２で、画像特徴量抽出部２８１が画像データを変換すると、画像特徴量抽出部２８１は、変換後の画像データに対して画像特徴量を抽出する処理を実行する（ステップＳ１０３、Ｓ１１３）。画像特徴量抽出部２８１は、手を認識する際には、上記ステップＳ１０２で得られるグレースケール画像を用いて、矩形フィルタ（Ｒｅｃｔａｎｇｌｅ）処理を行う。また、画像特徴量抽出部２８１は、車を認識する際には、上記ステップＳ１１２で得られるグレースケール画像を用いて、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ；勾配方向ヒストグラム）等によって画像特徴量の抽出を行う。
【００５５】
もちろん、特徴量の計算方法は一つに限られるものではなく、様々な計算方法を用いてもよい。そして、１つの画像データについて複数の方法で特徴量を計算し、計算した特徴量を撮影アドバイスサーバ１００に送信し、撮影アドバイスサーバ１００に、その特徴量と、データベース１４０に格納されているデータとを照合させるようにしてもよい。また、デジタルカメラ２００では、フィルタ処理の途中までを実行し、撮影アドバイスサーバ１００に後半の処理を行わせるなどして、処理を分散させるようにしてもよい。
【００５６】
上記ステップＳ１０３、Ｓ１１３で、画像特徴量抽出部２８１が、変換後の画像データに対して画像特徴量を抽出する処理を実行すると、続いて画像情報送信部２３３は、画像特徴量抽出部２８１が抽出した画像特徴量のデータを、ネットワーク１０を通じて撮影アドバイスサーバ１００に送信する（ステップＳ１０４、Ｓ１１４）。
【００５７】
上記ステップＳ１０４、Ｓ１１４で、画像特徴量抽出部２８１が抽出した画像特徴量のデータが撮影アドバイスサーバ１００に送信されると、画像特徴量抽出部２８１は、異なる物体のサイズに対応するために、画像スケールを変換する（ステップＳ１０５、Ｓ１１５）。画像のスケール変換は、認識させたい物体の大きさになるまで繰り返し行う。
【００５８】
画像スケール変換後の画像サイズと指定サイズとを比較し（ステップＳ１０６、Ｓ１１６）、画像スケール変換後の画像サイズが指定サイズを上回っている場合は、画像特徴量抽出部２８１は、上記ステップＳ１０３、Ｓ１１３に戻って画像特徴量を抽出する処理を再度実行する。一方、画像スケール変換後の画像サイズが指定サイズ以下の場合は、画像特徴量抽出部２８１は画像特徴量の抽出処理を終了する。なお、画像スケール変換の回数は自由にユーザが設定しても良い。
【００５９】
以上、図５および図６を用いて画像特徴量抽出部２８１の動作例について説明した。なお、図４に示した画像情報生成部２３２の構成では、画像データの特徴量を抽出する画像特徴量抽出部２８１を設けていたが、本開示ではかかる例に限定されるものではない。図７は、画像情報生成部２３２の別の構成を示す説明図である。図７では、画像情報生成部２３２に画像特徴量抽出部２８１が含まれていない。図７に示した例では、デジタルカメラ２００は、画像入力部２３１から得た画像を、特徴量を取得することなく、そのまま画像データとして撮影アドバイスサーバ１００へ送信する。これにより、デジタルカメラ２００での認識処理にかかる負荷を低減させることが可能となる。この場合、画像データの認識処理は撮影アドバイスサーバ１００で行われることとなる。
【００６０】
次に、撮影アドバイスサーバ１００のデータ解析部１２１の構成について詳細に説明する。図８は、データ解析部１２１の構成を示す説明図である。以下、図８を用いてデータ解析部１２１の構成について詳細に説明する。
【００６１】
図８に示したように、データ解析部１２１は、特徴量データ受信部１５１と、特徴量照合部１５２と、を含んで構成される。
【００６２】
特徴量データ受信部１５１は、デジタルカメラ２００からネットワーク１０を通じて送信された特徴量のデータを受信する。特徴量データ受信部１５１は、デジタルカメラ２００から特徴量のデータを受信すると、受信した特徴量のデータを特徴量照合部１５２へ送る。
【００６３】
特徴量照合部１５２は、特徴量データ受信部１５１が受信した特徴量のデータと、認識用のモデルデータベース１５３に格納されているデータとの照合を行う。特徴量照合部１５２の照合処理によって得られる認識結果には、例えば認識した物体の種類、画像中の位置、画像におけるサイズ、構図などの情報が含まれる。
【００６４】
一般的に、データベースとの照合処理は処理が重くなる傾向があるが、このデータベースとの照合処理を撮影アドバイスサーバ１００で実施することで、高速な照合処理が可能になり、またデータベースなどに格納されるモデルデータをローカル側（デジタルカメラ２００）で管理せずに済むので、ローカル側は低リソースで、画像データの認識処理を実現できる。
【００６５】
例えば、人間の手を認識する場合、撮影アドバイスサーバ１００は、特徴量データの受信後、特徴量照合部１５２にてモデルデータベース１５３との照合を行う。手認識の場合は、撮影アドバイスサーバ１００は、複数の手形状（グー、チョキ、パー、つまみ、指差しなど）、姿勢、大きさ情報（傾きなど）との照合を行う。撮影アドバイスサーバ１００は、画像データにおける手の情報だけでなく、複数の処理結果をまとめることにより、グループ情報（例えば、画像が集合写真であるとか、スポーツをしている等の高次の認識結果）を取得することも可能となる。
【００６６】
以上、図８を用いてデータ解析部１２１の構成について説明した。続いて、アドバイス生成部１２２の構成について詳細に説明する。
【００６７】
図９は、アドバイス生成部１２２の構成を示す説明図である。以下、図９を用いてアドバイス生成部１２２の構成について詳細に説明する。
【００６８】
図９に示したように、アドバイス生成部１２２は、認識結果取得部１６１と、作例検索部１６２と、提示情報生成部１６３と、アドバイス情報送信部１６４と、を含んで構成される。
【００６９】
認識結果取得部１６１は、データ解析部１２１による認識結果を取得する。認識結果取得部１６１は、取得した認識結果を作例検索部１６２に供給する。
【００７０】
作例検索部１６２は、認識結果取得部１６１から供給された、データ解析部１２１による認識結果を用いて、モデルデータベース１６５の中から、認識結果に類似するシーンが映っている画像を作例として検索する。作例検索部１６２は、認識結果に類似するシーンが映っている画像を作例として検索すると、その作例を提示情報生成部１６３へ供給する。作例検索部１６２は、検索結果として１つの作例のみを取得してもよいが、デジタルカメラ２００のユーザへ撮影アドバイス情報を提供するという観点から、検索結果として２つ以上の作例を取得することが望ましい。
【００７１】
提示情報生成部１６３は、作例検索部１６２による検索結果を、その作例の撮影状況やデジタルカメラ２００のユーザの嗜好性に応じて適宜絞込みを行い、デジタルカメラ２００のユーザに提示するための作例を生成する。この際、撮影アドバイスサーバ１００では、１つのシーンに絞り込まずに複数の作例を用意することがより望ましい。撮影アドバイスサーバ１００で複数の作例を用意することで、デジタルカメラ２００のユーザは、好みに応じた作例の選択の幅を広げることが可能となる。そして、撮影アドバイスサーバ１００側のデータベースを利用することで、撮影アドバイスサーバ１００は作例を多く用意することが可能となり、デジタルカメラ２００のユーザの好みが、より反映しやすくなる。
【００７２】
提示情報生成部１６３は、作例として、例えば、異なるカメラ設定やカメラ位置から、同一の被写体が撮影されているシーンを複数用意する。例えば、タワー、灯台、高層ビル等の特徴的な被写体が、様々な位置、構図、照度、彩度、絞りなど異なるカメラ設定により撮影された写真を用意する。また、提示情報生成部１６３は、作例として、例えば、プロの写真家が撮影した作例を用意することで、プロの写真家が撮影したような写真がデジタルカメラ２００で簡単に撮影できるような作例をデジタルカメラ２００に提供する。
【００７３】
また提示情報生成部１６３は、作例として、例えば、デジタルカメラ２００で撮影された画像の撮影場所や撮影時間等のメタデータから、その撮影場所の近くで行われる予定のイベントも合わせて検索し、作例として提示してもよい。例えば、デジタルカメラ２００で撮影された画像の撮影場所や撮影時間等のメタデータから、近くで花火大会が開催されることが分かった場合は、提示情報生成部１６３は花火の作例を提示する。
【００７４】
提示情報生成部１６３が用意する作例を、よりデジタルカメラ２００のユーザに最適化する方法として、例えば、デジタルカメラ２００のユーザが撮影している位置情報、時間をメタ情報から取得し、作例の絞込みに用いるようにしてもよい。例えば、提示情報生成部１６３は、デジタルカメラ２００のユーザが撮影している位置情報や時間の情報から、過去に同じ場所で同じ時間帯に同じ対象物を撮影した作例に絞り込んでもよい。
【００７５】
また、デジタルカメラ２００から送信されるメタデータから、デジタルカメラ２００のユーザの好みの作家情報や、ユーザの撮影履歴、普段閲覧している写真・雑誌などの履歴情報から検出された嗜好データが利用できる場合は、提示情報生成部１６３は、それらの情報を利用して、ユーザの好みに近い作例を提示するようにしてもよい。また提示情報生成部１６３は、デジタルカメラ２００から送信されるメタデータと、撮影アドバイスサーバ１００側のデータベースとから、ユーザの好みに近い作例を提示するようにしてもよい。例えば、デジタルカメラ２００から送信されるメタデータを、ユーザを識別するための情報（例えばユーザＩＤ等）等の最低限の情報とする。提示情報生成部１６３は、その情報を用いて、撮影アドバイスサーバ１００側のデータベースからそのユーザの嗜好データを引き出すことで、ユーザの好みに近い作例を提示するようにしてもよい。
【００７６】
また、デジタルカメラ２００から送信されるメタデータから、デジタルカメラ２００のユーザの年齢、性別などの個人情報が利用できる場合にも、提示情報生成部１６３は、それらの情報を利用して、ユーザの好みに近い作例を提示するようにしてもよい。例えば、デジタルカメラ２００から送信されるメタデータから、デジタルカメラ２００のユーザが若い年代の女性であることが分かるならば、提示情報生成部１６３は、デジタルカメラ２００の撮影パラメータを調整して明るい印象になるように設定を変更するような作例を用意してもよい。また、デジタルカメラ２００から送信されるメタデータから、デジタルカメラ２００のユーザの生体情報が取得できる場合には、提示情報生成部１６３は、その生体情報を利用して個人を特定し、その個人に応じた作例を提示するようにしてもよい。また提示情報生成部１６３は、デジタルカメラ２００から送信されるメタデータと、撮影アドバイスサーバ１００側のデータベースとから、ユーザの年齢、性別などの個人情報を利用して、ユーザの好みに近い作例を提示するようにしてもよい。例えば、デジタルカメラ２００から送信されるメタデータを、ユーザを識別するための情報（例えばユーザＩＤ等）等の最低限の情報とする。提示情報生成部１６３は、その情報を用いて、撮影アドバイスサーバ１００側のデータベースからそのユーザの年齢、性別などの個人情報を引き出すことで、ユーザの好みに近い作例を提示するようにしてもよい。
【００７７】
また、データ解析部１２１による解析の結果、デジタルカメラ２００で撮影された対象が人の場合に、さらに特定のアクションや振る舞いが認識結果に含まれていたときは、提示情報生成部１６３は、デジタルカメラ２００の設定を絞り込むような作例を提示するようにしても良い。例えば、デジタルカメラ２００で撮影された写真を用いてデータ解析部１２１で認識処理をした際に、複数の手のチョキ（ピースサイン）形状を認識した場合は、提示情報生成部１６３は、デジタルカメラ２００で撮影された写真を「集合写真、記念写真」と判定し、その判定結果から、集合写真に適したカメラ設定や、おすすめの構図に反映させることが可能となる。
【００７８】
アドバイス情報送信部１６４は、提示情報生成部１６３で生成された作例をデジタルカメラ２００へ送信する。デジタルカメラ２００は、提示情報生成部１６３で生成された作例をアドバイス情報送信部１６４から提供されることで、提示情報生成部１６３で生成された作例をユーザに提示することが出来る。
【００７９】
以上、図９を用いてアドバイス生成部１２２の構成について詳細に説明した。次に、本開示の一実施形態にかかるデジタルカメラ２００に含まれる、処理実行部２５１の構成について詳細に説明する。
【００８０】
図１０は、本開示の第１の実施形態にかかるデジタルカメラ２００に含まれる、処理実行部２５１の構成を示す説明図である。以下、図１０を用いて本開示の第１の実施形態にかかるデジタルカメラ２００に含まれる、処理実行部２５１の構成について詳細に説明する。
【００８１】
図１０に示したように、処理実行部２５１は、結果受信部２９１と、結果表示部２９２と、選択結果送信部２９３と、カメラ設定受信部２９４と、カメラ設定変更部２９５と、アシスト情報提示部２９６と、を含んで構成される。また図１０には、撮影アドバイスサーバ１００のカメラ設定生成部１２３も併せて図示されている。
【００８２】
結果受信部２９１は、撮影アドバイスサーバ１００から送信される作例を受信する。結果受信部２９１は、撮影アドバイスサーバ１００から送信された作例を受信すると、受信した作例を結果表示部２９２に供給する。
【００８３】
結果表示部２９２は、撮影アドバイスサーバ１００から送信され、結果受信部２９１が受信した作例を表示部２５０へ表示する処理を実行する。デジタルカメラ２００のユーザは、結果表示部２９２によって表示部２５０に表示された作例を見て、自分の好みにあった作例を選択することが出来る。結果表示部２９２による、表示部２５０への作例の表示例については、後に詳述する。
【００８４】
選択結果送信部２９３は、結果表示部２９２によって表示部２５０に表示された作例の中から、デジタルカメラ２００のユーザが選択した作例の情報を、撮影アドバイスサーバ１００に送信する。撮影アドバイスサーバ１００のカメラ設定生成部１２３は、選択結果送信部２９３から、デジタルカメラ２００のユーザが選択した作例の情報を受信すると、その作例に対応する、デジタルカメラ２００のカメラ設定を生成し、デジタルカメラ２００にそのカメラ設定を返信する。カメラ設定生成部１２３は、デジタルカメラ２００の機種、位置情報を用いて、選択された作例のように撮像する際の設定条件を示す、カメラ設定、撮影位置等のカメラ設定情報を生成する。カメラ設定生成部１２３が生成するデジタルカメラ２００のカメラ設定は、例えば、絞り、ホワイトバランス、露出補正、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）、階調補正、彩度調整等である。
【００８５】
カメラ設定受信部２９４は、カメラ設定生成部１２３で生成された、デジタルカメラ２００のユーザが選択した作例に対応するデジタルカメラ２００のカメラ設定を受信する。カメラ設定受信部２９４は、カメラ設定生成部１２３で生成されたデジタルカメラ２００のカメラ設定を受信すると、そのカメラ設定をカメラ設定変更部２９５およびアシスト情報提示部２９６に供給する。
【００８６】
カメラ設定変更部２９５は、カメラ設定生成部１２３で生成され、カメラ設定受信部２９４が受信したデジタルカメラ２００のカメラ設定に基づいて、デジタルカメラ２００のカメラ設定を変更する。カメラ設定変更部２９５は、例えば、デジタルカメラ２００の絞り、ホワイトバランス、露出補正、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）、階調補正、彩度調整を変更する。
【００８７】
アシスト情報提示部２９６は、カメラ設定生成部１２３で生成され、カメラ設定受信部２９４が受信したデジタルカメラ２００のカメラ設定に基づいて、表示部２５０への撮影アングルの表示と撮影に適した位置への誘導情報の表示とを行う。表示部２５０への撮影アングルの表示例と撮影に適した位置への誘導情報の表示例については、後に詳述する。
【００８８】
以上、図１０を用いて本開示の一実施形態にかかるデジタルカメラ２００に含まれる、処理実行部２５１の構成について詳細に説明した。続いて、結果表示部２９２によって表示部２５０へ表示される作例の表示例について説明する。
【００８９】
図１１から図１３は、結果表示部２９２によって表示部２５０へ表示される作例の表示例を示す説明図である。以下、図１１から図１３を用いて、結果表示部２９２によって表示部２５０へ表示される作例の表示例について説明する。
【００９０】
図１１は、結果表示部２９２によって表示部２５０へ表示される作例の表示例として、６枚の画像が表示部２５０に表示されている状態を示したものである。図１１には、同一の灯台が、様々なアングルから、また様々なカメラ設定で撮影された画像が６枚示されている。これは、デジタルカメラ２００のユーザが、デジタルカメラ２００を使用してこの灯台を撮影し、その灯台の画像についての特徴量の情報がメタデータと共にデジタルカメラ２００から撮影アドバイスサーバ１００に送られた結果、表示部２５０へ表示される作例の表示例である。
【００９１】
このように、撮影アドバイスサーバ１００は、デジタルカメラ２００で撮影された画像の特徴量を、メタデータと共に解析することで、その画像に映っている被写体を特定し、その被写体について撮影された画像をデータベースから抽出してデジタルカメラ２００に提供する。デジタルカメラ２００のユーザは、撮影アドバイスサーバ１００から提供された作例を見て、好みに合った作例を選択することで、その作例を撮影するためのカメラ設定を撮影アドバイスサーバ１００から得ることができる。ユーザによる作例の選択は、表示部２５０にタッチパネルが設けられていれば、画面を指等で触ることによって行わせるようにしてもよく、デジタルカメラ２００に設けられるハードキーを用いて行わせるようにしてもよい。
【００９２】
図１１では、１つの画面に表示する作例の数を６つとしているが、１つの画面に表示する作例の数はかかる例に限定されるものではない。また、撮影アドバイスサーバ１００からデジタルカメラ２００に提示する作例の数も６つに限定されるものではない。撮影アドバイスサーバ１００からデジタルカメラ２００に提示する作例の数が１つの画面で収まらない数の場合は、作例と共に「前ページ」「次ページ」の様なアイコンを用意し、ユーザにそのアイコンを選択させることで表示する作例を変更させるようにしてもよい。
【００９３】
また、表示部２５０に表示されたどの作例も、ユーザが気に入らない場合も考えられる。そのような場合を考慮し、作例と共に「再検索」のようなアイコンを用意し、ユーザがそのアイコンを選択すると、デジタルカメラ２００から撮影アドバイスサーバ１００へ作例を再検索させるような指示を送信してもよい。
【００９４】
図１２は、結果表示部２９２によって表示部２５０へ表示される作例の表示例として、図１１と同様に、６枚の画像が表示部２５０に表示されている状態を示したものである。そして図１２には、２つの作例Ｅｘ１、Ｅｘ２に、プロの写真家が撮影したものであることを示す枠が表示されている様子が図示されている。結果表示部２９２は、撮影アドバイスサーバ１００が提示した作例にプロの写真家が撮影したものが含まれていれば、プロの写真家が撮影した写真がどれあるかを、分かりやすくユーザに提示することができる。
【００９５】
図１３は、結果表示部２９２によって表示部２５０へ表示される作例の表示例として、図１１と同様に、６枚の画像が表示部２５０に表示されている状態を示したものである。そして図１３には、作例として提示されている画像に、おすすめの度合いを示す星印が表示されている様子が図示されている。このおすすめの度合いの情報は、例えば他のユーザがその作例に対応するカメラ設定を用いて撮影した際に、撮影に満足したかどうかのフィードバックを撮影アドバイスサーバ１００に送信することで、撮影アドバイスサーバ１００に保持されるようにしても良い。
【００９６】
以上、図１１から図１３を用いて、結果表示部２９２によって表示部２５０へ表示される作例の表示例について説明した。次に、アシスト情報提示部２９６によるアシスト情報の表示部２５０への提示処理について説明する。
【００９７】
図１４は、アシスト情報提示部２９６によるアシスト情報の表示部２５０への提示処理を示す説明図である。以下、図１４を用いてアシスト情報提示部２９６によるアシスト情報の表示部２５０への提示処理について説明する。
【００９８】
アシスト情報提示部２９６は、カメラ設定生成部１２３で生成され、カメラ設定受信部２９４が受信したデジタルカメラ２００のカメラ設定に基づいて、表示部２５０への撮影アングルの表示と撮影に適した位置への誘導情報を表示するためのアシスト画像を生成する（ステップＳ１２１）。ステップＳ１２１でアシスト画像を生成すると、アシスト情報提示部２９６は、生成したアシスト画像を表示部２５０へアシスト情報として表示する（ステップＳ１２２）。
【００９９】
図１５は、アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。図１５には、アシスト情報提示部２９６が、撮影位置までの方向を矢印の画像で、距離を文字で、撮影アングルを矢印の画像で、それぞれ作成し、これらの情報を、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；拡張現実）技術を用いて、デジタルカメラ２００で写している画像に重ね合わせて表示部２５０に表示している例が図示されている。デジタルカメラ２００のユーザが、デジタルカメラ２００を持った状態でデジタルカメラ２００の向きや位置を変化させると、その変化をセンサ部２４０で検出し、その変化に応じて撮影位置までの方向、距離、アングルの情報をアシスト情報提示部２９６で変化させる。
【０１００】
このようにアシスト情報を表示部２５０へ表示することで、デジタルカメラ２００のユーザを、選択した作例の撮影に最適な位置およびアングルに誘導させることが可能となる。
【０１０１】
以上、図１４を用いてアシスト情報提示部２９６によるアシスト情報の表示部２５０への提示処理について説明した。しかし、表示部２５０へ表示する撮影アシスト情報はかかる例に限定されるものではない。続いてアシスト情報提示部２９６によるアシスト情報の表示部２５０への別の提示処理について説明する。
【０１０２】
図１６は、アシスト情報提示部２９６によるアシスト情報の表示部２５０への別の提示処理を示す説明図である。以下、図１６を用いてアシスト情報提示部２９６によるアシスト情報の表示部２５０への別の提示処理について説明する。
【０１０３】
アシスト情報提示部２９６は、カメラ設定生成部１２３で生成され、カメラ設定受信部２９４が受信したデジタルカメラ２００のカメラ設定に基づいて、表示部２５０への撮影アングルの表示と撮影に適した位置への誘導情報を表示するためのナビゲーション画像を生成する（ステップＳ１３１）。ステップＳ１３１でナビゲーション画像を生成すると、アシスト情報提示部２９６は、生成したアシスト画像を表示部２５０へアシスト情報として表示する（ステップＳ１３２）。
【０１０４】
図１７は、アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。図１７には、ナビゲーション画像として、地図画面を表示部２５０に表示し、さらに現在地およびユーザが選択した作例に対応する撮影位置の情報を表示している例が示されている。このようなアシスト情報を表示部２５０に表示することで、デジタルカメラ２００のユーザを撮影位置まで誘導させることができる。
【０１０５】
現在地から、ユーザが選択した作例に対応する撮影位置までの間に、撮影アドバイスサーバ１００がデジタルカメラ２００へ提示した別の作例の撮影位置が存在する場合は、アシスト情報提示部２９６は、表示部２５０に、その撮影位置で別の作例が撮影されたことを示すような表示をしても良い。図１８は、アシスト情報提示部２９６によって生成されたアシスト情報の表示部２５０への表示例を示す説明図である。図１８では、図１７のようにナビゲーション画像を表示した上に、途中の経路で別の作例があればその作例の撮影位置について併せて表示している例が示されている。
【０１０６】
デジタルカメラ２００のユーザを撮影位置まで誘導させるためのアシスト情報はかかる例に限定されない。例えば、音声を利用し、最適な撮影位置へユーザを誘導するようにしてもよい。また例えば、移動方向に応じてデジタルカメラ２００を振動させることにより、所望の方向へ引っ張られるような感覚をユーザに提示することで、最適な撮影位置へデジタルカメラ２００のユーザを誘導するようにしてもよい。
【０１０７】
以上、図１６を用いてアシスト情報提示部２９６によるアシスト情報の表示部２５０への別の提示処理について説明した。
【０１０８】
以上説明したように本開示の第１の実施形態によれば、デジタルカメラ２００で画像を撮影すると、その画像の特徴量の情報を用いて、撮影アドバイス情報を、デジタルカメラ２００とネットワークで接続された撮影アドバイスサーバ１００が生成する。デジタルカメラ２００は、撮影アドバイスサーバ１００から撮影アドバイス情報を受信して、表示部２５０に撮影アドバイス情報を表示する。撮影アドバイス情報として、撮影アドバイスサーバ１００がデータベース１４０から取得した作例の画像が、撮影アドバイスサーバ１００からデジタルカメラ２００へ送信される。
【０１０９】
そして、デジタルカメラ２００のユーザが、表示部２５０に表示された作例の中から１つの作例を選択すると、その選択に応じて、その作例をデジタルカメラ２００で撮影する際に適したカメラ設定が、撮影アドバイスサーバ１００で生成される。
【０１１０】
デジタルカメラ２００での撮影のアシストに、撮影アドバイスサーバ１００（クラウド）を利用することで、クラウド上の膨大なデータベースを利用し、また撮影環境に見合った複数の作例を提示することが可能になる。これにより、撮影アドバイスサーバ１００およびデジタルカメラ２００は、ユーザの好みを、高い精度でデジタルカメラ２００での撮影アシストに反映させることが可能となる．
【０１１１】
＜２．本開示の第２の実施形態＞
本開示の第１の実施形態では、デジタルカメラ２００での撮影をアシストするために、撮影アドバイスサーバ１００が撮影アドバイス情報を生成し、生成した撮影アドバイス情報をデジタルカメラ２００に提供していた。本開示の第２の実施形態では、デジタルカメラで撮影された画像をサーバで解析し、その解析結果をデジタルカメラに返信することで、デジタルカメラで撮影された画像の認識結果をデジタルカメラ２００に表示する技術について説明する。
【０１１２】
［システムの構成例］
図１９は、本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の機能構成例を示す説明図である。なお、本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の構成は、それぞれ、本開示の第１の実施形態にかかる撮影アドバイスサーバ１００およびデジタルカメラ２００と同じものを有しているものとする。以下、図１９を用いて本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の機能構成例について説明する。
【０１１３】
図１９に示したように、画像認識サーバ１１００は、データ受信部１１２１と、特徴照合部１１２２と、データ送信部１１２３と、を含んで構成される。またデジタルカメラ１２００は、画像入力部１２３１と、画像特徴量抽出部１２３２と、特徴量送信部１２３３と、認識結果受信部１２３４と、認識結果取得部１２３５と、認識結果表示部１２３６と、を含んで構成される。
【０１１４】
まずデジタルカメラ１２００の機能構成から説明する。画像入力部１２３１は、画像認識の対象となる画像データが入力される。画像認識の対象となる画像データは、例えば本開示の第１の実施形態で示した画像処理部２３０により生成される。画像入力部１２３１は、画像認識の対象となる画像データが入力されると、その画像データを画像特徴量抽出部１２３２へ供給する。
【０１１５】
画像特徴量抽出部１２３２は、画像入力部１２３１から供給される画像データを用いて画像の特徴量を抽出する処理を実行する。画像特徴量抽出部１２３２は、抽出した特徴量の情報を特徴量送信部１２３３へ送る。
【０１１６】
特徴量送信部１２３３は、画像特徴量抽出部１２３２が抽出した画像の特徴量の情報を画像認識サーバ１１００に送信する。
【０１１７】
認識結果受信部１２３４は、特徴量送信部１２３３が画像認識サーバ１１００に送信した画像の特徴量の情報を用いて画像認識サーバ１１００で画像認識された結果の情報を受信する。認識結果受信部１２３４は、画像認識サーバ１１００から画像認識の結果の情報を受信すると、受信した認識結果を認識結果取得部１２３５に送る。
【０１１８】
認識結果取得部１２３５は、認識結果受信部１２３４が受信した、画像認識サーバ１１００における画像認識の結果の情報を取得する。認識結果取得部１２３５は、画像認識サーバ１１００における画像認識の結果の情報を取得すると、取得した情報を認識結果表示部１２３６へ送る。
【０１１９】
認識結果表示部１２３６は、認識結果取得部１２３５が取得した、画像認識サーバ１１００における画像認識の結果の情報を表示する。
【０１２０】
次に、画像認識サーバ１１００の機能構成について説明する。データ受信部１１２１は、デジタルカメラ１２００から送信されてくるデータを受信する。特徴量送信部１２３３が、画像特徴量抽出部１２３２が抽出した画像の特徴量の情報を画像認識サーバ１１００に送信すると、データ受信部１１２１は、その画像の特徴量の情報を受信する。データ受信部１１２１は、画像の特徴量の情報を受信すると、受信した情報を特徴照合部１１２２に送る。
【０１２１】
特徴照合部１１２２は、データ受信部１１２１が受信した画像の特徴量の情報を、データベース１４０に格納されているデータと照合するものである。特徴照合部１１２２は、照合結果をデータ送信部１１２３に送る。
【０１２２】
データ送信部１１２３は、デジタルカメラ２００へデータを送信する。データ送信部１１２３は、特徴照合部１１２２による、データ受信部１１２１が受信した画像の特徴量の情報と、データベース１４０に格納されているデータとの照合結果を取得すると、その照合結果の情報を、デジタルカメラ２００へ送信する。
【０１２３】
このように、画像の特徴量の抽出はデジタルカメラ１２００で行い、抽出した特徴量とデータベースのデータとの照合は画像認識サーバ１１００で行うことで、デジタルカメラ１２００での照合処理に要する負荷を抑えつつ、データベース１４０に格納されているデータとの照合により、精度の高い照合結果を得ることが出来る。
【０１２４】
以上、図１９を用いて本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の機能構成例について説明した。次に、本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作例について説明する。
【０１２５】
［画像認識サーバおよびデジタルカメラの機能構成例および動作例］
図２０および図２１は、本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作例を示す説明図である。図２０に示した流れ図は、人間の手を認識する際の特徴量抽出動作を、図２１に示した流れ図は、一般物体の例として車を認識する際の特徴量抽出動作の例を示したものである。以下、図２０および図２１を用いて本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作について説明する。
【０１２６】
画像特徴量抽出部１２３２は、画像入力部１２３１から供給される画像データを入力すると（ステップＳ２０１、Ｓ２２１）、入力した画像データを変換する（ステップＳ２０２、Ｓ２２２）。画像特徴量抽出部１２３２は、手を認識する際には、色情報に依らない認識処理を行う。従って画像特徴量抽出部１２３２は、入力画像データをＲＧＢのカラー画像からグレースケール画像に変換する。なお、色情報に依る認識処理を行う場合には、このステップＳ２０２、Ｓ２２２の画像変換処理はスキップしても良い。
【０１２７】
上記ステップＳ２０２、Ｓ２２２で、画像特徴量抽出部１２３２が画像データを変換すると、画像特徴量抽出部１２３２は、変換後の画像データに対して画像特徴量を抽出する処理を実行する（ステップＳ２０３、Ｓ２２３）。画像特徴量抽出部１２３２は、手を認識する際には、上記ステップＳ２０２で得られるグレースケール画像を用いて、矩形フィルタ（Ｒｅｃｔａｎｇｌｅ）処理を行う。また、画像特徴量抽出部１２３２は、車を認識する際には、上記ステップＳ２１２で得られるグレースケール画像を用いて、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ；勾配方向ヒストグラム）等によって画像特徴量の抽出を行う。
【０１２８】
もちろん、特徴量の計算方法は一つに限られるものではなく、様々な計算方法を用いてもよい。そして、１つの画像データについて複数の方法で特徴量を計算し、計算した特徴量を画像認識サーバ１１００に送信し、画像認識サーバ１１００に、その特徴量と、データベース１４０に格納されているデータとを照合させるようにしてもよい。また、デジタルカメラ１２００では、フィルタ処理の途中までを実行し、画像認識サーバ１１００に後半の処理を行わせるなどして、処理を分散させるようにしてもよい。
【０１２９】
上記ステップＳ２０３、Ｓ２２３で、画像特徴量抽出部１２３２が、変換後の画像データに対して画像特徴量を抽出する処理を実行すると、続いて特徴量送信部１２３３は、画像特徴量抽出部１２３２が抽出した画像特徴量のデータを、ネットワーク１０を通じて画像認識サーバ１１００に送信する（ステップＳ２０４、Ｓ２２４）。
【０１３０】
上記ステップＳ２０４、Ｓ２２４で、画像特徴量抽出部１２３２が抽出した画像特徴量のデータが画像認識サーバ１１００に送信されると、画像特徴量抽出部１２３２は、異なる物体のサイズに対応するために、画像スケールを変換する（ステップＳ２０５、Ｓ２２５）。画像のスケール変換は、認識させたい物体の大きさになるまで繰り返し行う。
【０１３１】
画像スケール変換後の画像サイズと指定サイズとを比較し（ステップＳ２０６、Ｓ２２６）、画像スケール変換後の画像サイズが指定サイズを上回っている場合は、画像特徴量抽出部１２３２は、上記ステップＳ２０３、Ｓ２２３に戻って画像特徴量を抽出する処理を再度実行する。一方、画像スケール変換後の画像サイズが指定サイズ以下の場合は、画像特徴量抽出部１２３２は画像特徴量の抽出処理を終了し、デジタルカメラ１２００は、画像認識サーバ１１００での認識結果を待機する。なお、画像スケール変換の回数は自由にユーザが設定しても良い。
【０１３２】
画像認識サーバ１１００は、デジタルカメラ１２００から画像特徴量のデータをデータ受信部１１２１で受信すると（ステップＳ２０７、Ｓ２２７）、データ受信部１１２１が受信した画像の特徴量の情報を、データベース１４０に格納されているデータとを、特徴照合部１１２２で照合することで認識判定を行う（ステップＳ２０８、Ｓ２２８）。そして、画像認識サーバ１１００は、特徴照合部１１２２での認識結果を、データ送信部１１２３によってデジタルカメラ１２００へ送信する（ステップＳ２０９、Ｓ２２９）。
【０１３３】
デジタルカメラ１２００は、画像認識サーバ１１００から送信された認識結果を受信すると（ステップＳ２１０、Ｓ２３０）、受信した認識結果に応じた処理を実行する（ステップＳ２１１、Ｓ２３１）。この認識結果に応じた処理とは、例えば、画像認識サーバ１１００から受信した認識結果を、デジタルカメラ１２００で使える情報に変換する。例えば、デジタルカメラ１２００は、画像認識サーバ１１００から受信した認識結果を使い、画像中の手の位置を使った構図判定、オートフォーカスの指定、セルフタイマーの開始、再生、停止、撮影アドバイス等、さまざまな処理を実行できる。画像中の手を認識させる例としては、ピース形状を認識させて撮影を自動で行ったり、複数の手の位置情報を用いて集合写真の自動構図指定を行ったりしてもよい。
【０１３４】
上記ステップＳ２１１、Ｓ２３１で、デジタルカメラ１２００が、受信した認識結果に応じた処理を実行すると、続いてデジタルカメラ１２００は、認識結果を必要に応じて画面に表示する（ステップＳ２１２、Ｓ２１２）。画像認識サーバ１１００における認識結果を画面に表示することで、デジタルカメラ１２００は、ユーザに対して画像認識サーバ１１００における認識結果をフィードバックすることが出来る。
【０１３５】
以上、図２０および図２１を用いて本開示の第２の実施形態にかかる画像認識サーバ１１００およびデジタルカメラ１２００の動作について説明した。このように、本開示の第２の実施形態にかかるデジタルカメラ１２００は、撮影画像の特徴量の情報を抽出して画像認識サーバ１１００に送信し、画像認識サーバ１１００は、デジタルカメラ１２００から送られた特徴量の情報を用いて認識処理を実行する。
【０１３６】
このように、デジタルカメラ１２００で（ローカル側で）画像を特徴量に変換することで、画像そのものを送らずに済むため、プライバシーを考慮した認識処理が可能となる。また、ネットワーク上に送るデータ量を削減することができるため、ネットワークにとって低負荷で認識処理をすることができる。また、一般的に処理の重いデータベースとの照合処理を画像認識サーバ１１００側で（クラウド側で）実施することで、高速に処理を行うことができる。さらに、モデルデータベースなどの情報をローカル側で管理しなくて良いため、ローカル側は低リソースで認識処理を実現できる。
【０１３７】
＜３．まとめ＞
以上説明したように本開示の各実施形態では、デジタルカメラと、サーバ（クラウド側）とで処理を分担させることで、デジタルカメラに負荷を与えること無く、画像認識処理および画像認識処理に伴う処理が可能になる。
【０１３８】
本開示の第１の実施形態では、デジタルカメラ２００は、撮影された画像、または撮影された画像から得られる特徴量の情報を抽出して撮影アドバイスサーバ１００に送信し、撮影アドバイスサーバ１００は、デジタルカメラ２００から送信された画像または画像の特徴量に基づいて作例を検索し、デジタルカメラ２００へ作例を提示する。デジタルカメラ２００では、撮影アドバイスサーバ１００が提示した作例がユーザによって選択されると、選択された作例についての情報を撮影アドバイスサーバ１００に送信し、撮影アドバイスサーバ１００は、デジタルカメラ２００で選択された作例のような写真をデジタルカメラ２００で撮影するためのカメラ設定を生成してデジタルカメラ２００へ送信する。これにより、デジタルカメラ２００での処理に負荷を与えること無く、撮影アドバイスサーバ１００で作例を検索すると共に、作例に応じたデジタルカメラ２００のカメラ設定の生成が可能となる。
【０１３９】
また本開示の第２の実施形態では、デジタルカメラ１２００は、撮影された画像、または撮影された画像から得られる特徴量の情報を抽出して画像認識サーバ１１００に送信し、画像認識サーバ１１００は、デジタルカメラ１２００から送信された画像または画像の特徴量に基づいてその画像の認識処理を行なって、認識結果をデジタルカメラ１２００に送信する。これにより、デジタルカメラ１２００での処理に負荷を与えること無く、画像認識サーバ１１００で画像認識処理を実行すると共に、デジタルカメラ１２００は、画像認識サーバ１１００での画像認識の結果に応じた各種処理の実行が可能となる。
【０１４０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４１】
例えば、画像を撮影する装置と画像を解析する装置とをＰｅｅｒ  ｔｏ  Ｐｅｅｒ（Ｐ２Ｐ）で接続してデータを送受信することで、上述のような画像の解析処理や撮影アドバイス情報の生成処理が行われるようにしても良い。例えば、一方の装置の処理能力が高いような場合に、画像を撮影する装置と画像を解析する装置とのＰ２Ｐ接続で、画像の解析処理や撮影アドバイス情報の生成処理が行われるようにしても良い。
【０１４２】
また、上述の情報処理部１２０及び画像処理部２３０は、以下で説明するようなスケーラブル符号化による符号化処理及び復号処理を実行する構成を備えていても良い。
【０１４３】
図２２は、ＢＬＲ（ｓｐａｔｉａｌ  ｓｃａｌａｂｉｌｉｔｙ  ｕｓｉｎｇ  ＢＬ  Ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｘｅｌ  ｏｎｌｙ）モードと呼ばれるレイヤごとの独立性が強化されたモードでのスケーラブル符号化をサポートする、一実施形態に係る情報処理部１２０の概略的な構成を示すブロック図である。情報処理部１２０は、その他の種類のスケーラブル符号化をサポートしてもよい。また、情報処理部１２０は、スケーラブル符号化をサポートしなくてもよい（その場合には、単一のレイヤの符号化ストリームのみが符号化され、復号され得る）。図２２を参照すると、情報処理部１２０は、ＢＬ符号化部１ａ、ＥＬ符号化部１ｂ、中間処理部３及び多重化部４を備える。
【０１４４】
ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＢＬ符号化部１ａは、ローカルデコーダ２を含む。ローカルデコーダ２は、ベースレイヤのリコンストラクト画像を生成する。中間処理部３は、デインターレース部又はアップサンプリング部として機能し得る。中間処理部３は、ＢＬ符号化部１ａから入力されるベースレイヤのリコンストラクト画像がインターレースされている場合に、当該リコンストラクト画像をデインターレースする。また、中間処理部３は、ベースレイヤとエンハンスメントレイヤとの間の空間解像度の比に従って、リコンストラクト画像をアップサンプリングする。なお、中間処理部３による処理は、省略されてもよい。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。後に詳細に説明するように、ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化する際に、ベースレイヤのリコンストラクト画像を再利用する。多重化部４は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【０１４５】
図２２に示した情報処理部１２０の構成は、ＢＬＲモードでのスケーラブル符号化処理を実行する構成である。図２２に示した構成が画像処理部２３０にも含まれていても良い。
【０１４６】
図２３は、ＢＬＲモードでのスケーラブル符号化をサポートする、一実施形態に係る情報処理部１２０の概略的な構成を示すブロック図である。図２３を参照すると、情報処理部１２０は、逆多重化部５、ＢＬ復号部６ａ、ＥＬ復号部６ｂ及び中間処理部７を備える。
【０１４７】
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。中間処理部７は、デインターレース部又はアップサンプリング部として機能し得る。中間処理部７は、ＢＬ復号部６ａから入力されるベースレイヤのリコンストラクト画像がインターレースされている場合に、当該リコンストラクト画像をデインターレースする。また、中間処理部７は、ベースレイヤとエンハンスメントレイヤとの間の空間解像度の比に従って、リコンストラクト画像をアップサンプリングする。なお、中間処理部７による処理は、省略されてもよい。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。後に詳細に説明するように、ＥＬ復号部６ｂは、エンハンスメントレイヤ画像を復号する際に、ベースレイヤのリコンストラクト画像を再利用する。
【０１４８】
図２３に示した情報処理部１２０の構成は、スケーラブル符号化されたデータの復号処理を実行する構成である。図２３に示した構成が画像処理部２３０にも含まれていても良い。
【０１４９】
図２４は、図２２に示したＥＬ符号化部１ｂの構成の一例を示すブロック図である。図２４を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、予測制御部２９、イントラ予測部３０並びにインター予測部４０を備える。
【０１５０】
並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、及びインター予測部４０へ出力する。
【０１５１】
減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【０１５２】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【０１５３】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、量子化データのビットレートを変化させる。
【０１５４】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【０１５５】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【０１５６】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【０１５７】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【０１５８】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【０１５９】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【０１６０】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【０１６１】
フレームメモリ２５は、加算部２３から入力される復号画像データ、デブロックフィルタ２４から入力されるフィルタリング後の復号画像データ、及び中間処理部３から入力されるベースレイヤのリコンストラクト画像データを記憶媒体を用いて記憶する。
【０１６２】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。また、セレクタ２６は、ベースレイヤのリコンストラクト画像データを予測制御部２９へ出力する。
【０１６３】
セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部４０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
【０１６４】
予測制御部２９は、イントラ予測部３０及びインター予測部４０がエンハンスメントレイヤの予測画像を生成する際に選択する予測モードを、ＢＬ符号化部１ａ内のローカルデコーダ２により生成されるベースレイヤのリコンストラクト画像を用いて制御する。
【０１６５】
イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣ方式の予測単位（ＰＵ）ごとにイントラ予測処理を行う。例えば、イントラ予測部３０は、予測制御部２９により制御される予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
【０１６６】
インター予測部４０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣ方式の予測単位ごとにインター予測処理を行う。例えば、インター予測部４０は、予測制御部２９により制御される予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、インター予測部４０は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
【０１６７】
図２５は、図２３に示したＥＬ復号部６ｂの構成の一例を示すブロック図である。図２５を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、予測制御部７９、イントラ予測部８０並びにインター予測部９０を備える。
【０１６８】
蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１６９】
可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２により復号される情報は、例えば、上述したイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部９０へ出力する。
【０１７０】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１７１】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１７２】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１７３】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１７４】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。
【０１７５】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、デブロックフィルタ６６から入力されるフィルタリング後の復号画像データ、及び中間処理部７から入力されるベースレイヤのリコンストラクト画像データを記憶媒体を用いて記憶する。
【０１７６】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力すると共に、ベースレイヤのリコンストラクト画像データを予測制御部７９へ出力する。
【０１７７】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１７８】
予測制御部７９は、イントラ予測部８０及びインター予測部９０がエンハンスメントレイヤの予測画像を生成する際に選択する予測モードを、ＢＬ復号部６ａにより生成されるベースレイヤのリコンストラクト画像を用いて制御する。
【０１７９】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
【０１８０】
インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤの動き補償処理を行い、予測画像データを生成する。そして、インター予測部９０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
【０１８１】
情報処理部１２０は、説明したようなスケーラブル符号化による符号化処理及び復号処理を実行する構成を備えることにより、動画像のフォーマットやビットレートを変更する場合に、トランスコーディング及びトランスレーティングを行うことが出来る。また画像処理部２３０は、説明したようなスケーラブル符号化による符号化処理を実行する構成を備えることで、撮影された画像を圧縮して記録することができ、また説明したようなスケーラブル符号化により符号化された画像に対する復号処理を実行する構成を備えることにより、圧縮して記録された画像を表示部２５０へ出力することが出来る。
【０１８２】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１８３】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【０１８４】
なお、本技術は以下のような構成も取ることができる。
（１）
画像を撮像する撮像部が撮像した画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された作例を受信する結果受信部と、
前記結果受信部により受信された作例に関する情報を前記画像処理装置へ送信する選択結果送信部と、
前記選択結果送信部により送信された作例に基づいて前記画像処理装置で生成された、当該作例のように撮像する際の設定条件を示す設定情報を受信する設定受信部と、
前記設定受信部により受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更する設定変更部と、
を備える、撮像制御装置。
（２）
前記撮像部が撮像した画像を解析する画像処理部をさらに備え、
前記画像情報には、前記画像処理部の解析の結果が含まれる、前記（１）に記載の撮像制御装置。
（３）
前記画像処理部は、前記撮像部が撮像した画像の特徴量を抽出する、前記（２）に記載の撮像制御装置。
（４）
前記画像情報として、該画像情報の基となる画像の撮像時の環境情報が含まれる、前記（１）〜（３）のいずれかに記載の撮像制御装置。
（５）
前記画像情報として、該画像情報の基となる画像の撮像時の機器情報が含まれる、前記（１）〜（４）のいずれかに記載の撮像制御装置。
（６）
前記画像情報として、該画像情報の基となる画像の撮像時のユーザに関する情報が含まれる、前記（１）〜（５）のいずれかに記載の撮像制御装置。
（７）
前記ユーザに関する情報は、前記ユーザによる撮像の履歴の情報を含む、前記（６）に記載の撮像制御装置。
（８）
前記ユーザに関する情報は、前記ユーザの趣味嗜好の情報を含む、前記（６）または（７）に記載の撮像制御装置。
（９）
前記ユーザに関する情報は、前記ユーザの生体情報を含む、前記（６）〜（８）のいずれかに記載の撮像制御装置。
（１０）
前記設定情報が受信する前記設定情報は、前記撮像部で撮像しようとする画像に含まれる被写体の内容に関する情報を含む、前記（１）〜（９）のいずれかに記載の撮像制御装置。
（１１）
前記設定情報が受信する前記設定情報は、前記撮像部で撮像しようとする画像の撮像位置に関する情報を含む、前記（１）〜（１０）のいずれかに記載の撮像制御装置。
（１２）
前記設定情報が受信する前記設定情報は、前記撮像部で撮像しようとする画像の撮像時間に関する情報を含む、前記（１）〜（１１）のいずれかに記載の撮像制御装置。
（１３）
前記結果受信部が受信した１以上の作例を表示する画像表示部をさらに備える、前記（１）〜（１２）のいずれかに記載の撮像制御装置。
（１４）
前記画像表示部は、前記結果受信部が受信した１以上の作例が撮像された場所を地図上に紐付けて表示する、前記（１３）に記載の撮像制御装置。
（１５）
前記画像を撮像する撮像部をさらに備える、前記（１）〜（１４）のいずれかに記載の撮像制御装置。
（１６）
前記画像処理装置に前記画像情報を送信する画像情報送信部をさらに備える、前記（１）〜（１５）のいずれかに記載の撮像制御装置。
（１７）
画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された画像に関する情報である画像情報を用いて作例を取得する作例検索部と、
前記作例検索部が取得した前記作例を前記撮像制御装置に送信する作例送信部と、
前記作例送信部が送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように撮像する際の設定条件を示す設定情報を生成する設定生成部と、
前記設定生成部が生成した前記設定情報を前記撮像制御装置に送信する設定送信部と、
を備える、画像処理装置。
（１８）
画像を撮像する撮像部が撮像した画像に関する情報である画像情報を用いて前記画像を処理する画像処理装置において選択された作例を受信することと、
受信された前記作例に関する情報を前記画像処理装置へ送信することと、
送信された前記作例に基づいて前記画像処理装置で生成された、当該作例のように撮像する際の設定条件を示す設定情報を受信することと、
受信された前記設定情報を用いて、前記撮像部の撮像の設定を変更することと、
を備える、撮像制御方法。
（１９）
画像を撮像する撮像部の撮像の設定を変更する撮像制御装置から送信された、該撮像部で撮像された画像に関する情報である画像情報を用いて作例を取得することと、
取得した前記作例を前記撮像制御装置に送信することと、
送信した前記作例の中から前記撮像制御装置で選択され、前記撮像制御装置から送信された作例に関する情報に基づき、当該作例のように撮像する際の設定条件を示す設定情報を生成することと、
生成した前記設定情報を前記撮像制御装置に送信することと、
を備える、画像処理方法。
【符号の説明】
【０１８５】
１        ：情報処理システム
１０      ：ネットワーク
１００    ：撮影アドバイスサーバ
１１０    ：受信部
１２０    ：情報処理部
１２１    ：データ解析部
１２２    ：アドバイス生成部
１２３    ：カメラ設定生成部
１３０    ：送信部
１４０    ：データベース
１５１    ：特徴量データ受信部
１５２    ：特徴量照合部
１５３    ：モデルデータベース
１６１    ：認識結果取得部
１６２    ：作例検索部
１６３    ：提示情報生成部
１６４    ：アドバイス情報送信部
１６５    ：モデルデータベース
２００    ：デジタルカメラ
２１０    ：レンズ部
２２０    ：撮像素子
２３０    ：画像処理部
２３１    ：画像入力部
２３２    ：画像情報生成部
２３３    ：画像情報送信部
２４０    ：センサ部
２５０    ：表示部
２５１    ：処理実行部
２５２    ：提示部
２６０    ：記憶部
２７０    ：送信部
２８０    ：受信部
２８１    ：画像特徴量抽出部
２８２    ：メタ情報取得部
２９１    ：結果受信部
２９２    ：結果表示部
２９３    ：選択結果送信部
２９４    ：カメラ設定受信部
２９５    ：カメラ設定変更部
２９６    ：アシスト情報提示部
１１００  ：画像認識サーバ
１１２１  ：データ受信部
１１２２  ：特徴照合部
１１２３  ：データ送信部
１２００  ：デジタルカメラ
１２３１  ：画像入力部
１２３２  ：画像特徴量抽出部
１２３３  ：特徴量送信部
１２３４  ：認識結果受信部
１２３５  ：認識結果取得部
１２３６  ：認識結果表示部
【図１】
0005962674.tif 000002
【図２】
0005962674.tif 000003
【図３】
0005962674.tif 000004
【図４】
0005962674.tif 000005
【図５】
0005962674.tif 000006
【図６】
0005962674.tif 000007
【図７】
0005962674.tif 000008
【図８】
0005962674.tif 000009
【図９】
0005962674.tif 000010
【図１０】
0005962674.tif 000011
【図１１】
0005962674.tif 000012
【図１２】
0005962674.tif 000013
【図１３】
0005962674.tif 000014
【図１４】
0005962674.tif 000015
【図１５】
0005962674.tif 000016
【図１６】
0005962674.tif 000017
【図１７】
0005962674.tif 000018
【図１８】
0005962674.tif 000019
【図１９】
0005962674.tif 000020
【図２０】
0005962674.tif 000021
【図２１】
0005962674.tif 000022
【図２２】
0005962674.tif 000023
【図２３】
0005962674.tif 000024
【図２４】
0005962674.tif 000025
【図２５】
0005962674.tif 000026