(57)【特許請求の範囲】
【請求項１】
情報処理装置であって、
画像を取得する第１の取得手段と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信手段と、
前記識別情報と関連付けられた属性情報を取得する第２の取得手段と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第１の取得手段により取得された前記画像の中から所定の被写体を特定する特定手段と、
前記特定手段により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定手段により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示手段とを有する
ことを特徴とする情報処理装置。
【請求項２】
前記画像の中から前記所定の被写体を特定するために、前記識別情報と関連付けられた特徴情報を取得する第３の取得手段を更に有し、
前記特定手段は、前記特徴情報に基づいて、前記画像の中から前記所定の被写体を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記所定の被写体は、前記他の通信装置のユーザであることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示手段は、前記特定手段により前記所定の被写体が特定できなかった場合、前記属性情報の表示を消去することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザから検索クエリを受け付ける受付手段と、
前記受付手段により受け付けた前記検索クエリと前記第２の取得手段により取得した前記属性情報とに関連があるかを判定する判定手段とを更に有し、
前記表示手段は、前記判定手段により関連があると判定された場合には、前記特定手段により前記所定の被写体が特定できなかった場合であっても、前記属性情報の表示を継続することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
ユーザから検索クエリを受け付ける受付手段と、
前記受付手段により受け付けた前記検索クエリと前記第２の取得手段により取得した前記属性情報とに関連があるかを判定する判定手段とを更に有し、
前記判定手段により関連がないと判定された場合には、前記表示手段は、前記特定手段により前記被写体が特定される前には前記属性情報を表示しないことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項７】
情報処理装置の制御方法であって、
画像を取得する第１の取得工程と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信工程と、
前記識別情報と関連付けられた属性情報を取得する第２の取得工程と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第１の取得工程により取得された前記画像の中から所定の被写体を特定する特定工程と、
前記特定工程により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定工程により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示工程とを有する
ことを特徴とする情報処理装置の制御方法。
【請求項８】
請求項７に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した現実環境の画像に、現実環境中の物体の属性情報や、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を用いたバーチャルな物体等を、付加、合成するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術が盛んである。例えば、ユーザがカメラをかざすと、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて現実の映像上に関連するタグ情報を画面上に重ね合わせて表示する携帯電話用拡張現実ソフトウェアなども登場している。
【０００３】
このようなＡＲシステムにおいて被写体の近傍に被写体に関連した情報を表示することが必要とされている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示したいというニーズがある。
【０００４】
特許文献１に記載のカメラは、撮影した画像に対し、この撮影画像中の被写体人物に関連した情報を合成して表示する。特許文献１に記載のカメラは、被写体人物が所持する携帯情報機器等から顔情報等を取得して、取得した顔情報から画像認識処理を行うことによって撮影画像中の被写体を特定する。これにより、撮影画像中から被写体を特定できるので、その近傍に被写体に関連した情報を表示することができる。
【０００５】
また、特許文献２では、撮像処理により得られた画像の特徴量だけではなく、撮像位置または撮像方向をクエリとして被写体に関する情報を取得して、当該情報を撮影画像中の対応する被写体近傍に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３０５７１７号公報
【特許文献２】特開２０１０−０６１２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、画像処理などによって被写体の特定を行った場合、被写体の特定に時間がかかることがある。そのため、被写体を特定した後に、特定した被写体に関する情報を表示するのでは、当該情報を表示するまでに時間を要してしまい、ユーザの使い勝手が悪くなる可能性がある。
【０００８】
上記の課題に鑑み、本発明は、被写体に関する情報を表示するまでの時間を短縮すると共に、当該表示している情報と関連付けられた被写体をユーザに通知することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成する本発明に係る情報処理装置は、
情報処理装置であって、
画像を取得する第１の取得手段と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信手段と、
前記識別情報と関連付けられた属性情報を取得する第２の取得手段と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第１の取得手段により取得された前記画像の中から所定の被写体を特定する特定手段と、
前記特定手段により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定手段により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示手段とを有する
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、被写体に関する情報を表示するまでの時間を短縮すると共に、当該表示している情報と関連付けられた被写体をユーザに通知することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係るシステムの構成を示す図。
【図２】第１実施形態に係るサーバが保持するデータベースの一例を示す図。
【図３】第１実施形態に係るデジタルカメラの内部構成を示す図。
【図４】第１実施形態に係る携帯電話の内部構成を示す図。
【図５】第１実施形態に係るシステムを構成する各機器の動作を示すシーケンス図。
【図６】第１実施形態に係る撮影開始時にデジタルカメラの画面に表示されている画像の一例を示す図。
【図７】第１実施形態に係るプレビュー画像生成処理の手順を示すフローチャート。
【図８】第１実施形態に係るプレビュー画像の一例を示す図。
【図９】第１実施形態に係る本画像生成処理の手順を示すフローチャート。
【図１０】第１実施形態に係る本画像の一例を示す図。
【図１１】第２実施形態に係るデジタルカメラの撮影処理の手順を示すフローチャート。
【図１２】第３実施形態に係るデジタルカメラの内部構成を示す図。
【図１３】第３実施形態に係るプレビュー画像生成処理の手順を示すフローチャート。
【図１４】第３実施形態に係るプレビュー画像の一例を示す図。
【図１５】第４実施形態に係る本画像生成処理の手順を示すフローチャート。
【図１６】第４実施形態に係る本画像の一例を示す図。
【発明を実施するための形態】
【００１２】
（第１実施形態）
本発明に係る情報処理装置は、被写体が画像中から特定される前には被写体に関する属性情報を、画像上の所定の場所（被写体の位置とは無関係な場所）に表示させて、被写体が特定された後には属性情報を、画像上における被写体と関連付けられた場所（例えば、被写体の上部に所定距離だけ離れた場所など）に表示させる。
【００１３】
図１を参照して、本実施形態におけるシステムの構成を説明する。本実施形態では、デジタルカメラ１０１が撮影を行い周囲の情報を得る場合について述べる。デジタルカメラ１０１は、本発明を適用可能な情報処理装置であり、ＩＥＥＥ８０２．１１規格に則った無線ＬＡＮ機能を有する。デジタルカメラ１０１の所有者は図示していない。デジタルカメラ１０１は、撮像機能を有しており、当該機能を用いて撮影を行い画像を取得する（第１の取得処理）。
【００１４】
また、デジタルカメラ１０１は、被写体となるオブジェクトの特徴情報に基づいて、撮影画像中からそのオブジェクトを特定する。そして、デジタルカメラ１０１は、そのオブジェクトに関する属性情報を、撮影画像上のオブジェクトの近傍に、重ね合わせて表示する。デジタルカメラ１０１の撮影範囲には人物１０２、人物１０４が存在する。図１に示す例では、人物１０６はデジタルカメラ１０１の撮影範囲には存在しない。
【００１５】
携帯電話１０３、携帯電話１０５、携帯電話１０７はＩＥＥＥ８０２．１１規格に則った無線ＬＡＮ機能を有する。携帯電話は定期的に、あるいは他端末の要求に応じて、当該携帯得電話を識別するための識別情報を発信する。識別情報は、端末の所有者を一意に決定するための識別情報であり、各無線ＬＡＮ端末にそれぞれ固有に設定される情報である。識別情報はＩＥＥＥ８０２．１１規格に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与されて、送信されるものとする。携帯電話１０３、携帯電話１０５、携帯電話１０７の所有者は、それぞれ人物１０２、人物１０４、人物１０６である。
【００１６】
サーバ１０９は、ネットワーク１０８を介して、デジタルカメラ１０１が取得した識別情報に基づいてデジタルカメラ１０１から送信された問い合わせを受信すると、サーバ１０９自身が保持するデータベースから、その識別情報を発信する端末の所有者の属性情報や、端末の所有者を認識するための特徴情報を応答する。サーバ１０９は、デジタルカメラ１０１にとっての外部サーバである。
【００１７】
図２を参照して、サーバ１０９が保持するデータベースの一例を説明する。サーバ１０９には、端末の所有者を一意に決定するための識別情報が登録されており、更にそれぞれに該所有者の属性情報として名前およびコメントが登録されており、また特徴情報も顔の特徴情報として登録されている。典型的には、名前やコメントはテキストデータであり、顔の特徴情報はバイナリデータとしてデータベースに格納されている。本実施形態では、サーバ１０９が保持するデータベースには、人物１０２、人物１０４、人物１０６の識別情報と、属性情報としての名前およびコメントと、特徴情報とが関連付けられて格納されている。
【００１８】
図３を参照して、本実施形態における情報処理装置として機能するデジタルカメラ１０１の内部構成を説明する。デジタルカメラ１０１は、無線通信制御部３０１と、シャッターボタン３０２と、撮像部３０３と、表示部３０４と、識別情報取得部３０５と、顔特徴情報取得部３０６と、属性情報取得部３０７と、被写体顔特定部３０８と、プレビュー画像合成部３０９と、画像合成部３１０と、位置情報取得部３１１と、記憶部３１２とを備える。なお、各処理部は不図示のＣＰＵによりその動作を制御される。
【００１９】
無線通信制御部３０１は、無線ＬＡＮを用いて他の無線通信装置（本実施形態では携帯電話）との間で無線信号の送受信を行うためのアンテナおよび回路を制御する。シャッターボタン３０２は、撮影を開始するためのボタンであり、ユーザがシャッターボタン３０２を押下することにより撮像部３０３において撮影処理が開始される。撮像部３０３は、撮影を実施してＡ／Ｄ変換を行い、画像データを作成する。表示部３０４は、撮影した画像データを表示するための液晶ディスプレイである。
【００２０】
識別情報取得部３０５は、無線通信制御部３０１を制御することにより識別情報を外部の無線通信装置から受信する。顔特徴情報取得部３０６は、識別情報取得部３０５が取得した識別情報に基づいて、無線通信制御部３０１を制御することによりサーバ１０９へ、識別情報に関連付けられた顔特徴情報を問い合わせて取得する（第３の取得処理）。なお特徴情報は、必ずしも外部サーバ等から取得する必要はなく、予め複数の被写体に関する特徴情報を保持していてもよい。また、顔の特徴情報に限らず、人物全体の特徴情報を用いてもよく、両者を併用してもよい。人物を特定できれば何れの特徴情報であってもよい。
【００２１】
属性情報取得部３０７は、識別情報取得部３０５が取得した識別情報に基づいて、無線通信制御部３０１を制御することによりサーバ１０９へ、識別情報に関連付けられた属性情報、すなわち名前やコメントを問い合わせて取得する（第２の取得処理）。
【００２２】
被写体顔特定部３０８は、顔特徴情報取得部３０６が取得した顔の特徴情報に基づいて、撮像部３０３により撮影された画像データ中から、被写体の位置を特定する。被写体を認識して特定する技術としては、画像から抽出される特徴量と、特徴情報とのマッチングする技術を用いればよい。なお、特定が可能であれば公知の何れの技術を用いることも可能であるが、特定の方法は限定されない。
【００２３】
プレビュー画像合成部３０９は、属性情報取得部３０７により取得された属性情報を画像中に合成して第１の画像を生成する。プレビュー画像合成部３０９では、被写体顔特定部３０８で特定した被写体の位置は必ずしも用いる必要はなく、画像中の任意の位置に属性情報を合成すればよい。
【００２４】
画像合成部３１０は、被写体顔特定部３０８により特定された被写体の近傍または任意の場所に、属性情報取得部３０７により取得された被写体の属性情報を合成し、第２の画像を生成する（第２の画像生成処理）。位置情報取得部３１１は、デジタルカメラ１０１の位置を特定するための緯度、経度、方位、高度などの情報を取得する。位置情報取得部３１１は、ＧＰＳ機能や電子コンパス機能を有する。記憶部３１２は、デジタルカメラ１０１を制御するためのプログラムや各種データを格納可能なＲＯＭやＲＡＭ等のメモリである。
【００２５】
図４を参照して、携帯電話１０３、携帯電話１０５、携帯電話１０７の内部構成を説明する。携帯電話１０３を代表として以下説明するが、携帯電話１０５、携帯電話１０７の内部構成も同様である。
【００２６】
携帯電話１０３は、無線通信制御部４０１と、識別情報発信部４０２と、携帯電話制御部４０３と、位置情報取得部４０４とを備える。無線通信制御部４０１は、無線ＬＡＮを用いて他の無線通信装置との間で無線信号の送受信を行うためのアンテナおよび回路を制御する。識別情報発信部４０２は、無線通信制御部４０１を制御することにより、識別情報を定期的にあるいは外部からの要求に応じて、外部へ送信する。識別情報はＩＥＥＥ８０２．１１規格に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与されて、送信される。
【００２７】
携帯電話制御部４０３は、携帯電話としての動作を制御する。位置情報取得部４０４は、端末の位置を特定するための緯度、経度、方位、高度などの情報を取得する。位置情報取得部４０４は、ＧＰＳ機能または電子コンパス機能を有する。なお、各処理部は不図示のＣＰＵによりその動作を制御される。
【００２８】
次に、図５のシーケンス図を参照して、デジタルカメラ１０１、携帯電話１０３、携帯電話１０５、携帯電話１０７およびサーバ１０９の処理について説明する。まず、ユーザがデジタルカメラ１０１のシャッターボタン３０２を押下することにより撮影が開始される（Ｓ５０１）。図６は、この際にデジタルカメラ１０１の表示部３０４に表示されている画像を示す。画像６０１は、撮像部３０３によって生成された画像である。画像６０１には被写体画像６０２と被写体画像６０３とが表示されている。被写体画像６０２と被写体画像６０３とは、それぞれ人物１０２と人物１０４とが撮影された画像に相当する。
【００２９】
次に、デジタルカメラ１０１は、識別情報取得部３０５により周囲の端末に対して識別情報をデジタルカメラ１０１へ送信するように要求する。具体的には、無線通信制御部３０１によりＩＥＥＥ８０２．１１規格に則ったプローブ・リクエスト・フレームをブロードキャストで送信する（Ｓ５０２）。
【００３０】
プローブ・リクエスト・フレームを受信した携帯電話１０３、携帯電話１０５、および携帯電話１０７は、それぞれの位置情報取得部４０４により自身の位置情報を取得する（Ｓ５０３、Ｓ５０４、Ｓ５０５）。
【００３１】
そして、携帯電話１０３、携帯電話１０５、および携帯電話１０７は、識別情報と位置情報とを付与したプローブ・レスポンス・フレームをそれぞれデジタルカメラ１０１へ応答する（Ｓ５０６）。デジタルカメラ１０１は、プローブ・レスポンス・フレームを受信すると、携帯電話１０３、携帯電話１０５、および携帯電話１０７それぞれの識別情報と位置情報とを得ることができる。取得される識別情報は、図２で説明したような、人物１０２、人物１０４、および人物１０６の３つの識別情報である。
【００３２】
デジタルカメラ１０１は、識別情報取得部３０５により識別情報を取得すると、次に属性情報取得部３０７を用いて、その識別情報を発信する人物の属性情報をサーバ１０９に問い合わせる（Ｓ５０７）。このとき、携帯電話１０３、携帯電話１０５、および携帯電話１０７から取得した識別情報を当該問い合わせに対して付与することで、どの人物の情報を得たいのかをサーバ１０９が判別することができる。
【００３３】
サーバ１０９は、デジタルカメラ１０１から属性情報の要求を受信すると、受信した識別情報に基づいてデータベースから当該識別情報に関連付けられた属性情報を検索する（Ｓ５０８）。サーバ１０９は該識別情報に関連付けられた属性情報として名前、コメントを取得すると、これらの属性情報をデジタルカメラ１０１へ送信する（Ｓ５０９）。デジタルカメラ１０１は、位置情報取得部３１１によりデジタルカメラ１０１の位置情報を取得する（Ｓ５１０）。
【００３４】
次に、デジタルカメラ１０１は、プレビュー画像合成部３０９によりプレビュー画像を生成し、表示部３０４を用いて該プレビュー画像を表示する（Ｓ５１１）。プレビュー画像の生成処理の詳細については図７を参照して後述する。
【００３５】
次に、デジタルカメラ１０１は、顔特徴情報取得部３０６を用いて、Ｓ５０６で取得した識別情報を発信する人物の特徴情報をサーバ１０９へ問い合わせる（Ｓ５１２）。このとき、Ｓ５０６で取得した識別情報を問い合わせに対して付与することで、どの人物の顔特徴情報を得たいのかをサーバ１０９が判別することができる。
【００３６】
サーバ１０９は、特徴情報の要求を受信すると、受信した要求に含まれる識別情報に基づいてデータベースの中から当該識別情報に関連付けられた顔の特徴情報を検索する（Ｓ５１３）。サーバ１０９は、当該識別情報に関連付けられた顔特徴情報を取得すると、当該顔特徴情報をデジタルカメラ１０１へ送信する（Ｓ５１４）。
【００３７】
デジタルカメラ１０１は、サーバ１０９から顔の特徴情報を取得すると、当該顔の特徴情報に基づいて画像合成部３１０により本画像を生成する（Ｓ５１５）。本画像の生成処理の詳細については図９を参照して後述する。以上で図５に示すシーケンスが終了する。
【００３８】
ここで、図７のフローチャートを参照して、Ｓ５１１におけるプレビュー画像合成部３０９によるプレビュー画像生成処理の手順を説明する。プレビュー画像生成処理は、Ｓ５０６でデジタルカメラ１０１が取得した識別情報のそれぞれに対して行われる。ここでは、人物１０２、人物１０４、人物１０６の順に処理を行うものとする。
【００３９】
まず、Ｓ７０１において、プレビュー画像合成部３０９は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合（Ｓ７０１；ＹＥＳ）、Ｓ７０２へ進む。一方、全ての識別情報を処理したと判定された場合（Ｓ７０１；ＮＯ）、処理を終了する。最初は、人物１０２、人物１０４、人物１０６のそれぞれの識別情報に対してまだ処理を行っていない状態であるので、Ｓ７０２へ進む。
【００４０】
次に、Ｓ７０２において、プレビュー画像合成部３０９は、外部から取得した識別情報のうち未処理の識別情報を１つ選択する。ここではまず人物１０２の識別情報についての処理を行うものとする。プレビュー画像合成部３０９は、識別情報と関連付けられた人物１０２の属性情報である名前およびコメントを、図６で示した画像６０１中に合成する。これにより、人物１０２の識別情報に対しての処理は完了する。
【００４１】
次に、Ｓ７０１に戻って再び判定処理を行う。ここでは人物１０４、人物１０６のそれぞれの識別情報に対してまだ処理を行っていない状態であるため、再びＳ７０２へ進む。プレビュー画像合成部３０９は、同様に、識別情報と関連付けられた人物１０４の属性情報である名前およびコメントを、図６で示した画像６０１中に合成する。
【００４２】
次に、Ｓ７０１に戻って再び判定処理を行う。ここでは人物１０６の識別情報に対してまだ処理を行っていない状態であるため、再びＳ７０２へ進む。プレビュー画像合成部３０９は、同様に、識別情報と関連付けられた人物１０６の属性情報である名前およびコメントを、図６で示した画像６０１中に合成する。
【００４３】
なお、ここではＳ５１０で取得したデジタルカメラ１０１の位置情報、Ｓ５０６で取得した携帯電話１０３、携帯電話１０５、および携帯電話１０７の位置情報をさらに使用してもよい。具体的には、デジタルカメラ１０１と携帯電話１０３との位置関係に基づいて、例えばデジタルカメラ１０１の撮影範囲に携帯電話１０３が存在するか否かを判定する。撮影可能範囲内に携帯電話１０３が存在しないと判定された場合には、属性情報を表示しないように構成してもよい。携帯電話１０５、携帯電話１０７についても同様である。人物１０２、人物１０４、人物１０６の識別情報それぞれに対する処理が完了すると、図７のフローチャートの処理が終了する。
【００４４】
図８は、図７の処理に基づいて合成されたプレビュー画像の例を示す。画像６０１中に合成された、ふきだし画像８０１、ふきだし８０２、ふきだし８０３は、それぞれ人物１０２、人物１０４、人物１０６の属性情報である。なお、図８の例では画像６０１中にふきだし画像に対応する人物が存在するか否かに関わらず、ふきだし画像を表示している。ふきだし画像を表示する画像中の位置は任意であってもよい。しかしながら、位置情報に基づいて、画像６０１中に存在しない人物に対応するふきだし画像（図８の例ではふきだし画像８０３）を表示しないように構成することも可能である。なお位置情報を用いる場合、被写体画像６０２に対応する人物１０２がデジタルカメラ１０１から見て正面左側方向に存在すると推定されるため、ふきだし画像８０１は画像６０１中の左側に表示されてもよい。同様に、被写体画像６０３に対応する人物１０４がデジタルカメラ１０１から見て中央付近に存在すると推定されるため、ふきだし画像８０２は画像６０１中の中央付近に表示される。人物１０６がデジタルカメラ１０１の撮影範囲に存在しないと推定されるため、ふきだし画像８０３は任意の位置、例えば右側に表示される。
【００４５】
次に図９のフローチャートを参照して、デジタルカメラ１０１の本画像生成処理の手順を説明する。識別情報取得部３０５が取得した識別情報のそれぞれに対して以下の処理を行う。ここでは、図２に示すような、人物１０２の識別情報「００：００：８５：００：００：０１」、人物１０４の識別情報「００：００：８５：００：００：０２」、人物１０６の識別情報「００：００：８５：００：００：０３」の順に処理を行うものとして説明する。
【００４６】
Ｓ９０１において、画像合成部３１０は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合（Ｓ９０１；ＹＥＳ）、Ｓ９０２へ進む。一方、全ての識別情報を処理したと判定された場合（Ｓ９０１；ＮＯ）、Ｓ９０５へ進む。
【００４７】
Ｓ９０２において、被写体顔特定部３０８は、Ｓ５１４で取得された特徴情報に基づいて、画像中から人物の被写体画像（オブジェクト）を特定する（オブジェクト判定処理）。画像中から人物の被写体画像を特定できた場合（Ｓ９０２；ＹＥＳ）、Ｓ９０３へ進む。一方、画像中から人物の被写体画像を特定できなかった場合（Ｓ９０２；ＮＯ）、Ｓ９０４へ進む。
【００４８】
Ｓ９０３において、画像合成部３１０は、人物に対応する被写体画像が特定されると、特定された当該被写体画像の近傍に、対応する人物の属性情報を表示する。ここで、近傍とは、被写体画像から所定距離の範囲の任意の位置である。例えば、被写体画像から所定の方向かつ所定の距離にある所定の位置であってもよい。被写体画像と重複しない位置であるとよいが一部が重複しても、被写体画像と属性情報とをユーザが判別できれば構わない。その後、Ｓ９０１へ戻る。
【００４９】
Ｓ９０４において、画像合成部３１０は、人物の属性情報を画像中から消去する。その後、Ｓ９０１へ戻る。Ｓ９０５において、表示部３０４は、合成された画像を表示する。以上で図９のフローチャートの各処理が終了する。
【００５０】
以上の処理を、具体例を挙げて説明する。最初は人物１０２、人物１０４、人物１０６の識別情報が未処理なので（Ｓ９０１）、Ｓ９０２へ進む。ここでは画像６０１中から人物１０２の被写体画像を特定する（Ｓ９０２）。人物１０２の被写体画像は、人物１０２の識別情報に関連付けられておりＳ５１４で取得された顔特徴情報を用いて特定される。その後、Ｓ９０３へ進む。ここでは、被写体画像６０２が人物１０２であると特定されると、その特定した被写体画像６０２の位置に基づいて、被写体画像６０２の近傍に人物１０２の属性情報を表示する（Ｓ９０３）。
【００５１】
次にＳ９０１へ戻ると、人物１０２の識別情報に対する処理は完了したが、人物１０４、人物１０６の識別情報は処理が行われていないため、再びＳ９０２へ進む。次に人物１０４の被写体画像を画像６０１中から特定する（Ｓ９０２）。人物１０２と同様に特定処理が行われる。被写体画像６０３が人物１０４であると特定されると、被写体画像６０３の近傍に人物１０４の属性情報を表示する（Ｓ９０３）。以上により、人物１０４の識別情報に対する処理は完了する。
【００５２】
次に、人物１０６の識別情報に対しての処理が開始される（Ｓ９０１）。同様にして、画像６０１中から人物１０６の被写体画像の特定が行われる（Ｓ９０２）。しかし、画像６０１中には人物１０６が存在しないため、特定処理に失敗する。すると、デジタルカメラ１０１は人物１０６の属性情報を画像６０１中から消去する（Ｓ９０４）。
【００５３】
人物１０２、人物１０４、人物１０６それぞれの識別情報に対して処理が行われると、Ｓ９０１において全ての識別情報に対しての処理が完了したとしてＳ９０５へ進む。表示部３０４は合成した本画像を表示して処理を終了する（Ｓ９０５）。
【００５４】
図１０は、表示部３０４により表示される本画像の一例である。ふきだし画像１００１、ふきだし画像１００２はそれぞれ人物１０２、人物１０４の属性情報であり、それぞれふきだし画像８０１、ふきだし画像８０２が再描画されたものである。一方で、人物１０６の属性情報、すなわち、ふきだし画像８０３に対応する画像は、Ｓ９０４で消去されたために図１０には示されない。
【００５５】
以上説明したように、本実施形態によれば、被写体の属性情報を画像処理に基づいて特定する前にプレビュー画像を一旦ユーザに表示することによって、ユーザは属性情報を早く閲覧することができる。すなわち被写体に関する情報を得るまでの時間を短縮することができる。また、その後に被写体近傍に属性情報を再描画することで、どの被写体がその属性情報に関連付けられているかを判別しやすくなる。また、被写体画像が存在しない属性情報が表示されないようにすることで、ユーザが別の被写体に関連付けられている属性情報だと誤解する可能性を低減することができる。
【００５６】
（第２実施形態）
本実施形態と第１実施形態とは、プレビュー画像を表示する際の条件の有無が異なる。システムの構成、サーバ１０９が保持するデータベース、デジタルカメラ１０１、および携帯電話１０３、携帯電話１０５、携帯電話１０７は第１実施形態と同様である。第１実施形態と同様である点に関しては、ここでは説明を省略する。
【００５７】
図１１のフローチャートを参照して、デジタルカメラ１０１の撮影処理の手順を説明する。
【００５８】
Ｓ１１０１において、デジタルカメラ１０１は、撮影処理を開始すると、まず、識別情報を周囲の端末から取得する。これは、第１実施形態のＳ５０２乃至Ｓ５０６の処理に相当しており、第１実施形態と同様に、携帯電話１０３、携帯電話１０５、携帯電話１０７からそれぞれの識別情報と位置情報とを取得する。
【００５９】
Ｓ１１０２において、デジタルカメラ１０１は、取得した識別情報に関連付けられた属性情報をサーバ１０９へ問い合わせ、サーバ１０９からの応答により当該属性情報を取得する。これは、第１実施形態のＳ５０７乃至Ｓ５０９の処理に相当する。属性情報は、人物１０２、人物１０４、人物１０６のそれぞれの名前およびコメントである。
【００６０】
Ｓ１１０３において、デジタルカメラ１０１は、取得した識別情報に関連付けられた特徴情報をサーバ１０９に問い合わせ、サーバ１０９からの応答により当該特徴情報を取得する。当該特徴判定処理において特徴情報を取得できた場合（Ｓ１１０３；ＹＥＳ）、Ｓ１１０４へ進む。一方、特徴情報を取得できなかった場合（Ｓ１１０３；ＮＯ）、Ｓ１１０５へ進む。
【００６１】
Ｓ１１０４において、デジタルカメラ１０１は、本画像を生成する。当該本画像は、第１実施形態と同様に、デジタルカメラ１０１の画像合成部３１０によって、図９に示されるフローチャートに従って生成される。そして、図１０に示される画像が表示部３０４に表示される。
【００６２】
Ｓ１１０５において、デジタルカメラ１０１は、プレビュー画像を生成する。プレビュー画像は、第１実施形態と同様に図７に示されるフローチャートに従って生成される。また、生成されるプレビュー画像も第１実施形態と同様に図８で示されるようなプレビュー画像である。
【００６３】
Ｓ１１０６において、デジタルカメラ１０１は、Ｓ１１０５でプレビュー画像を生成すると、次に、特徴情報を再びサーバ１０９へ問い合わせる。このとき、サーバ１０９から特徴情報が取得できた場合には（Ｓ１１０６；ＹＥＳ）、Ｓ１１０４へ進み、当該特徴情報に基づいて本画像を生成する。一方、Ｓ１１０６で特徴情報の取得に再度失敗すると（Ｓ１１０６；ＮＯ）、プレビュー画像を表示したまま処理を終了する。なお、本実施形態では特徴情報の再取得を一度だけ試みているが、取得できるまでサーバ１０９へ問い合わせてもよい。あるいは、一定回数取得を試みてもよい。以上で図１１のフローチャートの各処理が終了する。
【００６４】
以上説明したように、本実施形態によれば、特徴情報が取得できなかった場合にのみ、プレビュー画像を表示する。これにより、例えば、サーバ１０９の負荷が大きくて特徴情報の問い合わせに対するレスポンスをすぐに返せなかった場合でも、画面上には一旦プレビューが表示されるために、ユーザが属性情報を入手するまでの時間を短縮することができる。すなわち、被写体の情報を得るまでの時間を短縮することができる。
【００６５】
（第３実施形態）
本実施形態と第１実施形態とは、プレビュー画像の生成処理の内容が異なる。システムの構成、サーバ１０９が保持するデータベース、および携帯電話１０３、携帯電話１０５、携帯電話１０７は第１実施形態と同様である。また、デジタルカメラ１０１が撮影処理を行う際に発生する携帯電話１０３、携帯電話１０５、携帯電話１０７およびサーバ１０９と、デジタルカメラ１０１との間のシーケンスは第１実施形態の図５に示されるシーケンスと同様である。本画像生成処理も第１実施形態の図９に示される処理と同様である。第１実施形態と同様である点に関しては説明を省略する。
【００６６】
図１２を参照して、本実施形態を適用可能なデジタルカメラ１０１の内部構成を説明する。本実施形態に係るデジタルカメラ１０１は、第１実施形態で図３を参照して説明した各処理部に対応する、無線通信制御部１２０１と、シャッターボタン１２０２と、撮像部１２０３と、表示部１２０４と、識別情報取得部１２０５と、顔特徴情報取得部１２０６と、属性情報取得部１２０７と、被写体顔特定部１２０８と、プレビュー画像合成部１２０９と、画像合成部１２１０と、位置情報取得部１２１１と、記憶部１２１２とを備える。本実施形態に係るデジタルカメラ１０１は、クエリ取得部１２１３と、関連度判定部１２１４とをさらに備える。なお、各処理部は不図示のＣＰＵによりその動作を制御される。
【００６７】
クエリ取得部１２１３は、ユーザが検索クエリを入力するためのタッチパネルにより構成されており検索クエリの入力を受け付ける。例ええば、検索クエリとしてテキスト情報の入力を受け付ける。
【００６８】
関連度判定部１２１４は、属性情報取得部１２０７が外部から取得した属性情報と、クエリ取得部１２１３が取得した検索クエリとの比較を行い、それらの関連度を判定する。例えば、テキスト情報として受付けられた検索クエリと、属性情報としての名前やコメントとを比較して、同一のまたは類似する単語やフレーズが含まれている場合関連性があるものと判定できる。
【００６９】
図１３のフローチャートを参照して、本実施形態におけるプレビュー画像の生成処理の手順を説明する。
【００７０】
Ｓ１３０１において、クエリ取得部１２１３は、ユーザから検索クエリを取得する。ここで、検索クエリとして「ラーメン」という文字列が取得できたとして、以降の説明をする。次に、第１実施形態のＳ５０２乃至Ｓ５０６の各処理で取得された人物１０２、人物１０４、人物１０６の識別情報のそれぞれに対して、順に以降の処理を実施する。
【００７１】
Ｓ１３０２において、プレビュー画像合成部１２０９は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合（Ｓ１３０２；ＹＥＳ）、Ｓ１３０３へ進む。一方、全ての識別情報を処理したと判定された場合（Ｓ１３０２；ＮＯ）、Ｓ１３０５へ進む。最初は、人物１０２、人物１０４、人物１０６のそれぞれの識別情報に対してまだ処理を行っていない状態であるので、Ｓ１３０３へ進む。
【００７２】
Ｓ１３０３において、関連度判定部１２１４は、Ｓ１３０１で取得されたクエリと人物１０２の属性情報とを比較し、関連性があるか否かを判定する。関連性があると判定された場合（Ｓ１３０３；ＹＥＳ）、Ｓ１３０４へ進む。一方、関連性がないと判定された場合（Ｓ１３０３；ＮＯ）、Ｓ１３０２戻る。ここでは、Ｓ１３０１で取得されたクエリである「ラーメン」という文字列が、人物１０２の属性情報に含まれているか否かを判定することにより関連性の有無を判定する。人物１０２の属性情報である名前、コメントには両方とも「ラーメン」という文字列が含まれていない。そのため関連性がないと判定される。関連性がないと判定されると、人物１０２の属性情報は画像６０１中には合成されることなく、人物１０２の識別情報に対しての処理を完了し、Ｓ１３０２へ戻る。
【００７３】
次に、人物１０４の識別情報に対しての処理である。Ｓ１３０２において、まだ人物１０４、人物１０６の処理が完了していないので、Ｓ１３０３へ進む。Ｓ１３０３において、人物１０４の属性情報と取得した検索クエリとの関連性があるか否かが判定される。ここで、人物１０４の属性情報であるコメントは「○○ラーメン店はおすすめ！」であり、「ラーメン」という文字列が含まれているため、関連性があると判定される。
【００７４】
Ｓ１３０４において、プレビュー画像合成部１２０９は、Ｓ１３０３で関連性があると判定されると、人物の属性情報として名前とコメントとを画像中に合成する。ここでは、人物１０４の属性情報として名前とコメントを画像６０１中に合成する。これにより、人物１０４の識別情報に対する処理を完了し、Ｓ１３０２へ戻る。
【００７５】
次に、人物１０６の識別情報に対しての処理である。Ｓ１３０２において、まだ人物１０６の処理が完了していないので、Ｓ１３０３へ進む。次に、同様にしてＳ１３０１で取得されたクエリと人物１０６の属性情報とを比較すると、人物１０６の属性情報のコメントに「×××ラーメン店はおいしいよ」と「ラーメン」という文字列が含まれているので、関連性があると判定される。関連性があると判定されると、人物１０６の属性情報を画像６０１中に合成する。これにより、人物１０６の識別情報に対する処理を完了し、Ｓ１３０２へ戻る。以上により人物１０２、人物１０４、人物１０６の識別情報に対しての処理が完了したため、Ｓ１３０５へ進む。
【００７６】
Ｓ１３０５において、表示部１２０４は、合成したプレビュー画像を表示する。図１４は、当該プレビュー画像の一例を示す。図１４において、ふきだし画像１４０１、ふきだし画像１４０２はそれぞれ、検索クエリである「ラーメン」と関連性があると判断された人物１０４、人物１０６の属性情報に相当する。一方、人物１０２の属性情報は、「ラーメン」と関連性がないと判断されたため、画像６０１中に合成されていない。
【００７７】
第１実施形態と同様に、位置情報を用いる場合、ふきだし画像１４０１は、被写体画像６０３に対応する人物１０４がデジタルカメラ１０１から見て中央付近に存在することが分かるため、画像６０１中の中央付近に表示される。一方、ふきだし画像１４０２は、人物１０６に対応する被写体画像が存在しないため、画像６０１上の任意の位置に表示される。
【００７８】
本実施形態によれば、画像処理によって被写体位置を特定する前に、ユーザは関心のある属性情報を見ることができる。そのため、関心のある情報を取得するまでの時間を短縮することができる。
【００７９】
（第４実施形態）
本実施形態と第１実施形態とは、本画像の生成処理の内容が異なる。システムの構成、サーバ１０９が保持するデータベース、および携帯電話１０３、携帯電話１０５、携帯電話１０７は第１実施形態と同様である。また、デジタルカメラ１０１が撮影処理を行う際に発生する携帯電話１０３、携帯電話１０５、携帯電話１０７およびサーバ１０９と、デジタルカメラ１０１との間のシーケンスは第１実施形態の図５に示されるシーケンスと同様である。プレビュー画像生成処理も第１実施形態の図８に示される処理と同様である。第１実施形態と同様である点に関しては説明を省略する。また、デジタルカメラ１０１の内部構成は第３実施形態の図１２に示される構成と同様である。
【００８０】
図１５のフローチャートを参照して、本実施形態における本画像の生成処理の手順を説明する。
【００８１】
Ｓ１５０１において、クエリ取得部１２１３は、ユーザから検索クエリを取得する。Ｓ１５０２において、画像合成部１２１０は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合（Ｓ１５０２；ＹＥＳ）、Ｓ１５０３へ進む。一方、全ての識別情報を処理したと判定された場合（Ｓ１５０２；ＮＯ）、Ｓ１５０８へ進む。
【００８２】
Ｓ１５０３において、被写体顔特定部１２０８は、画像中から人物の被写体画像を特定する。画像中から人物の被写体画像を特定できた場合（Ｓ１５０３；ＹＥＳ）、Ｓ１５０４へ進む。一方、画像中から人物の被写体画像を特定できなかった場合（Ｓ１５０３；ＮＯ）、Ｓ１５０５へ進む。
【００８３】
Ｓ１５０４において、画像合成部１２１０は、人物に対応する被写体画像が特定されると、特定された当該被写体画像の近傍に、対応する人物の属性情報を合成して表示する。ここで、近傍とは、例えば被写体画像から所定距離の範囲であって被写体画像と重複しない所定の位置である。その後、Ｓ１５０２へ戻る。
【００８４】
Ｓ１５０５において、関連度判定部１２１４は、Ｓ１５０１で取得された検索クエリと人物の属性情報とを比較し、関連性があるか否かを判定する（関連判定処理）。関連性があると判定された場合（Ｓ１５０５；ＹＥＳ）、Ｓ１５０６へ進む。一方、関連性がないと判定された場合（Ｓ１５０５；ＮＯ）、Ｓ１５０７へ戻る。
【００８５】
Ｓ１５０６において、画像合成部１２１０は、プレビュー画像中に表示されたふきだし画像を消去せずに、画像中に合成した状態を継続して本画像を生成する。Ｓ１５０７において、画像合成部１２１０は、プレビュー画像中に表示された人物の属性情報として合成されたふきだし画像を、画像中から消去して本画像を生成する。Ｓ１５０８において、表示部１２０４は、本画像を表示する。以上で図１５のフローチャートの各処理が終了する。
【００８６】
以下、具体例を挙げて説明する。まずデジタルカメラ１０１は、クエリ取得部１２１３により検索クエリを取得する（Ｓ１５０１）。
【００８７】
ここで、検索クエリとして「ラーメン」という文字列が取得された場合と、「うどん」という文字列が取得された場合とで、以降の説明をする。
【００８８】
まず、「ラーメン」という文字列が取得された場合について述べる。Ｓ５０２乃至Ｓ５０６の各処理で取得された人物１０２、人物１０４、人物１０６の識別情報のそれぞれに対して順に以降の処理を実施する。最初にＳ１５０２の処理を実行する際には、まだ人物１０２、人物１０４、人物１０６の識別情報の何れに対しても処理を行っていないので、Ｓ１５０３へ進む。デジタルカメラ１０１は、被写体顔特定部１２０８によって画像６０１中から人物１０２の被写体画像を特定する（Ｓ１５０３）。被写体画像６０２が人物１０２であると特定されると、その特定した被写体の位置に基づいて、被写体画像６０２の近傍に人物１０２の属性情報を描画し直す（Ｓ１５０４）。次に、Ｓ１５０２へ戻ると、人物１０４、人物１０６の処理は行われていないので、Ｓ１５０３へ進む。人物１０４の識別情報に対しても、人物１０２と同様に人物を特定し（Ｓ１５０３）、その近傍に人物１０４の属性情報を再描画する（Ｓ１５０４）。
【００８９】
再びＳ１５０２へ戻ると、人物１０６の処理は行われていないので、Ｓ１５０３へ進む。そして、画像６０１中から人物１０６の被写体画像の特定処理を実施する（Ｓ１５０３）。しかし、人物１０６は画像６０１中に存在しないため、特定に失敗し、Ｓ１５０５へ進む。
【００９０】
次に、デジタルカメラ１０１は、関連度判定部１２１４により、取得したクエリと人物１０６の属性情報とを比較し、関連性があるか否かを判定する（Ｓ１５０５）。ここで、人物１０６の属性情報であるコメントは「××ラーメン店はおいしいよ」であり「ラーメン」という文字列が含まれているので、関連性があると判定される。
【００９１】
関連性があると判定されると、プレビュー画像中に表示されたふきだし画像１６０３を消去せずに、そのまま画像６０１中に合成したままにする（Ｓ１５０６）。
【００９２】
次に、Ｓ１５０２に戻ると、人物１０２、１０４、１０６の識別情報に対する処理は完了しているため、生成した本画像を表示する（Ｓ１５０８）。
【００９３】
図１６は、以上の処理によって表示される本画像の一例である。ふきだし画像１６０１、ふきだし画像１６０２は被写体を特定できた人物１０２、人物１０４の属性情報である。ふきだし画像１６０３は、人物１０６の属性情報である。人物１０６の被写体は特定できなかったが、検索クエリと関連性のある属性情報を有しているので、画像６０１中に合成されている。
【００９４】
次に、Ｓ１５０１において「うどん」という検索クエリが取得された場合について述べる。人物１０２、人物１０４の識別情報については、Ｓ１５０３において被写体画像が特定できるため、「ラーメン」という検索クエリを入力した場合と同様である。人物１０６の識別情報については、まず、Ｓ１５０３において被写体の特定に失敗する。次に、人物１０６の属性情報と検索クエリである「うどん」とを比較する（Ｓ１５０５）。人物１０６の属性情報である名前、コメントには「うどん」という文字列は含まれていないので、Ｓ１５０７へ進む。そして、プレビュー画像中に表示された人物１０６の属性情報として合成されたふきだし画像１６０３は、画像６０１中から消去される（Ｓ１５０７）。そして、全ての識別情報に対しての処理が完了すると、Ｓ１５０２からＳ１５０８へ進み、本画像が表示される。生成される本画像は第１実施形態の図１０で示される本画像と同様である。人物１０６の属性情報は、検索クエリ「うどん」と関連性がないため表示されていない。
【００９５】
本実施形態によれば、画像処理によって被写体を特定できない場合においても、ユーザが関心のある情報を取得できる。
【００９６】
（第５実施形態）
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで本発明を実現してもよい。
【００９７】
識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１規格に則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈやパッシブ／アクティブ型のＲＦＩＤなどでもよい。また、無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで、同時に識別情報に関する通信を行ってもよい。
【００９８】
また、各実施形態で各識別情報は人物に関連付けられていたが、必ずしも人物に関連付けられる必要はなく、店などの建築物やある特定の物体などに関連付けられてもよい。また、プレビュー画像から本画像を表示する際に、プレビュー画像でおおよその位置に合成されたふきだし画像を、特定した被写体画像の近傍までアニメーションなどで移動させて表示してもよい。また、このとき、特定できた被写体から順に、その被写体近傍にふきだし画像をアニメーションで移動させてもよい。
【００９９】
また、表示されているふきだし画像で、被写体を特定できなかったふきだし画像を画像中から消去する場合においてもアニメーションで表示してもよい。例えば、風船のように破裂させて画面上から消去してもよいし、画面外にアニメーションで移動して表示しないようにしてもよい。
【０１００】
また、画面上から消去するのではなく、画面の隅に表示したり、半透明の画像で表示したり、表示方法を変更する形式でもよい。特定の被写体に結びついていないことがユーザにわかりやすい方法であればよい。
【０１０１】
また、各実施形態ではユーザがシャッターボタンを押下し、撮影を開始してから、識別情報、属性情報、顔の特徴情報を取得しているが、シャッターボタンを押下する前に予め取得しておいてもよい。
【０１０２】
第３実施形態、第４実施形態において、ユーザが入力する検索クエリは文字列に限らない。例えば、デジタルカメラ１０１の画面上でレストランモードや、スポーツモードなど複数のモードを選択することができ、その複数のモードの中からユーザが特定のモードを選択することをクエリとして見なしてもよい。
【０１０３】
また、ユーザの検索クエリは、自身の属性情報であってもよい。例えば、人物１０２が本発明を適用できる情報処理装置のユーザであったとして、検索クエリとして人物１０２に関連づけられている「太郎」、「今日は暑い」といった属性情報を検索クエリのひとつとして利用してもよい。
【０１０４】
さらに属性情報は、名前やコメントに限らない。ＵＲＬなど外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。
【０１０５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005775392.tif 000002
【図２】
0005775392.tif 000003
【図３】
0005775392.tif 000004
【図４】
0005775392.tif 000005
【図５】
0005775392.tif 000006
【図６】
0005775392.tif 000007
【図７】
0005775392.tif 000008
【図８】
0005775392.tif 000009
【図９】
0005775392.tif 000010
【図１０】
0005775392.tif 000011
【図１１】
0005775392.tif 000012
【図１２】
0005775392.tif 000013
【図１３】
0005775392.tif 000014
【図１４】
0005775392.tif 000015
【図１５】
0005775392.tif 000016
【図１６】
0005775392.tif 000017