(57)【要約】【課題】名前や会社名などの属性情報の一部を入力することなく属性情報を提示することができる情報管理装置を提供することを目的とする。【解決手段】  情報管理装置は、メガネ型端末１により実現している。メガネ型端末１は、拡張現実機能を有する端末であり、ユーザ２によって装着される。ユーザ２が対象者３と名刺交換をした際に、メガネ型端末１は、対象者３の顔画像や、対象者３の属性情報が示された名刺ＢＣを含む画像を撮像し、対象者３の顔画像と属性情報とを関連付けて登録する。そして、ユーザ２が対象者３と再び会った際に、メガネ型端末１は、対象者３の顔画像を撮像すると、その顔画像を登録された顔画像と照合し、対応する顔画像が登録されている場合には、その顔画像に対応する属性情報が、メガネ型端末１のディスプレイ１ａに、現実の視野に含まれる対象者３とともに表示される。【選択図】  図１
2019040401.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
撮像された前記画像から、対象者の顔と属性情報が示されたカードとを認識する認識部と、
前記対象者の前記属性情報を抽出する属性抽出部と、
前記対象者の顔画像を抽出する顔画像抽出部と、
前記顔画像抽出部によって抽出された前記対象者の第１の顔画像を前記属性情報とともに関連付けて登録する登録部と、
前記顔画像抽出部によって抽出された第２の顔画像と前記登録部に登録されている前記第１の顔画像とを照合する第１の照合部と、
前記第１の照合部による照合結果に基づいて前記属性情報を提示する提示部と、
を備えることを特徴とする情報管理装置。
【請求項２】
前記認識部は、カードを交換する動作を認識し、
前記属性抽出部は、前記認識部が認識した、前記カードを交換する動作で交換された前記カードの画像から前記属性情報を抽出することを特徴とする請求項１に記載の情報管理装置。
【請求項３】
前記認識部は、前記カードの３か所以上の領域が手指で覆われている状態を前記カードを交換する動作と認識することを特徴とする請求項２に記載の情報管理装置。
【請求項４】
前記認識部は、前記属性情報が示される文字列配列方向を基準として前記カードの上端側の領域の一部が手指で覆われている状態を前記カードを交換する動作と認識することを特徴とする請求項２又は請求項３に記載の情報管理装置。
【請求項５】
前記認識部は、前記属性情報が示される文字列配列方向を基準として前記カードの下端側の領域の一部が手指で覆われている状態を前記カードを交換する動作と認識することを特徴とする請求項２から４のうちのいずれか１項に記載の情報管理装置。
【請求項６】
前記属性抽出部は、前記認識部が前記カードを交換する動作を認識してから、前記カードを含む画像が所定の時間継続して認識されると、前記属性情報を抽出することを特徴とする請求項２から５のうちのいずれか１項に記載の情報管理装置。
【請求項７】
前記提示部は、前記照合結果に基づく前記属性情報を拡張現実画像として、入力された前記顔画像に重ねて提示することを特徴とする請求項１から６のうちのいずれか１項に記載の情報管理装置。
【請求項８】
情報管理装置と情報管理サーバとを備えた情報管理システムであって、
前記情報管理装置は、
画像を撮像する撮像部と、
撮像された前記画像から、対象者の顔と属性情報が示されたカードとを認識する認識部と、
前記対象者の前記属性情報を抽出する属性抽出部と、
前記対象者の顔画像を抽出する顔画像抽出部と、
前記顔画像抽出部によって抽出された前記対象者の第１の顔画像を、前記属性情報とともに関連付けた情報を、前記情報管理サーバに送信する登録情報送信部と、
前記顔画像抽出部によって抽出された第２の顔画像を前記情報管理サーバに送信する入力画像送信部と、
前記情報管理サーバから照合結果を受信して、その照合結果に基づいて前記属性情報を提示する提示部と、
前記情報管理サーバは、
少なくとも一つの前記情報管理装置のそれぞれが有する前記登録情報送信部から送信される前記第１の顔画像と前記属性情報が関連付けられた情報を統合して記憶する記憶部と、
受信した前記第２の顔画像と前記記憶部に記憶した前記第１の顔画像とを照合する第２の照合部と、
前記第２の照合部による照合結果を前記第２の顔画像の送信元である前記情報管理装置に送信する照合結果送信部と、
を備えることを特徴とする情報管理システム。
【請求項９】
登録部と、第１の照合部と、提示部とを備える情報管理装置が行う情報管理方法であって、
前記第１の照合部が、第２の顔画像と、前記登録部に登録されている、属性情報と関連付けられている対象者の第１の顔画像とを照合する第１の照合ステップと、
前記提示部が、前記第１の照合ステップで得られた照合結果に基づいて、前記属性情報を提示する提示ステップと、
を備えることを特徴とする情報管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報管理装置、情報管理システム、および情報管理方法に関し、特に名刺などに含まれる属性情報を管理する技術に関する。
【背景技術】
【０００２】
従来より、名刺管理アプリケーションなどの専用アプリケーションを用いて、名刺に含まれる名前、会社名や肩書などの属性情報をデータベース化して管理することが行われている。
【０００３】
例えば、特許文献１は、名刺と同等の大きさの携帯型情報端末装置で名刺の属性情報を読み取り、読み取った属性情報をデータベース化して携帯型情報端末装置に設けられた記憶部に予め記憶して、ユーザが会社名などを入力すると、名刺の属性情報が記憶部から呼び出され、画面に表示される技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−４４１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の、名刺に含まれる属性情報をデータベース化して管理する技術では、名刺交換をした相手の名前や会社名などの属性情報の一部を入力しなければ、データベースを用いた属性情報の検索などを行うことができない。そのため、名刺交換をした後に、再び名刺を交換した相手と会った際にその人の名前や会社名などが思い出せないような場合には、データベース化した属性情報に基づいて属性情報を提示することが困難であった。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、名前や会社名などの属性情報の一部を入力することなく属性情報を提示することができる情報管理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明に係る情報管理装置は、画像を撮像する撮像部と、撮像された前記画像から、対象者の顔と属性情報が示されたカードとを認識する認識部と、前記対象者の前記属性情報を抽出する属性抽出部と、前記対象者の顔画像を抽出する顔画像抽出部と、前記顔画像抽出部によって抽出された前記対象者の第１の顔画像を前記属性情報とともに関連付けて登録する登録部と、前記顔画像抽出部によって抽出された第２の顔画像と前記登録部に登録されている前記第１の顔画像とを照合する第１の照合部と、前記第１の照合部による照合結果に基づいて前記属性情報を提示する提示部と、を備えることを特徴とする。
【０００８】
また、本発明に係る情報管理装置において、前記認識部は、カードを交換する動作を認識し、前記属性抽出部は、前記認識部が認識した、前記カードを交換する動作で交換された前記カードの画像から前記属性情報を抽出してもよい。
【０００９】
また、本発明に係る情報管理装置において、前記認識部は、前記カードの３か所以上の領域が手指で覆われている状態を前記カードを交換する動作と認識してもよい。
【００１０】
また、本発明に係る情報管理装置において、前記認識部は、前記属性情報が示される文字列配列方向を基準として前記カードの上端側の領域の一部が手指で覆われている状態を前記カードを交換する動作と認識してもよい。
【００１１】
また、本発明に係る情報管理装置において、前記認識部は、前記属性情報が示される文字列配列方向を基準として前記カードの下端側の領域の一部が手指で覆われている状態を前記カードを交換する動作と認識してもよい。
【００１２】
また、本発明に係る情報管理装置において、前記属性抽出部は、前記認識部が前記カードを交換する動作を認識してから、前記カードを含む画像が所定の時間継続して認識されると、前記属性情報を抽出してもよい。
【００１３】
また、本発明に係る情報管理装置において、前記提示部は、前記照合結果に基づく前記属性情報を拡張現実画像として、撮像された前記画像に含まれる顔画像に重ねて提示してもよい。
【００１４】
また、本発明に係る情報管理システムは、情報管理装置と情報管理サーバとを備えた情報管理システムであって、前記情報管理装置は、画像を撮像する撮像部と、撮像された前記画像から、対象者の顔と属性情報が示されたカードとを認識する認識部と、前記対象者の前記属性情報を抽出する属性抽出部と、前記対象者の顔画像を抽出する顔画像抽出部と、前記顔画像抽出部によって抽出された前記対象者の第１の顔画像を、前記属性情報とともに関連付けた情報を、前記情報管理サーバに送信する登録情報送信部と、前記顔画像抽出部によって抽出された第２の顔画像を前記情報管理サーバに送信する撮像画像送信部と、前記情報管理サーバから照合結果を受信して、その照合結果に基づいて前記属性情報を提示する提示部と、前記情報管理サーバは、少なくとも一つの前記情報管理装置のそれぞれが有する前記登録情報送信部から送信される前記第１の顔画像と前記属性情報が関連付けられた情報を記憶する記憶部と、受信した前記第２の顔画像と前記記憶部に記憶した前記第１の顔画像とを照合する第２の照合部と、前記第２の照合部による照合結果を前記第２の顔画像の送信元である前記情報管理装置に送信する照合結果送信部と、を備えることを特徴とする。
【００１５】
また、本発明に係る情報管理方法は、登録部と、第１の照合部と、提示部とを備える情報管理装置が行う情報管理方法であって、前記第１の照合部が、第２の顔画像と、前記登録部に登録されている、属性情報と関連付けられている対象者の第１の顔画像とを照合する第１の照合ステップと、前記提示部が、前記第１の照合ステップで得られた照合結果に基づいて、前記属性情報を提示する提示ステップと、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、対象者の顔画像を属性情報に関連付けて登録し、撮像された顔画像と、登録されている顔画像との照合結果に基づき属性情報を提示するので、対象者の名前や会社名などの属性情報の一部を入力することなく対象者の属性情報を提示することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施の形態に係るメガネ型端末における属性情報の管理の概要を示す図である。
【図２】図２は、本発明の第１の実施の形態に係るメガネ型端末の機能を示す機能ブロック図である。
【図３】図３は、本発明の第１の実施の形態に係るメガネ型端末を実現するコンピュータの構成を示すブロック図である。
【図４】図４は、本発明の第１の実施の形態に係るメガネ型端末における登録処理のフローチャートである。
【図５】図５は、本発明の第１の実施の形態に係るメガネ型端末における表示処理のフローチャートである。
【図６】図６は、本発明の第２の実施の形態に係るメガネ型端末における登録処理のフローチャートである。
【図７】図７は、本発明の第２の実施の形態に係るメガネ型端末における名刺交換動作の認識処理のフローチャートである。
【図８Ａ】図８Ａは、本発明の第２の実施の形態における名刺交換動作の一例を示す図である。
【図８Ｂ】図８Ｂは、本発明の第２の実施の形態における名刺交換動作の別の例を示す図である。
【図８Ｃ】図８Ｃは、本発明の第２の実施の形態における名刺交換動作の別の例を示す図である。
【図９】図９は、本発明の第３の実施の形態に係る情報管理システムの概要を説明するための図である。
【図１０】図１０は、本発明の第３の実施の形態に係る情報管理サーバを実現するコンピュータの構成を示すブロック図である。
【図１１】図１１は、本発明の第３の実施の形態に係る情報管理システムの動作のシーケンス図である。
【図１２】図１２は、本発明の第３の実施の形態に係るメガネ型端末における登録情報送信処理のフローチャートである。
【図１３】図１３は、本発明の第３の実施の形態に係る情報管理サーバにおける登録情報記憶処理のフローチャートである。
【図１４】図１４は、本発明の第３の実施の形態に係るメガネ型端末における表示処理のフローチャートである。
【図１５】図１５は、本発明の第３の実施の形態に係る情報管理サーバにおける照合処理のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の好適な実施の形態について、図１から図１５を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。また、以下の説明において、「情報管理装置」として「メガネ型端末」を用い、属性情報が示された「カード」として「名刺」を用いた場合を説明する。
【００１９】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るメガネ型端末１における属性情報の管理の概要を示す図である。
【００２０】
図１に示すように、本発明の第１の実施の形態に係る情報管理装置は、メガネ型端末１により実現している。メガネ型端末１は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）機能を有する端末であり、現実の画像に重ねて情報を表示することができる。メガネ型端末１は、ユーザ２によって装着され、ユーザ２が対象者３と名刺交換をした際に、対象者３の顔画像や、対象者３の属性情報が示された名刺ＢＣを含む画像を撮像し、対象者３の顔画像と属性情報とを関連付けて登録する。そして、ユーザ２が対象者３と再び会った際に、メガネ型端末１は、対象者３の顔画像を撮像すると、その顔画像を登録された顔画像と照合し、対応する顔画像が登録されている場合には、その顔画像に対応する属性情報が、メガネ型端末１のディスプレイ１ａに、現実の視野に含まれる対象者３とともに表示される。
【００２１】
［メガネ型端末の機能ブロック］
図２は、本実施の形態に係るメガネ型端末１の機能を示す機能ブロック図である。メガネ型端末１は、撮像部１１と、認識部１２と、属性抽出部１３と、顔画像抽出部１４と、登録ＤＢ１５と、照合部１６と、表示部１７とを備える。
【００２２】
撮像部１１は、メガネ型端末１を装着したユーザ２の視界に入る光景を撮像し、対象者３の顔、名刺ＢＣ、および名刺ＢＣに示されている属性情報が含まれる画像を撮像する。
認識部１２は、撮像部１１によって撮像された画像に含まれる、人の顔および名刺ＢＣを認識する。
【００２３】
属性抽出部１３は、認識部１２によって認識された名刺ＢＣに表示されている、氏名、肩書き、会社名、住所、電話番号、Ｅｍａｉｌアドレスなどの属性情報を抽出する。名刺ＢＣから属性情報を抽出するには、例えば、特開２０１６−１７０６７７号公報に記載されているような属性情報を抽出する技術を用いればよい。
【００２４】
顔画像抽出部１４は、認識部１２によって認識された対象者３の顔情報を抽出する。対象者３の顔情報を抽出するには、例えば、認識部１２によって認識された対象者３の顔から、目、鼻、輪郭、肌の色などの特徴量を抽出する方法など、公知の技術を用いればよい。
【００２５】
登録ＤＢ１５は、対象者３の顔画像の情報（第１の顔画像）と、属性抽出部１３によって抽出された名刺ＢＣの属性情報とが関連付けられて登録されたデータベースである。
【００２６】
照合部１６は、撮像部１１、認識部１２および顔画像抽出部１４を介して抽出された、対象者３など、人の顔画像の情報（第２の顔画像）と登録ＤＢ１５に登録されている顔画像とを照合する。
【００２７】
表示部１７は、照合部１６による照合結果に基づく属性情報を、ユーザ２の現実の視界に存在する対象者３の画像にバーチャルの画像や映像として重ねて表示する。より詳細には、メガネ型端末１を装着したユーザ２が対象者３を見たときに、ユーザ２の視野に、拡張現実画像として、ホログラムによるデジタル画像の属性情報などが表示される。
【００２８】
［メガネ型端末のコンピュータ構成］
図３は、本実施の形態に係るメガネ型端末１を実現するコンピュータの構成を示すブロック図である。メガネ型端末１００は、バス１０１を介して接続される制御部１０２、Ｉ／Ｆ１０５、通信制御装置１０７、記憶装置１０８、および表示装置１１１を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【００２９】
制御部１０２は、ＣＰＵ１０３と主記憶部１０４とを備えている。主記憶部１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。制御部１０２によって、図２で示した認識部１２、属性抽出部１３、顔画像抽出部１４、および照合部１６などのメガネ型端末１の機能が実現される。
【００３０】
Ｉ／Ｆ１０５は、各種機器を接続するための入出力インターフェースであり、撮像部１１としてのカメラ１０６が接続されている。カメラ１０６は、光信号を画像信号に変換して、動画や静止画像を生成することができる。より詳細には、カメラ１０６は、ＣＣＤ（電荷結合素子：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有し、撮像領域から入射する光を受光面に結像して、電気信号に変換する。
【００３１】
通信制御装置１０７は、メガネ型端末１００と各種外部電子機器との間をネットワーク接続するための制御装置である。
【００３２】
記憶装置１０８は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。記憶装置１０８には、記憶媒体としてフラッシュメモリなどの半導体メモリを使用することができる。記憶装置１０８は、登録ＤＢ１０９、プログラム格納部１１０、図示しないその他の格納装置で、例えば、この記憶装置１０８内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。
【００３３】
登録ＤＢ１０９には、名刺ＢＣを差し出した対象者３の顔画像と、その名刺ＢＣに示されている対象者３の属性情報とが関連付けて記憶されている。登録ＤＢ１０９は、登録ＤＢ１５として機能する。
【００３４】
プログラム格納部１１０には、本実施の形態における登録処理や、表示処理などの属性情報の管理に必要な処理を実行するための各種プログラムが格納されている。
【００３５】
表示装置１１１は、メガネ型端末１のディスプレイ１ａを構成し、表示部１７として機能する。表示装置１１１は透過型の液晶などによって実現される。
【００３６】
［メガネ型端末の動作］
上述した構成を有するメガネ型端末１の動作の説明を、図４および図５を参照して説明する。図４は、本実施の形態に係るメガネ型端末１における登録処理のフローチャートである。まず、前提として、撮像部１１は、メガネ型端末１を装着したユーザ２の視界を撮像し、対象者３の顔や名刺ＢＣおよび名刺ＢＣに含まれる属性情報を含む画像を撮像する。
【００３７】
認識部１２は、撮像部１１によって撮像される画像において、名刺ＢＣが認識された時点から、例えば、２秒間など、所定の時間継続して、名刺ＢＣが認識された場合には（ステップＳ１１：ＹＥＳ）、認識された名刺ＢＣから属性情報を抽出する（ステップＳ１２）。
【００３８】
一方、所定の時間継続して名刺ＢＣの画像が認識されない場合には（ステップＳ１１：ＮＯ）、処理は登録処理の先頭に戻され、名刺ＢＣの属性情報は登録されないこととなる。このように、認識部１２が名刺ＢＣを所定の時間継続して認識された場合に属性情報を抽出することにより、ユーザ２が登録を望む対象者３の属性情報を選択的に登録することが可能となる。
【００３９】
次に、名刺ＢＣが認識された場合、属性抽出部１３は、認識部１２によって認識された名刺ＢＣに示されている属性情報を抽出する（ステップＳ１２）。
【００４０】
その後、顔画像抽出部１４は、認識部１２によって認識された対象者３の顔の画像情報を抽出する（ステップＳ１３）。より詳細には、ステップＳ１２で名刺ＢＣの属性情報が抽出されると、例えば、表示部１７に、ユーザ２に対して対象者３の顔を見るよう促すメッセージなどが表示される。すると、表示されたメッセージに従って、メガネ型端末１を装着したユーザ２は視線を対象者３に向ける。そして、顔画像抽出部１４は、認識された対象者３の顔画像から、対象者３の顔画像の情報を抽出する。
【００４１】
次に、ステップＳ１２およびステップＳ１３でそれぞれ抽出された、名刺ＢＣの属性情報と顔画像の情報とが関連付けて登録ＤＢ１５に登録される（ステップＳ１４）。以上のような登録処理が、ユーザ２による名刺交換が行われるたびに実行されることによって、名刺ＢＣの属性情報と顔画像の情報が関連付けられた各対象者３の情報（以下、「登録情報」ということがある。）が登録ＤＢ１５に蓄積される。
【００４２】
［メガネ型端末による表示処理］
図５は、本実施の形態に係る別のメガネ型端末１における表示処理のフローチャートである。上述した登録処理によって、対象者３の顔画像の情報と属性情報とが関連付けて登録ＤＢ１５に登録された後に、メガネ型端末１において、撮像部１１によって顔画像を含む画像が撮像されると、以下の表示処理が実行される。
【００４３】
まず、認識部１２は、メガネ型端末１を装着したユーザ２の視界の撮像画像から、対象者３の顔を認識する。そして、顔画像抽出部１４は、認識部１２によって認識された対象者３の顔画像の情報を抽出する（ステップＳ１５）。
【００４４】
次に、照合部１６は、撮像された顔画像（第２の顔画像）と登録ＤＢ１５に登録されている顔画像（第１の顔画像）とを照合する（ステップＳ１６）。照合部１６は、登録ＤＢ１５の顔画像のうち、撮像された顔画像と一致する情報が存在する場合には（ステップＳ１７：ＹＥＳ）、一致する顔画像に関連付けられている属性情報を読み出す（ステップＳ１８）。
【００４５】
そして、読み出した属性情報を、ユーザ２の視界に含まれる現実の対象者３の画像に重ねた拡張現実画像として、属性情報を表示部１７に表示する（ステップＳ２０）。一方、照合部１６による照合の結果、撮像された顔画像と一致する登録された顔画像がない場合には（ステップＳ１７：ＮＯ）、表示部１７には、該当者がいない旨の情報が表示される（ステップＳ１９）。
【００４６】
以上説明したように、第１の実施の形態によれば、対象者の顔画像と属性情報を関連付けて登録し、撮像された顔画像と登録されている顔画像とを照合することにより、対象者の属性情報を表示することができる。これにより、メガネ型端末１は、対象者の名前や会社名などを入力することなく、顔画像に対応する属性情報を表示することができる。
【００４７】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【００４８】
第１の実施の形態では、認識部が名刺の画像を所定の時間継続して認識した場合に、属性抽出部が名刺の画像に含まれる属性情報を抽出し、その後、顔画像抽出部が、対象者の顔画像を抽出する場合について説明した。これに対し、第２の実施の形態では、認識部は、ユーザが対象者と名刺を交換する動作を認識し、名刺を交換する動作を認識できた場合に、属性情報を抽出する。
【００４９】
認識部１２は、第１の実施の形態と同様に、撮像部１１による撮像画像から名刺ＢＣや対象者３の顔を認識する機能に加え、ユーザ２と対象者３とが名刺ＢＣを交換する動作を認識する。
【００５０】
図６は、第２の実施の形態に係るメガネ型端末１における登録処理のフローチャートである。まず、前提として、第１の実施の形態と同様に、撮像部１１は、メガネ型端末１０Ａを装着したユーザ２の視界を撮像し、対象者３の顔、名刺ＢＣおよび名刺ＢＣに示される属性情報を含む画像を撮像する。そして、認識部１２は、撮像部１１により撮像されている画像に基づいて、対象者３とユーザ２が名刺交換を行う動作を認識する（ステップＳ２１）。
【００５１】
ここで、認識部１２によって実行される名刺交換動作の認識処理について図７のフローチャートを参照して説明する。本実施の形態では、認識部１２は、対象者３がユーザ２に対して名刺ＢＣを差し出す動作（図８Ａ）、対象者３とユーザ２が名刺を交換している動作（図８Ｂ）、ユーザ２が名刺ＢＣを受け取る動作（図８Ｃ）の３つの動作を「名刺交換動作」として認識する場合について説明する。
【００５２】
まず、認識部１２は、対象者３がユーザ２に名刺ＢＣを差し出す動作を名刺交換動作として認識する。認識部１２は、名刺ＢＣの上端側の領域の一部が手指で覆われている場合には（ステップＳ２１０：ＹＥＳ）、名刺交換動作であると判断する。なお、認識部１２は、名刺ＢＣの属性情報が示されている文字列配列方向を基準として名刺ＢＣの向きを認識し、上端および下端を特定する。
【００５３】
名刺ＢＣの上端側の領域の一部が手指で覆われていない場合には（ステップＳ２１０：ＮＯ）、認識部１２は、名刺ＢＣの３か所以上の領域の一部が手指で覆われているか否かを判断する（ステップＳ２１１）。図８Ｂに示すように、名刺ＢＣの３か所以上の領域が手指で覆われている場合には（ステップＳ２１１：ＹＥＳ）、認識部１２は名刺交換動作であると判断する。
【００５４】
一方、名刺ＢＣの３か所以上の領域が手指で覆われていない場合には（ステップＳ２１１：ＮＯ）、名刺ＢＣの下端側の一部が手指で覆われているか否かを判断する（ステップＳ２１２）。図８Ｃに示すように、名刺ＢＣの下端側が手指の一部で覆われている場合には（ステップＳ２１２：ＹＥＳ）、認識部１２は名刺交換動作であると判断する。
【００５５】
図６に戻り、認識部１２は、名刺交換動作が認識された時点から、所定の時間継続して名刺ＢＣが認識された場合には（ステップＳ２２：ＹＥＳ）、認識されている名刺ＢＣから属性情報を抽出する（ステップＳ２３）。
【００５６】
続いて、顔画像抽出部１４は、認識部１２によって認識された対象者３の顔の画像情報を抽出する（ステップＳ２４）。次に、ステップＳ２３およびステップＳ２４でそれぞれ抽出された、名刺ＢＣの属性情報と顔画像の情報とが関連付けて登録ＤＢ１５に登録される（ステップＳ２５）。
【００５７】
以上説明したように、第２の実施の形態によれば、認識部１２が名刺交換動作を認識することで、属性情報の抽出処理が開始される。さらに、認識部１２が、ユーザ２と対象者３との名刺交換の動作を３つの異なるポイントで認識することで、ユーザ２が対象者３から名刺ＢＣを受け取る際の動作にばらつきがあっても認識部１２による認識の失敗を防止することが可能となる。なお、本実施の形態では、３種類の名刺交換の動作をすべて適用する場合について説明したが、１種類のみや２種類の名刺交換動作を組み合わせて適用してもよい。
【００５８】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【００５９】
第１および第２の実施の形態では、メガネ型端末が登録ＤＢを有し、自装置で集められた登録情報のみに基づいて、撮像された顔画像と登録されている顔画像との照合を行っていた。これに対し、第３の実施の形態では、メガネ型端末で行っていた照合処理を情報管理サーバで行い、他のメガネ型端末で収集された登録情報との照合も行って対応する属性情報を表示する。
【００６０】
図９は、第３の実施の形態に係る情報管理システム４の概要を説明するための図である。情報管理システム４は、情報管理サーバ５と、複数のメガネ型端末１Ａ、１Ｂ、１Ｃと、インターネットなどのネットワークＮＷとで構成され、情報管理サーバ５と複数のメガネ型端末１Ａ、１Ｂ、１Ｃは、ネットワークＮＷを介して通信可能に接続されている。なお、本実施の形態では、メガネ型端末１Ａ、１Ｂ、１Ｃはそれぞれ異なるユーザ２Ａ、２Ｂ、２Ｃによって装着されている。
【００６１】
［情報管理サーバの機能構成］
図９に示すように、情報管理サーバ５は、記憶部５１と、照合部５２と、送受信部５３とを有する。
【００６２】
記憶部５１には、複数のメガネ型端末１Ａ、１Ｂ、１Ｃのそれぞれから受信した登録情報が記憶されている。なお、記憶部５１には、対象者３の顔画像の情報と名刺ＢＣの属性情報とが関連付けられた登録情報が蓄積される。登録情報と関連付けて、登録情報を送信したメガネ型端末１Ａ、１Ｂ、１Ｃの識別情報をさらに記憶してもよい。
【００６３】
照合部５２は、各メガネ型端末１Ａ、１Ｂ、１ＣからネットワークＮＷを介して、撮像された顔画像を受信し、記憶部５１に記憶されている顔画像とを照合する。
【００６４】
送受信部５３は、複数のメガネ型端末１Ａ、１Ｂ、１Ｃのそれぞれから、ネットワークＮＷを介して登録情報を受信する。また、送受信部５３は、メガネ型端末１Ａ（以下、複数のメガネ型端末１Ａ、１Ｂ、１Ｃを区別する必要がない場合には、「メガネ型端末１Ａ」として説明する。）から撮像された顔画像を受信する。また、送受信部５３は、照合部５２により実行された照合の結果を、撮像された顔画像の送信元のメガネ型端末１Ａに送信する。
【００６５】
［情報管理サーバを実現するコンピュータ構成］
上記の機能を有する情報管理サーバ５は、図１０に示すようなコンピュータにより実現される。
【００６６】
情報管理サーバ５００は、バス５０１を介して接続される制御部５０２、通信制御装置５０７、記憶装置５０８を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。制御部５０２によって、情報管理サーバ５００の照合部５２などの機能が実現される。また、通信制御装置５０７によって、送受信部５３の機能が実現される。
【００６７】
記憶装置５０８は、登録ＤＢ５０９、プログラム格納部５１０、図示しないその他の格納部で、例えばこの記憶装置５０８内に格納されているプログラムやデータなどをバックアップするための格納部などを有している。また、記憶装置５０８は、所定の領域にメガネ型端末１Ａ、１Ｂ、１Ｃそれぞれの識別情報を記憶している。
【００６８】
登録ＤＢ５０９には、複数のメガネ型端末１Ａ、１Ｂ、１Ｃのそれぞれから受信した登録情報が記憶されている。登録ＤＢ５０９によって、情報管理サーバ５の記憶部５１が実現される。
【００６９】
［メガネ型端末の機能構成］
次に、本実施の形態におけるメガネ型端末１Ａの機能構成について説明する。図９に示すように、メガネ型端末１Ａは、登録ＤＢ１５と照合部１６を有さず、送受信部１８を有する点で第１および第２の実施の形態に係るメガネ型端末１と異なる。
【００７０】
送受信部１８は、属性抽出部１３と顔画像抽出部１４がそれぞれ抽出した属性情報と顔画像の情報とを関連付けた登録情報を、情報管理サーバ５に送信する。また、送受信部１８は、顔画像抽出部１４によって抽出された、対象者３の顔画像の情報を、情報管理サーバ５に送信する。また、送受信部１８は、情報管理サーバ５の照合部５２によって実行された照合の結果に基づく属性情報を受信する。
【００７１】
［情報管理システムの動作シーケンス］
次に、本実施の形態における情報管理システム４の動作について図１１のシーケンスを用いて説明する。まず、メガネ型端末１Ａ、１Ｂ、１Ｃは、登録情報（顔画像と、顔画像に対応する属性情報）を、ネットワークＮＷを介して情報管理サーバ５に送信する。情報管理サーバ５は、各メガネ型端末１Ａ、１Ｂ、１Ｃの登録情報を受信して記憶部５１に記憶する。
【００７２】
その後、例えば、メガネ型端末１Ａの撮像部１１によって撮像されたユーザ２の視界に含まれる対象者３の顔画像が、ネットワークＮＷを介して情報管理サーバ５に送信される。このとき、メガネ型端末１Ａが識別可能となるように、メガネ型端末１Ａに固有の識別情報を撮像された顔画像とともに送信する。
【００７３】
次に、情報管理サーバ５の照合部５２は、受信した顔画像と、記憶部５１に記憶されている、複数のメガネ型端末１Ａ、１Ｂ、１Ｃから受信した登録情報に含まれる顔画像とを照合する。そして、情報管理サーバ５は、照合結果を、撮像された顔画像の送信元のメガネ型端末１Ａに送信する。
【００７４】
メガネ型端末１Ａは、照合結果を受信すると、ユーザ２の視界に含まれる対象者３の画像に重ねて、受信した属性情報を拡張現実画像として表示部１７に表示する。
【００７５】
［メガネ型端末による登録情報送信処理］
ここで、メガネ型端末１Ａ、１Ｂ、１Ｃによる登録情報送信処理について図１２のフローチャートを用いて説明する。まず、メガネ型端末１Ａ、１Ｂ、１Ｃのそれぞれの認識部１２により名刺交換動作が認識され（ステップＳ３１）、所定の時間継続して名刺ＢＣが認識されると（ステップＳ３２：ＹＥＳ）、属性抽出部１３が属性情報を抽出し（ステップＳ３３）、顔画像抽出部１４が対象者３の顔画像の情報を抽出する（ステップＳ３４）。
【００７６】
そして、メガネ型端末１Ａ、１Ｂ、１Ｃそれぞれの送受信部１８は、属性抽出部１３が抽出した名刺ＢＣの属性情報と、顔画像抽出部１４が抽出した顔画像の情報が関連付けられた登録情報を、ネットワークＮＷを介して情報管理サーバ５に送信する（ステップＳ３５）。なお、送受信部１８が登録情報を送信するタイミングは、登録情報が得られた直後である場合に限られず、例えば、１日に１回など、予め定められた期間ごとに登録情報を送信してもよい。
【００７７】
［情報管理サーバによる登録情報記憶処理］
情報管理サーバ５による登録情報記憶処理について図１３のフローチャートを用いて説明する。送受信部５３は、各メガネ型端末１Ａ、１Ｂ、１Ｃの登録情報を受信する（ステップＳ３０１）。そして、情報管理サーバ５は、登録情報を記憶部５１に記憶する（ステップＳ３０２）。
【００７８】
［メガネ型端末による表示処理］
次に、メガネ型端末装置１Ａ、１Ｂ、１Ｃによる表示処理について図１４のフローチャートを用いて説明する。まず、メガネ型端末１Ａ、１Ｂ、１Ｃの撮像部１１によって撮像されたユーザ２の視界に含まれる対象者３の顔画像の情報が、顔画像抽出部１４によって抽出される（ステップＳ３１０）。送受信部１８は、ネットワークＮＷを介して撮像された顔画像を情報管理サーバ５に送信する（ステップＳ３１２）。このとき、送受信部１８は、メガネ型端末１Ａに固有の識別情報を撮像された画像とともに送信する。
【００７９】
そして、情報管理サーバ５から照合結果（属性情報）を受信すると（ステップＳ３１３）、ユーザ２の視界に含まれる対象者３の画像に重ねて、受信した属性情報を拡張現実画像として表示部１７に表示する（ステップＳ３１４）。
【００８０】
［情報管理サーバによる照合処理］
続いて、情報管理サーバ５による照合処理について図１５のフローチャートを用いて説明する。送受信部５３が、撮像された顔画像を受信すると（ステップＳ３２０）、照合部５２は、撮像された顔画像と、記憶部５１に記憶されている複数のメガネ型端末１Ａ、１Ｂ、１Ｃから受信した登録情報に含まれる顔画像とを照合する（ステップＳ３２１）。そして、照合部５２は、照合の結果、撮像された顔画像と一致する顔画像がある場合には（ステップＳ３２２：ＹＥＳ）、対応する属性情報を記憶部５１から読み出す（ステップＳ３２３）。送受信部５３は、照合部５２による照合結果に基づいて属性情報を、撮像された顔画像の送信元のメガネ型端末１Ａ、１Ｂ、１Ｃに送信する（ステップＳ３２４）。
【００８１】
以上説明したように、第３の実施の形態によれば、情報管理サーバ５で照合処理を行うため、メガネ型端末１Ａをより簡易に構成することができる。また、メガネ型端末１Ａ以外の端末で収集された登録情報も用いて、撮像された顔画像と登録情報に含まれる顔画像との照合を行うため、より多くの登録情報に基づいた照合処理を行うことができる。
【００８２】
以上、本発明の情報管理装置、情報管理システム、および情報管理方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【００８３】
例えば、説明した第１の実施の形態では、ステップＳ１１において、認識部１２が、名刺交換動作を認識してから所定の時間継続して名刺ＢＣを認識した場合に、属性抽出部１３が名刺ＢＣの属性情報を抽出する構成について説明した。しかし、属性抽出部１３による属性情報の抽出（ステップＳ１２）を、ユーザ２の選択に基づいて開始することが可能であればこれに限られない。例えば、登録処理を進めるか否かの選択が可能なアイコンを表示部１７に表示して、ユーザ２からの入力受け付けに基づいて、ステップＳ１２が実行される構成を採用してもよい。
【００８４】
また、説明した第１の実施の形態では、メガネ型端末１の属性抽出部１３が属性情報を抽出し（ステップＳ１２）、顔画像抽出部１４が対象者３の顔画像を抽出し（ステップＳ１３）、続いて、属性情報と顔画像の情報が関連付けて登録される（ステップＳ１４）場合について説明した。しかし、本発明はこれに限られず、例えば、ステップＳ１４で登録情報を登録する前に、表示部１７に登録情報の確認情報を表示し、ユーザ２による登録情報の確認の選択が受け付けられた場合に、ステップＳ１４において登録情報が登録される構成を採用してもよい。
【００８５】
また、説明した第３の実施の形態では、３台のメガネ型端末１Ａ、１Ｂ、１Ｃのそれぞれで収集された登録情報が情報管理サーバ５の記憶部５１に記憶される場合について説明したが、メガネ型端末の数は複数であれば３台に限られない。
【００８６】
また、説明した実施の形態では、情報管理装置がメガネ型端末１である場合について説明したが、照合部１６による照合結果に基づく属性情報の提示は、表示部１７における画像の表示に限られず、音声などで行ってもよい。この場合、メガネ型端末１にイヤホン（図示しない）を設けて、属性情報を音声信号に変換して出力する。
【００８７】
また、照合部１６による照合結果に基づく属性情報の提示は、メガネ型端末１の表示部１７に表示される場合だけに限られず、例えば、メガネ型端末１と通信可能に接続されたスマートフォンなどの携帯端末装置の表示画面に文字情報として属性情報を表示してもよい。
【００８８】
また、説明した実施の形態では、属性情報を含むカードが名刺ＢＣである場合について説明したが、属性情報を含むカードなどであればこれに限られない。例えば、病院などの診察券、店舗など会員証に適用してもよい。
【符号の説明】
【００８９】
１、１００…メガネ型端末、１ａ…ディスプレイ、２…ユーザ、３…対象者、１１…撮像部、１２…認識部、１３…属性抽出部、１４…顔画像抽出部、１５…登録ＤＢ、１６…照合部、１７…表示部、１０１…バス、１０２…制御部、１０３…ＣＰＵ、１０４…主記憶部、１０５…Ｉ／Ｆ、１０６…カメラ、１０７…通信制御装置、１０８…記憶装置、１０９…登録ＤＢ、１１０…プログラム格納部、１１１…表示装置。
【図１】
2019040401.tif 000003
【図２】
2019040401.tif 000004
【図３】
2019040401.tif 000005
【図４】
2019040401.tif 000006
【図５】
2019040401.tif 000007
【図６】
2019040401.tif 000008
【図７】
2019040401.tif 000009
【図８Ａ】
2019040401.tif 000010
【図８Ｂ】
2019040401.tif 000011
【図８Ｃ】
2019040401.tif 000012
【図９】
2019040401.tif 000013
【図１０】
2019040401.tif 000014
【図１１】
2019040401.tif 000015
【図１２】
2019040401.tif 000016
【図１３】
2019040401.tif 000017
【図１４】
2019040401.tif 000018
【図１５】
2019040401.tif 000019