(57)【要約】【課題】カメラにより撮像される被写体の撮像画像からユーザが見ている方向の対象物を高精度に抽出して画像認識する。【解決手段】画像認識装置は、既定の画角内の被写体を撮像するカメラと、画角内の被写体のうち認識処理の対象を決定するためのフレーム部と、ユーザがフレーム部を見込む角度を測定するセンサと、センサの測定結果に基づいて、カメラにより撮像された撮像画像を処理する制御部と、処理された画像の認識処理を行う認識処理部と、認識結果に関連付けられた補足情報をフレーム部に表示する表示制御部と、を備える。制御部は、センサの測定結果を用いて、カメラにより撮像された撮像画像から、フレーム部を通したユーザの視野方向を推定し、ユーザの視野方向の推定結果に対応する認識処理の対象の画像を抽出する。【選択図】図４
2020190938.tif 000002
【特許請求の範囲】
【請求項１】
既定の画角内の被写体を撮像するカメラと、
前記画角内の被写体のうち認識処理の対象を決定するためのフレーム部と、
ユーザが前記フレーム部を見込む角度を測定するセンサと、
前記センサの測定結果に基づいて、前記カメラにより撮像された撮像画像を処理する制御部と、
前記制御部により処理された画像の認識処理を行う認識処理部と、
前記認識処理部の認識結果に関連付けられた補足情報を前記フレーム部に表示する表示制御部と、を備え、
前記制御部は、前記センサの測定結果を用いて、前記カメラにより撮像された撮像画像から、前記フレーム部を通した前記ユーザの視野方向を推定し、前記ユーザの視野方向の推定結果に対応する前記認識処理の対象の画像を抽出する、
画像認識装置。
【請求項２】
前記センサは、前記フレーム部の近傍に配置され、前記ユーザの頭部が輻射する赤外線を像として撮像可能な赤外線カメラを有し、前記赤外線カメラにより撮像された赤外線画像における赤外線輻射の重心位置に基づいて、前記ユーザが前記フレーム部を見込む角度を測定する、
請求項１に記載の画像認識装置。
【請求項３】
前記フレーム部は、透明ディスプレイを固定可能に把持し、
前記表示制御部は、前記補足情報を前記透明ディスプレイに重畳して表示する、
請求項１に記載の画像認識装置。
【請求項４】
前記表示制御部は、前記ユーザの視野方向の推定結果に対応する前記認識処理の対象の画像に前記補足情報を重畳して前記透明ディスプレイに表示する、
請求項３に記載の画像認識装置。
【請求項５】
前記センサと前記カメラとは、前記センサの中心軸と前記カメラの光軸とが平行になるように、前記フレーム部の面を介して背中合わせに配置される、
請求項１に記載の画像認識装置。
【請求項６】
前記認識処理部は、前記認識処理の対象の画像の認識結果として、前記画像に映る文字のテキスト情報を出力し、
前記表示制御部は、前記テキスト情報に対応する前記補足情報を前記フレーム部に重畳して表示する、
請求項１に記載の画像認識装置。
【請求項７】
既定の画角内の被写体を撮像するカメラと、
前記画角内の被写体のうち認識処理の対象を決定するためのフレーム部と、を有する画像認識装置により実行される画像認識方法であって、
ユーザが前記フレーム部を見込む角度を測定するステップと、
前記フレーム部を見込む角度の測定結果を用いて、前記カメラにより撮像された撮像画像から、前記フレーム部を通した前記ユーザの視野方向を推定し、前記ユーザの視野方向の推定結果に対応する前記認識処理の対象の画像を抽出するステップと、
抽出された前記認識処理の対象の画像の認識処理を行うステップと、
前記認識処理の認識結果に関連付けられた補足情報を前記フレーム部に表示するステップと、を有する、
画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラにより撮像された画像の認識処理を行う画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
特許文献１には、表示部と、輝度検知部と、防眩部と、制御部とを備える表示装置が開示されている。表示部は、第１液晶パネルと第２液晶パネルとを用いて、装置入力側から入射した光束を透過させて装置出力側に導くとともに、この透過光束による視野像に任意の情報表示を重畳させて装置出力側からユーザに提示する。輝度検知部は、視野像に対応する輝度情報を取得する。防眩部は、輝度検知部の出力に基づいて、透過光束の光量を減衰させる。制御部は、視野像の高輝度領域と情報表示の表示部分とが重なる場合に、防眩部における表示部分での透過光束の光量を、情報表示がない場合と比べて相対的に変化させる。これにより、透過型表示装置の視野に高輝度の物体が含まれている場合でも、各種情報の視認性が向上される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４２１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、上述した従来の状況に鑑みて案出され、カメラにより撮像される被写体の撮像画像からユーザが見ている方向の対象物を高精度に抽出して画像認識し、ユーザの利便性の向上を支援する画像認識装置および画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示は、既定の画角内の被写体を撮像するカメラと、前記画角内の被写体のうち認識処理の対象を決定するためのフレーム部と、ユーザが前記フレーム部を見込む角度を測定するセンサと、前記センサの測定結果に基づいて、前記カメラにより撮像された撮像画像を処理する制御部と、前記制御部により処理された画像の認識処理を行う認識処理部と、前記認識処理部の認識結果に関連付けられた補足情報を前記フレーム部に表示する表示制御部と、を備え、前記制御部は、前記センサの測定結果を用いて、前記カメラにより撮像された撮像画像から、前記フレーム部を通した前記ユーザの視野方向を推定し、前記ユーザの視野方向の推定結果に対応する前記認識処理の対象の画像を抽出する、画像認識装置を提供する。
【０００６】
また、本開示は、既定の画角内の被写体を撮像するカメラと、前記画角内の被写体のうち認識処理の対象を決定するためのフレーム部と、を有する画像認識装置により実行される画像認識方法であって、ユーザが前記フレームを見込む角度を測定するステップと、前記フレームを見込む角度の測定結果を用いて、前記カメラにより撮像された撮像画像から、前記フレーム部を通した前記ユーザの視野方向を推定し、前記ユーザの視野方向の推定結果に対応する前記認識処理の対象の画像を抽出するステップと、抽出された前記認識処理の対象の画像の認識処理を行うステップと、前記認識処理の認識結果に関連付けられた補足情報を前記フレーム部に表示するステップと、を有する、画像認識方法を提供する。
【発明の効果】
【０００７】
本開示によれば、カメラにより撮像される被写体の撮像画像からユーザが見ている方向の対象物を高精度に抽出して画像認識でき、ユーザの利便性の向上を支援できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る画像認識装置の外観を示す斜視図
【図２】ｙ方向に見た時の画像認識装置の筐体を示す図
【図３】ｙ−ｚ面において頭方位センサ２２側から、ｘ−ｙ面から見た、ｙ−ｚ面においてカメラ２１側からそれぞれ見た画像認識装置の筐体を示す図
【図４】画像認識装置のハードウェア構成例を示すブロック図
【図５】フレームを透して見える「象」および「牛」を含む被写体に対し、ユーザが「象」に頭を向けて注目している場合における画像認識装置の動作概要例を示す図
【図６】フレームを透して見える「象」および「牛」を含む被写体に対し、ユーザが「牛」に頭を向けて注目している場合における画像認識装置の動作概要例を示す図
【図７】ユーザがフレームを透して見る領域とカメラが撮像する領域との関係を示す図
【図８】頭方位センサである赤外線カメラによって撮像された画像例を示す図
【図９】認識処理部によって行われる画像認識例を示す図
【図１０】認識処理部による画像認識の結果例を示す図
【図１１】画像認識の結果に関連する補足情報が重畳された画像例を示す図
【図１２】実施の形態１に係る画像認識装置による画像認識処理の動作手順例を示すフローチャート
【発明を実施するための形態】
【０００９】
（本開示に至る経緯）
特許文献１では、撮像部により撮像された撮像画像に太陽などの高輝度な物体が映っている場合に、遮光マップのデータに基づいて表示部の第２液晶パネルの透過状態が部分的に変更されることで、撮像画像から高輝度な物体を排除するような補正が可能となり、撮像画像の視認性が向上している。このため、この技術は、例えば撮像画像の中でユーザが見ている対象物の画像認識に適用することは想定されていない。例えば、カメラおよび透明ディスプレイがそれぞれ搭載される携帯端末を想定し、カメラが画角内に含む被写体を撮像する際、撮像部の光軸とユーザが透明ディスプレイを介して見る方向とが必ずしも一致しないことがある。この場合、ユーザが見る被写体（例えば画像認識の対象物）とカメラが撮像する被写体とが方向的にずれる可能性があり、認識処理の対象がずれてユーザの利便性が向上しないという課題が考えられる。
【００１０】
（実施の形態１）
以下、適宜図面を参照しながら、本開示に係る画像認識装置および画像認識方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１１】
図１は、実施の形態における画像認識装置１０の外観を示す斜視図である。画像認識装置１０は、略板状の筐体１０ｚを有する、ユーザｈｍが携帯可能な端末装置である。支持体１０ｘが下部であってフレーム１０ｙが上部となるように画像認識装置１０が配置あるいはユーザｈｍにより把持される時に（図１参照）、支持体１０ｘの厚み方向（幅方向）をｘ方向、支持体１０ｘの長手方向をｙ方向、支持体１０ｘの高さ方向をｚ方向とし、以下同様とする。図２は、ｙ方向に見た時の画像認識装置１０の筐体１０ｚを示す図である。図３は、ｙ−ｚ面において頭方位センサ２２側から、ｘ−ｙ面から見た、ｙ−ｚ面においてカメラ２１側からそれぞれ見た画像認識装置１０の筐体１０ｚを示す図である。
【００１２】
筐体１０ｚは、透明ディスプレイ１４が嵌め込まれたフレーム１０ｙ（フレーム部の一例）と、電子部品を内蔵する支持体１０ｘとが連結した構造を有する。支持体１０ｘは、フレーム１０ｙを支持する支持部材であるとともに、ユーザｈｍが画像認識装置１０を手で把持する把持部材でもある。フレーム１０ｙに嵌め込まれた透明ディスプレイ１４（フレーム部の一例）は、表面から裏面まで透けた透過状態で各種の情報を表示可能である。また、画像認識装置１０がカメラ装置として動作する場合、透明ディスプレイ１４は、光学ビューファインダとして機能する。実施の形態１では、フレーム１０ｙが透明ディスプレイ１４と略同サイズであるので、フレーム１０ｙは、撮像範囲を決めるためのカメラフレームとして利用される。
【００１３】
支持体１０ｘは、カメラ２１および頭方位センサ２２を実装する。カメラ２１は、認識対象となる被写体を撮像し、撮像窓が露出するように支持体１０ｘの前面に装着される。カメラ２１は、例えば広角カメラであり、ユーザｈｍがフレーム１０ｙを通して見る領域（以下、「フレーム視野」という）を全て撮像可能にカバーする。
【００１４】
センサの一例としての頭方位センサ２２は、ユーザｈｍがフレーム１０ｙを見込む角度（以下、「見込み角」という）を検出し、検出窓が露出するように支持体１０ｘの背面に装着される。頭方位センサ２２の検出窓は、画像認識装置１０を手に持って撮像するユーザｈｍ側を向く。
【００１５】
カメラ２１および頭方位センサ２２は、頭方位センサ２２の中心軸とカメラ２１の光軸とが平行あるいは望ましくは同軸になるように、フレーム部の面の一例としての支持体１０ｘの両面（つまり前面、背面）に対し、背中合わせで配置される。これにより、カメラ２１の光軸および頭方位センサ２２の中心軸は、交わることなくフレーム１０ｙから離間する。また、画像認識装置１０は、カメラ２１で撮像される画像に含まれる複数の物体に対し、ユーザｈｍが注目している物体を特定し易くなる。つまり、画像認識装置１０は、カメラ２１の光軸（言い換えると、撮像画像の中心）に対し、ユーザｈｍによる見込み角を容易に算出でき、フレーム視野内の画像を抽出し易くなる。また、ユーザｈｍは、画像認識装置１０を把持して操作する際、支持体１０ｘの両面に背中合わせに配置されたカメラ２１および頭方位センサ２２を手で塞がないように、簡単に取り扱える。
【００１６】
図４は、画像認識装置１０のハードウェア構成例を示すブロック図である。画像認識装置１０は、プロセッサ１１と、認識処理部１２と、表示制御部１３と、透明ディスプレイ１４と、データベース１５と、操作部１６と、カメラ２１と、頭方位センサ２２とを含む構成である。
【００１７】
制御部の一例としてのプロセッサ１１は、内蔵メモリ（図示略）に保持されたプログラムを実行することで、各種機能を実現する。プロセッサ１１は、カメラ２１による撮像画像と頭方位センサ２２による見込み角とを基に、撮像画像に含まれるフレーム視野の領域の画像を抽出し、フレーム視野以外の領域をマスキングしたマスキング画像を生成する。プロセッサ１１は、例えばＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphical Processing Unit）等を用いて構成される。また、プロセッサ１１は、ＡＳＩＣ（Application Specific Integrated Circuit）等で設計された専用の電子回路、あるいはＦＰＧＡ（Field Programmable Gate Array）等で再構成可能に設計された電子回路で構成されてもよい。
【００１８】
認識処理部１２は、カメラ２１による撮像画像から抽出された、フレーム視野の画像を入力し、この画像に含まれる対象物である物体を認識する画像認識を行う。画像認識では、認識処理部１２は、例えばディープラーニングによる機械学習を行い、撮像画像を入力とし、撮像画像に含まれる物体を表す文字等の認識結果を出力する学習済みモデルを適用可能に事前に生成しておく。認識処理部１２は、学習済みモデルに画像（例えばマスキング画像）を入力し、文字等の認識結果を出力する。また、画像認識では、認識処理部１２は、あらかじめ物体のテンプレートを登録しておき、テンプレートを用いてマスキング画像に対しテンプレートマッチングを行い、マスキング画像に含まれる物体を認識してもよい。また、認識処理部１２は、画像認識の結果を基に、データベース１５を参照し、認識された物体に関連する補足情報を読み出し、マスキング画像に補足情報を重畳し、補足情報付きマスキング画像を生成する。なお、認識処理部１２は、個別の演算装置で実現されてもよいし、プロセッサ１１が実行する機能の一部として実現されてもよい。
【００１９】
表示制御部１３は、補足情報付きマスキング画像等の画像データを透明ディスプレイ１４に送信し、文字等の情報（例えば補足情報）の透明ディスプレイ１４への重畳表示を制御する。
【００２０】
透明ディスプレイ１４は、補足情報付きマスキング画像等、各種の情報を表面から裏面まで透過状態で表示する。なお、透明ディスプレイ１４は、非透過状態で各種の情報を表示することも可能である。透明ディスプレイ１４には、例えば画素への電圧印加状態によって透明または不透明（例えば白色）に変化するポリマー分散液晶、画素への電圧印加状態によって発光または非発光に変化する有機ＥＬ（Electroluminescence）もしくは無機ＥＬ等が用いられる。
【００２１】
データベース１５は、例えばハードディスク（Hard Disk Drive）もしくはＳＳＤ（Solid State Drive）等のストレージを用いて構成され、画像認識の結果、特定された物体に関連する補足情報を登録している。また、データベース１５は、機械学習により生成される学習済みモデル、テンプレートマッチングに用いられるテンプレートを登録している。
【００２２】
操作部１６は、ユーザｈｍの操作（例えば画像認識装置１０の起動、画像認識の開始および終了の操作）を受け付けし、具体的には、ボタンスイッチもしくはタッチセンサ等を用いて構成されてよい。なお、操作部１６は、透明ディスプレイ１４と合わせてタッチパネルとして構成されてもよい。
【００２３】
カメラ２１は、例えばＣＣＤ（Charged-Coupled Devices）あるいはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の固体撮像素子（イメージセンサ）を有し、被写体からの光を撮像面に結像し、結像した光学像を電気信号に変換して画像信号を出力する。なお、カメラ２１は、近赤外光を照射してその反射光を受光可能な赤外線カメラであってもよい。また、カメラ２１は、ズーミング可能なカメラであってもよい。
【００２４】
頭方位センサ２２は、筐体１０ｚに対して固定されるフレーム１０ｙを基準としたユーザｈｍの頭部の方向を検出し、ユーザｈｍがフレーム１０ｙを見込む角度（見込み角）を検出する。頭方位センサ２２には、一例として、人体の頭部等から輻射される赤外線を感知する赤外線カメラが用いられる。赤外線カメラは、それぞれ赤外光を受光し輝度信号に変換する、２次元に配置された複数の画素を有するイメージセンサである。赤外線カメラは、複数の画素から出力される輝度信号の分布を画像として出力する。赤外線カメラにより撮像される画像（赤外線画像）は、ユーザｈｍの頭部から輻射される赤外線の強さに応じて異なる明るさ（輝度）を持つ。赤外線画像では、服や毛髪で覆われない顔の部分が最も明るくなる。プロセッサ１１は、赤外線画像の明るさの重心を求めることで、ユーザｈｍの頭部の方向を検出可能である。
【００２５】
なお、頭方位センサ２２は、熱電変換作用を利用したサーモパイルアレイセンサであってもよい。サーモパイルアレイセンサは、センサ内部に整列して配置された複数の素子を有し、複数の素子がそれぞれの光学系により別々の方向の赤外線を検出することで、視野内の温度分布を測定可能である。
【００２６】
このように、頭方位センサ２２によってユーザｈｍの頭部の方向を検知する場合、カメラ２１により撮像された画像を処理して顔検出と顔位置を求める一般的な方法と比べ、極めて少ないデータ量で処理が可能となる。したがって、ユーザの頭部の方向を検知する処理に、例えば８ビットマイコン等の安価な演算装置を用いることができる。なお、頭方位センサ２２は、ユーザの両眼のそれぞれに対し、視線検知を行い、それぞれの眼が見ている方向を表すベクトルからユーザの頭部の方向を求める構成であってもよい。
【００２７】
次に、実施の形態１に係る画像認識装置１０の動作について説明する。
【００２８】
始めに、画像認識装置１０の動作概要を説明する。図５は、フレーム１０ｙを透して見える「象」および「牛」を含む被写体に対し、ユーザｈｍが「象」に頭を向けて注目している場合における画像認識装置１０の動作概要例を示す図である。ユーザｈｍは、フレーム１０ｙを透して「象」および「牛」を含む被写体が見える状況にある。画像認識装置１０では、ユーザｈｍがフレーム１０ｙを見る角度である見込み角が頭方位センサ２２によって検出される。カメラ２１は、想定されるユーザｈｍの見込み角よりも広い画角（カメラ視野）で被写体を撮像する。プロセッサ１１は、カメラ２１によって撮像された「象」および「牛」を含む被写体の画像に対し、ユーザｈｍの見込み角に対応する物体を特定し、特定した物体を囲む範囲を除いてマスキングする。認識処理部１２は、マスキングにより生成された画像ＧＺ１を解析し、画像ＧＺ１に含まれる物体が「象」であると認識する。画像認識の結果である「象」の画像および「象」を表す文字等の情報は、表示制御部１３によって透明ディスプレイ１４に表示される。
【００２９】
図６は、フレーム１０ｙを透して見える「象」および「牛」を含む被写体に対し、ユーザが「牛」に頭を向けて注目している場合における画像認識装置１０の動作概要例を示す図である。図５と同様、ユーザｈｍは、フレーム１０ｙを透して「象」および「牛」を含む被写体が見える状況にある。プロセッサ１１は、カメラ２１によって撮像された「象」および「牛」を含む被写体の画像に対し、ユーザｈｍの見込み角に対応する物体を特定し、特定した物体を囲む範囲を除いてマスキングする。認識処理部１２は、マスキングにより生成された画像ＧＺ２を解析し、画像ＧＺ２に含まれる物体が「牛」であると認識する。画像認識の結果である「牛」の画像および「牛」を表す文字等の情報は、表示制御部１３によって透明ディスプレイ１４に表示される。
【００３０】
図７は、ユーザｈｍがフレーム１０ｙを透して見る領域とカメラ２１が撮像する領域との関係を示す図である。カメラ２１が撮像する領域であるカメラ視野ｆ１（既定の画角の一例）は、ユーザｈｍがフレーム１０ｙを透して見る領域であるフレーム視野ｆ２を完全にカバーする状況を想定する。カメラ視野ｆ１は、人物ｏｊ１、家ｏｊ２、飛行機ｏｊ３、木立ｏｊ４、および犬ｏｊ５を被写体として含む。
【００３１】
カメラ視野ｆ１に対しフレーム視野ｆ２が中心で一致している場合、つまりユーザｈｍがカメラ２１の光軸と平行になるように正面からフレーム１０ｙを透して見ている場合、フレーム視野ｆ２は、人物ｏｊ１の全体を含み、家ｏｊ２の一部と木立ｏｊ４の一部とを更に含む。
【００３２】
次に、ユーザｈｍが左寄りからフレーム１０ｙを透して見た場合、フレーム視野ｆ２は、カメラ視野ｆ１に対して右寄りとなり、人物ｏｊ１と木立ｏｊ４の全体を含む。
【００３３】
同様に、ユーザｈｍが右寄りからフレーム１０ｙを透して見た場合、フレーム視野ｆ２は、カメラ視野ｆ１に対して左寄りとなり、人物ｏｊ１と家ｏｊ２の全体を含む。
【００３４】
また、ユーザｈｍが下寄りからフレーム１０ｙを透して見た場合、フレーム視野ｆ２は、カメラ視野ｆ１に対して上寄りとなり、飛行機ｏｊ３の全体を含み、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とを更に含む。
【００３５】
同様に、ユーザｈｍが上寄りからフレーム１０ｙを透して見た場合、フレーム視野ｆ２は、カメラ視野ｆ１に対して下寄りとなり、犬ｏｊ５の全体を含み、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とを更に含む。
【００３６】
このように、ユーザｈｍがフレーム１０ｙを透して見る領域（つまり、フレーム視野ｆ２の領域）は、ユーザｈｍがフレーム１０ｙを見る角度である見込み角によって変化する。
【００３７】
図８は、頭方位センサ２２である赤外線カメラによって撮像された画像例を示す図である。赤外線カメラにより撮像された複数枚の赤外線画像ＧＺ１０，ＧＺ１１，ＧＺ１２，ＧＺ１３，ＧＺ１４のそれぞれは、ユーザｈｍがフレーム１０ｙを見る方向によってユーザｈｍの頭の位置が異なる。具体的には、赤外線画像ＧＺ１０〜ＧＺ１４は、ユーザｈｍの頭部から輻射される赤外線を頭方位センサ２２が感知した画像であるので、赤外線の強さによって明るさ（輝度）が異なる。ここでは、赤外線画像ＧＺ１０における輝度（図中、ドット濃度）の重心から頭部の位置（言い換えると、ユーザｈｍのフレーム１０ｙの見込み角、あるいはユーザｈｍがフレーム１０ｙを透して見る方向）が特定される。
【００３８】
赤外線画像ＧＺ１０では、画像の略中心に重心があるので、ユーザｈｍが正面（つまり、カメラ２１の光軸と平行な方向）からフレーム１０ｙを見ていると判断される。
【００３９】
赤外線画像ＧＺ１１では、画像の左寄りに重心があるので、ユーザｈｍが左寄りからフレーム１０ｙを見ていると判断される。
【００４０】
赤外線画像ＧＺ１２では、画像の右寄りに重心があるので、ユーザｈｍが右寄りからフレーム１０ｙを見ていると判断される。
【００４１】
赤外線画像ＧＺ１３では、画像の上寄りに重心があるので、ユーザｈｍが上寄りからフレーム１０ｙを見ていると判断される。
【００４２】
赤外線画像ＧＺ１４では、画像の下寄りに重心があるので、ユーザｈｍが下寄りからフレーム１０ｙを見ていると判断される。
【００４３】
このように、画像認識装置１０は、赤外線画像の輝度の重心から、ユーザｈｍの頭部の方向を容易に検出可能である。したがって、画像認識装置１０によれば、ユーザｈｍの頭部の方向を算出する処理が簡便になる。
【００４４】
図９は、認識処理部１２によって行われる画像認識例を示す図である。プロセッサ１１によってマスキングされた画像（以下、「マスキング画像」という）は、認識処理部１２に入力される。プロセッサ１１によってマスキングされる領域は、カメラ２１により撮像された画像全体の領域から、頭方位センサ２２の測定結果に基づくユーザｈｍの頭部の方向を中心とした所定サイズの矩形領域を除いた領域である。なお、マスキングとは、カメラ２１により撮像された画像全体の領域から、頭方位センサ２２の測定結果に基づくユーザｈｍの頭部の方向を中心とした所定サイズの矩形領域の画像をマスクする処理を示しているが、このマスキングの代わりに、次の処理でもよい。具体的には、カメラ２１により撮像された画像全体の領域から、頭方位センサ２２の測定結果に基づくユーザｈｍの頭部の方向を中心とした所定サイズの矩形領域を除いた領域を対象として、画像認識の際に使用される既定の評価関数のウェイティング係数を低く設定することで、画像認識の対象外になるように処理されてもよい。
【００４５】
マスキング画像ＧＺ２０は、ユーザｈｍが正面からフレーム１０ｙを透して見ている場合にカメラ２１により撮像される画像全体の領域から、フレーム視野ｆ２に相当する画像範囲を除き、マスキングした画像である。このマスキング画像ＧＺ２０には、人物ｏｊ１の全体と、家ｏｊ２の一部と木立ｏｊ４の一部とが含まれる。なお、マスキング画像ＧＺ２０は、フレーム視野ｆ２に相当するサイズを有する画像であってもよく、他のマスキング画像ＧＺ２１〜ＧＺ２４についても同様である。
【００４６】
マスキング画像ＧＺ２１は、ユーザｈｍが左寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像される画像全体の領域から、フレーム視野ｆ２に相当する画像範囲を除き、マスキングした画像である。このマスキング画像ＧＺ２１には、人物ｏｊ１の全体と木立ｏｊ４の全体とが含まれる。
【００４７】
マスキング画像ＧＺ２２は、ユーザｈｍが右寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像される画像全体の領域から、フレーム視野ｆ２に相当する画像範囲を除き、マスキングした画像である。このマスキング画像ＧＺ２２には、人物ｏｊ１の一部と家ｏｊ２の全体とが含まれる。
【００４８】
マスキング画像ＧＺ２３は、ユーザｈｍが上寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像される画像全体の領域から、フレーム視野ｆ２に相当する画像範囲を除き、マスキングした画像である。このマスキング画像ＧＺ２３には、犬ｏｊ５の全体と、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とが含まれる。
【００４９】
マスキング画像ＧＺ２４は、ユーザｈｍが下寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像される画像全体の領域から、フレーム視野ｆ２に相当する画像範囲を除き、マスキングした画像である。このマスキング画像ＧＺ２４には、飛行機ｏｊ３の全体と、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とが含まれる。
【００５０】
このように、プロセッサ１１がカメラ２１による撮像画像に対し、フレーム視野ｆ２から外れる画像領域をマスキングし、認識処理部１２による画像認識の対象から外すことができる。認識処理部１２は、ユーザｈｍが注目している物体を含む画像領域に対してだけ画像認識を行い、物体を特定できる。これにより、認識処理部１２は、画像認識の処理を軽減できる。また、画像認識装置１０は、フレーム１０ｙを透して見える被写体の一部である物体をリアルタイムに認識できる。
【００５１】
なお、ここでは、認識処理部１２に入力される画像は、フレーム視野ｆ２の領域を除く画像領域がマスキングされたマスキング画像であったが、フレーム視野ｆ２の領域を除く画像領域がトリミングされたトリミング画像であってもよい。トリミング画像の場合、画像サイズを小さくすることができ、以後の画像処理の負荷が軽減される。また、ここでは、フレーム視野ｆ２の領域は、ユーザｈｍの見込み角によってカメラ視野ｆ１内の任意の箇所に設定された、つまり自由配置であったが、カメラ視野ｆ１を所定数（９個）の領域に分割しておき、分割された領域のいずれかに設定されてもよい。
【００５２】
図１０は、認識処理部１２による画像認識の結果例を示す図である。認識処理部１２は、画像認識の結果、認識処理の対象物の名称を文字情報（テキスト情報）として出力する。なお、表示制御部１３は、画像認識の結果、例えば出力された文字情報を透明ディスプレイ１４に表示してもよい。また、画像認識装置が音声出力可能なスピーカを備える場合、認識処理部は、画像認識の結果を音声情報として出力してもよい。
【００５３】
具体的に、認識処理部１２は、ユーザｈｍが正面からフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２０に対し、画像認識を行う。認識処理部１２は、画像認識の結果、マスキング画像ＧＺ２０に含まれる物体である人物ｏｊ１を「人」と認識する。また、マスキング画像ＧＺ２０には、家ｏｊ２の一部と木立ｏｊ４の一部とが含まれているが、認識処理部１２は、一部しか含まれていない家ｏｊ２および木立ｏｊ４のそれぞれに対しては、誤認識を回避するために、画像認識を行わない。なお、認識処理部１２は、一部しか含まれていない家ｏｊ２および木立ｏｊ４のそれぞれに対して画像認識を行ってもよい。
【００５４】
認識処理部１２は、ユーザｈｍが左寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２１に対し、画像認識を行う。認識処理部１２は、画像認識の結果、マスキング画像ＧＺ２１に含まれる物体である木立ｏｊ４を「木立」と認識する。また、マスキング画像ＧＺ２１には、人物ｏｊ１の全体が含まれているが、認識処理部１２は、フレーム視野ｆ２の端に含まれる人物ｏｊ１に対しては、誤認識を回避するために、画像認識を行わない。なお、認識処理部１２は、フレーム視野ｆ２の端に含まれる人物ｏｊ１に対して画像認識を行ってもよい。
【００５５】
同様に、認識処理部１２は、ユーザｈｍが右寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２２に対し、画像認識を行う。認識処理部１２は、画像認識の結果、マスキング画像ＧＺ２２に含まれる物体である家ｏｊ２を「家」と認識する。また、マスキング画像ＧＺ２２には、人物ｏｊ１の一部が含まれているが、認識処理部１２は、一部しか含まれない人物ｏｊ１に対しては、誤認識を回避するために、画像認識を行わない。なお、認識処理部１２は、一部しか含まれない人物ｏｊ１に対して画像認識を行ってもよい。
【００５６】
認識処理部１２は、ユーザｈｍが上寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２３に対し、画像認識を行う。認識処理部１２は、画像認識の結果、マスキング画像ＧＺ２３に含まれる物体である犬ｏｊ５を「犬」と認識する。また、マスキング画像ＧＺ２３には、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とが含まれているが、認識処理部１２は、一部しか含まれない人物ｏｊ１、家ｏｊ２および木立ｏｊ４のそれぞれに対しては、誤認識を回避するために、画像認識を行わない。なお、認識処理部１２は、一部しか含まれない人物ｏｊ１、家ｏｊ２および木立ｏｊ４のそれぞれに対して画像認識を行ってもよい。
【００５７】
同様に、認識処理部１２は、ユーザｈｍが下寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２４に対し、画像認識を行う。認識処理部１２は、画像認識の結果、マスキング画像ＧＺ２４に含まれる物体である飛行機ｏｊ３を「飛行機」と認識する。また、マスキング画像ＧＺ２４には、人物ｏｊ１の一部と家ｏｊ２の一部と木立ｏｊ４の一部とが含まれているが、認識処理部１２は、一部しか含まれない人物ｏｊ１、家ｏｊ２および木立ｏｊ４のそれぞれに対しては、誤認識を回避するために、画像認識を行わない。なお、認識処理部１２は、一部しか含まれない人物ｏｊ１、家ｏｊ２および木立ｏｊ４のそれぞれに対して画像認識を行ってもよい。
【００５８】
このように、認識処理部１２は、マスキング画像に全体が含まれる物体に対し、画像認識を行って物体を特定し、その物体の名称等の文字情報を出力する。画像認識装置１０は、画像認識の結果を文字情報として出力することで、認識された対象物に関連する補足情報を提示し易くなる。なお、画像認識の結果、出力される情報としては、名称等の文字情報に限らず、物体を表す記号やイラスト等の画像情報あるいは音声情報であってもよい。ユーザｈｍは、フレーム１０ｙを透して見える、自身が注目している物体の名称等の情報をリアルタイムに把握できる。
【００５９】
図１１は、画像認識の結果に関連する補足情報が重畳された画像例を示す図である。認識処理部１２は、画像認識の結果、認識された物体に関連付けた補足情報をマスキング画像に重畳し、補足情報付きマスキング画像を生成する。ここでは、一例として、補足情報が保険情報である場合を示す。なお、補足情報としては、物体の価格、物体を販売する店舗等の情報であってもよい。
【００６０】
認識処理部１２は、ユーザｈｍが正面からフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２０に対し、認識された人物ｏｊ１の補足情報として、「生命保険  １０００万円」の文字を人物ｏｊ１に重畳し、補足情報付きマスキング画像ＧＺ３０を生成する。
【００６１】
認識処理部１２は、ユーザｈｍが左寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２１に対し、認識された木立ｏｊ４の補足情報として、「森林保険  ５０００万円」の文字を木立ｏｊ４に重畳し、補足情報付きマスキング画像ＧＺ３１を生成する。
【００６２】
認識処理部１２は、ユーザｈｍが右寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２２に対し、認識された家ｏｊ２の補足情報として、「火災保険  ７０００万円」の文字を家ｏｊ２に重畳し、補足情報付きマスキング画像ＧＺ３２を生成する。
【００６３】
認識処理部１２は、ユーザｈｍが上寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２３に対し、認識された犬ｏｊ５の補足情報として、「損害保険  ５０万円」の文字を犬ｏｊ５に重畳し、補足情報付きマスキング画像ＧＺ３３を生成する。
【００６４】
認識処理部１２は、ユーザｈｍが下寄りからフレーム１０ｙを透して見ている場合にカメラ２１により撮像された画像に基づいて生成されたマスキング画像ＧＺ２４に対し、認識された飛行機ｏｊ３の補足情報として、「旅行保険  ２００万円」の文字を飛行機ｏｊ３に重畳し、補足情報付きマスキング画像ＧＺ３４を生成する。
【００６５】
表示制御部１３は、認識処理部１２で生成された補足情報付きマスキング画像ＧＺ３１〜ＧＺ３４を透明ディスプレイ１４に表示する。表示制御部１３は、フレーム視野ｆ２以外のマスキングされた領域に対し、何も表示しない。したがって、透明ディスプレイ１４では、マスキングされた領域は、素通し状態のままである。
【００６６】
このように、認識処理部１２は、補足情報として、認識結果に対応する保険情報（保険の種類と金額を含む）を、認識された物体に重畳し、補足情報付きマスキング画像ＧＺ３４を生成する。また、ユーザｈｍがフレーム１０ｙに対する向きを変えたり、画像認識装置１０の姿勢を変えたりすると、表示制御部１３によって透明ディスプレイ１４に表示される、認識結果である物体が切り替わると同時に、物体に重畳される保険情報も切り替わる。これにより、ユーザｈｍは、フレーム１０ｙを透して見える対象物に関連する補足情報を即応的に視認できる。また、認識結果の物体に補足情報が重畳することで、物体周りの領域にある画像が劣化しない。なお、ここでは、認識された物体の補足情報として、各種の文字情報が、非マスキング領域にある物体と重畳するように、補足情報付きマスキング画像が生成されたが、マスキング領域に重なるように、補足情報付きマスキング画像が生成されてもよい。
【００６７】
図１２は、実施の形態１に係る画像認識装置１０による画像認識処理の動作手順例を示すフローチャートである。図１２の説明の前提として、画像認識装置１０は例えばユーザｈｍの手により把持され、ユーザｈｍはフレーム１０ｙを透して被写体を見ている。
【００６８】
図１２において、画像認識装置１０のプロセッサ１１は、頭方位センサ２２に検出開始を指示し、頭方位センサ２２によって検出されるユーザｈｍの見込み角を取得する（Ｓ１）。プロセッサ１１は、カメラ２１に撮像開始を指示し、カメラ２１によって撮像される画像を取得する（Ｓ２）。
【００６９】
プロセッサ１１は、カメラ２１による撮像画像から、ユーザｈｍの見込み角に対応する領域を抽出し、マスキング画像を生成する（Ｓ３）。抽出される撮像画像の領域は、カメラ視野に対するフレーム視野の領域に相当する。プロセッサ１１は、抽出された領域を画像認識の対象領域に設定し、対象領域を含む画像を認識処理部１２に渡す（Ｓ４）。
【００７０】
認識処理部１２は、プロセッサ１１によって設定された対象領域の画像認識を行い、対象領域に含まれる物体を特定する（Ｓ５）。認識処理部１２は、画像認識の結果、特定された物体の補足情報をデータベース１５から読み出す（Ｓ６）。認識処理部１２は、マスキング画像の対象領域に補足情報を重畳し、補足情報付きマスキング画像を生成し、表示制御部１３に出力する（Ｓ７）。表示制御部１３は、補足情報付きマスキング画像を透明ディスプレイ１４に表示する。
【００７１】
プロセッサ１１は、ユーザｈｍによる画像認識の終了操作が行われたか否かを判別する（Ｓ８）。画像認識の終了操作は、例えば操作部１６に含まれる、ボタンの押下やタッチセンサへのタッチ操作であってよい。また、操作部１６および透明ディスプレイ１４がタッチパネルで構成される場合、画像認識の終了操作は、タッチパネルに対する操作であってもよい。
【００７２】
画像認識の終了操作が行われていない場合、プロセッサ１１は、ステップＳ２の処理に戻る。一方、ステップＳ８で画像認識の終了操作が行われた場合、プロセッサ１１は、本処理を終了する。
【００７３】
このように、画像認識装置１０では、ユーザｈｍは、透明ディスプレイ１４が嵌め込まれたフレーム１０ｙをファインダとして利用し、被写体を撮像する。撮像時、ユーザｈｍと物体とがフレーム１０ｙを介して正対していない状況であっても、つまり、ユーザｈｍがフレーム１０ｙを斜めから見て物体を認識している状況であっても、画像認識装置１０は、ユーザｈｍが注目している物体を確実に撮像する。したがって、ユーザｈｍは、注目している物体が撮像画像に含まれることを撮像前に確認できる。また、画像認識装置１０は、撮像画像に含まれるユーザが注目していない物体をマスキングすることで、ユーザが注目していない物体の画像認識を行わない。これにより、画像認識装置１０による画像認識の即応性が高まる。また、画像認識装置１０は、必要としない画像認識の処理を省き、画像認識の負荷を軽減できる。
【００７４】
以上により、実施の形態１の画像認識装置１０は、カメラ視野ｆ１内の被写体を撮像するカメラ２１と、カメラ視野ｆ１内の被写体のうち認識処理の対象の決定するためのフレーム１０ｙとを備える。また、画像認識装置１０は、ユーザがフレーム１０ｙを見込む角度を測定する頭方位センサ２２と、頭方位センサ２２の測定結果に基づいて、カメラ２１により撮像された撮像画像を処理するプロセッサ１１と、プロセッサ１１により処理された画像の認識処理を行う認識処理部１２と、認識処理部１２の認識結果に関連付けられた補足情報をフレーム１０ｙに嵌め込まれた透明ディスプレイ１４に表示する表示制御部１３と、を備える。プロセッサ１１は、頭方位センサ２２の測定結果を用いて、カメラ２１により撮像された撮像画像から、フレーム１０ｙを通したユーザｈｍの視野方向を推定し、ユーザｈｍの視野方向の推定結果に対応する認識処理の対象の物体を含む画像を抽出する。
【００７５】
これにより、画像認識装置１０は、カメラ２１により撮像される被写体の撮像画像からユーザｈｍが見ている方向の対象物を高精度に抽出して画像認識でき、ユーザの利便性の向上を支援することができる。
【００７６】
また、頭方位センサ２２は、フレーム１０ｙの近傍に配置され、ユーザｈｍの頭部が輻射する赤外線を像として撮像可能な赤外線カメラを有する。プロセッサ１１は、赤外線カメラにより撮像された赤外線画像における赤外線輻射の重心位置に基づいて、ユーザｈｍがフレーム１０ｙを見込む角度を測定する。これにより、画像認識装置１０は、頭方位センサ２２によってユーザｈｍの頭部の方向を検知する場合、カメラ２１により撮像された画像を処理して顔検出と顔位置を求める一般的な方法と比べ、極めて少ないデータ量で処理可能である。したがって、ユーザの頭部の方向を検知処理に、８ビットマイコン等の安価な演算装置を用いることができる。
【００７７】
また、フレーム１０ｙは、透明ディスプレイ１４を外篏する（つまり固定可能に把持する）。表示制御部１３は、補足情報を透明ディスプレイ１４に重畳して表示する。これにより、ユーザｈｍは、フレーム１０ｙを透して見える対象物に関連する補足情報を即座に視認できる。
【００７８】
また、表示制御部１３は、ユーザｈｍの視野方向の推定結果に対応する認識処理の対象の画像に補足情報を重畳して透明ディスプレイ１４に表示する。これにより、認識結果の物体に補足情報が重畳することで、画像認識装置１０は、物体周りの領域にある画像の劣化を抑制できる。
【００７９】
また、頭方位センサ２２とカメラ２１とは、頭方位センサ２２の中心軸とカメラ２１の光軸が平行あるいは望ましくは同軸になるように、フレーム１０ｙの両面を介して背中合わせに配置される。これにより、画像認識装置１０は、カメラ２１で撮像される画像に含まれる複数の物体に対し、ユーザｈｍが注目している物体を特定し易くなる。つまり、画像認識装置１０は、カメラ２１の光軸（つまり、撮像画像の中心）に対し、ユーザｈｍによる見込み角を容易に算出でき、フレーム視野の領域の画像を抽出し易くなる。また、ユーザｈｍは、画像認識装置１０を把持して操作する際、支持体１０ｘの両面に背中合わせに配置されたカメラ２１および頭方位センサ２２を手で塞がないように、容易に取り扱える。
【００８０】
また、認識処理部１２は、認識処理の対象の画像の認識結果として、その画像に映る文字のテキスト情報を出力する。表示制御部１３は、テキスト情報に対応する補足情報をフレーム１０ｙに嵌め込まれた透明ディスプレイ１４に表示する。これにより、画像認識装置１０は、画像認識の結果を文字情報として出力することで、認識された対象物に関連する補足情報を提示し易くなる。
【００８１】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【００８２】
例えば、上記実施の形態１では、画像認識装置は、認識処理の対象物の画像に補足情報を重畳した補足情報付きマスキング画像を透明ディスプレイに表示したが、補足情報だけを表示してもよい。この場合、ユーザは、フレーム越しに見えるリアルの認識処理の対象物に、補足情報が加わった拡張現実の画像を視認できる。
【００８３】
また、上記実施の形態１では、画像認識装置は、認識処理の対象物に対する画像認識の結果として、対象物の名称を文字情報として出力したが、記号やイラスト等の画像情報や音声情報音声情報を出力してもよい。
【産業上の利用可能性】
【００８４】
本開示は、画像認識装置において、カメラにより撮像される被写体の撮像画像からユーザが見ている方向の対象物を高精度に抽出して画像認識を行うことができ、有用である。
【符号の説明】
【００８５】
１０  画像認識装置
１０ｙ  フレーム
１１  プロセッサ
１２  認識処理部
１３  表示制御部
１４  透明ディスプレイ
１５  データベース
１６  操作部
２１  カメラ
２２  頭方位センサ
【図１】
2020190938.tif 000003
【図２】
2020190938.tif 000004
【図３】
2020190938.tif 000005
【図４】
2020190938.tif 000006
【図５】
2020190938.tif 000007
【図６】
2020190938.tif 000008
【図７】
2020190938.tif 000009
【図８】
2020190938.tif 000010
【図９】
2020190938.tif 000011
【図１０】
2020190938.tif 000012
【図１１】
2020190938.tif 000013
【図１２】
2020190938.tif 000014