(57)【要約】【課題】利用者が状況を効率的に認識するまたは認識させることを可能にする状況通知装置及び状況通知方法を提供する。【解決手段】画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、利用者に表示を行う表示手段と、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記特定の対象が存在することを知らせる内容を表示する旨の指示を行う指示手段と、を備えたことを特徴とする状況通知装置を提供する。【選択図】図１
2010122750.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、
利用者に表示を行う表示手段と、
前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記特定の対象が存在することを知らせる内容を表示する旨の指示を行う指示手段と、
を備えたことを特徴とする状況通知装置。
【請求項２】
前記内容は、強調された前記特定の対象の画像を含むことを特徴とする請求項１記載の状況通知装置。
【請求項３】
前記指示手段は、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合であって前記利用者の視野の外に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記内容を前記表示手段の表示画面の周縁部内の位置であって前記特定の対象が存在する位置から相対的に近い位置に表示する旨の指示を行うことを特徴とする請求項１または２に記載の状況通知装置。
【請求項４】
前記表示手段において、少なくとも前記利用者の視野の外にある領域の画像が表示されることを特徴とする請求項１〜３のいずれか１つに記載の状況通知装置。
【請求項５】
画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、
利用者に音声を発生させる発音手段と、
前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記発音手段に対し、前記特定の対象が存在することを知らせる音声を発生させる旨の指示を行う指示手段と、
を備えたことを特徴とする状況通知装置。
【請求項６】
前記音声は、前記特定の対象が発する音声及び前記特定の対象に関する言葉の少なくともいずれかを含むことを特徴とする請求項５記載の状況通知装置。
【請求項７】
前記発音手段は、音声を発生させる左右の端子を有し、
前記指示手段は、前記発音手段に対し、前記特定の対象が存在することを知らせる前記音声を前記特定の対象が存在する位置に相対的に近い側の前記端子から相対的に大きい音量で発生させる旨の指示を行うことを特徴とする請求項５または６に記載の状況通知装置。
【請求項８】
前記指示手段は、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合であって前記利用者の後方に前記特定の対象が存在すると認識した場合に、前記発音手段に対し、前記利用者の後方に存在する前記特定の対象に関し相対的に鈍化した波形を有する音声を発生させる旨の指示を行うことを特徴とする請求項５〜７のいずれか１つに記載の状況通知装置。
【請求項９】
画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、
利用者の身体または衣服に接して設けられ得る形態を有し、表示を行う表示手段と、
前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記特定の対象の種類に応じて前記利用者の存在を顕示する内容または偽装を施す画像を表示する旨の指示を行う指示手段と、
を備えたことを特徴とする状況通知装置。
【請求項１０】
前記偽装を施す前記画像は、前記特定の対象が存在する位置を基準として前記表示手段の背後にある領域の画像であることを特徴とする請求項９記載の状況通知装置。
【請求項１１】
前記画像取得手段は、前記利用者に装着され得る形態を有することを特徴とする請求項１〜１０のいずれか１つに記載の状況通知装置。
【請求項１２】
画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像に処理を施して２つの特定の対象の間の距離を認識する画像認識手段と、
前記２つの特定の対象の少なくともいずれかに付設され得る形態を有し、警告を行う警告手段と、
前記距離が一定範囲内にある場合に、前記警告手段に対し、警告を行う旨の指示を行う指示手段と、
を備えたことを特徴とする状況通知装置。
【請求項１３】
前記警告は、光及び音声の少なくともいずれかを用いて行われることを特徴とする請求項１２記載の状況通知装置。
【請求項１４】
前記画像取得手段は、利用者に装着され得る形態を有することを特徴とする請求項１２または１３に記載の状況通知装置。
【請求項１５】
前記画像取得手段は、魚眼レンズを有することを特徴とする請求項１〜１４のいずれか１つに記載の状況通知装置。
【請求項１６】
画像を取得することと、
取得した前記画像に処理を施して特定の対象に関する情報を認識することと、
前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象が存在することを知らせる内容を利用者に向けて表示することと、
を備えたことを特徴とする状況通知方法。
【請求項１７】
画像を取得することと、
取得した前記画像に処理を施して特定の対象に関する情報を認識することと、
前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象が存在することを知らせる音声を利用者に向けて発生させることと、
を備えたことを特徴とする状況通知方法。
【請求項１８】
画像を取得することと、
取得した前記画像に処理を施して特定の対象に関する情報を認識することと、
前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象の種類に応じて前記利用者の存在を顕示する内容または偽装を施す画像を利用者の身体または衣服に接して設けられた表示体の外側表面に表示することと、
を備えたことを特徴とする状況通知方法。
【請求項１９】
画像を取得することと、
取得した前記画像に処理を施して２つの特定の対象の間の距離を認識することと、
前記距離が一定範囲内にある場合に、前記２つの特定の対象の少なくともいずれかにおいて警告を行うことと、
を備えたことを特徴とする状況通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状況通知装置及び状況通知方法に関し、より詳細には、画像に処理を施す手段を備えた状況通知装置及び画像に処理を施すことを備えた状況通知方法に関する。
【背景技術】
【０００２】
作業現場においては、作業場と搬送手段（台車、搬送車、クレーン等）とが混在したり、通常は人が立ち入らない搬送路に保守等で人が立ち入る場合があり得る。また、作業場や搬送路においては、パイプ、消火栓等の突出部や、階段、壁などが存在し得る。このため、これら搬送手段や突出部等と作業者とが接触・衝突して、物品が破損したり作業者が傷害を被るなどの事故が発生する可能性がある。かかる危険性を低減することは、作業者個人が注意するだけでは限界があると考えられる。
【０００３】
また、接触・衝突の危険性は、一般生活においても存在する。特に、昨今普及しつつある移動補助装置により自身の運動能力を上回る行動ができるようになると、人が他の人や構造物等と接触・衝突する可能性が高くなる。  
このため、このような接触・衝突の危険性を低減するための技術が求められている。
【０００４】
これまで、撮像装置により撮像された画像に画像処理を施して画像中から特定の対象を抽出する画像処理装置が提案されている（例えば、特許文献１）。特許文献１では、同文献の実施形態の画像処理装置と距離測定装置とを組み合わせることにより、接近の際の自動警報を発したり、走行制御によって衝突を回避したりすることが可能になるとしている。
【特許文献１】特開２００６−１７８８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、利用者が状況を効率的に認識するまたは認識させることを可能にする状況通知装置及び状況通知方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、利用者に表示を行う表示手段と、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記特定の対象が存在することを知らせる内容を表示する旨の指示を行う指示手段と、を備えたことを特徴とする状況通知装置が提供される。
【０００７】
また、本発明の他の一態様によれば、画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、利用者に音声を発生させる発音手段と、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記発音手段に対し、前記特定の対象が存在することを知らせる音声を発生させる旨の指示を行う指示手段と、を備えたことを特徴とする状況通知装置が提供される。
【０００８】
また、本発明のさらに別の一態様によれば、画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像に処理を施して特定の対象に関する情報を認識する画像認識手段と、利用者の身体または衣服に接して設けられ得る形態を有し、表示を行う表示手段と、前記画像認識手段が前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識した場合に、前記表示手段に対し、前記特定の対象の種類に応じて前記利用者の存在を顕示する内容または偽装を施す画像を表示する旨の指示を行う指示手段と、を備えたことを特徴とする状況通知装置が提供される。
【０００９】
また、本発明のさらに別の一態様によれば、画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像に処理を施して２つの特定の対象の間の距離を認識する画像認識手段と、前記２つの特定の対象の少なくともいずれかに付設され得る形態を有し、警告を行う警告手段と、前記距離が一定範囲内にある場合に、前記警告手段に対し、警告を行う旨の指示を行う指示手段と、を備えたことを特徴とする状況通知装置が提供される。
【００１０】
また、本発明のさらに別の一態様によれば、画像を取得することと、取得した前記画像に処理を施して特定の対象に関する情報を認識することと、前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象が存在することを知らせる内容を利用者に向けて表示することと、を備えたことを特徴とする状況通知方法が提供される。
【００１１】
また、本発明のさらに別の一態様によれば、画像を取得することと、取得した前記画像に処理を施して特定の対象に関する情報を認識することと、前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象が存在することを知らせる音声を利用者に向けて発生させることと、を備えたことを特徴とする状況通知方法が提供される。
【００１２】
また、本発明のさらに別の一態様によれば、画像を取得することと、取得した前記画像に処理を施して特定の対象に関する情報を認識することと、前記画像または前記画像の特定の部分に前記特定の対象が存在すると認識された場合に、前記特定の対象の種類に応じて前記利用者の存在を顕示する内容または偽装を施す画像を利用者の身体または衣服に接して設けられた表示体の外側表面に表示することと、を備えたことを特徴とする状況通知方法が提供される。
【００１３】
また、本発明のさらに別の一態様によれば、画像を取得することと、取得した前記画像に処理を施して２つの特定の対象の間の距離を認識することと、前記距離が一定範囲内にある場合に、前記２つの特定の対象の少なくともいずれかにおいて警告を行うことと、を備えたことを特徴とする状況通知方法が提供される。
【発明の効果】
【００１４】
本発明によれば、利用者が状況を効率的に認識するまたは認識させることを可能にする状況通知装置及び状況通知方法が提供される。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面を参照しつつ説明する。なお、各図面中、同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。
【００１６】
（具体例１）
まず、本実施形態に係る状況通知装置及び状況通知方法の一例（具体例１）について、図１〜図３を参照しつつ説明する。  
図１は、本実施形態に係る状況通知装置及び状況通知方法を例示する模式図である。図１は、具体例１の他、後に詳述する具体例２及び具体例３を包含している。図１において、画像取得手段２、画像認識手段３、及び指示手段４はこれら具体例に共通の構成要素であり、表示手段５は具体例１の、発音手段６は具体例２の、表示手段７は具体例３の、それぞれ構成要素である。
【００１７】
図２は、画像取得手段２に魚眼レンズを用いた場合の撮像画像（図２（ａ））及びこれを矩形画像に変換した画像（図２（ｂ））を例示する模式図である。  
図３は、本実施形態の具体例に係る状況通知装置及び状況通知方法の詳細を表す模式図である。図３は、図１と同様に具体例１、具体例２、及び具体例３を包含している。各構成要素と各具体例との関係については、図１に関して前述した通りである。
【００１８】
図１に表したように、具体例１に係る状況通知装置は、画像を取得する画像取得手段２と、画像取得手段２が取得した画像（以下、「原画像」という）に処理を施して特定の対象１０（以下、「特定対象１０」という）に関する情報を認識する画像認識手段３と、利用者２０に表示を行う表示手段５と、画像認識手段３が原画像または原画像の特定の部分に特定対象１０が存在すると認識した場合に、表示手段５に対し、特定対象１０が存在することを知らせる内容を表示する旨の指示を行う指示手段４と、を備える。
【００１９】
画像取得手段２としては、例えばカメラが挙げられる。以下、「画像取得手段２」を「カメラ２」ということがある。カメラ２は、例えば作業場、都市、野外等に設置され、周囲の画像を取得（撮像）する。また、カメラ２は、利用者２０に装着され得る形態を有してよい。これにより、カメラ２は、利用者２０の周囲の画像を常に捉えることができる。
【００２０】
また、カメラ２は、複数のカメラを異なる場所に設置する構成にしてもよい。この場合、利用者２０の近傍に存在する単数または複数のカメラにより利用者２０の周囲の画像を捉えることができるとともに、利用者２０から離れた領域の画像をも捉えることができる。
【００２１】
魚眼レンズを有するカメラを用いた場合には、最大で周囲３６０度の領域を撮像することが可能となる。この場合、図２（ａ）に表したように魚眼レンズで撮像した原画像は円形であるが、これを加工することにより、図２（ｂ）に表した矩形画像にすることができる。これにより、利用者２０は周囲の状況を容易に把握することができる。  
カメラ２により撮像された原画像は、画像認識手段３に送られる。画像認識手段３は、原画像に処理を施して、特定対象１０に関する情報を認識する。
【００２２】
本実施形態において、「特定対象１０」は、例えば事故を惹起するおそれのある対象であってよく、具体的には例えば作業現場における台車、搬送車、クレーン等の搬送手段や、一般生活における自動車などが挙げられる。あるいは、野外において、人体に危害を加えるおそれのある動物・昆虫などが挙げられる。また、特定対象１０は探索の対象であってもよく、具体的には例えば研究対象等の動植物を撮影したり採取したりする場合の当該動植物などが挙げられる。
【００２３】
画像認識手段３が行う画像処理には、モルフォロジー演算が用いられてよい。モルフォロジー演算とは、画像から特徴のある部分を抽出する画像処理手法の一種である。また、画像処理には、特定対象１０の形状、大きさ、色彩等を用いてよい。  
また、画像認識手段３は、特定対象１０の移動方向や移動速度が計測できる構成にしてもよい。これにより、特定対象１０の動きを正確に把握することができる。
【００２４】
「特定対象１０に関する情報」とは、特定対象１０の有無や、特定対象１０が存在する場合における当該特定対象１０の種類である。  
その後、画像認識手段３が原画像または原画像の特定の部分（例えば、利用者２０の進行方向周辺の部分）に特定対象１０が存在すると認識した場合には、表示手段５は、指示手段４からの指示により、特定対象１０が存在することを知らせる内容を表示する。
【００２５】
なお、後述する各具体例も含め、本実施形態において、画像認識手段３や指示手段４はコンピュータプログラムを含んでよい。また、画像認識手段３及び指示手段４が一体化された構成にしてもよい。
【００２６】
表示手段５は、利用者２０の眼部に装着され得る形態を有してよく、例えば頭部装着ディスプレイ（Head Mounted Display）であってよい。また、表示手段５は、平時は通常の眼鏡やサングラスなどと同様の機能を有する構成にしてもよい。
【００２７】
「特定対象１０が存在することを知らせる内容」（以下、「特定対象標識」という）は、具体的には、例えば特定対象１０の画像を含む標識が挙げられる。この場合、特定対象１０の画像は、原画像に含まれる実際の特定対象１０の画像であってよく、あるいはデータベースなどから抽出された特定対象１０の画像であってよい。また、特定対象標識は、特定対象１０に関する図形、文字、及び／または記号を含む標識であってよい。例えば特定対象１０が自動車である場合、自動車の形をした図形や、「車」という文字や、自動車の進行方向を示す矢印を含む標識であってよい。また、特定対象標識は、強調して表示されてよい。さらに、特定対象１０の移動方向や移動速度が表示される構成にしてもよい。これにより、特定対象１０の動きを正確に把握することができる。
【００２８】
また、指示手段４は、画像認識手段３が原画像または原画像の特定の部分に特定対象１０が存在すると認識した場合であって利用者２０の視野の外に特定対象１０が存在すると認識した場合に、表示手段５に対し、特定対象標識を表示手段５の表示画面の周縁部内の位置であって特定対象１０が存在する位置から相対的に近い位置に表示する旨の指示を行う構成にしてもよい。また、表示手段５において、少なくとも利用者２０の視野の外にある領域の画像が表示される構成にしてもよい。この場合、左右の端の部分において画像が横方向に圧縮される構成にしてよい。これら構成により、利用者２０は広い範囲で危険要因等を察知することが可能となる。
【００２９】
また、表示手段５は、原画像の上に特定対象標識を重ね合わせて表示する構成にしてもよい。  
利用者２０は、表示手段５の表示により、特定対象１０の存在を認識することができる。
【００３０】
次に、図３を参照しつつ説明する。  
図３に表した例では、表示手段５の表示部２００には、利用者２０の視野の画像２０１の他、利用者２０の視野外の画像２０２が表示されている。また、表示部２００の左方には、危険要因をポップアップ表示したウインドウ（特定対象標識２０３）が表示されている。このウインドウの中には、危険要因、すなわち特定対象１０である自動車を強調する輪郭線２０４が表示されている。また、危険要因の付帯情報、すなわち自動車の移動方向を表示する矢印２０５が表示されている。
【００３１】
このように、具体例１により、利用者は、自身の周辺に存在する危険要因や探索対象などを速やかに明確に認識することができる。すなわち、利用者が周囲状況等の状況を効率的に認識することが可能となる。これにより、各種事故が発生する危険性を低減したり、探索対象を効率的に探索することが可能となる。
【００３２】
（具体例２）
次に、本実施形態に係る状況通知装置及び状況通知方法の他の一例（具体例２）について、図１〜図３を参照しつつ説明する。
【００３３】
図１に表したように、具体例２に係る状況通知装置は、画像を取得する画像取得手段２と、画像取得手段２が取得した原画像に処理を施して特定対象１０に関する情報を認識する画像認識手段３と、利用者２０に音声を発生させる機能を有する発音手段６と、画像認識手段３が原画像または原画像の特定の部分に特定対象１０が存在すると認識した場合に、発音手段６に対し、特定対象１０が存在することを知らせる音声を発生させる旨の指示を行う指示手段４と、を備える。
【００３４】
画像取得手段２及び画像認識手段３の構成、機能等については、具体例１に関して前述した通りである。また、特定対象１０の内容についても同様である。  
画像認識手段３が原画像または原画像の特定の部分（例えば、利用者２０の進行方向周辺の部分）に特定対象１０が存在すると認識した場合には、発音手段６は、指示手段４からの指示により、特定対象１０が存在することを知らせる音声を発声させる。
【００３５】
発音手段６は、利用者２０の耳部に装着され得る形態を有してよく、例えばイヤホンであってよい。発音手段６は、平時（特定対象１０が利用者２０の周囲に存在しない時）は音を発生させない構成にしてよく、あるいは「特定対象１０が存在しない」という音声を発生させる構成にしてよく、また音楽等を流す構成にしてよい。
【００３６】
「特定対象１０が存在することを知らせる音声」（以下、「特定対象音声」という）は、具体的には、例えば特定対象１０が発する音声や特定対象１０に関する言葉を含む音声が挙げられる。かかる音声は、録音機を用いて録音された環境音から抽出した音声を用いてよく、あるいはデータベースなどから抽出された音声を用いてよい。特定対象１０が自動車である場合は、自動車のエンジン音や「自動車」、「自動車が左方向から接近している」等の言葉を含む音声であってよい。また、図３に表したように、単に「危ない」という音声であってもよい。具体例１に関して前述した表示手段５と併用する場合には、このような危険を知らせる短い音声は有効であると考えられる。
【００３７】
また、特定対象音声は、特定対象１０の存在する位置や特定対象１０の移動方向が認識できるような態様で発生させられてよい。  
例えば、発音手段６は、音声を発生させる左右の端子を有し、指示手段４は、発音手段６に対し、特定対象音声を特定対象１０が存在する位置に相対的に近い側の端子から相対的に大きい音量で発生させる旨の指示を行う構成にしてよい。
【００３８】
また、指示手段４は、画像取得手段２が原画像または原画像の特定の部分に特定対象１０が存在すると認識した場合であって利用者２０の後方に特定対象１０が存在すると認識した場合に、発音手段６に対し、利用者２０の後方に存在する特定対象１０に関し相対的に鈍化した（鈍（なま）らせた）波形を有する音声を発生させる旨の指示を行う構成にしてよい。  
利用者２０は、発音手段６の音声により、特定対象１０の存在を認識することができる。
【００３９】
このように、具体例２により、利用者は、自身の周辺に存在する危険要因や探索対象などを速やかに明確に認識することができる。すなわち、利用者が周囲状況等の状況を効率的に認識することが可能となる。これにより、各種事故が発生する危険性を低減したり、探索対象を効率的に探索することが可能となる。
【００４０】
次に、図４を参照しつつ、具体例１及び具体例２の構成の一例について説明する。  
図４は、具体例１及び具体例２の構成の一例を表すブロック図である。  
図４に表したように、画像認識手段３は、危険要素（特定対象１０）の画像を抽出する部（危険要素画像抽出部）と、利用者２０の前方の画像を取得する部（前方画像取得部）と、危険要因（特定対象１０）と利用者２０との位置関係を算出する部（危険要因−利用者位置関係算出部）と、を有する。画像認識手段３は、これらの部を用いて各種画像や位置関係を取得する。
【００４１】
図の上方に表した具体例１に係る部分において、指示手段４は、画像認識手段３が取得した情報を用いて画像合成部において利用者２０の前方の画像と特定対象標識とを合成する。その後、指示手段４は、この合成画像を表示するよう表示デバイス（表示手段５）に指示を行う。表示デバイスは、指示手段４からの指示を受けて合成画像を表示する。かかる構成により、具体例１が体現される。
【００４２】
また、図の下方に表した具体例２に係る部分において、指示手段４は、危険要因（特定対象１０）と利用者２０との位置関係を基にイヤホンの左右端子用の音声を作成し、この音声を発生させるようイヤホン（発音手段６）に指示を行う。音声作成は、具体的には「時間差算出およびなまらせ度合算出部」において左右の時間差及び鈍（なま）らせ度合いを算出し、これを基に音声変換部において音声を変換することにより行う。音声の変換には、音声データを用いる。その後、イヤホンは、指示手段４からの指示を受けて音声を発生させる。かかる構成により、具体例２が体現される。
【００４３】
（具体例３）
次に、本実施形態に係る状況通知装置及び状況通知方法のさらに別の一例（具体例３）について、図１〜図３及び図５〜図１３を参照しつつ説明する。
【００４４】
図１に表したように、具体例３に係る状況通知装置は、画像を取得する画像取得手段２と、画像取得手段２が取得した原画像に処理を施して特定対象１０に関する情報を認識する画像認識手段３と、利用者２０の身体または衣服に接して設けられ得る形態を有し、表示機能を有する表示手段７と、画像認識手段３が原画像または原画像の特定の部分に特定対象１０が存在すると認識した場合に、表示手段７に対し、特定対象１０の種類に応じて利用者２０の存在を顕示する内容または偽装を施す画像を表示する旨の指示を行う指示手段４と、を備える。
【００４５】
画像取得手段２及び画像認識手段３の構成、機能等については、具体例１に関して前述した通りである。  
画像認識手段３が原画像または原画像の特定の部分（例えば、利用者２０から一定距離以内の領域の部分）に特定対象１０が存在すると認識した場合には、表示手段５は、指示手段４からの指示により、特定対象１０の種類に応じた内容や画像を表示する。指示手段４は、予め特定対象１０の種類とこれに対応した表示手段７の表示画像とを関連付けておく構成にすることができる。これにより、特定対象１０の種類に応じて速やかに表示手段７に指示を送ることができる。
【００４６】
表示手段７は、利用者２０の身体または衣服に接して設けられ得る任意の形態を有することができる。特に、利用者２０の身体の全部または一部を被覆する形態にすることができる。また、図１及び図３に表したように、表示手段７は画像認識手段３及び指示手段４を格納した装置に設けられてもよい。この場合、図３に表したように、利用者２０は表示手段７の表示部が周囲の目に入りやすい外側に位置するようにこの装置を身に付けることができる。
【００４７】
次に、特定対象１０の種類及びこれに応じた表示手段７の表示内容について、図５〜図７を参照しつつ説明する。  
図５は、危険要因である特定対象１０が利用者２０に近づいてきた場合の危険を回避する方法を例示した模式図である。
【００４８】
図５（ａ）に表したように、自動車などが利用者２０に近づいてきた場合には、運転手に利用者２０の存在を気付かせることが有効である。このため、表示手段７は利用者２０の存在を顕示する内容を表示することができる。例えば、黄色、赤色、周囲環境の補色等の注意を引く色や、「注意」の文字を表示することができる。
【００４９】
また、図５（ｂ）に表したように、野外で捕食性・攻撃性を有する動物や昆虫などが近づいてきた場合には、利用者２０の存在を隠すことが有効である。このため、表示手段７は偽装を施す画像を表示することができる。例えば、利用者２０の存在を隠蔽する画像、具体的には、周囲の風景に溶け込んだ迷彩画像や、動物などの特定対象１０が存在する位置を基準として表示手段７の背後にある領域の画像（光学迷彩）などを表示することができる。また、野外においては、動物や昆虫に対し当該動物・昆虫の天敵が存在すると思わせることも有効であると考えられ、かかる画像が表示される構成にしてもよい。
【００５０】
図６は、作業場において想定される特定対象１０（危険要因）を例示した模式図である。図６（ａ）に表したように、作業場における危険要因として、作業員が長い金属部材などを用いて利用者２０の作業空間において作業を行う場合が考えられる。作業員が利用者２０の存在に気付かないと、金属部材が利用者２０に衝突して利用者２０が傷害等を被る可能性がある。このような場合は、図５（ａ）と同様に表示手段７は利用者２０の存在を顕示する内容を表示することができる。また、図６（ｂ）に表したように、銃を所持した者が作業場に侵入してきた場合には、図５（ｂ）と同様に表示手段７は利用者２０の存在を隠蔽する画像を表示することができる。
【００５１】
図７は、状況に応じた状況通知装置の対応を表した模式図である。  
図７に表したように、状況１、すなわち特定対象１０が存在しない状況では、状況通知装置は通常モードの対応を行うことができる。この場合、表示手段７は、例えば何も表示しないか、任意の図柄等を表示してよい。また、状況２、すなわちヘルメットを被った作業員が近づいてきた等の注意を要する状況では、状況通知装置は注意モードの対応を行うことができる。この場合、表示手段７は利用者２０の存在を顕示する内容を表示することができる。また、状況３、すなわち銃を所持した者が近づいてきた等の危険な状況では、状況通知装置は危険モードの対応を行うことができる。この場合、表示手段７は利用者２０の存在を隠蔽する画像等を表示することができる。
【００５２】
表示手段７が衣服様の形態を有する場合などでは、通常モードには、利用者の好みにより様々な画像を表示することができる。とりわけ、デザインが可変な衣服としても利用することができる。モードに様々なバリエーション（通常モード１、通常モード２、．．．など）を設けることで、利用者の判断、周囲の色彩、光学的な環境等に応じて、デザインを動的に変化させるようにしてもよい。これにより、安全性とファッション性とが備わった表示手段７が提供される。
【００５３】
次に、具体例３の実施例について、図８〜図１３を参照しつつ説明する。  
図８〜図１３は、具体例３の実施例を表す模式図である。図８及び図９は通常モードの対応を表し、図１０は注意モードの対応を表し、図１１及び図１２は危険モードの対応を表している。また、図１３は、具体例３の実施例における各構成要素を表したブロック図である。
【００５４】
本実施例では、カメラ２に魚眼レンズを有するカメラを用いた。画像認識手段３は、カメラ２が撮像した円形画像（図８（ａ））を矩形画像（図８（ｂ））に変換する。  
まず、通常モードの対応について説明する。図８（ａ）及び（ｂ）に表した画像においては特定対象１０が存在しないため、状況通知装置（指示手段４）は通常モードの対応をとる。すなわち、表示手段７には任意の表示がなされてよく、具体的には、図９に表したように利用者２０の身体の一部が表示される。
【００５５】
次に、注意モードの対応について説明する。図１０（ａ）に表したように、原画像にはヘルメット（本実施例では、黄色のヘルメットを用いた）を装着した作業員が写し出されている。本実施例では、構成を簡素化するため、画像認識手段３は、四角の枠で表したように特定の色（黄色）を認識することにより、特定対象１０である作業員の存在を認識するように構成されている。より詳細には、ＨＳＶモデル（色相（Hue）、彩度（Saturation）、及び明度（Value）の三つの成分からなる色空間）の色相、彩度、及び明度の値の範囲を用いて特定対象１０の定義付けを行った。実用性を高めるためには、さらに特定対象１０の形状、大きさ等も判定要素に加えることができる。これにより、特定対象１０を正確に把握することができる。また、特定対象１０の移動方向や移動速度が計測できる構成にしてもよい。これにより、特定対象１０の動きを正確に把握することができる。
【００５６】
また、指示手段４は、画像認識手段３が作業員の存在を認識したら注意モードの対応をとるように構成されている。これにより、表示手段７には利用者２０の存在を顕示する表示がなされ得る。具体的には、図１０（ｂ）及び（ｃ）に表したように「注意」の文字が表示される。文字の背景色には、黄色等の目立つ色を採用することができる。
【００５７】
次に、危険モードの対応について説明する。図１１（ａ）に表したように、原画像には玩具の水鉄砲（本実施例では、透明なオレンジ色のプラスチック製水鉄砲を用いた）を所持した者が写し出されている。本実施例では、構成を簡素化するため、画像認識手段３は、図１１（ｃ）の四角の枠で表したように特定の色（オレンジ色）を認識することにより、特定対象１０である水鉄砲の存在を認識するように構成されている。より詳細には、ＨＳＶモデルの色相、彩度、及び明度の値の範囲を用いて特定対象１０の定義付けを行った。実用性を高めるためには、前述したように、形状、大きさ等も判定要素に加えることができ、また特定対象１０の移動方向や移動速度が計測できる構成にすることができる。
【００５８】
また、指示手段４は、画像認識手段３が水鉄砲の存在を認識したら危険モードの対応をとるように構成されている。これにより、表示手段７には利用者２０の存在を隠蔽する表示がなされ得る。具体的には、図１１（ｂ）及び図１２に表したように水鉄砲を所持した者を基準として利用者２０の背後の風景が表示される。この画像は、図１１（ａ）に表した矩形画像において、カメラ２を中心として特定対象１０から１８０度の位置にある画像を抽出することにより取得することができる。
【００５９】
各モード（特に危険モード）において、表示手段７は利用者２０の身体を被覆する形態にすることができる。これにより、利用者２０の存在をより効果的に顕示したり隠蔽したりすることができる。また、表示手段７は、衣服に貼着できる形態を有してよい。また、昨今有機ＥＬ（Electro-Luminescence）等の柔軟な表示媒体の開発がなされているところ、表示手段７は衣服様の形態を有してよい。
【００６０】
次に、具体例３の実施例における画像認識手段３及び指示手段４の動作の詳細について、図１３を参照しつつ説明する。  
図１３に表したように、画像認識手段３は、危険要素を抽出するための条件を記憶する部（危険要素抽出条件記憶部）と、画像から危険要素を抽出する部と、危険状況を判定するための条件を記憶する部（危険状況判定条件記憶部）と、状況を判定する部（状況判定部）と、を有する。
【００６１】
また、指示手段４は、反応（注意モード、危険モード等のモード）の実行方法を記憶する部（反応実行方法記憶部）と、反応の実行の指令を行う反応実行指令部と、を有する。この指令は、反応画像表示部（表示手段７）に伝送され、反応画像表示部は指令に基づき画像を表示する。
【００６２】
以下、各構成要素の動作について説明する。  
まず、画像認識手段３は、周囲画像取得部（カメラ２）が取得した環状画像を矩形画像に変換する。この画像は、ＲＧＢ（red、green、blue）画像である。その後、ＲＧＢ画像をＨＳＶ画像に変換する。この変換は、本実施例ではライブラリにおいて色がＨＳＶにより規定されているため行ったものである。ライブラリにおいて色がＲＧＢにより規定されているのであれば、このような変換を行う必要はない。
【００６３】
その後、ＨＳＶ条件を満たす特定対象１０の画像から、特定対象１０ごとにモノクロ画像を作成する。この時、ＨＳＶ条件の内容から、各特定対象１０が注意モード及び危険モードのいずれの対象であるかが判別される。その後、ノイズを除去する。すなわち、各特定対象１０のモノクロ画像について、モルフォロジーグラジエント演算を行う。例えば、図１０（ａ）のヘルメットの一部が照明の反射により白くなることがあるが、この部分に黄色（モノクロ化された黄色）を補完する操作を行う。
【００６４】
その後、ノイズ除去後のモノクロ画像からBlob検出を行う。Blob検出とは、画像内に存在する特定範囲の値（色相、彩度、明度など）を持った領域（Blob：かたまり）を検出する操作である。これにより、画像における特定対象１０の位置及び占有画素数を抽出する。
【００６５】
次に、危険状況判定条件記憶部について説明する。危険状況判定条件記憶部は、特定対象１０（危険要素）や特定対象１０の組合せに対する反応を定義している。本実施例では、次のように定義した。すなわち、黄色の画素数が一定の閾値を超えるBlob（領域）がある場合には注意モードが適用され、オレンジ色の画素数が一定の閾値を超えるBlobがある場合には危険モードが適用される。また、両方のBlobが並存する場合には危険モードが適用され、いずれのBlobも存在しない場合には通常モードが適用される。
【００６６】
その後、危険状況判定条件記憶部を用いて危険状況を判定する。特定対象１０（危険要素。ここでは、Blob）を、危険状況を判定するための条件に照らし合わせて、反応（モード）を選定し、反応及び特定対象１０の座標を出力する。
【００６７】
次に、反応実行方法記憶部について説明する。反応実行方法記憶部は、反応(モード）の具体的な方法を定義している。本実施例では、次のように定義した。すなわち、通常モードの場合は、通常モード用の画像を表示手段７（反応画像表示部（ディスプレイ））に表示する。注意モードの場合は、注意モード用の画像（黄色の背景に黒色の「注意」の文字）を表示手段７に表示する。危険モードの場合は、危険モード用の画像（水鉄砲を基準として表示手段７の背後にある領域の画像）を表示手段７に表示する。
【００６８】
危険モードの画像の抽出は、次の要領で行う。まず、矩形画像において、水鉄砲の座標を基準として横方向（水平方向）の総画素数の半分の位置にある座標を抽出する。次に、抽出された座標の周辺の画像を抽出する。その後、抽出された画像をコピーして、ディスプレイに表示する。
【００６９】
その後、反応実行指令部は、反応実行方法記憶部を用いて反応の実行方法を決定し、この実行方法に即して表示手段７を制御する。表示手段７は、反応実行指令部からの指令に基づき、画像を表示する。
【００７０】
このように、具体例３により、利用者は自身の存在、不存在等の状況を効率的に他者（動物等を含む）に認識させることができる。これにより、利用者は自身の周辺に存在する危険要因に対し速やかに危険を回避するための対応をとることができ、もって各種事故や事件が発生する危険性を低減することが可能となる。
【００７１】
（具体例４）
次に、本実施形態に係る状況通知装置及び状況通知方法のさらに別の一例（具体例４）について、図１４及び図１５を参照しつつ説明する。
【００７２】
図１４は、労働災害の一例を表した模式図である。図１４（ａ）に表したように器物を運搬する際には、図１４（ｂ）に表したように周辺の装置などと接触したり衝突したりすることがあり得る。この結果、器物を破損したり作業者が傷害を被ることがあり得る。しかし、具体例４に係る状況通知装置を採用することにより、このような危険性を低減することができる。  
図１５は、具体例４に係る状況通知装置が配備された作業空間を表した模式斜視図である。
【００７３】
図１５に表したように、具体例４に係る状況通知装置は、画像を取得する画像取得手段２と、画像取得手段２が取得した原画像に処理を施して２つの特定対象１０の間の距離（特定対象間距離）を認識する画像認識手段３と、２つの特定対象１０の少なくともいずれかに付設され得る形態を有し、警告機能を有する警告手段８と、特定対象間距離が一定範囲内にある場合に、警告手段８に対し、警告を行う旨の指示を行う指示手段４（図示せず）と、を備える。
【００７４】
画像取得手段２（カメラ２）及び画像認識手段３の構成、機能等については、具体例１に関して前述した通りである。但し、画像認識手段３は、特定対象１０の存在を認識することに加え、複数の特定対象１０の間の距離を認識する。距離の測定は、例えば、原画像または原画像を矩形画像等に加工した画像において、予め２点の座標の間の距離をデータベース化しておき、特定対象１０の存在位置とデータベースとを用いて行うことができる。また、超音波などを用いた測定器を特定対象１０に設け、これにより測定してもよい。
【００７５】
カメラ２は、天井の１箇所または複数箇所に設置してよく、あるいは特定対象１０のそれぞれに設置してもよい。  
特定対象１０は、衝突や接触の危険性のある対象であってよく、例えば、階段、壁、壁から突出した部分（装置、消火栓、パイプ等）、搬送手段（台車、搬送車、クレーン等）、作業員（利用者自身を含む）等が挙げられる。
【００７６】
画像認識手段３が原画像または原画像の特定の部分（例えば、利用者２０の進行方向周辺の部分）に複数の特定対象１０が存在することを認識し、さらにこれらの距離を認識した場合において、指示手段４がこれら特定対象１０の間の距離が一定範囲内にあると認識した場合には、警告手段８は、指示手段４からの指示を受けて警告を行う。
【００７７】
画像認識手段３及び指示手段４は、天井やその他の場所の１箇所または複数箇所に設置してよく、あるいは特定対象１０のそれぞれに設置してよく、また警告手段８のそれぞれに付設されてもよい。また、複数の画像認識手段３及び指示手段４が協調して動作する構成にしてもよい。この場合、例えば警告手段８の間で発光の配色を工夫してもよい。例えば、近接する特定対象１０上の警告手段８の一方を赤色で光らせ、もう一方を緑色で光らせるなどしてよい。また、音声の掛け合いなどを行ってもよい。
【００７８】
警告手段８は、特定対象１０に付設され得る形態を有する。これにより、特定対象１０において警告がなされ、衝突するおそれのある対象の位置を即座に認識することができる。警告手段８が行う警告は、光や音声を用いて行われてよい。警告手段８は、想定される衝突対象側に光が出射され音声が発せられる構成にしてよい。
【００７９】
このように、具体例４により、利用者は、接触・衝突のおそれのある対象を速やかに明確に認識することができる。すなわち、利用者が周囲状況を効率的に認識することが可能となる。これにより、複数の特定対象１０が接触したり衝突したりする危険性を低減することができる。
【００８０】
なお、具体例１〜４における試作及び実施例に用いた製品は、以下の通りである。カメラのレンズには株式会社フォルテシモの商品名「PALNONレンズ」（型番：PAL-S35G6600-30C）を、カメラには株式会社フォルテシモの商品名「１／３インチＣＭＯＳ１３０万画素ＵＳＢカメラVer2.0＋CamCapX1.1」（型番：CMOS1303-CAM11）を、カメラ・ドライバソフトには株式会社フォルテシモの商品名「イマーシブ映像作成システム」（型番：PAL Image Authoring Tool Deluxe 3.0）を、環状画像変換ライブラリには株式会社デンソーの商品名「PAL Library for Windows Rev 1.0」を、開発言語コンパイラにはマイクロソフト社の商品名「Visual Studio Pro 2005」（型番：10180306/VSNP5TSB）を、処理ＰＣ（パーソナルコンピュータ）にはDell社の商品名「Precision 690」（型番：X5355MT(XP/D)）を、ＧＰＵ（Graphics Processing Unit）にはNVIDIA社の商品名「QUADRO FX4600」を、表示手段５（頭部装着ディスプレイ）にはKopin社の商品名「CyberMan GVD510-3D」を、表示手段７には株式会社東芝の商品名「ＴＦＴ液晶ディスプレイ１９型−Ｃ」（型番：10701856/IPCD099A3）を、モニタアームにはサンコーレアモノショップの商品名「ガスショック式スウィベルモニターアーム」（型番：THARM13」を、イヤホンにはPanasonicの商品名「ステレオインサイドホン」（型番：ＲＰ−ＨＣ３０）を、それぞれ用いた。また、表示手段７の制御プログラムは、本発明者が試作した。
【００８１】
（具体例５）
次に、本実施形態に係る状況通知装置及び状況通知方法のさらに別の一例（具体例５）について、図１６を参照しつつ説明する。
【００８２】
図１６は、具体例５に係る状況通知装置の構成を例示するブロック図である。具体例５を端的に言い表せば、周囲から得られる情報を基に、利用者２０を取り巻く状況を判定し、その判定結果に基づいた反応を実行することで利用者２０の安全性を向上するものである、といえる。周囲から取得する情報は画像に限らず音声などでもよく、これら複数を組み合わせた情報でもよい。反応には、利用者２０に近づく危険要因（特定対象１０）に気付いてもらうための反応と、危険要因から隠れる反応とがある。この反応も、画像表示、音声発生などが考えられる。また、これら複数を組み合わせた出力を用いてもよい。
【００８３】
図１６の左側に掲げたように、危険要素を抽出するための原始情報を取得する手段（情報取得手段２）としては、前述した周囲画像・音声を取得することや距離を測定することの他、周囲空気・液体における毒性物質等の濃度を測定すること、口内にある毒性物質等の量を測定すること、利用者２０と他の物質との接触状態を解析すること、などが挙げられる。これらから得られた原始情報と、予め記憶された危険要素を抽出する条件と、を用いて、情報認識手段３において危険要素が抽出される。
【００８４】
なお、危険状況を判定するに際しては、自己状態測定部において利用者２０自身の状態（位置、速度、方向等）を測定し、この測定結果をも考慮に入れて判定を行ってもよい。
【００８５】
その後、図１３に関して前述したように、情報認識手段３において、危険状況判定条件記憶部を用いつつ状況判定部により危険状況が判定される。その後、判定結果を基に指示手段４により、すなわち反応実行方法記憶部を用いつつ反応実行指令部により、反応の実行の指令がなされる。なお、協調して動作を行う外部の手段が存在する場合には、反応実行指令部から情報送受信部に対して指令情報が伝送され、その後外部手段に伝送される構成にすることができる。また、逆に外部手段から情報送受信部を介して指令情報が本状況通知装置に伝送され、この情報を基に反応実行指令部が指令を行う構成にすることができる。さらに、情報送受信部が受理した情報は、状況判定部に伝送される構成にしてもよい。これにより、外部手段が認識した危険状況に関する情報を基に、間接的に本状況通知装置が危険状況を認識することができる。
【００８６】
指令を受けて動作を行う手段としては、前述した表示手段５、発音手段６、表示手段７、及び警告手段８の他、図１６の右側に掲げたように、例えば外敵を遠ざけたり撃退したりするための音声、気体、液体、固体等を出力・放出する手段が挙げられる。また、輸送手段の運転中に自動的にブレーキをかけるような保護反応実行部も挙げられる。さらに、反応情報を外部に出力する手段（反応情報外部出力部）も挙げられる。
【００８７】
また、図示しないが、採用された回避行動の情報を各種記憶部に蓄積する構成にしてもよい。これにより、記憶部に学習機能が付与され、その後の危険要素抽出、危険状況判定、危険回避行動等が高度化される。
【００８８】
以上説明したように、本実施形態によれば、利用者が状況を効率的に認識するまたは認識させることを可能にする状況通知装置及び状況通知方法が提供される。本実施形態は、作業場での安全性向上のみならず、一般生活における安全性向上や、野外における学究・探索にも適用できる。
【００８９】
以上、具体例を参照しつつ本発明の実施の形態について説明した。しかし、本発明はこれらの具体例に限定されるものではない。すなわち、これら具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、前述した各具体例が備える各要素およびその配置、材料、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。  
また、前述した各実施の形態が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【図面の簡単な説明】
【００９０】
【図１】本実施形態に係る状況通知装置及び状況通知方法を例示する模式図である。
【図２】図２（ａ）は、画像取得手段２に魚眼レンズを用いた場合の撮像画像を例示する模式図であり、図２（ｂ）は、これを矩形画像に変換した画像を例示する模式図である。
【図３】本実施形態の具体例に係る状況通知装置及び状況通知方法の詳細を表す模式図である。
【図４】具体例１及び具体例２の構成の一例を表すブロック図である。
【図５】危険要因である特定対象１０が利用者２０に近づいてきた場合の危険を回避する方法を例示した模式図である。
【図６】作業場において想定される特定対象１０（危険要因）を例示した模式図である。
【図７】状況に応じた状況通知装置の対応を表した模式図である。
【図８】具体例３の実施例を表す模式図である。
【図９】具体例３の実施例を表す模式図である。
【図１０】具体例３の実施例を表す模式図である。
【図１１】具体例３の実施例を表す模式図である。
【図１２】具体例３の実施例を表す模式図である。
【図１３】具体例３の実施例における各構成要素を表したブロック図である。
【図１４】労働災害の一例を表した模式図である。
【図１５】具体例４に係る状況通知装置が配備された作業空間を表した模式斜視図である。
【図１６】具体例５に係る状況通知装置の構成を例示するブロック図である。
【符号の説明】
【００９１】
２  画像取得手段、カメラ、情報取得手段
３  画像認識手段、情報認識手段
４  指示手段
５  表示手段
６  発音手段
７  表示手段
８  警告手段
１０  特定対象
２０  利用者
２００  表示部
２０１  利用者２０の視野の画像
２０２  利用者２０の視野外の画像
２０３  危険要因をポップアップ表示したウインドウ（特定対象標識）
２０４  輪郭線
２０５  矢印
【図１】
2010122750.tif 000003
【図２】
2010122750.tif 000004
【図３】
2010122750.tif 000005
【図４】
2010122750.tif 000006
【図５】
2010122750.tif 000007
【図６】
2010122750.tif 000008
【図７】
2010122750.tif 000009
【図８】
2010122750.tif 000010
【図９】
2010122750.tif 000011
【図１０】
2010122750.tif 000012
【図１１】
2010122750.tif 000013
【図１２】
2010122750.tif 000014
【図１３】
2010122750.tif 000015
【図１４】
2010122750.tif 000016
【図１５】
2010122750.tif 000017
【図１６】
2010122750.tif 000018