(57)【要約】【課題】顔が向いている方向にある対象物の情報を音声によって装用者に報知する手段を提供する。【解決手段】装用者に対して、顔を向けた方向に右目用及び左目用テレビジョンカメラを装用させると共に、当該右目用及び左目用テレビジョンカメラの右目、左目入力映像データに基づいて対象物の輪郭を抽出し、当該右目、左目輪郭線データに基づいて対象物の位置、名称を表す音声情報信号を生成することにより、装用者に対して対象物の存在、その名称、その距離を音声によって知らせることができる。【選択図】        図５
2004290618.tif 000002
【特許請求の範囲】
【請求項１】
右目用及び左目用テレビジョンカメラを装用者の顔が向く方向に装着した装用手段と、
上記右目用及び左目用テレビジョンカメラの右目及び左目入力映像データにそれぞれ含まれる対象物の輪郭を表す右目及び左目輪郭線データに基づいて、上記対象物までの距離を表す対象物距離情報信号を生成する対象物位置演算手段と、
上記対象物距離情報信号に基づいて、上記対象物の存在及びその距離を表す音声情報信号を生成する音声情報生成手段と、
上記音声情報信号を音声に変換して装用者に報知する音声情報報知手段と
を具えることを特徴とする対象物判別報知装置。
【請求項２】
右目用及び左目用テレビジョンカメラを装用者の顔が向く方向に装着した装用手段と、
上記右目用及び左目用テレビジョンカメラの右目及び左目入力映像データにそれぞれ含まれる対象物の輪郭を表す右目及び左目輪郭線データに基づいて、上記対象物までの距離を表す対象物距離情報信号を生成する対象物位置演算手段と、
認識すべき複数の上記対象物の輪郭線画像データを格納する認識対象画像データベース手段と、
上記右目及び左目輪郭線データと一致する輪郭線画像データを上記認識対象画像データベース手段から検索し、当該一致した輪郭線画像データに対応する上記対象物の名称を表す対象物名称情報信号を生成する対象物画像認識手段と、
上記対象物距離情報信号及び上記対象物名称情報信号に基づいて、上記対象物の名称及び距離を表す音声情報信号を生成する音声情報生成手段と、
上記音声情報信号を音声に変換して装用者に報知する音声情報報知手段と
を具えることを特徴とする対象物判別報知装置。
【請求項３】
上記対象物位置演算手段は、上記右目及び左目入力映像データのうち、それぞれ正中軸線と交差する上記対象物の輪郭を表す右目及び左目輪郭線データに基づいて上記対象物距離情報信号を生成する
ことを特徴とする請求項１又は２に記載の対象物判別報知装置。
【請求項４】
複数の動作モードから１つを選択できる動作モード選択手段を具え、
上記認識対象画像データベース手段は、上記複数の動作モードにそれぞれ対応する複数のモードデータベース手段を有し、
上記対象物画像認識手段は、上記複数のモードデータベース手段のうち、上記動作モード選択手段において選択された動作モードに対応する上記モードデータベース手段に格納されている上記輪郭画像データを検索する
ことを特徴とする請求項２に記載の対象物判別報知装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は対象物判別報知装置に関し、特に、装用者の顔が向いた方向にある対象物を認識して音声情報として装用者に報知するようにしたものである。
【０００２】
【従来の技術】
従来、視覚障害者が手が届かない遠方の対象物に対する対処の仕方として、例えば、第１に、視覚障害者が一般の道路を歩行するときに、前方の障害物を避けるため白い杖を用いて歩行前方を探査し、障害物の有無を判断しながら歩行するような方法が用いられており、また第２に、予め訓練された盲導犬に歩行方向を誘導させることにより障害物を避ける方法が用いられていた。
【０００３】
また、手が届く範囲の顔前にある対象物については、当該対象物を直接視覚障害者の手で触れてその位置や外形形状を確認するような方法が用いられていた。
【０００４】
【発明が解決しようとする課題】
ところが、白い杖による前方探査はその探査範囲が狭くかつ障害物が何であるかの特定が困難である問題があり、また盲導犬による誘導は盲導犬の訓練や飼育に多大の経費や期間が必要であり、かつ障害物が何であるかの特定が困難である問題があり、さらに、手で触れる認識の仕方は、異常な対象物である場合（例えば高温の物体や液体等）の場合には、視覚障害者に危険が及ぶ問題があった。
【０００５】
このような場合を含めて一般に、周囲の物体の状況を音声によって報知してもらえるような報知手段があれば、便利である。
【０００６】
本発明は以上の点を考慮してなされたもので、顔が向いている方向にある対象物の存在、その距離や名称を、音声情報として適確かつ安全に装用者に報知することができるようにした対象物判別報知装置を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌを装用者７の顔が向く方向に装着した装用手段８と、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌの右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌにそれぞれ含まれる対象物ＯＢの輪郭を表す右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌに基づいて、対象物ＯＢまでの距離ＺＰ  を表す対象物距離情報信号Ｓ１４を生成する対象物位置演算手段２４と、認識すべき複数の対象物の輪郭画像データを格納する認識対象画像データベース手段３１と、右目及び左目輪郭データＳ１２Ｒ及びＳ１２Ｌと一致する輪郭画像データを認識対象画像データベース手段３１から検索し、当該一致した輪郭画像データに対応する対象物ＯＢの名称を表す対象物名称情報信号１６を生成する対象物画像認識手段３０と、対象物距離情報信号Ｓ１４、対象物名称情報信号Ｓ１６に基づいて、対象物ＯＢの存在及びその距離、又は対象物ＯＢの名称及びその距離を表す音声情報信号Ｓ３を生成する音声情報生成手段５と、音声情報信号Ｓ３を音声に変換して装用者に報知する音声報知手段とを設けるようにする。
【０００８】
右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌを装用者７の顔が向く方向に装着して当該右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌの右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌにそれぞれ含まれる対象物ＯＢの輪郭を表す右目及び左目輪郭線データに基づいて対象物ＯＢの存在及び対象物ＯＢまでの距離、又は対象物ＯＢの名称及び対象物ＯＢまでの距離を認識すると共に、当該認識結果を音声として装用者７に報知するようにしたことにより、装用者７が周囲の状況を広い範囲に亘って適確かつ安全に知ることができる。
【０００９】
【発明の実施の形態】
以下図面について、本発明を視覚障害者に対する補助手段として用いる視覚機能補助装置に適用した場合の一実施の形態を詳述する。
【００１０】
（１）第１の実施の形態
図１において、１は全体として視覚機能補助装置として用いる対象物判別報知装置を示し、右目用テレビジョンカメラ２Ｒ及び左目用テレビジョンカメラ２Ｌから得られる右目用映像信号Ｓ１Ｒ及び左目用映像信号Ｓ１Ｌを対象判別装置３の対象認識部４に与えて、その対象認識処理結果信号Ｓ２を音声情報生成部５に供給する。
【００１１】
音声情報生成部５は対象認識処理結果信号Ｓ２に基づいて、その処理結果内容を表す音声情報信号Ｓ３を生成し、これを対象判別装置３の出力として音声情報報知手段であるスピーカ６に与える。
【００１２】
この実施の形態の場合、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌは、図２に示すように、視覚障害者でなる装用者７が頭に被るヘルメット８の右側面及び左側面に、装用者７の顔が向う方向の被写体を撮像できるようにそれぞれ取り付けられ、それぞれ得られる右目用及び左目用映像信号Ｓ１Ｒ及びＳ１Ｌをケーブル９を介して装用者７に背負われた対象判別装置３（この実施の形態の場合ノート型パーソナルコンピュータによって構成されている）に入力する。
【００１３】
対象判別装置３は、図３に示すように、右目用及び左目用映像信号Ｓ１Ｒ及びＳ１Ｌを、対象認識部４の画像入力部１１に受けて、デイジタル映像信号に変換して画像データメモリ１１Ａに保持した後、所定のタイミングで右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌとして対象物位置検出部１２に送出する。
【００１４】
対象物位置検出部１２は、図４に示すように、右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌをそれぞれ右目及び左目画像輪郭線抽出部２１Ｒ及び２１Ｌに受けて、それぞれ右目画像及び左目画像を構成している各映像部分について、その輪郭を表す輪郭データを抽出して右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌとして輪郭線照合部２２に与える。
【００１５】
輪郭線照合部２２は図５（Ａ）に示すように、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌの光学的な中心軸線Ｃ１Ｒ及びＣ１Ｌ間の距離Ｌの１／２の中点位置において、中心軸線Ｃ１Ｒ及びＣ１Ｌに沿って前方に延長する軸線（これを正中軸線Ｃ２と呼ぶ）と交差する輪郭線を有する対象物ＯＢについて、右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌから、互いに一致するデータをマッチングデータとして抽出する。
【００１６】
この実施の形態の場合、対象物位置検出部１２は、図４について上述したように、画像入力部１１（図３）の画像データメモリ１１Ａから読み出した右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌを右目及び左目画像輪郭線抽出部２１Ｒ及び２１Ｌに受けたとき、図５（Ｂ）に示すように、右目及び左目画像２３Ｒ及び２３Ｌについてそれぞれ画像に含まれる画像部分の全てについて輪郭線を形成する。
【００１７】
ここで右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌは、図５（Ａ）に示すように、その中心軸線Ｃ１Ｒ及びＣ１Ｌが正中軸線Ｃ２を中心として対称かつ平行になるようにヘルメット１２に取り付けられていることにより、右目及び左目画像２３Ｒ及び２３Ｌ（図５（Ｂ））の各画像部分の輪郭線は、Ｙ軸を中心として互いに対称位置に映出される。
【００１８】
図５（Ｂ）において、右目及び左目画像２３Ｒ及び２３Ｌの座標は、それぞれ左下隅及び右下隅に原点０をとって表している。かくして、右目及び左目画像２３Ｒ及び２３Ｌにおいて、Ｙ軸から正中軸線Ｃ２に対応する正中軸線Ｃ２Ｒ及びＣ２Ｌの映出位置までの距離ＸＲ  及びＸＬ  の間には次式
【００１９】
【数１】
2004290618.tif 000003
【００２０】
の関係が成り立つと共に、当該正中軸線Ｃ２Ｒ及びＣ２Ｌ上の点ＰＲ（ＸＲ、ＹＲ）及びＰＬ（ＸＬ、ＹＬ）において一致するデータがあり、従ってこの点がマッチング点であるとき、そのＹ座標ＹＲ及びＹＬの関係は次式
【００２１】
【数２】
2004290618.tif 000004
【００２２】
のように互いに等しくなる。
【００２３】
かかる条件に基づいて、輪郭線照合部２２は、右目画像及び左目画像２３Ｒ及び２３Ｌのうち、正中軸線Ｃ２Ｒ及びＣ２Ｌと交差する右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌについて照合処理を実行することにより、一致したデータの点をマッチングポイントＰＲ（ＸＲ、ＹＲ）及びＰＬ（ＸＬ、ＹＬ）として検出し、当該一致した座標位置データを対象物検出位置データＳ１３として対象物位置演算部２４（図４）に与える。
【００２４】
対象物位置演算部２４は、図６及び図７に示すように、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌから対象物ＯＢの対象物検出位置Ｐ（ＸＰ、ＹＰ、ＺＰ）までの対象物距離ＺＰを検出位置データＳ１３に基づいて演算をするもので、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌの撮像面（すなわち右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌ）上において、中心軸線Ｃ１Ｒ及びＣ１Ｌと交差する点ＫＲ及びＫＬから対象物検出位置データＳ１３によって表される対象物ＯＢの撮像点ＰＲ及びＰＬまでの距離ＨＲ及びＨＬと、右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌの点ＫＲ及びＫＬ間の距離Ｌと、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌのレンズ系の焦点距離ｆとによって、以下のようにして対象物距離ＺＰを演算する。
【００２５】
図６及び図７において、右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌの点ＫＲ及びＫＬ間の中点をテレビジョンカメラの座標系の原点Ｋ０とするＸＹＺ座標系を考え、Ｘ軸上に原点Ｋ０を挟んで距離Ｌ／２の対称位置に右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌを設けたとき、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌのレンズの光軸点ＬＺＲ及びＬＺＬから対象物検出位置Ｐ（ＸＰ、ＹＰ、ＺＰ）を見込んだときの見込角をそれぞれθＲ及びθＬとしたとき、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌのレンズ系と撮像面上の撮像点ＰＲ及びＰＬの座標との関係に基づいて、見込θＲ及びθＬについて次式
【００２６】
【数３】
2004290618.tif 000005
【００２７】
【数４】
2004290618.tif 000006
【００２８】
の関係が成り立つ。
【００２９】
また、対象物距離ＺＰは、右目用テレビジョンカメラ２Ｒについて、次式
【００３０】
【数５】
2004290618.tif 000007
【００３１】
のように表すことができると共に、左目用テレビジョンカメラ２Ｌについて次式
【００３２】
【数６】
2004290618.tif 000008
【００３３】
のように表すことができるから、（５）式及び（６）式より、次式
【００３４】
【数７】
2004290618.tif 000009
【００３５】
の関係が得られる。
【００３６】
（７）式を、対象物検出位置Ｐ（ＸＰ、ＹＰ、ＺＰ）の、Ｘ座標ＸＰについて解くと、次式
【００３７】
【数８】
2004290618.tif 000010
【００３８】
となり、これを（６）式に代入して整理することにより、
【００３９】
【数９】
2004290618.tif 000011
【００４０】
のように、対象物距離ＺＰを求めることができる。
【００４１】
そこで、（９）式に（３）式及び（４）式を代入して整理すれば、対象物距離ＺＰは次式
【００４２】
【数１０】
2004290618.tif 000012
【００４３】
のように、右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌ上の撮像位置ＰＲ及びＰＬの座標ＨＲ及びＨＬと、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌのレンズ系の焦点距離ｆと、右目用及び左目用テレビジョンカメラ撮像面２５Ｒ及び２５Ｌ間の距離Ｌとによって表すことができる。
【００４４】
かくして、対象物位置演算部２４（図４）は、（１０）式について、対象物位置検出データＳ１３によって対象物ＯＢの撮像位置の座標データＨＲ及びＨＬが与えられると共に、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌの焦点距離ｆ及びそれら間の距離Ｌが既知のデータとして予め与えられていることにより、（１０）式を演算することによって対象物距離情報信号Ｓ１４を生成して音声情報生成部５（図３）に与える。
【００４５】
このとき音声情報生成部５は、対象物距離情報信号Ｓ１４に基づいて、対象物ＯＢの存在及び当該対象物ＯＢまでの距離を報知する音声情報信号Ｓ３として、例えば「前方５０メートルに障害物があります」といった音声情報を、ケーブル９を介して、ヘルメット８の耳部に設けられたスピーカ６（図１、図２）に送出し、これにより当該識別結果を装用者７に音声により報知する。
【００４６】
対象物位置検出部１２（図４）の輪郭線照合部２２は、図５について上述した輪郭線データの照合処理によって正中軸線Ｃ２と交差する対象物ＯＢの輪郭線を抽出すると、当該対象物ＯＢの輪郭を表す対象物輪郭データＳ１５を対象物位置検出部１２の出力として対象物画像認識処理部３０（図３）に与える。
【００４７】
対象物画像認識処理部３０は、与えられた対象物輪郭データＳ１５の輪郭をもつ対象物の名称（例えば「立木」など）を、認識対象画像データベース３１に格納されている複数の画像データを検索することにより認識する。
【００４８】
認識対象画像データベース３１は、認識すべき対象物の輪郭を表す種々の画像データを予め格納しており、対象物画像認識処理部３０は、対象物輪郭データＳ１５の輪郭と一致する輪郭をもつ画像データを認識対象画像データベース３１から検索し、一致する画像データがあれば、その「名称」を表す音声情報（例えば「立木」）を内容とする対象物名称情報信号Ｓ１６を対象認識部４の出力として音声情報生成部５に与える。
【００４９】
音声情報生成部５は対象認識部４から与えられる対象距離情報信号Ｓ１４（例えば「前方５０メートルに障害物があります」）と、対象物情報信号Ｓ１６（例えば「立木」）に基づいて、前方（すなわち装用者の顔が向いている方向）にある対象物の名称と、当該対象物までの距離とを表す音声情報信号Ｓ３（例えば「前方５０メートルに立木があります」）をスピーカ６（図１）に与えることにより、当該識別結果を装用者７に音声により報知する。
【００５０】
この実施の形態の場合、対象物画像認識処理部３０（図３）は、装用者７が所定の時間の間顔を動かさない状態を保持したとき（すなわち装用者７が対象物を当該所定の時間の間「見つめる」ような動作をしたとき）、処理動作を実行する。これにより音声情報生成部５は、装用者７が対象物を「見つめる」動作をしたとき、対象物距離情報Ｓ１４に基づいて「対象物の存在」及び「その距離」を報知する動作状態から、対象物距離情報信号Ｓ１４及び対象物輪郭データＳ１５に基づいて「対象物の名称」及び「その距離」を報知する動作状態に切り換わる。
【００５１】
以上の構成において、ノート型パーソナルコンピュータでなる対象判別装置３のＣＰＵは、図８に示す対象物位置検出処理手順ＲＴ１に従って対象物位置検出処理を実行する。
【００５２】
対象物位置検出処理手順ＲＴ１に入ると、ＣＰＵは、ステップＳＰ１Ｒ及びＳＰ１Ｌにおいてそれぞれ、画像入力部１１において右目及び左目映像信号を２値化して右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌを画像データメモリ１１Ａに保持する処理を実行する。
【００５３】
続いてＣＰＵは、ステップＳＰ２Ｒ及びＳＰ２Ｌにおいて、対象物位置検出部１２において、右目及び左目入力映像データＳ１１Ｒ及びＳ１１Ｌから輪郭線データＳ１２Ｒ及びＳ１２Ｌを抽出する処理を実行した後、ステップＳＰ３において、当該抽出した右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌのうち、正中軸線Ｃ２と交差する右目及び左目輪郭線データを照合して（図５（Ａ）、（Ｂ））合致した点の位置ＰＲ  及びＰＬ  を表す対象物検出位置データＳ１３を求める。
【００５４】
かくしてＣＰＵは、図５について上述した対象物ＯＢの輪郭線の照合処理を実行することにより、対象物ＯＢの輪郭線データによって表される対象物ＯＢの輪郭線が正中軸線Ｃ２と交差する位置を特定した状態になる。
【００５５】
続いてＣＰＵは、ステップＳＰ４に移って、対象物位置演算部２４において、当該求めた対象物検出位置データＳ１３に基づいて、式（１０）による対象物距離ＺＰ  を求める演算をした後、次のステップＳＰ５に移って、装用者７が所定時間の間顔を動さずに対象物ＯＢを「見つめる」動作をしたか否かの判断をし、否定結果が得られたとき、ステップＳＰ６に移る。
【００５６】
このときＣＰＵは、音声情報生成部５において、当該対象物距離情報信号Ｓ１４に基づいて「対象物の存在」及び「その距離」を表す音声情報信号Ｓ３を出力することにより、これをスピーカ６によって音声に変換して装用者７に対して報知し、その後ステップＳＰ７において当該対象物位置検出処理手順ＲＴ１を終了する。
【００５７】
かくして装用者７は、顔が向いた方向にある対象物ＯＢについて、例えば「前方５０メートルに障害物があります」のような音声情報をスピーカ６を介して知ることができる。
【００５８】
これにより視覚障害者である装用者７は、従来よりも格段的に広い範囲について、白い杖や、手で触れる前に、事前に障害物等の対象物の存在を、音声の補助によって知ることができる。
【００５９】
これに対して、装用者７が所定の時間の間当該対象物ＯＢを「見つめる」ような動作をすることによってステップＳＰ５において肯定結果が得られると、ＣＰＵは、ステップＳＰ８に移って、対象物画像認識処理部３０（図３）において、対象物位置検出部１２の対象物輪郭データＳ１５に基づいて認識対象画像データベース３１を用いた対象物認識処理を実行することにより、対象物ＯＢの「名称」を特定して対象物名称情報信号Ｓ１６を得る。
【００６０】
続いてＣＰＵは、ステップＳＰ９に移って音声情報生成部５において対象物位置演算部２４（図４）の対象物距離情報信号Ｓ１４と、対象物画像認識処理部３０の対象物名称情報信号Ｓ１６とに基づいて、対象物ＯＢの「名称」及び「距離」を表す音声情報を生成し、これにより装用者７は、顔を動かさずに「見つめた」対象物ＯＢについて、例えば「前方５０メートルに立木があります」といったように、対象物ＯＢの名称を知ることができる。
【００６１】
以上の構成によれば、ヘルメットを装用した装用者７は、顔を向けた方向について、対象物の存在及びその距離や、対象物の名称の情報を音声によって知ることができ、これにより装用者７の視覚機能に障害がある場合に、この障害を聴覚機能によって適確かつ安全に補助することができる。
【００６２】
かくするにつき、ヘルメット８に取り付けられた右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌを含む座標系の表現によって対象物ＯＢの位置を検出するようにしたことにより、装用者７が周囲を見回すような動作をしても、装用者７の頭の姿勢の変化の影響を受けることなく位置の検出ができ、これにより装用者が周囲の状況を一段と容易に理解できるような視覚機能補助装置を実現できる。
【００６３】
また、対象物ＯＢの位置を特定するにつき、右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌに対して正中軸線Ｃ２上の映像部分の輪郭線だけについて対象物ＯＢの特定処理をするようにしたことにより、対象物ＯＢの特定処理を一段と簡易化できる。
【００６４】
（２）第２の実施の形態
上述の実施の形態においては、対象物画像認識処理部３０（図３）において、対象物ＯＢの「名称」を特定するにつき、認識対象画像データベース３１に格納した画像データの全てについて正中軸線Ｃ２（図５（Ａ））と交差する輪郭線との一致を検索する認識処理をするようにした場合について述べたが、これに代え、対象物画像認識処理部３０及び認識対象画像データベース３１において、図９に示すような対象物画像認識処理手順ＲＴ２に従って、使用モードごとに用意したデータベースを用いて認識処理を実行するようにしても良い。
【００６５】
この場合、対象判別装置３のＣＰＵは、モード別対象物画像認識処理手順ＲＴ２に入ると、ステップＳＰ１１において動作モードを選択する。
【００６６】
動作モードは、装用者７が対象判別装置３を使用する環境に応じて対象判別装置３の動作モードを選択できるように設定されているもので、この実施の形態の場合、装用者７が食事をする際に選択すべき「食事モード」と、オフィスにおいて作業する際に選択すべき「オフィスモード」と、屋外を歩行する際に選択すべき「屋外歩行モード」とが設けられており、装用者７はステップＳＰ１１において当該動作モードの１つを選択する。
【００６７】
かかるモードの選択がされるとＣＰＵは、次のステップＳＰ１２において、対象物位置検出部１２の輪郭線照合部２２（図４）の輪郭線照合処理をした後、ステップＳＰ１３において対象物位置演算部２４において対象物距離演算処理を実行することにより、対象物距離情報信号Ｓ１４を発生させ、続いてステップＳＰ１４において当該対象物距離情報信号Ｓ１４に応じて音声情報生成部５において対象物ＯＢの存在及びその距離を表す音声情報信号Ｓ３を生成する。
【００６８】
続いてＣＰＵは、ステップＳＰ１５において、装用者７が当該対象物ＯＢを「見つめる」動作をしたか否かの判断をし、否定結果が得られたときステップＳＰ１６においてスピーカ６を介して対象物ＯＢがあること及びその距離を音声に変換して装用者７に報知する（例えば、「前方５０メートルに障害物があります」）。
【００６９】
かくしてＣＰＵは、ステップＳＰ１７において当該モード別対象物画像認識処置手順ＲＴ２を終了する。
【００７０】
これに対して、装用者７がステップＳＰ１５において対象物ＯＢを「見つめる」動作をしたとき、ＣＰＵはステップＳＰ１８に移って対象物画像認識部３０において対象物画像認識処理を実行する。
【００７１】
このとき、ＣＰＵは、ステップＳＰ１１において装用者７が選択した動作モードに対応するデータベース、すなわち食事モードデータベース３１Ａ、オフィスモードデータベース３１Ｂ、及び屋外歩行モードデータベース３１Ｃのうち、対応するデータベースを用いて認識対象画像との検索処理を実行する。
【００７２】
この実施の形態の場合、食事モードデータベース３１Ａには、装用者７が食事をしている際に右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌによって映出される可能性がある対象物、例えば「皿」、「ナイフ」、「フォーク」などの輪郭形状を表す認識対象画像データが予め用意されている。
【００７３】
また、オフィスモードデータベース３１Ｂには、装用者７がオフィスで作業している際に右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌによって映出される可能性のある対象物、例えば、パーソナルコンピュータの「ディスプレイ」、「キーボード」、「マウス」などの輪郭形状を表す画像データが格納されている。
【００７４】
さらに、屋外歩行モードデータベース３１Ｃには、装用者７が屋外を歩行している際に右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌによって映出される可能性がある対象物、例えば「街路樹」、「敷石」、「電柱」などの輪郭形状を表す画像データが格納されている。
【００７５】
かくして、ＣＰＵは、装用者７が対象判別装置３を使用する環境に応じて、食事モード時には食事モードデータベース３１Ａに格納されている「皿」、「ナイフ」、「フォーク」等の対象物についてその名称の特定処理を実行し、またオフィスモード時にはパーソナルコンピュータの「ディスプレイ」、「キーボード」、「マウス」などの対象物についてその名称の特定処理を実行し、さらに屋外歩行モードを選択したときには、「街路樹」、「敷石」、「電柱」などの対象物についてその名称の特定処理を実行する。
【００７６】
その後ＣＰＵは、ステップＳＰ１９に移って音声情報生成部５において対象物名称情報信号Ｓ１６を対象物距離情報信号Ｓ１４と共に用いて対象物ＯＢの名称及びその距離を表す音声情報信号Ｓ３をスピーカ６に与えることによりこれを音声に変換して装用者７に報知する（例えば、「前方正面５０センチメートルにお皿があります」）。
【００７７】
図９の構成によれば、対象物画像認識処理部３０が対象物ＯＢの名称を特定する際に、認識対象画像データベース３１について検索すべき輪郭画像データの数を、装用者７が選択した動作モードに対応する一部に限定することができることにより、対象物ＯＢの名称を特定する際の処理時間を一段と短くすることができる。
【００７８】
因に、一般に人間の行動形態によって右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌに映出される対象物の種類は、行動形態に応じて限られることが多く、例えば町中を歩行中に円形形状の輪郭を有する対象物が右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌによって映出されたとき、当該対象物は「マンホール」である場合が多い。
【００７９】
これに対して、食事中に円形形状を有する対象物が右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌに映出されたとき、当該対象物は「皿」である場合が多い。
【００８０】
従って、予め、人間の行動形態に応じた動作モードに応じて認識すべき対象物の輪郭画像データを当該動作モードに応じて分割して食事モードデータベース３１Ａ、オフィスモードデータベース３１Ｂ又は屋外歩行モードデータベース３１Ｃにそれぞれ格納しておくことにより、対象物の名称を特定する際に検索すべき輪郭画像データの数を格段的に低減することができ、これにより対象物の名称の特定に必要となる認識時間及び構成を一段と簡略化できる。
【００８１】
（３）他の実施の形態
【００８２】
なお、上述の実施の形態においては、右目及び左目輪郭線データＳ１２Ｒ及びＳ１２Ｌ（図５（Ｂ））を得るにつき、右目及び左目画像２３Ｒ及び２３Ｌの全ての画像部分の輪郭データを求めた後、正中軸線Ｃ２Ｒ及びＣ２Ｌと交差する輪郭データを特定するようにした場合について述べたが、これに代え、右目及び左目画像２３Ｒ及び２３Ｌ上の正中軸線Ｃ２Ｒ及びＣ２Ｌ近傍の映像部分に限って輪郭線データ（従って正中軸線Ｃ２と交差する可能性が大きい輪郭線データ）を求めるようにしても良く、このようにすれば輪郭線データの特定処理をさらに一段と簡易化できる。
【００８３】
また、上述の実施の形態においては、前方にある対象物を所定時間の間「見つめる」ことによって対象物画像認識処理部３０における対象物の名称に関する認識処理を実行するようにしたが、これに代え、装用者７が別途用意した対象物画像認識処理指令手段を操作することにより、装用者７の操作によって当該対象物画像認識処理部３０の認識処理動作をさせるようにしても、上述の場合と同様の効果を得ることができる。
【００８４】
さらに、上述の実施の形態においては、ヘルメット８に右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌ、並びにスピーカ６を取り付けるようにした場合について述べたが、装用手段としてはヘルメットに限らず、例えばヘッドバンドや、めがねのフレームとつるとの間の部分（いわゆる「うで」）に取り付けるようにしても良く、要は右目用及び左目用テレビジョンカメラ２Ｒ及び２Ｌによって、装用者７の顔が向いた方向にある対象物を映出できるように、装用者７に装用すれば良い。
【００８５】
さらに、上述の実施の形態においては、本発明による対象物判別報知装置を、視覚障害者の視覚障害の補助手段として適用する場合について述べたが、本発明はこれに限らず、一般に、装用者が対象物までの距離を知りたい場合に、広く適用できる。
【００８６】
さらに、上述の実施の形態においては、音声情報信号を音声に変換する音声報知手段として、スピーカを用いる場合について述べたが、本発明はこれに限らず、イヤホーンなどの他の音声変換手段を用いても良い。
【００８７】
さらに、上述の実施の形態においては、対象物の名称として、「立木」など、「皿」・「ナイフ」・「フォーク」など、「ディスプレイ」・「キーボード」・「マウス」など、「街路樹」・「敷石」・「電柱」などの一般名称を用いた場合について述べたが、これに限らず、当該一般名称の略称や愛称などを用いるようにしても良い。
【００８８】
【発明の効果】
上述のように本発明によれば、右目用及び左目用テレビジョンカメラを装用者の顔が向く方向に装着して当該右目用及び左目用テレビジョンカメラの右目及び左目入力映像データにそれぞれ含まれる対象物の輪郭を表す右目及び左目輪郭線データに基づいて、対象物の存在、対象物までの距離、対象物の名称を認識すると共に、当該認識結果を音声として装用者に報知するようにしたことにより、装用者が周囲の状況を広い範囲に亘つて適確かつ安全に知ることができる。
【図面の簡単な説明】
【図１】本発明による対象物判別報知装置の一実施の形態を示す略線的系統図である。
【図２】図１の対象物判別報知装置１を装用者に装用した状態を示す略線的斜視図である。
【図３】図１の対象判別装置３の詳細構成を示すブロック図である。
【図４】図３の対象物位置検出部１２の詳細構成を示すブロック図である。
【図５】（Ａ）及び（Ｂ）は、対象物ＯＢの輪郭線の照合処理の説明に供する略線図である。
【図６】テレビジョンカメラの座標系を示す略線的斜視図である。
【図７】対象物距離の演算の仕方を示す略線図である。
【図８】対象判別装置３の対象物位置検出処理手順を示すフローチャートである。
【図９】対象判別装置３のモード別対象物画像認識処理手順を示すフローチャートである。
【符号の説明】
１……対象物判別報知装置、２Ｒ、２Ｌ……右目用、左目用テレビジョンカメラ、３……対象判別装置、４……対象認識部、５……音声情報生成部、６……スピーカ、７……装用者、８……ヘルメット、９……ケーブル、１１……画像入力部、１１Ａ……画像データメモリ、１２……対象物位置検出部、２１Ｒ、２１Ｌ……右目、左目画像輪郭線抽出部、２２……輪郭線照合部、２３Ｒ、２３Ｌ……右目、左目画像、２４……対象物位置演算部、３０……対象物画像認識処理部、３１……認識対象画像データベース、３１Ａ、３１Ｂ、３１Ｃ……食事モード、オフィスモード、屋外歩行モードデータベース。
【図１】
2004290618.tif 000013
【図２】
2004290618.tif 000014
【図３】
2004290618.tif 000015
【図４】
2004290618.tif 000016
【図５】
2004290618.tif 000017
【図６】
2004290618.tif 000018
【図７】
2004290618.tif 000019
【図８】
2004290618.tif 000020
【図９】
2004290618.tif 000021