(57)【要約】【課題】利用者が特別な装置を装着する等の負担がなく、高精度に利用者の種類を判別でき、判別された利用者の種類に応じた情報の案内を可能にする情報案内システムおよび情報案内プログラムを提供すること。【解決手段】移動物を映像撮影装置により撮影し、該移動物の画像を動画領域として抽出し、例えば人間の顔部分や手部分を特定部位として抽出し、顔部分または手部分の移動方向、移動速度、移動範囲または顔部分と手部分との相対的位置関係を判別し、人間が白杖者であるか否か、または車椅子使用者であるか否かを判別することにより、その者に適した案内を出力する。【選択図】図１
2008102781.tif 000002
【特許請求の範囲】
【請求項１】
画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した画像データから動画領域を抽出する動画領域抽出手段と、
前記動画領域抽出手段により抽出された動画領域から特定部位を抽出する特定部位抽出手段と、
前記特定部位抽出手段により抽出された特定部位に関する情報を判別する事例判別手段と、
前記事例判別手段による判別結果に基づき移動物の種類を判別する移動物判別手段と、
前記移動物判別手段による判別結果に基づき対応する案内を出力する案内出力手段と、
を備えることを特徴とする情報案内システム。
【請求項２】
前記移動物判別手段は、ファジィ推論またはファジィ連想推論により移動物の種類を判別することを特徴とする請求項１に記載の情報案内システム。
【請求項３】
前記画像データ受信手段は、撮像装置によって撮像された画像データを受信し、
前記動画領域抽出手段は、動作している人間の画像を動画領域として抽出し、
前記特定部位抽出手段は、人間の顔部分又は人間の手部分を特定部位として抽出し、
前記事例判別手段は、前記顔部分または前記手部分の移動方向、移動速度、移動範囲または前記顔部分と前記手部分との相対的位置関係を判別し、
前記移動物判別手段は、前記人間が白杖者であるか否か、または車椅子使用者であるか否かを判別する、
ことを特徴とする請求項１または２に記載の情報案内システム。
【請求項４】
コンピュータを、
画像データを受信する画像データ受信手段、
前記画像データ受信手段が受信した画像データから動画領域を抽出する動画領域抽出手段、
前記動画領域抽出手段により抽出された動画領域から特定部位を抽出する特定部位抽出手段、
前記特定部位抽出手段により抽出された特定部位に関する情報を判別する事例判別手段、
前記事例判別手段による判別結果に基づき移動物の種類を判別する移動物判別手段、
前記移動物判別手段による判別結果に基づき対応する案内を出力する案内出力手段、
として機能させるための情報案内プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、街中、公共施設等を移動または利用する人に対して、移動支援情報、災害情報、事故情報、防犯情報、イベント情報などを案内するシステムおよびプログラムに関する。
【背景技術】
【０００２】
従来、駅や公園などの公共の場所において、例えば、トイレット等の場所や諸設備に関する説明を点字により表した触知盤を設置し、視覚障害者が情報を得られるようにすることが行われている。また、首から下げて身につけられるペンダント型送信装置のスイッチを手で押すことにより、所定の微弱電磁波を送信して、その微弱電磁波を受信装置で受信すると、音声再生装置が作動して、設備の案内情報が音声により得られる音声誘導案内システムもある。
【０００３】
特許文献１には、送信装置内蔵のカードを携帯しているだけで、スイッチ操作を必要とせず、トイレット等の諸設備の近傍に設置した音声誘導案内装置に対し所定の距離範囲内に近付いた時点で、その設備について、音声による誘導案内情報が自動的に得られるようにして、各種施設の利用が一層しやすくなるようにした音声誘導案内システムが記載されている。
【０００４】
このように利用者のタイプによって案内サービスの種類を変えるシステムとして、携帯する無線カードの送信信号に盲人用、高齢者用、聴覚障害者用などのIDコードを設け、IDコードに対応して案内内容や案内手段（音声／画像）を変化させるシステムがある。
【０００５】
また案内サービスの開始や種類の選択の条件としてスイッチ操作や無線受信などがあるが、スイッチ操作無線機などの特別な携行品を必要としないシステムとして、特許文献２には、カメラ画像により白杖を認識し、盲人向けの案内サービスを行うシステムが記載されている。
【特許文献１】特許第２８３９７９７号公報
【特許文献２】特開２００３−１６８１１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の案内システムは、案内サービスの開始や種類の選択のためにスイッチ操作が必要となったり、特別な装置の携行が必要になったりするなど、利用者に対する負担が大きいという問題があった。また画像による白杖検出を条件としたシステムの場合は、杖の色や形状が一致すると、盲人でなくとも検出するという問題があった。
【０００７】
本発明の課題は、利用者が特別な装置を装着する等の負担がなく、高精度に利用者の種類を判別でき、判別された利用者の種類に応じた情報の案内を可能にする情報案内システムおよび情報案内プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の情報案内システムおよび情報案内プログラムは、画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した画像データから動画領域を抽出する動画領域抽出手段と、前記動画領域抽出手段により抽出された動画領域から特定部位を抽出する特定部位抽出手段と、前記特定部位抽出手段
により抽出された特定部位に関する情報を判別する事例判別手段と、前記事例判別手段による判別結果に基づき移動物の種類を判別する移動物判別手段と、前記移動物判別手段による判別結果に基づき対応する案内を出力する案内出力手段と、を備える。
【０００９】
また、前記移動物判別手段が、ファジィ推論またはファジィ連想推論により移動物の種類を判別することが望ましい。
本発明の情報案内システムおよび情報案内プログラムは、前記画像データ受信手段が、撮像装置によって撮像された画像データを受信し、前記動画領域抽出手段が、動作している人間の画像を動画領域として抽出し、前記特定部位抽出手段が、人間の顔部分又は人間の手部分を特定部位として抽出し、前記事例判別手段が、前記顔部分または前記手部分の移動方向、移動速度、移動範囲または前記顔部分と前記手部分との相対的位置関係を判別し、前記移動物判別手段が、前記人間が白杖者であるか否か、または車椅子使用者であるか否かを判別することが望ましい。
【発明の効果】
【００１０】
本発明によれば、利用者が特別な装置を装着する等の必要がないため、利用者の負担が軽減され、利用者の動作状況を分析するだけで、利用者の種類を判別することができ、その利用者に最も適切な案内をすることができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の実施の形態に係る情報案内システムの機能ブロック図である。
本発明の実施の形態に係る情報案内システムは、映像撮影手段１０１、動き検出手段１０２、推論手段１０３、および出力手段１０４を備え、動き検出手段１０２は、映像取得手段１０２−１および映像データ入力手段１０２−２を備え、推論手段１０３は、メンバシップ関数手段１０３−１、事例ベース手段１０３−２、事例判別手段１０３−３、および移動物判別手段１０３−４を備える。
【００１２】
映像撮影手段１０１は、例えばビデオカメラであり、例えば施設の入り口などの特定の場所に設置され、その場所を通る人物を撮影する。
ビデオカメラが一つの場合、対象である人物を横方向から撮影する。この場合、対象となる人物とビデオカメラとの相対距離は３〜５ｍが望ましい。ステレオ視の行える映像撮影手段１０１の場合は、例えば２台のビデオカメラで正面方向から人物の顔と手を撮影する。ステレオ視ではビデオカメラと対象となる人物との距離が計算できるため、対象となる人物とビデオカメラとの距離は自由に設定できる。
【００１３】
図２は、ステレオ視を説明するための図である。
図２において、対象２０１の座標をＰ（ｘ，ｙ，ｚ）、対象２０１に対して左側のビデオカメラの座標をＯＬとし、対象２０１に対して右側のビデオカメラの座標をＯＲとし、左側のビデオカメラにより撮影された画像中における対象２０１の像面の座標をＰＬ（ＸＬ，ＹＬ）とし、右側のビデオカメラにより撮影された画像中における対象２０１の像面の座標をＰＲ（ＸＲ，ＹＲ）とする。これら座標ＰＬおよびＰＲは撮像面での画像中の座標を示している。
【００１４】
ここで、ｄは、左側のビデオカメラの画像の中心座標ＯＬと、右側のビデオカメラの画像の中心座標ＯＲとの相対距離であり、ｆは、左側のビデオカメラおよび右側のビデオカメラの焦点距離である。
【００１５】
そして対象２０１の座標Ｐ（ｘ，ｙ，ｚ）は下式（１）〜（３）により求められる。
ｘ＝ｄ・ＸＬ／（ＸＬ−ＸＲ）      …（１）
ｙ＝ｄ・ＹＬ／（ＸＬ−ＸＲ）      …（２）
ｚ＝ｄ・ｆ／（ＸＬ−ＸＲ）      …（３）
図１の説明に戻る。
【００１６】
映像取得手段１０２−１は、映像撮影手段１０１から出力された映像データを取得し、この映像データから移動物体を抽出し、映像データ入力手段１０２−２に出力する。
移動物体を抽出する方法としては、例えば背景差分法がある。背景差分法は入力画像と背景画像の明度や輝度を比較し、その差分に基づいて移動物体を抽出する方法である。
【００１７】
図３は、背景差分法による映像の例を示すものである。
本実施の形態では、元の背景画像のＲＧＢ値と、入力となる画像データとの差分を取り、差分が閾値の範囲内にあるものは黒く表示し（背景変化無し）、閾値を超えたもの（背景画像に無いもの）はその映像を出力する。
【００１８】
移動物体を抽出する他の方法としては、フレーム間差分法などがあるが、本発明においては周囲の状況に応じて任意のものを使用できる。
図１の説明に戻る。
【００１９】
映像データ入力手段１０２−２は、映像取得手段は１０２−１から出力された移動物体に対して、表示画面内で指定された部分をトラッキングする。
図４は、顔および手のトラッキングを示す図である。
【００２０】
本実施の形態では、表示画面内で指定された色として肌色をトラッキングし、人間の画像の一部であると判断する。一定範囲内のトラッキング対象を一つのグループと判断し、グループ内の上部のトラッキング部分４０１を顔、下部のトラッキング部分４０２を手と認識している。
【００２１】
顔と手の判別は、例えば肌色の部分の面積の大きさで判別し、両者のうち面積の大きい方を顔、小さい方を手と判別する。
そして、顔の重心座標、手の重心座標を計算する。さらに、計算した顔の重心座標、手の重心座標から、顔に対する手の相対的な位置や、所定の時間あたりの顔の位置の座標の差から人物の移動速度などを計算する。
【００２２】
図１の説明に戻る。
映像データ入力手段１０２−２は、上述のようにして計算したそれぞれのデータをメンバシップ関数手段１０３−１に出力する。
【００２３】
メンバシップ関数手段１０３−１は、メンバシップ関数を記憶しており、入力値からメンバシップ関数に基づき、該入力値に対応するメンバシップ値を出力する。
本実施の形態では、複数の特徴のある動きのメンバシップ関数を使用する。
【００２４】
入力値は「手の動き」、「移動速度」、「顔と手の位置」の３種類であり、それぞれのメンバシップ関数を事前に作成しておき、メンバシップ関数手段１０３−２に記憶しておく。
【００２５】
図５（ａ）は、本実施の形態に係る手の動きのグラフを表す図である。縦軸は顔に対する手の水平方向の相対的な位置であり、横軸は時刻である。
図５（ａ）の実線で表されたグラフ５０１は健常者の手の位置を表すグラフであり、極値点５０６、５０７等を有する。また、点線で表されたグラフ５０２は白杖を使用する視覚障害者である白杖者の手の位置を表すグラフであり、極値点５０８、５０９等を有する。なお、ここで、健常者とは、歩行する上で支障が殆ど無い者を指し、白杖者や車椅子を
使用する車椅子使用者以外の者を指す。また、本実施の形態における移動物として、健常者と白杖者の例を用いて説明するが、健常者と車椅子使用者、あるいは、健常者、白杖者および車椅子使用者であっても良い。
【００２６】
図５（ｂ）は、本実施の形態に係る手の動きのメンバシップ関数を表す図である。縦軸はメンバシップ値、横軸は極値の差分を表す。
図５（ｂ）において、手の動きの度合を示すメンバシップ関数はμ1S５０３、μ1M５０４、およびμ1B５０５であり、メンバシップ関数μ1S５０３、μ1M５０４、μ1B５０５のラベルはそれぞれ小、中、大である。
【００２７】
図６は、手の動きを表すモデルであり、（ａ）は健常者の場合のモデル、（ｂ）は白杖者の場合のモデルを表す図である。
健常者は通常歩くときに図６（ａ）に示されるように顔６０１に対して手６０２を前後に動かすため、図５（ａ）に示したグラフ５０１のような振幅の大きいグラフが得られる。他方、白杖者は歩くときに白杖を前に出したまま歩くため、図６（ｂ）に示されるように顔６０３に対して手６０４を前方に位置したまま、しかもほとんど前後に動かず、図５（ａ）に示したグラフ５０２のような振幅の小さいグラフが得られる。
【００２８】
本実施の形態において、例えば図５（ａ）に示したグラフ５０１が得られると、ある任意の２点の極値の差分を計算する。例えば、上の極値点５０５と下の極値点５０６を用いると、それぞれの極値は７０と−９０であるので、その差分は７０−（−９０）＝１６０となる。
【００２９】
これを図５（ｂ）のメンバシップ関数に当てはめると、μ1S（１６０）＝０、μ1M（１６０）＝０、μ1B（１６０）＝１となる。すなわち、ラベル小のメンバシップ関数μ1S５０３のメンバシップ値が０、ラベル中のメンバシップ関数μ1M５０４のメンバシップ値が０、ラベル大のメンバシップ関数μ1B５０５のメンバシップ値が１ということになる。
【００３０】
また同様に、図５（ａ）に示したグラフ５０２が得られた場合、極値点５０７および５０８の極値の差分を計算すると、１０−（−１０）＝２０となり、これを図５（ｂ）のメンバシップ関数に当てはめると、μ1S（２０）＝１、μ1M（２０）＝０、μ1B（２０）＝０となる。すなわち、ラベル小のメンバシップ関数μ1S５０３のメンバシップ値が１、ラベル中のメンバシップ関数μ1M５０４のメンバシップ値が０、ラベル大のメンバシップ関数μ1B５０５のメンバシップ値が０ということになる。
【００３１】
図７（ａ）は、本実施の形態に係る移動速度のグラフを表す図である。縦軸は移動速度であり、横軸は時刻である。
図７（ａ）の実線で表されたグラフ７０１は健常者の移動速度を表すグラフであり、点線で表されたグラフ７０２は白杖者の移動速度を表すグラフである。通常、健常者のほうが移動速度が早くなる。
【００３２】
図７（ｂ）は、本実施の形態に係る移動速度のメンバシップ関数を表す図である。縦軸はメンバシップ値、横軸は移動速度を表す。
移動速度の度合を示すメンバシップ関数はμ2S７０３およびμ2B７０４であり、それぞれのラベルは遅いおよび普通である。
【００３３】
本実施の形態において、例えばグラフ７０１が得られると、所定の時間内における速度の平均を計算する。例えば、時刻２〜４秒の速度の平均を計算すると、２０００が得られる。
【００３４】
これを図７（ｂ）のメンバシップ関数に当てはめると、μ2S（２０００）＝０、μ2B（２０００）＝１となる。すなわち、ラベル遅いのメンバシップ関数７０３のメンバシップ値が０、ラベル普通のメンバシップ関数７０４のメンバシップ値が１ということになる。
【００３５】
また同様に、グラフ７０２が得られた場合、時刻２〜４秒の速度の平均を計算すると、５００となり、これを図７（ｂ）のメンバシップ関数に当てはめると、μ2S（５００）＝０．８、μ2B（５００）＝０となる。すなわち、ラベル遅いのメンバシップ関数７０３のメンバシップ値が０．８、ラベル普通のメンバシップ関数７０４のメンバシップ値が０ということになる。
【００３６】
図８（ａ）は、本実施の形態に係る顔と手の位置関係を表すグラフである。縦軸は顔に対する手の水平方向の相対的な位置であり、横軸は時刻である。
図８（ａ）の実線で表されたグラフ８０１は健常者の手の位置を表すグラフであり、極値点８０５等を有する。また、点線で表されたグラフ８０２は白杖者の手の位置を表すグラフであり、極値点８０６等を有する。
【００３７】
図８（ｂ）は、本実施の形態に係る顔と手の位置関係のメンバシップ関数を表す図である。縦軸はメンバシップ値、横軸は手の位置を表す。
手の位置が前方向のみか前後に変化するかの度合を示すメンバシップ関数はμ3S８０３およびμ3B８０４であり、それぞれのラベルは一定 
および変化である。
【００３８】
本実施の形態において、例えばグラフ８０１が得られると、ある極値を用いてその極値に対応するメンバシップ値を求める。例えば、極値点８０５を用いると、その極値は３５である。
【００３９】
これを図８（ｂ）のメンバシップ関数に当てはめると、μ3S（３５）＝０、μ3B（３５）＝１となる。すなわち、ラベル一定のメンバシップ関数８０３のメンバシップ値が０、ラベル変化のメンバシップ関数８０４のメンバシップ値が１ということになる。
【００４０】
また同様に、グラフ８０２が得られた場合、極値点８０６の極値は４であり、これを図８（ｂ）のメンバシップ関数に当てはめると、μ3S（４）＝０．６、μ3B（４）＝０．４となる。すなわち、ラベル一定のメンバシップ関数８０３のメンバシップ値が０．６、ラベル変化のメンバシップ関数８０４のメンバシップ値が０．４ということになる。
【００４１】
図１の説明に戻る。
事例ベース手段１０３−２は、事例ベースを記憶しており、本実施の形態においては、事例ベースをファジィルールとして推論を行う。
【００４２】
図９は、本実施の形態に係る事例ベースの例を示す図である。
図９に示した事例ベースの例には、下記の４つのルールが記憶されている。
ルールＡ：if 手の動き is 小 & 速度 is 遅い & 顔と手の位置関係 is 一定 then 白杖者
ルールＢ：if 手の動き is 小 & 速度 is 普通 & 顔と手の位置関係 is 一定then 白杖者
ルールＣ：if 手の動き is 中 & 速度 is 普通 & 顔と手の位置関係 is 変化 then 健常者
ルールＤ：if 手の動き is 大 & 速度 is 普通 & 顔と手の位置関係 is 変化 then 健常者
ここで、例えば、上記ルールＡは、もし手の動きが小さく、かつ移動速度が遅く、かつ
手と顔の位置関係が一定であれば、動作しているのは白杖者である、というルールである。
【００４３】
図１の説明に戻る。
事例判別手段１０３−３は、入力値と事例ベースの値の比較を行う。すなわち、入力値の事例ベース手段１０３−２に格納された各ルールに対する適合度を計算する。具体的には、メンバシップ値のファジィ論理演算ANDを行う。計算した適合度が閾値（例えば、０．２。この値は、状況に応じて変更できる。）より大きい場合は移動物判別手段１０３−４に移行する。閾値は０から１までの０．１刻みで設定され、１のときはメンバシップ関数に依存し、０のときは事例の判別は行われない。それ以外の部分はメンバシップ関数の重みに依存し、事例の判別を行う。もし、各ルールに対する適合度がすべて閾値内の場合、すなわち既存の事例ベースに適合するようなルールが無かった場合、そのときの入力値を新しい事例として、事例ベースに格納する。その際、事例ベースに格納される値は事例のデータのみであり、その事例に対する出力が何であるかは後からユーザが与える。
【００４４】
移動物判別手段１０３−４は、メンバシップ関数手段１０３−１の出力および事例ベース手段１０３−２に記憶された内容に基づき、移動物が何であるかを推論する。例えば、移動物が健常者であるのか、白杖者であるのか、車椅子使用者であるのか等を推論する。
【００４５】
移動物判別手段１０３−４は、ファジィ連想推論またはファジィ推論で推論し、状況に応じて切換えて使うことができる。
ファジィ連想推論により推論する場合、移動物判別手段１０３−４は、ファジィ連想推論システムにより構成される。ファジィ連想推論システムの基本構成要素は、ニューラルネットワークの双方向連想記憶（ＢＡＭ：Bi-directional Associative Memory）である。ファジィ連想推論は、ＢＡＭを複数個用いたネットワークを構成し、活性値の伝搬を繰り返す反響動作によって推論を行う。まず双方向連想記憶について説明する。
【００４６】
図１０は、双方向連想記憶のネットワーク構成を示す図である。
図１０に示すように、レイヤＬＡとレイヤＬＢにより構成されるネットワークがあり、レイヤＬＡには複数のノードａ１，ａ２，…，ａｎが存在し、レイヤＬＢには複数のノードｂ１，ｂ２，…，ｂｐが存在する。ノード間の結合の重みは、連想マトリクスＭ∈Ｒｎ×ｐによって表現される。この連想マトリクスＭがレイヤＬＡとレイヤＬＢに対してパターンＡ∈Ｒｎ、Ｂ∈Ｒｐのペアを銘記しているとすると、レイヤＬＡにノイズを含んだＡ’∈Ｒｎを与えたとしても、レイヤＬＡとレイヤＬＢとの間で反響動作をさせることにより、パターンＢが想起される。逆に、レイヤＬＢにノイズを含んだパターンＢ’∈Ｒｐを与えてもパターンＡが想起される。この双方向連想記憶における連想は、以下の式（４）および（５）によって行われる。
【００４７】
【数１】
2008102781.tif 000003
ここで、ａｉ（ｔ）、ｂｊ（ｔ）は、ステップｔにおける各ノードの活性値ベクトルであり、区分［０，１］に属する値をとる。｛０，１｝の値としてもよい。φは各ノードＡ（ｔ）＝（ａ１（ｔ），ａ２（ｔ），…，ａｎ（ｔ））、Ｂ（ｔ）＝（ｂ１（ｔ），ｂ２（ｔ），…，ｂｐ（ｔ））が持つ関数であり、例えばシグモイド関数が用いられる。また、連想マトリクスＭは、銘記したいパターンペアが（Ａ１，Ｂ１），…，（Ａｍ，Ｂｍ）とすると、以下の式（６）および（７）で求められる。
【００４８】
【数２】
2008102781.tif 000004
ここで、βｉは連想係数である。Ｋｏｓｋｏの手法では、連想マトリクスＭを求めるとき、｛０，１｝のパターンペアをバイポーラ変換したパターンペアを用いている。しかしながら、このＫｏｓｋｏの手法で求められた連想マトリクスＭを用いると、ネットワークが飽和状態を引き起こす可能性があるので調整が必要となる。この問題を解決するために、連想マトリクスＭの正規化の手法が提案されている。そこで、本実施の形態で用いるファジイ連想記憶システムでは、この正規化手法により求めた正規化連想マトリクスを用いる。
【００４９】
次に、ファジイ連想記憶システムの構築手法について説明する。
図１１は、本実施の形態のファジィ連想システムの概念図である。
レイヤの設定は、ファジイルールの前件部を代表するレイヤをＩｆ（Ｘ）レイヤ（これは図１に示したメンバシップ関数手段１０３−１に対応する）、後件部を代表するレイヤをＴｈｅｎ（Ｙ）レイヤとする。Ｉｆ（Ｘ）レイヤ内のノードは前件部のファジイ集合（メンバシップ関数）を、Ｔｈｅｎ（Ｙ）レイヤ内のノードは後件部のファジイ集合（メンバシップ関数）、あるいは入出力関数を代表する。また、前件部と後件部の相関はＢＡＭの記憶できる制約を越えているので、１つのノードが１つのルールを代表するＲｕｌｅ（Ｒ）レイヤを設定する。したがって、ファジイルールはＩｆ（Ｘ）レイヤとＲｕｌｅ（Ｒ）レイヤ間（連想マトリクスＭｘｒ）にＢＡＭを構成することで表現できる。さらに、Ｒ
ｕｌｅ（Ｒ）レイヤには、あいまいさの爆発を防ぐために、他のノードの活性化を抑制する働きをもつコーディネータ結合（Ｍｒｒ）を設定する。コーディネータ結合とは、同一レイヤ内の任意のノードにおいて、自分に対しては正の重みで結合し、他のノードに対しては負の重みで結合することである。
【００５０】
次に、図１１のネットワーク構成を例にメモリ上への構築の概念を説明する。まず、各々のレイヤ間の連想マトリクスを求めるため、ファジイルールの相関を区間［０，１］に属する値に置き換える。場合により、｛０，１｝で示される０または１の２値に置き換えてもよい。例えば、図９のファジィルールを置き換えると、その結果は以下の式（８）のようになる。
【００５１】
【数３】
2008102781.tif 000005
この式（８）では、一例として相関を｛０，１｝で示される０と１の２値で示しているが、これに限定されるものではないことはもちろんである。
【００５２】
この算出結果を銘記すべきパターンペアとして、式（６）および（７）により、各々のレイヤ間の連想マトリクスを求める。ただし、バイポーラ変換したパターンペアを用いて求めるＫｏｓｋｏの手法はとらない。
【００５３】
前述のとおり、本実施の形態にて使用するファジイ連想記憶システムは、正規化連想マトリクスを推論時に用いる。よって、ここで求められた連想マトリクスは保存し、以下の式（９）により正規化連想マトリクスＭｅを求める。
【００５４】
Ｍｅ＝ａ（Ｍ＋Ｂ） …（９）
ここで、各パラメータは以下の通りである。
【００５５】
【数４】
2008102781.tif 000006
ただし、Ｍ，Ｍｅ，Ｂ∈Ｒｍ×ｎ、ｍｉｊはＭの（ｉ，ｊ）要素とする。
実施の形態において、連想マトリクスや正規化連想マトリクスは推論を行う前にあらかじめ計算しておき、例えば、移動物判別手段１０３−４に記憶しておく。
【００５６】
ここで、複数のルールセットが定義されている場合、以上の処理をルールセットの数だけ繰り返し複数のネットワークを提案する。そして、ルールセット間の結合に関する情報をテキストファイルから読み込み、それぞれのネットワークを結合する。また、推論時は、定義したルールセット間の結合の重み（連想マトリクス）も正規化して用いる。ここから、ファジイルールＲにより構築されたネットワークをネットワークＲと表記する。
【００５７】
次に、ファジイ連想記憶システムの動作過程を説明する。
推論は、ネットワーク全体で同期をとりながら活性値の伝搬を繰り返すことによって行う。まず、入力を与えると各メンバシップ関数で評価した値（これは図１に示したメンバシップ関数手段１０３−１により得られる）がＩｆ（Ｘ）レイヤから出力される。そして、連想マトリクスＭｘｒ，Ｍｒｒ，Ｍｒｙを式（４）および（５）に適用することによって、設定した連想ステップ数だけ活性値の伝播を繰り返す。例えば、複数のＩＮｒレイヤに連想マトリクスＭｒでつながるＯＵＴレイヤの各ノードの出力ｏｕｔｊは以下の式（１３）で求められる。
【００５８】
【数５】
2008102781.tif 000007
提案された当初の連想推論は、推論結果の統合を行わないため、過度のあいまいさを引き起こす可能性がある。これを解決するために、式（１４）〜（１６）を用いてＴｈｅｎ
（Ｙ）レイヤの活性値を正規化する。
【００５９】
【数６】
2008102781.tif 000008
ここでｎはＴｈｅｎ（Ｙ）レイヤ内のノード数、γｆｉはノードｉの持つ活性値、γｉは寄与度である。
【００６０】
これにより、寄与度γｉを得る。この寄与度で後件部のメンバシップ関数、あるいは入出力関数の出力値を内挿し、得られた関数（値）をＭＡＸ結合（和）したものを推論結果とする。
【００６１】
次にファジィ推論について説明する。
ファジィ推論は、ファジィルールに基づいて近似的推論を行う。リアルタイム性を重視するファジィ制御における推論では、専門家の主観的曖昧さを図５（ｂ）、図７（ｂ）、および図８（ｂ）で示したようなメンバシップ関数で表現し、専門家の知識をｉｆ〜からなる前件部とｔｈｅｎ〜からなる後件部によって記述されるファジィルールによって表現される。ファジィルールの表現例を以下に示す。
【００６２】
ルールA：if(x1is PM) & (x2 is ZO) then y is ZO
ルールB：if(x1is ZO) & (x2 is PM) then y is NM
このときルールAは「もし、入力x1がプラス側にやや大きく、かつ入力x2がゼロ付近ならば、出力をゼロ付近にする」というファジィ命題を表現する。ルール中ではx1, x2は入力を示し、は出力を示す。またPB,PM,PS,ZOはそれぞれpositive big, positive medium, positive small, zeroを意味し、専門家の主観的な曖昧さを示すファジイ集合である。また、これらはメンバシップ関数によって定義される。
【００６３】
ファジィ推論の例を説明する。
図１２は、ファジィ推論の過程を示す図である。
ルールＡ、Ｂで、入力x1, x2にそれぞれx01=0.7, x02=0.2が観測されたとする。ルールＡ、Ｂの場合、x1= x01, x2= x02に対するメンバシップ関数ga(y)、gb(y)は、
ga(y) = (μPM(x01)ΔμZO(x02))○μZO(y)
gb(y) = (μZO(x01)ΔμPM(x02))○μNM(y)
で求められる。ここでΔはファジイ論理演算AND(min)を表す。また○は一般化合成規則のT-ノルム演算子を示す。T-ノルム演算子を適当に選択することで、状況に応じた推論が実
現する。ここで、T-ノルム演算子を・（乗算）とした場合、
ga(y) = ωa・μZO(y)
gb(y) = ωb・μNM(y)
となる。ただしωa、ωbはメンバシップ値を示し、
ωa =μPM(x01)ΔμZO(x02)=0.7
ωb =μZO(x01)ΔμPM(x02)=0.2
である。最終的な結論として、以下の式（１７）により、出力のメンバシップ関数が求められる。
【００６４】
【数７】
2008102781.tif 000009
ここで∇はファジイ論理演算OR(max)を示す。ファジイ推論では、関係を持つ全てのルールはその確かさに比例して並列に動作する。
【００６５】
図１に示した移動物判別手段１０３−４は、上記説明したファジィ連想推論またはファジィ推論により、撮影された移動物体が何であるかを推論する。そして、その結果を図１に示した出力手段１０４に出力する。
【００６６】
図１の説明に戻る。
出力手段１０４は、移動物判別手段１０３−４の判別結果に基づき、案内を出力する。例えば、判別結果が白杖者だった場合は、出力手段１０４は、音声案内を行う。これにより、白杖者は必要な情報を音声で得ることができる。また例えば、判別結果が健常者だった場合は、出力手段１０４は、文字などの案内情報を表示することも出来る。
【００６７】
図１３は、本実施の形態に係る情報案内システムの処理の流れを示すフローチャートである。
以下に、図１および図１３を用いて情報案内システムの処理の流れを説明する。
【００６８】
あらかじめ、推論に用いられるメンバシップ関数や事例ベース等は情報案内システムに記憶させおく。
ステップＳ１３０１において、映像撮影手段１０１によって移動物を撮影し、映像取得部１０２−１はその画像を取得する。
【００６９】
ステップＳ１３０２において、取得した画像から、例えば背景差分法により、動きのある部分、すなわち移動物体を抽出し、映像データ入力手段１０２−２に出力する。
ステップＳ１３０３において、映像データ入力手段１０２−２は、移動物体の特定部位、顔や手をトラッキングし、それらの重心座標を計算し、さらに、計算した顔の重心座標、手の重心座標から、顔に対する手の相対的な位置や、所定の時間あたりの顔の位置の座標の差から人物の移動速度などを計算する。そして、計算した値を推論手段１０３に出力する。
【００７０】
ステップＳ１３０４において、ステップＳ１３０３で計算した値を入力値として、入力値の事例ベース手段１０３−２に格納された各ルールに対する適合度を計算する。各ルールに対する適合度が全て閾値以下の場合ステップＳ１３０５に進み、一つでも閾値より大きいものがあった場合ステップＳ１３０６に進む。
【００７１】
ステップＳ１３０５において、ステップＳ１３０４で用いた入力値を新たな事例として
、事例データベース手段１０３−２に格納する。
ステップＳ１３０６において、移動部判別手段１０３−４は、入力値に基づいて移動物がなんであるかを推論する。
【００７２】
ステップＳ１３０７において、ステップＳ１３０６で推論された結果に基づいて、案内出力を行う。
以上、本発明の実施の形態を、図面を参照しながら説明してきたが、上述してきた本発明の実施の形態は、情報案内システムの一機能としてハードウェアまたはＤＳＰ（Digital Signal Processor）ボードやＣＰＵボードでのファームウェアもしくはソフトウェアにより実現することができる。
【００７３】
また、本発明が適用される情報案内システムは、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００７４】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、情報案内システムに供給し、その情報案内システムのコンピュータがプログラムを読み出し実行することによっても、達成されることは言うまでもない。
【００７５】
この場合、可搬記録媒体等から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した可搬記録媒体等は本発明を構成することになる。
【００７６】
プログラムを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
【００７７】
また、コンピュータ（情報処理装置）がメモリ上に読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。
【００７８】
さらに、可搬型記録媒体から読み出されたプログラムやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。
【００７９】
すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態に係る情報案内システムの機能ブロック図である。
【図２】ステレオ視を説明するための図である。
【図３】背景差分法による映像の例を示す図である。
【図４】顔および手のトラッキングを示す図である。
【図５】（ａ）は本実施の形態に係る手の動きのグラフを表す図であり、（ｂ）は本実施の形態に係る手の動きのメンバシップ関数を表す図である。
【図６】手の動きを表すモデルであり、（ａ）は健常者の場合のモデル、（ｂ）は白杖者の場合のモデルを表す図である。
【図７】（ａ）は移動速度のグラフであり、（ｂ）はメンバシップ関数を表す図である。
【図８】（ａ）は顔と手の位置関係を表すグラフであり、（ｂ）はメンバシップ関数を表す図である。
【図９】本実施の形態に係る事例ベースの例を示す図である。
【図１０】双方向連想記憶のネットワーク構成を示す図である。
【図１１】本実施の形態に係るファジィ連想システムの概念図である。
【図１２】ファジィ推論の過程を示す図である。
【図１３】本実施の形態に係る情報案内システムの処理の流れを示すフローチャートである。
【符号の説明】
【００８１】
１０１    映像撮影手段
１０２    動き検出手段
１０２−１    映像取得手段
１０２−２    映像データ入力手段
１０３    推論手段
１０３−１    メンバシップ関数手段
１０３−２    事例ベース手段
１０３−３    事例判別手段
１０３−４    移動物判別手段
１０４    出力手段
２０１    対象
４０１，４０２    トラッキング部分
５０１    グラフ（健常者の手の位置）
５０２    グラフ（白杖者の手の位置）
５０３    メンバシップ関数μ1S
５０４    メンバシップ関数μ1M
５０５    メンバシップ関数μ1B
５０６，５０７，５０８，５０９    極値点
６０１    顔（健常者）
６０２    手（健常者）
６０３    顔（白杖者）
６０４    手（白杖者）
７０１    グラフ（健常者の移動速度
７０２    グラフ（白杖者の移動速度）
７０３    メンバシップ関数μ2S
７０４    メンバシップ関数μ2B
８０１    グラフ（健常者の手の位置）
８０２    グラフ（白杖者の手の位置）
８０３    メンバシップ関数μ3S
８０４    メンバシップ関数μ3B
８０５，８０６    極値点
【図１】
2008102781.tif 000010
【図２】
2008102781.tif 000011
【図３】
2008102781.tif 000012
【図４】
2008102781.tif 000013
【図５】
2008102781.tif 000014
【図６】
2008102781.tif 000015
【図７】
2008102781.tif 000016
【図８】
2008102781.tif 000017
【図９】
2008102781.tif 000018
【図１０】
2008102781.tif 000019
【図１１】
2008102781.tif 000020
【図１２】
2008102781.tif 000021
【図１３】
2008102781.tif 000022