(57)【要約】【課題】障害物の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる仕組みを提供すること【解決手段】障害物の移動方向に他の障害物があるか判定し、移動している前記障害物の移動方向に他の障害物があると判定された場合に第１の通知方法で通知を行い、移動している前記障害物の移動方向に他の障害物がないと判定された場合に第２の通知方法で通知を行う。【選択図】図４
2016192104.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、撮像手段により撮像された障害物を認識する認識手段とを備える情報処理装置であって、
前記認識手段で認識された障害物の移動方向に他の障害物があるか判定する第１の判定手段と、
前記第１の判定手段で、移動している前記障害物の移動方向に他の障害物があると判定された場合に第１の通知を行い、移動している前記障害物の移動方向に他の障害物がないと判定された場合に第２の通知を行う通知手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記通知手段は、前記第１の判定手段で移動している前記障害物の進行方向にあると判定された他の障害物の近傍に対応付けて、前記移動している障害物にかかるオブジェクトを表示する通知を行うことで前記第１の通知を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記通知手段は、前記移動している障害物にかかるオブジェクトを前記移動している障害物の位置に表示する通知を行うことで前記第２の通知を行うことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記通知手段は、前記第１の通知と前記第２の通知とを、異なる色を表示画面に表示することで区別可能に通知することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記障害物と、前記情報処理装置が設置された車両の位置の間に他の障害物があるか判定する第２の判定手段と、
を備え、
前記通知手段は、前記第２の判定手段で前記障害物と前記車両の位置の間に他の障害物がないと判定した場合に、第３の通知方法で通知を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記情報処理装置が設置された車両と前記障害物とが向かい合って移動しているか判定する第３の判定手段と、
前記通知手段は、前記第３の判定手段で、前記車両と前記障害物とが向かい合って移動していると判定された場合であって、前記第１の判定手段で、移動している前記障害物の移動方向に他の障害物があると判定された場合に第２の通知を行うことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
撮像手段と、撮像手段により撮像された障害物を認識する認識手段とを備える情報処理装置であって、
前記認識手段で認識された障害物の移動方向に他の障害物があるか判定する第１の判定工程と、
前記第１の判定工程で、移動している前記障害物の移動方向に他の障害物があると判定された場合に第１の通知を行い、移動している前記障害物の移動方向に他の障害物がないと判定された場合に第２の通知を行う通知工程と、
を含むことを特徴とする情報処理装置の制御方法。
【請求項８】
撮像手段と、撮像手段により撮像された障害物を認識する認識手段とを備える情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
前記認識手段で認識された障害物の移動方向に他の障害物があるか判定する第１の判定手段と、
前記第１の判定手段で、移動している前記障害物の移動方向に他の障害物があると判定された場合に第１の通知を行い、移動している前記障害物の移動方向に他の障害物がないと判定された場合に第２の通知を行う通知手段として機能させることを特徴とする情報処理装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、車両からカメラ・センサ等の装置を用いて障害物を検出して、当該障害物の存在を通知したり、障害物に衝突する前に障害物との距離に応じてブレーキ装置を作動させたりすることが行われている。
【０００３】
例えば特許文献１では、障害物と車両の相対位置を特定してＸ，Ｙ座標で識別し、自動でブレーキをかける技術が記載されている。また特許文献２では、検知した障害物が歩行者か否かを判定し、時系列毎に記憶された歩行者の位置から歩行者の新しい位置を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２６２４９９号公報
【特許文献２】特開２００８−２１２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば障害物との衝突等の危険度が低い状況・高い状況が存在する。障害物を検知した場合に注意喚起をするだけでは、車両の運転手は、注意喚起されている注意の度合いがどの程度なのか確認できず、何にどの程度注意すればよいか判断できない。当該注意の度合いは、例えば障害物と歩行者の位置関係によって変化することがある。例えば、歩行者の進行方向に障害物がある場合、歩行者は当該障害物を回避しようとして車道にはみ出してくる場合がある。
【０００６】
本発明は、障害物の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、撮像手段と、撮像手段により撮像された障害物を認識する認識手段とを備える情報処理装置であって、前記認識手段で認識された障害物の移動方向に他の障害物があるか判定する第１の判定手段と、前記第１の判定手段で、移動している前記障害物の移動方向に他の障害物があると判定された場合に第１の通知を行い、移動している前記障害物の移動方向に他の障害物がないと判定された場合に第２の通知を行う通知手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、障害物の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる仕組みを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における、車両と障害物の位置関係の一例を示す図である。
【図２】本発明の実施形態における、情報処理装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態における、情報処理装置の機能構成の一例を示す図である。
【図４】本発明の実施形態における、危険通知処理の流れを示すフローチャートである。
【図５】本発明の実施形態における、検出中障害物情報の一例を示す図である。
【図６】本発明の実施形態における、撮像画像上での通知の一例を示す図である。
【図７】本発明の実施形態における、撮像画像上での通知の一例を示す図である。
【図８】本発明の実施形態における、車両と障害物の位置関係の詳細な例を示す図である。
【図９】本発明の第２の実施形態における、危険通知処理の流れを示すフローチャートである。
【図１０】本発明の第２の実施形態における、撮像画像上での通知の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。
【００１１】
図１は、本発明の実施形態における、車両と障害物の位置関係の一例を示す図である。
【００１２】
車両にはカメラ装置及びカメラ装置と間接的又は直接的に接続された情報処理装置２００が設置されている。当該情報処理装置２００は、例えば車両１００に搭載された（車載の）ナビ装置であり、カメラ装置から取得した当該カメラ装置で撮像された撮像画像を表示する表示画面を備える。
【００１３】
情報処理装置２００は、撮像画像から検知した障害物が歩行者（移動している障害物）であって、当該障害物の移動方向（進行方向）に、例えば電柱等別の障害物がある場合には、車両の運転手に対して、当該歩行者が障害物を避けようと車道に飛び出してくる危険を推測し、危険報知を行う。車両及び障害物の位置関係の詳細については図８の説明で後述する。
以上が図１の説明である。
【００１４】
次に図２を参照して、本発明の実施形態における、情報処理装置のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、情報処理装置のハードウェア構成の一例を示す図である。
【００１５】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００１６】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００１７】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器（表示部）への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
【００１８】
また、ＣＲＴ２１０がタッチパネル機能を有する場合、当該ＣＲＴ２１０は入力装置としても機能し、入力コントローラにタッチパネル機能で検出した（ディスプレイで受け付けた）タッチ操作の情報を入力情報として伝達するものとする。つまり、入力コントローラ２０５は、ＣＲＴ２１０からの入力制御を行う。
【００１９】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２０】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０１）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２１】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２２】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
【００２３】
カメラ装置２１２はシステムバス２０４と接続され、画像の撮像処理を行って撮像画像を生成し、当該撮像画像をシステムバス２０４を介して情報処理装置２００に伝達する。また、ＧＰＳ測定装置２１３はシステムバス２０４と接続され、車両の現在位置の位置情報（Ｘ，Ｙ，Ｚ座標）を測定して情報処理装置に伝達する。情報処理装置２００のＣＰＵ２０１は当該撮像画像、位置情報を取得して外部メモリ２１１に随時記憶する。以上が図２の説明である。
【００２４】
次に図３を参照して、本発明の実施形態における、情報処理装置の機能構成の一例について説明する。
【００２５】
撮像画像取得部３０１は、カメラ装置から撮像画像を取得する取得部である。撮像画像記憶部３０２は、撮像画像取得部で取得した撮像画像を記憶する記憶部である。
【００２６】
障害物位置特定部３０３は、例えば撮像画像を用いて検知された車外の障害物の位置（Ｘ，Ｙ座標）を特定する特定部である。ここでは、前述した特許文献１（特開平７−２６２４９９号公報）の技術を用いて当該障害物の位置の特定するものとする。
【００２７】
進行方向特定部３０４は、移動する障害物（歩行者）の移動方向＝障害物の新たな位置を過去の撮像画像における障害物の位置から推定し、特定する。当該障害物の新たな位置の推定（特定）は、例えば前述した特許文献２（特開２００８−２１２６９号公報）の技術を用いて行うものとする。
【００２８】
判定部３０５は、歩行者の移動方向に別の障害物が存在するかを判定する。危険通知部３０６は、歩行者の移動方向に別の障害物が存在する場合に車両の運転手に対して障害物との衝突の危険通知を行う。以上が図３の説明である。
【００２９】
次に図４を参照して、本発明の実施形態における、危険通知処理の流れについて説明する。
【００３０】
本実施形態の説明においては、情報処理装置＝ナビ装置であるものとして説明する（情報処理装置２００＝ナビ装置２００であるものとする）。
【００３１】
ナビ装置２００のＣＰＵ２０１は、例えば車両のエンジン始動を検知した場合に起動して、接続されたカメラ装置を起動して撮像を開始する（ステップＳ４０１）。ナビ装置２００のＣＰＵ２０１は、カメラ装置から画像データ（撮像画像／カメラ画像）を取得して外部メモリに所定時間記憶する（ステップＳ４０２）。また、当該撮像画像をナビ装置２００の表示画面に表示する（例えば図６の６００のような画面を表示画面に表示する）。ナビ装置２００のＣＰＵ２０１は、取得した当該撮像画像を解析し、撮像画像に含まれる障害物を検出し（ステップＳ４０３／障害物の認識・特定）、障害物の車両との相対位置を特定する（ステップＳ４０４）。ナビ装置２００のＣＰＵ２０１は、検出した障害物の情報及び障害物の位置の情報を対応付けて外部メモリに記憶する（図５に図示）。
【００３２】
図５の検出中障害物情報５００は、撮像画像から切り出した検出中の障害物の画像データ５０２、認識した障害物の種別５０３、特定した障害物の位置（Ｘ，Ｙ座標）である相対位置５０４（車両上の所定の位置と障害物との相対位置）、後述のステップで特定される障害物（歩行者）の進行方向５０５、５０２〜５０５を含む情報である検出中障害物情報を識別するＮＯ５０１を記憶している。ナビ装置２００のＣＰＵ２０１は、ステップＳ４０３で画像データ５０２及び種別５０３を取得、特定して記憶する。また、ステップＳ４０４で相対位置５０４を記憶する。検出中障害物情報５００の各情報は、新たな撮像画像が取得され、ステップＳ４０３、Ｓ４０４の処理が実行される都度更新される。つまり、現在撮像中の画像にある障害物の情報を記憶する。よって、障害物、車両が移動することでカメラの撮像範囲から障害物が外れた場合には、当該撮像範囲から外れた障害物の情報は検出中障害物情報５００から削除される。
【００３３】
相対位置５０４には、例えば種別５０３＝ガードレールである障害物については（所定の区間に継続して設置されている障害物であるため）複数の位置を計測、登録しておき、当該複数の位置の点、及び点をつなぐ線上に当該ガードレールが位置しているものと判断する。相対位置の一例は図８の８００、８１０に図示する。
【００３４】
当該障害物の検出、及び障害物の位置の特定は従来技術を用いる（例えば特開平７−２６２４９９号公報に記載されている方法を用いる）。
【００３５】
ナビ装置２００のＣＰＵ２０１は、図５の検出中障害物情報５００を参照し、撮像画像の解析の結果、撮像画像から歩行者（自転車を含む）を認識・検出したか（しているか）判定する（ステップＳ４０５）。歩行者の認識・検出方法については従来技術を用いる。例えば、ニューラルネットワークを用いた障害物検知の方法を用いる（例えば、特開２００４−１４５６６０号に記載されている）。
【００３６】
具体的には、障害物として歩行者を検出する技術で、車両の進行方向・移動方向の画像を所定の時間間隔で撮像して取得した撮像画像（画像データ）を２値化処理することで、歩行者の形状データを抽出し、複数の撮像画像間の当該形状データの時間的な変化から歩行者の動作のパターンを特定して、歩行者の動作のパターンとニューラルネットワークにおいて記憶・学習済みの動作パターンの情報とを比較し、歩行者を認識する。ニューラルネットワークには予め検出する歩行者の動作のパターンの情報が学習・記憶されている（例えば、人間の体格や歩き方、移動方向、服装などの情報をもとに歩行者の形状データや移動のパターン等を計測しておき、歩行者の動作パターンとして記憶させているものである）。自転車についても同様に、自転車及び搭乗者の動作パターンの情報を用いることで、自転車搭乗者を認識することが可能である。
【００３７】
ナビ装置２００のＣＰＵ２０１は、撮像画像の解析の結果、撮像画像から歩行者を認識・検出したと判定しなかった場合は（ステップＳ４０５でＮＯ）、処理をステップＳ４１２に移行する。ステップＳ４１２の説明は後述する。
【００３８】
ナビ装置２００のＣＰＵ２０１は、撮像画像の解析の結果、撮像画像から歩行者を認識・検出したと判定した場合は（ステップＳ４０５でＹＥＳ）、図５の相対位置５０４の情報を参照し、車両と歩行者の間に他の障害物が存在するか（位置しているか）判定する（ステップＳ４０６）。
【００３９】
例えば図８の８１１に示すように、相対位置５０４の原点となる車両上の所定の位置（Ｘ＝０、Ｙ＝０）と歩行者の位置とを結ぶベクトル（線）を含む所定範囲に障害物が位置しているか判定する。当該所定範囲は例えば当該ベクトル（線）の幅を所定距離広げることで特定される範囲であって、当該所定距離の情報は予めナビ装置の外部メモリに記憶されているものとする。ここでは、ベクトルの幅を１ｍに広げた範囲を所定範囲とする。この場合、外部メモリに記憶されている所定距離の情報は１ｍであるものとする。
【００４０】
ナビ装置２００のＣＰＵ２０１は、車両と歩行者の間に他の障害物が存在すると判定した場合（ステップＳ４０６でＹＥＳ）、例えばガードレールのような障害物が車両と歩行者との間にあると考えられるため、検出した障害物（歩行者）が比較的安全な状態にある歩行者である旨の通知を行う（ステップＳ４０７／第３の通知）。例えば歩行者の画像を青色の線で囲んだ撮像画像を生成し、ナビ装置の表示画面に表示することで運転手であるユーザに通知を行う。当該通知の例は図７の７１０に示すとおりである。
【００４１】
ナビ装置２００のＣＰＵ２０１は、車両と歩行者の間に他の障害物が存在しない判定した場合（ステップＳ４０６でＮＯ）、処理をステップＳ４０８に移行し、歩行者の進行方向（移動方向）を特定して進行方向５０５に記憶する（ステップＳ４０８）。当該移動方向の特定処理は従来技術を用いて行われる。例えば、特開２００８−２１２６９号公報に記載されている技術を用いる。歩行者の進行方向の特定に必要な時系列毎の画像データは、ステップＳ４０２で外部メモリに記憶された所定時間分の撮像画像をから取得される。
【００４２】
ここでは、ナビ装置２００のＣＰＵ２０１は、進行方向（歩行者の新たな位置）を特定した後、当該進行方向の延長線上の所定距離先にある座標（車両との相対位置を示すＸ、Ｙ座標）を特定して、進行方向５０５に記憶するものとする。当該所定距離の情報はナビ装置の外部メモリに予め記憶されているものとする。ここでは所定距離＝５ｍであり、歩行者の現在の位置から歩行者の次の位置を通過する線上の、歩行者の現在位置から５ｍ先の座標を記憶するものとする。
【００４３】
ナビ装置２００のＣＰＵ２０１は、歩行者の進行方向に他の障害物（例えば電柱や標識）が存在するか判定する（ステップＳ４０９／他の障害物の位置（Ｘ、Ｙ座標）から所定範囲の領域を歩行者が通過すると推測されるかを判定する）。以下、当該他の障害物＝電柱であるものとして説明する。具体的には、ナビ装置２００のＣＰＵ２０１は、電柱のＸ，Ｙ座標を中心として所定範囲の領域（図８の８２１に図示）を特定する。当該所定範囲は、中心点を電柱の座標に据えた、半径＝所定距離（ここでは１ｍとする）の円の形状の領域である。当該所定距離の情報は予めナビ装置の外部メモリに記憶されているものとする。
【００４４】
ステップＳ４０９でナビ装置２００のＣＰＵ２０１は、歩行者の進行方向の情報から、歩行者が電柱近傍に向けて移動しているかを判定する。例えば、進行方向５０５の示す座標の点、又は歩行者の現在位置と進行方向５０５の点を結ぶ線が電柱を中心とした所定範囲に含まれるか判定する。進行方向５０５の示す座標の点、又は歩行者の現在位置と進行方向５０５の点を結ぶ線が電柱を中心とした所定範囲に含まれると判定した場合、歩行者の進行方向に他の障害物があると判定する。進行方向５０５の示す座標の点、又は歩行者の現在位置と進行方向５０５の点を結ぶ線が電柱を中心とした所定範囲に含まれないと判定した場合、歩行者の進行方向に他の障害物がないと判定する。
【００４５】
ナビ装置２００のＣＰＵ２０１は、歩行者の進行方向に他の障害物がないと判定した場合（ステップＳ４０９でＮＯ）、検出した歩行者にやや注意すべきであることを通知する（ステップＳ４１０／第２の通知）。これは、歩行者の進行方向に障害物がなく歩行者が直進する可能性が高いが、車両と歩行者の間にガードレールのような障害物があるわけではなく、歩行者が車両側に飛び出してくる可能性が低いといえないためである。例えば歩行者の画像を黄色の線で囲んだ撮像画像を生成し、ナビ装置の表示画面に表示することで運転手であるユーザに通知を行う。当該通知の例は図７の７００に示すとおりである。ナビ装置は２００のＣＰＵ２０１は、通知実行後、処理をステップＳ４１２に移行する。
【００４６】
一方、ナビ装置２００のＣＰＵ２０１は、歩行者の進行方向に他の障害物があると判定した場合（ステップＳ４０９でＹＥＳ）、図６に示すように、歩行者が障害物を避けようとして車両側に移動してくる場合があると推測し、検出した歩行者に強く注意すべきであることを通知する（ステップＳ４１１／第１の通知）。例えば歩行者の画像を赤色の線で囲んだ撮像画像を生成し、ナビ装置の表示画面に表示することで運転手であるユーザに通知を行う。当該通知の例は図６の６１０に示すとおりである。本実施形態においては更に、図６の６１０に示すように、撮像画像において、歩行者の進行方向にあると判定された障害物の近傍（障害物の車両側の側部）に歩行者の形状を示すオブジェクト６１１を配置したり、歩行者の現在の位置から障害物の近傍（障害物の車両側の側部）までの移動経路を示す矢印を表示したりして、歩行者の進行方向の変更がされることについてより注意するよう通知をしている。ここではオブジェクト６１１や矢印の色は赤色で表示するものとする。その後、処理をステップＳ４１２に移行する。
【００４７】
ナビ装置２００のＣＰＵ２０１は、ステップＳ４１２において、ナビ装置２００の終了が指示されたか判定する（ステップＳ４１２）。ナビ装置２００の終了指示とは、例えば、車両本体からのエンジンの停止の通知である。
【００４８】
ナビ装置２００の終了指示を受け付けた場合には（ステップＳ４１２でＹＥＳ）、ナビ装置２００のＣＰＵ２０１は処理を終了する。ナビ装置２００の終了指示を受け付けていない場合には（ステップＳ４１２でＮＯ）、処理をステップＳ４０２に戻し、撮像中の新たな画像を取得して、ナビ装置の終了指示がされるまで図４の処理を繰り返す。以上が図４の説明である。
【００４９】
以上、本発明の第１の実施形態について説明した。
【００５０】
本発明の第１の実施形態によれば、障害物の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる仕組みを提供することができる。
【００５１】
次に図９及び図１０を参照して、本発明の第２の実施形態について説明する。
【００５２】
本発明の第２の実施形態によれば、障害物の移動方向及び車両の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる。
【００５３】
第２の実施形態の説明においては、第１の実施形態のステップＳ４０８ステップＳ４０９の間に、図９に示すステップＳ９０１、ステップＳ９０２の処理を行い、当該ステップＳ９０２の処理の結果に応じて、ステップＳ９０３、ステップＳ９０４に記載の処理を行うものである。図４のステップＳ４０１〜Ｓ４１２の各処理は第１の実施形態と共通であるため説明を割愛する。
【００５４】
第２の実施形態において、ナビ装置２００のＣＰＵ２０１は、ステップＳ４０８で歩行者の進行方向を特定した後、ナビ装置２００が設置され接続されている自車両の進行方向の情報を自車両に問い合わせ、自車両の進行方向を特定する（ステップＳ９０１）。そして、車両と歩行者が向かい合って移動しているか判定する（ステップＳ９０２）。
【００５５】
車両と歩行者が向かい合って移動していないと判定した場合（ステップＳ９０２でＮＯ）、処理をステップＳ９０３に移行する。向かい合って移動していない場合とは、例えば車両と歩行者が同じ方向（同じ方角）に移動している場合である。
【００５６】
車両と歩行者が向かい合って移動していると判定した場合（ステップＳ９０２でＹＥＳ）、歩行者の進行方向に障害物があるか判定する（ステップＳ９０３）。当該判定の詳細は図４のステップＳ４０９の説明で上述したとおりである。歩行者の進行方向に障害物がない場合には（ステップＳ９０３でＮＯ）処理をステップＳ４０７に移行する。
【００５７】
歩行者の進行方向に障害物がある場合には（ステップＳ９０３でＹＥＳ）、ナビ装置２００のＣＰＵ２０１は、当該障害物の高さを特定して、当該障害物の高さが、撮像画像から認識される歩行者の目（目線／視線）の高さより高いか判定する（ステップＳ９０４）。当該障害物（撮像対象物／歩行者や電柱）の高さの計測は従来技術を用いて行う。例えば、特開２００５−２４９４３８号や、特開平５−１５３４６８号や特開２０００−１２１３６０号に記載の技術を用いて障害物の高さの計測を行ってもよい。
【００５８】
歩行者の進行方向にある該障害物の高さが、歩行者の目線の高さ以下であると判定された場合（ステップＳ９０４でＮＯ）、歩行者が当該障害物の近傍に移動したとしても車両を視認することが可能であると推測し、処理をステップＳ４０７に移行して、当該歩行者が比較的安全な状態にある歩行者である旨の通知を行う（第３の通知）。
【００５９】
歩行者の進行方向にある該障害物の高さが、歩行者の目線の高さより高いと判定された場合（ステップＳ９０４でＹＥＳ）、歩行者が当該障害物の近傍に移動した場合には障害物で視界が遮られ、車両の存在を確認しないまま図１０に示すように車道にはみ出てくる可能性があると判断するが、（視線の高さの特定にあたり、歩行者の目が認識可能であるということは）現時点において歩行者は車両を確認可能であるものと判断し、ナビ装置２００のＣＰＵ２０１は、処理をステップＳ４１０に移行して、運転手に対してやや注意すべき旨を伝える通知を行う。尚、第２の実施形態においては、黄色の枠で歩行者を囲み、また、進行方向にある障害物（電柱）の横に黄色のオブジェクトを表示する図１０の１０１０に示すような画面を表示画面に表示して通知を行う（第２の通知）。また、当該オブジェクトは、図１０の１０１０に示すように点線で表示するものとする。点線で表示したり、色を黄色で表示したりすることで、ステップＳ４１１における強く注意すべき通知と区別可能に通知する。その後処理をステップＳ４１２に移行する。
【００６０】
以上が本発明の第２の実施形態についての説明である。
【００６１】
本発明の第２の実施形態によれば、障害物の移動方向及び車両の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる。
【００６２】
以上、本発明の各実施形態について説明した。
【００６３】
以上説明したように、本発明によれば、障害物の移動方向と、移動している障害物と他の障害物との位置関係に応じて適切な注意喚起を行うことができる仕組みを提供することができる。
【００６４】
なお、上述した実施形態においては、通知の程度（危険度の程度／注意の程度）を色で表現し、各通知の程度を区別可能（識別可能）とするものとしたが、通知の識別方法は色に限るものではない。例えば歩行者を囲う枠を、ステップＳ４０７では遅く、ステップＳ４１０では早く、ステップＳ４１１ではより早く点滅して表示することで、運転手に対して危険度を通知するようにしてもよい。
【００６５】
なお、上述した実施形態においては、ステップＳ４０７、Ｓ４１０、Ｓ４１１の各通知はナビ装置２００の表示画面上で行うものとしたが、例えば車両のフロントガラスをシースルーのディスプレイとして、図４のステップＳ４０７、Ｓ４１０、Ｓ４１１の通知を行うようにしてもよい。
【００６６】
また、上述した実施形態においては、表示画面上で通知を行うものとしたが、例えば各通知を警報音等の音を発音することで行い、当該発音の音量をステップＳ４０７では小さく、ステップＳ４１０では大きく、ステップＳ４１１ではより大きく設定して発音することで、運転手に対して各シチュエーションに応じた危険度を通知するようにしてもよい。
【００６７】
また、上述した実施形態においては、歩行者の位置、進行方向を撮像画像から特定するものとしたが、例えば歩行者が持つＧＰＳ測定機器で測定された位置情報をナビ装置が受信し、ナビ装置と接続された車両の位置を計測するＧＰＳ測定装置から車両の位置情報を取得して、歩行者と車両のそれぞれの位置を特定して相対位置を算出するようにしてもよい。
【００６８】
尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【００６９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【００７０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００７２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００７３】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００７４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【００７７】
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７８】
１００  車両
２００  ナビ装置
２１２  カメラ装置
【図１】
2016192104.tif 000003
【図２】
2016192104.tif 000004
【図３】
2016192104.tif 000005
【図４】
2016192104.tif 000006
【図５】
2016192104.tif 000007
【図６】
2016192104.tif 000008
【図７】
2016192104.tif 000009
【図８】
2016192104.tif 000010
【図９】
2016192104.tif 000011
【図１０】
2016192104.tif 000012