(57)【要約】【課題】車両の乗員の視線を、車両の運転等の従来の用途とは異なった用途に利用することができる装置等を提供すること。【解決手段】本発明の情報記録装置は、車両の乗員の視線を検出する視線検出手段３８と、前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定する視認物特定手段１８、４０と、前記視認対象物の画像をカメラに撮影させ、該画像データを記憶させる画像データ記憶手段４０と、を備えている。【選択図】　　　図１
2004064409.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の視線を検出する視線検出手段と、
前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定する視認物特定手段と、
前記視認対象物の画像をカメラに撮影させ、該画像データを記憶させる画像データ記憶手段と、を備えている、
ことを特徴とする情報記録装置。
【請求項２】
前記乗員によって操作され、前記視認物特定手段および画像データ記憶手段を作動させる視認対象物記録スイッチを、備えている、
請求項１に記載の情報記録装置。
【請求項３】
前記乗員が所定時間以上にわたり対象物を視認したとき、前記視認物特定手段および画像データ記憶手段が作動させられる、
請求項１または２に記載の情報記録装置。
【請求項４】
前記画像データ記憶手段が、画像データの保存の要否を前記乗員に確認する、
請求項３に記載の情報記録装置。
【請求項５】
前記視認対象物までの距離に応じて、前記カメラのレンズの焦点距離を変更する、
請求項１ないし４のいずれか１項に記載の情報記録装置。
【請求項６】
前記画像データ記憶手段が、前記画像データと共に、音声情報も記憶させる、
請求項１ないし５のいずれか１項に記載の情報記録装置。
【請求項７】
前記画像データ記憶手段が、前記画像データと共に、撮影時の時間データを記憶させ、前記画像データを時間順に取り出し可能としている、
請求項１ないし７のいずれか１項に記載の情報記録装置。
【請求項８】
前記画像データに、画像に含まれる視認対象物に関する情報を検索する情報検索手段とさらに備え、
前記画像データ記憶手段が、前記画像データと共に、検索された画像に含まれる視認対象物に関する情報を保存させる、
請求項１ないし７のいずれか１項に記載の情報記録装置。
【請求項９】
車両の乗員の視線を検出する工程と、
前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定する工程と、
前記視認対象物の画像データをカメラに撮影させ、該画像データを記憶させる工程と、を備えている、
ことを特徴とする情報記録方法。
【請求項１０】
車両の乗員の視線を検出し、
前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定し、
前記視認対象物の画像データをカメラに撮影させ、該画像データを記憶させるようにコンピュータを作動させる、
ことを特徴とする情報記録用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報記録装置、情報記録方法、及び、情報記録用プログラムに関し、詳細には、乗員の視線に基づいて情報を記録する情報記録装置、情報記録方法、及び、情報記録用プログラムに関する。
【０００２】
【従来の技術】
車両の運転席前方に取り付けられたカメラ（アイカメラ）を用いて運転者の視線を検出し、この検出された視線を用いてエアコンのスイッチ類を操作したり（特開平６−２６１８６３号公報）、運転者の視認行動に応じて前照灯の照射方向やメータディスプレイの明るさを調整したり（特開平９−７６８１５号公報）、運転者の視線方向によりドライバの運転操作に対する集中度合いを推定する（特開２０００−２１１５４３号公報）装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の装置は、検出した運転者等の乗員の視線を、車両の運転または車載機器の操作に利用するだけであった。本発明は、このような状況においてなされたものであり、車両の乗員の視線を、車両の運転等の従来の用途とは異なった用途に利用することができる装置等を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明によれば、車両の乗員の視線を検出する視線検出手段と、前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定する視認物特定手段と、前記視認対象物の画像をカメラに撮影させ、該画像データを記憶させる画像データ記憶手段と、を備えていることを特徴とする情報記録装置が提供される。
【０００５】
このような構成を有する本発明によれば、乗員が車両の走行中に見かけて記録したいと思った風景等を、特別に煩わしい操作を行うことなく、画像データとして保存できる。
【０００６】
本発明の好ましい態様は、前記乗員によって操作され、前記視認物特定手段および画像データ記憶手段を作動させる視認対象物記録スイッチを、備えている。このような構成によれば、乗員の意志を的確に反映した画像データの記録が行われる。
【０００７】
本発明のもう一つの好ましい態様では、前記乗員が所定時間以上にわたり対象物を視認したとき、前記視認物特定手段および画像データ記憶手段が作動させられる。本発明のもう一つの好ましい態様では、前記画像データ記憶手段が、画像データの保存の要否を前記乗員に確認する。
【０００８】
本発明の他の好ましい態様によれば、前記視認対象物までの距離に応じて、前記カメラのレンズの焦点距離を変更する。このような構成によれば、視認対象物を適当な大きさとした画像データを記録できる。
【０００９】
本発明のもう一つの前記画像データ記憶手段が、前記画像データと共に、音声情報も記憶させる。このような構成によれば、臨場感のある画像データを得ることができる。
【００１０】
本発明のもう一つの好ましい態様によれば、前記画像データ記憶手段が、前記画像データと共に、撮影時の時間データを記憶させ、前記画像データを時間順に取り出し可能としている。このような構成によれば、画像データの整理が容易となる。
【００１１】
本発明のもう一つの好ましい態様によれば、前記画像データに、画像に含まれる視認対象物に関する情報を検索する情報検索手段とさらに備え、前記画像データ記憶手段が、前記画像データと共に、検索された画像に含まれる視認対象物に関する情報を保存させる。
【００１２】
本発明の他の態様によれば、車両の乗員の視線を検出する工程と、前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定する工程と、前記視認対象物の画像データをカメラに撮影させ、該画像データを記憶させる工程と、を備えていることを特徴とする情報記録方法が提供される。
【００１３】
本発明の別の態様によれば、車両の乗員の視線を検出し、前記検出された視線に基づいて、前記車両の乗員が視認している視認対象物を特定し、前記視認対象物の画像データをカメラに撮影させ、該画像データを記憶させるようにコンピュータを作動させることを特徴とする情報記録用プログラムが提供される。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して説明する。図１は本発明の情報記録装置の一実施形態である経路誘導装置を示す基本構成図である。
【００１５】
図１において、符号１は、車両用の経路誘導装置（ナビゲーション装置）を示している。車両の外部に、情報センタ２が設けられており、この情報センタ２は、ホストコンピュータ４と、地図情報等を格納する地図情報等データベース６と、各種コンテンツが格納された各種コンテンツデータベース８とを備えている。地図情報には、道路に関する道路データの他、建物の名前、収容施設などに関する建物データ等が含まれている。
【００１６】
経路誘導装置１は、各地域に設置された通信局１０を経由して、インターネット１２に接続可能であり、地図情報を含む種々の情報を情報センタ２から受信できるように構成されている。
【００１７】
なお、経路誘導装置１は、経路誘導のための地図情報を格納したＤＶＤ−ＲＯＭを備えているため、情報センタ２から地図情報を受信しない場合でも、経路誘導や建物に関する情報提供を行なうことができる。情報センタ２から地図情報を受信した場合には、最新の地図情報に基づいて、より正確な経路誘導等が可能となる。
【００１８】
経路誘導装置１は、入力されたデータや乗員の操作に基づき、車両を目的地まで経路案内（経路誘導）するためのＣＰＵ１４と、地図情報等の各種の情報を情報センタ２からインターネット１２及び通信局１０を経由して受信し、且つ、情報を車両側から情報センタ２に送信するための送受信装置１６を備えている。この送受信装置１６は、例えば、自動車電話や携帯電話である。
【００１９】
経路誘導装置１は、更に、情報センタ２から受信した地図情報等を記憶するＨＤＤ記憶装置１８と、地図情報等の種々の情報を表示するディスプレイ２０と、情報センタ２からの地図情報とは別に車両側で独自に準備した地図情報を格納するＤＶＤ−ＲＯＭ２２、乗員が目的地の設定や情報センタ２に地図情報等をリクエストするための操作スイッチ２４と、情報センタ２から情報が受信できないときにその旨を警告する警報装置２６を備えている。
【００２０】
経路誘導装置１は、車両の現在位置を検出するＧＰＳ受信機２８、車速センサ３０及びジャイロセンサ３２を備えている。ＧＰＳ受信機２８は、衛星から電波を受信して車両の現在位置を検出し、車速センサ３０は移動距離を求めるために車両の速度を検出し、ジャイロセンサ３２は車両の移動方向を検出する。経路誘導装置１は、これらの各センサ２８、３０、３２の検出結果から、常時、車両の現在の位置および向きを正確に算出するように構成されている。
【００２１】
また、経路誘導装置１は、情報センタ２、又は、他の交通情報センタ（図示せず）から渋滞情報等を入手するためのＶＩＣＳ受信機３４を備えている。
【００２２】
本実施形態の経路誘導装置１は、運転者の視線を検出し、必要に応じて視線を所定の方向に誘導する視線誘導を行いながら、経路誘導を行うナビゲーション装置である。さらに、経路誘導装置１は、運転者から要求に応じて、運転者の視線が向けられている建物、ランドマークなどの対象物を特定（推定）し、これら視認対象物を、車載のカメラで撮影し、その画像データを記憶させる機能を有する。
【００２３】
このような機能を実行するため、経路誘導装置１は、ＣＣＤカメラ３６、アイカメラ３８、及び、視認画像記録装置４０を備えている。
【００２４】
ＣＣＤカメラ３６は、車両の上部に取付けられ、車両の前方および側方の風景を撮影することができるように構成されている。ＣＣＤカメラ３６は、ズーム機能を有し、所定の対象物を広角で又は拡大で撮影することもできる。尚、ＣＣＤカメラは、車両の周囲３６０度を撮影できるものでも良い。
【００２５】
アイカメラ３８は、キャビン内の上部位置に取付けられ、運転者の瞳孔等を撮影することにより、運転者の視線の方向、及び、注視対象物までの距離を検出することができるように構成されている。ここで、アイカメラには、例えば、ＥＯＧ法、光電素子式ＥＯＧ（Ｐ−ＥＯＧ）法、角膜反射法、第１・第４プルキンエ像検出法、コンタクトレンズ法、サーチコイル法、赤外線眼底カメラ法等の種々の技術が適用される。
【００２６】
視認画像記録装置４０は、コンピュータを備え、アイカメラ３８より検出された運転者の視線（視線の方向及び／又は注視対象物までの距離）を基準に運転者の視線を検出し、車両の現在の位置および向きと運転者の視線とを、地図データと照合させ、運転者が何を視認しているかを特定（推定）し、この視認対象物の画像をＣＣＤカメラ３６に撮影させ、これら視認対象物の画像データを、経路誘導装置１内、あるいは、ネットワークを介して接続された外部の記憶装置内に記憶させるように構成されている。
【００２７】
図２は、本実施形態の経路誘導装置１が搭載された車両の運転席周囲を示す図面である。
【００２８】
運転席の近傍のＡピラーには、スピーカ４２が取付けられており、このスピーカ４２により、運転者への音声ガイダンス、通知等が行われる。さらに、フロントガラス４４上には、ＯＨＤ装置により、ディスプレイ２０の表示内容と同じ内容が補助表示２０ａとして表示される。更に、ステアリングホイール４６には、視認対象記録スイッチ４８とが取付けられている。視認対象記録スイッチ４８は、運転者が、視認対象物を視認画像記録装置４０に認知させ、視認対象物の画像を記録するときに押すスイッチである。尚、本実施形態の経路誘導装置１は、マイク（図示せず）への、例えば「この建物の画像を記録。」という音声入力によっても、視認対象記録スイッチ４８を押したときと同じ処理が行われるように構成されている。
【００２９】
次に、視認画像記録装置４０による視認対象物の画像記録の際に実行される処理の内容を図３のフローチャートに沿って説明する。この画像記録は、通常の経路誘導と並行して行われる。
【００３０】
まず、ステップＳ１で、運転者が視認した対象物の画像を保存することを指示しているか否かが判定される。この判定は、視認対象記録スイッチ４８が押されているか、「この建物の画像を記録。」というような音声による画像記録の指示があったかによって実行される。これらのいずれか一方のみに基づいて判定が行われる構成でもよい。
【００３１】
また、同一物を所定時間以上にわたって注視していたときに、視認対象記録スイッチ４８を押した場合と同様の処理を開始する構成でもよい。この場合、所定時間以上、注視していたか否かは、アイカメラの検出結果等に基づいて、判定するのがよい。また、このような構成では、画像記録処理の実行に先立って、運転者に、視認対象物の画像データ記録を実行するか否かを確認するように構成するのが好ましい。
【００３２】
ステップＳ１でＹＥＳのときには、ステップＳ２に進み、運転者が何を視認しているかが推定される。即ち、アイカメラ３８の撮影結果から検出された運転者の視線（方向と注視対象物までの距離）と、車両の現在の位置及び方向を、地図情報とを照合させて、運転者が視認している対象物を推定（特定）する。
【００３３】
次いで、ステップＳ３で、推定の精度を検証する。即ち、視線方向の対象物の状態によって、ステップＳ２で行った視認物の推定精度をレベル分けする。具体的には、例えば、運転者の視認物がはっきりと分からなかったとき、焦点がぼけていたとき、視線の先に多くの建物がありどの建物を注視しているかが全く特定できなかったとき等には、推定レベル「小」とされ、検出された視線の先に、例えば、複数の建物が隣接して存在しており、運転者がこれらの建物のどれかを眺めていると推定されたときには、推定レベルが「中」となる。
【００３４】
次いで、ステップＳ４に進み、推定レベルが「小」であったか否かが判定される。ステップＳ４でＹＥＳのときには、有効な画像の記録が不可能であるため、ステップＳ５に進み、再視認を促す指示を行う。この指示は、ディスプレイ２０上で、または、音声によって行われる。
【００３５】
ステップＳ４でＮＯのときには、ステップＳ６に進み、推定レベルが「中」であったか否かが判定される。ステップＳ６でＹＥＳのときには、ステップＳ７に進み、ＣＣＤカメラ３６のレンズを広角側にズームさせて、視認方向の広角画像を撮影する。
【００３６】
ステップＳ６でＮＯのときには、推定レベルが「大」であったと判断し、ステップＳ８に進み、ＣＣＤカメラ３６のレンズを望遠側にズームさせて、視認対象物の拡大画像を撮影する。また、ステップＳ７またはステップＳ８の撮影時に、運転者の声等の音声データを記録するように構成してもよい。
【００３７】
ステップＳ７またはステップＳ８の処理が終了すると、ステップＳ９に進み、撮影した画像のデータを、撮影日時、撮影場所（住所）、視認対象物の名称等の他のデータと共に或いはこれらと関連付けて記録する。撮影時間は、コンピュータ内の時計等から取得するのが好ましい。また、撮影場所、視認対象物の名称等のデータは、視認物特定時に地図データを検索することにより取得しておくのが好ましい。また、撮影時の音声等を記録する構成では、この音声データも画像データと共に記録する。尚、画像データの記録先は、例えば、経路誘導装置１内のＨＤＤ記憶装置１８や、情報センタ２のサーバ等である。
【００３８】
ステップＳ１でＮＯ、または、ステップＳ５の処理が終了したときには、そのままリターンする。撮影日時に加えて、視認対象物を注視していた注視時間を、画像データと共にあるいはこれと関連付けて記録する構成でも良い。
【００３９】
このように記録された画像データは、撮影日時と共にあるいはこれと関連付けて記録されているので、時間順に取り出す或いは並べて表示等することが可能である。
【００４０】
図４は、撮影された画像を時間順に表示した例である。図４に示されているように、撮影した各画像に、撮影日時、撮影場所、撮影対象の名称が付されて表示される。この例の第１の記録対象である○○病院は、推定レベルが「大」であったので、ズーム機能により拡大して撮影されている。また、第３の記録対象である、□●ビル近傍は、☆印の付近を運転者が注視していたが、周りに他の建物があったため、推定レベル「中」とされ、視認位置を中心とした広角画像として記録されている。さらに、撮影時の音声データを記録している構成では、画像毎に音声データを再生できるように構成するのが好ましい。尚、表示項目、表示形式等は、この例に限定されるものではない。
【００４１】
また、画像データと共に、注視時間を記録できる構成では、図５に示されている例のように、画像等に加えて注視時間を表示しても良い。
【００４２】
画像データが情報センタ２等のサーバに記録される構成では、記録された画像データの対象物をサーバ側で集計し、注目施設のランキング等を作成し、これを公表すること等も可能となる。
【００４３】
本発明は上記実施形態に限定されることなく、特許請求の範囲に記載された技術事項の範囲内で種々の変更又は変形が可能である。
【００４４】
さらに、上記実施形態では、運転者の視線のみを対象としたが、他の乗員の視線も検出し、これらに基づいて画像記録を行う構成でも良い。
【００４５】
さらに、上記実施形態は、本発明の視認画像記録装置を経路誘導装置に組み込んだ例であったが、本発明はこれに限定されるものではない。
【００４６】
【発明の効果】
このように、本発明によれば、車両の乗員の視線を車両の運転等の従来の用途とは異なった用途に利用することができる装置等が提供される。
【図面の簡単な説明】
【図１】本発明の経路誘導装置の一実施形態を示す基本構成図である。
【図２】本発明の一実施形態の経路誘導装置が搭載された車両の運転席周囲を示す図面である。
【図３】本発明の一実施形態の経路誘導装置で行われる視認対象物の画像記録の際に実行される処理の内容を示すフローチャートである。
【図４】本発明の一実施形態の視認画像記録装置で記録された画像の表示の一例である。
【図５】本発明の一実施形態の視認画像記録装置で記録された画像の表示の他の例である。
【符号の説明】
１：経路誘導装置（ナビゲーション装置）
１８：ＨＤＤ記憶装置
２２：ＤＶＤ−ＲＯＭ
３８：アイカメラ
４０：視認画像記録装置
４８：視認対象記録スイッチ
【図１】
2004064409.tif 000003
【図２】
2004064409.tif 000004
【図３】
2004064409.tif 000005
【図４】
2004064409.tif 000006
【図５】
2004064409.tif 000007