(57)【特許請求の範囲】
【請求項１】
移動体の搭乗者が注視した屋外の注視対象物体を特定する装置であって、
屋外撮影手段により撮影された搭乗者の視野領域を含む屋外の撮影画像を処理することにより、視線検出手段により検出された搭乗者の視線方向の視野画像を所定時間毎に順次生成し、その視野画像の時間的変化から搭乗者の視線挙動の注視状態を判定する視線挙動判定部と、
搭乗者が注視した屋外の注視対象物体に含まれている前記視野画像上の文字情報を検出して認識する文字認識部と、
前記文字認識部によって検出された文字情報および位置検出手段によって検出された移動体の現在位置の情報に基づき、予め対象情報記憶装置に記憶されている文字情報および位置情報を含む屋外物体の属性情報を参照することにより、搭乗者が注視した屋外の注視対象物体を判定する対象判定部とを備えていることを特徴とする注視対象物体特定装置。
【請求項２】
前記対象判定部で判定された注視対象物体に対する搭乗者の注視持続時間と、速度センサで検出された移動体の速度とに基づき、前記注視対象物体に対する搭乗者の興味度を判定する興味度判定手段を備えていることを特徴とする請求項１に記載の注視対象物体特定装置。
【請求項３】
前記対象情報記憶装置に記憶されている屋外物体の属性情報の参照要求操作の頻度に基づき、前記注視対象物体に対する搭乗者の興味度を判定する興味度判定手段を備えていることを特徴とする請求項１に記載の注視対象物体特定装置。
【請求項４】
前記興味度判定手段から通信装置を介して受信した注視対象物体毎の興味度を対象評価情報記憶装置に記憶されている評価情報と照合し、その照合結果を宣伝効果として評価して対象評価情報記憶装置に蓄積する宣伝効果判定部を備えていることを特徴とする請求項２または３に記載の注視対象物体特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の搭乗者が注視した屋外の注視対象物体を特定する注視対象物体特定装置に関するものである。
【背景技術】
【０００２】
従来、自動車などの移動体の搭乗者が関心を持った対象物体を推定する装置が一般に知られている。この種の装置として、例えば特許文献１に記載された関心度推定装置では、自己位置検出手段によって得られた移動体の現在位置から、予め記憶してある地図情報や屋外物体の位置情報を参照し、これらの位置情報と視線検出手段によって得られた搭乗者の視線方向との空間配置関係およびその継続時間に基づいて、現在位置の周辺に存在する屋外物体に対する搭乗者の関心度を算出している。
【特許文献１】特開２００５−６８９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、特許文献１に記載の関心度推定装置において、移動体に比べて動作範囲が微小である搭乗者の視線方向とその視線方向にある屋外物体との空間的な重なりを比較するには、移動体の位置および屋外物体の位置をそれぞれ高精度に検出する必要がある。しかしながら、自動車などの移動体は、通常、高速度で移動しているため、自己位置検出手段であるＧＰＳ（Global Positioning System）では十分な精度の位置情報が得られない。
【０００４】
すなわち、特許文献１に記載のような従来技術においては、予め記憶してある地図情報および屋外物体の位置情報に対する移動体の位置情報の整合性が不十分であるため、搭乗者が注視している屋外の注視対象物体を正確に特定するのが困難であるという問題がある。
【０００５】
そこで、本発明は、移動体の搭乗者が注視した屋外の注視対象物体を正確に特定することができる注視対象物体特定装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る注視対象物体特定装置は、移動体の搭乗者が注視した屋外の注視対象物体を特定する装置であって、屋外撮影手段により撮影された搭乗者の視野領域を含む屋外の撮影画像を処理することにより、視線検出手段により検出された搭乗者の視線方向の視野画像を所定時間毎に順次生成し、その視野画像の時間的変化から搭乗者の視線挙動の注視状態を判定する視線挙動判定部と、搭乗者が注視した屋外の注視対象物体に含まれている視野画像上の文字情報を検出して認識する文字認識部と、文字認識部によって検出された文字情報および位置検出手段によって検出された移動体の現在位置の情報に基づき、予め対象情報記憶装置に記憶されている文字情報および位置情報を含む屋外物体の属性情報を参照することにより、搭乗者が注視した屋外の注視対象物体を判定する対象判定部とを備えていることを特徴とする。
【０００７】
本発明に係る注視対象物体特定装置では、屋外撮影手段が搭乗者の視野領域を含む移動体の前方の屋外を撮影すると共に、視線検出手段が搭乗者の視線方向を検出すると、視線挙動判定部が搭乗者の視線方向の視野画像を所定時間毎に順次生成し、その視野画像の時間的変化から搭乗者の視線挙動の注視状態を判定する。ここで、搭乗者の視線挙動が注視状態であれば、搭乗者が注視した屋外の注視対象物体に含まれている視野画像上の文字情報を文字認識部が検出して認識する。すると、対象判定部は、文字認識部によって検出された文字情報および位置検出手段によって検出された移動体の現在位置の情報に基づき、予め対象情報記憶装置に記憶されている文字情報および位置情報を含む屋外物体の属性情報を参照することにより、搭乗者が注視した屋外の注視対象物体を判定する。これにより、移動体の搭乗者が注視した屋外の注視対象物体が正確に特定される。
【０００８】
本発明の注視対象物体特定装置において、注視対象物体に対する搭乗者の興味度を判定する興味度判定手段が設けられていると、搭乗者が注視した屋外の注視対象物体に対する搭乗者の興味度を判定できるので好ましい。
【０００９】
ここで、興味度判定手段は、対象判定部で判定された注視対象物体に対する搭乗者の注視持続時間と、速度センサで検出された移動体の速度とに基づいて搭乗者の興味度を判定するように構成することができる。また、興味度判定手段は、対象情報記憶装置に記憶されている屋外物体の属性情報の参照要求操作の頻度に基づいて搭乗者の興味度を判定するように構成することができる。
【００１０】
また、興味度判定手段を備えた本発明の注視対象物体特定装置には、興味度判定手段から通信装置を介して受信した注視対象物体毎の興味度を対象評価情報記憶装置に記憶されている評価情報と照合し、その照合結果を宣伝効果として評価して対象評価情報記憶装置に蓄積する宣伝効果判定部を設けることができる。この場合、搭乗者が注視した屋外の注視対象物体の宣伝効果を評価することができる。
【発明の効果】
【００１１】
本発明に係る注視対象物体特定装置によれば、屋外撮影手段が搭乗者の視野領域を含む移動体の前方の屋外を撮影すると共に、視線検出手段が搭乗者の視線方向を検出すると、視線挙動判定部が搭乗者の視野画像を所定時間毎に順次生成し、その視野画像の時間的変化から搭乗者の視線挙動の注視状態を判定する。ここで、搭乗者の視線挙動が注視状態であれば、搭乗者が注視した屋外の注視対象物体に含まれている視野画像上の文字情報を文字認識部が検出して認識する。すると、対象判定部が文字認識部によって検出された文字情報および位置検出手段によって検出された移動体の現在位置の情報に基づき、予め対象情報記憶装置に記憶されている文字情報および位置情報を含む屋外物体の属性情報を参照することにより、搭乗者が注視した屋外の注視対象物体を判定する。従って、移動体の搭乗者が注視した屋外の注視対象物体を正確に特定することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明に係る注視対象物体特定装置の実施形態を説明する。この説明において、同一または同様の構成要素については、同一の符号を付して重複した説明を省略することがある。ここで、参照する図面において、図１は第１実施形態に係る注視対象物体特定装置の構成を示すブロック図、図２は図１に示したカメラが撮影した屋外の撮影画像を搭乗者の視野画像に射影変換する処理を説明する模式図である。
【００１３】
第１実施形態に係る屋外対象物特定装置は、例えば自車両としての自動車の搭乗者が注視した屋外広告などの注視対象物体を特定する装置であって、図１に示すように、屋外撮影手段としてのカメラ１、視線検出手段としての視線センサ２、視線挙動判定部３、文字認識部４、対象判定部５、対象情報記憶装置６、位置検出手段としてのＧＰＳ（Global Positioning System）センサ７を備えている。
【００１４】
ここで、視線センサ２、視線挙動判定部３、文字認識部４、対象判定部５、対象情報記憶装置６は、図示しない車載用のＥＣＵ（Electric Control Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されており、このＥＣＵは、入出力インターフェースＩ／Ｏ、Ａ／Ｄコンバータ、プログラムおよびデータを記憶したＲＯＭ(ReadOnly Memory)、入力データ等を一時記憶するＲＡＭ(Random Access Memory)、プログラムを実行するＣＰＵ(CentralProcessing Unit)等を備えている。
【００１５】
カメラ１は、１台以上のＣＣＤカメラや赤外線カメラからなる画像撮影装置で構成されており、図示しない自車両の例えばフロントウィンドウの上部付近に設置されることで、搭乗者の視野領域を含む自車両の前方の屋外画像を撮影する。このカメラ１は、基準座標系に対するＸ，Ｙ，Ｚ方向の３次元位置（図２参照）が予めキャリブレーションされており、その３次元位置が変化しないように固定されている。
【００１６】
このようなカメラ１は、その撮影画像のデータやカメラパラメータ（カメラの焦点距離、レンズの歪み係数、画像中心、空間中のカメラの位置と方向を決める回転行列、平行移動ベクトル等）を含む全ての撮影データを計測時刻情報と共に視線挙動判定部３に出力する。
【００１７】
視線センサ２は、１台以上のＣＣＤカメラや赤外線カメラからなる画像撮影装置と、この画像撮影装置が撮影した画像データを処理する１台の演算装置とを備えて構成されている。この視線センサ２を構成する画像撮影装置は、搭乗者の顔面を含む頭部付近を撮影できるように自車両の車室内の適所に設置されている。この画像撮影装置は、基準座標系に対するＸ，Ｙ，Ｚ方向の３次元位置（図２参照）が予めキャリブレーションされており、その３次元位置が変化しないように固定されている。
【００１８】
視線センサ２を構成する演算装置は、画像撮影装置が撮影した搭乗者の頭部付近の画像データを入力して画像処理することにより、搭乗者の頭部の中心位置および左右の眼球の中心位置の３次元座標を算出すると共に、その頭部の中心位置を始点として左右の眼球の中心位置へ向かう方向ベクトルを搭乗者の視線方向として算出する。そして、算出した全ての視線データを計測時刻情報と共に視線挙動判定部３へ所定時間毎に繰り返して出力する。
【００１９】
視線挙動判定部３は、カメラ１により撮影された搭乗者の視野領域を含む屋外の撮影画像を処理することにより、視線センサ２により検出された搭乗者の視線方向の視野画像を所定時間毎に順次生成し、その視野画像の変化から搭乗者の視線挙動の注視状態を判定する。以下、視線挙動判定部３による視線挙動判定処理の手順を図３に示すフローチャートに沿って説明する。
【００２０】
まず、ステップＳ１０において、視線データおよび撮影データから視野画像データを生成する。このステップＳ１０においては、計測時刻情報が同期すると判断される視線データおよび撮影データに基づき、視線データから図２に示す搭乗者の視線方向である視線軸Ａｇを算出すると共に、撮影データから図２に示すカメラ１の撮影方向であるカメラ軸Ａｃを算出する。そして、算出したカメラ軸Ａｃおよび視線軸Ａｇの情報に基づき、カメラ軸Ａｃを視線軸Ａｇに射影変換する行列を求め、カメラ１が撮影した撮影画像Ｐｃのデータを射影変換することにより、搭乗者の視線軸Ａｇ方向の視野画像Ｐｇを所定時間毎に順次生成する。この視野画像Ｐｇ上では、撮影画像Ｐｃ上の屋外の注視対象物体Ｏの形状が搭乗者の視線で見た形状に変換される
【００２１】
ここで、計測時刻情報の同期判断は、視線データの計測時刻を基準とし、視線データの計測時刻に最も近い計測時刻の撮影データを選択する。なお、カメラ１が２台以上のＣＣＤカメラや赤外線カメラからなる画像撮影装置で構成されている場合、視線軸Ａｇとの内積が最も小さくなるカメラ軸Ａｃを有する画像撮影装置の撮影データを選択する。
【００２２】
次のステップＳ１１では、計測時刻ｔにおける視野画像データ上の特徴点ｍと比較用計測時刻ｔｃｍｐにおける視野画像データ上の特徴点ｍの座標値の差分ｄＩを算出する。このステップＳ１１においては、まず、カメラ１による撮影画像Ｐｃのデータに対し、基準座標系での３次元位置が既知かつ不変である特徴点ｍを予め設定する。そして、撮影画像データ上の特徴点ｍの座標値を（ｕ，ｖ）とし、視野画像データ上の特徴点ｍの座標値（ｕ’，ｖ’）を射影変換によって算出する。続いて、比較用計測時刻ｔｃｍｐにおける視野画像データＩ（ｔｃｍｐ）上の特徴点ｍの座標値と、計測時刻ｔにおける視野画像データＩ（ｔ）上の特徴点ｍの座標値とを求め、両者の差を画像差分ｄＩとして算出する。
【００２３】
続くステップＳ１２では、計測時刻ｔと比較用計測時刻ｔｃｍｐとの時間差分ｄｔと、算出された画像差分ｄＩとに基づいて運転者の眼球運動速度（視線移動速度）ｖを算出する。
【００２４】
次のステップＳ１３では、算出された眼球運動速度ｖと予め設定してある眼球運動速度の閾値ｔｈｄｖとを比較し、眼球運動速度ｖが閾値ｔｈｄｖ以内であるか否かを判定する。この判定結果がＹＥＳであって眼球運動速度ｖが閾値ｔｈｄｖ以内であれば、続くステップＳ１４で時間フラグｔｆｌａｇに時間差分ｄｔを加算し、その後、ステップＳ１５に進む。
【００２５】
一方、ステップＳ１３における判定結果がＮＯであって眼球運動速度ｖが閾値ｔｈｄｖを超えていれば、ステップＳ１６で時間フラグｔｆｌａｇをｔｆｌａｇ＝０にリセットし、その後、ステップＳ１５に進む。
【００２６】
ステップＳ１５では、時間フラグｔｆｌａｇと予め設定してある時間フラグの閾値ｔｈｄｔｆｌａｇとを比較し、時間フラグｔｆｌａｇが閾値ｔｈｄｔｆｌａｇ以上であるか否かを判定する。この判定結果がＹＥＳであって時間フラグｔｆｌａｇが閾値ｔｈｄｔｆｌａｇ以上であれば、計測時刻ｔにおける視線挙動が注視状態であるとみなし、次のステップＳ１７で視線挙動を示すＧａｃｔ（ｔ）をＧａｃｔ（ｔ）＝１とすると共に、計測時刻ｔまでの視線挙動の注視状態の持続時間を示すＴｄｕｒ（ｔ）をＴｄｕｒ（ｔ）＝ｔｆｌａｇとし、その後、ステップＳ１８に進む。
【００２７】
一方、ステップＳ１５における判定結果がＮＯであって時間フラグｔｆｌａｇが閾値ｔｈｄｔｆｌａｇ未満であれば、計測時刻ｔにおける視線挙動が移動状態であるとみなし、ステップＳ１９で視線挙動を示すＧａｃｔ（ｔ）をＧａｃｔ（ｔ）＝０とすると共に、視線挙動の注視状態の持続時間を示すＴｄｕｒ（ｔ）をＴｄｕｒ（ｔ）＝０とし、その後、ステップＳ１８に進む。
【００２８】
ステップＳ１８では、計測時刻ｔ、視線挙動Ｇａｃｔ（ｔ）、持続時間Ｔｄｕｒ（ｔ）の値を図１に示した文字認識部４に出力して視線挙動判定部３による視線挙動判定処理を終了する。
【００２９】
図１に示した文字認識部４は、視線挙動判定部３で判定された搭乗者の視線挙動が注視状態であれば、搭乗者が注視した屋外広告などの注視対象物体Ｏ（図２参照）に含まれている電話番号やＵＲＬ等の文字情報Ｔを図２の視野画像Ｐｇ上から検出して認識する。以下、文字認識部４による文字認識処理の手順を図４に示すフローチャートに沿って説明する。
【００３０】
まず、ステップＳ２０において、視線挙動を示すＧａｃｔ（ｔ）がＧａｃｔ（ｔ）＝１であり、かつ、視線挙動の注視状態の持続時間を示すＴｄｕｒ（ｔ）がＴｄｕｒ（ｔ）＞０であるか否かを判定する。この判定結果がＮＯであればステップＳ２０の判定を繰り返すが、判定結果がＹＥＳであって搭乗者の視線挙動の注視状態が持続している場合には、続くステップＳ２１で計測時刻ｔにおける視野画像データＩ（ｔ）上の中央部分を搭乗者の注視領域として決定する。
【００３１】
次のステップＳ２２では、搭乗者の注視領域である視野画像データＩ（ｔ）上の中央部分に対してエッジ処理などの画像処理を施し、電話番号やＵＲＬ等の文字情報Ｔと判定されるエッジが含まれている領域を文字領域として抽出する。その後、ステップＳ２３で文字領域内に電話番号やＵＲＬ等の文字部分と判定されるエッジが存在する否かを判定する。
【００３２】
ステップＳ２３の判定結果がＹＥＳであって文字領域内に電話番号やＵＲＬ等の文字部分と判定されるエッジが存在する場合には、続くステップＳ２４において、抽出された文字領域に対してテンプレートマッチングなどのパターン識別処理を施すことにより、電話番号やＵＲＬ等の適合する文字列を計測時刻ｔにおける文字列Ｃｈａｒ（ｔ）として決定する。
【００３３】
次のステップＳ２５では、電話番号やＵＲＬ等の適合する文字列Ｃｈａｒ（ｔ）が存在するか否かを判定し、判定結果がＹＥＳであれば、続くステップＳ２６において、適合する文字列Ｃｈａｒ（ｔ）を図１に示した対象判定部５に出力し、その後、文字認識部４による文字認識処理を終了する。
【００３４】
一方、ステップＳ２３の判定結果がＮＯの場合またはステップＳ２５の判定結果がＮＯの場合には、適合する文字列Ｃｈａｒ（ｔ）が存在しないものとみなして文字列Ｃｈａｒ（ｔ）をＣｈａｒ（ｔ）＝ＮＵＬＬとした後、文字認識部４による文字認識処理を終了する。
【００３５】
図１に示した対象判定部５には、対象情報記憶装置６に予め記憶されている屋外広告などの屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）と、自車両の適所に設置されたＧＰＳセンサ７により計測される自車両の現在位置の情報とが入力される。
【００３６】
この対象判定部５は、文字認識部４から入力される電話番号やＵＲＬ等の文字列Ｃｈａｒ（ｔ）の情報と、ＧＰＳセンサ７から入力される自車両の現在位置の情報とに基づき、対象情報記憶装置６から入力される屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）を参照することにより、搭乗者が注視した屋外広告などの注視対象物体Ｏを特定する。以下、対象判定部５による対象判定処理の手順を図５に示すフローチャートに沿って説明する。
【００３７】
まず、ステップＳ３０では、対象情報記憶装置６から入力される屋外物体の設置位置と、ＧＰＳセンサ７から入力される自車両の現在位置とを比較し、両者間の距離が予め設定されている閾値以下となる場合には、自車両の現在位置の近傍に存在する所定の屋外物体を特定の屋外物体として抽出する。
【００３８】
次のステップＳ３１では、自車両の現在位置の近傍に特定の屋外物体が存在するか否かを判定し、判定結果がＹＥＳであって特定の屋外物体が抽出されている場合には、続くステップＳ３２において、抽出された特定の屋外物体に付随する電話番号およびＵＲＬを文字認識部４から入力された電話番号およびＵＲＬの文字列Ｃｈａｒ（ｔ）と比較する。
【００３９】
次のステップＳ３３では、電話番号やＵＲＬが一致する特定の屋外物体が存在するか否かを判定する。そして、判定結果がＹＥＳであれば、続くステップＳ３４において、電話番号やＵＲＬが一致する特定の屋外物体を計測時刻ｔにおける注視対象物体Ｏａｔｎ（ｔ）として特定し、その後、対象判定部５による対象判定処理を終了する。
【００４０】
一方、ステップＳ３１の判定結果がＮＯの場合またはステップＳ３３の判定結果がＮＯの場合には、計測時刻ｔに注視対象物体Ｏａｔｎ（ｔ）が存在しないものとみなし、ステップＳ３５でＯａｔｎ（ｔ）＝ＮＵＬＬとした後、対象判定部５による対象判定処理を終了する。
【００４１】
以上説明したように、本発明の第１実施形態に係る注視対象物体特定装置では、カメラ１が搭乗者の視野領域を含む自車両の前方の屋外を撮影して撮影画像Ｐｃ（図２参照）を生成すると共に、視線センサ２が搭乗者の視線方向である視線軸Ａｇを算出すると、視線挙動判定部３が撮影画像Ｐｃのデータを射影変換することにより搭乗者の視線軸Ａｇ方向にある視野画像Ｐｇ（図２参照）を所定時間毎に順次生成する。そして、順次生成した視野画像Ｐｇの時間的変化に基づき、搭乗者の視線挙動の注視状態を判定する。
【００４２】
ここで、搭乗者の視線挙動が注視状態であれば、搭乗者が注視した屋外の注視対象物体Ｏに含まれている視野画像Ｐｇ上の電話番号やＵＲＬ等の文字情報Ｔを文字認識部４が文字列Ｃｈａｒ（ｔ）として認識する。すると、対象判定部５は、文字認識部４によって検出された電話番号やＵＲＬ等の文字情報ＴおよびＧＰＳセンサ７によって検出された自車両の現在位置の情報に基づき、予め対象情報記憶装置６に記憶されている屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）を参照することにより、搭乗者が注視した屋外の注視対象物体Ｏを計測時刻ｔにおける注視対象物体Ｏａｔｎ（ｔ）として特定する。
【００４３】
従って、第１実施形態に係る注視対象物体特定装置によれば、自車両の搭乗者が注視した特定の屋外物体を計測時刻ｔにおける注視対象物体Ｏａｔｎとして正確に特定することができる。その結果、屋外に設置されている看板などの種々の屋外広告に対し、自車両の搭乗者がどの屋外広告に注意を払ったかを調査することが可能となる。
【００４４】
次に、図６を参照して本発明の第２実施形態に係る注視対象物体特定装置について説明する。この第２実施形態の注視対象物体特定装置は、図１に示した第１実施形態の注視対象物体特定装置の構成に車速センサ８および興味度判定手段としての興味度判定部９を追加したものであり、これらを除くその他の構成部分は、第１実施形態の注視対象物体特定装置と同様であるため、同一の符号を付すことで説明を省略する。
【００４５】
ここで、興味度判定部９には、計測時刻ｔにおいて搭乗者が注視した特定の注視対象物体Ｏａｔｎ（ｔ）の情報が対象判定部５から入力されると共に、計測時刻ｔにおける自車両の車両速度ｖｅｌ（ｔ）の情報が車速センサ８から入力される。
【００４６】
この興味度判定部９は、対象判定部５から入力される注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の注視持続時間と、車速センサ８から入力される自車両の車両速度ｖｅｌ（ｔ）とに基づき、注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の興味度を判定する。以下、興味度判定部９による興味度判定処理の手順を図７に示すフローチャートに沿って説明する。
【００４７】
まず、ステップＳ４０では、計測時刻ｔにおける注視対象物体Ｏａｔｎ（ｔ）がＯａｔｎ（ｔ）≠ＮＵＬＬであるか否かを判定する。この判定結果がＹＥＳであって注視対象物体Ｏａｔｎ（ｔ）が存在すれば、計測時刻ｔにおいて搭乗者が屋外の注視対象物体Ｏを注視しているものとみなし、次のステップＳ４１に進む。
【００４８】
ステップＳ４１では、計測時刻ｔにおける注視対象物体Ｏａｔｎ（ｔ）と計測時刻ｔの直前の時刻ｔｐｒｖにおける注視対象物体Ｏａｔｎ（ｔｐｒｖ）とを比較し、Ｏａｔｎ（ｔ）＝Ｏａｔｎ（ｔｐｒｖ）であるか否かを判定する。この判定結果がＹＥＳであれば、搭乗者が屋外の注視対象物体Ｏを注視しているものとみなして次のステップＳ４２に進む。
【００４９】
一方、ステップＳ４０の判定結果がＮＯの場合またはステップＳ４１の判定結果ＮＯの場合には、計測時刻ｔにおいて搭乗者が屋外の注視対象物体Ｏを注視していないものとみなし、ステップＳ４３で屋外の注視対象物体Ｏに対する搭乗者の注視時間Ｔａｔｎ（ｔ）をＴａｔｎ（ｔ）ＮＵＬＬにリセットとした後、興味度判定部９による興味度判定処理を終了する。
【００５０】
ステップＳ４２では、搭乗者の注視時間Ｔａｔｎ（ｔ）をＴａｔｎ（ｔ）＝Ｔａｔｎ（ｔｐｒｖ）＋（ｔ−ｔｐｒｖ）として更新する。そして、続くステップＳ４４では、注視時間Ｔａｔｎ（ｔ）がＴａｔｎ（ｔ）＞０であるか否かを判定する。
【００５１】
ここで、ステップＳ４４の判定結果がＮＯであれば、興味度判定部９による興味度判定処理を終了するが、判定結果がＹＥＳであれば、搭乗者が屋外の注視対象物体Ｏを注視し続けているものとみなして次のステップＳ４５に進む。
【００５２】
ステップＳ４５では、車速センサ８から入力される自車両の車両速度ｖｅｌ（ｔ）に基づいて、屋外の注視対象物体Ｏの近傍を通過する自車両の通過時間を表す係数α（ｔ）を算出する。ここで、係数α（ｔ）は、予め設定された分類基準に基づいて算出されるものであり、例えば、車両速度が所定の速度より低い場合には、屋外の注視対象物体Ｏが搭乗者の視野に入る時間が長くなると考えられるため、α（ｔ）＜１の範囲に係数α（ｔ）を設定する。逆に車両速度が所定の速度より高い場合には、屋外の注視対象物体Ｏが搭乗者の視野に入る時間が短くなると考えられるため、α（ｔ）＞１の範囲に係数α（ｔ）を設定する。そして、車両速度が通常の速度範囲にある場合には、α（ｔ）＝１に係数α（ｔ）を設定する。
【００５３】
次のステップＳ４６では、計測時刻ｔにおいて搭乗者が注視対象物体Ｏａｔｎ（ｔ）に対して興味を持った時間である興味時間ＴＩｎｔ（Ｏａｔｎ（ｔ））を算出する。この興味時間ＴＩｎｔ（Ｏａｔｎ（ｔ））は、注視時間Ｔａｔｎ（ｔ）と係数α（ｔ）とを用いて、「ＴＩｎｔ（Ｏａｔｎ（ｔ））＝Ｔａｔｎ（ｔｐｒｖ）＋α（ｔ）＊（ｔ−ｔｐｒｖ）」の式により算出する。
【００５４】
続くステップＳ４７では、注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の注視状態が終了する直前の時刻、すなわち、計測時刻ｔの次の計測時刻ｔｎｘｔにおける注視時間Ｔａｔｎ（ｔｎｘｔ）がＴａｔｎ（ｔｎｘｔ）＝０であるか否かを判定する。
【００５５】
この判定結果がＮＯであれば、ステップＳ４０へ戻るが、判定結果がＹＥＳであれば、興味時間ＴＩｎｔ（Ｏａｔｎ（ｔ））が最大となるため、その値を注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の興味度として決定する。そして、その注視対象物体Ｏａｔｎ（ｔ）を興味対象物体Ｏｒｅｆ（ｔ）として記録すると共に、興味時間ＴＩｎｔ（Ｏａｔｎ（ｔ））を興味度Ｉｎｔ（Ｏｒｅｆ）として記録し、その後、興味度判定部９による興味度判定処理を終了する。
【００５６】
以上説明したように、本発明の第２実施形態に係る注視対象物体特定装置によれば、対象判定部５から入力される注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の注視持続時間と、車速センサ８から入力される自車両の車両速度ｖｅｌ（ｔ）とに基づく興味度判定部９の興味度判定処理により、搭乗者が注していた注視対象物体Ｏａｔｎ（ｔ）を興味対象物体Ｏｒｅｆ（ｔ）として興味度判定部９に記録できると共に、搭乗者が注視対象物体Ｏａｔｎ（ｔ）に対して興味を持った興味時間ＴＩｎｔ（Ｏａｔｎ（ｔ））を興味度Ｉｎｔ（Ｏｒｅｆ）として興味度判定部９に記録できる。
【００５７】
興味度判定部９に記録された興味対象物体Ｏｒｅｆ（ｔ）および興味度Ｉｎｔ（Ｏｒｅｆ）の情報は、屋外に設置されている看板などの種々の屋外広告の宣伝効果を計る指標として利用することが可能であり、その情報は、屋外広告の例えば設置使用量を決定する際の情報として用いることができる。
【００５８】
また、興味度判定部９に記録された興味対象物体Ｏｒｅｆ（ｔ）に対する興味度Ｉｎｔ（Ｏｒｅｆ）が極端に高い場合には、車両の運転者に脇見運転を誘発するような内容が含まれている屋外広告であると判断することもでき、広告内容の是非の判定指標として用いることができる。
【００５９】
続いて、図８を参照して本発明の第３実施形態に係る注視対象物体特定装置について説明する。この第３実施形態の注視対象物体特定装置は、図１に示した第１実施形態の注視対象物体特定装置の構成に参照操作検出手段１０、興味度判定手段としての興味度判定部１１およびディスプレイ１２を追加したものであり、これらを除くその他の構成部分は、第１実施形態の注視対象物体特定装置と同様であるため、同一の符号を付すことで説明を省略する。
【００６０】
興味判定部１１は、図６に示した興味度判定部９と略同様に構成されており、自車両の搭乗者が興味を持った屋外の注視対象物体Ｏである興味対象物体Ｏｒｅｆおよびその興味度Ｉｎｔ（Ｏｒｅｆ）の情報が記録されている。
【００６１】
参照操作検出手段１０は、タッチパネル、リモコン、マイクなどのいずれかを備えて構成されており、ディスプレイ１２に表示された項目、すなわち、対象情報記憶装置６に記憶されている屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）に対する搭乗者の参照要求操作を検出し、その操作情報を興味判定部１１に出力する。
【００６２】
ディスプレイ１２は、興味判定部１１に記録されている興味対象物体Ｏｒｅｆの情報を表示し、参照操作検出手段１０で検出された搭乗者の操作情報を反映させた上で搭乗者から要求された興味対象物体Ｏｒｅｆに対する詳細情報を表示する。
【００６３】
ここで、興味度判定部１１は、参照操作検出手段１０から入力される参照要求操作の頻度に基づき、注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の興味度を判定する。以下、興味度判定部１１による興味度判定処理の手順を図９に示すフローチャートに沿って説明する。
【００６４】
まず、ステップＳ５０では、対象判定部５から入力された注視対象物体Ｏａｔｎ（ｔ）に関する情報を蓄積し、次のステップＳ５１では、注視対象物体Ｏａｔｎ（ｔ）に関する情報をディスプレイ１２に表示する。
【００６５】
続くステップＳ５２では、ディスプレイ１２に表示された注視対象物体Ｏａｔｎ（ｔ）に対する参照操作検出手段１０からの参照要求操作を検出したか否かを判定する。この判定結果がＮＯであればステップＳ５２の判定を繰り返すが、判定結果がＹＥＳであって参照操作検出手段１０からの参照要求操作を検出した場合には、続くステップＳ５３に進む。
【００６６】
ステップＳ５３では、対象情報記憶装置６に記憶されている屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）を参照する。そして、次のステップＳＳ５４では、参照した興味対象物体（参照対象物体）Ｏｒｅｆに関する詳細情報を獲得する。
【００６７】
続くステップＳ５５では、ステップＳＳ５４で獲得した興味対象物体（参照対象物体）Ｏｒｅｆに関する詳細情報をディスプレイ１２に表示する。そして、次のステップＳ５６では、興味対象物体（参照対象物体）Ｏｒｅｆに対して搭乗者が興味を示したものとして、興味度Ｉｎｔ（Ｏｒｅｆ）をインクリメントして更新し、その後、興味判定部１１による興味判定処理を終了する。
【００６８】
以上説明したように、本発明の第３実施形態に係る注視対象物体特定装置によれば、興味判定部１１による一連の興味判定処理により、対象情報記憶装置６に記憶されている屋外物体の属性情報（ＩＤ、名称、設置位置、電話番号、ＵＲＬ等）に対する搭乗者の参照要求操作を参照操作検出手段１０で検出することができ、この参照操作検出手段１０から興味判定部１１に入力される参照要求操作の頻度に基づいて注視対象物体Ｏａｔｎ（ｔ）に対する搭乗者の興味度を判定することができる。
【００６９】
続いて、図１０を参照して本発明の第４実施形態に係る注視対象物体特定装置について説明する。この第４実施形態の注視対象物体特定装置は、図６に示した第２実施形態の注視対象物体特定装置の構成に通信装置１３,１４、対象評価情報記憶装置１５および宣伝効果判定部１６を追加したものであり、これらを除くその他の構成部分は、第２実施形態の注視対象物体特定装置と同様であるため、同一の符号を付すことで説明を省略する。
【００７０】
第４実施形態の注視対象物体特定装置では、搭乗者の注視対象となった特定の屋外物体に対する複数の搭乗者の興味度を集計し、一定期間内に集計された興味度をこれまでに蓄積されている特定の屋外物体に対する評価情報と照合し、その照合結果により一定期間内に集計した興味度を加味した評価情報を更新する。この評価情報は、宣伝効果として評価されたものであり、特定の屋外物体の設置場所の提供者に支払う対価を決定するのに用いることができる。
【００７１】
ここで、通信装置１３は、特定の屋外物体に対する複数の搭乗者の興味度として、興味度判定部９に記録された興味対象物体Ｏｒｅｆへの興味度Ｉｎｔ（Ｏｒｅｆ）に関する情報を入力して通信装置１４へ送信する。通信装置１４は、通信装置１３から受信した興味度Ｉｎｔ（Ｏｒｅｆ）に関する情報を宣伝効果判定部１６に出力する。
【００７２】
宣伝効果判定部１６は、特定の屋外物体に対する評価情報としてこれまでに蓄積されている対象評価情報記憶装置１５の評価情報を参照した上で、一定期間内に集計した興味度を加味した評価情報を更新する。以下、宣伝効果判定部１６による宣伝効果判定処理の手順を図１１に示すフローチャートに沿って説明する。
【００７３】
まず、ステップＳ６０では、搭乗者が興味を示した興味対象物体Ｏｒｅｆに関する興味度Ｉｎｔ（Ｏｒｅｆ）を通信装置１４から入力する。次のステップＳ６１では、通信装置１４から入力された興味度Ｉｎｔ（Ｏｒｅｆ）をこれまでに入力されて記録されている興味度Ｉｎｔ（Ｏｒｅｆ）の総和Ｓｕｍ（Ｏｒｅｆ）に追加して興味度Ｉｎｔ（Ｏｒｅｆ）の総和Ｓｕｍ（Ｏｒｅｆ）更新する。
【００７４】
続くステップＳＳ６２では、興味度Ｉｎｔ（Ｏｒｅｆ）を集計する一定の設定期間が終了したか否かを判定する。この判定結果がＮＯであればステップＳ６０からステップＳＳ６２までの処理が繰り返されるが、判定結果がＹＥＳであって設定期間が終了した場合には、続くステップＳ６３に進む。
【００７５】
ステップＳ６３では、更新された興味度Ｉｎｔ（Ｏｒｅｆ）の総和Ｓｕｍ（Ｏｒｅｆ）を一定の設定期間内の評価情報Ｖｃｕｒとして決定すると共に、その一定の設定期間を評価期間Ｐｃｕｒとして決定する。
【００７６】
次のステップＳ６４では、対象評価情報記憶装置１５に蓄積されているこれまでの評価情報Ｖａｖｅと評価期間Ｐｓｕｍとを参照し、今回の評価情報Ｖｃｕｒと蓄積されている評価情報Ｖａｖｅとを比較すると共に、今回の評価期間Ｐｃｕｒと蓄積されている評価期間Ｐｓｕｍとを比較する。
【００７７】
続くステップＳ６５では、評価情報をＶｕｐｄに更新すると共に、評価期間をＰｕｐｄに更新する。ここで、評価情報Ｖｕｐｄは、設定期間内の評価情報Ｖｃｕｒと、蓄積されている評価情報Ｖａｖｅと、蓄積されている評価期間Ｐｓｕｍと、今回の評価期間Ｐｃｕｒとに基づき、「Ｖｕｐｄ＝（Ｖｃｕｒ＋Ｖａｖｅ＊Ｐｓｕｍ）／（Ｐｃｕｒ＋Ｐｓｕｍ）」の式により算出する。また、評価期間をＰｕｐｄは、「Ｐｕｐｄ＝Ｐｃｕｒ＋Ｐｓｕｍ」の式により算出する。
【００７８】
次のステップＳ６６では、興味対象物体Ｏｒｅｆ毎に全ての興味対象物体（参照対象物体）Ｏｒｅｆについて評価情報を更新したか否かを判定する。この判定結果がＮＯであればステップＳ６３からステップＳＳ６６までの処理が繰り返されるが、判定結果がＹＥＳであれば、続くステップＳ６７に進む。
【００７９】
ステップＳ６７では、更新された評価情報を複数の搭乗者が興味を示した興味対象物体Ｏｒｅｆの宣伝効果としてみなし、対象評価情報記憶装置１５に予め記憶されている対価換算表と照合し、興味対象物体Ｏｒｅｆに対する対価、すなわち、興味対象物体Ｏｒｅｆの設置場所提供者への支払い対価を決定する。
【００８０】
そして、次のステップＳ６８で全ての更新結果を対象評価情報記憶装置１５に記録し、その後、宣伝効果判定部１６によるによる宣伝効果判定処理を終了する。
【００８１】
以上説明したように、本発明の第４実施形態に係る注視対象物体特定装置によれば、宣伝効果判定部１６による一連の宣伝効果判定処理により、搭乗者が興味を示した興味対象物体Ｏｒｅｆの宣伝効果を対価として評価することができる。
【００８２】
本発明に係る注視対象物体特定装置は、前述した各実施形態に限定されるものではなく、例えば、図１２に示す構成の注視対象物体特定装置としてもよい。この注視対象物体特定装置は、図８に示した第３実施形態の注視対象物体特定装置の構成に、図１０に示した第４実施形態の注視対象物体特定装置における通信装置１３,１４、対象評価情報記憶装置１５および宣伝効果判定部１６を追加したものである。この図１２に示す構成の注視対象物体特定装置においても、図１０に示した第４実施形態の注視対象物体特定装置と同様の作用効果を得ることができる。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１実施形態に係る注視対象物体特定装置の構成を示すブロック図である。
【図２】図１に示したカメラが撮影した屋外の撮影画像を搭乗者の視野画像に射影変換する処理を説明する模式図である。
【図３】図１に示した視線挙動判定部による視線挙動判定処理の手順を示すフローチャートである。
【図４】図１に示した文字認識部による文字認識処理の手順を示すフローチャートである。
【図５】図１に示した対象判定部による対象判定処理の手順を示すフローチャートである。
【図６】本発明の第２実施形態に係る注視対象物体特定装置の構成を示すブロック図である。
【図７】図６に示した興味度判定部による興味度判定処理の手順を示すフローチャートである。
【図８】本発明の第３実施形態に係る注視対象物体特定装置の構成を示すブロック図である。
【図９】図８に示した興味度判定部による興味度判定処理の手順を示すフローチャートである。
【図１０】本発明の第４実施形態に係る注視対象物体特定装置の構成を示すブロック図である。
【図１１】図１０に示した宣伝効果判定部による宣伝効果判定処理の手順を示すフローチャートである。
【図１２】本発明の他の実施形態に係る注視対象物体特定装置の構成を示すブロック図である。
【符号の説明】
【００８４】
１…カメラ、２…視線センサ、３…視線挙動判定部、４…文字認識部、５…対象判定部、６…対象情報記憶装置、７…ＧＰＳセンサ、８…車速センサ、９…興味判定部、１０…参照操作検出手段、１１…興味判定部、１２…ディスプレイ、１３…通信装置、１４…通信装置、１５…対象評価情報記憶装置、１６…宣伝効果判定部、Ｏ…屋外の注視対象物体、Ｐｇ…視野画像、Ｐｃ…撮影画像、Ｔ…文字情報、Ａｃ…カメラ軸、Ａｇ…視線軸。
【図１】
0004735242.tif 000002
【図２】
0004735242.tif 000003
【図３】
0004735242.tif 000004
【図４】
0004735242.tif 000005
【図５】
0004735242.tif 000006
【図６】
0004735242.tif 000007
【図７】
0004735242.tif 000008
【図８】
0004735242.tif 000009
【図９】
0004735242.tif 000010
【図１０】
0004735242.tif 000011
【図１１】
0004735242.tif 000012
【図１２】
0004735242.tif 000013