(57)【要約】【課題】異なる時刻範囲において注視者によって注視された対象物の同一性を判定する技術を提供する。【解決手段】注視対象物同一性判定装置Ａは、各時刻における注視者の視線データを取得する視線データ取得部１と、視線データを、対象物を連続して注視している時刻範囲毎の視線データ集合に分割する視線データ分割部２と、時刻範囲に属する視線データから、時空間における近似線を算出する近似線算出部３と、第１の時刻範囲における第１の近似線と、第２の時刻範囲における第２の近似線とを比較することにより、第１の時刻範囲において注視された対象物と、第２の時刻範囲において注視された対象物との同一性を判定する対象物同一性判定部４と、を備えている。【選択図】図１
2020170375.tif 000002
【特許請求の範囲】
【請求項１】
異なる時刻範囲において注視者によって注視された対象物の同一性を判定する注視対象物同一性判定装置であって、
前記対象物は前記注視者に対して相対的に等速直線移動または等加速度直線移動し、
前記対象物を連続して注視している時刻範囲における前記注視者の視線の方向および／または座標を表す視線データの集合である視線データ集合を取得する視線データ集合取得部と、
前記時刻範囲に属する前記視線データから、時空間における近似線を算出する近似線算出部と、
第１の前記時刻範囲における第１の前記近似線と、第２の前記時刻範囲における第２の前記近似線とを比較することにより、当該第１の時刻範囲において注視された前記対象物と、当該第２の時刻範囲において注視された前記対象物との同一性を判定する対象物同一性判定部と、を備えた注視対象物同一性判定装置。
【請求項２】
前記視線データ集合取得部は、
各時刻における前記注視者の前記視線データを取得する視線データ取得部と、
前記視線データを、前記視線データ集合に分割する視線データ分割部と、を備えた注視対象物同一性判定装置。
【請求項３】
前記対象物は前記注視者に対して相対的に等速直線移動し、
前記近似線は、時間−水平方向座標平面での直線であり、
前記対象物同一性判定部は、前記近似線を規定するパラメータの差異と閾値とを比較することにより前記対象物の同一性を判定し、
前記閾値は、前記第１の近似線の傾きに応じて変更される請求項１または２記載の注視対象物同一性判定装置。
【請求項４】
異なる時刻範囲において注視者によって注視された対象物の同一性を判定する注視対象物同一性判定プログラムであって、
前記対象物は前記注視者に対して相対的に等速直線移動または等加速度直線移動し、
前記対象物を連続して注視している時刻範囲における前記注視者の視線の方向および／または座標を表す視線データの集合である視線データ集合を取得する視線データ集合取得機能と、
前記時刻範囲に属する前記視線データから、時空間における近似線を算出する近似線算出機能と、
第１の前記時刻範囲における第１の前記近似線と、第２の前記時刻範囲における第２の前記近似線とを比較することにより、当該第１の時刻範囲において注視された前記対象物と、当該第２の時刻範囲において注視された前記対象物との同一性を判定する対象物同一性判定機能と、をコンピュータに実現させる注視対象物同一性判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる時刻範囲において注視者によって注視された対象物の同一性を判定する技術、特に、注視者と対象物とが相対的に直線移動している場合において、注視された対象物の同一性を判定する技術に関する。
【背景技術】
【０００２】
自動車等の運転者がその周囲に対してどのように注意を払っているかは、安全を担保するために重要である。また、運転者が注意を払っている対象物が特定できれば、その情報をナビゲーション等に利用することも可能である。そのため、自動車の運転者等が周囲のどのような対象物を注視しているかを判定したり、視線移動の特性を判定したりすることが行われている。また、熟練者の周辺への注意の払い方を示すことによって、初心者の運転者等に対して、周囲への注意の払い方のトレーニング行うこと等も行われてきた。
【０００３】
例えば、特許文献１，２には、車両内外の対象物を注視するときのドライバの視線の動きパターンを予め登録しておき、検出したドライバの視線の動きと登録されている視線の動きのパターンとを照合することにより、ドライバが注視している対象物を判定する技術が開示されている。
【０００４】
また、運転者がどのような対象物を注視しているかを判定するためには、例えば、車外を撮影した画像と、運転者の視線の動きとに基づき、視線が一定時間移動しない位置に映っている物体を注視していると判定することができる。さらに、異なる時刻において注視している物体の同一性を判定することにより、運転者が注視している同一の対象物を判定することもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３２９１２号公報
【特許文献２】特開２０１９−００３３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１，２の技術では、対象物とそれに対する視線移動のパターンを登録しておく必要があるため、登録された対象物しか判定することができない。また、視線移動のパターンを登録するための手間が必要となる。
【０００７】
また、上述した、車外の画像を用いる技術では、画像処理を行う必要があるため、演算量が多くなる。また、時刻が異なると対象物の見え方が異なる可能性が高いため、対象物の同一性を判定することは容易ではない。
【０００８】
本発明は上記課題に鑑みてなされたものであり、その目的は、簡易な構成で、異なる時刻範囲において注視者によって注視された対象物の同一性を判定する技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る、異なる時刻範囲において注視者によって注視された対象物の同一性を判定する注視対象物同一性判定装置の好適な実施形態の一つでは、前記対象物は前記注視者に対して相対的に等速直線移動または等加速度直線移動し、前記対象物を連続して注視している時刻範囲における前記注視者の視線の方向および／または座標を表す視線データの集合である視線データ集合を取得する視線データ集合取得部と、前記時刻範囲に属する前記視線データから、時空間における近似線を算出する近似線算出部と、第１の前記時刻範囲における第１の前記近似線と、第２の前記時刻範囲における第２の前記近似線とを比較することにより、当該第１の時刻範囲において注視された前記対象物と、当該第２の時刻範囲において注視された前記対象物との同一性を判定する対象物同一性判定部と、を備えている。
【００１０】
この構成では、異なる時刻範囲の視線データに基づいて近似線が算出され、その近似線どうしを比較することにより、対象物の同一性が判定される。そのため、画像処理等の複雑な演算は不要であり、少ない演算量で対象物の同一性を判定することができる。
【００１１】
本発明に係る注視対象物同一性判定装置の好適な実施形態の一つでは、前記視線データ集合取得部は、各時刻における前記注視者の前記視線データを取得する視線データ取得部と、前記視線データを、前記視線データ集合に分割する視線データ分割部と、を備えている。
【００１２】
この構成によって、時間的に連続して計測された視線データを視線データ集合に分割することができる。これにより、任意の時刻範囲に注視していた対象物の同一性を判定することができる。
【００１３】
本発明に係る注視対象物同一性判定装置の好適な実施形態の一つでは、前記対象物は前記注視者に対して相対的に等速直線移動し、前記近似線は、時間−水平方向座標平面での直線であり、前記対象物同一性判定部は、前記近似線を規定するパラメータの差異と閾値とを比較することにより前記対象物の同一性を判定し、前記閾値は、前記第１の近似線の傾きに応じて変更される。
【００１４】
この構成では、対象物の同一性を判定する際に使用される閾値を固定にするのではなく、近似線のパラメータ、特に、近似線が直線である場合の傾きに応じて変更される。これにより、近似線を算出する際の誤差の影響を小さくすることができる。
【００１５】
また、本発明は、異なる時刻範囲において注視者によって注視された対象物の同一性を判定する注視対象物同一性判定プログラムも権利対象としており、そのような注視対象物同一性判定プログラムは、前記対象物は前記注視者に対して相対的に等速直線移動または等加速度直線移動し、前記対象物は前記注視者に対して相対的に等速直線移動または等加速度直線移動し、前記対象物を連続して注視している時刻範囲における前記注視者の視線の方向および／または座標を表す視線データの集合である視線データ集合を取得する視線データ集合取得機能と、前記時刻範囲に属する前記視線データから、時空間における近似線を算出する近似線算出機能と、第１の前記時刻範囲における第１の前記近似線と、第２の前記時刻範囲における第２の前記近似線とを比較することにより、当該第１の時刻範囲において注視された前記対象物と、当該第２の時刻範囲において注視された前記対象物との同一性を判定する対象物同一性判定機能と、をコンピュータに実現させる。
【００１６】
当然ながら、このような注視対象物同一性判定プログラムも上述した注視対象物同一性判定装置と同様の付加的な特徴構成を付加することができ、同様の作用効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】注視対象物同一性判定システムの概略図である。
【図２】注視対象物同一性判定システムの処理の流れを表すフローチャートである。
【図３】視線データ分割処理の流れを表すフローチャートである。
【図４】同一の対象物を注視している区間を判定する処理の流れを表すフローチャートである。
【図５】視線データと近似線の例を示す図である。
【図６】表示画像の例を示す図である。
【図７】本発明の原理を説明する図である。
【発明を実施するための形態】
【００１８】
以下に図面を用いて、本発明の実施形態を説明する。本実施形態では、自動車の運転者（本発明における注視者の例）が、自動車の前方の対象物を注視している状況において、同一の対象物を注視している区間（時間的範囲）を判定している。また、本実施形態では、対象物は、注視者である運転者、すなわち、自動車に対して相対的に等速度で直進移動していると仮定する。なお、対象物の相対的な直進移動とは、対象物が、自動車と同方向に移動しているか、自動車の前を横切るように移動していることを意味する。
【００１９】
先ず、図７を用いて本発明の原理を説明する。図７は、横軸を時刻、縦軸を運転者の視線データ（詳細は後述する）のｘ座標（水平方向座標）としたグラフであり、運転者の視線の水平方向の動きを表している。
【００２０】
グラフ中Ｍは、運転者が正面を向いた状態での視線データのｘ座標値である。すなわち、ｘ座標値がＭよりも小さい場合には、運転者は正面よりも左側を見ており、ｘ座標値がＭよりも大きい場合には、運転者は正面よりも右側を見ていることを表している。
【００２１】
このグラフは、運転者の正面よりも右側に位置していた対象物が相対的に左側に移動しており、運転者が３度この対象物を注視した場合の視線移動を表している。具体的には、運転者は、時刻ｔ１からｔ２において、正面よりも右側にある対象物を注視し、時刻ｔ３までは正面を見ている。その後、運転者は、正面よりも左側に相対的に移動した対象物を時刻ｔ３からｔ４まで注視している。運転者は、再度正面を見た後、時刻ｔ５からｔ６において対象物を注視している。
【００２２】
上述したように、本実施形態では、対象物は、運転者、すなわち、自動車に対して相対的に等速度で直進移動していると仮定している。そのような対象物を注視した場合には、視線位置のｘ座標値は、時刻に対して比例関係となる。すなわち、時刻―ｘ座標平面において、同一の対象物を注視している区間の視線データのｘ座標値は直線を描く。この関係は、区間が離れている場合でも同様であり、図７のグラフにも示されているように、区間［ｔ１，ｔ２］，［ｔ３，ｔ４］，［ｔ５，ｔ６］の視線データのｘ座標値はいずれも同一の直線Ｌの近傍に存在している。
【００２３】
本発明の注視対象物同一性判定技術では、このような原理に基づいて、各区間に含まれる視線データから近似線（回帰線）を算出し、その近似線どうしの同一性を判定することにより、各区間において注視していた対象物の同一性を判定している。
【００２４】
なお、対象物が自動車に対して等加速度移動する場合には、同一の対象物を注視している区間のｘ座標値は、同一の２次曲線上に乗っている。
【００２５】
図１は、本実施形態における注視対象物同一性判定装置を用いた注視対象物同一性判定システムの概略図である。図に示すように、本実施形態では、注視対象物同一性判定装置Ａには、視線データ計測装置Ｂ，カメラＣが接続されている。
【００２６】
カメラＣは、自動車の前方を撮影するよう取り付けられている。本実施形態では、カメラＣは映像を撮影可能な動画カメラであるが、静止画を撮影するスチルカメラであっても構わない。ただし、いずれの場合であっても、各画像または各フレームの時刻を特定する情報が付加されている。カメラＣにより撮影された映像は注視対象物同一性判定装置Ａに入力される。
【００２７】
視線データ計測装置Ｂは、運転者の視線データを計測する装置である。本発明における視線データとは、運転者の視点の位置および／または方向を表す情報である。例えば、視線データとして、所定の直交座標系に設定された平面と視線方向を表す直線との交点座標や、所定の座標系における視線方向を表すベクトル等を用いることができる。本実施形態では、視線データとして前者を用いている。
【００２８】
視線データ計測装置Ｂとしては、公知の装置を用いることができるため、具体的な構成の説明は省略するが、少なくとも、所定時間間隔での視線データを計測できるように構成されている。本実施形態では、サンプリングレート（所定時間間隔の逆数）は６０Ｈｚであり、視線データは１９２０ｘ１０８０内の座標で表されるよう構成されている。本実施形態では、視線データ計測装置Ｂの座標系は、カメラＣの撮像系の座標系に対応させている。これにより、後述する表示画像の生成処理が容易になる。当然ながら、視線データ計測装置Ｂの座標系，サンプリングレート，解像度等は適宜変更可能である。
【００２９】
また、本実施形態では、視線データ計測装置Ｂによって視線データが取得された時刻もあわせて取得される。取得された視線データおよび時刻は関連付けられて同一注視対象物判定装置Ａに入力される。本実施形態では、時刻ｔに取得された視線データをｐ（ｔ）＝（ｘ（ｔ），ｙ（ｔ））と表す。
【００３０】
このように注視対象物同一性判定システムを構成することにより、視線データ計測装置Ｂにより計測された視線データと、カメラＣによって撮影された映像と、は直接注視対象物同一性判定装置Ａに入力することができる。この場合には、ほぼリアルタイムで処理を行うことができる。当然ながら、予め視線データ計測装置Ｂにより計測された視線データと、予めカメラＣによって撮影された動画と、を記録媒体等を介して注視対象物同一性判定装置Ａに入力することもできる。本実施形態では、視線データ計測装置ＢとカメラＣとは注視対象物同一性判定装置Ａに接続されているが、説明を簡単にするために、リアルタイム処理ではなく、視線データと映像との記録が完了した後に処理を行う場合を説明する。
【００３１】
注視対象物同一性判定装置Ａは、視線データ取得部１，視線データ分割部２，近似線算出部３，対象物同一性判定部４，同一対象物注視区間判定部５，映像取得部６，表示画像生成部７，記録部１１，記憶部１２を備えている。本実施形態では、注視対象物同一性判定装置Ａは汎用のコンピュータを用いて構成されており、視線データ取得部１，視線データ分割部２，近似線算出部３，対象物同一性判定部４，同一対象物注視区間判定部５，映像取得部６，表示画像生成部７は、ソフトウェア、またはソフトウェアとハードウェアとが協働することにより構成されている。本実施形態では、汎用のコンピュータに注視対象物同一性判定装置用のプログラムをインストールすることにより、注視対象物同一性判定装置Ａを構成している。また、注視対象物同一性判定装置Ａには、表示装置Ｄとしてのディスプレイと、入力装置Ｉとしてのマウスとキーボードとが接続されている。
【００３２】
記録部１１は、視線データ計測装置Ｂにより計測された視線データと、カメラＣにより撮影された映像と、を記録するための機能部である。記録部１１としては、ハードディスクドライブ等の揮発性記録媒体や、フラッシュメモリ等の不揮発性記録媒体を用いることができる。
【００３３】
記憶部１２は各機能部での処理結果等を一時的に記憶する機能部であり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶媒体で構成することができる。
【００３４】
視線データ取得部１は、記録部１１に記録されている視線データを読み出す機能部である。視線データ取得部１は、取得した視線データを記憶部１２に一時的に記憶させる。本実施形態では、説明を簡単にするために、視線データ取得部１は、記録部１１に記憶されている一連の視線データ全体を取得する構成とするが、当然ながら、一部の視線データのみを取得する構成としても構わない。
【００３５】
視線データ分割部２は、記憶部１２に記憶された各時刻の視線データを複数の視線データ集合に分割する。視線データ集合は、ある対象物を連続して注視していた時間範囲における視線データの集合である。視線データ分割部２は、注視する対象物が変更された場合に、視線位置が大きく変化する点に着目して視線データの分割を行う。そのため、分割された各視線データ集合に属する視線データは同一の注視対象物を注視していると仮定される。なお、各視線データ集合に属する視線データが取得された時刻範囲を区間と称する。
【００３６】
本実施形態では、視線データ取得部１と、視線データ分割部２と、により本発明の視線データ集合取得部を構成している。
【００３７】
近似線算出部３は、分割された各視線データ集合に属する視線データから時空間における近似線を算出する。対象物が注視者に対して相対的に等速直線運動している場合には、近似線は直線となる。また、対象物が注視者に対して相対的に等加速度直線運動している場合には、近似線は２次曲線となる。
【００３８】
対象物同一性判定部４は、第１の視線データ集合に属する視線データ（第１の区間に属する視線データ）から算出された第１の近似線と、第２の視線データ集合に属する視線データ（第２の区間に属する視線データ）から算出された第２の近似線と、の近似性を判定することにより、第１の区間で注視していた対象物と、第２の区間で注視していた対象物との同一性を判定する。
【００３９】
同一対象物注視区間判定部５は、対象物同一性判定部４の判定結果に基づいて、各々の区間において注視されていた対象物と同一の対象物を注視していた区間を判定する。
【００４０】
映像取得部６は、記録部１１に記憶されている映像から任意の時刻のフレーム画像を取得する。
【００４１】
表示画像生成部７は、同一対象物注視区間判定部５によって特定された区間と映像取得部６によって取得されたフレーム画像とから、表示装置Ｄに表示する表示画像を生成する。
【００４２】
以下に、図２のフローチャートを用いて本実施形態における注視対象物同一性判定処理の流れを説明する。なお、ここでは、対象物は自動車（注視者）に対して相対的に等速直線移動しているとする。
【００４３】
先ず、視線データ取得部１は、記録部１１に記憶されている視線データを読み出し、記憶部１２に記憶させる（＃０１）。視線データの取得が完了すると、視線データ分割部２は、記憶部１２上に記憶された視線データを複数の視線データ集合に分割する（＃０２）。具体的には、図３のフローチャートの処理が行われる。なお、視線データは時刻０から時刻Ｔ−１において取得されており、全視線データは｛ｐ（０），…，ｐ（Ｔ−１）｝である。以下の処理では、視線データ集合を直接求めるのではなく、各々の視線データ集合に属する視線データの最小時刻と最大時刻とを求めている。以下の説明では、ｉ番目の視線データ集合に属する視線データの最小時刻および最大時刻をｔ＿ｍｉｎｉおよびｔ＿ｍａｘｉと表記する。したがって、ｉ番目の視線データ集合の区間Ｒｉは［ｔ＿ｍｉｎｉ，ｔ＿ｍａｘｉ］となる。当然ながら、直接視線データ集合を求めても構わない。
【００４４】
先ず、時刻ｔとインデックスｉを０で初期化し（＃１１）、ｉ番目の集合の最小時刻ｔ＿ｍｉｎｉと最大時刻ｔ＿ｍａｘｉとをｔで初期化する（＃１２）。
【００４５】
次に、時刻ｔにおける視線データのｘ座標ｘ（ｔ）と時刻ｔ＋１における視線データのｘ座標ｘ（ｔ＋１）との差の絶対値と所定の閾値ＴＨとを比較する（＃１３）。このとき、差の絶対値が閾値ＴＨよりも小さければ（＃１３のｙｅｓ分岐）、ｉ番目の集合の最大時刻ｔ＿ｍａｘｉ＝ｔ＋１とする（＃１４）。
【００４６】
一方、差の絶対値が閾値ＴＨ以上であれば（＃１３のｎｏ分岐）、集合のインデックスｉをインクリメントし（＃１７）、ｉ番目の集合の最小時刻ｔ＿ｍｉｎｉと最大時刻ｔ＿ｍａｘｉとをｔ＋１で初期化する（＃１８）。
【００４７】
そして、いずれの場合にも時刻ｔをインクリメントし（＃１５）、時刻ｔと最大時刻Ｔとを比較する（＃１６）。このとき、時刻ｔが最大時刻Ｔよりも小さければ（＃１６のｙｅｓ分岐）、処理を＃１３に移行させ、上述の処理を繰り返す。一方、時刻ｔが最大時刻Ｔ以上であれば（＃１６のｎｏ分岐）、処理を終了する。ここで、視線データの集合数（区間数）Ｎはｉ＋１となる。
【００４８】
これらの処理によって、Ｎ個の区間Ｒｉ＝［ｔ＿ｍｉｎｉ，ｔ＿ｍａｘｉ］（ｉ＝０，…，Ｎ−１）が求められ、実質的に視線データはＮ個の視線データ集合に分割される。すなわち、ｉ番目の視線データ集合は｛ｐ（ｔ＿ｍｉｎｉ），…，ｐ（ｔ＿ｍａｘｉ）｝となる。上述したように、各々の区間Ｒｉ＝［ｔ＿ｍｉｎｉ，ｔ＿ｍａｘｉ］では運転者は同一の対象物を連続して注視していると仮定される。区間Ｒｉの情報は記憶部１２に一時的に記憶される。
【００４９】
視線データ分割部２の処理が完了すると、近似線算出部３は各区間Ｒｉに属する視線データ、すなわち、各視線データ集合に属する視線データから近似線を算出する（＃０３）。具体的には、時刻−ｘ座標平面（本発明の時空間の例）において近似線を求める。
【００５０】
上述したように、本実施形態では、対象物は自動車に対して相対的に等速度で直線移動している。そのため、同一対象物を注視している区間では、時刻と視線データのｘ座標とは比例関係にある。すなわち、時刻−ｘ座標平面上の区間Ｒｉでは、視線データのｘ座標値を表す点列｛（ｔ＿ｍｉｎｉ，ｘ（ｔ＿ｍｉｎｉ），…，（ｔ＿ｍａｘｉ，ｘ（ｔ＿ｍａｘｉ）｝は直線を描く。そのため、本実施形態における近似線算出部３は近似直線または回帰直線を求める処理を行う。なお、点列から近似直線や回帰直線を算出する方法は様々知られているため、詳細な説明は省略するが、例えば、最小二乗法を用いることができる。
【００５１】
ここで、近似線算出部３によって算出された、区間Ｒｉに属する視線データの近似線（近似直線直線）を
Ｌｉ：ｘ ＝ ａｉ ＊ ｔ ＋ ｂｉ
と表記する。なお、ａｉは傾き、ｂｉは切片であり、直線Ｌｉの情報は記憶部１２に一時的に記憶される。
【００５２】
近似線算出部３によって各視線データ集合の近似直線が求められると、対象物同一性判定部４と同一対象物注視区間判定部５とによって、近似直線が同一である区間が判定される（＃０４）。上述したように、時刻―ｘ座標平面において、同一の対象物を注視している区間に属する視線データのｘ座標値は直線上に乗っている。そのため、直線Ｌｉと直線Ｌｊ（ｉ≠ｊ）とが同一であると判定された場合には、区間Ｒｉと区間Ｒｊとにおいて、運転者は同一の対象物を注視していることを意味する。
【００５３】
図４のフローチャートを用いて対象物同一性判定部４と同一対象物注視区間判定部５との具体的な処理の流れを説明する。この処理では、直線Ｌｉと同一であると判定された直線Ｌｊのインデックスｊの集合をインデックス集合Ｓｉと表記する。
【００５４】
先ず、インデックスｉを０で初期化し（＃２１）、インデックス集合Ｓｉを空集合とする（＃２２）。また、比較対象のインデックスｊをｉ＋１で初期化する（＃２３）。次に、直線Ｌｉの傾きａｉに基づいて比較対象とする直線のインデックスの最大値を求める（＃２４）。具体的には、直線Ｌｉのｘの値が［０，１９１９］にある時刻の範囲を求め、区間Ｒｊ＝［ｔ＿ｍｉｎｊ，ｔ＿ｍａｘｊ］がその時刻範囲に含まれる場合には、直線Ｌｊは比較対象となる。このようなｊのうち、最大のものをＪとする。このようにして、比較対象とする直線Ｌｊを限定することにより、演算量を低減することができる。
【００５５】
次に、インデックスｊが既にインデックス集合Ｓｋ（ｋ＝０，…，ｉ−１）に属しているか否かが判定される（＃２５）。すなわち、直線Ｌｊが既にいずれかの直線Ｌｋと類似であると判定されているか否かが判定される。この判定処理により、重複した判定処理を回避し、演算量を低減することができる。直線Ｌｊがいずれの直線Ｌｋとも類似であると判定されていない場合には（＃２５のｎｏ分岐）、以下の直線の同一性の判定処理が行われる。一方、直線Ｌｊがいずれかの直線Ｌｋと類似であると判定されている場合には（＃２５のｙｅｓ分岐）、処理は＃３３に移行される。
【００５６】
＃２６から＃２８および＃３０から＃３２の処理が対象物同一性判定部４による直線Ｌｉと直線Ｌｊとの同一性の判定処理である。本実施形態では、直線の傾きとｔ切片（後述する）によって直線の同一性を判定している。したがって、本実施形態では、直線の傾きとｔ切片とが直線を規定するパラメータに相当する。
【００５７】
先ず、直線Ｌｉの傾きａｉと直線Ｌｊの傾きａｊとの符号が同一であるか否かが判定される（＃２６）。傾きの符号が同一であれば（＃２６のｙｅｓ分岐）、傾きａｉと傾きａｊとの差異の絶対値と閾値ＴＨａとが比較される（＃２７）。この閾値ＴＨａは傾きａｉによって調整することが好ましい。例えば、ＴＨａ＝｜ａｉ＊Ｃａ｜とすることができる。ここで、Ｃａは傾きのズレの許容割合を決定する定数であり、例えば０．２とすることができる。
【００５８】
＃２７の判定において｜ａｉ−ａｊ｜＜ＴＨａであれば（＃２７のｙｅｓ分岐）、ｔ切片のズレが判定される（＃２８）。本実施形態では、ｔ切片とは、直線Ｌとｔ軸との交点のｔ座標ではなく、直線Ｌと直線ｘ＝Ｍとの交点のｔ座標を用いている。図７の例ではｔＭがｔ切片である。
【００５９】
ここで、直線Ｌｉと直線Ｌｊとのｔ切片をそれぞれ、ｔＭｉ，ｔＭｊと表記すると、｜ｔＭｉ−ｔＭｊ｜とＴＨｔＭとの比較が行われる。この閾値ＴＨｔＭも傾きａｉによって調整することが好ましい。例えば、ＴＨｔＭ＝｜ＣｔＭ／ａｉ｜とすることができる。ここで、ＣｔＭはｔ切片のズレの許容割合を決定する定数であり、例えば５０とすることができる。
【００６０】
＃２８の判定において、｜ｔＭｉ−ｔＭｊ｜＜ＴＨｔＭであれば（＃２８のｙｅｓ分岐）、直線Ｌｉと直線Ｌｊとは同一であると判定され、インデックス集合Ｓｉにｊが追加される（＃２９）。その後、処理は＃３３に移行される。
【００６１】
一方、＃２６から＃２８の判定処理のいずれかが充足されない場合には（＃２６〜＃２８のｎｏ分岐）、処理は＃３０に移行される。＃３０から＃３２の処理では、直線Ｌｉおよび直線Ｌｊが水平に近い場合、すなわち、視線の水平方向移動が小さい区間での判定を行っている。先ず、直線Ｌｉと直線Ｌｊとが水平に近いか否かが判定される。具体的には、傾きａｉの絶対値と閾値ＴＨθとの比較（＃３０）と、傾きａｊの絶対値と閾値ＴＨθとの比較（＃３１）と、が行われる。ここで、閾値ＴＨθは例えば０．１とすることができる。｜ａｉ｜および｜ａｊ｜のいずれもが閾値ＴＨθよりも小さければ（＃３０のｙｅｓ分岐、＃３１のｙｅｓ分岐）、ｘ座標のズレの判定が行われる（＃３２）。
【００６２】
ズレの判定に用いるｘ座標としては様々な値を用いることができるが、例えば、区間Ｒｉに属する視線データのｘ座標の平均値Ｅｘｉと、区間Ｒｊに属する視線データのｘ座標の平均値Ｅｘｊと、を用いることができる。具体的には、｜Ｅｘｉ−Ｅｘｊ｜＜ＴＨｘが判定される。ここで、ＴＨｘは閾値である。
【００６３】
＃３０から＃３２の判定処理の全てが充足されると（＃３０〜＃３２のｙｅｓ分岐）、直線Ｌｉと直線Ｌｊとは同一であると判定され、インデックス集合Ｓｉにｊが追加される（＃２９）。一方、＃３０から＃３２の判定処理のいずれかが充足されない場合には（＃３０〜＃３２のｎｏ分岐）、処理は＃３３に移行される。
【００６４】
＃３３の処理ではｊがインクリメントされ（＃３３）、最大インデックスＪとの比較が行われる（＃３４）。ｊが最大インデックスＪ以下であれば（＃３４のｙｅｓ分岐）、処理は＃２５に移行され、上述の処理が繰り返される。一方、ｊが最大インデックスＪよりも大きければ、処理は＃３５に移行される。
【００６５】
＃３５ではインデックスｉがインクリメントされ（＃３５）、インデックスｉと区間数Ｎとの比較が行われる（＃３６）。インデックスｉが区間数Ｎよりも小さければ（＃３６のｙｅｓ分岐）、処理は＃２３に移行され、上述の処理が繰り返される。一方、インデックスｉが区間数Ｎ以上であれば（＃３６のｎｏ分岐）、処理は終了される。
【００６６】
この一連の処理によって得られたインデックス集合Ｓｉの要素が、直線Ｌｉと同一であると判定された直線のインデックスである。すなわち、区間Ｒｉにおいて注視していた対象物と、インデックス集合Ｓｉの要素に対応する区間において注視していた対象物と、は同一であると判定される。
【００６７】
図５は、視線データと直線Ｌｉとを時刻―ｘ座標平面に表したものである。視線データのｘ座標値を○で表しており、近似線算出部３によって算出された近似直線Ｌｉを実直線で表している。この例では、同一対象物注視区間判定部５によってＳ１０７＝｛１１２，１１４｝が得られている。すなわち、直線Ｌ１１２と直線Ｌ１１４とは直線Ｌ１０７と同一であると判定されている。実際、これらの直線は図に一点鎖線で示されている直線と略同一であることが分かる。
【００６８】
このようにして、類似する直線の判定処理が行われると、表示画像の生成処理が行われる（＃０５）。例えば、各フレーム画像上において、注視されている同一の対象物の上に同じマーキングがされた画像を生成する。図６はこのような表示画像の例である。
【００６９】
表示画像生成部７は、時刻ｔ＿ｍｉｎ１０７の表示画像を生成する際には、先ず、映像取得部６を介して、記録部１に記録されている映像からｔ＿ｍｉｎ１０７のフレーム画像を取得する。そして、そのフレーム画像上の座標（ｘ（ｔ＿ｍｉｎ１０７），ｙ（ｔ＿ｍｉｎ１０７））にマーキングを行う。図６の例では、マーキングとして○を用いている。同様に、区間Ｒ１０７と同一の対象物を注視していた区間Ｒ１１２と区間Ｒ１１４のフレーム画像上の座標（ｘ（ｔ＿ｍｉｎ１１２），ｙ（ｔ＿ｍｉｎ１１２）），座標（ｘ（ｔ＿ｍｉｎ１１４），ｙ（ｔ＿ｍｉｎ１１４））にも○がマーキングされている。
【００７０】
〔別実施形態〕
（１）上述の実施形態では、視線データを表す座標系は、自動車に取り付けられたカメラＣの撮像系の座標系に対応させたが、その他の座標系を用いることができる。例えば、視線データ計測装置Ｂを注視者の頭部に装着するような物を使用する場合には、視線データ計測装置Ｂを基準として設定された座標系で表された視線データが計測される。この場合には、カメラＣの撮像系の座標系と視線データの座標系とが対応していないため、運転者が注視している対象物を特定することができない。そのため、視線データ計測装置Ｂにより計測された視線データと、カメラＣの撮像系の座標系とを対応させる必要がある。カメラＣの座標系の軸方向と視線データの座標系の軸方向とが一致している場合には、平行移動によりこれらの座標系を対応させることができる。一方、頭部装着型の視線データ計測装置Ｂを用い、注視者が頭を移動や回転等した場合には、計測される視線データはその回転等の影響を受ける。このような場合には、視線データ計測装置Ｂに移動や回転等を計測するジャイロセンサ等を設け、そのセンサによって測定されたデータに基づいて視線データを補正すればよい。
【００７１】
（２）上述の実施形態では、視線データ計測装置Ｂは所定の平面上の座標を取得するよう構成されていたが、視線方向を検出するものであっても構わない。その場合には、視線方向の水平方向角度に基づいて処理を行ってもよいし、同一注視対象物判定装置Ａに、その視線方向を座標値に変換する機能部を設けても構わない。
【００７２】
（３）上述の実施形態では、視線データ取得部１，視線データ分割部２，近似線算出部３，対象物同一性判定部４，同一対象物注視区間判定部５，映像取得部６，表示画像生成部７は、ソフトウェア、またはソフトウェアとハードウェアとが協働することにより構成されていたが、ハードウェアによって構成しても構わない。
【００７３】
（４）上述の実施形態では、視線データ計測装置Ｂにより計測された視線データと、カメラＣにより撮影された映像と、記録部１１に記録させた後に判定処理を行う場合を説明したが、当然ながら、視線データと映像とを入力しつつ、リアルタイムで判定処理を行うこともできるし、予め計測した視線データと予め撮影した映像とを用いて、判定処理を行うこともできる。前者の場合には、記録部１１を介さずで、視線データと映像とを直接視線データ取得部１と映像取得部６に入力することができる。
【００７４】
（５）上述の実施形態では、視線データの内、水平方向位置（ｘ座標）のみを用いて処理を行ったが、垂直方向位置（ｙ座標）も用いても構わない。この場合には、視線データ分割部２による分割処理や近似線算出部３による近似線算出処理は３次元的に行えばよい。この場合、時刻−ｘ座標−ｙ座標空間が本発明の時空間に相当する。
【００７５】
（６）上述の実施形態では、対象物は自動車に対して相対的に等速度で直線移動していたが、本発明は、対象物が自動車に対して相対的に等加速度で直線移動する場合にも適用することができる。この場合には、近似線算出部３における近似線を直線ではなく２次曲線として求めればよい。
【００７６】
（７）上述の実施形態では、視線データを複数の集合に分割する際に、値（座標）の不連続性を判定したが、この方法に限定されるものではなく、他の方法を用いても構わない。
【産業上の利用可能性】
【００７７】
本発明は、自動車等の移動体上の運転者等の観察者が注視する物体のうち、同一の対象物を判定する技術に利用することができる。また、静止した観察者に対して対象物が移動する等、観察者に対して対象物が相対移動する場合においても、同一の対象物を判定する技術に利用することができる。
【符号の説明】
【００７８】
Ａ：注視対象物同一性判定装置
ＴＨａ：閾値
ＴＨｔＭ：閾値
Ｒｉ：区間（時刻範囲）
１：視線データ取得部（視線データ集合取得部）
２：視線データ分割部（視線データ集合取得部）
３：近似線算出部
４：対象物同一性判定部
【図１】
2020170375.tif 000003
【図２】
2020170375.tif 000004
【図３】
2020170375.tif 000005
【図４】
2020170375.tif 000006
【図５】
2020170375.tif 000007
【図６】
2020170375.tif 000008
【図７】
2020170375.tif 000009