(57)【要約】【課題】車両の乗員が興味を示した対象物の写真を自動で撮影する撮像装置を提供する。【解決手段】車両の乗員が注目している車外の対象物を撮影する撮像装置であって、乗員の視線の方向を検出する視線検出手段と、前記視線検出手段が検出した乗員の視線の方向に基づいて、前記乗員の視野領域のうち前記乗員が注目している領域である注視領域を決定し、前記注視領域の車両に対する方向と、撮影のタイミングとを決定する注視領域判定手段と、前記注視領域の車両に対する方向を、前記決定したタイミングに従って撮影する撮影手段と、を有する。【選択図】図１
2013255168.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員が注目している車外の対象物を撮影する撮像装置であって、
乗員の視線の方向を検出する視線検出手段と、
前記視線検出手段が検出した乗員の視線の方向に基づいて、前記乗員の視野領域のうち前記乗員が注目している領域である注視領域を決定し、前記注視領域の車両に対する方向と、撮影のタイミングとを決定する注視領域判定手段と、
前記注視領域の車両に対する方向を、前記決定したタイミングに従って撮影する撮影手段と、
を有する撮像装置。
【請求項２】
前記注視領域判定手段は、前記視線検出手段が検出した視線の方向から、乗員の視野領域のうち特定の領域に対する視線の移動頻度または滞留時間を算出し、前記視線の移動頻度または滞留時間が所定の値よりも大きい場合に、当該領域を前記注視領域とする
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記視線検出手段は、複数の乗員の視線の方向を検出し、
前記注視領域判定手段は、複数の前記乗員の視線が同一または類似する方向を向いていると判定した場合に、複数の前記乗員のうち少なくとも一人の視線の方向を用いて、前記注視領域の車両に対する方向と、撮影のタイミングを決定する
ことを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
車両の速度を取得する車速センサをさらに有し、
前記注視領域判定手段は、前記視線検出手段が検出した乗員の視線の方向から、単位時間あたりの視線の方向の変化量を算出し、前記変化量と、前記車速センサから取得した車速から、前記車両と前記対象物との相対距離をさらに決定する
ことを特徴とする、請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記撮影手段は、前記車両と前記対象物との相対距離と、前記車速センサから取得した車速と、前記撮影手段が撮影に要するタイムラグに基づいて補正された、前記注視領域の車両に対する方向を撮影する
ことを特徴とする、請求項４に記載の撮像装置。
【請求項６】
位置情報を取得する位置情報取得手段と、
前記撮影手段が撮影した画像を記憶し、前記記憶した画像を利用者に提示して、処理対象の画像を選択させる画像記憶手段と、
をさらに有し、
前記画像記憶手段は、前記位置情報取得手段が取得した位置情報と、前記注視領域判定手段が算出した前記車両と前記対象物との相対距離から、撮影した前記対象物の位置情報を生成し、前記撮影した画像と関連付けて記憶する
ことを特徴とする、請求項４または５に記載の撮像装置。
【請求項７】
前記撮影手段が撮影した画像をネットワークに送信する通信手段をさらに有する
ことを特徴とする、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
車両の乗員が注目している車外の対象物を撮影する撮像装置が行う撮像方法であって、
乗員の視線の方向を検出するステップと、
前記検出した乗員の視線の方向に基づいて、前記乗員の視野領域のうち前記乗員が注目している領域である注視領域を決定し、前記注視領域の車両に対する方向と、撮影のタイミングとを決定するステップと、
前記注視領域の車両に対する方向を、前記決定したタイミングに従って撮影するステップと、
を含むことを特徴とする、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
近年、インターネット上で利用者間のコミュニケーションを実現するサービスとして、不特定多数の利用者に向けてメッセージを発信することができるＳＮＳ（ソーシャル・ネットワーキング・サービス）が普及している。ＳＮＳは、携帯情報端末を通じて好きなときに情報を発信できるため、幅広いユーザに利用されている。
【０００３】
このようなサービスを利用して、自動車で移動している際にも情報を発信したいという要望がある。特に、カメラ機能を有する携帯情報端末で車外を撮影して画像をアップロードすれば、他の利用者とリアルタイムで話題を共有することができる。しかし、運転中は端末を操作することができないため、利用者が自動車を運転している場合は、車両を停止させない限り撮影を行うことができない。同乗者が撮影しようとした場合であっても、カメラの準備を行っている間に撮影のタイミングを逃してしまうというケースがあるため、走行中の写真撮影は容易ではない。
【０００４】
一方で、車両走行中の写真撮影を補助する技術には、次のようなものがある。
特許文献１には、音声入力によって撮影指示を行うことができ、かつ、音声認識中に車両の進行方向が変化した場合であっても、撮影対象物との位置関係を追跡し続けることができる撮影装置が記載されている。当該撮影装置を用いることで、運転者は少ない身体的負担で対象物を撮影することができる。
【０００５】
また、特許文献２には、撮影ボタンを押した時点の運転者の視線を記録し、注視している対象物を特定したうえで、当該対象物を撮影することができる情報記録装置が記載されている。当該情報記録装置を用いることで、利用者はカメラを被写体に向けるという操作を行うことなく、撮影指示を行うのみで希望の被写体を撮影することができる。
【０００６】
また、非特許文献１には、撮影機能を有する車載ロボットが記載されている。当該ロボットは、車内外を撮影するカメラと、車内の音声を集めるマイクを有し、車内の盛り上がりを検知して撮影を行う機能を有している。すなわち、明示的な撮影指示を行わなくても、車両の乗員が何かに興味を示していることを検出して、撮影を自動で行うことができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３４３８２９号公報
【特許文献２】特開２００４−６４４０９号公報
【非特許文献】
【０００８】
【非特許文献１】伊藤宏平，藤田隆二郎，市原直彦，柴崎裕昭，佐藤伸之，安達友洋，“車載ロボットの試作”，PIONEER R&D，Vol.17，No.1，pp.23-27，2007
【発明の概要】
【発明が解決しようとする課題】
【０００９】
車両に搭載されているカメラを用いて写真を撮影し、画像を収集しようとした場合に問題となるのが、従来技術の多くは、明示的な指示を行わなければ撮影を行うことができな
いという点である。たとえば、特許文献１や特許文献２に記載の発明では、音声入力やボタンの押下などによって撮影指示を行わなければならない。すなわち、何らかのアクションを装置に対して行う必要があるため、乗員に認知的負荷がかかるという問題があった。
【００１０】
一方で、非特許文献１に記載の技術では、乗員同士の会話から撮影のトリガを判断するため、利用者は撮影タイミングを意識せずに画像を収集することができる。しかし、乗員は走行中に必ずしも会話をしているわけではないため、当該技術を用いても、正確なタイミングで撮影ができるとは限らない。また、乗員が何に興味を示しているのかを特定する手段が無いため、カメラを特定の方向に向けることができない。すなわち、利用者が興味を持った対象物を確実に撮影したいという要求を完全に満たすことはできないという問題があった。
【００１１】
このように、従来技術においては、車両の乗員が何かに興味を示したことを音声によって検知する仕組みや、乗員からの撮影指示を受け、撮影対象を自動で決定する仕組みは存在したが、乗員に認知的負荷をかけることなく、乗員が興味を示した対象物を自動で撮影し、収集するという装置は存在しなかった。
【００１２】
本発明は上記の課題を考慮してなされたものであり、車両の乗員が興味を示した対象物の写真を自動で撮影する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る撮像装置では、以下の手段により対象物の撮影を行う。
【００１４】
本発明に係る撮像装置は、車両の乗員が注目している車外の対象物を撮影する撮像装置であって、乗員の視線の方向を検出する視線検出手段と、前記視線検出手段が検出した乗員の視線の方向に基づいて、前記乗員の視野領域のうち前記乗員が注目している領域である注視領域を決定し、前記注視領域の車両に対する方向と、撮影のタイミングとを決定する注視領域判定手段と、前記注視領域の車両に対する方向を、前記決定したタイミングに従って撮影する撮影手段と、を有することを特徴とする。
【００１５】
視線検出手段とは、乗員の視線の向きを検出する手段であり、具体的には車両内部に設置されたセンサやカメラなどの撮像手段と、取得した画像から乗員の視線の方向を判定する画像処理手段からなる。また、注視領域判定手段は、検出した乗員の視線の向きに基づいて、撮影を行う方向と撮影のタイミングを決定する手段である。具体的には、取得した視線の向きから、乗員の視野領域のうち乗員が注目している領域である注視領域を決定し、決定した注視領域が車両に対してどの方向にあるかを決定し、同時に撮影タイミングを決定する。このように構成することにより、乗員の視線の動きを元に、乗員が興味を示した対象物の方向を判定し、自動で撮影を行うことができるようになる。
【００１６】
また、前記注視領域判定手段は、前記視線検出手段が検出した視線の方向から、乗員の視野領域のうち特定の領域に対する視線の移動頻度または滞留時間を算出し、前記視線の移動頻度または滞留時間が所定の値よりも大きい場合に、当該領域を前記注視領域とすることを特徴としてもよい。
【００１７】
乗員が視野領域内の特定の領域を一定時間以上、または一定以上の頻度で繰り返し注視している場合、乗員が興味を示している対象物（以降、注目対象物と称する）が当該領域にあると判断し、当該領域を注視領域として決定する。乗員が興味を示した対象物は、長い時間注視され、もしくは複数回注視されるためである。
【００１８】
また、前記視線検出手段は、複数の乗員の視線の方向を検出し、前記注視領域判定手段は、複数の前記乗員の視線が同一または類似する方向を向いていると判定した場合に、複数の前記乗員のうち少なくとも一人の視線の方向を用いて、前記注視領域の車両に対する方向と、撮影のタイミングを決定することを特徴としてもよい。
【００１９】
注目対象物の有無および方向は、車両に乗車している複数の乗員の視線の方向を検出することで判定してもよい。具体的には、複数の乗員の視線の方向が略同一である場合、当該方向に注目対象物があると推定する。ある方向に視線が向いている人の数が多いほど、より注目されている対象物があることを意味するため、人数を判断基準とすることで、注目対象物をより正確に撮影することができる。
【００２０】
また、本発明に係る撮像装置は、車両の速度を取得する車速センサをさらに有し、前記注視領域判定手段は、前記視線検出手段が検出した乗員の視線の方向から、単位時間あたりの視線の方向の変化量を算出し、前記変化量と、前記車速センサから取得した車速から、前記車両と前記対象物との相対距離をさらに決定することを特徴としてもよい。
【００２１】
検出した視線の方向の単位時間あたりの変化量を取得し、車両の速度を加えて演算を行うことで、注目対象物と車両との相対距離を推定することができる。相対距離とは、必ずしも車両と注目対象物との最短距離である必要はなく、最短距離を三角法によって算出するための距離であってもよい。車両と対象物との距離を撮影前に取得することによって、撮影における動体予測やフォーカシングを行えるようになる。
【００２２】
また、前記撮影手段は、前記車両と前記対象物との相対距離と、前記車速センサから取得した車速と、前記撮影手段が撮影に要するタイムラグに基づいて補正された、前記注視領域の車両に対する方向を撮影することを特徴としてもよい。
【００２３】
撮影を決定してから画像を取得するまでにタイムラグがある場合、その間に対象物が移動してしまい、フレームから外れてしまうという問題が起こり得る。そこで、取得した注目対象物に対する相対距離と、車両の速度を用いて、撮影タイミングにおける注目対象物の方向を予測して撮影方向を補正する。このように構成することで、注目対象物を確実にフレーム内に収めることができるようになる。
【００２４】
また、本発明に係る撮像装置は、位置情報を取得する位置情報取得手段と、前記撮影手段が撮影した画像を記憶し、前記記憶した画像を利用者に提示して、処理対象の画像を選択させる画像記憶手段と、をさらに有し、前記画像記憶手段は、前記位置情報取得手段が取得した位置情報と、前記注視領域判定手段が算出した前記車両と前記対象物との相対距離から、撮影した前記対象物の位置情報を生成して前記撮影した画像と同時に記憶することを特徴としてもよい。
【００２５】
撮影された画像は、記憶手段に保存して後から利用者に提示するようにしてもよい。撮影された画像を一時的に記憶させることで、停車後に必要な画像とそうでない画像とを選別することが可能になる。また、画像を記憶する際は、対象物の位置情報を生成し、画像と関連付けて記憶してもよい。このように構成することで、撮影された対象物がどこにあったかを利用者に提示することができ、利用者に撮影時の状況を想起させることができる。
【００２６】
また、本発明に係る撮像装置は、前記保存した画像をネットワークに送信する通信手段をさらに有することを特徴としてもよい。撮影した画像を「つぶやき」や「日記」としてＳＮＳやブログなどに送信することで、他の利用者とのコミュニケーションを促進させることができる。
【発明の効果】
【００２７】
本発明によれば、車両の乗員が興味を示した対象物の写真を自動で撮影する撮像装置を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】第一の実施形態に係る撮像装置のシステム構成図である。
【図２】視線検出用カメラの配置位置を説明するための図である。
【図３】第一の実施形態に係る撮像装置の処理フローチャートである。
【図４】第一の実施形態における注視領域の決定方法を説明する第一の図である。
【図５】第一の実施形態における注視領域の決定方法を説明する第二の図である。
【図６】第一の実施形態において送信画像を選択する画面の例である。
【図７】第一の実施形態において視線の移動を検出する様子を説明する図である。
【図８】撮影におけるタイムラグを説明するための図である。
【図９】第二の実施形態に係る撮像装置のシステム構成図である。
【図１０】第二の実施形態に係る撮像装置の処理フローチャートである。
【図１１】第二の実施形態における対象物との距離算出を説明する図である。
【図１２】第三の実施形態における注視領域の決定方法を説明する図である。
【発明を実施するための形態】
【００２９】
（第一の実施形態）
<システム構成>
第一の実施形態に係る撮像装置は、自動車に搭載され、車載カメラによって車外の画像を自動撮影する車載装置である。図１は、第一の実施形態に係る車載装置のシステム構成図である。
【００３０】
車載装置１０は、視線情報取得部１２、注視領域判定部１３、撮影部１４、記憶部１５、入出力部１６、通信部１７から構成される。また、視線情報取得部１２には視線カメラ部１１が、撮影部１４には車載カメラ部１８が、記憶部１５にはＧＰＳ装置２２がそれぞれ接続されている。
【００３１】
視線カメラ部１１は、乗員の顔を撮像するための複数のカメラからなる。例えば、運転席用、助手席用、左後部座席用、右後部座席用といったように、乗員一人ひとりに対応する複数のカメラが設置され、可視光または赤外線によって個々の乗員の顔画像を取得することができる。
【００３２】
図２は、車内でのカメラの設置位置について説明する図である。カメラは、例えば符号２０１のように、ダッシュボードやバックミラー、ステアリング、フロントピラー（Ａピラー）付近といった車両前方に備えられていてもよい。また、符号２０２のように、中間ピラー（Ｂピラー）や、サイドウインドウ、フロントシート後部付近といった車両中央部に備えられていてもよい。
また、カメラは、符号２０３および２０４のように、それぞれの座席に対応する位置に備えられていることが好ましい。図２の例の場合、符号２０３の左右のカメラが運転席と助手席に、中間のカメラが後部座席中央に対応する。また、符号２０４の左右のカメラが後部座席左右にそれぞれ対応する。図２のカメラ配置は一例だが、乗員の顔を捉えることができれば、カメラは任意の場所に配置することができる。
【００３３】
視線情報取得部１２は、前述したカメラから乗員の顔画像を取得し、取得した顔画像から乗員の視線の方向を抽出する手段であり、本発明における視線検出手段である。顔画像から視線の方向を抽出する技術は、例えば「小野泰弘，岡部孝弘，佐藤洋一，“低解像度
画像からの視線方向推定”，電子情報通信学会論文誌，Vol.J90-D，No.8，p.2212-2222，2007」などに記載されている。この他にも、顔の特徴点を抽出し、目の位置と光彩の位置を特定するなどの既存の技術を利用することができる。
【００３４】
注視領域判定部１３は、視線情報取得部１２が抽出した一人以上の乗員の視線の方向に基づいて、注目対象物の方向と、撮影のタイミングを決定する手段であり、本発明における注視領域判定手段である。具体的な動作については後述する。
【００３５】
撮影部１４は、車載カメラ部１８を利用して、画像の撮影を行う手段である。
まず、車載カメラ部１８について説明する。車載カメラ部１８は、車両に搭載された外部撮影用のカメラからなる。搭載されるカメラは、一つであってもよいし、複数個からなってもよい。単一のカメラである場合は、指定された方向を撮影できるようにパンおよびチルト機構を有することが好ましい。カメラが複数である場合は、例えば前方用、左右側方用、後方用といったように異なる角度を撮影できる複数台のカメラから構成されることが好ましい。もちろん、パンおよびチルト機構を有する複数台のカメラからなってもよい。
【００３６】
撮影部１４は、注視領域判定部１３が決定した注目対象物の方向を撮影するための指示を車載カメラ部１８に送信する手段である。具体的には、注視領域判定部１３が決定した方向を撮影できるように、カメラの方向を変更するコマンドや、複数のカメラのうち使用するカメラを選択するコマンドなどを送信した後に、撮影コマンドを送信する。
【００３７】
記憶部１５は、ディスク装置や不揮発性メモリなどであり、撮影した画像を一時的に記憶する手段である。また、入出力部１６は、撮影した画像を記憶部１５から取得して利用者に提示し、画像に対する操作を受け付けるための手段である。入出力部１６は、タッチパネル画面を想定しているが、利用者に画像を提示し、入力操作を受け付けることができれば、画面とキーボード、または画面とポインティングデバイスなどで構成されてもよい。
また、記憶部１５には、車両の位置情報を取得するためのＧＰＳ装置２２が接続されている。ＧＰＳ装置２２は、現在位置の緯度経度や、車両が位置する地域の名称を取得する機能を有している。記憶部１５および入出力部１６が、本発明における画像記憶手段である。
【００３８】
通信部１７は、記憶部１５に記憶された画像をネットワークに送信する手段である。通信部１７は、携帯電話網を利用したパケット通信や、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）などの無線通信を利用して外部との通信を行うことがで
きる。画像の送信先は、インターネットに接続されたＷｅｂサーバやＦＴＰサーバ等であってもよいし、ＳＮＳを管理運営するサーバであってもよい。また、通信先は必ずしもパブリックなネットワークである必要はなく、無線接続された携帯情報機器などであってもよい。
【００３９】
<処理フローチャート>
次に、第一の実施形態に係る車載装置１０が画像を収集する動作についてのフローチャート図である図３を参照しながら、その処理内容について説明する。
装置が動作を開始すると、視線情報取得部１２が、接続されたカメラから乗員の顔画像を取得し、視線の方向を判定する（Ｓ１１）。第一の実施形態では、助手席に着座している人の視線のみを検出するものとするが、複数の乗員を対象としてもよい。複数の乗員を対象とする場合、全座席に対応する画像を取得し、顔が写っていると判定できる画像のみを使用してもよい。乗員の視線の方向についての情報は、注視領域判定部１３へ送信される。
【００４０】
次に、注視領域判定部１３が、取得した視線の方向から注視領域、すなわち乗員が注目している領域を特定できるか否かを判定する（Ｓ１２）。
この処理について詳しく説明する。図４は、助手席に座っている乗員の視線の軌跡を、乗員とカメラの中間に設けた仮想的な投影面４０１に投影した図である。破線がフロントガラスの範囲であり、点線で示した曲線が移動する視線を表す。図４では、投影面は長方形であるが、カメラが捉えることができる乗員の視線の動きを表現することができればどのような形状、大きさであってもよい。
【００４１】
ステップＳ１２では、注視領域判定部１３が、当該投影面上に乗員が注目していると判定できる領域、すなわち注視領域があるかを判定する。注視領域の判定は、具体的には、視線が一定時間滞留している領域の有無を検出することによって行う。図４の例の場合、符号４０２で示した領域が、視線の滞留時間が長いと判定された領域であり、本例における注視領域である。以降、実施形態の説明において「領域」とは、乗員ごとに設けられた仮想的な視線投影面上の領域を指す。
【００４２】
注視領域の判定処理を、図５を用いてより具体的に説明する。
図５は、投影面４０１を複数の領域（ブロック）に分割し、それぞれの領域に対して、直近の単位時間内に視線が滞留した時間をスコアとして与えたマップである。本実施形態では、ある領域に対して、直近１０秒間に視線が３秒以上滞留した場合に、当該領域を注視領域とする。すなわちマップ上の数値は直近１０秒間における視線の滞留時間（秒）を表している。注視領域判定部１３が、投影面上に注視領域があると判断した場合、処理はステップＳ１３へ進み、無いと判断した場合は、処理はステップＳ１１へと戻る。
【００４３】
なお、本実施形態では、注目対象物の方向を特定するための一つの方法として視線の投影面を用いているが、乗員が車外のどの方向を注視しているかを判定することができれば、例示した方法以外を用いてもよい。また、注視領域の判定は、視線の滞留時間のほかに、視線の移動頻度、つまり単位時間内に視線が領域に出入りした回数によって行ってもよい。
【００４４】
ステップＳ１３では、注視領域判定部１３が、特定された注視領域から、注目対象物の車両に対する方向を決定する。注目対象物の車両に対する方向は、投影面４０１の位置と、注視領域４０２の位置、乗員の視点の位置関係から求めることができる。例えば「注目対象物は車両に対して３４０度の方向にある」といった判定を行う（車両正面を０度とする時計回りに角度を定義した場合）。決定された方向は、撮影部１４へ送信される。
【００４５】
ステップＳ１４では、撮影部１４が、車載カメラ部１８に対して撮影指示を行う。車載カメラが一つである場合は、注視領域判定部１３が決定した方向にレンズを向けるコマンドと、撮影を行うコマンドを続けて送信する。また、車載カメラが複数である場合は、注視領域判定部１３が決定した方向が視野に入るカメラを選択するコマンドと、撮影を行うコマンドを続けて送信する。撮影された画像は、記憶部１５に記憶される。このとき記憶部１５は、ＧＰＳ装置２２から車両の現在位置についての情報を取得して、画像と関連付けて記憶する。
【００４６】
次に、画像の収集を終えた後の処理について説明する。
図６は、入出力部１６が、記憶部１５に記憶された複数の画像を利用者に提示し、処理対象を選択させる画面の例である。当該画面では、画像のサムネイルと共に撮影日時、撮影場所が表示され、利用者は希望する画像を選択して、ネットワークへの送信や削除といった操作を行うことができる。例えば、利用者がアップロードボタンを押下すると、通信部１７が、選択した画像をネットワークに送信し、転送ボタンを押下すると、選択した画
像を無線接続された携帯情報機器へ転送する。ネットワークへ画像をアップロードする際は、画像に対するコメント入力を受け付け、画像と同時に送信してもよい。
【００４７】
第一の実施形態によれば、乗員の視線を検出して注目対象物の方向を決定し、自動で撮影を行うことができる。また、画像を取得した日付・時間と場所をサムネイルとともに表示するため、利用者は撮影時の状況を思い出しながら画像を整理することができる。なお、画像の表示方法は、撮影日時と場所を利用者に提示することができれば、例示した方法に限られない。たとえば、画面に地図を表示し、撮影を行った地点にサムネイルを重ねて表示するなどしてもよい。
【００４８】
なお、第一の実施形態では、助手席に着座している乗員の視線のみを取得したが、異なる座席に着座している複数の乗員の視線を取得し、ステップＳ１１〜Ｓ１４の処理を並行して行ってもよい。また、乗員の着座位置によって、注視領域の判定方法を変更してもよい。例えば、運転席に座っている乗員に対しては、視線の移動頻度を用いて注視領域を判定し、それ以外の乗員に対しては、視線の滞留時間を用いて注視領域を判定するなどしてもよい。運転者は正面を注視して運転しているため、視線の滞留時間を用いた場合は誤判定を招く可能性があるためである。
【００４９】
また、車両が走行中である場合、同じ対象物に注目していても、視線の移動が発生するため、これを利用して撮影要否の判定を行ってもよい。図７は、視線の移動を説明する図（視線投影面およびスコアマップ）である。乗員が車外の対象物を目で追っている場合、注視領域は矢印の方向に順次水平に移動する。よって、注視領域が水平方向に移動している場合にのみ撮影処理（Ｓ１３〜Ｓ１４）を実行し、その他の場合は撮影処理を行わないようにしてもよい。
なお、注目対象物が遠くにある場合は、当該対象物を追うための視線の移動量が小さくなり、近くにある場合は視線の移動量が大きくなる。そのため、必要とする視線の滞留時間を領域ごとに異なるものとしてもよい。また、領域ごとの視線の滞留時間が規定値以下であっても、水平方向に隣り合う領域が連続して注視された場合は注目対象物を追っていると判断し、撮影処理を行うようにしてもよい。
【００５０】
（第二の実施形態）
第一の実施形態では、注目対象物の方向を判定して撮影を行うが、注目対象物が車両と近い位置にあった場合、車両から見た対象物の方向の変化が激しく、対象物の位置が想定よりもずれてしまう可能性がある。この点について、図８を参照しながら簡単に説明する。
【００５１】
たとえば、走行中の車両の乗員が、符号８０１で示した対象物に注目した場合を考える。車両は走行しているため、対象物は徐々に接近し、符号８０２の位置まで接近する。この時点で、注視領域判定部１３が視線の動きを検知し、撮影の指示を行ったとする。しかし、撮影にタイムラグがあり、レリーズのタイミングで対象物が符号８０３の位置に移動していたとすると、対象物がフレームアウトしてしまう。
このようなケースに対応するためには、対象物の動きを事前に予測して撮影方向を決定する必要がある。すなわち、注視領域判定部１３が算出した方向を補正し、符号８０３の方向を撮影できるようにしなければならない。第二の実施形態は、このように撮影におけるタイムラグの影響を最小限にするため、算出した撮影方向を補正する形態である。
【００５２】
第二の実施形態に係る車載装置のシステム構成を図９に示す。また、図１０は、第二の実施形態に係る車載装置１０が画像を収集する動作についてのフローチャート図である。第二の実施形態では、ステップＳ１３とＳ１４の間に、ステップＳ２１〜Ｓ２４に示した処理が追加される。
第二の実施形態に係る車載装置１０は、車速情報取得部２０および移動量予測部２１をさらに有している。また、車速情報取得部２０には車速センサ１９が接続されている。
車速情報取得部２０は、接続された車速センサ１９から車速パルスを取得することで車両の速度情報を取得する手段である。また、移動量予測部２１は、撮影を行う際のタイムラグを考慮して、注視領域判定部１３が決定した撮影方向を補正する手段である。移動量予測部２１も、注視領域判定部１３とともに本発明における注視領域判定手段を構成する。
また、撮影部１４は、移動量予測部２１が補正した方向を撮影する指示を車載カメラ部１８に送信するという点で第一の実施形態と相違する。以上に述べた手段以外の構成は、第一の実施形態と同様である。
【００５３】
第一の実施形態のステップＳ１３に続く処理を、図１０を参照しながら説明する。ステップＳ２１からＳ２４は、注目対象物の動態予測を行うためのステップである。
まず、注視領域判定部１３が、注目対象物の方向の変化を取得する（Ｓ２１）。ステップＳ２１では、単位時間の間に注視領域の検出を複数回行い、注視領域がどれだけ移動したかを取得し、注目対象物の車両に対する方向の変化を取得する。例えば「ある時点で、注目対象物が車両に対して３４０度の方向にあった場合、＋ｎ秒の時点では、２５０度の方向に移動した」等という判定をすることができる。変化前および変化後の方向、および所要時間は、移動量予測部２１へ送信される。
【００５４】
次に、車速情報取得部２０が、車速センサ１９から車両の速度を取得する（Ｓ２２）。車速は、車速センサから得られた車速パルスの逆数を取ることで得ることができる。取得された速度は、移動量予測部２１へ送信される。
【００５５】
次に、移動量予測部２１が、注目対象物と車両との距離を取得する（Ｓ２３）。具体的な方法について、図１１を参照しながら説明する。本例では、速度νで走行している車両が（ａ）の位置にいる時点で、注目対象物と車両との角度がθ1と判定され、ｔ秒後に（
ｂ）に移動した時点で、注目対象物と車両との角度がθ2と判定された場合を考える。こ
の場合、（ｂ）の時点での、乗員から注目対象物までの道路に垂直な距離であるｘは、数式１のように表すことができる。また、乗員から注目対象物までの道路に沿った距離であるｙは、数式２のように表すことができる。
【数１】
2013255168.tif 000003
【数２】
2013255168.tif 000004
【００５６】
次に、移動量予測部２１が、撮影タイミングにおける注目対象物の車両に対する方向を予測する（Ｓ２４）。ここで、角度θ2を取得してから実際にレリーズを行うまでのタイ
ムラグをＴとすると、レリーズを行う時点での、車両と注目対象物との角度θは数式３を満たす値となる。数式３を満たす角度θは、撮影部１４へ送信され、撮影部１４は、角度θの方向を撮影する指示を車載カメラ部１８へ送信する。
【数３】
2013255168.tif 000005
【００５７】
第二の実施形態によると、注目対象物が車両に対して近い位置にある場合であっても、対象物をフレームアウトさせることなく撮影することができる。なお、上記の角度θと距離ｘを用いることで、乗員と注目対象物との相対距離も計算することができるため、当該距離をフォーカシングに利用してもよい。また、ＧＰＳ装置２２から取得した車両の位置情報と、算出した角度および相対距離を用いて、注目対象物の位置情報（緯度・経度）を算出してもよい。当該位置情報を画像と関連付けて記憶部１５に記憶させることで、撮影した対象物の位置情報を画像と共に利用者に提示することができる。
【００５８】
（第三の実施形態）
第一の実施形態では、視線の滞留時間もしくは視線の移動頻度を利用して注目対象物の方向を判定したが、この方法を用いた場合、注目対象物の判定が過剰に行われてしまうケースがある。例えば、運転者の視線は常に進行方向を注視しているため、運転者の視線を検出した場合、常に正面の画像が撮影されてしまう可能性がある。
【００５９】
図１２は、運転者に対する視線投影面と、当該投影面に対応するスコアマップの例である。図１２の例では、単位時間内に、各矩形領域に視線が５回以上出入りした場合に、当該領域を注視領域としている（マップ上の数値は回数）。本例では、領域１２０２が注視領域として本来抽出されるべき領域であるが、第一の実施形態を運転者に対して適用すると、通常の運転で注目している領域である領域１２０１が常に抽出され、撮影対象となってしまう。第三の実施形態は、このようなケースに対応するため、第一の実施形態に対して除外領域、すなわち注視領域として扱わない領域を設けた形態である。第三の実施形態に係る車載装置のシステム構成、およびステップＳ１２以外の処理については、第一の実施形態と同様である。
【００６０】
第三の実施形態においては、ステップＳ１２において、乗員が継続的に注目している領域を除外して注視領域の判定を行う。具体例を挙げると、乗員が一定時間以上（たとえば単位時間のうち５割以上）注視し続けている領域、もしくは単位時間内に一定回数以上（たとえば１０回以上）視線が出入りした領域があり、かつ、車両が走行中である場合、対象物を追うための注視ではないと判断し、当該領域を除外領域として記憶する。そして、除外領域については、条件に合致しても注視領域として扱わないようにする。もし、運転中に注目対象物が出現した場合は、第一の実施形態と同じ処理によって注視領域の判定を行うことができる。
【００６１】
第三の実施形態においては、通常の走行において常に注視される領域を検出の対象から除外することで、より正確に注目対象物の方向を判定することができる。なお、除外領域として記憶された領域であっても、さらに一定時間以上（たとえば６０秒以上）一度も注視されなかった場合は、除外領域の指定を解除してもよい。
【００６２】
（第四の実施形態）
第一の実施形態では、視線の滞留時間もしくは視線の移動頻度を利用して注目対象物の方向を判定したが、車両と近い位置に対象物があった場合、視線の移動が速く、注視領域を正しく特定できない場合がある。これに対応するため、複数の乗員が同一の方向を見ていると判定できる場合は、視線の滞留時間や移動頻度に関係なく、対応する領域を注視領域として決定する形態が第四の実施形態である。第四の実施形態に係る車載装置のシステム構成、およびステップＳ１１〜１３以外の処理については、第一の実施形態と同様である。
【００６３】
第四の実施形態においては、ステップＳ１１において、二人以上の乗員の視線を検出する。また、ステップＳ１２では、それぞれの乗員について注視領域を特定する。このとき、視線が向いている領域を常に注視領域とし、ステップＳ１３で、当該注視領域に対応す
る方向を複数の乗員についてそれぞれ算出する。そして、算出した方向が、複数人数（例えば二人以上）の間で一致または類似している場合、当該方向を注目対象物の方向として決定する。例えば、視線の方向のばらつきが１０度以内であった場合、少なくともいずれか一人の乗員の視線を用いて、第一の実施形態で示した方法で撮影を行う。
【００６４】
このように第四の実施形態では、複数の乗員が注視している方向を注目対象物の方向とみなすため、誤判定による撮影が起きにくく、乗員が興味を持っている対象物のみが撮影されることが期待できる。
【００６５】
なお、第四の実施形態は、第一の実施形態と同様に、視線の滞留時間や移動頻度を用いて撮影方向の判定を行ってもよい。例えば、必要な視線の滞留時間を１秒と短めに設定し、二人以上が同時に同じ方向を１秒以上注視した場合に撮影を行う、などとしてもよい。これにより、視線の向きが偶然一致した場合を除外することができる。
【００６６】
（変形例）
なお、以上の説明は本発明を説明する上での例示にすぎず、各実施形態は、本発明の趣旨を逸脱しない範囲で変形、または組み合わせて実施することができる。また、各実施形態の説明では、注目対象物の方向を水平方向のみで特定したが、垂直方向を用いて特定してもよい。このようにすることで、例えば注目対象物が上空にあるような場合であっても車載カメラをチルトすることで撮影ができるようになる。
【００６７】
また、車載カメラ１８は、動画を撮影するカメラであってもよく、注視領域判定部１３が決定した注目対象物の方向を常に向くように制御されてもよい。このように構成することで、車載カメラは運転者の見ている視野を常に撮影することができるようになり、固定された方向しか撮影することができないという従来のドライブレコーダの欠点を補うことができる。
【００６８】
また、記憶部１４は、記憶された画像の評価を自動で行ってもよい。例えば、記憶された画像に対してテンプレート画像とのマッチングを行い、信号機や道路標識など除外すべき被写体が写っていると判断された画像については、利用者への提示を抑止してもよいし、自動で削除してもよい。主被写体が写っていないと判断できる画像についても同様の処理を行ってもよい。また、注目した人数や注視した時間から重要度を算出し、画像にラベル付けを行ってもよい。
【符号の説明】
【００６９】
１０  車載装置
１１  視線カメラ部
１２  視線情報取得部
１３  注視領域判定部
１４  撮影部
１５  記憶部
１６  入出力部
１７  通信部
１８  車載カメラ部
１９  車速センサ
２０  車速情報取得部
２１  移動量予測部
【図１】
2013255168.tif 000006
【図２】
2013255168.tif 000007
【図３】
2013255168.tif 000008
【図４】
2013255168.tif 000009
【図５】
2013255168.tif 000010
【図６】
2013255168.tif 000011
【図７】
2013255168.tif 000012
【図８】
2013255168.tif 000013
【図９】
2013255168.tif 000014
【図１０】
2013255168.tif 000015
【図１１】
2013255168.tif 000016
【図１２】
2013255168.tif 000017