(57)【要約】【課題】被験者の首振り動作を正確に検出できる動作検出装置を提供すること。【解決手段】被験者の顔を含む画像を取得する画像取得手段３と、前記画像において、前記顔の特徴点の軌跡を取得する軌跡取得手段９と、前記軌跡取得手段９で取得した前記軌跡に関する特徴量が所定の範囲内である場合に、前記被験者の首振り動作を検出する首振り動作検出手段１１と、前記首振り動作の軌跡、又は前記首振り動作における前記特徴量を、前記被験者ごとに記憶する記憶手段１７と、前記所定の範囲を、前記被験者に応じて、前記記憶手段１７に記憶されたその被験者の前記首振り動作の軌跡、又は前記首振り動作における前記特徴量に基づいて設定する設定手段１１と、を備えることを特徴とする動作検出装置１。【選択図】 図１
2013132371.tif 000002
【特許請求の範囲】
【請求項１】
被験者の顔を含む画像を取得する画像取得手段と、
前記画像において、前記顔の特徴点の軌跡を取得する軌跡取得手段と、
前記軌跡取得手段で取得した前記軌跡に関する特徴量が所定の範囲内である場合に、前記被験者の首振り動作を検出する首振り動作検出手段と、
前記首振り動作の軌跡、又は前記首振り動作における前記特徴量を、前記被験者ごとに記憶する記憶手段と、
前記所定の範囲を、前記被験者に応じて、前記記憶手段に記憶されたその被験者の前記首振り動作の軌跡、又は前記首振り動作における前記特徴量に基づいて設定する設定手段と、
を備えることを特徴とする動作検出装置。
【請求項２】
前記特徴量は、前記軌跡における水平方向の振幅、垂直方向の振幅、水平方向における往復動作時間、及び垂直方向における往復動作時間から成る群から選ばれる１以上であることを特徴とする請求項１記載の動作検出装置。
【請求項３】
車両に搭載される車載装置であって、
前記車両の挙動に起因する前記特徴点の振動を検出する振動検出手段と、
前記軌跡取得手段で取得した前記軌跡から、前記振動の成分を差し引く振動成分除去手段と、
を備え、
前記首振り動作検出手段は、前記振動成分除去手段により前記振動成分を除去した前記軌跡に関する特徴量が前記所定の範囲内である場合に、前記被験者の首振り動作を検出することを特徴とする請求項１又は２記載の動作検出手段。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の首振り動作を検出する動作検出装置に関する。
【背景技術】
【０００２】
被験者の顔を含む画像を所定時間ごとに繰り返し取得し、その画像に表れた顔の特徴点の変位に基づき、首振り動作を検出する技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６２７４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、顔の特徴点の変位量が、固定された閾値に対し、所定の大小関係を充足する場合、首振り動作であると判定する。しかしながら、首振り動作には個人差が大きいので、閾値が固定されていると、被験者が首振り動作を行っても、それを首振り動作と判定できない場合や、実際には首振り動作を行っていないのに、誤って首振り動作であると判定してしまうことがある。
【０００５】
本発明は以上の点に鑑みなされたものであり、被験者の首振り動作を正確に検出できる動作検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の動作検出装置は、被験者の顔を含む画像を取得する画像取得手段と、その画像において、顔の特徴点（例えば、眼、鼻、口、耳等）の軌跡を取得する軌跡取得手段と、軌跡取得手段で取得した軌跡に関する特徴量が所定の範囲内である場合に、被験者の首振り動作を検出する首振り動作検出手段とを備えることにより、首振り動作を検出することができる。
【０００７】
特に、本発明の動作検出装置は、首振り動作の軌跡、又は首振り動作における特徴量を、被験者ごとに記憶する記憶手段と、前記所定の範囲を、被験者に応じて、記憶手段に記憶されたその被験者の首振り動作の軌跡、又は首振り動作における特徴量に基づいて設定する設定手段とを備える。そのため、本発明の動作検出装置は、首振り動作に個人差があっても、首振り動作を正確に検出することができる。
【０００８】
前記特徴量としては、例えば、首振り動作の軌跡における水平方向の振幅、垂直方向の振幅、水平方向における往復動作時間、及び垂直方向における往復動作時間等が挙げられる。この場合、首振り動作を一層正確に検出できる。
【０００９】
本発明の動作検出装置は、例えば、車両に搭載される車載装置とすることができる。この場合、本発明の動作検出装置は、例えば、車両の挙動に起因する特徴点の振動を検出する振動検出手段と、軌跡取得手段で取得した軌跡から、振動の成分を差し引く振動成分除去手段とを備え、首振り動作検出手段は、振動成分除去手段により振動成分を除去した軌跡に関する特徴量が前記所定の範囲内である場合に、被験者の首振り動作を検出することができる。こうすることにより、車両の振動の影響を低減し、運転者の首振り動作を一層正確に検出できる。
【図面の簡単な説明】
【００１０】
【図１】動作検出装置１の構成を表すブロック図である。
【図２】動作検出装置１の一部の構成について、車室内における設置位置を示す説明図である。
【図３】動作検出装置１が実行する個人ＤＢ作成処理を表すフローチャートである。
【図４】顔画像を表す説明図である。
【図５】顔画像から取得した眼の軌跡を表す説明図であって、（１）は縦の首振り動作を行った場合における垂直方向の軌跡を表し、（２）は横の首振り動作を行った場合における水平方向の軌跡を表し、（３）は横の首振り動作を行った場合における垂直方向の軌跡を表し、（４）は横の首振り動作を行った場合における水平方向の軌跡を表す。
【図６】動作検出装置１が実行する首振り検出処理を表すフローチャートである。
【図７】特徴点の軌跡から振動成分を除去する方法を表す説明図であって、（１）は運転者の首振り動作に起因する成分と車両の挙動に起因する振動成分とが混在する軌跡であり、（２）は車両の挙動に起因する振動成分から成る軌跡であり、（３）は運転者の首振り動作に起因する成分のみから成る軌跡である。
【図８】ディスプレイ１５ａを表す説明図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態を図面に基づいて説明する。
１．動作検出装置１の構成
動作検出装置１の構成を図１及び図２に基づいて説明する。図１は、動作検出装置１の構成を表すブロック図であり、図２は、動作検出装置１の一部の構成について、車室内における設置位置を示す説明図である。
【００１２】
動作検出装置１は、車両に搭載された車載装置である。動作検出装置１は、カメラ（画像取得手段）３、Ａ／Ｄ変換器５、画像メモリ７、特徴点検出部９、首振り検出部（軌跡取得手段、首振り動作検出手段、設定手段、振動成分除去手段）１１、情報表示装置制御部１３、情報表示部１５、記憶手段としてのメモリ（個人ＤＢ）１７、メモリ（情報ＤＢ）１９、スイッチ２１、車速センサ２３、Ｇセンサ（振動検出手段）２５、ヨーレートセンサ２７、シート圧センサ（振動検出手段）２９、全体制御部３１、照明発光制御部３３、及び照明３５を備える。
【００１３】
カメラ３は、図２に示すように、車室内において、運転者（被験者）の顔を含む画像（以下、顔画像とする）を撮像可能な位置に設置されている。Ａ／Ｄ変換器５は、カメラ３により取得された顔画像の画像データをＡ／Ｄ変換し、画像メモリ７に記憶する。特徴点検出部９は、画像メモリ７から読み出した顔画像の画像データから、周知の画像解析技術により、運転者の眼（特徴点）を検出する。首振り検出部１１は、所定の時間間隔で繰り返し取得された顔画像の複数の画像データにおいて、特徴点検出部９で検出した眼が時間の経過とともに描く軌跡に基づき、運転者の動作の中から、首振り動作を検出する。なお、この処理については後述する。情報表示装置制御部１３は、首振り検出部１１の検出結果に応じて、情報表示部１５を制御する。情報表示部１５は、画像を表示する手段であって、図２に示すように、カーナビ３６が備えるディスプレイ１５ａと、ヘッドアップディスプレイ（ＨＵＤ）１５ｂとから成る。
【００１４】
メモリ（個人ＤＢ）１７は、後述する個人ＤＢを記憶している。また、メモリ（個人ＤＢ）１７は、後述する個人認証に用いられる、利用者それぞれの顔のパターン（顔の特徴点のパターン）を記憶している。メモリ（情報ＤＢ）１９は、情報表示部１５において表示する情報（例えばアイコン等、表示する画像）を記憶している。
【００１５】
スイッチ２１は、運転者が操作可能なスイッチである。車速センサ２３、Ｇセンサ２５
、ヨーレートセンサ２７、及びシート圧センサ２９は、それぞれ、車両の車速、加速度、ヨーレート、運転者用シート３８に加わる運転者の圧力を検出する。全体制御部３１は、スイッチ２１への入力結果、車速センサ２３、Ｇセンサ２５、ヨーレートセンサ２７、及びシート圧センサ２９の検出結果を用いて各種処理を行う。照明発光制御部３３は、照明３５の明るさを制御する。照明３５は、図２に示す位置に設置されており、運転者の顔を照らす。
【００１６】
２．動作検出装置１が実行する処理
（１）個人ＤＢ作成処理
図３〜図５に基づき、動作検出装置１が実行する個人ＤＢ作成処理を説明する。図３は、個人ＤＢ作成処理を表すフローチャートであり、図４は、顔画像を表す説明図であり、図５は、顔画像から取得した眼の軌跡を表す説明図である。
【００１７】
個人ＤＢ作成処理は、車両が停止し、エンジンも停止しているときに実行される。個人ＤＢ作成処理が実行される契機は、運転者がスイッチ２１に対し所定の入力をした場合であってもよいし、シート圧センサ２９やカメラ３等により、運転者の存在を認識した場合であってもよい。
【００１８】
図３のステップ１０では、カメラ３により、運転者の顔画像を取得する。この顔画像は、例えば、図４に示すものであり、運転者の顔３７を含む。次に、特徴点検出部９により、その顔画像における特徴点（眼３９、鼻４１、口４３等）のパターンを取得する。そして、その特徴点のパターンを、メモリ（個人ＤＢ）１７に予め記憶されている、各利用者における特徴点のパターンと対比し、一致する特徴点のパターンを選択する。最後に、運転者を、その一致した特徴点のパターンの持ち主と認識する。
【００１９】
ステップ２０では、ディスプレイ１５ａに、「個人ＤＢを作成しますか？」という表示を行う。その表示から所定時間以内に、スイッチ２１に対し、ＹＥＳに該当する入力があった場合はステップ３０に進む。一方、スイッチ２１に対し、ＮＯに該当する入力があった場合、又は、所定時間以内に回答がなかった場合は本処理を終了する。
【００２０】
ステップ３０では、ディスプレイ１５ａに、「縦に首を振って下さい。」という表示を行う。
ステップ４０では、前記ステップ３０の表示を行ってから、所定の期間中、運転者の顔画像を、カメラ３を用いて所定時間ごとに繰り返し取得する。顔画像を取得する間隔（上述した所定時間）は、後述する眼の軌跡の解析が可能となるように、充分短くする。
【００２１】
ステップ５０では、ディスプレイ１５ａに、「横に首を振って下さい。」という表示を行う。
ステップ６０では、前記ステップ５０の表示を行ってから、所定の期間中、運転者の顔画像を、カメラ３を用いて所定時間ごとに繰り返し取得する。顔画像を取得する間隔（上述した所定時間）は、後述する眼の軌跡の解析が可能となるように、充分短くする。
【００２２】
ステップ７０では、前記ステップ４０において繰り返し取得した複数の顔画像において、運転者の眼が、時間の経過とともに描いた軌跡を取得する。運転者が首を縦に振った場合、その眼の軌跡は、図５（１）、（２）に示すものとなる。なお、図５（１）の縦軸は垂直方向の位置を表し、横軸は時間を表す。また、図５（２）の縦軸は水平方向の位置を表し、横軸は時間を表す。
【００２３】
図５（１）に示すように、運転者の目の位置は、時間ｔの経過にともない、垂直方向（Ｙ方向）においては大きい振幅で往復し、図５（２）に示すように、水平方向（Ｘ方向）
においては、振幅は小さい。また、本ステップ７０では、眼の軌跡とともに、眼の垂直方向における振幅（特徴量）ΔＹ１と、水平方向における振幅（特徴量）ΔＸ１と、垂直方向における往復動作時間（特徴量）ΔＴ１も取得する。
【００２４】
ステップ８０では、前記ステップ６０において繰り返し取得した複数の顔画像において、運転者の眼が、時間の経過とともに描いた軌跡を取得する。運転者が首を横に振った場合、その眼の軌跡は、図５（３）、（４）に示すものとなる。なお、図５（３）の縦軸は垂直方向の位置を表し、横軸は時間を表す。また、図５（４）の縦軸は水平方向の位置を表し、横軸は時間を表す。
【００２５】
図５（４）に示すように、運転者の目の位置は、時間ｔの経過にともない、水平方向（Ｘ方向）においては大きい振幅で往復し、図５（３）に示すように、垂直方向（Ｙ方向）においては、振幅は小さい。また、本ステップ８０では、眼の軌跡とともに、眼の垂直方向における振幅（特徴量）ΔＹ２と、水平方向における振幅（特徴量）ΔＸ２と、水平方向における往復動作時間（特徴量）ΔＴ２も取得する。
【００２６】
ステップ９０では、前記ステップ７０で取得した、運転者が首を縦に振った場合の眼の軌跡、振幅ΔＹ１、振幅ΔＸ１、及び往復動作時間ΔＴ１を、前記ステップ１０で認証した個人と関連付けて記憶する。また、前記ステップ８０で取得した、運転者が首を横に振った場合の眼の軌跡、振幅ΔＹ２、振幅ΔＸ２、及び往復動作時間ΔＴ２を、前記ステップ１０で認証した個人と関連付けて記憶する。これらの記憶を、個人ＤＢとする。
（２）首振り検出処理
図６〜図８に基づき、動作検出装置１が実行する首振り検出処理を説明する。図６は、首振り検出処理を表すフローチャートであり、図７は、後述する特徴点の軌跡から振動成分を除去する方法を表す説明図であり、図８は、ディスプレイ１５ａを表す説明図である。
【００２７】
ステップ１１０では、前記ステップ４０と同様に、所定の期間中、運転者の顔画像を、カメラ３を用いて所定時間ごとに繰り返し取得する。
ステップ１２０では、前記ステップ１１０において繰り返し取得した複数の顔画像において、運転者の眼が、時間の経過とともに描いた軌跡を取得する。
【００２８】
ステップ１３０では、前記ステップ１１０において顔画像を取得している期間における車両の挙動に起因する振動成分を算出する。この算出には、Ｇセンサ２５、シート圧センサ２９の検出結果を用いることができる。あるいは、運転者が首を振っていない期間における眼の位置のぶれ幅や速度から算出してもよい。
【００２９】
ステップ１４０では、前記ステップ１２０で取得した軌跡から、前記ステップ１３０で算出した振動成分を差し引く。すなわち、前記ステップ１２０で取得した軌跡には、運転者の首振り動作に起因する成分（図７（３）参照）と、車両の挙動に起因する振動成分（図７（２）参照）との両方が含まれることにより、図７（１）に示すような軌跡となっているが、前記ステップ１３０で算出した振動成分を差し引くことにより、運転者の首振り動作に起因する成分のみから成る軌跡（図７（３））を得ることができる。
【００３０】
ステップ１５０では、前記ステップ１４０で得られた軌跡について、縦の首振り動作であるか、横の首振り動作であるか、そのいずれでもないかを判定する。
そのために、まず、メモリ（個人ＤＢ）１７から、運転者の個人ＤＢを読み出す。個人ＤＢには、上述したように、運転者が首を縦に振った場合の眼の軌跡における振幅ΔＹ１、振幅ΔＸ１、及び往復動作時間ΔＴ１が含まれており、また、運転者が首を横に振った場合の眼の軌跡における振幅ΔＹ２、振幅ΔＸ２、及び往復動作時間ΔＴ２が含まれてい
る。
【００３１】
次に、縦の首振り動作や横の首振り動作の判定に用いる閾値ＴＹ１、ＴＸ１、ＴＴ１、ＴＹ２、ＴＸ２、ＴＴ２を、振幅ΔＹ１、振幅ΔＸ１、往復動作時間ΔＴ１、振幅ΔＹ２、振幅ΔＸ２、及び往復動作時間ΔＴ２に基づき、以下のように算出する。
【００３２】
ＴＹ１＝（ΔＹ１）×０．５
ＴＸ１＝（ΔＸ１）×２
ＴＴ１＝（ΔＴ１）×１．５
ＴＹ２＝（ΔＹ２）×２
ＴＸ２＝（ΔＸ２）×０．５
ＴＴ２＝（ΔＴ２）×１．５
次に、前記ステップ１４０で得た、運転者の首振り動作に起因する成分のみから成る眼の軌跡における垂直方向の振幅ΔＹと、水平方向の振幅ΔＸと、往復動作時間ΔＴとを算出する。
【００３３】
そして、以下の式１、式２、式３の全てが成立した場合（所定の範囲内にある場合）は、前記ステップ１４０で得られた軌跡が縦の首振り動作であると判定し、以下の式４、式５、式６の全てが成立した場合（所定の範囲内にある場合）は、前記ステップ１４０で得られた軌跡が横の首振り動作であると判定する。一方、上記のいずれでもない場合は、縦の首振り動作及び横の首振り動作のいずれでもないと判定する。
【００３４】
式１：ΔＹ＞ＴＹ１
式２：ΔＸ＜ＴＸ１
式３：ΔＴ＜ＴＴ１
式４：ΔＹ＜ＴＹ２
式５：ΔＸ＞ＴＸ２
式６：ΔＴ＜ＴＴ２
なお、前記ステップ１４０で得られた軌跡が縦の首振り動作であると判定した場合、カーナビ３６のディスプレイ１５ａにおいて既にカーソル等で選択されていた項目（例えば、図８において、「ナビゲーション」の項目）を実行する。また、前記ステップ１４０で得られた軌跡が縦の首振り動作であると判定した場合、カーナビ３６のディスプレイ１５ａにおいて、カーソル等で選択する項目を、１つの項目から隣の項目に移動する（例えば、図８において、「ナビゲーション」の項目から、「音楽」の項目に移動する）。また、前記ステップ１４０で得られた軌跡が縦の首振り動作でもなく、横の首振り動作でもない場合は、特に操作を行わない。
【００３５】
３．動作検出装置１が奏する効果
（１）動作検出装置１は、運転者の首振り動作の判定に用いる閾値ＴＹ１、ＴＸ１、ＴＴ１、ＴＹ２、ＴＸ２、ＴＴ２を、同じ運転者が実際に首振り動作を行った場合の眼の軌跡から算出する。そのため、首振り動作に個人差があっても、首振り動作を正確に判定することができる。
（２）動作検出装置１は、運転者の眼が時間の経過とともに描いた軌跡から、車両の挙動に起因する振動成分を差し引いた後の軌跡（運転者の首振り動作に起因する成分のみから成る眼の軌跡）を用いて、首振り動作を判定する。そのため、運転者の首振り動作を一層正確に判定できる。
【００３６】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、動作検出装置１は、運転者の目の軌跡の代わりに、運転者の顔における眼以外
の特徴点（例えば、鼻、口、耳等）の軌跡を取得するようにしてもよい。
【００３７】
また、動作検出装置１は、運転者の縦の首振り動作と、横の首振り動作のうちの一方のみを判定するようにしてもよい。
また、動作検出装置１は、首振り動作の判定結果に応じて、カーナビ３６以外の所望の機器を制御することができる。
【００３８】
また、閾値ＴＹ１、ＴＸ１、ＴＴ１、ＴＹ２、ＴＸ２、及びＴＴ２を、振幅ΔＹ１、振幅ΔＸ１、往復動作時間ΔＴ１、振幅ΔＹ２、振幅ΔＸ２、及び往復動作時間ΔＴ２に基づき算出する際に用いる係数は、０．５、２、１．５には限定されず、適宜設定できる。
【００３９】
また、個人ＤＢは、首振り動作の軌跡であってもよい。この場合、個人ＤＢに記憶された軌跡と、前記ステップ１４０で得られた軌跡とを対比し、その一致の度合いにより、首振り動作であるか否かを判定することができる。
【符号の説明】
【００４０】
１・・・動作検出装置、３・・・カメラ、５・・・Ａ／Ｄ変換器、
７・・・画像メモリ、９・・・特徴点検出部、１１・・・首振り検出部、
１３・・・情報表示装置制御部、１５・・・情報表示部、
１５ａ・・・ディスプレイ、
１５ｂ・・・ヘッドアップディスプレイ（ＨＵＤ）、
１７・・・メモリ（個人ＤＢ）、１９・・・メモリ（情報ＤＢ）、
２１・・・スイッチ、２３・・・車速センサ、２５・・・Ｇセンサ、
２７・・・ヨーレートセンサ、２９・・・シート圧センサ、
３１・・・全体制御部、３３・・・照明発光制御部、３５・・・照明、
３６・・・カーナビ、３８・・・運転者用シート、３７・・・顔、
３９・・・眼、４１・・・鼻
【図１】
2013132371.tif 000003
【図２】
2013132371.tif 000004
【図３】
2013132371.tif 000005
【図４】
2013132371.tif 000006
【図５】
2013132371.tif 000007
【図６】
2013132371.tif 000008
【図７】
2013132371.tif 000009
【図８】
2013132371.tif 000010