(57)【要約】【課題】本発明は、ジェスチャー操作装置のジェスチャー操作時の使い勝手を良くすることを目的とするものである。【解決手段】操作者に向けて設置されたカメラ１７と、このカメラ１７から出力されたカメラ信号２０から操作者のジェスチャーを検出するジェスチャー検出部１８が接続された制御部１４と、この制御部１４に接続され、カメラ信号２０から操作者の視線を検出する視線検出部１９と、操作者に向けて画像を表示する表示部１２と、を有するジェスチャー操作装置であって、ジェスチャー検出部１８が操作者のジェスチャーを検出し、かつ視線検出部１９が操作者の視線が表示部１２に向いていることを検出すると、ジェスチャー検出部１８は検出したジェスチャーを制御部１４に出力し、制御部１４は当該ジェスチャーに対応する操作を実行する構成とした。【選択図】図４
2014197252.tif 000002
【特許請求の範囲】
【請求項１】
操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から前記操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、前記カメラ信号から前記操作者の視線を検出する視線検出部と、前記操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、
前記ジェスチャー検出部が前記操作者のジェスチャーを検出し、かつ前記視線検出部が前記操作者の視線が前記表示部に向いていることを検出すると、前記ジェスチャー検出部は検出したジェスチャーを前記制御部に出力し、前記制御部は当該ジェスチャーに対応する操作を実行するジェスチャー操作装置。
【請求項２】
前記視線検出部が操作者の視線が前記表示部に向いていることを検出した後、前記ジェスチャー検出部の処理を開始する請求項１に記載のジェスチャー操作装置。
【請求項３】
前記制御部は、前記ジェスチャー検出部から検出したジェスチャーを取得後、前記カメラから取得した信号から視線を検出した操作者と、ジェスチャー操作者が同一人物であると、前記ジェスチャー検出部が検出したジェスチャーの操作を実行する請求項２に記載のジェスチャー操作装置。
【請求項４】
操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から前記操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、前記カメラ信号から前記操作者の視線を検出する視線検出部と、前記操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置で動作するプログラムであって、
前記ジェスチャー検出部が前記操作者のジェスチャーを検出し、かつ前記視線検出部が前記操作者の視線が前記表示部に向いていることを検出するステップと、
前記ジェスチャー検出部が検出したジェスチャーを前記制御部に出力するステップと、
前記ジェスチャーに対応する操作を実行するステップと、
を実行させるプログラム。
【請求項５】
請求項１に記載のジェスチャー操作装置を複数搭載した車両。
【請求項６】
請求項１に記載のジェスチャー操作装置を車両天井部と、前席ヘッドレストの後部座席側に搭載した車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両の天井面に取り付けられるジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両に関するものである。
【背景技術】
【０００２】
例えば、操作者に向けて設置されたカメラと、このカメラから入力された信号から操作者の身体の動きによるジェスチャー、または視線が向けられているアイコンを検出し、そのジェスチャーまたはアイコンに対応する処理を行う表示装置がある（例えば、下記特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−６７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来例においては、操作者による操作指示が簡単に行えるものであるが、操作者が意図しない装置が操作を受け付けてしまう問題がある。
【０００５】
すなわち、ジェスチャーで操作可能な装置が同時に複数存在するような場合、ユーザが操作対象としていない装置がジェスチャーに反応する場合があり、使い勝手が良くない。
【０００６】
例えば、車両天井に設置された第１表示装置と、前席ヘッドレストに後部座席に向けて設置された第２表示装置がある場合、操作者が第１表示装置に向けてジェスチャー操作を行ったとしても、第２表示装置がそのジェスチャーに反応し、操作者の意図しない動作をしてしまうことがある。
【０００７】
そこで、本発明は、ジェスチャー操作時の使い勝手を良くすることを目的とするものである。
【課題を解決するための手段】
【０００８】
そしてこの目的を達成するために本開示は、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成とし、これにより所期の目的を達成するものである。
【発明の効果】
【０００９】
以上のように本開示は、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。
【００１０】
すなわち、例えば、本開示のジェスチャー操作装置が車両に複数取り付けられて使用されるとする。そのジェスチャー操作装置の表示部は、車両の天井面や前席ヘッドレストの後部座席側、またはダッシュボードのセンターに取り付けられ、複数の操作者（搭乗者）が操作可能な状態で設置される。
【００１１】
そこで、本開示は、操作者の視線が表示部に向いていること、およびその操作者のジェスチャーを検出すると、そのジェスチャーに対応する操作を実行するものである。つまり、操作者は、表示部に表示されたメニューなどを見ながらジェスチャー操作するものであるので、操作者の視線方向にあるジェスチャー操作装置がそのジェスチャーに反応することで、操作者が意図しない装置が操作を受け付けてしまうことを防止することができるのである。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態のジェスチャー操作装置を搭載した車内を示す図
【図２】本発明の一実施形態のジェスチャー操作装置を搭載した車内を示す図
【図３】本発明の一実施形態のジェスチャー操作装置を示す図
【図４】本発明の一実施形態の機能ブロック図
【図５】本発明の一実施形態のジェスチャー操作装置の動作フローチャート
【図６】本発明の一実施形態のジェスチャー操作装置の動作フローチャート
【図７】本発明の一実施形態のジェスチャー操作装置の動作フローチャート
【発明を実施するための形態】
【００１３】
以下に、本発明の実施形態について図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１、図２は、本実施形態のジェスチャー操作装置を搭載した車内１を示す図である。車内１の前方にはフロントガラス２、バックミラー３、およびハンドル４が配置されている。
【００１５】
また、ハンドル４の後方には、運転席５、その隣に助手席６が配置されている。
【００１６】
さらに、車内１の天井面で、運転席５と助手席６の間部分にはジェスチャー操作装置の一例である表示装置７（天吊りリアディスプレイ）が取り付けられている。その他、ジェスチャー操作装置の例として、ダッシュボードの運転席５と助手席６の間部分に取り付けられる表示装置８（フロントディスプレイ、ナビゲーションなど）、運転席５または助手席６のヘッドレストの後席側に取り付けられた表示装置９、１０（リアディスプレイ右席用、左席用）がある。
【００１７】
本実施の形態では、ジェスチャー操作装置の一例である表示装置７を例に、その詳細を説明する。
【００１８】
表示装置７は、図３、図４に示すように、天井面に取り付けられる本体ケース１１と、この本体ケース１１に対して下方に開閉自在に取り付けた表示部１２と、この表示部１２に映像を表示させる映像処理部１３と、この映像処理部１３に接続した制御部１４とを備えている。
【００１９】
表示部１２は、図１、図３のごとく、本体ケース１１に対して９０度以上開放状態とし、この状態で、後席に座る同乗者は表示部１２の映像を視聴するようになっている。この表示装置７は、各種メディアの映像やテレビ映像を視聴することが出来るもので、よく知られているように制御部１４には、図４のごとく、映像入力部１５、映像再生部１６、映像処理部１３が接続されている。
【００２０】
本実施の形態における特徴点は、図３、図４のごとく、表示部１２の外周部には、搭乗者（操作者）に向けてカメラ１７を設け、このカメラ１７をジェスチャー検出部１８、視線検出部１９、および制御部１４に接続したことである。
【００２１】
カメラ１７から出力されたカメラ信号２０は、ジェスチャー検出部１８に出力される。ジェスチャー検出部１８は、カメラ信号２０から操作者のジェスチャーを検出し、制御部１４にジェスチャーを出力する。
【００２２】
例えば、ジェスチャー検出部１８は、カメラ信号２０から画像処理により、搭乗者の身振り、手振り、手の形、顔の状態（片方の目を閉じているなど）を検出する。制御部１４は、ジェスチャー検出部１８から取得したジェスチャーが、予め対応付けておいた機器操作に該当すれば、その機器操作を実行する。
【００２３】
具体的にジェスチャーで行う操作として、映像の切替えや画面の明るさの変更といった各種調整などがある。
【００２４】
視線検出部１９は、カメラ信号２０から操作者の視線を検出し、その視線がどの方向に向いているかを検出する。例えば、視線方向は、カメラ信号２０から搭乗者の顔画像を用いて、画像処理により、目の位置、眼球の回転角、顔の向きを抽出し、それらから演算により視線方向を算出することができる。
【００２５】
以下に図５から図７を用いて、ジェスチャー操作の処理手順について説明する。
【００２６】
図５の処理が基本形の処理フローである。但し、ジェスチャー検出部１８によるジェスチャー検出と、視線検出部１９による視線検出を同時に処理しないといけないため、処理負荷が高くなる。
【００２７】
まず、ステップＳ１では、ジェスチャー検出部１８と視線検出部１９の動作を開始する。
【００２８】
次に、ジェスチャー検出部１８が取得したカメラ信号２０からジェスチャーを検出すると（ステップＳ２：Ｙｅｓ）、ステップＳ３へ進む。
【００２９】
ステップＳ３では、視線検出部１９が取得したカメラ信号２０から操作者の視線が表示部１２に向いているか、否かを検出する。
【００３０】
操作者の視線が表示部１２に向いていれば、ステップＳ５へ進み、制御部１４は、取得したジェスチャーに予め対応付けしておいた操作があれば、その操作を実行する。その後、ステップＳ１へ戻る。
【００３１】
操作者の視線が表示部１２に向いていなければ、検出したジェスチャーを削除し、ステップＳ１へ戻る（ステップＳ４）。
【００３２】
図６の処理は、図５の基本形の処理フローを変形させたものである。具体的には、視線を検出すると、ジェスチャーを検出する処理に進むものである。これは、処理フローが複雑になるが、処理負荷を軽減することができる。但し、操作開始前に視線が表示装置７に向いていれば，操作中や操作直後に視線を外しても操作が無効にならないとの特徴がある。
【００３３】
まず、視線検出部１９の動作を開始する（ステップＳ７）。
【００３４】
次に、視線検出部１９が操作者の視線が表示装置７に向いていることを検出すると（ステップＳ８：Ｙｅｓ）、ジェスチャー検出部１８の動作を開始する（ステップＳ９）。
【００３５】
ジェスチャー検出部１８がジェスチャーを検出すると（ステップＳ１０：Ｙｅｓ）、ジェスチャー検出部１８は、検出したジェスチャーを制御部１４へ出力する。
【００３６】
ジェスチャー検出部１８がジェスチャーを検出しなければ（ステップＳ１０：Ｎｏ）、視線検出部１９が操作者の視線が表示装置７に向いているかを再度確認する（ステップＳ１２）。
【００３７】
操作者の視線が表示装置７に向いていれば（ステップＳ１２：Ｙｅｓ）、ステップＳ１０へ戻る。操作者の視線が表示装置７に向いていなければ（ステップＳ１２：Ｎｏ）、ステップＳ１３でジェスチャー検出部１８の動作を停止し、ステップＳ８へ戻る。
【００３８】
図７の処理は、図６の処理フローを変形させたものである。図６の処理フローでは、視線を検出した操作者とジェスチャーをした操作者が別の人であっても、操作を実行してしまう。これを防止するために、ジェスチャー検出部１８がジェスチャーを検出後に視線を検出した操作者とジェスチャーをした操作者が同一であるかを判定する処理を追加している。
【００３９】
なお、同一人物か否かの判定は、例えば操作者の座席位置によって判定する。座席位置は、カメラ１７の向きや、撮像画像の視線、またはジェスチャーの画像処理エリアで判断することが可能である。
【００４０】
図７の処理は、図６のステップＳ１０とステップＳ１２の間に、ジェスチャー検出部１８がジェスチャーを検出後に視線を検出した操作者とジェスチャーをした操作者が同一であるかを判定するステップＳ１４を追加したものである。
【００４１】
以上説明したように、本実施の形態では、操作者に向けて設置されたカメラ１７と、このカメラ１７から出力されたカメラ信号２０から操作者のジェスチャーを検出するジェスチャー検出部１８が接続された制御部１４と、この制御部１４に接続され、カメラ信号２０から操作者の視線を検出する視線検出部１９と、操作者に向けて画像を表示する表示部１２と、を有するジェスチャー操作装置であって、ジェスチャー検出部１８が操作者のジェスチャーを検出し、かつ視線検出部１９が操作者の視線が表示部１２に向いていることを検出すると、ジェスチャー検出部１８は検出したジェスチャーを制御部１４に出力し、制御部１４は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。
【００４２】
すなわち、例えば、本開示のジェスチャー操作装置が車両に複数取り付けられて使用されるとする。そのジェスチャー操作装置の表示部１２は、車両の天井面や前席ヘッドレストの後部座席側、またはダッシュボードのセンターに取り付けられ、複数の操作者（搭乗者）が操作可能な状態で設置される。
【００４３】
そこで、本実施の形態では、操作者の視線が表示部１２に向いていること、およびその操作者のジェスチャーを検出すると、そのジェスチャーに対応する操作を実行するものである。つまり、操作者は、表示部１２に表示されたメニューなどを見ながらジェスチャー操作するものであるので、操作者の視線方向にあるジェスチャー操作装置がジェスチャーに反応することで、操作者が意図しない装置が操作を受け付けてしまうことを防止することができるのである。
【産業上の利用可能性】
【００４４】
以上のように本発明では、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。
【００４５】
したがって、車載用電子機器しての活用が期待されるものとなる。
【符号の説明】
【００４６】
１  車内
２  フロントガラス
３  バックミラー
４  ハンドル
５  運転席
６  助手席
７、８、９、１０  表示装置
１１  本体ケース
１２  表示部
１３  映像処理部
１４  制御部
１５  映像入力部
１６  映像再生部
１７  カメラ
１８  ジェスチャー検出部
１９  視線検出部
２０  カメラ信号
【図１】
2014197252.tif 000003
【図２】
2014197252.tif 000004
【図３】
2014197252.tif 000005
【図４】
2014197252.tif 000006
【図５】
2014197252.tif 000007
【図６】
2014197252.tif 000008
【図７】
2014197252.tif 000009