(57)【要約】【課題】ジェスチャー操作の認識精度を向上させること。【解決手段】実施形態に係る制御装置は、検出部と、設定部と、認識部とを備える。検出部は、撮像画像からユーザの特定部位を検出する。設定部は、検出部によって検出された特定部位に基づいて認識エリアを設定する。認識部は、設定部によって設定された認識エリア内のジェスチャー操作を認識する。【選択図】図２
2020144551.tif 000002
【特許請求の範囲】
【請求項１】
画像データからユーザの特定部位を検出する検出部と、
前記検出部によって検出された特定部位に基づいて認識エリアを設定する設定部と、
前記設定部によって設定された認識エリア内のジェスチャー操作を認識する認識部と
を備えることを特徴とする制御装置。
【請求項２】
前記検出部は、
特定部位として、顔の各パーツを検出し、
前記設定部は、
各パーツに対してそれぞれ認識エリアを設定すること
を特徴とする請求項１に記載の制御装置。
【請求項３】
前記認識部は、
前記検出部によって検出された顔の各パーツに基づく認識エリア毎に異なるジェスチャー操作を認識すること
を特徴とする請求項２に記載の制御装置。
【請求項４】
前記検出部は、
車内が撮像された画像データからユーザである運転者の特定部位を認識すること
を特徴とする請求項１，２または３に記載の制御装置。
【請求項５】
前記認識部によって認識されたジェスチャー操作に応じて、車載機器を制御する制御コマンドを出力する出力部
をさらに備え、
前記出力部は、
前記車載機器から出力される音声の音量をジェスチャー操作に応じて調整すること
を特徴とする請求項４に記載の制御装置。
【請求項６】
画像データからユーザの特定部位を検出する検出工程と、
前記検出工程によって検出された特定部位に基づいて認識エリアを設定する設定工程と、
前記設定工程によって設定された認識エリア内のジェスチャー操作を認識する認識工程と
を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置および制御方法に関する。
【背景技術】
【０００２】
従来、車両内の車載機器に対するジェスチャー操作を受け付ける制御装置がある。かかる制御装置では、予め登録された乗員からのジェスチャー操作のみを受け付けることで、意図しない乗員からのジェスチャー操作を禁止することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２１３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、ジェスチャー操作の認識精度を向上させる点において、改善の余地があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、ジェスチャー操作の認識精度を向上させることができる制御装置および制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る制御装置は、検出部と、設定部と、認識部とを備える。前記検出部は、撮像画像からユーザの特定部位を検出する。前記設定部は、前記検出部によって検出された前記特定部位に基づいて認識エリアを設定する。前記認識部は、前記設定部によって設定された認識エリア内のジェスチャー操作を認識する。
【発明の効果】
【０００７】
本発明によれば、ジェスチャー操作の認識精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、制御装置の搭載例を示す図である。
【図１Ｂ】図１Ｂは、制御方法の概要を示す図である。
【図２】図２は、制御装置のブロック図である。
【図３】図３は、コマンド情報の具体例を示す図である。
【図４】図４は、調停情報の具体例を示す図である。
【図５】図５は、制御装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する制御装置および制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１０】
まず、図１Ａおよび図１Ｂを用いて、実施形態に係る制御装置および制御方法の概要について説明する。図１Ａは、制御装置の搭載例を示す図である。図１Ｂは、制御方法の概要を示す図である。
【００１１】
図１Ａに示すように、実施形態に係る制御装置１は、車両Ｃに搭載され、各種車載機器５０のユーザインターフェースとして機能する。具体的には、制御装置１は、カメラ１０によって撮像された撮像画像から乗員のジェスチャー操作を認識し、認識したジェスチャー操作に応じた制御コマンドを車載機器５０へ出力する。
【００１２】
ところで、ジェスチャー操作を認識する制御装置においては、予め設定されたジェスチャー操作を認識し、認識したジェスチャー操作に対応付けられた制御コマンドを出力するのが一般的である。しかしながら、制御装置では、乗員が意図して行っていない動作をジェスチャー操作として認識する場合がある。また、制御装置では、撮像画像全体をジェスチャー操作の認識対象とすると、ジェスチャー操作を認識する際の処理負荷が増加するため好ましくない。
【００１３】
そこで、実施形態に係る制御方法では、乗員の特定部位を認識し、認識した特定部位に基づき、ジェスチャー操作の認識対象となる認識エリアを設定することとした。具体的には、実施形態に係る制御方法では、図１Ｂに示すように、撮像画像Ｉからユーザの特定部位を検出する（ステップＳ１）。
【００１４】
図１Ｂに示す例では、特定部位が、ユーザの顔の各パーツ（耳、目、口等）である場合を示す。なお、特定部位は、特に限定されないが、例えば、手を用いたジェスチャー操作を認識する場合、手以外の部位であることが好ましい。
【００１５】
続いて、実施形態に係る制御方法では、検出した特定部位（パーツ）に基づいて認識エリアＲａを設定する（ステップＳ２）。
【００１６】
図１Ｂに示すように、認識エリアＲａは、ステップＳ１にて検出した各パーツの近傍に設定され、ジェスチャー操作の認識対象となるエリアである。言い換えれば、実施形態に係る制御方法では、撮像画像Ｉにおいて、認識エリアＲａ以外の領域をジェスチャー操作の認識対象から除外する。
【００１７】
そして、実施形態に係る制御方法では、ステップＳ２にて設定した認識エリアＲａにおいて、ユーザのジェスチャー操作を認識する（ステップＳ３）。例えば、実施形態に係る制御方法では、認識エリアＲａにおけるユーザの手の動きからジェスチャー操作を認識する。
【００１８】
つまり、実施形態に係る制御方法では、認識エリアＲａに限定してジェスチャー操作を認識する。これにより、実施形態に係る制御方法では、ユーザの意図しない動作に基づくジェスチャー操作の誤認識を抑制することができる。
【００１９】
したがって、実施形態に係る制御方法によれば、ジェスチャー操作の認識精度を向上させることが可能となる。
【００２０】
また、実施形態に係る制御方法では、認識エリアＲａを設定することで、撮像画像Ｉ全体からジェスチャー操作を認識する場合に比べて、ジェスチャー操作の認識処理に費やす処理負荷を抑えることも可能である。
【００２１】
さらに、実施形態に係る制御方法では、後述するように、ユーザの顔のパーツごとに認識エリアＲａを設定することもでき、認識エリアＲａ毎に異なる制御コマンドを対応付けることもできる。
【００２２】
言い換えれば、実施形態に係る制御方法では、ユーザの同じ動作をジェスチャー操作として認識した場合であっても、認識エリアＲａ毎に異なる制御コマンドを出力することができる。これにより、多様な制御コマンドを出力することが可能となる。
【００２３】
次に、図２を用いて実施形態に係る制御装置の構成例について説明する。図２は、制御装置のブロック図である。なお、図２には、カメラ１０および車載機器５０を併せて示す。
【００２４】
カメラ１０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラである。カメラ１０は、例えば、運転席を撮像するように、車両Ｃに設けられる。カメラ１０は、ドライバの顔の位置を撮像し、撮像した撮像画像Ｉを制御装置１へ随時出力する。
【００２５】
車載機器５０は、車両Ｃに搭載された各種機器である。以下では、車載機器５０が、オーディオ機能や、ハンズフリー通話機能等を備えたナビゲーション装置である場合について説明するが、車載機器５０は、エアコンなどその他の機器であってもよい。
【００２６】
図２に示すように、実施形態に係る制御装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、検出部２２と、設定部２３と、認識部２４と、出力部２５とを備える。記憶部３は、モデル情報３１、コマンド情報３２および調停情報３３を記憶する。
【００２７】
制御装置１は、たとえば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
【００２８】
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、検出部２２、設定部２３、認識部２４および出力部２５として機能する。
【００２９】
また、制御部２の取得部２１、検出部２２、設定部２３、認識部２４および出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３０】
また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、モデル情報３１、コマンド情報３２および調停情報３３や、各種プログラムの情報等を記憶することができる。なお、制御装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００３１】
モデル情報３１は、撮像画像Ｉから特定部位を識別するための特徴モデルに関する情報である。本実施形態においては、特定部位は、顔の各パーツであり、モデル情報３１は、顔の各パーツの特徴モデルに関する情報である。
【００３２】
コマンド情報３２は、ジェスチャー操作および制御コマンドが対応付けられた情報である。図３は、コマンド情報３２の具体例を示す図である。図３に示すように、コマンド情報３２は、「パーツ」、「ジェスチャー操作」および「制御コマンド」が互いに対応付けられた情報である。
【００３３】
「パーツ」は、顔のパーツを示し、各パーツに設定された認識エリアＲａを示す。図３に示す例では、パーツが、口、耳である場合を示す。「ジェスチャー操作」は、各パーツの認識エリアＲａにおいて、認識対象となるジェスチャー操作を示す。
【００３４】
図３に示すように、コマンド情報３２において、パーツ毎に異なるジェスチャー操作が対応付けられる。例えば、「口」には、口元で人差し指を立てる動作や、手のひらで口元を覆う動作がジェスチャー操作として対応付けられる。また、「耳」には、耳元を裏側から手のひらで覆う動作がジェスチャー操作として対応付けられる。
【００３５】
また、各ジェスチャー操作には、音量ダウン、ミュート、音量アップ、ミュート解除等の「制御コマンド」が対応付けられる。具体的には、「口」のジェスチャー操作には、音量ダウンや、ミュートなど、音量を下げるための制御コマンドが対応付けられており、「耳」のジェスチャー操作には、音量アップやミュート解除など、音量を上げるための制御コマンドが対応付けられる。
【００３６】
すなわち、ユーザは、一般的に用いられる静寂を促すジェスチャー操作を行うと、音量を下げることができる一方、聞こえにくいことを表すジェスチャー操作を行うと、音量を上げることができる。
【００３７】
つまり、音量に関する制御コマンドに、音量の上げ下げを直接的に連想するようなジェスチャー操作を対応付けることで、ユーザがジェスチャー操作に対応する制御コマンドを容易に覚えることができる。
【００３８】
言い換えれば、ユーザは、ジェスチャー操作によって意図する操作を容易に行うことが可能となる。なお、図３に示すコマンド情報３２は、一例であり、任意に変更することができる。また、図３の例において、ジェスチャー操作を行う手は、右手であってもよく、左手であってもよいし、あるいは、右手と左手とで異なる制御コマンドを対応付けることにしてもよい。
【００３９】
また、同一のジェスチャー操作であっても、「パーツ」によって異なる制御コマンドを対応付けることにしてもよいし、例えば、「パーツ」毎に、異なる機器への制御コマンドを対応付けることにしてもよい。これにより、多様な制御コマンドに応じたジェスチャー操作を受け付けることができる。
【００４０】
また、図３に示すように、本実施形態では、顔の各パーツに認識エリアＲａを設定する。顔のパーツは認識が容易であり、さらに、ユーザが手でジェスチャー操作を行うのが容易である。
【００４１】
つまり、顔のパーツは、認識エリアＲａの設定が容易であるとともに、ユーザが手で触れやすいエリアである。したがって、認識エリアＲａの誤設定の軽減および操作性の向上の双方に寄与することができる。
【００４２】
図２の説明に戻り、調停情報３３について説明する。調停情報３３は、車載機器５０が出力する音声の優先度に関する情報であり、上述の制御コマンドの制御対象となる音声に関する情報である。
【００４３】
図４は、調停情報３３の具体例を示す図である。図４に示すように、調停情報３３は、「状態」、「割込み」、「制御対象」、「制御コマンド」が互いに対応付けられた情報である。
【００４４】
「状態」は、現在出力中の音声種別を示し、「割込み」は、現在出力中の音声種別に対して割込みで出力する音声種別を示す。「制御対象」は、制御コマンドの制御対象となる音声種別を示し、「制御コマンド」は、制御対象に対して有効となる制御コマンドを示す。
【００４５】
例えば、図４に示す例では、オーディオ音声の出力中に割込みなしの場合、制御対象は、オーディオ音声であり、制御コマンドは、ミュート、ミュート解除、音量アップ、音量ダウンが共に有効となる。
【００４６】
また、ＨＦ（ハンズフリー）通話の着信音を出力中に、割込みなしの場合、制御対象は、ＨＦ通話（着信）であり、制御コマンドは、ミュートのみが有効となる。また、オーディオ音声を出力中に、ＨＦ電話（着信）の割込みが入った場合、制御対象は、ＨＦ電話（着信）であり、制御コマンドは、ミュートのみが有効となる。
【００４７】
後述するように、出力部２５は、調停情報３３を参照し、制御対象および制御コマンドを確認したうえで、制御コマンドを車載機器５０へ出力することになる。なお、本実施形態において、ナビゲーション装置のガイダンス音声や、警告音等については、上記の制御対象から除外することにしてもよい。
【００４８】
図２の説明に戻り、制御部２の各構成について説明する。制御部２の取得部２１は、カメラ１０から入力される撮像画像Ｉを取得する。取得部２１は、撮像画像Ｉの取得毎に、検出部２２へ出力する。
【００４９】
検出部２２は、取得部２１によって取得された撮像画像Ｉからユーザの特定部位を検出する。上述のように、カメラ１０は、ドライバの顔を撮像する位置に設けられる。このため、検出部２２は、ユーザの特定部位として、ドライバの顔の各パーツを検出する。
【００５０】
すなわち、本実施形態において、ジェスチャー操作の対象者がドライバである。これにより、ドライバは、車両を運転操作中であっても、容易に車載機器をジェスチャー操作にて操作することが可能となる。
【００５１】
具体的には、検出部２２は、モデル情報３１を参照し、各パーツの特徴点を撮像画像Ｉから抽出することで、各パーツを検出する。検出部２２は、検出した各パーツの位置に関する情報を撮像画像Ｉに対応付けて設定部２３へ渡す。なお、検出部２２が検出する特定部位は、顔のパーツに限られず、顔以外の部位であってもよいし、顔全体を１つの特定部位として検出することにしてもよい。
【００５２】
設定部２３は、検出部２２によって検出された特定部位に基づいて認識エリアＲａを設定する。具体的には、設定部２３は、例えば、特定部位として、顔の各パーツを中心とする所定領域に認識エリアＲａを設定する。
【００５３】
そして、設定部２３は、設定した認識エリアＲａに顔のパーツを示す識別子を付与し、撮像画像Ｉとともに、認識部２４へ渡す。
【００５４】
認識部２４は、設定部２３によって設定された認識エリアＲａにおけるジェスチャー操作を認識する。具体的には、認識部２４は、各認識エリアＲａにおいて認識対象となるジェスチャー操作を撮像画像Ｉから認識した場合に、かかるジェスチャー操作を認識する。一方で、認識部２４は、各認識エリアＲａにおいて、認識対象外のジェスチャー操作は認識しない。
【００５５】
すなわち、認識部２４は、撮像画像Ｉにおいて、認識エリアＲａ外のジェスチャー操作や、認識エリアＲａであっても、かかる認識エリアＲａにおいて認識対象外のジェスチャー操作を認識しない。
【００５６】
つまり、認識部２４は、認識エリアＲａ毎に異なるジェスチャー操作を認識することで、認識エリアＲａと、認識エリアＲａに紐付けられたジェスチャー操作とが共に合致するジェスチャー操作のみを認識する。
【００５７】
これにより、認識部２４は、ユーザの意図しない動作をジェスチャー操作として認識する誤認識を抑えることが可能となる。また、認識部２４は、各認識エリアＲａのみにおいて、認識処理を行えばよいので、撮像画像Ｉ全体で認識処理を行う場合に比べて処理負荷を抑えることも可能である。
【００５８】
また、認識部２４は、ジェスチャー操作を所定時間（例えば、３秒間）続けて認識したジェスチャー操作のみを認識結果とすることにしてもよい。これは、認識エリアＲａにおいて、ユーザが偶然行った動作に対するジェスチャー動作の誤認識を防ぐためである。
【００５９】
これにより、認識部２４は、ユーザが意図して行ったジェスチャー操作のみを認識することできるので、ジェスチャー操作の認識精度を向上させることができる。
【００６０】
出力部２５は、認識部２４によって認識されたジェスチャー操作に応じた制御コマンドを車載機器５０へ出力する。具体的には、出力部２５は、コマンド情報３２を参照し、認識部２４によって認識されたジェスチャー操作に応じた制御コマンドを選択する。
【００６１】
続いて、出力部２５は、車載機器５０が現在出力中の音声種別に関する情報を取得し、調停情報３３に基づいて制御対象や、有効である制御コマンドを確認する。そして、出力部２５は、コマンド情報３２から選択した制御コマンドが有効である場合に、制御対象宛ての制御コマンドを出力する。
【００６２】
すなわち、図４に示したように、オーディオ音声を再生中に割込みなしの状況において、オーディオ音声が制御対象であり、全ての制御コマンドが有効であるものの、ＨＦ電話の着信音を再生中に割込みなしの状況においては、ミュートの制御コマンドのみが有効となる。
【００６３】
このため、出力部２５は、ＨＦ電話の着信音を再生中に割込みなしの状況においては、認識部２４がミュートに対応するジェスチャー操作を認識した場合にのみ、制御コマンドを車載機器５０へ出力する。
【００６４】
また、出力部２５は、図４に示したように、オーディオ音声を再生中にＨＦ電話の着信が割込みで入った場合、ＨＦ電話の着信音に対してミュートをかける制御コマンドを車載機器５０へ出力することとなる。
【００６５】
このように、出力部２５は、車載機器５０が現在出力中の音声種別に応じて、制御対象や制御コマンドを選択して出力することで、ユーザは同じジェスチャー操作で複数の制御対象を容易に操作することが可能となる。したがって、ユーザビリティを向上させることが可能となる。
【００６６】
次に、図５を用いて実施形態に係る制御装置１が実行する処理手順について説明する。図５は、制御装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御部２によって繰り返し実行される。
【００６７】
図５に示すように、制御装置１は、まず、カメラ１０から撮像画像Ｉの取得を開始すると（ステップＳ１０１）、各撮像画像Ｉからユーザの特定部位を検出する（ステップＳ１０２）。
【００６８】
続いて、制御装置１は、特定部位に基づいて認識エリアＲａを設定し（ステップＳ１０３）、ジェスチャー操作の認識を開始したか否かを判定する（ステップＳ１０４）。制御装置１は、ジェスチャー操作の認識を開始した場合（ステップＳ１０４，Ｙｅｓ）、認識開始から所定時間経過したか否かを判定する（ステップＳ１０５）。
【００６９】
制御装置１は、所定時間経過したと判定した場合（ステップＳ１０５，Ｙｅｓ）、ジェスチャー操作が継続中か否かを判定する（ステップＳ１０６）。制御装置１は、ジェスチャー操作が継続中であった場合（ステップＳ１０６，Ｙｅｓ）、ジェスチャー操作として認識する（ステップＳ１０７）。
【００７０】
続いて、制御装置１は、車載機器５０で現在出力中の音声種別に関する情報を取得し（ステップＳ１０８）、ステップＳ１０７にて認識したジェスチャー操作および調停情報３３に基づき、制御コマンド、制御対象を選択する（ステップＳ１０９）。
【００７１】
そして、制御装置１は、車載機器５０へ制御コマンドを出力し（ステップＳ１１０）、処理を終了する。また、制御装置１は、ステップＳ１０４の判定でジェスチャー操作の認識を開始していない場合や（ステップＳ１０４，Ｎｏ）、ステップＳ１０６の判定でジェスチャー操作が継続中でない場合（ステップＳ１０６，Ｎｏ）、その時点で処理を終了する。
【００７２】
また、制御装置１は、ステップＳ１０５の判定において、所定時間経過していない場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０５の処理を継続して行う。
【００７３】
上述したように、実施形態に係る制御装置１は、検出部２２と、設定部２３と、認識部２４とを備える。検出部２２は、撮像画像Ｉからユーザの特定部位を検出する。設定部２３は、検出部２２によって検出された特定部位に基づいて認識エリアＲａを設定する。
【００７４】
認識部２４は、設定部２３によって設定された認識エリアＲａ内のジェスチャー操作を認識する。したがって、実施形態に係る制御装置１によれば、ジェスチャー操作の認識精度を向上させることができる。
【００７５】
ところで、上述した実施形態では、制御装置１が、車両Ｃにおいてドライバのジェスチャー操作を認識する場合について説明したが、これに限定されるものではない。すなわち、制御装置１は、車両Ｃ以外に搭載されることにしてもよいし、あるいは、車載機器５０以外を制御することにしてもよい。
【００７６】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
【符号の説明】
【００７７】
１    制御装置
１０    カメラ
２１    取得部
２２    検出部
２３    設定部
２４    認識部
２５    出力部
Ｉ    撮像画像
Ｒａ    認識エリア
【図１Ａ】
2020144551.tif 000003
【図１Ｂ】
2020144551.tif 000004
【図２】
2020144551.tif 000005
【図３】
2020144551.tif 000006
【図４】
2020144551.tif 000007
【図５】
2020144551.tif 000008