(57)【要約】      （修正有）【課題】カメラ画像の処理負荷低減が可能な画像認識装置を提供する。【解決手段】画像認識装置は、背景を含む撮像対象を撮影する撮像部と、撮像部で撮像された撮像画像１０１から特定ポイント２０１、２０２を抽出する抽出部と、抽出された特定ポイント２０１、２０２を基準にして、撮像画像１０１の領域内で認識領域１１０を設定し、認識領域１１０において画像処理を実行する処理部と、を含んで構成される。【選択図】図３
2018206294.tif 000002
【特許請求の範囲】
【請求項１】
背景を含む撮像対象を撮影する撮像部と、
前記撮像部で撮像された撮像画像から特定ポイントを抽出する抽出部と、
抽出された前記特定ポイントを基準にして、前記撮像画像の領域内で認識領域を設定し、前記認識領域において画像処理を実行する処理部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記撮像部は、所望の認識領域よりも大きい撮像領域を設定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記撮像領域と前記認識領域との関係は、複数パターンに設定されていることを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記特定ポイントは、車両の車室内構造物位置であることを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、カメラ画像の画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、撮像手段による操作物体及び可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、位置特定手段によって特定された両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、同期移動判定手段によって肯定的な判定結果が得られた場合に、操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段と、を備えてジェスチャ認識を行なう画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、認識対象物を確実に抽出し、ジェスチャ認識を行なうことができるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置では、撮像された領域全体に対して認識処理を行うので処理負荷が大きいという問題があった。
【０００６】
したがって、本発明の目的は、カメラ画像の処理負荷低減が可能な画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、背景を含む撮像対象を撮影する撮像部と、前記撮像部で撮像された撮像画像から特定ポイントを抽出する抽出部と、抽出された前記特定ポイントを基準にして、前記撮像画像の領域内で認識領域を設定し、前記認識領域において画像処理を実行する処理部と、を有することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記撮像部は、所望の認識領域よりも大きい撮像範囲を設定することを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記撮像範囲と前記認識領域との関係は、複数パターンに設定されていることを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１０】
［４］また、前記特定ポイントは、車両の車室内構造物位置であることを特徴とする上記［１］から［３］のいずれか１に記載の画像認識装置であってもよい。
【発明の効果】
【００１１】
本発明の画像認識装置によれば、カメラ画像の処理負荷低減が可能な画像認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像認識装置が搭載された車両内部の一例を示す概略図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置の構成の一例を示す構成ブロック図である。
【図３】図３（ａ）は、撮像部により撮像された撮像領域と、特定ポイントを基準として設定された認識領域を示す写真画像であり、図３（ｂ）は、撮像部により撮像された撮像領域と、特定ポイントを基準として設定された認識領域を示す、図３（ａ）の座標図である。
【図４】図４は、本発明の実施の形態に係る画像認識装置における画像処理部の処理のフローを示す図である。
【図５】図５は、撮像部の取り付け誤差が大きい場合に撮像された写真画像であり、図３（ａ）と同様に、撮像領域、特定ポイントを基準として設定された認識領域を示す写真画像である。
【発明を実施するための形態】
【００１３】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、背景を含む撮像対象を撮影する撮像部１０と、撮像部１０で撮像された撮像画像１０１から特定ポイント２０１、２０２を抽出する抽出部２４と、抽出された特定ポイント２０１、２０２を基準にして、撮像画像１０１の領域内で認識領域１１０を設定し、認識領域１１０において画像処理を実行する処理部２６と、を有して構成されている。
【００１４】
図１は、本発明の実施の形態に係る画像認識装置が搭載された車両内部の一例を示す概略図である。また、図２は、本発明の実施の形態に係る画像認識装置の構成の一例を示す構成ブロック図である。図２に示すように、本発明の実施の形態に係る画像認識装置１は、撮像部１０と、画像処理部２０（画像取得部２２、抽出部２４、及び処理部２６）から概略構成されている。
【００１５】
（撮像部１０）
撮像部１０は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。この撮像部１０は、一例として、図１（ａ）に示すように、車両８の運転席と助手席の間のフロアコンソール８０ａに配置されたタッチパッド８８の近傍に配置されている。従って撮像範囲１５は、タッチパッド８８の上方の領域である。撮像部１０は、例えば、タッチパッド８８の上方において行われた操作者の手指によるジェスチャ動作を撮像する。また、この撮像部１０は、例えば、近赤外線を撮像範囲１５方向に照射して撮像するように構成されている。
【００１６】
撮像部１０は、図２に示すように、例えば、カメラ基板１２にカメラ素子１１が実装され、また、カメラ素子１１の前面にはフィルタ１３が取り付けられている。これら、カメラ素子１１、カメラ基板１２、及びフィルタ１３は、一体として組み立てられて撮像部１０を構成している。撮像部１０は、図１に示したように、例えば、撮像範囲１５を上方向にして、フロアコンソール８０ａに上向きに配置される。
【００１７】
なお、撮像部１０の配置は、フロアコンソール８０ａに限定されず、例えば、表示装置８７の正面においてなされたジェスチャを撮像できるようにセンターコンソール８０ｂなどであっても良い。
【００１８】
撮像部１０は、周期的に撮像範囲１５を撮像し、撮像した画像の情報として画像情報Ｓを生成して画像処理部２０に出力する。この撮像範囲１５を撮像した画像は、一例として、図３（ａ）に示す撮像領域１００に対応する撮像画像１０１である。撮像領域１００は、画像処理を行なう所望の認識領域１１０よりも大きい撮像領域として予め設定されている。
【００１９】
（画像処理部２０）
画像処理部２０は、画像取得部２２、抽出部２４、及び処理部２６により概略構成されている。画像処理部２０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部２０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部２０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２０】
（画像取得部２２）
画像取得部２２は、撮像部１０のカメラ素子１１に対してカメラ基板１２を介して、画像情報Ｓを取得する。画像情報Ｓから撮像画像１０１が生成される。
【００２１】
（抽出部２４）
抽出部２４は、図３（ａ）に示す撮像画像１０１から、特定ポイント２０１、２０２を抽出する。特定ポイントは、少なくとも１点抽出するが、本実施の形態では、２点の特定ポイントを抽出する。
【００２２】
ここで、図３（ａ）は、撮像部により撮像された撮像領域と、特定ポイントを基準として設定された認識領域を示す写真画像であり、図３（ｂ）は、撮像部により撮像された撮像領域と、特定ポイントを基準として設定された認識領域を示す、図３（ａ）の座標図である。
【００２３】
図３（ａ）に示すように、撮像領域１００は、画像処理を行なう所望の認識領域１１０よりも大きい撮像範囲として予め設定されている。
【００２４】
また、特定ポイントは、車両の場合は、車両８の車室内構造物位置とすることができる。例えば、特定ポイントとして、ルームミラー、フロントウインドウ部、シートベルト等の特定部位を設定することができる。あるいは、車室内にマーク（目立たないもの）を設置してもよい。
【００２５】
上記示した特定ポイントは、配置された撮像部１０が撮像する背景画像３００の中に含まれている必要があり、さらに、撮像部１０が撮像する撮像対象、例えば、ジェスチャ動作する操作者の手指に隠れにくい位置に設定しておくのが好ましい。
【００２６】
抽出部２４は、例えば、公知のパターンマッチング手法により、特定ポイントを抽出することができる。例えば、ルームミラー、フロントウインドウ部、シートベルト等の特定部位の形状を２値画像でテンプレートをして設定しておく。抽出部２４は、撮像領域１００の画像を２値画像として、上記のテンプレートを用いて、パターンマッチングを行なう。
【００２７】
図３（ｂ）に示すように、上記のような手順で抽出された特定ポイント２０１の座標を（ＸＰ１、ＹＰ１）、特定ポイント２０２の座標を（ＸＰ２、ＹＰ２）とする。
【００２８】
処理部２６は、特定ポイント（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）を基準にして、認識領域１１０を設定する。図３（ｂ）に示すように、認識領域１１０は、特定ポイント（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）を基準にして、所定の位置関係で設定される。この認識領域１１０は、画像処理を行なう所望の画像範囲であり、（Ｘ１、Ｙ１）、（Ｘ２、Ｙ１）、（Ｘ１、Ｙ２）、（Ｘ２、Ｙ２）の矩形範囲内として設定できる。さらに、この認識領域１１０は、撮像領域１００の内部に含まれるように設定されている。これにより、撮像部１０の取り付け誤差等によらずに、画像処理を行なう所望の認識領域１１０が取得されることになる。
【００２９】
処理部２６は、認識領域１１０の画像１１１について画像処理を実行することができる。画像処理の一例としては、２値化処理、パターンマッチングによる形状抽出、また抽出された形状に基づくジェスチャ判定、等である。
【００３０】
（画像認識装置の動作）
図４は、本発明の実施の形態に係る画像認識装置における画像処理部の処理のフローを示す図である。
【００３１】
撮像部１０は、撮像領域１００の撮像画像１０１を取得する（ステップＳ１）。撮像部１０は、撮像範囲１５を撮像し、撮像した画像の情報として画像情報Ｓを生成して画像処理部２０に出力する。この撮像範囲１５を撮像した画像は、一例として、図３（ａ）に示す撮像画像１０１である。
【００３２】
画像処理部２０において、抽出部２４は、特定ポイントを抽出する（ステップＳ２）。抽出部２４は、例えば、公知のパターンマッチング手法により、特定ポイントを抽出する。特定ポイントは、図３（ｂ）に示したように、例えば、（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）の２点として抽出される。
【００３３】
画像処理部２０において、処理部２６は、特定ポイント（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）を基準にして、認識領域１１０を設定する（ステップＳ３）。この認識領域１１０は、画像処理を行なう所望の画像範囲であり、（Ｘ１、Ｙ１）、（Ｘ２、Ｙ１）、（Ｘ１、Ｙ２）、（Ｘ２、Ｙ２）の矩形範囲内として設定される。
【００３４】
処理部２６は、認識領域１１０の画像１１１について画像処理を実行する（ステップＳ４）。画像処理の一例としては、２値化処理、パターンマッチングによる形状抽出、また抽出された形状に基づくジェスチャ判定、等である。これらの画像処理は、認識領域１１０として設定された所望の画像範囲内で実行されるので、処理負荷を低減できる。すなわち、撮像画像１０１から特定ポイントを基準にして所望の画像範囲として適切に限定した認識領域１１０の画像１１１について画像処理を実行するので、無駄な領域についての処理を実行する必要がなく、処理負荷が低減できる。
【００３５】
上記の画像認識装置の動作は、必要に応じて実行され、また、繰り返して実行することができる。
【００３６】
（撮像部１０の取り付け誤差が大きい場合の例）
図５は、撮像部の取り付け誤差が大きい場合に撮像された写真画像であり、図３（ａ）と同様に、撮像領域、特定ポイントを基準として設定された認識領域を示す写真画像である。
【００３７】
図５で示す撮像画像１０２は、図３（ａ）で示した撮像画像１０１に対して、全体的に左側にずれている。これは、撮像部１０の取り付け誤差が大きいためである。
【００３８】
しかし、画像処理部２０の抽出部２４は、取り付け誤差が大きい撮像部１０で撮像した撮像画像１０２に基づいて、特定ポイント２１１、２１２を抽出する。そして、この特定ポイント２１１、２１２を基準にして、認識領域１２０を設定する。
【００３９】
撮像領域は、画像処理を行なう所望の認識領域よりも大きい撮像範囲として予め設定されているため、図５で示す認識領域１２０は、画像処理を行なう所望の認識領域とすることができる。したがって、撮像部１０の取り付け誤差が大きい場合でも、所望の認識範囲をカバーできる。
【００４０】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、背景を含む撮像対象を撮影する撮像部１０と、撮像部１０で撮像された撮像画像１０１から特定ポイント２０１、２０２を抽出する抽出部２４と、抽出された特定ポイント２０１、２０２を基準にして、撮像画像１０１の領域内で認識領域１１０を設定し、認識領域１１０において画像処理を実行する処理部２６と、を有して構成されている。抽出された特定ポイント２０１、２０２を基準にして撮像画像１０１の領域内で認識領域１１０を設定し、認識領域１１０において画像処理を実行するので、処理負荷を低減できる。すなわち、撮像範囲から処理領域を適切に限定することで、処理負荷を低減できる。
（２）上記の撮像部１０の設定において、撮像領域は、画像処理を行なう所望の認識領域よりも大きい撮像領域として予め設定され、所望の認識範囲より広く撮像領域を設定することで、カメラ取付誤差が発生しても所望の認識範囲をカバーできる。
（３）撮像範囲あるいは撮像領域と認識領域との関係は、複数パターンに設定することができる。例えば、本実施の形態を車両に適用する場合に、種々の車両に対応させて撮像範囲あるいは撮像領域と認識領域を設定することができる。このようにすることにより、車種毎に認識領域を設定して処理領域を適切に限定できるので、車種違いにも対応することが可能となる。
【００４１】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４２】
１…画像認識装置、８…車両、１０…撮像部、１１…カメラ素子、１２…カメラ基板、１３…フィルタ、１５…撮像範囲、２０…画像処理部、２２…画像取得部、２４…抽出部、２６…処理部、８０ａ…フロアコンソール、８０ｂ…センターコンソール、８７…表示装置、８８…タッチパッド、１００…撮像領域、１０１、１０２…撮像画像、１１０、１２０…認識領域、１１１…画像、２０１、２０２、２１１…特定ポイント、３００…背景画像
【図１】
2018206294.tif 000003
【図２】
2018206294.tif 000004
【図３】
2018206294.tif 000005
【図４】
2018206294.tif 000006
【図５】
2018206294.tif 000007