(57)【要約】      （修正有）【課題】撮像部の取り付け誤差があっても、認識精度が高い画像認識装置を提供する。【解決手段】画像認識装置は、背景を含む撮像対象を撮影する撮像部１０と、撮像部１０の撮像姿勢を変更する駆動機構部１４と、撮像部１０で撮像された撮像画像から目標点を抽出する抽出部２４と、駆動機構部１４を駆動制御し、抽出された目標点を基準位置に移動させて、移動の後の撮像画像において画像処理を実行する処理部２６と、を含んで構成される。【選択図】図２
2018206295.tif 000002
【特許請求の範囲】
【請求項１】
背景を含む撮像対象を撮影する撮像部と、
前記撮像部の撮像姿勢を変更する駆動機構部と、
前記撮像部で撮像された撮像画像から目標点を抽出する抽出部と、
前記駆動機構部を駆動制御し、抽出された前記目標点を基準位置に移動させて、前記移動の後の撮像画像において画像処理を実行する処理部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記駆動機構部は、前記撮像部の位置移動又は回転移動により前記撮像姿勢を変更して、前記目標点が基準位置に撮像されるように制御することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記目標点は、車両の車室内構造物位置であることを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記目標点は、車種ごとに設定されていることを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、カメラ画像の画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、撮像手段による操作物体及び可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、位置特定手段によって特定された両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、同期移動判定手段によって肯定的な判定結果が得られた場合に、操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段と、を備えてジェスチャ認識を行なう画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、認識対象物を確実に抽出し、ジェスチャ認識を行なうことができるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置では、撮像手段であるカメラの撮像領域が固定されている。このため、例えば、カメラを車両に取付ける際に、組付け誤差が生じて認識領域がズレたり、取り付け車種が違うと取り付け位置自体が変って認識領域がズレたりすることで、認識精度や利便性が低下するという問題があった。
【０００６】
したがって、本発明の目的は、撮像部の取り付け誤差があっても、認識精度が高い画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、背景を含む撮像対象を撮影する撮像部と、前記撮像部の撮像姿勢を変更する駆動機構部と、前記撮像部で撮像された撮像画像から目標点を抽出する抽出部と、前記駆動機構部を駆動制御し、抽出された前記目標点を基準位置に移動させて、前記移動の後の撮像画像において画像処理を実行する処理部と、を有することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記駆動機構部は、前記撮像部の位置移動又は回転移動により前記撮像姿勢を変更して、前記目標点が基準位置に撮像されるように制御することを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記目標点は、車両の車室内構造物位置であることを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１０】
［４］また、前記目標点は、車種ごとに設定されていることを特徴とする上記［１］から［３］のいずれか１に記載の画像認識装置であってもよい。
【発明の効果】
【００１１】
本発明の画像認識装置によれば、撮像部の取り付け誤差があっても、認識精度が高い画像認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像認識装置が搭載された車両内部の一例を示す概略図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置の構成の一例を示す構成ブロック図である。
【図３】図３は、撮像姿勢の変更として、撮像部のＸ、Ｙ、Ｚ方向への移動、また、各Ｘ、Ｙ、Ｚ軸まわりの回転移動α、β、γを示す図である。
【図４】図４（ａ）は、撮像部により撮像された撮像領域の写真画像と、基準点、及び抽出された目標点の位置を示す図であり、図４（ｂ）は、目標点を基準点のＸ位置に移動させた図であり、図４（ｃ）は、目標点を基準点のＹ位置に移動させて、目標点を基準点に一致させた図である。
【図５】図５は、本発明の実施の形態に係る画像認識装置における画像処理部の処理のフローを示す図である。
【発明を実施するための形態】
【００１３】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、背景を含む撮像対象を撮影する撮像部１０と、撮像部１０の撮像姿勢を変更する駆動機構部１４と、撮像部１０で撮像された撮像画像から目標点を抽出する抽出部２４と、駆動機構部１４を駆動制御し、抽出された目標点を基準位置に移動させて、移動の後の撮像画像において画像処理を実行する処理部２６と、を有して構成されている。
【００１４】
図１は、本発明の実施の形態に係る画像認識装置が搭載された車両内部の一例を示す概略図である。また、図２は、本発明の実施の形態に係る画像認識装置の構成の一例を示す構成ブロック図である。図２に示すように、本発明の実施の形態に係る画像認識装置１は、撮像部１０、画像処理部２０（画像取得部２２、抽出部２４、及び処理部２６）、及び駆動回路３０から概略構成されている。
【００１５】
（撮像部１０）
撮像部１０は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。この撮像部１０は、一例として、図１（ａ）に示すように、車両８の運転席と助手席の間のフロアコンソール８０ａに配置されたタッチパッド８８の近傍に配置されている。従って撮像範囲１５は、タッチパッド８８の上方の領域である。撮像部１０は、例えば、タッチパッド８８の上方において行われた操作者の手指によるジェスチャ動作を撮像する。また、この撮像部１０は、例えば、近赤外線を撮像範囲１５方向に照射して撮像するように構成されている。
【００１６】
撮像部１０は、図２に示すように、例えば、カメラ基板１２にカメラ素子１１が実装され、また、カメラ素子１１の前面にはフィルタ１３が取り付けられている。これら、カメラ素子１１、カメラ基板１２、及びフィルタ１３は、一体として組み立てられている。
【００１７】
撮像部１０は、駆動機構部１４を有しており、カメラ素子１１、カメラ基板１２、及びフィルタ１３は一体化した固定体として、駆動機構部１４により、その撮像姿勢を変更することができる。
【００１８】
図３は、撮像姿勢の変更として、撮像部のＸ、Ｙ、Ｚ方向への移動、また、各Ｘ、Ｙ、Ｚ軸まわりの回転移動α、β、γを示す図である。カメラ素子１１、カメラ基板１２、及びフィルタ１３は、一体として、Ｘ、Ｙ、Ｚ方向への移動、また、各Ｘ、Ｙ、Ｚ軸まわりの回転移動α、β、γが可能とされている。すなわち、カメラ素子１１、カメラ基板１２、及びフィルタ１３は、一体として、駆動機構部１４により、Ｘ、Ｙ、Ｚ方向へ移動可能に支持され、また、各Ｘ、Ｙ、Ｚ軸まわりの回転移動α、β、γが可能に回転支持されている。
【００１９】
撮像部１０は、図１に示したように、例えば、撮像範囲１５を上方向にして、フロアコンソール８０ａに上向きに配置される。なお、撮像部１０の配置は、フロアコンソール８０ａに限定されず、例えば、表示装置８７の正面においてなされたジェスチャを撮像できるようにセンターコンソール８０ｂなどであっても良い。
【００２０】
撮像部１０は、周期的に撮像範囲１５を撮像し、撮像した画像の情報として画像情報Ｓを生成して画像処理部２０に出力する。この撮像範囲１５を撮像した画像は、一例として、図４（ａ）、（ｂ）に示す撮像画像１００、図４（ｃ）に示す撮像画像１１０である。
【００２１】
（駆動機構部１４）
駆動機構部１４は、撮像姿勢の変更として、図３で示すＸ、Ｙ、Ｚ方向への移動、また、各Ｘ、Ｙ、Ｚ軸まわりの回転移動α、β、γ(ピッチ角、ヨ一角、ロール角)を可能とするアクチュエータ（図示省略）をそれぞれに備えている。上記のアクチュエータは、Ｘ、Ｙ、Ｚ方向、各Ｘ、Ｙ、Ｚ軸まわりの回転方向α、β、γに可変できる構成とされ、例えば、ピエゾ素子を使用することができる。アクチュエータは、印加する電圧を変化させることによって駆動機構部１４を駆動することができる。ピエゾ素子（電歪素子）としては、例えば、積層型、バイモルフ型のものが使用可能である。なお、上記のアクチュエータは、ピエゾ素子には限られず、例えば、モータ、ソレノイド等の駆動素子でも使用可能である。
【００２２】
（画像処理部２０）
画像処理部２０は、画像取得部２２、抽出部２４、及び処理部２６により概略構成されている。画像処理部２０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部２０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部２０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２３】
（画像取得部２２）
画像取得部２２は、撮像部１０のカメラ素子１１に対してカメラ基板１２を介して、画像情報Ｓを取得する。画像情報Ｓから撮像画像１００が生成される。
【００２４】
（抽出部２４）
図４（ａ）は、撮像部により撮像された撮像領域の写真画像と、基準点、及び抽出された目標点の位置を示す図であり、図４（ｂ）は、目標点を基準点のＸ位置に移動させた図であり、図４（ｃ）は、目標点を基準点のＹ位置に移動させて、目標点を基準点に一致させた図である。
【００２５】
抽出部２４は、図４（ａ）に示す撮像画像１００から、目標点２１０を抽出する。目標点は、少なくとも１点抽出する。目標点は、車両の場合は、車両８の車室内構造物位置とすることができる。例えば、目標点として、ルームミラー、フロントウインドウ部、シートベルト等の特定部位を設定することができる。あるいは、車室内にマーク（目立たないもの）を設置してもよい。
【００２６】
上記示した目標点２１０は、配置された撮像部１０が撮像する背景画像３００の中に含まれている必要があり、さらに、撮像部１０が撮像する撮像対象、例えば、ジェスチャ動作する操作者の手指に隠れにくい位置に設定しておくのが好ましい。
【００２７】
抽出部２４は、例えば、公知のパターンマッチング手法により、目標点２１０を抽出することができる。例えば、ルームミラー、フロントウインドウ部、シートベルト等の特定部位の形状を２値画像でテンプレートをして設定しておく。抽出部２４は、撮像画像１００の画像を２値画像として、上記のテンプレートを用いて、パターンマッチングを行なう。
【００２８】
図４（ａ）に示すように、上記のような手順により、目標点２１０は、座標（Ｘ１、Ｙ１）として抽出される。
【００２９】
処理部２６は、撮像部１０の撮像姿勢を変更させて、抽出された目標点（Ｘ１、Ｙ１）を、基準位置（Ｘ０、Ｙ０）に移動させる。例えば、図４（ｂ）に示すように、Ｘ方向の差分（Ｘ１−Ｘ０）に基づいて、駆動回路３０及び駆動機構部１４を介してカメラ素子１１、カメラ基板１２、及びフィルタ１３を一体的にＸ方向に駆動して基準位置Ｘ０に移動させる。さらに、図４（ｃ）に示すように、Ｙ方向の差分（Ｙ１−Ｙ０）に基づいて、駆動回路３０及び駆動機構部１４を介してカメラ素子１１、カメラ基板１２、及びフィルタ１３を一体的にＹ方向に駆動して基準位置Ｙ０に移動させる。
【００３０】
なお、上記示した目標点（Ｘ１、Ｙ１）を基準位置（Ｘ０、Ｙ０）に移動させる手順は一例である。例えば、Ｘ、Ｙ、Ｚ方向への移動と回転移動α、β、γ(ピッチ角、ヨ一角、ロール角)を組み合わせることによって、目標点（Ｘ１、Ｙ１）を基準位置（Ｘ０、Ｙ０）に移動させるようにしてもよい。また、移動、回転は互いに連動するので、目標点（Ｘ１、Ｙ１）が基準位置（Ｘ０、Ｙ０）の所定範囲内に収束するまで、繰り返して撮像部１０の撮像姿勢制御を行なってもよい。
【００３１】
目標点（Ｘ１、Ｙ１）を基準位置（Ｘ０、Ｙ０）に移動させることにより、所望の認識領域について画像処理を行なうことができる。
【００３２】
処理部２６は、図４（ｃ）に示すように、移動の後の撮像画像１１０において画像処理を実行することができる。画像処理の一例としては、２値化処理、パターンマッチングによる形状抽出、また抽出された形状に基づくジェスチャ判定、等である。
【００３３】
（画像認識装置の動作）
図５は、本発明の実施の形態に係る画像認識装置における画像処理部の処理のフローを示す図である。
【００３４】
撮像部１０は、撮像画像１００を取得する（ステップＳ１）。撮像部１０は、撮像範囲１５を撮像し、撮像した画像の情報として画像情報Ｓを生成して画像処理部２０に出力する。この撮像範囲１５を撮像した画像は、一例として、図４（ａ）に示す撮像画像１００である。
【００３５】
画像処理部２０において、抽出部２４は、目標点を抽出する（ステップＳ２）。抽出部２４は、例えば、公知のパターンマッチング手法により、目標点を抽出する。目標点は、図４（ｂ）に示したように、例えば、（Ｘ１、Ｙ１）として抽出される。
【００３６】
処理部２６は、撮像部１０の撮像姿勢を変更させて、抽出された目標点Ｘ１を、基準位置Ｘ０に移動させる（ステップＳ３）。例えば、図４（ｂ）に示すように、Ｘ方向の差分（Ｘ１−Ｘ０）に基づいて、駆動回路３０及び駆動機構部１４を介してカメラ素子１１、カメラ基板１２、及びフィルタ１３を一体的にＸ方向に駆動して基準位置Ｘ０に移動させる。
【００３７】
次に、処理部２６は、撮像部１０の撮像姿勢を変更させて、抽出された目標点Ｙ１を、基準位置Ｙ０に移動させる（ステップＳ４）。例えば、図４（ｃ）に示すように、Ｙ方向の差分（Ｙ１−Ｙ０）に基づいて、駆動回路３０及び駆動機構部１４を介してカメラ素子１１、カメラ基板１２、及びフィルタ１３を一体的にＹ方向に駆動して基準位置Ｙ０に移動させる。
【００３８】
処理部２６は、図４（ｃ）に示すように、移動の後の撮像画像１１０を取得して、画像処理を実行する（ステップＳ５）。画像処理の一例としては、２値化処理、パターンマッチングによる形状抽出、また抽出された形状に基づくジェスチャ判定、等である。これらの画像処理は、目標点（Ｘ１、Ｙ１）が基準位置（Ｘ０、Ｙ０）に一致した状態で実行される。したがって、所望の画像範囲内で画像処理を実行できるので、処理負荷を低減できる。すなわち、撮像画像１１０から目標点、基準位置を基準にして所望の画像範囲として適切に限定した撮像画像１１０について画像処理を実行するので、無駄な領域についての処理を実行する必要がなく、処理負荷が低減できる。
【００３９】
上記の画像認識装置の動作は、必要に応じて実行され、また、繰り返して実行することができる。
【００４０】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、背景を含む撮像対象を撮影する撮像部１０と、撮像部１０の撮像姿勢を変更する駆動機構部１４と、撮像部１０で撮像された撮像画像から目標点を抽出する抽出部２４と、駆動機構部１４を駆動制御し、抽出された目標点を基準位置に移動させて、移動の後の撮像画像において画像処理を実行する処理部２６と、を有して構成されている。画像処理は、目標点（Ｘ１、Ｙ１）が基準位置（Ｘ０、Ｙ０）に一致した状態で実行するので、取付け誤差があっても認識精度が高いシステムとなる。すなわち、カメラ基板の角度やＸＹＺ位置を変更可能な機構を設け、車室内構造物位置を基準点に、車種毎の取付け位置の差や組み付け誤差を内部機構で補正することが可能となる。
（２）本実施の形態を車両に適用する場合に、車種ごとに対応させて、目標点（Ｘ１、Ｙ１）及び基準位置（Ｘ０、Ｙ０）を設定することができる。したがって、多車種に１つの画像認識装置１（ＡＳＳＹ）で対応可能となり、多車種に適応可能なカメラ画像認識システムの構造が可能となる。
（３）画像処理は、目標点（Ｘ１、Ｙ１）が基準位置（Ｘ０、Ｙ０）に一致した状態で実行される。したがって、所望の画像範囲内で画像処理を実行できる。これにより、演算量を減らす為の認識対象領域狭化が可能で、結果的にシステムが高速化する効果を有する。
【００４１】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４２】
１…画像認識装置、８…車両、１０…撮像部、１１…カメラ素子、１２…カメラ基板、１３…フィルタ、１４…駆動機構部、１５…撮像範囲、２０…画像処理部、２２…画像取得部、２４…抽出部、２６…処理部、３０…駆動回路、８０ａ…フロアコンソール、８０ｂ…センターコンソール、８７…表示装置、８８…タッチパッド、１００、１１０…撮像画像、２００…基準位置、２１０…目標点、３００…背景画像
【図１】
2018206295.tif 000003
【図２】
2018206295.tif 000004
【図３】
2018206295.tif 000005
【図４】
2018206295.tif 000006
【図５】
2018206295.tif 000007