(57)【要約】【課題】容易に検出対象物を検出することができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置２は、ＣＣＤカメラ２１によって乗員３を撮像し（Ｓ１）、画像処理部２４は、撮像された画像４に基づいてパターンマッチングにより、乗員３の頭３０を検出し（Ｓ２）、乗員３の頭３０の位置に基づいて乗員３の服３２を検出する。画像処理部２４は、乗員３の服３２のテクスチャを検出し（Ｓ３）、服３２のテクスチャとは異なる表示パターン２４０を生成し（Ｓ４）、アームレスト１２に配置された背景表示部２２より乗員３の腕３３を透過照明する（Ｓ５）。アームレスト１２近傍に第３のウインドウ４２を設定し（Ｓ６）、背景表示部２２と腕３３のテクスチャが違うので、容易にアームレスト１２に乗員３の腕３３があるか否かを検出することができる（Ｓ６）。【選択図】図５
2009169692.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部を含むように撮像し、画像データを生成する撮像部と、
前記画像データに基づいて第１の検出対象物を検出し、検出された前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物に基づいて所定の画像を生成する画像処理部と、
前記所定の画像を前記表示部に表示させる制御部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記第２の検出対象物の特徴と異なる表示パターンを前記所定の画像として生成し、前記制御部を介して前記表示パターンを前記表示部に表示させ、前記画像データに含まれる前記第２の検出対象物に基づいて前記表示部上にある第３の検出対象物を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記第１の検出対象物として人間の身体形状を検出し、前記身体形状に基づいて前記第２の検出対象物として前記人間の服を検出し、前記人間の前記服の特徴と異なる表示パターンを生成し、
前記制御部は、前記表示パターンを前記表示部に表示させ、
さらに前記画像処理部は、前記表示部が含まれる前記画像データから前記人間の前記服を検出し、前記人間の前記服に基づいて前記人間の腕を検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記撮像部が撮像する領域を照明する照明部を備えたことを特徴とする請求項１〜３に記載の画像処理装置。
【請求項５】
前記表示部は、車両のアームレスト内に配置され、
前記アームレストは、不可視光を透過する光透過部材によって形成されていることを特徴とする請求項１〜４に記載の画像処理装置。
【請求項６】
表示部と、
前記表示部を含むように撮像し、画像データを生成する撮像部と、
前記撮像部が撮像する領域を照明する照明部と、
前記画像データに基づいて第１の検出対象物を検出し、検出された前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物に基づいて所定の画像を生成する画像処理部と、
前記所定の画像を前記表示部に表示させる制御部と、
を備え、
前記画像処理部は、前記第２の検出対象物の特徴と異なる表示パターンを前記所定の画像として生成し、前記表示パターンを前記所定の画像として前記表示部に表示させ、前記表示部上にある第３の検出対象物を検出することを特徴とする画像処理装置。
【請求項７】
所定の領域を撮像し、画像データを生成する撮像ステップと、
前記画像データに基づいて第１の検出対象物を検出する第１の検出ステップと、
前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物の特徴を算出する第２の検出ステップと、
前記第２の検出対象物の特徴と異なる表示パターンを生成する生成ステップと、
画像処理装置の表示部に前記表示パターンを表示させる表示ステップと、
前記第２の検出対象物に基づいて前記表示部上にある第３の検出対象物を検出する第３の検出ステップと、
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示された背景画像と検出対象物の濃淡の差異に基づいて検出対象物を検出する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来の技術として、車両の運転者座席と助手席の前方に設けられた表示操作部へ伸ばされた運転者の左手、及び助手席着座者の右手を共に視野にいれて撮像可能に車両中心線上である運転者座席と助手席の中心に設けられた赤外線カメラと、赤外線カメラで撮像した画像データを処理して操作者を判別する画像処理部と、を備えた操作者判別装置が知られている（例えば、特許文献１参照）。
【０００３】
この操作者判別装置によれば、画像データから抽出された操作者の手の重心が、画像内に設定された基準線の左側領域にあるか右側領域にあるかによって操作者を判別し、その判別結果と車両の走行状態に基づいて表示操作部に表示された操作項目の許可範囲を制限することができる（例えば、特許文献１参照）。
【特許文献１】特開２００４−０６７０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の操作者判別装置は、操作者の手と背景とで赤外線に対する反射率の差が小さいとき、操作者の手の判別精度が悪化する可能性があった。また、従来の操作者判別装置では、赤外線カメラは、運転者座席と助手席の間に設置されるため、後部座席からの視界を遮る可能性があった。
【０００５】
従って本発明の目的は、容易に検出対象物を検出することができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明は上記目的を達成するため、表示部と、前記表示部を含むように撮像し、画像データを生成する撮像部と、前記画像データに基づいて第１の検出対象物を検出し、検出された前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物に基づいて所定の画像を生成する画像処理部と、前記所定の画像を前記表示部に表示させる制御部と、を備えたことを特徴とする画像処理装置を提供する。
【０００７】
上記した構成によれば、容易に検出対象物を検出することができる。
【０００８】
（２）本発明は上記目的を達成するため、表示部と、前記表示部を含むように撮像し、画像データを生成する撮像部と、前記撮像部が撮像する領域を照明する照明部と、前記画像データに基づいて第１の検出対象物を検出し、検出された前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物に基づいて所定の画像を生成する画像処理部と、前記所定の画像を前記表示部に表示させる制御部と、を備え、前記画像処理部は、前記第２の検出対象物の特徴と異なる表示パターンを前記所定の画像として生成し、前記表示パターンを前記所定の画像として前記表示部に表示させ、前記表示部上にある第３の検出対象物を検出することを特徴とする画像処理装置を提供する。
【０００９】
上記した構成によれば、さらに容易に検出対象物を検出することができる。
【００１０】
（３）本発明は上記目的を達成するため、所定の領域を撮像し、画像データを生成する撮像ステップと、前記画像データに基づいて第１の検出対象物を検出する第１の検出ステップと、前記第１の検出対象物に基づいて第２の検出対象物を検出し、前記第２の検出対象物の特徴を算出する第２の検出ステップと、前記第２の検出対象物の特徴と異なる表示パターンを生成する生成ステップと、画像処理装置の表示部に前記表示パターンを表示させる表示ステップと、前記第２の検出対象物に基づいて前記表示部上にある第３の検出対象物を検出する第３の検出ステップと、を備えたことを特徴とする画像処理方法を提供する。
【００１１】
上記した方法によれば、容易に検出対象物を検出することができる。
【発明の効果】
【００１２】
このような構成によれば、容易に検出対象物を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の画像処理装置及び画像処理方法の実施の形態を図面を参考にして詳細に説明する。
【００１４】
[実施の形態]
（車両１の構成）
図１は、本発明の実施の形態に係る画像処理装置が搭載された車両内部の概略図である。本発明の画像処理装置を車両１に搭載した場合について説明する。
【００１５】
車両１は、図示しない各種電子機器及びセンサ等を搭載する車両本体１０と、運転者が着座する運転者座席１１と、後述する背景表示部を有して運転者座席１１と助手座席の間に設置されるアームレスト１２と、スイッチ及び計器類が配置されるインストルメントパネル１３と、車両１内部の運転者座席１１前方の天井付近に設けられた後述する撮像部としてのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ２１と、車両１内部の運転者座席１１前方の天井付近に設けられた後述する照明部２３と、を備えて概略構成されている。
【００１６】
アームレスト１２は、後述する背景表示部から発せられた光を透過するポリメタクリル酸メチル（ＰＭＭＡ）樹脂等の光透過性部材によって作製されている。なお、後述する背景表示部から発せられた光は、乗員３の視野に入らないように、不可視光であることが望ましいがこれに限定されず、可視光線であっても良く、これに限定されない。
【００１７】
（画像処理装置２の構成）
図２は、本発明の実施の形態に係る画像処理装置に関するブロック図である。画像処理装置２の主たる構成は、近赤外線（一例として波長が８５０ｎｍ）を撮像可能なＣＣＤカメラ２１と、アームレスト１２内部に設けられ、一例として、液晶ディスプレイからなる表示部としての背景表示部２２と、一例として、近赤外線によって照明する照明部２３と、後述する画像処理部２４と、制御部としてのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２０と、である。また、画像処理装置２は、記憶部２５を有し、記憶部２５は、一例として、各処理において一時的にデータを記憶するものとする。なお、本実施の形態における背景表示部２２は、小型化及び低消費電力である液晶ディスプレイを用いるが、これに限定されず、後述する表示パターンが表示可能なプロジェクタ等の表示装置であっても良く、これに限定されない。さらに、本実施の形態における照明部２３は、近赤外線によって照明を行うがこれに限定されず、可視光線による照明でも良く、また、画像処理装置２を照明部２３のない構成とし、自然光等によって照明され、撮像された画像に対して後述する処理を行うようにしても良く、これに限定されない。
【００１８】
（画像４について）
図３は、本発明の実施の形態に係るＣＣＤカメラによって撮像された画像を示す概略図である。画像データとしての画像４に主に含まれるものは、乗員３の頭３０、肩３１、服３２、腕３３及び手３４と、アームレスト１２である。なお、ＣＣＤカメラ２１の設置場所は、運転者座席１１の前方に限定されず、アームレスト１２の上面が撮像される場所であれば良い。
【００１９】
（動作）
以下に、本実施の形態における画像処理装置の動作を図１〜３及び後述する図４を参照し、図５のフローチャートに従って詳細に説明する。
【００２０】
図４は、本発明の実施の形態に係るアームレスト近傍の濃淡画像の概略図である。図４の濃淡画像４Ａにおけるハッチングは、密なものは、明るく撮像された領域を表し、疎なものは、暗く撮像された領域を表しており、判別し易いように異なる部分には方向を変えてハッチングを行っている。画像処理装置２の目的は、所定の領域における乗員３の腕３３の侵入を検出するものであり、本実施の形態における所定の領域とは、アームレスト１２であるものとする。
【００２１】
乗員３は、車両１の鍵を用いてドアロックを解除し、車両１に乗込む。乗員３は、車両１内部のキーシリンダに鍵を挿入し、車両１の電気系統をオン状態にすると、ＥＣＵ２０は、照明部２３を制御して乗員３を近赤外線により照明し、ＣＣＤカメラ２１を制御して図３に示す画像４を撮像する（Ｓ１；撮像ステップ）。
【００２２】
画像処理部２４は、ＣＣＤカメラ２１及びＥＣＵ２０を介して画像４を受信すると、パターンマッチング等の形状認識方法を用いて乗員３の身体形状の一例として頭３０を検出する（Ｓ２；第１の検出ステップ）。形状認識方法は、例えば、円形状の濃淡テンプレート画像を予め用意して記憶部２５に記憶させ、乗員３の頭３０の位置は概ね一定であることから、画像処理部２４によって画像４に含まれる運転者座席１１のヘッドレスト１１ａ付近に、図３に示すような、画像解析用の第１のウインドウ４０を設定し、その第１のウインドウ４０中の画像を濃淡テンプレート画像と比較することによって行われる。乗員３の頭３０の形状は、概ね円形状であり、他の部位よりも比較的容易に検出することができる。なお、本実施の形態において、身体形状の一例として乗員３の頭３０の検出について説明するがこれに限定されず、肩３１等のように、頭３０と同様にパターンマッチング等の形状認識方法によって検出でき、検出された身体形状に基づいて後述する方法によって服３２のテクスチャ特徴を検出させても良く、これに限定されない。
【００２３】
続いて画像処理部２４は、検出された乗員３の頭３０の位置に基づいて右方向に、図３に示す第２のウインドウ４１を設定し、第２のウインドウ４１における縦、横及び斜め方向のフィルタによる濃淡画像を作成し、乗員３の服３２のテクスチャ特徴に相当する濃度（明るさ）、濃淡変化（エッジ）及びエッジの密度を算出する（Ｓ３；第２の検出ステップ）。これは、第２のウインドウ４１において、濃淡画像を作成し、例えば、一般的なエッジ検出方法を用いて服３２を検出し、その服３２のテクスチャ特徴（濃度、濃淡変化、エッジの密度）を算出するものである。なお、第２のウインドウ４１は、これに限定されず、頭３０の左に設定されても良く、左右に設定し、得られた各値の平均を取る等してテクスチャ特徴を算出するようにしても良い。また、乗員３が半袖、または肩３１が露出する服を着ている場合、乗員３の肌のテクスチャ特徴が算出されるので、後述する検出に問題は無い。さらに、上記した他の身体形状を検出する場合は、検出した身体形状付近に第２のウインドウ４１を設定し、上記の方法によって服３２のテクスチャ特徴を算出する。
【００２４】
画像処理部２４は、算出したテクスチャ特徴に基づいて背景表示部２２に表示させる所定の画像としての表示パターン２４０を生成する（Ｓ４；生成ステップ）。これは、乗員３の腕３３を正確に検出する妨げとなる背景（この場合アームレスト１２）の濃淡画像を、腕３３の濃淡画像とは異なる特徴を有するものとすることで、腕３３の検出精度を高めようとするものである。例えば、服３２のテクスチャ特徴の濃度が明るければ、暗い表示パターン２４０を生成し、濃淡変化が強ければ、濃度変化が均一な表示パターン２４０、もしくは服３２のエッジ方向とは異なる方向のエッジを有する表示パターン２４０を生成し、濃淡変化が弱ければ、エッジが強い格子形状を有する表示パターン２４０を生成する。また画像処理部２４は、例えば、エッジ密度が密であれば、均一なエッジ密度を有する表示パターン２４０を生成し、エッジ密度が疎であれば、エッジ密度が密である格子形状を有する表示パターン２４０を生成する。
【００２５】
続いて画像処理部２４は、生成した表示パターン２４０をＥＣＵ２０を介して背景表示部２２に表示させる（Ｓ５；表示ステップ）。背景表示部２２に表示された表示パターン２４０は、アームレスト１２を透過して腕３３及び手３４を透過照明し、ＣＣＤカメラ２１は、これを撮像することになる。画像処理部２４は、ＣＣＤカメラ２１及びＥＣＵ２０を介して撮像された画像を受信する。
【００２６】
画像処理部２４は、図３に示す第３のウインドウ４２をアームレスト１２近傍に設定し（Ｓ６）、一例として図４に示すように、濃淡画像４Ａにおいて、アームレスト１２を介して表示された表示パターン２４０と服３２の腕３３の部分のテクスチャ特徴が異なることから、例えば差分処理を行うことによって容易に腕３３を検出することができる（Ｓ７；第３の検出ステップ）。よって画像処理部２４は、所定の領域における検出対象物の侵入を容易に検出することが可能になる。
【００２７】
（効果）
上記した実施の形態によれば、所定の領域における背景を背景表示部２２によって自由に表示することができるので、背景と検出対象物との特徴を際立たせることが可能になり、正確な検出を行うことができる。また、背景表示部２２として液晶ディスプレイを用いることにより、小型化、薄型化及び軽量化が可能になり、さらに、低消費電力であるので、車載用に適し、コストを抑えることができる。
【００２８】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態に係る画像処理装置が搭載された車両内部の概略図である。
【図２】本発明の実施の形態に係る画像処理装置に関するブロック図である。
【図３】本発明の実施の形態に係るＣＣＤカメラによって撮像された画像を示す概略図である。
【図４】本発明の実施の形態に係るアームレスト近傍の濃淡画像の概略図である。
【図５】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【００３０】
１…車両、２…画像処理装置、３…乗員、４…画像、４Ａ…濃淡画像、１０…車両本体、１１…運転者座席、１１ａ…ヘッドレスト、１２…アームレスト、１３…インストルメントパネル、２０…ＥＣＵ、２１…ＣＣＤカメラ、２２…背景表示部、２３…照明部、２４…画像処理部、２５…記憶部、３０…頭、３１…肩、３２…服、３３…腕、３４…手、４０、４１、４２…第１〜第３のウインドウ、２４０…表示パターン
【図１】
2009169692.tif 000003
【図２】
2009169692.tif 000004
【図３】
2009169692.tif 000005
【図４】
2009169692.tif 000006
【図５】
2009169692.tif 000007