(57)【特許請求の範囲】
【請求項１】
特定の物体が写った画像から前記物体の像を認識する画像処理装置であって、
当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部と、
前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得する特定点取得部と、
前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定する色特徴量設定部と、
前記画像を画面に表示する表示部と、
前記画像が表示される画面に対し、所定のオブジェクトを合成して表示させる画像合成部と、
を備え、
前記所定の位置は、前記オブジェクトの内側に設定されている、画像処理装置。
【請求項３】
前記特定点取得部は、
前記所定の位置における複数の画素の色特徴量のヒストグラムを作成し、該ヒストグラムの所定の範囲に含まれる色特徴量を有する画素の領域を、前記物体の像の候補領域として前記画像から抽出する物体領域抽出部と、
前記候補領域の輪郭を抽出し、該輪郭に基づいて、前記候補領域が前記物体の像の領域であるか否かを判定する物体判定部と、
前記候補領域が前記物体の像の領域であると判定された場合に、当該候補領域内の特定点を前記物体の像の領域内の特定点として出力する重心決定部と、
を有する、請求項１に記載の画像処理装置。
【請求項４】
前記物体判定部は、前記候補領域の面積が所定値以上である場合、当該候補領域は前記物体の像の領域であると判定する、請求項３に記載の画像処理装置。
【請求項５】
前記物体判定部は、前記候補領域が複数抽出された場合、面積が最大の候補領域について、該面積が前記所定値以上であるか否かを判定する、請求項４に記載の画像処理装置。
【請求項６】
前記物体はユーザの手であり、
前記物体判定部は、前記候補領域の輪郭における凹凸を検出し、凸部が４つ以上存在し、且つ、前記輪郭の重心位置から各凸部までの距離の平均値が、前記特定点から各凹部までの距離の平均値の所定倍以上である場合に、前記候補領域が前記物体の像の領域であると判定する、
請求項３〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記色特徴量設定部は、前記特定点を含む前記所定範囲内に位置する複数の画素の色特徴量の平均値、中央値、又は最頻値を算出し、該平均値、中央値、又は最頻値を含む所定範囲の値を、前記物体を認識するための色特徴量として設定する、請求項１、３〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記色特徴量は、少なくともＨＳＶ色空間における色相を含む、請求項１、３〜７のいずれか１項に記載の画像処理装置。
【請求項９】
特定の物体が写った画像から前記物体の像を認識する画像処理装置が実行する画像処理方法であって、
前記画像処理装置は、当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部と、前記画像を画面に表示する表示部と、を備え、
前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得するステップ（ａ）と、
前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定するステップ（ｂ）と、
前記画像が表示される画面に対し、所定のオブジェクトを合成して表示させるステップ（ｃ）と、
を含み、
前記所定の位置は、前記オブジェクトの内側に設定されている、画像処理方法。
【請求項１０】
特定の物体が写った画像から前記物体の像を認識する画像処理装置に実行させる画像処理プログラムであって、
前記画像処理装置は、当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部と、前記画像を画面に表示する表示部と、を備え、
前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得するステップ（ａ）と、
前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定するステップ（ｂ）と、
前記画像が表示される画面に対し、所定のオブジェクトを合成して表示させるステップ（ｃ）と、
を実行させ、
前記所定の位置は、前記オブジェクトの内側に設定されている、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写った物体の像を認識する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、仮想現実（バーチャルリアリティ、以下「ＶＲ」とも記す）をユーザに体験させる技術が、ゲームやエンターテインメント或いは職業訓練等の様々な分野で利用されている。ＶＲにおいては、通常、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置が用いられる。ＨＭＤをユーザの頭部に装着し、ＨＭＤに内蔵された画面を両眼で見ることにより、ユーザは立体感のある画像を鑑賞することができる。ＨＭＤにはジャイロセンサや加速度センサが内蔵されており、これらのセンサによって検出したユーザの頭部の動きに応じて、画面に表示する画像が変化する。それにより、ユーザは、あたかも表示された画像の中に入り込んだような体験をすることができる。【０００３】
このようなＶＲの技術分野においては、画像の切り換えや画像内のオブジェクトの移動などの操作をユーザのジェスチャによって行うユーザインタフェースが研究されている。例えば、特許文献１には、仮想空間にユーザインタフェースを配置し、ユーザがこのユーザインタフェースを操作するために用いる操作部が撮像部の視野内にあり、且つ、操作部とユーザインタフェースとの位置関係が規定の位置関係にある場合に、ユーザインタフェースに対する操作があったと判断する画像処理装置が開示されている。【０００４】
また、特許文献２には、動画像内に含まれる物体を、色特徴量を用いて認識する技術が開示されている。詳細には、処理対象のフレーム画像が有する色相の中で最も広い面積を占める色相である第１の基準色と、該処理対象のフレーム画像のＲＧＢヒストグラムを作成し、そのヒストグラムの所定の閾値以上で、且つ第１の基準色に対して最も離れたピークを示す第２の基準色とを特定し、エッジ検出により、上記フレーム画像の中に存在する閉領域を特定し、該閉領域の中で、上記フレーム画像の１つ前に処理を行った画像フレームで特定された第１及び第２の基準色を含み、且つ該１つ前の画像フレームで上記物体として認識された閉領域に相当するエリアと少なくとも一部が重複する閉領域を上記物体として認識する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−４８６５６号公報
【特許文献２】特許第５８８７２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ジェスチャにより操作を行う場合、ジェスチャを行う物体の像を画像内から精度良く認識する必要がある。しかしながら、ユーザの手や指などでジェスチャを行う場合、認識対象である手や指の色は個人差が非常に大きく、また同一人物の手や指であっても、部分によって色が異なるため、認識対象を過不足なく抽出するためには、適切な色特徴量を設定することが非常に重要である。【０００７】
物体認識のための色特徴量に関し、特許文献２においては、１つ前のフレーム画像において認識すべき物体として判断された閉領域から、次の画像フレームの処理で用いられる色特徴量（第１及び第２の基準色）を求めている（特許文献２の段落００４６参照）。しかしながら、そもそも、最初の処理対象のフレーム画像については、どのようにすれば適切な色特徴量を求めることができるのか、特許文献２には詳細が開示されていない。【０００８】
本発明は上記に鑑みてなされたものであって、画像に写った特定の物体の像を精度良く認識するための適切な色特徴量を設定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の一態様である画像処理装置は、特定の物体が写った画像から前記物体の像を認識する画像処理装置であって、当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部と、前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得する特定点取得部と、前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定する色特徴量設定部と、を備えるものである。【００１０】
上記画像処理装置は、前記画像を画面に表示する表示部と、前記画像が表示される画面に対し、所定のオブジェクトを合成して表示させる画像合成部をさらに備え、前記所定の位置は、前記オブジェクトの内側に設定されていても良い。【００１１】
上記画像処理装置において、前記特定点取得部は、前記所定の位置における複数の画素の色特徴量のヒストグラムを作成し、該ヒストグラムの所定の範囲に含まれる色特徴量を有する画素の領域を、前記物体の像の候補領域として前記画像から抽出する物体領域抽出部と、前記候補領域の輪郭を抽出し、該輪郭に基づいて、前記候補領域が前記物体の像の領域であるか否かを判定する物体判定部と、前記候補領域が前記物体の像の領域であると判定された場合に、当該候補領域内の特定点を前記物体の像の領域内の特定点として出力する特定点決定部と、を有しても良い。【００１２】
上記画像処理装置において、前記物体判定部は、前記候補領域の面積が所定値以上である場合、当該候補領域は前記物体の像の領域であると判定しても良い。【００１３】
上記画像処理装置において、前記物体判定部は、前記候補領域が複数抽出された場合、面積が最大の候補領域について、該面積が前記所定値以上であるか否かを判定しても良い。【００１４】
上記画像処理装置において、前記物体はユーザの手であり、前記物体判定部は、前記候補領域の輪郭における凹凸を検出し、凸部が４つ以上存在し、且つ、前記輪郭の重心位置から各凸部までの距離の平均値が、前記特定点から各凹部までの距離の平均値の所定倍以上である場合に、前記候補領域が前記物体の像の領域であると判定しても良い。【００１５】
上記画像処理装置において、前記色特徴量設定部は、前記特定点を含む前記所定範囲内に位置する複数の画素の色特徴量の平均値、中央値、又は最頻値を算出し、該平均値、中央値、又は最頻値を含む所定範囲の値を、前記物体を認識するための色特徴量として設定しても良い。【００１６】
上記画像処理装置において、前記色特徴量は、少なくともＨＳＶ色空間における色相を含んでも良い。【００１７】
本発明の別の態様である画像処理方法は、特定の物体が写った画像から前記物体の像を認識する画像処理装置が実行する画像処理方法であって、前記画像処理装置は、当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部を備え、前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得するステップ（ａ）と、前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定するステップ（ｂ）と、を含むものである。【００１８】
本発明のさらに別の態様である画像処理プログラムは、特定の物体が写った画像から前記物体の像を認識する画像処理装置に実行させる画像処理プログラムであって、前記画像処理装置は、当該画像処理装置が存在する空間に関する画像情報を取得する外部情報取得部を備え、前記画像情報に基づく画像内の所定の位置における複数の画素の色特徴量を用いて、前記画像から前記物体の像の領域を抽出し、該像の領域内の特定点の位置を取得するステップ（ａ）と、前記特定点を含む所定範囲内に位置する複数の画素の色特徴量に基づいて、前記物体を認識するための色特徴量を設定するステップ（ｂ）と、を実行させるものである。
【発明の効果】
【００１９】
本発明によれば、画像内の所定の位置における複数の画素の色特徴量を用いて、画像内から認識対象である物体の像の領域を暫定的に抽出すると共に、該領域内の特定点の周囲に位置する複数の画素の色特徴量に基づいて、上記物体を認識するための色特徴量を設定するので、画像に写った特定の物体の像を精度良く認識するための適切な色特徴量を設定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】画像処理装置をユーザに装着させた状態を示す模式図である。
【図３】図１に示す表示部に表示される画面を例示する模式図である。
【図４】図１に示す画像処理装置の動作を示すフローチャートである。
【図５】図１に示す表示部に表示される画面を例示する模式図である。
【図６】図１に示す表示部に表示される画面を例示する模式図である。
【図７】手の像の重心位置の取得処理を示すフローチャートである。
【図８】手の像の重心位置の取得処理を説明するための模式図である。
【図９】重心位置をもとに色特徴量の範囲を設定する処理を示すフローチャートである。
【図１０】認識対象である手の像が抽出された状態を示す模式図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態に係る表示装置について、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００２２】
以下の実施形態においては、一例として、ユーザに３次元的な空間を認識させるための画面が設けられる、所謂立体視が可能な画像処理装置に本発明を適用する場合を説明する。しかしながら、本発明はこれに限定されず、画像に写った特定の物体の像を認識して各種処理を行う様々な画像処理装置に適用することができる。
【００２３】
図１は、本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。本実施形態に係る画像処理装置１は、ユーザに両眼で画面を見させることにより、３次元的な空間を認識させる装置であり、図１に示すように、表示部１１と、記憶部１２と、各種演算処理を行う演算部１３と、当該画像処理装置１の外部に関する情報（以下、外部情報という）を取得する外部情報取得部１４とを備える。
【００２４】
図２は、画像処理装置１をユーザ２に装着させた状態を示す模式図である。画像処理装置１としては、スマートフォン、携帯情報端末（ＰＤＡ）、携帯型ゲーム装置のように、ディスプレイ及びカメラを備えた汎用の機器を用いることができる。画像処理装置１として例えばスマートフォンを用いる場合、ディスプレイが設けられた表側をユーザに向けてホルダー３に取り付けることにより、ユーザはハンズフリーでディスプレイを見ることができる。ホルダー３の内部には、ユーザの左右の眼に対応する位置に２つのレンズがそれぞれ取り付けられている。画像処理装置１に立体視用のコンテンツを表示させる場合、ユーザは、これらのレンズを通してディスプレイを見ることにより、ディスプレイに映った画像を３次元的な空間のように認識することができる。また、スマートフォンの背面には一般にカメラ４が設けられており、カメラ４によりユーザ２の周囲の空間を撮像して画像を取り込み、当該画像をそのままディスプレイに表示したり、当該画像を予め用意されたコンテンツ（動画や静止画）と合成して表示したりすることができる。
【００２５】
もっとも、画像処理装置１の外観は、図２に示すものに限定されない。例えば、画像処理装置とホルダーが一体化された立体視専用の画像処理装置を用いても良い。なお、このような専用の画像処理装置は、ヘッドマウントディスプレイとも呼ばれる。また、画像処理装置１としては、スマートフォンなどの小型携帯機器に限らず、例えば、デスクトップ型のパーソナルコンピュータにウェブカメラを接続して用いても良いし、カメラが内蔵されたノート型のパーソナルコンピュータやタブレット端末を用いても良い。
【００２６】
再び図１を参照すると、表示部１１は、例えば液晶又は有機ＥＬ（エレクトロルミネッセンス）によって形成された表示パネル及び駆動部を含むディスプレイである。図３は、表示部１１に表示される画面の例を示す模式図である。静止画又は動画をユーザに３次元的に認識させる際には、図３に示すように、表示部１１の表示パネルを２つの領域に分け、互いに視差を設けた２つの画像をこれらの領域１１ａ、１１ｂに表示する。ユーザ２は、領域１１ａ、１１ｂに表示された２つの画像を左右の眼でそれぞれ見ることにより、３次元的な空間を認識することができる。
【００２７】
記憶部１２は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部１２は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部１２１と、画像に写った特定の物体の像を認識する画像処理において使用される色特徴量を記憶する色特徴量記憶部１２２とを有する。この他、記憶部１２は、表示部１１に表示される各種コンテンツの画像データ及び音声データや、上記カメラ４により取得された画像の画像データ等を記憶しても良い。
【００２８】
演算部１３は、例えばＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）を用いて構成され、プログラム記憶部１２１に記憶された各種プログラムを読み込むことにより、画像処理装置１の各部を統括的に制御すると共に、種々の画像を表示するための各種演算処理を実行する。演算部１３の詳細な構成については後述する。
【００２９】
外部情報取得部１４は、画像処理装置１の周囲の現実空間に関する画像情報（画像データ）を取得する。外部情報取得部１４の構成は、周囲の物体の位置や動きを検出可能な構成であれば特に限定されず、例えば光学カメラ、赤外線カメラ、超音波発信機及び受信機等を外部情報取得部１４として用いることができる。例えば図２に示すようなスマートフォンを画像処理装置１として用いる場合、スマートフォンに内蔵されたカメラ４が外部情報取得部１４として用いられる。
【００３０】
次に、演算部１３の詳細な構成について説明する。演算部１３は、プログラム記憶部１２１に記憶された画像処理プログラムを読み込むことにより、外部情報取得部１４によって取得された画像情報に基づいて画像を生成すると共に、該画像に写った特定の物体の像を認識する画像処理を実行する。
【００３１】
図１に示すように、演算部１３は、画像に写った特定の物体の像を認識する際に用いられる色特徴量（以下、物体認識用の色特徴量ともいう）を設定する重心位置取得部１３１及び色特徴量設定部１３２と、設定された色特徴量を用いて画像内の特定の物体の像を認識する物体認識部１３３と、表示部１１に表示される画像の合成処理を行う画像合成部１３４とを有する。言い換えると、重心位置取得部１３１及び色特徴量設定部１３２は、物体認識部１３３において用いられる色特徴量のキャリブレーションを行う。
【００３２】
重心位置取得部１３１は、画像から特定の物体の像の領域を抽出し、該領域内の特定点を取得する特定点取得部である。本実施形態においては、抽出された領域の重心位置を特定点として取得する。詳細には、重心位置取得部１３１は、物体領域抽出部１３１ａと、物体判定部１３１ｂと、重心決定部１３１ｃとを有する。このうち、物体領域抽出部１３１ａは、画像内の所定の位置における複数の画素の色特徴量に基づいて、特定の物体の像の候補領域を画像内から抽出する。物体判定部１３１ｂは、物体領域抽出部１３１ａにより抽出された候補領域が、特定の物体の像の領域であるか否かを判定する。重心決定部１３１ｃは、特定の像の領域と判定された候補領域の重心位置を特定点として出力する特定点決定部である。
【００３３】
色特徴量設定部１３２は、特定点（重心位置）及びその近傍の複数の画素の色特徴量に基づいて、物体認識用の色特徴量を設定する。詳細には、色特徴量設定部１３２は、特定点（重心位置）を含む所定範囲内に位置する複数の画素の色特徴量の平均値を算出し、該平均値を含む所定範囲の値を物体認識用の色特徴量として設定する。
【００３４】
物体認識部１３３は、色特徴量設定部１３２により設定された物体認識用の色特徴量を有する画素を画像内から抽出することにより、画像に写った特定の物体の像を認識する。
【００３５】
画像合成部１３４は、現実空間の画像に対し、物体認識用の色特徴量を設定する際に用いられるオブジェクトを合成したり、物体認識部１３３により認識された物体の像を予め用意されたコンテンツの画像に合成するといった画像処理を行う。
【００３６】
次に、画像処理装置１の動作について説明する。
本実施形態において、認識対象とする物体は特に限定されず、例えば、ユーザの手や指、スタイラスペンなど種々の物体を認識対象とすることができる。ただし、物体認識用の色特徴量を設定するため、認識対象の物体の一般的な形状の特徴を予め記憶部１２に記憶させておく。例えば、人の手には、通常、指先に相当する凸部と、指と指の間に相当する凹部とが存在し、且つ、手のひらの中の１点（例えば重心）から各凸部までの距離が、同じ点から各凹部までの距離よりも長いという特徴がある。この場合、人の手の一般的形状の特徴を、輪郭に少なくとも４つの凸部を有し、且つ、重心位置から各凸部までの距離の平均値が重心位置から各凹部までの距離の平均値の所定倍と表すことができる。そこで、このような特徴を記憶部１２に記憶させておく。以下においては、ユーザの手を認識対象として説明する。
【００３７】
また、物体認識用の色特徴量の種類は特に限定されず、例えば、画素値（ＲＧＢ値）、色比、色差、ＨＳＶ色空間における色相、明度、及び彩度など、種々の値を用いることができる。以下においては、画素値（ＲＧＢ値）をＨＳＶ色空間における色相、彩度、明度に変換した各値を色特徴量として用いる場合を説明する。
【００３８】
ここで、ＲＧＢ値を用いる場合には３つの値で色合いを表す必要があるのに対し、ＨＳＶ色空間における色相を用いる場合には１つの値で色合いを表すことができるという利点がある。また、色相を用いる場合、画像の明るさの変動や、認識対象の物体への光の当たり方の違いなどの影響を抑制することができる。
【００３９】
図４は、画像処理装置１の動作を示すフローチャートである。図５及び図６は、表示部１１に表示される画面を例示する模式図であり、外部情報取得部１４により取得された外部空間の画像が画面内の２つの領域１１ａ、１１ｂに表示されている状態を示している。
【００４０】
まず、ステップＳ１０において、画像合成部１３４は、画面に手型の枠ｍ１を描画する（図５参照）。詳細には、画面内の各領域１１ａ、１１ｂに表示された外部空間の画像に、手を形取ったオブジェクトを合成して表示する。この際、画像合成部１３４は、枠ｍ１にユーザの手を合わせるよう指示するメッセージｍ２を画面（各領域１１ａ、１１ｂ）に表示しても良い。ユーザは、外部情報取得部１４（例えば図２に示すカメラ４）に対する自身の手の位置を調節することにより、図６に示すように、画面（各領域１１ａ、１１ｂ）に写った手の像ｍ４を枠ｍ１に概ね合わせる。
【００４１】
続くステップＳ１２において、重心位置取得部１３１は、画面（各領域１１ａ、１１ｂ）に写った手の像ｍ４の重心位置を取得する。図７は、手の像の重心位置の取得処理を示すフローチャートである。図８は、手の像の重心位置の取得処理を説明するための模式図である。
【００４２】
まず、ステップＳ１２０において、重心位置取得部１３１は、外部情報取得部１４により撮像された現実空間の画像を取得し、記憶部１２に一時的に記憶させる。
【００４３】
続くステップＳ１２１において、物体領域抽出部１３１ａは、予め設定された画像内の所定の座標のエリアｍ３内に位置する画素の画素値（ＲＧＢ値）を取得する。ここで、エリアｍ３は、手型の枠ｍ１の内側に収まるように設定されているため、ユーザが自身の手の像ｍ４を枠ｍ１に合わせると、大抵の場合、少なくともエリアｍ３内はユーザの手の像ｍ４で占められることになる。
【００４４】
続くステップＳ１２２において、物体領域抽出部１３１ａは、エリアｍ３内に位置する複数の画素の各々の画素値（ＲＧＢ値）を、ＨＳＶ色空間における色特徴量（即ち、色相、彩度、明度）に変換する。
【００４５】
続くステップＳ１２３において、物体領域抽出部１３１ａは、エリアｍ３内に位置する複数の画素の色特徴量のヒストグラムを作成する。具体的には、ステップＳ１２２において変換された色相、彩度、明度の各々についてヒストグラムを作成する。
【００４６】
続くステップＳ１２４において、物体領域抽出部１３１ａは、ステップＳ１２３において作成されたヒストグラムに基づいて、手の像ｍ４を抽出するための色特徴量の範囲を設定する。詳細には、各色特徴量（色相、彩度、明度）のヒストグラムにおいて、最大頻度の色特徴量を含む所定の範囲を、手の像ｍ４を抽出するための色特徴量の範囲として設定する。例えば、頻度が１番目から所定番目の階級に含まれる色相、彩度、明度の範囲を設定する。或いは、色相の最頻値±Δ°、彩度又は明度の最頻値±Δ％といった範囲を設定しても良い（符号Δは任意の値）。
【００４７】
続くステップＳ１２５において、物体領域抽出部１３１ａは、ステップＳ１２４において設定された色特徴量を有する画素を、画像全体から抽出する。詳細には、ステップＳ１２４において決定された色特徴量の範囲の両端を閾値として二値化処理を実行する。これにより、図６に示すエリアｍ３内の画素の典型的な色特徴量に近似する領域が画像から抽出される。このような処理は、ヒストグラムのバックプロジェクションとも呼ばれる。
【００４８】
続くステップＳ１２６において、物体判定部１３１ｂは、ステップＳ１２５において抽出された領域に対して輪郭追跡を行うことにより、輪郭を抽出する。詳細には、二値画像において値を持つ画素（ステップＳ１２５において抽出された画素）を黒画素、それ以外の画素を白画素とすると、まず、ラスタスキャンによって白画素から黒画素に変化する画素点を探索する。黒画素が見つかると、探索した方向（進入方向）を起点に当該黒画素の周囲を右回りして黒画素を探索する。続いて、見つかった黒画素に移動し、進入方向を起点に当該黒画素の周囲を右回りして黒画素を探索する。この処理を繰り返し、見つかった黒画素が開始点（最初に見つかった黒画素）であり、且つ、次の移動点が既に探索済みである場合、処理を終了する。
【００４９】
ここまでの処理により、図８に示すように、手の像に近似する領域（輪郭ｍ５参照）を抽出できるものの、それと共に、手の像の色に近い領域（輪郭ｍ６、ｍ７参照）が抽出されることがある。以下、抽出された輪郭によって囲まれる領域を候補領域という。
【００５０】
ステップＳ１２７において、物体判定部１３１ｂは、複数の候補領域が抽出された場合、面積が最大の候補領域を選択する。ここで、ステップＳ１２５において用いられる色特徴量は、エリアｍ３に重ねられた手の像ｍ４（図６参照）の色特徴量をもとに設定されているので、通常、図８に示すように、手の像ｍ４に含まれる領域の輪郭ｍ５が、他の物体の像に含まれる領域の輪郭ｍ６、ｍ７よりも大きくなるからである。
【００５１】
続くステップＳ１２８において、物体判定部１３１ｂは、選択された候補領域の面積が所定値以上であるか否かを判定する。ここで、手の像ｍ４は手型の枠ｍ１に合わせるように配置されるので、ステップＳ１２７において選択された候補領域が手の像ｍ４に含まれる領域であれば、ある程度の大きさ以上になるはずだからである。このように面積で判別することにより、万が一、画像内に色が類似する他人の手の像が写り込んでいたとしても、当該他人の像に基づいて物体認識用の色特徴量が設定されてしまう事態を防ぐことができる。この判定において用いられる所定値は、手型の枠ｍ１の大きさに基づいて適宜設定される。
【００５２】
選択された候補領域の面積が所定値以上である場合（ステップＳ１２８：Ｙｅｓ）、物体判定部１３１ｂは、当該候補領域の輪郭の凹凸を判定する（ステップＳ１２９）。詳細には、当該候補領域の輪郭から角点を検出し、各角点が凹部であるか凸部であるかを判別する。角点の検出方法は公知の種々の方法を用いることができる。一例として、輪郭上の任意の点Ｐiと、該点Ｐiに対してｋ画素分だけ輪郭に沿って前後に離れた２つの点Ｐi-k、Ｐi+kとをそれぞれ結ぶ線分同士のなす角度が１８０°よりも小さいとき、又は１８０°よりも大きいとき、上記点Ｐiが角点として検出される。そして、検出された角点において、線分Ｐi-kＰiと線分ＰiＰi+kとのなす角度が鋭角である場合、当該角点は凸部と判定される。また、上記角度が１８０°を超える場合、当該角点は凹部であると判定される。なお、上記角度が９０°より大きく１８０°未満（即ち鈍角）の角点は、厳密には凸部であるが、ステップＳ１２９においては、ユーザの指に対応する領域を検出する趣旨から、鈍角の角点は凸部とみなさないこととする。図８に示す輪郭ｍ５においては、角点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５が凸部と判別され、角点Ｑ１、Ｑ２、Ｑ３、Ｑ４が凹部と判別される。
【００５３】
続くステップＳ１３０において、物体判定部１３１ｂは、判別対象の輪郭において凸部が４つ以上存在するか否かを判定する。４本以上とするのは、指同士が近接しているなどの場合に、５本全ての指を凸部として検出できない可能性を考慮しているためである。
【００５４】
凸部が４つ以上存在する場合（ステップＳ１３０：Ｙｅｓ）、物体判定部１３１ｂは、当該候補領域の重心位置（重心点Ｇ）を算出する（ステップＳ１３１）。
【００５５】
続くステップＳ１３２において、物体判定部１３１ｂは、重心位置から各凹部、及び各凸部までの距離を算出する。例えば、図８においては、重心点Ｇと、角点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｑ１、Ｑ２、Ｑ３、Ｑ４との間の距離がそれぞれ算出される。
【００５６】
続くステップＳ１３３において、物体判定部１３１ｂは、重心位置から凸部までの距離の平均値（平均距離）が、重心位置から凹部までの距離の平均値（同上）の所定倍以上であるか否かを判定する。ここで、人の手においては、手のひらの概ね中心にある重心位置から指先までの距離は、重心位置から手のひらの端部までの距離よりも長く、個人差はあるが、一般には少なくとも１．２倍以上と言える。そこで、図８に示すように、重心点Ｇから凸部である角点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５までの平均距離と、重心点Ｇから凹部である角点Ｑ１、Ｑ２、Ｑ３、Ｑ４までの平均距離とを算出し、両者の比率に基づいて、抽出された候補領域の形状が手の形状に近似しているか否かを判断する。
【００５７】
重心位置から凸部までの平均距離が重心位置から凹部までの平均距離の所定倍以上である場合（ステップＳ１３３：Ｙｅｓ）、物体判定部１３１ｂは、選択された候補領域が手の像の領域であると判断する。この場合、重心決定部１３１ｃは、候補領域の重心位置を手の像の重心位置として決定し、出力する（ステップＳ１３４）。その後、処理はメインルーチンに戻る。
【００５８】
他方、ステップＳ１２７において選択された候補領域の面積が所定値未満である場合（ステップＳ１２８：Ｎｏ）、選択された候補領域の輪郭の凸部が３つ以下である場合（ステップＳ１３０：Ｎｏ）、又は、重心位置から凸部までの平均距離が重心位置から凹部までの平均距離の所定倍未満である場合（ステップＳ１３３：Ｎｏ）、処理はステップＳ１２０に戻る。
【００５９】
再び図４を参照すると、ステップＳ１２に続くステップＳ１４において、色特徴量設定部１３２は、ステップＳ１２において取得された重心位置をもとに、物体認識用の色特徴量を設定する。図９は、重心位置をもとに物体認識用の色特徴量を設定する処理を示すフローチャートである。
【００６０】
まず、ステップＳ１４０において、色特徴量設定部１３２は、ステップＳ１２０（図７参照）において取得された画像から、ステップＳ１２において取得された重心位置及びその近傍の複数の画素の画素値（ＲＧＢ値）を取得する。画素値を取得する画素の範囲は、例えば、重心位置から数画素〜数十画素の範囲内などと、予め設定しておく。
【００６１】
続くステップＳ１４１において、色特徴量設定部１３２は、ステップＳ１４０において取得された複数の画素の各々の画素値（ＲＧＢ値）を、ＨＳＶ色空間における色特徴量（色相、彩度、明度）に変換する。
【００６２】
続くステップＳ１４２において、色特徴量設定部１３２は、ステップＳ１４０において取得された複数の画素の間における色特徴量の平均値を算出する。具体的には、色相、彩度、明度の各々について平均値を算出する。
【００６３】
続くステップＳ１４３において、色特徴量設定部１３２は、ステップＳ１４２において算出された平均値をもとに、物体認識用の色特徴量を設定する。詳細には、色相、彩度、明度の各々について、平均値を含む所定の範囲を物体認識用の色特徴量として設定する。例えば、色相の平均値±Δ°、彩度又は明度の平均値±Δ％といった範囲が設定される（符号Δは任意の値）。その後、処理はメインルーチンに戻る。
【００６４】
図４のステップＳ１６において、物体認識部１３３は、ステップＳ１４において設定された物体認識用の色特徴量を用いて、外部情報取得部１４によって取得された画像から画素を抽出する。このようにして抽出された画素の領域が、手の像として認識される。図１０は、認識対象である手の像ｍ８が抽出された状態を示す模式図である。
【００６５】
以上説明したように、本実施形態によれば、画像内において予め設定されたエリアｍ３内の画素の画素値をもとに暫定的に設定された色特徴量を用いて、手の像の候補領域を抽出し、この候補領域が手の形状の特徴を有すると判断される場合に、候補領域の重心位置及びその近傍の画素の画素値をもとに、物体認識用の色特徴量を設定するので、このように設定された物体認識用の色特徴量を用いることにより、画像内における手の像を精度良く認識することが可能となる。特に、本実施形態のように、色特徴量に関して個人差や場所ごとの差が大きいユーザの手を認識対象とする場合であっても、ユーザの手に合った物体認識用の色特徴量を精度良く設定することができる。
【００６６】
上記実施形態においては、特定点として、画像から抽出された認識対象の物体の像の領域の重心位置を取得することとしたが、特定点はこれに限定されない。例えば、認識対象の物体の像の領域の水平方向の中心線と垂直方向の中心線とが交差する点や、角点、或いは、角点同士を結んだ対角線の交差点などを特定点としても良い。特定点は、認識対象とする物体に応じて、該物体の典型的な色が現れる部分を適宜設定すれば良い。
【００６７】
また、上記実施形態においては、色特徴量としてＨＳＶ色空間における色相、彩度、及び明度を用いたが、それ以外の値を用いても良い。例えば画素のＲＧＢ値を用いる場合、手の像の重心位置を取得する際には（図７参照）、ステップＳ１２２を省略し、Ｒ値、Ｇ値、Ｂ値それぞれについてヒストグラムを作成し（ステップＳ１２３）、これらのヒストグラムに基づいてＲ値、Ｇ値、Ｂ値それぞれの範囲を設定し（ステップＳ１２４）、設定された範囲内のＲ値、Ｇ値、Ｂ値を有する画素を抽出すれば良い（ステップＳ１２５）。また、重心位置をもとに物体認識用の色特徴量を設定する際には（図９参照）、ステップＳ１４１を省略し、Ｒ値、Ｇ値、Ｂ値それぞれについて平均値を算出し（ステップＳ１４２）、これらの平均値をもとに、Ｒ値、Ｇ値、Ｂ値の範囲を設定すれば良い（ステップＳ１４３）。或いは、色特徴量として、ＨＳＶ色空間における色相のみを用いることとしても良いし、色相と彩度、又は色相と明度といった組み合わせを用いても良い。
【００６８】
また、上記実施形態においては、画像から抽出された認識対象の物体の像の特定点及びその近傍の画素の色特徴量の平均値を算出し（ステップＳ１４２）、この平均値をもとに物体認識用の色特徴量を設定したが（ステップＳ１４３）、平均値に限らず、特定点及びその近傍の画素の色特徴量の中央値や最頻値などの統計値をもとに物体認識用の色特徴量を設定しても良い。
【００６９】
本発明は、上記実施形態及び変形例に限定されるものではなく、上記実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００７０】
１  画像処理装置
２  ユーザ
３  ホルダー
４  カメラ
１１  表示部
１１ａ、１１ｂ  領域
１２  記憶部
１３  演算部
１４  外部情報取得部
１２１  プログラム記憶部
１２２  色特徴量記憶部
１３１  重心位置取得部
１３１ａ  物体領域抽出部
１３１ｂ  物体判定部
１３１ｃ  重心決定部
１３２  色特徴量設定部
１３３  物体認識部
１３４  画像合成部
【図１】
0006762544.tif 000002
【図２】
0006762544.tif 000003
【図３】
0006762544.tif 000004
【図４】
0006762544.tif 000005
【図５】
0006762544.tif 000006
【図６】
0006762544.tif 000007
【図７】
0006762544.tif 000008
【図８】
0006762544.tif 000009
【図９】
0006762544.tif 000010
【図１０】
0006762544.tif 000011