(57)【特許請求の範囲】
【請求項１】
読取画像内のオブジェクトに内接する内接円を抽出する内接円抽出部と、
前記内接円の中心点を外接円の中心点として、前記オブジェクトに外接する前記外接円を設定する外接円設定部と、
前記外接円に対する前記オブジェクトの外形の相対位置に基づき、前記オブジェクトに応じた波形を生成するデータ生成部と、
前記生成されたオブジェクトの波形に対応するテンプレート候補を、データベースに蓄積された複数のテンプレートの波形から抽出する抽出部と、を備えることを特徴とする画像認識装置。
【請求項２】
前記データ生成部は、前記外接円の中心点から該外接円の半径方向に伸びる線と前記オブジェクトの外形との交点及び前記線と前記外接円との交点とに基づき算出される前記オブジェクトの外形の相対位置に基づき、前記オブジェクトの外形に応じた波形を生成することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記読取画像内のオブジェクトを複数のオブジェクトに分割するオブジェクト分割部を更に備え、
前記データ生成部は、前記分割された複数のオブジェクトのそれぞれに対応する波形を生成し、
前記抽出部は、前記分割された複数のオブジェクトの少なくともいずれかの波形に対応するテンプレート候補を抽出することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記分割されたオブジェクト間の外接円の中心点の位置関係に基づき、前記テンプレート候補から前記読取画像内のオブジェクトに対応するテンプレート候補を絞り込む判定部を更に備えることを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記抽出部は、前記生成されたオブジェクトの波形上のいずれかの点を始点として、前記データベースに蓄積された複数のテンプレートの波形と比較することを特徴とする請求項１〜４のいずれか一項に記載の画像認識装置。
【請求項６】
前記抽出部は、前記データベースに蓄積された複数のテンプレートの波形と前記生成されたオブジェクトの波形とを周波数解析し、解析結果に基づき前記オブジェクトに対応するテンプレート候補を抽出することを特徴とする請求項１〜５のいずれか一項に記載の画像認識装置。
【請求項７】
読取画像内のオブジェクトは３次元オブジェクトであり、前記３次元オブジェクトに対して複数視点のオブジェクトを抽出し、
前記円弧データ生成部は、複数視点のオブジェクトに対してそれぞれ波形を生成し、
前記抽出部は、前記複数視点のオブジェクトの波形に対応するテンプレート候補を、データベースに蓄積された３次元テンプレートから抽出することを特徴とする請求項１〜６のいずれか一項に記載の画像認識装置。
【請求項８】
読取画像は、２次元又は３次元の動画像であることを特徴とする請求項１〜７のいずれか一項に記載の画像認識装置。
【請求項９】
前記データ生成部は、３次元の画像からリアルタイムに３次元のオブジェクトの波形を生成することを特徴とする請求項７又は８に記載の画像認識装置。
【請求項１０】
読取画像内のオブジェクトに内接する内接円を抽出するステップと、
前記内接円の中心点を外接円の中心点として、前記オブジェクトに外接する前記外接円を設定するステップと、
前記外接円に対する前記オブジェクトの外形の相対位置に基づき、前記オブジェクトに応じた波形を生成するステップと、
前記生成されたオブジェクトの波形に対応するテンプレート候補を、データベースに蓄積された複数のテンプレートの波形から抽出するステップと、を含むことを特徴とする画像認識方法。
【請求項１１】
読取画像内のオブジェクトに内接する内接円を抽出する処理と、
前記内接円の中心点を外接円の中心点として、前記オブジェクトに外接する前記外接円を設定する処理と、
前記外接円に対する前記オブジェクトの外形の相対位置に基づき、前記オブジェクトに応じた波形を生成する処理と、
前記生成されたオブジェクトの波形に対応するテンプレート候補を、データベースに蓄積された複数のテンプレートの波形から抽出する処理と、をコンピュータにより実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法及びプログラムに関する。
【背景技術】
【０００２】
静止画像や動画像を撮影し、撮影された画像内のオブジェクトを認識する画像認識技術として、画像マッチング方式や特徴点方式などが知られている。画像マッチング方式では、認識するオブジェクトの画像データを予め登録し、登録された画像データと撮影された画像内のオブジェクトとを比較することにより、撮影された画像内のオブジェクトが何であるかを判定する。特徴点方式では、オブジェクトの形状を特徴点としてオブジェクト毎に予め登録し、登録された特徴点と撮影された画像内のオブジェクトの特徴点とを比較することにより、撮影された画像内のオブジェクトが何であるかを判定する。
【０００３】
例えば、特許文献１には、撮像して読み込んだ画像内に描かれたオブジェクトの外形の良否を判別するために、オブジェクトを撮像して読み込んだ画像からオブジェクトの外形を特徴付ける円を抽出する技術が開示されている。この技術では、対象画像のオブジェクトの外形の内側に前記円の中心点を探索するための探索領域を設定し、この探索領域内の複数の点をそれぞれ中心点とする円のうち、所定の条件を満たす円を前記オブジェクトの外形を特徴付ける円として抽出することを特徴とする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像マッチング方式や特徴点方式では、対象となる画像の全体の形状が、登録された画像データの特徴点と細かく近似していないとオブジェクトの判定が困難になる。たとえば、子供が描いた動物の絵を対象画像とした場合、子供の描く絵は多少変形して描かれているため、従来の画像マッチング方式や特徴点方式では判定が困難か、データベースの検索及びマッチング処理に膨大な時間がかかる。例えば、特許文献１に示した撮影画像からオブジェクトの外形を特徴付ける円を抽出する方法の場合、子供の描く絵のように多少変形して描かれたオブジェクトが何であるかを認識することは困難である。
【０００５】
上記課題に鑑み、本発明の目的とするところは、読取画像に含まれるオブジェクトの画像を認識することが可能な画像認識装置、画像認識方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、
読取画像内のオブジェクトに内接する内接円を抽出する内接円抽出部と、
前記内接円の中心点を外接円の中心点として、前記オブジェクトに外接する前記外接円を設定する外接円設定部と、
前記外接円に対する前記オブジェクトの外形の相対位置に基づき、前記オブジェクトに応じた波形を生成するデータ生成部と、
前記生成されたオブジェクトの波形に対応するテンプレート候補を、データベースに蓄積された複数のテンプレートの波形から抽出する抽出部と、を備えることを特徴とする画像認識装置が提供される。
【発明の効果】
【０００７】
本発明によれば、読取画像に含まれるオブジェクトの画像を認識することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る画像認識装置の機能構成図。
【図２】第１実施形態に係る画像認識処理のフロー図。
【図３】第１実施形態に係るいぬの外接円の設定を説明するための図。
【図４】第１実施形態に係るいぬの円弧データの生成を説明するための図。
【図５】第１実施形態に係るモデルデータベースの一例を示した図。
【図６】第１実施形態に係るきりんの外接円の設定を説明するための図。
【図７】第１実施形態に係るきりんの円弧データの生成を説明するための図。
【図８】第１実施形態に係る円弧データの解析を説明するための図。
【図９】第１実施形態に係る中点の相関を説明するための図。
【図１０】第２実施形態に係る画像認識装置の機能構成図。
【図１１】第２実施形態に係る画像認識処理のフロー図。
【図１２】第２実施形態に係る円弧データの生成を説明するための図。
【図１３】第１実施形態による画像認識処理を利用したアプリケーション例。
【図１４】第１実施形態による画像認識処理を利用したアプリケーション例。
【図１５】第１実施形態による画像認識処理を利用したアプリケーション例。
【発明を実施するための形態】
【０００９】
以下、本発明の好適な実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜第１実施形態＞
［画像認識装置の全体構成］
まず、本発明の第１実施形態に係る画像認識装置について、図１を参照しながら説明する。図１は、第１実施形態に係る画像認識装置の機能構成図である。画像認識装置は、携帯端末、タブレット、ノートＰＣ、その他の電子機器で構成されることができる。
【００１０】
本実施形態に係る画像認識装置１は、画像読取部１０、オブジェクト分割部１１、内接円抽出部１２、外接円設定部１３、円弧データ生成部１４、抽出部１５、モデルデータベース１６、判定部１７を有している。
【００１１】
画像読取部１０は、画像を取り込み可能な装置を用いて画像を画像認識装置内に取り入れる。画像を取り込み可能な装置としては、撮像装置や読取装置が挙げられる。撮像装置としては、例えば、携帯端末に内臓されたカメラやビデオカメラ等が挙げられ、読取装置としては、例えば、スキャナ等が挙げられる。読み取られる画像は、子供が描いた塗り絵等の静止画像であってもよく、アニメーション等の動画像であってもよい。
【００１２】
オブジェクト分割部１１は、入力された静止画像や動画像の１フレームからウェーブレット（Ｗａｖｅｌｅｔ）手法等による信号処理を用いたオブジェクトの抽出を行い、必要に応じて抽出したオブジェクトを複数のオブジェクトに分割する。
【００１３】
例えば、図３の犬の絵の例では、犬の顔部のみの絵が撮影された画像が入力された場合、犬の顔部のオブジェクトＢに対する円弧データが解析される。ここでは顔部のオブジェクトＢに加えて、耳部のオブジェクトＣに対する円弧データの解析も行われる。
【００１４】
一方、犬の体全体の絵が撮影された画像が入力された場合、犬の顔部に加え、犬の体全体のオブジェクトＡに対する円弧データが解析される。解析の結果、オブジェクトＡに対する円弧データは、犬の体全体についての特徴を表し、オブジェクトＢに対する円弧データは、犬の顔部についての特徴を表し、オブジェクトＣに対する円弧データは、犬の耳部についての特徴を表す。
【００１５】
このように、図３では、犬というオブジェクトが、犬の体全体のオブジェクトＡ、犬の顔部のオブジェクトＢ、犬の耳部のオブジェクトＣの３つのオブジェクトに分割された例を示すが、これに限られない。オブジェクト分割部１１がオブジェクトの分割を実行しても、結果として得られるオブジェクトは、１つ（オブジェクトが分割されない）であることもあり、２以上であることもある。分割されたオブジェクトは、それぞれが独立して画像認識の対象となる。なお、オブジェクトの分割には、例えば、輪郭抽出処理等の公知の技術を利用することができる。オブジェクトの分割処理は実行されなくてもよいが、実行した方がオブジェクトの認識精度が向上し好ましい。
【００１６】
内接円抽出部１２は、読取画像内のオブジェクトに内接する円を抽出する。例えば、内接円抽出部１２は、オブジェクトに対して面積が最大となる内接円を抽出する。内接円抽出部１２は、オブジェクト分割部１１により分割されたオブジェクトに対して面積が最大となる内接円をそれぞれ抽出する。例えば、図３には、犬の体全体のオブジェクトＡに対して面積が最大となる内接円ＡＩが計算され、犬の顔部のオブジェクトＢに対して面積が最大となる内接円ＢＩが計算され、犬の耳部のオブジェクトＣに対して面積が最大となる内接円ＣＩが計算される。
【００１７】
外接円設定部１３は、内接円の中心点を外接円の中心点とした、オブジェクトに外接する外接円を設定する。例えば外接円設定部１３は、犬の体全体のオブジェクトＡに対して内接円の中心点ａ０を外接円の中心点として、オブジェクトＡに外接する外接円ＡＯを設定する。外接円設定部１３は、内接円の中心点ａ０を外接円の中心点とすることにより、オブジェクトの多少の形の変化に依存しない中心点を導くことができる。図３では、オブジェクトＡは、犬の鼻先で外接円ＡＯと外接している。
【００１８】
外接円設定部１３は、犬の顔部のオブジェクトＢに対しても内接円の中心点ｂ０を外接円の中心点として、オブジェクトＢに外接する外接円ＢＯを設定する。なお、犬の耳部のオブジェクトＣに対しても同様であるが、図３ではオブジェクトＢに外接する外接円は図示していない。
【００１９】
円弧データ生成部１４は、外接円に対するオブジェクトの外形の相対位置に基づき、オブジェクトに応じた波形を生成するデータ生成部に相当する。具体的には、円弧データ生成部１４は、外接円の中心点から半径方向に伸びる線とオブジェクトの外形（輪郭）との交点、及び外接円の中心点から半径方向に伸びる線と外接円との交点とを用いてオブジェクトの外形に応じた波形を生成する。
【００２０】
例えば円弧データ生成部１４は、犬の体全体のオブジェクトＡに対して、外接円の中心点ａ０から半径方向に伸びる線ａ１とオブジェクトＡの外形（図３では、しっぽ部分）との交点ａ１１、及び前記線ａ１と外接円ＡＯとの交点ａ０１とに基づき、オブジェクトＡに応じた波形を構成する一点を生成する。具体的には、円弧データ生成部１４は、外接円ＡＯの中心点ａ０に対するオブジェクトＡの外形上の交点の位置、及び外接円の中心点ａ０に対する外接円の交点の位置の相対位置関係に基づき、オブジェクトＡの外形を外接円ＡＯの円周に対する相対位置を示す波形として生成する。
【００２１】
同様にして、線ａ２〜ａ６とオブジェクトＡの外形との交点、及び線ａ２〜ａ６と外接円ＡＯとの交点とに基づき、オブジェクトＡに応じた波形の各点を生成する。このようにて、円弧データ生成部１４は、外接円の中心点ａ０から半径方向に伸びる３６０°の線とオブジェクトＡの外形との交点、及び前記３６０°の線と外接円ＡＯとの交点とに基づき、オブジェクトＡに応じた円弧状の波形（以下、円弧データともいう。）を生成する。
【００２２】
図３の犬の体全体のオブジェクトＡの円弧データを図4に示す。線ａ１〜ａ６とオブジェクトＡの外形との交点（又は接点）ａ１１〜ａ６６は、オブジェクトＡの外形のうちの比較的突出した部分を示し、円弧データのグラフの特徴点として表されている。なお、図４のグラフの横軸は外接円の円周方向の位置、縦軸は円弧データの値を示す。図４のグラフでは、図３の犬の体全体のオブジェクトＡに示された始点から円周方向に３６０°、外接円ＡＯに対するオブジェクトＡの外形の相対位置が解析され、その結果が波形として示されている。よって、円弧データの始点と終点とは一致する。
【００２３】
以上に説明したように、円弧データ生成部１４は、オブジェクトの中心点から外接円への直線上にあるオブジェクトの交点と外接円上の交点を求め、一つのオブジェクトに関する円弧の配列を生成する。
【００２４】
円弧データ生成部１４は、分割された複数のオブジェクトのそれぞれに対して上記円弧状の波形を生成する。図３では、オブジェクトＡ、オブジェクトＢ、オブジェクトＣに対して、それぞれ内接円抽出→外接円設定→円弧データ生成の処理が行われることになる。
【００２５】
抽出部１５は、生成されたオブジェクトの波形に対応するテンプレート候補を、モデルデータベース１６に蓄積された複数のテンプレートの波形から抽出する。
【００２６】
モデルデータベース１６には、様々なオブジェクトのテンプレートの波形がテンプレートに関連付けられて、予め登録されている。例えば、図５に示したように、モデルデータベース１６には、ねこ、ぶた、いぬ、きりん、円、四角形・・・等の様々な図示しないテンプレートに対応する円弧データが格納されている。各テンプレート自体は、これらに対応する円弧データに関連付けてモデルデータベース１６又はその他の画像認識装置の内部の記憶領域又は画像認識装置の外部の記憶領域に蓄積されている。
【００２７】
例えば、モデルデータベース１６には、「いぬ」と「きりん」の基本的なテンプレートの波形が円弧データとして保存されている。テンプレートの波形の生成方法は、上記円弧データ生成部による生成方法と同じである。
【００２８】
これに対して、例えば、子供が図３に示した「いぬ」と図６に示した「きりん」とを描いた場合について考える。本実施形態に係る画像認識を用いて、円弧データ生成部１４により「いぬの絵」から図４の円弧データが生成され、「きりんの絵」から図７の円弧データが生成される。
【００２９】
すなわち、「きりんの絵」のオブジェクトも同様に、図６に示したオブジェクトの内接円ＤＩの中心点ｄ０を中心点とする外接円ＤＯを作成し、中心点ｄ０から半径方向に伸びる線ときりんの外形との交点及び前記線と外接円ＤＯとの交点の比率を配列として保持する。この結果、子供が書いた「きりんの絵」から抽出される円弧データは図７に示す円弧データとなる。
【００３０】
外接円に対するオブジェクトの外形の相対位置は、例えば、オブジェクトの中心点から半径方向に伸びる線とオブジェクトの外形との交点と、線と外接円との交点との割合で表される。例えば、外接円に対するオブジェクトの外形の相対位置は、外接円の中心点からオブジェクトの外形の交点までの長さとオブジェクトの外形の交点から外接円の交点までの長さの比率であってもよい。また、例えば、外接円に対するオブジェクトの外形の相対位置は、外接円の中心点からオブジェクトの外形の交点までの長さと外接円の中心点から外接円の交点までの長さの比率であってもよい。また、例えば、外接円の中心点から外接円の交点までの半径の長さを１として外接円の中心点からオブジェクトの外形の交点までの長さを１に対する長さの割合として正規化した値としてもよい。
【００３１】
生成された「いぬの絵」の円弧データ、「きりんの絵」の円弧データは、モデルデータベース１６に保存された複数のテンプレートの円弧データと比較される。
【００３２】
図４の「いぬの絵」の円弧データは顔と四肢としっぽが特徴点（ａ１１、ａ２２、ａ３３、ａ４４、ａ５５、ａ６６）として波形に示され、図７の「きりんの絵」の円弧データは首と、その先についた顔とつのと耳が特徴点（ｄ５５、ｄ６６、ｄ７７）として波形に示される。
【００３３】
これに対して、図５の「いぬ」のテンプレートの円弧データは、図７の「きりんの絵」の円弧データが持っている長い首に関連する特徴点（ｄ５５、ｄ６６、ｄ７７）を有しない。一方、図５の「きりん」のテンプレートの円弧データは、図７の「きりんの絵」の円弧データが持っている特徴点を有する類似した波形である。
【００３４】
同様に、図５の「きりん」のテンプレートの円弧データは、図４の「いぬの絵」の円弧データが持っている顔と四肢としっぽに相当する特徴点（ａ１１、ａ２２、ａ３３、ａ４４、ａ５５、ａ６６）を有しない。一方、図５の「いぬ」のテンプレートの円弧データは、図４の「いぬの絵」の円弧データが持っている特徴点を有する類似した波形である。
【００３５】
したがって、図４の「いぬ」の円弧データは、図５の「いぬ」の円弧データに類似し、図７の「きりん」の円弧データは、図５の「きりん」の円弧データに類似すると認識される。
【００３６】
このように、オブジェクトの外形を、外接円を基準とした円弧データとして抽出し、テンプレートの円弧データと比較することにより、高速に画像認識処理を実行することができ、かつ多少の変形したオブジェクトであってもそのオブジェクトの画像認識を可能とする。また、オブジェクトを認識するための特徴点を、中間データとして機能する円弧データに変換して表し、変換後の中間データ同士を比較するため、オブジェクトの外形の特徴を維持したまま、描かれたオブジェクトの大きさに関係なく比較することができる。また、円弧データに対する一定の閾値を設けることにより、描かれた足の位置など、多少の変化に関してもオブジェクト全体の特徴に基づき、モデルデータベース１６を柔軟に検索して円弧データが類似するテンプレートをモデルデータベース１６から高速に抽出できる。なお、抽出部１５は、分割された複数のオブジェクトの少なくともいずれかの波形に対応するテンプレート候補を抽出してもよい。ただし、抽出部１５は、分割された複数のオブジェクトのすべてについてその波形に対応するテンプレート候補を抽出することにより、テンプレート候補をより絞り込むことができる。
【００３７】
更に、抽出部１５は、モデルデータベース１６に蓄積された複数のテンプレートの波形上のいずれかの点を始点として、生成されたオブジェクトの波形と比較することができる。前述のように、オブジェクトの特徴は円弧状の波形として示され、始点と終点とを有さない。よって、テンプレートと比較する際、オブジェクトの波形の始点を固定位置にする必要はなく、波形のいずれの点を始点としてテンプレートの波形との比較を開始することができる。画像読み取り時、通常、撮像方向や撮像角度はそのときによって一定しない。よって、オブジェクトが正面から撮られていない、例えばオブジェクトが背面から撮られたような場合も生じる。このような場合であっても、オブジェクトの波形の始点を、概ね物体を正面から表現したテンプレートの波形の始点にあわせることにより両者の波形の比較が可能になる。
【００３８】
抽出部１５は、モデルデータベース１６に蓄積された複数のテンプレートに対応する波形と円弧データ生成部１４により生成された波形とをマッチングする際、例えば、各波形の高周波成分と低周波成分とに分ける等の周波数解析し、解析結果に基づき生成されたオブジェクトの波形に対応するテンプレート候補を抽出する。
【００３９】
円弧データのマッチングの技術としては、例えば、比較対象となる２つの円弧データの波形の特徴を抽出して、一致するか否かを判定する。一例としては、図８（ａ）〜図８（ｃ）に示した波形のピークの位置と変化の少ないピーク間中央位置と分けて抽出し、抽出された波形のピークの位置は高周波解析、変化の少ないピーク間中央位置は低周波解析を実行してもよい。
【００４０】
図８（ａ）は、モデルデータベース１６に記憶された、「いぬ」のテンプレートの円弧データの波形の一例である。図８（ｂ）は、図４で示した「いぬの絵」の円弧データの波形である。図８（ｃ）は、図７で示した「きりんの絵」の円弧データの波形である。
【００４１】
上記解析法では、図８（ａ）の波形の高周波成分ＨＴと図８（ｂ）の波形の高周波成分ＨＡと図８（ｃ）の波形の高周波成分ＨＤを抽出して、高周波解析する。また、図８（ａ）の波形の低周波成分ＬＴと図８（ｂ）の波形の低周波成分ＬＡと図８（ｃ）の波形の低周波成分ＬＤを抽出して、低周波解析する。
【００４２】
これにより、読取画像内のオブジェクトの波形がどのテンプレートの波形に類似しているかを判断し、テンプレート候補を選択する。この例では、図８（ｂ）の「いぬの絵」の波形が図８（ａ）の「いぬ」のテンプレートの波形に類似していると判定し、図８（ａ）の「いぬ」のテンプレートを「いぬの絵」に対するテンプレート候補の一つとする。一方、この例では、図８（ｃ）の「きりんの絵」の波形は、図８（ａ）の「いぬ」のテンプレートの波形に類似していないと判定する。よって、図８（ａ）の「いぬ」のテンプレートは、「きりんの絵」に対するテンプレート候補の一つとされない。
【００４３】
以上のようにして、生成したオブジェクトの円弧データを、登録されているテンプレートの円弧データと比較し、読み込んだオブジェクトに対するテンプレートの候補をモデルデータベース１９から複数抽出する。たとえば、単純な正四角形の円弧データは９１．２５度ずつにピークが表現されるが、正四角形が構成要素となっているオブジェクトは、抽出部１５により候補となるテンプレートは抽出できるが、複数の候補から一つのテンプレートを確定することはできない。
【００４４】
判定部１７は、分割されたオブジェクト間の外接円の中心点の相関情報に基づき、前記テンプレート候補から前記読取画像内のオブジェクトに対応するテンプレート候補を絞り込む。例えば、図３において、分割されたオブジェクトＡとオブジェクトＢについて、図９に示したように、抽出部１５により抽出した円弧データのオブジェクトＡの外接円ＡＯと、オブジェクトＢの中心点ｂ０の相関情報に基づき、モデルデータベース１６の円弧データと比較することにより、対象のオブジェクトが何であるか判断する。複数の円弧の中心点の関連性を保持することによって、入力画像が、あるオブジェクトの一部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。
【００４５】
［画像認識処理］
次に、第１実施形態に係る画像認識装置１により実行される画像認識処理の動作について、図２を参照しながら説明する。
【００４６】
画像認識装置１による画像認識処理が開始されると、ステップＳ１０にて、画像読取部１０は、画像を入力する。画像の入力方法には、カメラによる画像の撮像やスキャナ装置による画像の読込みの他画像の受信もありうる。
【００４７】
次に、ステップＳ１１にて、オブジェクト分割部１１は、入力画像に含まれるオブジェクトの抽出を行い、抽出したオブジェクトを複数のオブジェクトに分割する。
【００４８】
次に、ステップＳ１２にて、内接円抽出部１２は、分割されたオブジェクトのそれぞれに対して、面積が最大となる内接円を描く。
【００４９】
次に、ステップＳ１３にて、外接円設定部１３は、内接円の中心点を中心とし、オブジェクトの最外点に接する外接円を設定する。
【００５０】
次に、ステップＳ１４にて、円弧データ生成部１４は、中心点から外接円への直線上にあるオブジェクトの交点と外接円上の交点を求め、オブジェクトに関する円弧の配列（円弧データ）を生成する。
【００５１】
次に、ステップＳ１５にて、抽出部１５は、分割したすべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行したかを判定する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行していない場合、ステップＳ１１に戻り、処理していないオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行した場合、ステップＳ１６に進み、抽出部１５は、入力画像内のオブジェクトに類似するオブジェクトのテンプレート候補をモデルデータベース１６から検索する。
【００５２】
次に、ステップＳ１７にて、判定部１７は、抽出したオブジェクトが重なりあうオブジェクトについて、ステップＳ１４によって抽出した円弧データの中点との、相対位置を基にデータベースと比較し、対象のオブジェクトが何であるか判断する。複数の円弧の中点の関連を保持することで、入力された画像が、あるオブジェクトの一部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。
【００５３】
以上に説明したように、本実施形態に係る画像認識装置１によれば、入力画像のオブジェクトに内接する円のうち最大面積の内接円を抽出し、その内接円の中心点を中心とした、オブジェクトの最外点に接する外接円を描く。そして、外接円を基準としたオブジェクトの外形の相対位置を示す円弧状の特徴データを抽出し、波形として生成する。
【００５４】
このようにして、オブジェクトの外形全体の特徴を波形に変換し、同様にして予め変換したモデルデータベース１６に登録されているテンプレートの波形と比較する。これにより、子供が手書きした絵等、読取画像に含まれるオブジェクトが多少変形していても、オブジェクトの外形全体の特徴を表す波形とテンプレートの波形とを比較することによって、オブジェクトをより精度良く画像認識することができ、オブジェクトに対応するテンプレート候補を的確に絞り込むことができる。
【００５５】
特に、本実施形態では、オブジェクトの特徴は外接円に対するオブジェクトの外形の位置の比率として表される。よって、オブジェクトが実際に描かれた大きさに関係なく、オブジェクトの波形とテンプレートの波形とを比較することができる。
＜第２実施形態＞
［画像認識装置の全体構成］
次に、本発明の第２実施形態に係る画像認識装置について、図１０を参照しながら説明する。図１０は、第２実施形態に係る画像認識装置の機能構成図である。
【００５６】
第１実施形態に係る画像認識装置１では、オブジェクト及びテンプレートは２次元のデータであることを前提に、画像認識処理を行った。これに対して、本実施形態に係る画像認識装置１は、３次元のデータに基づき画像認識処理を実行することができる。
【００５７】
本実施形態に係る画像認識装置１は、第１実施形態に係る画像認識装置の機能に加え、視点生成部１８を有している。また、本実施形態では、３次元モデルデータベース１９が使用される。３次元モデルデータベース１９は、テンプレートの波形として２次元データの他、３次元データを有している。
【００５８】
その一例として、図１２の３次元モデルデータベース１９に含まれる「いぬ」のテンプレートＦは、正面のテンプレートＦ１、側面のテンプレートＦ２、背面のテンプレートＦ３を有している。また、正面のテンプレートＦ１に対応した正面円弧データ、側面のテンプレートＦ２に対応した側面円弧データ、背面のテンプレートＦ３に対応した背面円弧データを有する。これらは、すべて「いぬ」のテンプレートＦの外形を多視点（ここでは３視点）の円弧データとして示したものである。
【００５９】
［画像認識処理］
次に、第２実施形態に係る画像認識装置１により実行される画像認識処理の動作について、図１１を参照しながら説明する。
【００６０】
画像認識装置１による画像認識処理が開始されると、ステップＳ１０にて、画像読取部１０は、画像を入力する。画像は、例えば複数視点で読み込まれる。ここでは、「いぬ」のオブジェクトを含む正面、側面、背面の画像が読み込まれる。
【００６１】
次に、ステップＳ１１にて、オブジェクト分割部１１は、入力画像に含まれるオブジェクトの抽出を行い、抽出したオブジェクトを複数のオブジェクトに分割する。オブジェクトの分割は、複数視点の各視点のオブジェクトに対してそれぞれ行われる。
【００６２】
次に、ステップＳ１２にて、内接円抽出部１２は、各視点の分割されたオブジェクトのそれぞれに対して、面積が最大となる内接円を描く。
【００６３】
次に、ステップＳ１３にて、外接円設定部１３は、内接円の中心点を中心とし、各視点のオブジェクトの最外点に接する外接円を設定する。
【００６４】
次に、ステップＳ１４にて、円弧データ生成部１４は、外接円を基準としたオブジェクトの外形の相対位置を示す円弧状の特徴データを抽出し、波形として生成する。
【００６５】
次に、ステップＳ１５にて、抽出部１５は、分割したすべての視点のオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行したかを判定する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行していない場合、ステップＳ１１に戻り、処理していないオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行する。すべてのオブジェクトについてステップＳ１１〜ステップＳ１４の処理を実行した場合、ステップＳ１６に進み、抽出部１５は、入力画像内のオブジェクトに類似するオブジェクトのテンプレート候補をモデルデータベース１６から検索する。
【００６６】
また、３次元モデルデータは、ステップＳ１８の視点生成処理を用いて、オブジェクトの３次元画像の３次元データからリアルタイムに生成した円弧データを用いてもよい。
【００６７】
次に、ステップＳ１７にて、判定部１７は、抽出したオブジェクトが重なりあうオブジェクトについて、ステップＳ１４によって抽出した円弧データの中点を結んだ大きい円弧データを生成し、データベースと比較し、対象のオブジェクトが何であるか判断する。複数の円弧の中点の関連を保持することで、入力された画像が、あるオブジェクトの１部であっても、その一部の情報に特有の形を有していれば、オブジェクトの判定が可能であり、また、膨大なデータからある程度絞りこむことが可能である。
【００６８】
以上に説明したように、本実施形態に係る画像認識装置１によれば、３次元のオブジェクトの外形全体の特徴をそれぞれの波形に変換し、予め変換した３次元モデルデータベース１６に登録されている３次元のテンプレートの波形とそれぞれ比較する。これにより、３次元のオブジェクトの外形全体の特徴を表す波形と３次元のテンプレートの波形とを比較することによって、オブジェクトを更に精度良く画像認識することができ、オブジェクトに対応するテンプレート候補を更に絞り込む又は正確に選択することができる。
【００６９】
なお、本実施形態では、３次元モデルデータベース１９は正面、側面、背面の３次元モデルに対応した３次元データを有するが、これに限られず、データベースは３視点以外の複数視点分の円弧データを有していてもよい。これにより、様々な角度で撮影された映像中のオブジェクトであっても画像認識することができる。
【００７０】
［アプリケーション例］
最後に、上記実施形態にて説明した画像認識処理を利用したアプリケーション例について説明する。例えば、図１３に示したアプリケーション例では、ステップ１にて、子供のぬり絵を携帯端末で撮る。
【００７１】
ステップ２にて、上記実施形態に係る画像認識装置１は、読取画像中のオブジェクトの波形を生成し、テンプレートの波形と比較する。このようにして撮ったぬり絵をオブジェクト認識処理し、テンプレートの波形と比較してテンプレート候補を選び出す。テンプレート候補が複数の場合には、テンプレート候補を携帯端末に表示し、好きなテンプレートを利用者が選ぶようにしてもよい。
【００７２】
ステップ３にて、撮ったぬり絵から色を抽出し、テンプレートに反映させる。
【００７３】
ステップ４にて、色を反映させたテンプレートに動きを与えるモーション生成処理を実行し、アニメーションとして携帯端末の画面上で動かす。その際、音声もあわせて提供するとより魅力的なアプリケーションとなる。
【００７４】
これによれば、映像を円弧データの波形（デジタルデータ）に変換し、その波形とテンプレートの波形とをマッチングし、オブジェクトに類似するテンプレートをデータベースから選び、選ばれたテンプレートのコンテンツに塗り絵の色を付けて画面上で動作させる。このようにして、このアプリケーションでは、ぬり絵からデジタルコンテンツをつくり、書いた絵を動かすことができる。よって、ぬり絵をした子供は、自分の作成したぬり絵が紙から飛び出して、動いたり声を出したりする映像に親近感を持ち、楽しむことができる。
【００７５】
なお、ステップ１にて、子供のぬり絵を携帯端末で撮る際、ぬり絵の脇にバーコード等の情報を付してもよい。その場合、携帯端末で撮った画像にはオブジェクトとともにバーコード情報が含まれる。このバーコード情報にオブジェクトに関する情報を埋め込んでおくことにより、ステップ２にてテンプレートを判別する際に、本実施形態の特徴である円弧データの比較結果とバーコード情報とを使用して、テンプレートを判別することができる。これにより、よりオブジェクトに類似するテンプレート候補をより的確に選ぶことができる。
【００７６】
ステップ３にて完成した、ぬり絵が反映されたテンプレートを、図１４や図１５に示すように利用するアプリケーション例も考えられる。
【００７７】
図１４では、携帯端末に表示された図示しない選択画面から、利用者が「パラパラで遊ぶ」の実行ボタンを押した場合のアプリケーション例である。利用者は、複数のテンプレートから利用者が好きなキャラクタを一つ選ぶことができる。
【００７８】
ステップ５にて、「パラパラ」が選択されると、ステップ６にて、ぬり絵が反映されたテンプレートを使ってＭＦＰや家庭用プリンタで１６コマの画像が印刷される。例えば、ぬり絵が反映されたテンプレートが「いぬ」の場合、その「いぬ」が歩くようなモーションをつけた画像が、上記実施形態の画像認識装置から印刷機に送信される。
【００７９】
ステップＳ６にて、印刷機はパラパラ漫画のように１６分割した絵を印刷する。ステップ７に示したパラパラ漫画用の１６コマの画像の印刷が出力される。
【００８０】
ステップＳ８にて、利用者は完成した印刷物を使って１６コマのパラパラを製作し、楽しむことができる。
【００８１】
図１５では、携帯端末に表示された図示しない選択画面から、利用者が「おりがみで遊ぶ」の実行ボタンを押した場合のアプリケーション例である。利用者は、複数のテンプレートから利用者が好きなキャラクタを一つ選ぶことができる。例えば、利用者は、複数のテンプレートから自分がぬり絵したキャラクタを選ぶと自分がぬり絵したものと同じ位置に同じ色が塗られた折り紙を作ることができる。
【００８２】
ステップ９にて、「おりがみ」が選択されると、ステップ１０にて、ぬり絵が反映されたテンプレートを使ってＭＦＰや家庭用プリンタでぬり絵が反映されたキャラクタの展開図が印刷される。例えば、ぬり絵が反映されたテンプレートが「いぬ」の場合、その「いぬ」の展開図が印刷される。
【００８３】
ステップＳ１１にて、自分のぬり絵が反映された折り紙用の印刷が出力される。
【００８４】
ステップＳ１２にて、利用者は完成した印刷物を使って折り紙を楽しむことができる。
【００８５】
このようにして、上記実施形態に係る画像認識装置１を利用すれば、カメラで画像認識したいオブジェクトが描かれた紙を撮ると、デジタル的にそのオブジェクトを認識し、テンプレートとマッチングし、オブジェクトと類似するテンプレートを選択することができる。そして、選択されたテンプレートに所望の画像処理を施すことが可能なアプリケーションを利用者に提供することができる。
【００８６】
以上、添付図面を参照しながら本発明に係る画像認識装置、画像認識方法の好適な実施形態について詳細に説明したが、本発明に係る画像認識装置、画像認識方法の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明に係る画像認識装置、画像認識方法の技術的範囲に属する。
【００８７】
なお、本発明に係る画像認識装置には、図示しないＣＰＵが内蔵されている。ＣＰＵにより実行される各機能を実現するためのプログラムは、図示しないコンピュータに備えられた図示しないＲＯＭあるいはＨＤＤ等の記憶手段に予め格納されてもよい。前記プログラムは、記録媒体であるＣＤ−ＲＯＭあるいはフレキシブルディスク，ＳＲＡＭ，ＥＥＰＲＯＭ，メモリカード等の不揮発性記録媒体（メモリ）に記録されてもよい。本発明に係る画像認識装置の機能は、これらのメモリに記録されたプログラムをＣＰＵに実行させることにより実現され得る。さらに、前記プログラムは、ネットワークに接続され、プログラムを記録した記録媒体を備える外部機器あるいはプログラムを記憶手段に記憶した外部機器からダウンロードすることもできる。
【符号の説明】
【００８８】
１        画像認識装置
１０      画像読取部
１１      オブジェクト分割部
１２      内接円抽出部
１３      外接円設定部
１４      円弧データ生成部
１５      抽出部
１６      モデルデータベース
１７      判定部
１８      視点生成部
１９      ３Ｄモデルデータベース
【先行技術文献】
【特許文献】
【００８９】
【特許文献１】特開２００２−２０８０１５号公報
【図１】
0005953953.tif 000002
【図２】
0005953953.tif 000003
【図３】
0005953953.tif 000004
【図４】
0005953953.tif 000005
【図５】
0005953953.tif 000006
【図６】
0005953953.tif 000007
【図７】
0005953953.tif 000008
【図８】
0005953953.tif 000009
【図９】
0005953953.tif 000010
【図１０】
0005953953.tif 000011
【図１１】
0005953953.tif 000012
【図１２】
0005953953.tif 000013
【図１３】
0005953953.tif 000014
【図１４】
0005953953.tif 000015
【図１５】
0005953953.tif 000016