(57)【要約】【課題】対象物の認識での誤認識を低減すると同時に、認識処理のコストを抑制することができる画像認識装置を提供すること。【解決手段】認識領域選択部12は、画像撮影部11により取得された画像における特徴的な領域を選択する。選択領域有効化部13は、特徴的な領域のみが認識対象とされるように有効化する。画像特徴量算出部14は、有効化された領域における画像特徴量を算出する。画像特徴量比較部16は、算出された画像特徴量と予め用意された参照画像の画像特徴量を比較する。結果出力部17は、算出された画像特徴量と最も近似するとされた画像特徴量を有する参照画像の識別子を認識結果として出力する。認識結果に関連付けられたメディアを表示させることもできる。【選択図】図１
2012203823.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮影して画像を取得する画像撮影部と、
前記画像撮影部により取得された画像から特徴的な領域を選択する認識領域選択部と、
前記認識領域選択部により選択された特徴的な領域が認識対象とされるように有効化し、それ以外の領域が認識対象から除外されるように無効化する選択領域有効化部と、
前記選択領域有効化部により有効化された領域における画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量算出部により算出された画像特徴量と予め用意された参照画像の画像特徴量を比較する画像特徴量比較部と、
前記画像特徴量比較部による比較結果に従って、前記画像特徴量算出部により算出された画像特徴量と最も近似するとされた画像特徴量を有する参照画像の識別子を認識結果として出力する結果出力部を具備したことを特徴とする画像認識装置。
【請求項２】
前記選択領域有効化部は、前記認識領域選択部により選択された特徴的な領域以外の領域に属する画素の値を単一の値とすることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記画像特徴量算出部は、スケール不変特徴変換、画像モーメントの少なくともいずれかを画像特徴量として算出することを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
前記画像特徴算出部を具備するのに代えて、ネットワーク経由で接続されたサーバを利用することを特徴とする請求項１ないし３のいずれか１つに記載の画像認識装置。
【請求項５】
前記特徴量比較部は、前記認識領域選択部により選択された特徴的な領域における特徴量と前記参照画像の特徴量との距離を計算することを特徴とする請求項１ないし４のいずれか１つに記載の画像認識装置。
【請求項６】
前記参照画像の画像特徴量は、画像認識装置内の蓄積媒体に格納されていることを特徴とする請求項１ないし４のいずれか１つに記載の画像認識装置。
【請求項７】
前記参照画像の画像特徴量は、ネットワーク経由で接続されたサーバに格納されており、前記特徴量比較部を具備するのに代えて、前記サーバを利用することを特徴とする請求項１ないし５のいずれか１つに記載の画像認識装置。
【請求項８】
前記結果出力部を具備するのに代えて、ネットワーク経由で接続されたサーバを利用し、それによる認識結果をネットワーク経由で受信することを特徴とする項１ないし７のいずれか１つに記載の画像認識装置。
【請求項９】
さらに、認識結果に関連付けられたメディアを取得し、該メディアを再生するメディア再生部を具備したことを特徴とする請求項１ないし８のいずれか１つに記載の画像認識装置。
【請求項１０】
前記メディア再生部は、前記画像撮影部により取得された画像に前記メディアを重畳して再生することを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
前記画像撮影部により撮影される外界がテレビ画面であり、前記認識領域選択部により選択される特徴的な領域が広告商品領域であり、前記メディア再生部は、当該広告商品に関連付けられたメディアを再生することを特徴とする請求項９または１０に記載の画像認識装置。
【請求項１２】
前記画像撮影部により撮影される外界がテレビ画面であり、前記認識領域選択部により選択される特徴的な領域が出演者顔領域であり、前記メディア再生部は、当該出演者に関連付けられたＷＥＢサイトの情報を表示することを特徴とする請求項９または１０に記載の画像認識装置。
【請求項１３】
さらに、前記画像撮影部により取得された画像の歪みを推定する歪推定部と、前記歪推定部により推定された歪みに基づいて前記画像撮影部により取得された画像を補正する歪み補正部を具備し、
前記画像特徴量算出部は、前記歪み補正部により補正された画像の特徴的な領域における画像特徴量を算出することを特徴とする請求項１ないし１２のいずれか１つに記載の画像認識装置。
【請求項１４】
さらに、前記画像撮影部により取得された画像を拡大する画像拡大部、前記画像撮影部により取得された画像を回転する画像回転部の少なくともいずれかを具備し、
前記画像特徴量算出部は、前記画像拡大部、前記画像回転部により拡大、回転された画像の特徴的な領域から画像特徴量を算出することを特徴とする請求項１ないし１３のいずれか１つに記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、携帯端末などのカメラで撮影した画像を低い計算負荷で認識することが可能な、画像認識装置に関する。
【背景技術】
【０００２】
カメラで撮影された画像を認識する画像認識装置は、種々の分野に適用されている。例えば、画像認識装置により認識された画像を元に種々の管理を行ったり、認識された画像に関連する情報をユーザに提供することもできる。
【０００３】
特許文献１には、対象物を認識する際、その形状が変形などの影響を受けても、輪郭に対応する直線成分や曲線成分を抽出することで、予め与えられた対象物との照合が可能な画像認識装置が開示されている。
【０００４】
特許文献２には、複数の対象物が含まれる画像において、窓関数などの注目領域を設定し、注目領域内のRGB色空間のヒストグラムを求め、注目領域の位置や大きさを変化させながら予め登録された対象物の存在を判定する画像認識検索装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−７３３１７号公報
【特許文献２】特開平９−１２８５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１で開示されている画像認識装置は、撮像部で取得された画像情報の全てを用いて画像認識を行う。このため、例えば、入力画像が認識対象の他に複雑な背景などを含む場合、多数の直線成分や曲線成分が抽出される可能性があり、対象物を誤認識するという問題があった。
【０００７】
特許文献２で開示されている画像認識検索装置は、注目領域のみを認識対象としている。しかし、これでは、注目領域の位置や大きさを変化させながら画像特徴量を計算する必要があるため、画像特徴量の算出に必要な処理コストが増大し、特に、計算リソースが限定された携帯端末などでは、妥当な性能が得られない可能性があった。
【０００８】
本発明の目的は、上記課題を解決し、対象物の認識での誤認識を低減すると同時に、認識処理のコストを抑制することができる画像認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、外界を撮影して画像を取得する画像撮影部と、前記画像撮影部により取得された画像から特徴的な領域を選択する認識領域選択部と、前記認識領域選択部により選択された特徴的な領域が認識対象とされるように有効化し、それ以外の領域が認識対象から除外されるように無効化する選択領域有効化部と、前記選択領域有効化部により有効化された領域における画像特徴量を算出する画像特徴量算出部と、前記画像特徴量算出部により算出された画像特徴量と予め用意された参照画像の画像特徴量を比較する画像特徴量比較部と、前記画像特徴量比較部による比較結果に従って、前記画像特徴量算出部により算出された画像特徴量と最も近似するとされた画像特徴量を有する参照画像の識別子を認識結果として出力する結果出力部を具備したことを基本的特徴としている。
【発明の効果】
【００１０】
本発明によれば、カメラ付き携帯電話などで画像認識を行う際、認識対象を撮影した画像が複雑な背景などを含んでいても誤認識を低減することができる。
【００１１】
また、より少ない処理コストで画像認識を行うことができるため、携帯電話などといったリソースが限定された端末においても、画像認識処理を問題なく動作させることができる。
【００１２】
さらに、処理コストの低減によって画像認識の高速化が見込まれるため、対象となる画像を認識してから認識結果に関連付けられたメディアの再生を行うまでの時間を短縮化することができ、認識対象が頻繁に変化する場合にも妥当な性能が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像認識装置の第１実施形態を示すブロック図である。
【図２】入力画像および有効入力画像の具体例を示す図である。
【図３】入力画像から２個の特徴的な領域が選択された場合の画像認識装置の動作を説明する図である。
【図４】本発明を、特に広告映像を対象として画像認識を行う画像認識装置に適用した場合の構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明を説明する。図１は、本発明に係る画像認識装置の第１実施形態を示すブロック図である。
【００１５】
本実施形態の画像認識装置10は、例えば、カメラ付き携帯電話であり、画像撮影部11、認識領域選択部12、選択領域有効化部13、画像特徴量算出部14、画像特徴量比較部15、認識結果出力部16、認識結果表示部17、参照画像特徴量格納部18およびメディアファイル格納部19を備える。
【００１６】
画像撮影部11は、例えば、携帯電話が備えるカメラであり、画像認識装置10の入力画像として外界の画像を取得する。
【００１７】
認識領域選択部12は、画像撮影部11からの入力画像(画面)から特徴的な領域を選択する。ここでは、入力画像内の特徴を検出し、該特徴を元に直接的に特徴的な領域を選択するという手法を用いる。このような手法を用いることにより、注目領域を事前に設定して該注目領域の位置や大きさを変化させながら画像特徴量を計算しつつ画像内から注目領域を探索するという処理に比べて処理負担を軽減することができる。なお、ここで選択する特徴的な領域の数は、１つだけに限られるものではなく、任意数でよい。また、選択する特徴的な領域の大きさや形状も任意であり、例えば矩形、その他の形状でよい。入力画像から特徴的な領域を選択する具体的手法については、後で詳細に説明する。
【００１８】
選択領域有効化部13は、認識領域選択部12により選択された特徴的な領域を有効化した入力画像(以下、有効入力画像)を生成する。すなわち、選択領域有効化部13は、認識領域選択部12により選択された特徴的な領域が認識処理の対象とされるように限定するための有効化処理を行う。特徴的な領域の有効化は、特徴的な領域以外の領域に属する画素の画素値が後続の画像特徴量算出部14での特徴量算出の際に無視されるようにするものであり、例えば、認識領域選択部12により選択された特徴的な領域に属する画素の画素値をそのままとし、特徴的な領域以外の領域に属する画素の画素値を認識処理に影響を及ぼさない単一の値(例えば０)で上書きすることで実現できる。
【００１９】
画像特徴量算出部14は、選択領域有効化部13からの有効入力画像を対象として、認識領域選択部12により選択された特徴的な領域ごとに画像特徴量を算出する。認識領域選択部12によりN個の特徴的な領域が選択された場合には、N通りの有効入力画像に対してそれぞれ画像特徴量を算出すればよい。画像特徴量としては任意の特徴量を利用することができ、認識領域選択部12での特徴的な領域の選択の際に既に得られている画像特徴量もそのまま利用することもできる。
【００２０】
参照画像特徴量格納部15は、参照画像の画像特徴量を予め格納している。画像特徴量比較部16は、画像特徴量算出部14により算出された有効入力画像の画像特徴量と参照画像特徴量格納部15に格納されている参照画像の画像特徴量を比較する。
【００２１】
認識結果出力部17は、画像特徴量比較部16での比較結果に従って、有効入力画像の画像特徴量と最も近似した画像特徴量を有する参照画像の識別子(対象物名など)などを認識結果として出力する。
【００２２】
認識結果表示部18は、認識結果出力部17から出力された認識結果を含む文字列や画像、選択領域の形状などを表示する。さらに、参照画像の識別子などと関連付けて任意のメディアをメディアファイル格納部19に格納しておけば、認識結果出力部17が出力する識別子などに関連するメディアをメディアファイル格納部19から取得して認識結果表示部18で結果画像として表示させることができる。
【００２３】
次に、具体例をあげて図１の画像認識装置10の動作を説明する。図２は、入力画像および有効入力画像の具体例を示す図である。
【００２４】
画像撮影部11からの入力画像が、例えば、図２(ａ)であるとすると、認識領域選択部12は、図２(ａ)の破線内を特徴的な領域として選択し、該領域の画像を有効とした図２(ｂ)を有効入力画像として出力する。ここでは、特徴的な領域以外の領域に属する画素の画素値を０(黒)で上書きしている。
【００２５】
認識領域選択部12での特徴的な領域の選択は、例えば、特徴点分布を利用することで可能である。特徴点分布は、画像内のコーナなどの特徴点を検出し、検出された特徴点間の距離を用いて計算される。例えば、１つの特徴点FＮに着目したとき、その周囲に存在し、かつ特徴点FＮとの距離が所定の閾値THより小さい特徴点の集合を特徴点FＮに関する特徴点集合{FＮ}と定める。全ての特徴点または任意にサンプリングした特徴点について特徴点集合を求め、特徴点集合で構成される画像内の領域が所定数以上の特徴点を有するとき、当該領域を特徴的な領域として選択することができる。
【００２６】
また、特徴的な領域の選択は、エッジ特徴を利用することでも可能である。エッジ特徴を利用する場合には、画像撮影部11からの入力画像に対してエッジ強調フィルタによるエッジ強調を適用し、これにより取得されたエッジが閉領域を構成するとき、当該領域を特徴的な領域とみなすことができる。
【００２７】
また、直線の数や色の分布、テクスチャの複雑さ、テクスチャの類似性などから特徴的な領域を選択することも可能である。例えば、直線の数から特徴的な領域を選択する場合には、画像撮影部11からの入力画像に対してハフ変換などによる直線検出を適用した後、画像全体に対する所定方向・所定数の線を引き、検出された直線と所定方向・所定数の直線とが一定以上の密度で交差する領域を特徴的な領域として選択することができる。
【００２８】
さらに、以上の特徴的な領域の選択手法を適宜組み合わせて特徴的な領域を選択することもできる。
【００２９】
画像特徴量算出部14は、選択領域有効化部13からの有効入力画像を対象として、認識領域選択部12により選択された特徴的な領域ごとに画像特徴量を算出する。もし、領域選択部12によって入力画像からN個の特徴的な領域が選択された場合には、N通りの有効入力画像に対して画像特徴量を算出する。
【００３０】
図３は、入力画像から2個の特徴的な領域が選択された場合の画像認識装置10の動作を説明する図である。ここでは、領域選択部12によって入力画像が図３(ａ)であり、該入力画像から2個の特徴的な領域A、Bが選択された場合を示している。
【００３１】
認識領域選択部12は、領域Aの画像を有効とした有効入力画像(図３(ｂ))と領域Bの画像を有効とした有効入力画像(図３(ｃ))を出力する。ここでも、特徴的な領域以外の領域に属する画素の画素値を０(黒)で上書きしている。
【００３２】
画像特徴量算出部14は、有効入力画像(図３(ｂ)、図３(ｃ))それぞれについて画像特徴量を算出する。すなわち、まず、領域Aのみを残して領域Bも含めて除外し、領域Aから画像特徴量を算出する。次に、領域Bのみを残して領域Aも含めて除外し、領域Bから画像特徴量を算出する。
【００３３】
画像特徴量算出部14が算出する画像特徴量としては任意の特徴量を利用することができる。例えば、スケール不変特徴変換(SIFT)や画像モーメントなどを利用することができる。
【００３４】
スケール不変特徴変換(SIFT)は、「Distinctive Image Feature from Scale-invariant Keypoints」(David Lowe, International Journal of Computer Vision)に記載の方法で抽出することができる。
【００３５】
２次元画像をF(x, y)としたとき、(m＋n)次画像モーメントMｍｎは、式(1)によって算出される。このとき、２次元画像は２値化してもよい。
【００３６】
【数１】
2012203823.tif 000003
【００３７】
また、(M１０/M００, M０１/M００)は重心を表し、この重心に対する重心モーメントμｍｎは、平行移動に不変である。重心モーメントμｍｎは、式(2)で算出される。
【００３８】
【数２】
2012203823.tif 000004
さらに、μ００で正規化された重心モーメントηｉｊ(i＋j≧2)は、拡大縮小に不変である。正規化重心モーメントηｉｊは、式(3)で算出される。
【００３９】
【数３】
2012203823.tif 000005
【００４０】
なお、SIFTは、ノイズなどに頑強であるが特徴量の次元数が大きくなる。一方、画像モーメントは、特徴量の次元数が小さいがノイズなどに脆弱である。SIFTと画像モーメントの長所・短所を考慮して、認識対象や用途に応じてそれらの特徴量を任意に組み合わせて使うこともできる。
【００４１】
画像特徴量比較部16は、有効入力画像から算出された画像特徴量と参照画像特徴量格納部15に予め格納されている参照画像の画像特徴量と比較する。参照画像の画像特徴量は、任意の形式で格納しておくことができるが、有効入力画像の画像特徴量と比較する際には、両者の形式を統一して比較する。
【００４２】
画像特徴量比較部16での比較には、例えば、画像特徴量間距離の測定などを利用可能である。例えば、画像特徴量として画像モーメントを用い、正規化重心モーメントとしてη０２とη２０との距離dを測定するには、式(4)を用いればよい。
【００４３】
【数４】
2012203823.tif 000006
【００４４】
ここで、qηｉｊは、有効入力画像の正規化重心モーメント、rηｉｊは参照画像の正規化重心モーメントを表す。なお、i, j(i＋j≧2)には任意のものを使用することができる。
【００４５】
認識結果出力部17は、画像特徴量比較部16での画像特徴量の比較結果に従って、有効入力画像の画像特徴量と最も近似した画像特徴量を有する参照画像の識別子(対象物名など)など、例えば、式(4)の距離dのうち最小の値を与える参照画像の識別子などを認識結果として出力する。
【００４６】
認識結果表示部18では、認識結果出力部17が出力する参照画像の識別子などを含む文字列や画像、選択領域の形状などを表示する。参照画像に識別子などの代わりに該識別子などと関連付けられたメディアなどを再生するようにしてもよい。
【００４７】
参照画像に識別子などと関連付けられたメディアの再生は、図１に示すように、参照画像の識別子などと関連付けられたメディアを格納するメディアファイル格納部19を設け、認識結果出力部17が出力する参照画像の識別子などにより該識別子と関連付けられたメディアをメディアファイル格納部19から取得し、該メディアを認識結果表示部18に送出することで実現できる。
【００４８】
認識結果表示部18で再生するメディアとしては、静止画や動画、アニメーション、音声、サウンドなどが利用でき、これらはメディアファイル格納部19に予め格納しておくことができる。
【００４９】
図３(ｄ)は、入力画像から2個の特徴的な領域A、Bが選択された場合の結果表示画像を示している。ここでは、式(4)の距離dを算出により領域A、Bに対してそれぞれ「XXビールの詳細へ」、「ビールに合うYYスナック」が認識結果として得られた場合の結果表示画像を示している。図示するように、複数の領域についての認識結果を一画面として重畳表示してもよいし、所定タイミングで順次切り換えて重畳表示してもよい。また、後述するように、この認識結果の表示から「XXビール」や「YYスナック」のWEBサイトへ誘導するようにすることもできる。
【００５０】
以上では、画像認識装置10が参照画像特徴量格納部15および画像特徴比較部16を備えるものとして説明したが、参照画像特徴量格納部15および画像特徴比較部16を備えるのに代えて、ネットワーク経由で接続されたサーバを利用することもできる。この場合には、サーバに参照画像特徴量格納部15および画像特徴比較部16としての機能を持たせ、画像特徴量算出部14で算出した有効入力画像の画像特徴量を任意の形式に変換してサーバに送信し、サーバにおいて有効入力画像の画像特徴量と参照画像の画像特徴量を比較し、その比較結果に従って有効入力画像の画像特徴量と最も近似した画像特徴量を有する参照画像の識別子などをネットワーク経由で画像認識装置10に通知するようにすればよい。
【００５１】
また、画像特徴量算出部14を備えるのに代えてサーバを利用することもできる。この場合には、サーバに画像特徴量算出部14としての機能を持たせ、有効入力画像そのものを画像認識装置10からサーバに送信し、サーバにおいて有効入力画像から画像特徴量を算出し、さらに有効入力画像からの画像特徴量と参照画像の画像特徴量を比較するようにすればよい。これによれば、画像認識装置10で画像特徴量を算出する必要がないので、画像特徴量の算出コストが大きい場合に画像認識装置10の処理負荷を軽減できる。
【００５２】
さらに、メディアファイル格納部19は、ネットワークに接続されたものでもよく、認識結果出力部17を備えるのに代えてサーバを利用することもできる。これによれば、例えば、サーバに認識結果出力部17としての機能を持たせ、該サーバに認識結果出力部17としての機能により出力される認識結果と併せて、該認識結果に関連付けられたメディアをネットワークから取得して画像認識装置10に送信し、画像認識装置10で認識結果やメディアを再生するようにすることができる。メディアを画面撮影部11による入力画像に重畳させて再生させてもよい。
【００５３】
図４は、本発明を、特に広告映像を対象として画像認識を行う画像認識装置に適用した場合の構成を示すブロック図である。
【００５４】
本画像認識装置40は、例えば、カメラ付き携帯電話であり、画像撮影部41、広告商品領域選択部42、広告商品領域有効化部43、画像特徴量算出部44、画像特徴量比較部46、関連URL取得部47、関連WEB表示部48および蓄積媒体45を備える。
【００５５】
画像撮影部41は、テレビ放送を受信するテレビ50の画面を撮影する。画像撮影部41により広告映像のテレビ画面が撮影されると、広告商品領域選択部42は、その入力画像から広告商品領域を特徴的な領域として選択する。
【００５６】
画像撮影部41がテレビ50の画面を撮影するとき、どの広告映像の画面がテレビ50で表示されているかを外部から通知してもよい。例えば、テレビ50の画面が現在放映中の広告映像やテレビ番組の画面であれば、テレビ局またはテレビ局を代表する事業者のサーバから、どの広告映像やテレビ番組が放映されているかの情報を配信する。画像認識装置40では、サーバから配信された情報を受信し、該情報から認識対象となる広告映像やテレビ番組を事前知識として利用することにより、画像撮影部41が撮影した画面に含まれる広告商品領域を限定的に選択することができる。
【００５７】
また、テレビ50の画面が録画再生装置に一旦録画されて再生された広告映像やテレビ番組の画面であれば、どの広告映像やテレビ番組が再生されているかの情報を録画再生装置から画像認識装置40に通知すればよい。この通知は、例えば、録画再生装置と画像認識装置40の間での近距離無線などを利用し、再生中の広告映像やテレビ番組に関する情報を送受信することで可能である。
【００５８】
さらに、予め対象となる広告映像やテレビ番組を解析し、時間的に連続する複数枚の参照画像の画像特徴量を保持しておけば、画像撮影部41により撮影された1枚の画面から広告商品領域を特定しやすくなる。尚、参照画像において広告商品領域を事前に特定しておいてもよい。
【００５９】
広告商品領域有効化部43は、広告商品領域選択部42により選択された特徴的な領域を有効化した入力画像を生成する。広告商品領域選択部42により選択された特徴的な領域以外の領域については、単に無視してもよいし、単一の値に変換してもよい。
【００６０】
画像特徴量算出部44は、広告商品領域有効化部43からの有効入力画像を対象として、広告商品領域選択部42により選択された特徴的な領域の画像特徴量を算出する。
【００６１】
蓄積媒体45は、予め登録されている広告商品画像を参照画像とし、該参照画像から予め算出された画像特徴量を格納している。また、蓄積媒体45は、参照画像の広告商品の識別子と各識別子に関連付けられたWEBサイトのURLが記述されたファイルを格納している。これらの参照画像の画像特徴量、WEBサイトのURLは、広告アグリゲータ60などから取得することができる。  
【００６２】
画像特徴量比較部46は、広告商品領域選択部42により選択された特徴的な領域の画像特徴量と蓄積媒体45に格納されている参照画像の特徴量を比較する。関連URL取得部47は、画像特徴量比較部46での比較結果に従って、有効入力画像の画像特徴量と最も近似した画像特徴量を有する参照画像の識別子に関連付けられたWEBサイトのURL を蓄積媒体45から取得する。
【００６３】
関連WEB表示部48は、WEBブラウザを起動し、関連URL取得部47により取得されたWEBサイトのURLを用いて広告主などのサーバ70のWEBページにアクセスする。これにより、広告映像の広告商品に関連付けられたWEBサイトを開き、ユーザを広告商品の詳細情報が閲覧できるサイトや広告商品を購入できるサイトなどに簡易に誘導することができる。
【００６４】
以上、実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、図４は、本発明を、広告映像を対象として画像認識を行う画像認識装置に適用した場合の例であるが、例えば、テレビ出演者を対象として画像認識を行う画像認識装置に本発明を適用することもできる。すなわち、テレビ画面の映像から出演者顔領域を特徴的な領域として選択し、該特徴的な領域における画像特徴量を元に認識される出演者に関連付けられたWEBサイトなどの情報を表示させることができる。
【００６５】
また、画像撮影部により取得された画像そのままでなく、選択部や画像特徴量抽出部や画像特徴量比較部で処理しやすいように処理した画像を認識領域選択部に入力するようしてもよい。例えば、画像撮影部により取得された画像の歪みを推定し、これにより推定された歪みに基づいて歪み補正した画像を認識領域選択部に入力してもよく、また、拡大や回転処理後の画像を認識領域選択部に入力してもよい。なお、画像の歪み補正、拡大や回転処理の技術は既知であり、ここで用いる技術は限定されない。
【符号の説明】
【００６６】
10,40・・・画像認識装置、11,41・・・画像撮影部、12・・・認識領域選択部、13・・・選択領域有効化部、14,44・・・画像特徴量算出部、15,46・・・画像特徴量比較部、16・・・認識結果出力部、17・・・認識結果表示部、18・・・参照画像特徴量格納部、19・・・メディアファイル格納部、42・・・広告商品領域選択部、43・・・広告商品領域有効化部、47・・・関連URL取得部、48・・・関連WEB表示部、45・・・蓄積媒体
【図１】
2012203823.tif 000007
【図２】
2012203823.tif 000008
【図３】
2012203823.tif 000009
【図４】
2012203823.tif 000010