(57)【要約】【課題】撮像画像から様々なオブジェクト（人物に係るオブジェクトおよび人物以外のオブジェクト）を認識できる技術を提供する。【解決手段】カメラ１は、被写体を撮像する撮像部１００と、前記撮像部１００によって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識するオブジェクト認識部１２０とを備える。【選択図】図１
2012100109.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部によって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識するオブジェクト認識部と
を備えることを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器において、
前記オブジェクト認識部は、
前記異なるアングルから撮像された複数のスルー画像の中央部に所定の割合で撮像されているオブジェクトを前記主要オブジェクトとして認識することを特徴とする電子機器。
【請求項３】
請求項１又は請求項２の何れか１項に記載の電子機器において、
前記所定の割合は、
１００パーセントであることを特徴とする電子機器。
【請求項４】
請求項１から請求項３の何れか１項に記載の電子機器において、
筐体における前記被写体の撮像に用いるレンズの位置およびレンズのアングルを移動させるレンズ部駆動制御部
を更に備えることを特徴とする電子機器。
【請求項５】
電子機器の撮像手段が、前記カメラを用いて被写体を撮像し、
前記電子機器のオブジェクト認識手段が、前記撮像手段によって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識する
ことを特徴とするオブジェクトの認識方法。
【請求項６】
電子機器のコンピュータに、
被写体を撮像する撮像ステップと、
前記撮像ステップによって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識するオブジェクト認識ステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、オブジェクトの認識方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、撮像画像から人物に係るオブジェクトを認識する技術が知られている（例えば、特許文献１参照）。特許文献１には、人の顔領域として人の肌色が検出された領域を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３７６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述するような従来の技術では、撮像画像から人物以外のオブジェクトを認識することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、撮像画像から様々なオブジェクト（人物に係るオブジェクトおよび人物以外のオブジェクト）を認識できる電子機器、オブジェクトの認識方法及びプログラムを提供する。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である電子機器は、被写体を撮像する撮像部と、前記撮像部によって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識するオブジェクト認識部とを備えることを特徴とする。
【０００６】
上記電子機器において、前記オブジェクト認識部は、前記異なるアングルから撮像された複数のスルー画像の中央部に所定の割合で撮像されているオブジェクトを前記主要オブジェクトとして認識するようにしてもよい。
【０００７】
上記電子機器において、前記所定の割合は、１００パーセントであってもよい。
【０００８】
上記電子機器は、筐体における前記被写体の撮像に用いるレンズの位置およびレンズのアングルを移動させるレンズ部駆動制御部を更に備えるようにしてもよい。
【０００９】
上記問題を解決するために、本発明の他の態様であるオブジェクト認識方法は、電子機器の撮像手段が、前記カメラを用いて被写体を撮像し、前記電子機器のオブジェクト認識手段が、前記撮像手段によって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識することを特徴とする。
【００１０】
上記問題を解決するために、本発明の他の態様であるプログラムは、電子機器のコンピュータに、被写体を撮像する撮像ステップと、前記撮像ステップによって異なるアングルから撮像された複数のスルー画像に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識するオブジェクト認識ステップとを実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像画像から様々なオブジェクトを認識できるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態によるカメラ１の機能ブロック図である。
【図２】カメラ１の動作を説明するための説明図である。
【図３】カメラ１の動作の一例を示すフローチャートである。
【図４】本発明の第２の実施形態による装置２の上面外観概略図である。
【図５】装置２の機能ブロック図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態によるカメラ１の機能ブロック図である。カメラ１は、図1（ａ）に示すように、撮像部１００、オブジェクト認識部１２０、記憶部１９０を備える。
【００１４】
撮像部１００は、カメラ１が備えるレンズ（図１において非図示）を用いて被写体を時間的に連続して撮像する。撮像部１００は、時間的に連続して撮像することによって得られるスルー画像（スルー画像データ）を記憶部１９０に記憶する。例えば、カメラ１を構えたユーザの左右に移動し、被写体に対するカメラ１のアングルが漸次変化している場合、撮像部１００は、各アングルのスルー画像を順次生成し、順次、記憶部１９０に記憶する。
【００１５】
オブジェクト認識部１２０は、記憶部１９０に記憶されている、上述の各アングルのスルー画像を用いてオブジェクトを認識する。即ち、オブジェクト認識部１２０は、撮像部１００によって異なるアングルから撮像された複数のスルー画像を用いてオブジェクトを認識する。
【００１６】
具体的には、オブジェクト認識部１２０は、異なるアングルから撮像された複数のスルー画像の中央部（各スルー画像の全ての中央部）の何れにも撮像されているオブジェクトを主要なオブジェクト（以下、「主要オブジェクト」という）として認識する。以下、図２を用いて主要オブジェクトの認識について説明する。
【００１７】
図２は、カメラ１の動作を説明するための説明図である。まずは、図２（ａ）〜図２（ｆ）について説明する。
図２（ａ）（ｂ）（ｃ）は、カメラ１、各オブジェクト（Ｏ１、Ｏ２、Ｏ３、Ｏ４、Ｏ５）との位置関係を示す平面図（上空からの視点）である。図２（ａ）の一点鎖線Ｌ１は、カメラ１の光軸（光軸方向）を示している。図２（ａ）の実線Ｌ４、Ｌ５は、カメラ１の撮像範囲（視野）を示している。図２（ａ）の破線Ｌ２、Ｌ３は、カメラ１の撮像範囲の中央部（視野内の中央部）を示している。
なお、カメラ１と各オブジェクトとが図２（ａ）に示す位置関係にあるときに、カメラ１をＡ方向に移動（スイング）させた場合、図２（ｂ）に示すような位置関係となる。また、カメラ１と各オブジェクトとが図２（ａ）に示す位置関係にあるときに、カメラ１をＢ方向に移動（スイング）させた場合、図２（ｂ）に示すような位置関係となる。
【００１８】
図２（ｄ）（ｅ）（ｆ）は、カメラ１によって撮像された各スルー画像（Ｐ１、Ｐ２、Ｐ３）である。図２（ｄ）に示すスルー画像Ｐ１は、カメラ１と各オブジェクトとが図２（ａ）に示す位置関係にあるときに撮像されたものである。図２（ｅ）に示すスルー画像Ｐ２は、カメラ１と各オブジェクトとが図２（ｂ）に示す位置関係にあるときに撮像されたものである。図２（ｆ）に示すスルー画像Ｐ３は、カメラ１と各オブジェクトとが図２（ｃ）に示す位置関係にあるときに撮像されたものである。また、図２（ｄ）の破線の矩形Ｐ１−Ｃは、スルー画像Ｐ１内の中央部の領域を示している。図２（ｅ）の矩形Ｐ２−Ｃ、図２（ｆ）の矩形Ｐ３−Ｃについても同様である。
【００１９】
例えば、記憶部１９０に図３（ｄ）〜（ｆ）に示すスルー画像Ｐ１、Ｐ２、Ｐ３が記憶されている場合、オブジェクト認識部１２０は、記憶部１９０を参照し、スルー画像Ｐ１の中央部Ｐ１−Ｃ、スルー画像Ｐ２の中央部Ｐ２−Ｃ、スルー画像Ｐ３の中央部Ｐ３−Ｃの何れにも撮像されているオブジェクトＯ３を主要オブジェクトとして認識する。つまり、スルー画像Ｐ１の中央部Ｐ１−ＣにはオブジェクトＯ２、Ｏ３が撮像され（図３（ｄ））、スルー画像Ｐ２の中央部Ｐ２−ＣにはオブジェクトＯ３、Ｏ４が撮像され（図３（ｅ））、スルー画像Ｐ３の中央部Ｐ３−ＣにはオブジェクトＯ２、Ｏ３が撮像されているため（図３（ｆ））、オブジェクト認識部１２０は、中央部Ｐ１−Ｃ、中央部Ｐ２−Ｃおよび中央部Ｐ３−Ｃの何れにも撮像されているオブジェクトＯ３を主要オブジェクトとして認識する。
【００２０】
なお、図２（ａ）（ｂ）（ｃ）において破線Ｌ２、Ｌ３によって規定される角度、即ち、図２（ｄ）（ｅ）（ｆ）における中央部の領域（矩形Ｐ１−Ｃ、矩形Ｐ２−Ｃ、矩形Ｐ３−Ｃ）は、適宜変更されるものであってもよい。例えば、上記中央部の領域は、レンズの焦点距離（実線Ｌ２、Ｌ３によって規定される視野角）、ユーザによる指定などに応じて、適宜変更されるものであってもよい。
【００２１】
また、オブジェクト認識部１２０は、中央部と対象領域を限定せずに、異なるアングルから撮像された複数のスルー画像の何れにも撮像されているオブジェクトを主要オブジェクトとして認識してもよい。例えば、記憶部１９０に図３（ｄ）〜（ｆ）に示すスルー画像Ｐ１、Ｐ２、Ｐ３が記憶されている場合、オブジェクト認識部１２０は、記憶部１９０を参照し、スルー画像Ｐ１、スルー画像Ｐ２、スルー画像Ｐ３の何れにも撮像されているオブジェクトＯ２、Ｏ３、Ｏ４を主要オブジェクトとして認識してもよい。つまり、スルー画像Ｐ１にはオブジェクトＯ１、Ｏ２、Ｏ３、Ｏ４が撮像され（図３（ｄ））、スルー画像Ｐ２にはオブジェクトＯ２、Ｏ３、Ｏ４、Ｏ５が撮像され（図３（ｅ））、スルー画像Ｐ３にはオブジェクトＯ１、Ｏ２、Ｏ３、Ｏ４が撮像されているため（図３（ｆ））、オブジェクト認識部１２０は、スルー画像Ｐ１、スルー画像Ｐ２およびスルー画像Ｐ３の何れにも撮像されているオブジェクトＯ２、Ｏ３、Ｏ４を主要オブジェクトとして認識する。なお、図３（ｆ）に示すように、オブジェクトＯ４については全体が撮像されていないため、主要オブジェクトとして認識しないようにしてもよい。
【００２２】
なお、上述の如く、オブジェクト認識部１２０は、異なるアングルから撮像された複数のスルー画像を用いて主要オブジェクトを認識するが、異なるアングルによる撮像がなされたか（若しくは、なされるか）否かについては、例えば、以下のような手法によって判断すればよい。
（ユーザ入力による判断）  
カメラ１のユーザからの明示の入力（つまり、上述の如く主要オブジェクトを認識するためのモード設定）があった場合に、オブジェクト認識部１２０は、当該入力後において、異なるアングルによる撮像がなされると判断し、記憶部１９０にアクセスして、主要オブジェクトを認識する。例えば、オブジェクト認識部１２０は、入力１（例えば、レリーズボタンの半押）から入力２（例えば、レリーズボタンの再度の半押）の間のスルー画像を用いて、主要オブジェクトを認識してもよい。なお、上記場合、ユーザは、入力１から入力２の間に、異なるアングルからのスルー画像を得るために、例えば、図２（ａ）に示すＡ方向、Ｂ方向にカメラ１を移動させる。
（センサによる判断）  
図１（ｂ）に示すように、カメラ１にセンサ１１０（ジャイロセンサ、加速度センサ）を搭載し、カメラ１の所定の動き（例えば、図２（ａ）に示すＡ方向、Ｂ方向の動き）検出した場合に、オブジェクト認識部１２０は、異なるアングルによる撮像がなされたと判断し、記憶部１９０にアクセスして、主要オブジェクトを認識する。なお、上記場合、カメラ１が所定の動きをした場合には、ユーザによる指示がなくても、主要オブジェクトが認識される。
【００２３】
以下、フローチャートを用いて、カメラ１の動作を説明する。図３は、カメラ１の動作の一例を示すフローチャートである。なお、カメラ１にはセンサ１１０が搭載されているもとする。また、撮像部１１０は、下記のオブジェクト認識部１２０による処理と並行し、連続的に、スルー画像を生成し、生成したスルー画像を記憶部１９０に記憶しているものとする。
【００２４】
オブジェクト認識部１２０は、所定の動きを検出した旨の通知をセンサ１１０から取得したか否かを判断する（ステップＳ１０）。即ち、オブジェクト認識部１２０は、カメラ１が移動し始めたか否かを判断する。オブジェクト認識部１２０は、所定の動きを検出した旨の通知を取得していないと判断した場合（ステップＳ１０：Ｎｏ）、以下のステップを実行することなく本フローチャートは終了する。
【００２５】
一方、オブジェクト認識部１２０は、所定の動きを検出した旨の通知を取得したと判断した場合（ステップＳ１０：Ｙｅｓ）、現在時刻を移動開始時刻として記憶（保持）する（ステップＳ２０）。
【００２６】
ステップＳ２０に続いて、オブジェクト認識部１２０は、所定の動きを検出した旨の通知をセンサ１１０から取得したか否かを判断する（ステップＳ３０）。即ち、オブジェクト認識部１２０は、カメラ１が未だ移動しているか否かを判断する。オブジェクト認識部１２０は、所定の動きを検出した旨の通知を取得したと判断した場合（ステップＳ３０：Ｙｅｓ）、所定の動きを検出した旨の通知を取得していないと判断する迄、ステップＳ３０を繰り返し実行する。
【００２７】
一方、オブジェクト認識部１２０は、所定の動きを検出した旨の通知を取得していないと判断した場合（ステップＳ３０：Ｎｏ）、現在時刻を移動終了時刻として記憶する（ステップＳ４０）。
【００２８】
ステップＳ２０に続いて、オブジェクト認識部１２０は、記憶部１９０に記憶されているスルー画像のうち、移動開始時刻〜移動終了時刻の間に撮像された複数のスルー画像を用いて、主要オブジェクトを認識する（ステップＳ５０）。換言すれば、オブジェクト認識部１２０は、カメラ１の移動中に撮像された複数のスルー画像（即ち、異なるアングルから撮像された複数のスルー画像）を用いて主要オブジェクトを認識する。そして本フローチャートは終了する。
【００２９】
（第２の実施形態）
続いて、図面を参照しながら本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態による装置２の外観概略図である。図４（ａ）は装置２の上面図、図４（ｂ）は装置２の側面図である。装置２は、図４（ａ）（ｂ）に示すように、本体筐体２０、本体筐体２０の上部に設けられた案内部２４、案内部２４に沿って方向Ａ又は方向Ｂに移動するレンズ部２４を備える。なお、レンズ部２４は、レンズ部駆動制御部１１２（図５参照）の制御によって案内部２４に沿って移動する。
【００３０】
図４（ａ）に示す方向Ａ、方向Ｂは、図２（ａ）に示す方向Ａ、方向Ｂに対応する。つまり、装置２は、本体筐体２０の位置を変えることなく、異なるアングルから撮像することができる。
【００３１】
図５は、装置２の機能ブロック図である。装置２は、図５に示すように、撮像部１００、レンズ部駆動制御部１１２、オブジェクト認識部１２０、記憶部１９０を備える。撮像部１００、レンズ部駆動制御部１１２および記憶部１９０については、第１の実施形態のカメラ１と同様であるため、説明の全部又は一部を省略する。
【００３２】
レンズ部駆動制御部１１２は、受付部（非図示）を介してユーザからレンズ部２２を駆動させる旨の入力を受け付ける。レンズ部駆動制御部１１２は、上記入力を受け付けた場合、本体筐体２０におけるレンズ部２２の位置およびレンズ部２２のアングルを移動させる。即ち、レンズ部駆動制御部１１２は、案内部２４に沿ってレンズ部２２が移動するように制御する。
【００３３】
オブジェクト認識部１２０は、案内部２４に沿ってレンズ部２２を移動させた旨をレンズ部駆動制御部１１２から通知された場合、即ち、案内部２４に沿ってレンズ部２２が移動した場合、記憶部１９０にアクセスして、レンズ部２２の移動中に撮像された複数のスルー画像（即ち、異なるアングルから撮像された複数のスルー画像）を用いて主要オブジェクトを認識する。具体的には、オブジェクト認識部１２０は、レンズ部２２の移動中に撮像された複数のスルー画像の何れにも撮像されているオブジェクト、若しくは、レンズ部２２の移動中に撮像された複数のスルー画像の中央部の何れにも撮像されているオブジェクトを主要オブジェクトとして認識する。
【００３４】
以上、第１の実施形態のカメラ１、第２の実施形態の装置２によれば、カメラ１（レンズ部２２）を動かしつつライブビューにて所望のオブジェクトを捉れば、オブジェクト認識部１２０がカメラ１（レンズ部２２）を動かしている間に取得した複数のスルー画像を用いて主要オブジェクトを認識するため、撮像画像から様々なオブジェクトを主要オブジェクトとして認識できるようになる。
【００３５】
また、オブジェクト認識部１２０による主要オブジェクトの認識は、複数のスルー画像の全てに撮像されたオブジェクトを主要オブジェクトする態様に加え、複数のスルー画像の夫々の中央部に全て撮像されたオブジェクトを主要オブジェクトする態様もあるが、後者の場合、より厳密に、様々なオブジェクトを主要オブジェクトとして認識できるようになる。通常の使用態様では、ユーザは、カメラ１（レンズ部２２）を動かしているときに所望のオブジェクトを画面中央部に捉えるからである。
【００３６】
なお、本手法によるオブジェクトの認識技術と、他の手法（例えば、エッジ抽出によるオブジェクト認識、色の差異に着目したオブジェクト認識）とを組み合わせることによって、より一層、高度にオブジェクトを認識することができるようになる。
【００３７】
なお、第１の実施形態および第２の実施形態においては、オブジェクト認識部１２０は、カメラ１（レンズ部２２）の移動中に撮像された複数のスルー画像の何れにも撮像されているオブジェクト、若しくは、カメラ１（レンズ部２２）の移動中に撮像された複数のスルー画像の中央部の何れにも撮像されているオブジェクトを主要オブジェクトとして認識する態様を説明したが、オブジェクト認識部１２０は、カメラ１（レンズ部２２）の移動中に撮像された複数のスルー画像に所定の割合で撮像されているオブジェクト、若しくは、カメラ１（レンズ部２２）の移動中に撮像された複数のスルー画像の中央部に所定の割合で撮像されているオブジェクトを主要オブジェクトとして認識してもよい。これにより、カメラ１（レンズ部２２）の移動中の手振れなどによって所望のオブジェクトが、スルー画像（若しくはスルー画像の中央部）に収まらなかった場合であっても、当該所望のオブジェクトを主要オブジェクトとして認識することができるようになる。
【００３８】
なお、上記所定の割合は、カメラ１（レンズ部２２）が移動した移動時間、レンズの焦点距離、周囲（若しくは被写体）の明るさなどに応じて変化する値であってもよい。また、所定の割合は、固定的な値であるにしても、上述の如く、変化する値であるにしても、ユーザによって設定されるものであってもよい。なお、第１の実施形態および第２の実施形態では、「何れにも撮像されているオブジェクト」と記載したことからも明らかではあるが、所定の割合を１００％としている。なお、所定の割合は高ければ高いほど、より厳密に主要オブジェクトを認識することになる。
【００３９】
なお、第２の実施形態において、本体筐体２０の上部に移動可能なレンズ部２４が配置する例を説明したが、レンズ部２４の配置位置は本体筐体２０の上部に限定されるものではない。図４に示す案内部２４の形状の如く弧状に移動可能であれば、レンズ部２４を何れの位置に配置してもよい。
【００４０】
なお、第１の実施形態のカメラ１および第２の実施形態の装置２は、何れも撮像部１００および記憶部１９０を備えるが、本発明の電子機器は、少なくとも、オブジェクト認識部１２０を備えていればよい。例えば、オブジェクト認識部１２０を備える電子機器（例えば、パーソナルコンピュータ）は、撮像部１００および記憶部１９０を備える他の装置（例えば、カメラ）にアクセスし、主要オブジェクトを認識してもよい。当該場合、他の装置は、異なるアングルから撮像された複数のスルー画像を特定し得る情報を保持し、電子機器は当該情報を参照し、主要オブジェクトを認識する。また例えば、オブジェクト認識部１２０を備える電子機器（例えば、パーソナルコンピュータ）は、記憶部１９０（例えば、ＵＳＢメモリ）にアクセスし、主要オブジェクトを認識してもよい。当該場合、記憶部１９０は、異なるアングルから撮像された複数のスルー画像を特定し得る情報を保持し、電子機器は当該情報を参照し、主要オブジェクトを認識する。
【００４１】
なお、本発明の一実施形態によるカメラ１、２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、カメラ１、２の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４４】
１…カメラ、２…装置、２０…本体筐体、２２…レンズ部、２４…案内部、１００…撮像部、１１０…センサ、１１２…レンズ部駆動制御部、１２０…オブジェクト認識部、１９０…記憶部
【図１】
2012100109.tif 000003
【図２】
2012100109.tif 000004
【図３】
2012100109.tif 000005
【図４】
2012100109.tif 000006
【図５】
2012100109.tif 000007