(57)【要約】【課題】容易に、ユーザが綺麗に撮りたいと考えている特定の被写体にフォーカスを合わせて撮影を行うことができるようにする。【解決手段】撮影された画像がディスプレイ２４に表示され、それぞれの画像に、綺麗に撮りたいと考えている特定の被写体が含まれているか否かがユーザにより選択される。特定の被写体が含まれている画像をポジティブサンプルの画像、特定の被写体が含まれていない画像をネガティブサンプルの画像として学習が行われることによって、その特定の被写体を認識するための認識パラメータが生成される。認識パラメータが生成された後の撮影時、取り込み中の画像を対象として認識パラメータを用いた認識が行われ、特定の被写体が含まれている場合、その被写体に自動的にフォーカスが合わせられる。本発明はデジタルカメラに適用することができる。【選択図】図１
2009055432.tif 000002
【特許請求の範囲】
【請求項１】
撮影された複数の画像を取得する取得手段と、
前記取得手段により取得された画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付ける受け付け手段と、
特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成する学習手段と、
撮影を行う撮影手段と、
前記学習手段により生成された前記認識パラメータを用いて、前記撮影手段により撮影された画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて前記撮影手段に撮影を行わせる認識手段と
を備える撮影装置。
【請求項２】
前記取得手段は、前記撮影手段により撮影された画像を取得する
請求項１に記載の撮影装置。
【請求項３】
ネットワークを介して接続されるサーバと通信を行い、他の撮影装置により撮影された画像をダウンロードする通信手段をさらに備え、
前記取得手段は、前記通信手段によりダウンロードされた画像を取得する
請求項１に記載の撮影装置。
【請求項４】
前記学習手段は、さらに、前記通信手段によりダウンロードされたポジティブサンプルの画像とネガティブサンプルの画像を用いて学習を行うことによって前記認識パラメータを生成する
請求項３に記載の撮影装置。
【請求項５】
前記認識手段は、さらに、前記通信手段によりダウンロードされたネガティブサンプルの画像を対象として特定の被写体の認識を行い、
前記学習手段は、前記通信手段によりダウンロードされたネガティブサンプルの画像に特定の被写体が含まれるとして前記認識手段により認識された場合、その画像をポジティブサンプルの画像として学習を行うことによって前記認識パラメータを生成する
請求項４に記載の撮影装置。
【請求項６】
撮影された複数の画像を取得し、
取得した画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付け、
特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成し、
撮影を行い、
生成した前記認識パラメータを用いて、撮影した画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて撮影を行わせる
ステップを含む撮影方法。
【請求項７】
撮影された複数の画像を取得し、
取得した画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付け、
特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成し、
撮影を行い、
生成した前記認識パラメータを用いて、撮影した画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて撮影を行わせる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影方法、およびプログラムに関し、特に、容易に、ユーザが綺麗に撮りたいと考えている特定の被写体にフォーカスを合わせて撮影を行うことができるようにした撮影装置、撮影方法、およびプログラムに関する。
【背景技術】
【０００２】
近年販売されているデジタルカメラの中には、フレームに含まれる人の顔を認識し、認識した顔に自動的にフォーカスを合わせる機能が搭載されているものがある。これにより、ユーザはフォーカスが合った状態で人の顔を綺麗に撮影することができる。
【０００３】
特許文献１には、撮影して得られた人の顔の輪郭部分の信号に対して輪郭強調処理を施す技術が開示されている。
【特許文献１】特開２００５−７９７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、どんな被写体を綺麗に撮りたいかはユーザによって異なる。例えば、ワインのラベルを綺麗に撮りたいという要求を持ったユーザや、バードウォッチングが趣味のため、鳥を綺麗に撮りたいという要求を持ったユーザもいるように、通常、ユーザの趣味によって、綺麗に撮りたいと考える被写体は異なる。
【０００５】
また、植物図鑑用の写真、仏像図鑑用の写真といったように、写真の用途によっても綺麗に撮りたいと考える被写体は異なる。
【０００６】
ところで、人の顔を認識し、認識した顔に自動的にフォーカスを合わせる上述した機能はデジタルカメラに実装された顔認識器により実現されるが、この顔認識器は、サンプル画像をたくさん集め、サンプル画像に含まれる顔の部分を切り出し、顔のパーツのラベリングを行った上で顔のデータベースを作り、そのデータをもとに学習を行う、といった作業が開発者により行われることにより作成される。
【０００７】
サンプル画像からの対象部分の切り出しやラベリングは多くの手間を必要とすることから、ワインのラベルを綺麗に撮りたいという要求や鳥を綺麗に撮りたいという要求などの様々な要求に応じて認識器をあらかじめ用意しておくことはできない。また、ユーザの用途によって被写体となり得るものは多様であり、それぞれの被写体の認識器を作成するためのデータベースを作ることも難しい。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、容易に、ユーザが綺麗に撮りたいと考えている特定の被写体にフォーカスを合わせて撮影を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の撮影装置は、撮影された複数の画像を取得する取得手段と、前記取得手段により取得された画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付ける受け付け手段と、特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成する学習手段と、撮影を行う撮影手段と、前記学習手段により生成された前記認識パラメータを用いて、前記撮影手段により撮影された画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて前記撮影手段に撮影を行わせる認識手段とを備える。
【００１０】
前記取得手段には、前記撮影手段により撮影された画像を取得させることができる。
【００１１】
ネットワークを介して接続されるサーバと通信を行い、他の撮影装置により撮影された画像をダウンロードする通信手段をさらに設けることができる。この場合、前記取得手段には、前記通信手段によりダウンロードされた画像を取得させることができる。
【００１２】
前記学習手段には、さらに、前記通信手段によりダウンロードされたポジティブサンプルの画像とネガティブサンプルの画像を用いて学習を行うことによって前記認識パラメータを生成させることができる。
【００１３】
前記認識手段には、さらに、前記通信手段によりダウンロードされたネガティブサンプルの画像を対象として特定の被写体の認識を行わせ、前記学習手段には、前記通信手段によりダウンロードされたネガティブサンプルの画像に特定の被写体が含まれるとして前記認識手段により認識された場合、その画像をポジティブサンプルの画像として学習を行うことによって前記認識パラメータを生成させることができる。
【００１４】
本発明の一側面の撮影方法またはプログラムは、撮影された複数の画像を取得し、取得した画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付け、特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成し、撮影を行い、生成した前記認識パラメータを用いて、撮影した画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて撮影を行わせるステップを含む。
【００１５】
本発明の一側面においては、撮影された複数の画像が取得され、取得された画像が表示され、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択が受け付けられる。また、特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習が行われることによって、特定の被写体を認識するのに用いられる認識パラメータが生成される。さらに、撮影が行われ、前記認識パラメータを用いて、撮影された画像を対象として特定の被写体の認識が行われ、認識された特定の被写体にフォーカスを合わせて撮影が行われる。
【発明の効果】
【００１６】
本発明の一側面によれば、ユーザは、容易に、綺麗に撮りたいと考えている特定の被写体にフォーカスを合わせて撮影を行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１８】
本発明の一側面の撮影装置（例えば、図１のデジタルカメラ１）は、撮影された複数の画像を取得する取得手段（例えば、図２のデータ保存部５２）と、前記取得手段により取得された画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付ける受け付け手段（例えば、図２のラベル付けボタン入力受付部５３）と、特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成する学習手段（例えば、図２の認識パラメータ学習部５７）と、撮影を行う撮影手段（例えば、図２の撮影部５１）と、前記学習手段により生成された前記認識パラメータを用いて、前記撮影手段により撮影された画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて前記撮影手段に撮影を行わせる認識手段（例えば、図２の認識部５９）とを備える。
【００１９】
この撮影装置には、ネットワークを介して接続されるサーバと通信を行い、他の撮影装置により撮影された画像をダウンロードする通信手段（例えば、図２のネットワーク通信部５５）をさらに設けることができる。
【００２０】
本発明の一側面の撮影方法またはプログラムは、撮影された複数の画像を取得し、取得した画像を表示し、特定の被写体がそれぞれの画像に含まれているか否かのユーザによる選択を受け付け、特定の被写体が含まれているとして選択された画像をポジティブサンプルの画像、特定の被写体が含まれていないとして選択された画像をネガティブサンプルの画像として学習を行うことによって、特定の被写体を認識するのに用いられる認識パラメータを生成し、撮影を行い、生成した前記認識パラメータを用いて、撮影した画像を対象として特定の被写体の認識を行い、認識した特定の被写体にフォーカスを合わせて撮影を行わせるステップ（例えば、図５のステップＳ２３）を含む。
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
図１は、本発明の一実施形態に係るデジタルカメラ１のハードウエア構成例を示すブロック図である。
【００２３】
CCD(Charge Coupled Device)などよりなる撮像素子１２は、レンズ１１を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号をアナログ信号処理部１３に出力する。
【００２４】
アナログ信号処理部１３は、撮像素子１２からのアナログの画像信号の増幅、ガンマ補正、ホワイトバランス調整などのアナログ信号処理を行い、そのアナログ信号処理によって得られる画像信号をA/D(Analog/Digital)変換部１４に出力する。
【００２５】
A/D変換部１４は、アナログ信号処理部１３からのアナログの画像信号をA/D変換し、デジタルの画像データをデジタル信号処理部１５に出力する。
【００２６】
デジタル信号処理部１５は、CPU(Central Processing Unit)２０による制御に従って、A/D変換部１４からの画像データに対してノイズ除去処理、圧縮等のデジタル信号処理を施す。デジタル信号処理部１５によりデジタル信号処理が施されることによって得られた画像データは制御バス１８上に出力される。
【００２７】
I/O制御部１６は、画像データをメモリカード１７に記憶させるとき、デジタル信号処理部１５から制御バス１８を介して供給されたデータを、デジタルカメラ１のスロットに挿入されたメモリカード１７に記憶させる。また、I/O制御部１６は、例えばメモリカード１７に記憶されている画像をディスプレイ２４に表示するとき、メモリカード１７に記憶されているデータを読み出し、読み出したデータを制御バス１８を介してディスプレイ２４に出力する。
【００２８】
操作入力部１９は、デジタルカメラ１の本体に設けられる各種のボタンであり、ユーザの操作の内容を表す信号をCPU２０に出力する。デジタルカメラ１の本体には、撮影を行うときに操作されるシャッタボタンや、ディスプレイ２４に表示されるメニューから各種の項目を選択したりするときに操作される十字キー、決定ボタンが操作入力部１９として設けられる。
【００２９】
また、撮影した画像に特定の被写体が含まれているか否かを選択するときに操作されるラベル付けボタンなども設けられる。後述するように、ユーザによるラベル付けボタンの操作に応じてそれぞれの画像にラベルが設定され、設定されたラベルに従って学習が行われることによって、特定の被写体を認識するための認識パラメータが生成される。特定の被写体には、ワインのラベル、鳥、犬、仏像などの各種の物体が含まれる。
【００３０】
CPU２０は、フラッシュメモリ２３に記憶されているプログラムをRAM(Random Access Memory)２１に展開して実行することにより、デジタルカメラ１の各部を制御する。
【００３１】
RAM２１は、CPU２０が実行するプログラムや、CPU２０がプログラムを実行する上で必要なデータを一時的に記憶する。
【００３２】
通信部２２は無線LAN(Local Area Network)のモジュールなどよりなり、ネットワークを介して他の装置と通信を行う。
【００３３】
フラッシュメモリ２３は、CPU２０が実行するプログラム、撮影された画像データ、特定の被写体を認識するための認識パラメータなどの各種のデータを記憶する。
【００３４】
ディスプレイ２４はLCD(Liquid Crystal Display)などよりなり、CPU２０による制御に従って、メニュー画面を表示したり、撮影された画像を表示したりする。
【００３５】
このような構成を有するデジタルカメラ１においては、撮影された画像がディスプレイ２４に表示され、それぞれの画像に、綺麗に撮りたいと考えている特定の被写体が含まれているか否かがユーザにより選択される。
【００３６】
撮影された画像は、ユーザによる選択に応じて、特定の被写体が含まれている画像と特定の被写体が含まれていない画像に分けられ、特定の被写体が含まれている画像をポジティブサンプルの画像、特定の被写体が含まれていない画像をネガティブサンプルの画像として学習が行われることによって、その特定の被写体を認識するための認識パラメータ（辞書データ）が生成される。
【００３７】
認識パラメータが生成された後の撮影時、取り込み中の画像を対象として認識パラメータを用いた認識が行われ、特定の被写体が含まれている場合、その被写体に自動的にフォーカスが合わせられる。
【００３８】
綺麗に撮りたいと考えている被写体に自動的にフォーカスが合わせられるため、ユーザは、その被写体を綺麗に撮影することができる。
【００３９】
例えば、ワインのラベルを綺麗に撮りたいと考えているユーザは、ワインのラベルを何度も撮影し、その画像をポジティブサンプルの画像として学習を行わせることによって、ワインのラベルを認識するための認識パラメータを生成させ、ワインのラベルを認識する認識器を構成させることができる。撮影時には、フレームに入れるだけでワインのラベルに自動的にフォーカスが合わせられるため、ユーザは、ワインのラベルを綺麗に撮影することが可能になる。
【００４０】
また、鳥を綺麗に撮りたいと考えているユーザは、鳥を何度も撮影し、その画像をポジティブサンプルの画像として学習を行わせることによって、鳥を認識するための認識パラメータを生成させ、鳥を認識する認識器を構成させることができる。撮影時には、フレームに入れるだけで鳥に自動的にフォーカスが合わせられるため、ユーザは、鳥を綺麗に撮影することが可能になる。
【００４１】
このように、ユーザは、デジタルカメラ１を、自分の嗜好に応じた被写体を綺麗に撮影することができるような自分専用のカメラにカスタマイズすることができる。
【００４２】
以上のようにして認識パラメータを生成し、被写体の認識を行うデジタルカメラ１の処理についてはフローチャートを参照して後述する。
【００４３】
図２は、デジタルカメラ１の機能構成例を示すブロック図である。図２に示す機能部のうちの少なくとも一部は、図１のCPU２０により所定のプログラムが実行されることによって実現される。
【００４４】
図２に示されるように、デジタルカメラ１においては、撮影部５１、データ保存部５２、ラベル付けボタン入力受付部５３、撮影データ記憶部５４、ネットワーク通信部５５、表示制御部５６、認識パラメータ学習部５７、認識パラメータ記憶部５８、および認識部５９が実現される。
【００４５】
撮影部５１は、レンズ１１、撮像素子１２、アナログ信号処理部１３、A/D変換部１４、デジタル信号処理部１５を制御して撮影を行う。撮影部５１は、ユーザによりシャッタボタンが押されることに応じて撮影を行い、撮影によって得られた画像をデータ保存部５２に出力する。
【００４６】
また、撮影部５１は、特定の被写体を認識するための認識パラメータが既に生成されており、認識部５９が被写体の認識を行うことができる場合、取り込み中の画像を認識部５９に出力するとともに、認識部５９による認識結果に従ってレンズ１１を制御し、特定の被写体にフォーカスを合わせる。取り込み中の画像にユーザが綺麗に撮影したいと考えている特定の被写体が含まれている場合、その被写体が認識部５９により認識され、被写体の位置を表す情報などが撮影部５１に対して供給される。
【００４７】
データ保存部５２は、撮影データ記憶部５４に記憶されているデータを管理する。例えば、データ保存部５２は、撮影部５１により撮影された画像を取得し、撮影データ記憶部５４に記憶させる。
【００４８】
また、データ保存部５２は、ラベルの設定時、ラベル付けボタン入力受付部５３から供給される情報に応じて、撮影データ記憶部５４に記憶されているそれぞれの画像に、綺麗に撮りたいとユーザが考えている特定の被写体が含まれているか否かを表すラベルを設定する。ユーザは、ディスプレイ２４に表示される画像を１枚１枚見て、それぞれの画像に自分が綺麗に撮りたいと考えている特定の被写体が含まれているか否かをラベル付けボタンを操作して入力し、ラベルの設定を行うことになる。データ保存部５２に対しては、ラベル付けボタンに対するユーザの操作の内容を表す情報がラベル付けボタン入力受付部５３から供給される。
【００４９】
特定の被写体が含まれていることを表すラベルが設定された画像はポジティブサンプルの画像として管理され、特定の被写体が含まれていないことを表すラベルが設定された画像はネガティブサンプルの画像として管理される。
【００５０】
さらに、データ保存部５２は、認識パラメータが既に生成されており、認識部５９が被写体の認識を行うことができる場合、撮影部５１により撮影された画像に認識部５９による認識結果に従ってラベルを設定し、撮影データ記憶部５４に記憶させる。
【００５１】
例えば、データ保存部５２は、特定の被写体が含まれているとして認識部５９により認識されているときに撮影された画像にそのことを表すラベルを設定し、撮影データ記憶部５４に記憶させる。また、データ保存部５２は、特定の被写体が含まれていないとして認識部５９により認識されているときに撮影された画像にそのことを表すラベルを設定し、撮影データ記憶部５４に記憶させる。この場合、ユーザによる操作によらずに、自動的に、ラベルが設定されることになる。
【００５２】
また、データ保存部５２は、ポジティブサンプルの画像とネガティブサンプルの画像がネットワーク通信部５５によりインターネット上のサーバからダウンロードされたとき、それらの画像を取得し、撮影データ記憶部５４に記憶させる。
【００５３】
サーバのサイトおいては、同じ被写体を綺麗に撮りたいと考えている不特定のユーザ同士で画像を共有、または交換することができるようになされている。それぞれのユーザは、ワインのラベルを撮影した画像、鳥を撮影した画像といったように、被写体毎にアルバムとしてまとめた複数の画像をアップロード、またはダウンロードすることができる。画像を公開するユーザは、何を被写体として撮影した画像であるのかを表す情報を設定した上で、画像をサーバにアップロードすることになる。
【００５４】
ユーザは、公開されている画像の中から、綺麗に撮りたいと考えている被写体と同じ被写体を撮影した画像をポジティブサンプルの画像としてダウンロードし、綺麗に撮りたいと考えている被写体と異なる被写体を撮影した画像をネガティブサンプルの画像としてダウンロードすることによって、ダウンロードした画像を学習に用いさせることができる。
【００５５】
ダウンロードされた画像を撮影データ記憶部５４に記憶させるとき、データ保存部５２は、ポジティブサンプルの画像についてはそのまま撮影データ記憶部５４に記憶させる。一方、ネガティブサンプルの画像については、データ保存部５２は、その画像にユーザが綺麗に撮りたいと考えている被写体が本当に含まれていないかを認識部５９に認識させ、認識結果に応じてラベルの設定を適宜変更して撮影データ記憶部５４に記憶させる。
【００５６】
ラベル付けボタン入力受付部５３は、ラベルの設定時、操作入力部１９として設けられるラベル付けボタンに対するユーザの操作を受け付け、ユーザの操作の内容を表す情報をデータ保存部５２に出力する。
【００５７】
撮影データ記憶部５４は、メモリカード１７やフラッシュメモリ２３において実現され、データ保存部５２から供給された画像を記憶する。撮影データ記憶部５４においては、データ保存部５２によるラベルの設定に応じてポジティブサンプルの画像とネガティブサンプルの画像に分けて画像が管理される。
【００５８】
ネットワーク通信部５５は、インターネット上のサーバと通信を行い、他のデジタルカメラで撮影された画像をダウンロードする。ネットワーク通信部５５は、ダウンロードした画像をデータ保存部５２に出力する。
【００５９】
また、ネットワーク通信部５５は、撮影データ記憶部５４に記憶されている画像のうち、ユーザにより選択された画像をサーバにアップロードする。
【００６０】
なお、ワインのラベルを認識するための認識パラメータ、鳥を認識するための認識パラメータ、犬を認識するための認識パラメータなどの、認識パラメータ自体をダウンロードすることができるようにしてもよい。この場合、ネットワーク通信部５５は、サーバからダウンロードした認識パラメータを認識パラメータ記憶部５８に出力し、記憶させる。
【００６１】
サーバにおいては、デジタルカメラ１と同じ機能を持つカメラのユーザが認識パラメータを公開できるようなサイトが運営されており、それぞれのユーザは、自分が何の被写体を撮影したのかに関する説明を掲載するとともに、その被写体を撮影して学習を行わせることによって生成した認識パラメータを公開する。デジタルカメラ１のユーザは、例えば自分がデジタルカメラ１を使って生成したワインのラベルを認識するための認識パラメータを公開することで、犬を認識するための認識パラメータをダウンロードすることが可能になる。
【００６２】
表示制御部５６は、ラベルの設定時、撮影データ記憶部５４に記憶されている画像をディスプレイ２４に表示する。
【００６３】
上述したようにしてラベルがデジタルカメラ１により自動的に設定された場合、ラベルが設定された画像が表示され、ユーザが、ラベルの設定が正しいかどうかを確認することができるようにしてもよい。認識部５９による誤認識のために、綺麗に撮りたいと考えている特定の被写体が実際には含まれている画像に特定の被写体が含まれていないことを表すラベルが設定され、反対に、特定の被写体が実際には含まれていない画像に特定の被写体が含まれていることを表すラベルが設定されている場合、ユーザは、その設定を修正することが可能とされる。
【００６４】
認識パラメータ学習部５７は、撮影データ記憶部５４に記憶されているポジティブサンプルの画像とネガティブサンプルの画像に基づいて学習を行い、認識パラメータを生成する。例えば、認識パラメータ学習部５７は、ネガティブサンプルの画像の特徴と比較することによって、ポジティブサンプルの画像に共通に含まれる特徴を解析し、画像の特徴から、その画像に特定の被写体が含まれるか否かを認識可能な認識パラメータを生成する。
【００６５】
オートフォーカス機能が搭載されたデジタルカメラ１においては、サンプルの画像の撮影時に、どこにフォーカスを合わせて撮影が行われたのかを表す情報を画像に残しておくことが可能であるから、その情報が参照されて学習が行われるようにしてもよい。
【００６６】
認識パラメータは、サンプルの画像が多いほど認識の精度が高いものになる。従って、長期間に渡って使い続け、学習を繰り返させて認識パラメータをアップデートさせるほど、ユーザは、特定の被写体を綺麗に撮影するのに適したカメラを得ることができる。
【００６７】
いわゆる一般物体認識については、例えば、「一般物体認識の現状と今後  柳井啓司  電気通信大学  情報工学科」、「"Learning Real-Time Object Detectors: Probabilistic Generative Approaches", Ian Robert Fasel, Ph.D Theses, 2006.」に開示されている。ポジティブサンプルの画像とネガティブサンプルの画像に基づいて学習を行い、一般物体に対する認識器を構成する手法であれば、どのような手法が用いられるようにしてもよい。
【００６８】
認識パラメータ学習部５７は、学習によって生成した認識パラメータを認識パラメータ記憶部５８に出力する。
【００６９】
認識パラメータ記憶部５８は、認識パラメータ学習部５７により生成された認識パラメータを記憶する。
【００７０】
認識部５９は、撮影時、認識パラメータ記憶部５８に記憶されている認識パラメータを読み出し、読み出した認識パラメータを用いて、撮影部５１により取り込まれている画像に特定の被写体が含まれているか否かを認識する。
【００７１】
認識部５９は、認識結果をデータ保存部５２に出力して、ラベルの設定に用いさせるとともに、特定の被写体を認識した場合、被写体の位置を表す情報を撮影部５１に出力し、被写体にフォーカスを合わせるようにレンズ１１を制御させる。
【００７２】
また、認識部５９は、サーバからダウンロードされたネガティブサンプルの画像がデータ保存部５２から供給された場合、その画像を対象として特定の被写体の認識を行い、認識結果をデータ保存部５２に出力する。ダウンロードされたネガティブサンプルの画像に、デジタルカメラ１のユーザが綺麗に撮りたいと考えている特定の被写体が含まれている場合、ポジティブサンプルの画像として管理されるようにラベルの設定が変更されることにより、特定の被写体が実際には含まれている画像がネガティブサンプルの画像として扱われ、学習が行われるのを防ぐことができる。
【００７３】
ここで、以上のような構成を有するデジタルカメラ１の処理について説明する。
【００７４】
はじめに、図３のフローチャートを参照して、デジタルカメラ１の全体的な処理について説明する。この処理は、認識パラメータがまだ生成されていないときに開始される。
【００７５】
ステップＳ１において、撮影部５１は、ユーザによりシャッタボタンが押されることに応じて撮影を行う。撮影部５１により撮影された画像はデータ保存部５２に供給され、撮影データ記憶部５４に記憶される。ユーザによる撮影は繰り返し行われ、撮影データ記憶部５４には、ワインのラベルや鳥などの、ユーザが綺麗に撮りたいと考えている被写体が含まれている画像を含む、複数の画像が記憶される。
【００７６】
撮影が終了し、ラベルの設定を行うことがユーザにより指示されたとき、ステップＳ２においてラベル設定処理が行われる。ラベル設定処理により、撮影データ記憶部５４に記憶されている画像がポジティブサンプルの画像またはネガティブサンプルの画像に振り分けられる。ラベル設定処理については図４のフローチャートを参照して後述する。
【００７７】
ステップＳ３において、認識パラメータ学習部５７は、撮影データ記憶部５４に記憶されているポジティブサンプルの画像とネガティブサンプルの画像に基づいて学習を行い、認識パラメータを生成する。認識パラメータ学習部５７により生成された認識パラメータは認識パラメータ記憶部５８に記憶される。
【００７８】
認識パラメータが生成された後、ステップＳ４において撮影処理が行われる。撮影処理においては、認識パラメータを用いて特定の被写体の認識が行われ、認識された被写体に自動的にフォーカスが合わせられる。撮影された画像は撮影データ記憶部５４に記憶され、ステップＳ２以降の処理が繰り返される。撮影処理については図５のフローチャートを参照して後述する。
【００７９】
次に、図４のフローチャートを参照して、図３のステップＳ２において行われるラベル設定処理について説明する。
【００８０】
ステップＳ１１において、表示制御部５６は、撮影データ記憶部５４に記憶されている画像をディスプレイ２４に表示する。
【００８１】
ステップＳ１２において、ラベル付けボタン入力受付部５３は、ラベル付けボタンに対するユーザの操作を受け付け、ユーザの操作の内容を表す情報をデータ保存部５２に出力する。
【００８２】
ステップＳ１３において、データ保存部５２は、ラベル付けボタン入力受付部５３から供給された情報に基づいて、ディスプレイ２４に表示している画像にラベルを設定する。対象とする全ての画像について以上の処理が行われた場合、図３のステップＳ２に戻り、それ以降の処理が行われる。
【００８３】
次に、図５のフローチャートを参照して、図３のステップＳ４において行われる撮影処理について説明する。
【００８４】
ステップＳ２１において、認識部５９は、認識パラメータ記憶部５８から読み出した認識パラメータを用いて、撮影部５１により取り込まれている画像に特定の被写体が含まれているか否かを認識する。
【００８５】
ステップＳ２２において、認識部５９は、特定の被写体が含まれているか否かを判定する。
【００８６】
特定の被写体が含まれているとステップＳ２２において判定された場合、ステップＳ２３において、撮影部５１は、レンズ１１を制御し、特定の被写体にフォーカスを合わせる。取り込まれている画像に特定の被写体が含まれていることが認識部５９により認識された場合、被写体の位置を表す情報などが認識部５９から撮影部５１に供給される。
【００８７】
ステップＳ２４において、撮影部５１は、シャッタボタンが押され、撮影が指示されたか否かを判定する。
【００８８】
撮影が指示されていないとステップＳ２４において判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００８９】
一方、撮影が指示されたとステップＳ２４において判定された場合、ステップＳ２５において、データ保存部５２は、特定の被写体が含まれていることを表すラベルを設定し、画像を撮影データ記憶部５４に記憶させる。すなわち、認識部５９による認識結果に基づいて自動的にラベルが設定される。
【００９０】
特定の被写体が含まれていないとステップＳ２２において判定された場合、ステップＳ２６において、撮影部５１は、撮影が指示されたか否かを判定する。
【００９１】
撮影が指示されていないとステップＳ２６において判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００９２】
一方、撮影が指示されたとステップＳ２６において判定された場合、ステップＳ２７において、データ保存部５２は、特定の被写体が含まれていないことを表すラベルを設定し、画像を撮影データ記憶部５４に記憶させる。
【００９３】
ステップＳ２５，Ｓ２７において画像が記憶され、撮影を終了することが指示された場合、図３のステップＳ４に戻り、それ以降の処理が行われる。
【００９４】
以上の処理により、綺麗に撮りたいと考えている特定の被写体に自動的にフォーカスが合わせられるため、ユーザは、自分の嗜好にあった特定の被写体を綺麗に撮影することができる。
【００９５】
１フレームの画像に特定の被写体が２つ以上含まれていることが認識された場合、フレームの中央に最も近い被写体にフォーカスが合わせられるようにしてもよいし、認識された被写体を囲む枠が取り込み中の画像に重ねて表示され、ユーザがどの被写体にフォーカスを合わせるのかを選択することができるようにしてもよい。後者の場合、例えば、ディスプレイ２４にはタッチパネルが重ねて設けられ、フォーカスを合わせたい被写体を指で直接触れるなどして選択することが可能とされる。
【００９６】
以上においては、特定の被写体に自動的にフォーカスが合わせられるものとしたが、特定の被写体の明るさを基準にシャッタスピードや絞りが調整され、適正な露出が得られるようにしてもよい。これにより、ユーザは、フォーカスが合っているだけでなく、明るさも特定の被写体に応じて調整された綺麗な画像を撮影することができる。
【００９７】
また、以上の処理により、ユーザは、綺麗に撮りたいと考えている被写体が含まれている画像であるか否かを指定するだけで、容易に、デジタルカメラ１に認識パラメータを生成させることができる。すなわち、ユーザは、認識器を構成するにあたって、それぞれの画像のどの部分に特定の被写体が含まれているのかを指定するなどの煩雑な作業を行う必要がなく、負担が少ない。
【００９８】
ラベルの設定は、画像の閲覧時に行われるのではなく、撮影が行われた直後に行われるようにしてもよい。ユーザは、デジタルカメラ１で撮影を行ったとき、いま撮影した画像に特定の被写体が含まれていたら所定のボタンを操作するなどしてそのことを表すラベルを設定することになる。
【００９９】
次に、図６のフローチャートを参照して、図３のステップＳ２において行われる他のラベル設定処理について説明する。
【０１００】
図６の処理は、ポジティブサンプルの画像とネガティブサンプルの画像をサーバからダウンロードすることが可能となっている場合において、認識パラメータが既に生成されているときの処理である。
【０１０１】
例えば、Webブラウザによってディスプレイ２４に表示される画面を見て、綺麗に撮りたいと考えている被写体と同じ被写体を撮影した画像をポジティブサンプルの画像としてダウンロードし、綺麗に撮りたいと考えている被写体と異なる被写体を撮影した画像をネガティブサンプルの画像としてダウンロードすることをユーザが指示したときに図６の処理は開始される。ポジティブサンプルの画像とネガティブサンプルの画像のうち、いずれか一方の画像だけをダウンロードすることができるようにしてもよい。
【０１０２】
ステップＳ４１において、ネットワーク通信部５５は、インターネット上のサーバと通信を行い、ポジティブサンプルの画像とネガティブサンプルの画像をダウンロードする。ダウンロードされた画像はデータ保存部５２に出力される。
【０１０３】
ステップＳ４２において、データ保存部５２は、ネットワーク通信部５５から供給された画像のうち、ポジティブサンプルの画像を撮影データ記憶部５４に記憶させる。ネガティブサンプルの画像については、データ保存部５２から認識部５９に供給される。
【０１０４】
ステップＳ４３において、認識部５９は、ネガティブサンプルの画像を対象として、特定の被写体が含まれているか否かを認識パラメータを用いて認識する。認識部５９による認識結果はデータ保存部５２に通知される。
【０１０５】
ステップＳ４４において、データ保存部５２は、ダウンロードされたネガティブサンプルの画像に、デジタルカメラ１のユーザが綺麗に撮りたいと考えている特定の被写体が含まれているか否かを認識部５９による認識結果に基づいて判定する。
【０１０６】
特定の被写体が含まれているとステップＳ４４において判定した場合、ステップＳ４５において、データ保存部５２は、特定の被写体が含まれていることを表すラベルを設定して画像を撮影データ記憶部５４に記憶する。この場合、ラベルの設定が変更され、学習時にはポジティブサンプルの画像として用いられることになる。
【０１０７】
一方、ネガティブサンプルの画像に特定の被写体が含まれていないとステップＳ４４において判定した場合、ステップＳ４６において、データ保存部５２は、ラベルの設定をそそのままに、ダウンロードされたネガティブサンプルの画像を撮影データ記憶部５４に記憶する。
【０１０８】
ステップＳ４５，Ｓ４６において画像が記憶された後、図３のステップＳ２に戻り、それ以降の処理が行われる。その後、ダウンロードされた画像を用いて学習が行われ、認識パラメータがアップデートされる。
【０１０９】
ダウンロードした画像を学習に用いることができるようにすることにより、ユーザは、より多くの画像を用いて学習を行わせることができ、より精度の高い認識を行うことができる認識パラメータにアップデートすることができる。
【０１１０】
また、ネガティブサンプルの画像については認識部５９により一度認識が行われるようにすることにより、ユーザが綺麗に撮りたいと考えている特定の被写体が含まれている画像がネガティブサンプルの画像として扱われ、学習が行われるのを防ぐことができる。
【０１１１】
以上においては、ラベルの設定、認識パラメータの学習がデジタルカメラ１上で行われるものとしたが、撮影された画像をデジタルカメラ１から取り込んだPC(Personal Computer)上で行われるようにしてもよい。学習が行われることによってPCにより生成された認識パラメータはデジタルカメラ１に提供され、被写体の認識に用いられる。デジタルカメラ１とPCの間のデータのやりとりは、メモリカードなどの外部記憶媒体を介して行われる。
【０１１２】
図７は、PC１０１の構成例を示すブロック図である。
【０１１３】
CPU１１１は、ROM(Read Only Memory)１１２に記憶されているプログラム、または、記憶部１１８からRAM１１３にロードされたプログラムに従って各種の処理を実行する。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータが適宜記憶される。
【０１１４】
CPU１１１、ROM１１２、およびRAM１１３は、バス１１４を介して相互に接続されている。バス１１４にはまた、入出力インタフェース１１５も接続されている。
【０１１５】
入出力インタフェース１１５には、キーボード、マウスなどより構成される入力部１１６、LCDなどより構成されるディスプレイ１１７、ハードディスクなどより構成される記憶部１１８、ネットワーク端子などより構成される通信部１１９が接続されている。
【０１１６】
入出力インタフェース１１５にはまた、メモリカードコントローラ１２０が接続され、このメモリカードコントローラ１２０により、スロットに挿入されたメモリカード１２１に対するデータの書き込み、メモリカード１２１に記憶されているデータの読み出しが行われる。
【０１１７】
例えば、メモリカードコントローラ１２０は、デジタルカメラ１のスロットに撮影時に挿入されていたメモリカード１２１がPC１０１のスロットに挿入されたとき、メモリカード１２１に記憶されている画像を読み出し、記憶部１１８に記憶させる。また、メモリカードコントローラ１２０は、CPU１１１により学習が行われることによって生成された認識パラメータが入出力インタフェース１１５を介して供給されたとき、供給された認識パラメータをメモリカード１２１に書き込む。認識パラメータが記憶されたメモリカード１２１はデジタルカメラ１のスロットに挿入され、デジタルカメラ１により認識パラメータが読み出される。
【０１１８】
図８は、PC１０１の機能構成例を示すブロック図である。図８に示す機能部のうちの少なくとも一部は、図７のCPU１１１により所定のプログラムが実行されることによって実現される。
【０１１９】
図８に示されるように、PC１０１においては、データ保存部１３１、ラベル付けボタン入力受付部１３２、撮影データ記憶部１３３、ネットワーク通信部１３４、表示制御部１３５、および認識パラメータ学習部１３６が実現される。それぞれ、図２のデータ保存部５２、ラベル付けボタン入力受付部５３、撮影データ記憶部５４、ネットワーク通信部５５、表示制御部５６、および認識パラメータ学習部５７に対応する。
【０１２０】
データ保存部１３１は、デジタルカメラ１により撮影され、メモリカード１２１に記憶されている画像をメモリカードコントローラ１２０を制御して読み出し、読み出した画像を撮影データ記憶部１３３に記憶させる。
【０１２１】
また、データ保存部１３１は、ラベルの設定時、キーボードなどにより実現されるラベル付けボタンがユーザにより操作されることに応じて、撮影データ記憶部１３３に記憶されている画像にラベルを設定する。
【０１２２】
データ保存部１３１は、ポジティブサンプルの画像とネガティブサンプルの画像がインターネット上のサーバからダウンロードされたとき、それらの画像を取得し、撮影データ記憶部１３３に記憶させる。認識パラメータが既に生成されている場合、ネガティブサンプルの画像については、上述したように、被写体が含まれているか否かの認識が一度行われるようにしてもよい。
【０１２３】
ラベル付けボタン入力受付部１３２は、ラベルの設定時、ラベル付けボタンに対するユーザの操作を受け付け、ユーザの操作の内容を表す情報をデータ保存部１３１に出力する。
【０１２４】
撮影データ記憶部１３３は、記憶部１１８において実現され、データ保存部１３１から供給された画像を記憶する。撮影データ記憶部１３３においては、データ保存部１３１によるラベルの設定に応じてポジティブサンプルの画像とネガティブサンプルの画像に分けて画像が管理される。
【０１２５】
ネットワーク通信部１３４は、インターネット上のサーバと通信を行い、画像をダウンロードする。ネットワーク通信部１３４は、ダウンロードした画像をデータ保存部１３１に出力する。
【０１２６】
表示制御部１３５は、ラベルの設定時、撮影データ記憶部１３３に記憶されている画像をディスプレイ１１７に表示する。ユーザは、この表示を見て、綺麗に撮りたいと考えている被写体が含まれているか否かを入力することになる。
【０１２７】
認識パラメータ学習部１３６は、撮影データ記憶部１３３に記憶されているポジティブサンプルの画像とネガティブサンプルの画像に基づいて学習を行い、上述したようにして認識パラメータを生成する。認識パラメータ学習部１３６は、生成した認識パラメータをメモリカードコントローラ１２０に出力し、メモリカード１２１に書き込ませる。メモリカード１２１を介してデジタルカメラ１に提供された認識パラメータは、デジタルカメラ１の認識パラメータ記憶部５８に記憶され、撮影時、被写体の認識に用いられる。
【０１２８】
以上のような構成を有するPC１０１においては、図３のステップＳ２，Ｓ３の処理と同じ処理、すなわち、ラベルの設定、認識パラメータの学習が行われる。
【０１２９】
ラベルの設定、認識パラメータの学習がPC１０１上で行われ、認識パラメータがデジタルカメラ１に提供されるようにすることによっても、ユーザは、デジタルカメラ１を使って、特定の被写体を綺麗に撮影することができる。この場合、ラベルの設定を行う構成と認識パラメータの学習を行う構成が不要となるため、デジタルカメラ１をより簡易な構成によって実現することが可能となる。
【０１３０】
なお、デジタルカメラ１とPC１０１の間のデータのやりとりは、メモリカード１２１を介してではなく、ネットワークを介した通信によって行われるようにしてもよい。
【０１３１】
以上においては、デジタルカメラ１の認識パラメータ記憶部５８には特定の被写体を認識するための１つの認識パラメータが記憶されるものとしたが、複数の被写体を認識するための認識パラメータがそれぞれ記憶され、ユーザが、撮影しようとする被写体に応じて認識パラメータを使い分けることができるようにしてもよい。
【０１３２】
また、以上においては、学習により生成した認識パラメータを用いて被写体を認識し、フォーカスを合わせる機能をデジタルカメラに適用した場合について説明したが、ビデオカメラやカメラ付き携帯電話機などの、撮影機能を有する各種の機器に適用することが可能である。
【０１３３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどにインストールされる。
【０１３４】
インストールされるプログラムは、図７に示されるメモリカード１２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。プログラムは、ROM１１２や記憶部１１８にあらかじめインストールしておくことができる。
【０１３５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１３７】
【図１】本発明の一実施形態に係るデジタルカメラのハードウエア構成例を示すブロック図である。
【図２】デジタルカメラの機能構成例を示すブロック図である。
【図３】デジタルカメラの全体的な処理について説明するフローチャートである。
【図４】図３のステップＳ２において行われるラベル設定処理について説明するフローチャートである。
【図５】図３のステップＳ４において行われる撮影処理について説明するフローチャートである。
【図６】図３のステップＳ２において行われる他のラベル設定処理について説明するフローチャートである。
【図７】PCの構成例を示すブロック図である。
【図８】PCの機能構成例を示すブロック図である。
【符号の説明】
【０１３８】
１  デジタルカメラ，  ５１  撮影部，  ５２  データ保存部，  ５３  ラベル付けボタン入力受付部，  ５４  撮影データ記憶部，  ５５  ネットワーク通信部，  ５６  表示制御部，  ５７  認識パラメータ学習部，  ５８  認識パラメータ記憶部，  ５９  認識部
【図１】
2009055432.tif 000003
【図２】
2009055432.tif 000004
【図３】
2009055432.tif 000005
【図４】
2009055432.tif 000006
【図５】
2009055432.tif 000007
【図６】
2009055432.tif 000008
【図７】
2009055432.tif 000009
【図８】
2009055432.tif 000010