(57)【特許請求の範囲】
【請求項１】
撮像手段により被写体を撮像して得られた撮像画像を取得し、
前記撮像画像のうち表示される範囲より広い範囲に対して所定のオブジェクトの検出を行い、
該検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように、かつ前記表示される範囲を含むように前記撮像画像をトリミングすることを特徴とする画像のトリミング方法。
【請求項２】
前記トリミングが、前記検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、該算出された注目度が所定の閾値以上であるオブジェクトを含むように前記撮像画像をトリミングするものであることを特徴とする請求項１記載の画像のトリミング方法。
【請求項３】
前記トリミングが、前記検出されたオブジェクトを囲むように前記撮像画像をトリミングするものであることを特徴とする請求項１記載の画像のトリミング方法。
【請求項４】
前記所定のオブジェクトが、人体または人物の顔を含むものであることを特徴とする請求項１から３いずれか記載の画像のトリミング方法。
【請求項５】
被写体を撮像して撮像画像を得る撮像手段と、
前記撮像画像の画像全体より狭い範囲の画像を表示する画像表示手段と、
前記撮像画像のうち前記表示される範囲より広い範囲に対して所定のオブジェクトの検出を行うオブジェクト検出手段と、
該オブジェクト検出手段により検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように、かつ前記表示される範囲を含むように前記撮像画像をトリミングするトリミング手段とを備えたことを特徴とする撮像装置。
【請求項６】
前記トリミング手段が、前記検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、該算出された注目度が所定の閾値以上であるオブジェクトを含むように前記撮像画像をトリミングするものであることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記トリミング手段が、前記検出されたオブジェクトを囲むように前記撮像画像をトリミングするものであることを特徴とする請求項５記載の撮像装置。
【請求項８】
前記所定のオブジェクトが、人体または人物の顔を含むものであることを特徴とする請求項５から７いずれか記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により得られた撮像画像をトリミングする画像のトリミング方法および当該方法を使用した撮像装置に関に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置は、一般的に、撮像によってＣＣＤ等の撮像素子の受光エリアに対応した画像（以下、撮像画像という）を取得し、その撮像画像の一部を表示すべき範囲として切り出し、切り出された画像をその撮像装置が有するＬＣＤパネル等の表示手段の画面に表示している。また、撮像装置は、その撮像画像上に表示用の範囲とは別に保存用あるいはプリント用の範囲を設定し、その範囲の画像を切り出して保存あるいはプリント出力している。
【０００３】
撮像装置のユーザは、通常、その撮像装置が有する表示手段の画面に表示された画像を撮像された画像として把握する。ここで、その画面に表示された画像の範囲が保存あるいはプリントされる画像の範囲より狭い場合には特に問題にならないが、表示された画像の範囲が保存あるいはプリントされる画像の範囲より広い場合には、表示手段により表示された画像、すなわち、ユーザが視覚的に把握した画像の一部が欠落した画像が保存あるいはプリントされることとなり問題となる。
【０００４】
そこで、例えば特許文献１において、画像の範囲が、撮像画像の範囲（受光エリア）＞保存・プリント用の範囲（プリントエリア）＞表示用の範囲（ＬＣＤ表示エリア）という関係になるように各範囲を設定する方法が提案されている。
【特許文献１】特開２０００−３５８２１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、図６に示すように、比較的激しく動いている被写体Ｍを撮像するような場合には、その被写体Ｍが撮像された画像Ｓ０の端に寄って写り、被写体Ｍが撮像画像Ｓ０の範囲と表示される範囲Ｒ１にまたいで存在するような場合があり、このような場合には、たとえ上記特許文献１の方法にしたがって保存・プリント用の範囲を設定したとしても、その被写体全体が含まれる構図でトリミングされるとは限らず、好ましくない構図の画像が保存・プリントされる場合がある。すなわち、その被写体の一部が表示手段により表示された画像や将来的に印刷手段によりプリントされた画像を通して観察者に把握される状況にあり、かつ、その被写体が撮像画像内に存在しているにも拘らず、その被写体の存在が考慮されないトリミングが行われ、保存・プリント用の画像が、不適当な構図、例えば、その被写体の一部が欠けたような構図の画像となる場合がある。
【０００６】
本発明は、上記事情に鑑み、撮像手段により得られた撮像画像を、当該撮像画像のうち表示手段に表示される範囲内の被写体の存在を考慮してトリミングし、より好ましい構図の保存・プリント用の画像を得ることが可能な画像のトリミング方法およびその方法を使用した撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像のトリミング方法は、撮像手段により被写体を撮像して得られた撮像画像を取得し、前記撮像画像のうち表示される範囲より広い範囲に対して所定のオブジェクトの検出を行い、該検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように前記撮像画像をトリミングすることを特徴とするものである。
【０００８】
本発明の画像のトリミング方法において、前記トリミングは、前記表示される範囲を含むようにトリミングするものであってもよい。
【０００９】
本発明の画像のトリミング方法において、前記トリミングは、前記検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、該算出された注目度が所定の閾値以上であるオブジェクトを含むように前記撮像画像をトリミングするものであってもよい。
【００１０】
また、前記トリミングは、前記検出されたオブジェクトを囲むように前記撮像画像をトリミングするものであってもよい。
【００１１】
本発明の撮像装置は、被写体を撮像して撮像画像を得る撮像手段と、前記撮像画像の画像全体より狭い範囲の画像を表示する画像表示手段と、前記撮像画像のうち前記表示される範囲より広い範囲に対して所定のオブジェクトの検出を行うオブジェクト検出手段と、該オブジェクト検出手段により検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように前記撮像画像をトリミングするトリミング手段とを備えたことを特徴とするものである。
【００１２】
本発明の撮像装置において、前記トリミング手段は、前記表示される範囲を含むようにトリミングするものであってもよい。
【００１３】
本発明の撮像装置において、前記トリミング手段は、前記検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、該算出された注目度が所定の閾値以上であるオブジェクトを含むように前記撮像画像をトリミングするものであってもよい。
【００１４】
また、前記トリミング手段は、前記検出されたオブジェクトを囲むように前記撮像画像をトリミングするものであってもよい。
【００１５】
また、「オブジェクト検出手段により検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように前記撮像画像をトリミングする」は、検出されたオブジェクトをすべて含むようにトリミングすることも含むものとする。
【００１６】
前記所定のオブジェクトとしては、例えば、人体、人物の顔、動物、自動車、建築物（ランドマーク）等を考えることができる。
【００１７】
前記撮像手段としては、例えば、デジタルスチルカメラ、デジタルビデオカメラ等を考えることができる。
【発明の効果】
【００１８】
本発明の画像のトリミング方法および撮像装置によれば、撮像手段により得られた撮像画像のうち表示される範囲より広い範囲に対して所定のオブジェクトの検出を行い、検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように撮像画像をトリミングするので、撮像画像における上記表示範囲内の被写体の存在を考慮してトリミングすることができ、より好ましい構図の保存・プリント用の画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して、本発明の実施形態について説明する。
【００２０】
図１は、本発明の実施形態による撮像装置の構成を示すブロック図である。なお、この撮像装置は、撮像された画像上で人物の顔等の所定のオブジェクトを検出し、検出されたオブジェクト毎に注目度と呼ばれる指標値を算出し、その注目度の高い領域を含むようにトリミング枠を設定し、そのトリミング枠に従って画像をトリミングして保存・プリント用の画像を得る撮像装置であり、当該撮像装置の補助記憶装置に読み込まれた処理プログラムを当該撮像装置が内蔵するコンピュータ上で実行することにより実現される。また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
【００２１】
図１に示すように、本実施形態による撮像装置は、被写体を撮像して撮像画像Ｓ０を得る撮像部（撮像手段）１０と、撮像部１０により得られた撮像画像Ｓ０の画像全体の範囲Ｒ０より狭い範囲Ｒ１の画像を表示する画像表示部（画像表示手段）２０と、撮像画像Ｓ０のうち画像表示部２０によって表示される範囲Ｒ１より広い範囲Ｒ２に対して所定のオブジェクトの検出を行うオブジェクト検出部（オブジェクト検出手段）３０と、検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように撮像画像Ｓ０をトリミングするトリミング部（トリミング手段）４０と、トリミング部４０によりトリミングされた画像Ｓ１を保存・プリント用画像として記録媒体であるメディア５１に記録する画像記録部５０とを備える。
【００２２】
撮像部１０は、一般的なデジタルカメラ等と同様に、レンズ等の光学系、光電変換を行うＣＣＤ等の撮像素子、撮像回路及びＡ／Ｄ変換回路から構成されている。すなわち、ユーザから撮像の指示を受け付けると、光学系によって結像された被写体像を撮像素子によって光電変換し、光電変換された画像信号を撮像回路を介してＡ／Ｄ変換回路に入力することにより、デジタル変換された画像データを得るものであり、撮像素子の受光エリアＲ０に対応するデジタル画像を撮像画像Ｓ０として取得するものである。受光エリアＲ０は、撮像素子の受光面の領域であり、撮像可能な最大の領域である。取得された撮像画像Ｓ０は不図示のメモリに記憶される。なお、ここでは、撮像部の詳細な構成は図示しない。
【００２３】
画像表示部２０は、撮像部１０により得られた画像の一部を表示したり、撮像装置の各種設定やメニュー画面を表示したりするために撮像装置本体に取り付けられているＬＣＤパネル２２と、そのＬＣＤパネル２２の画面に目的の画像が表示されるよう当該パネル等を制御する表示制御部２４とからなる。
【００２４】
この表示制御部２４は、ユーザからの撮像画像の表示の指示を受け付け、または撮像後に自動で、不図示のメモリに記憶されている撮像画像Ｓ０を読み出し、その撮像画像Ｓ０のうちの所定の範囲、例えば、面積が撮像画像Ｓ０の８０％に相当する中央部分の範囲を表示エリアＲ１とし、その表示エリアＲ１の画像をＬＣＤパネル２２の画面に表示するよう制御するものである。
【００２５】
オブジェクト検出部３０は、撮像画像Ｓ０における表示エリアＲ１より大きい範囲である検索エリアＲ２に対して所定の種類のオブジェクトの検出を行うものである。オブジェクトの検出方法としては、例えば、古典的なパターンマッチングによる方法や、ブースティングと呼ばれる学習アルゴリズムにより生成されたオブジェクト識別器を用いる方法や、自己組織化マップと呼ばれるクラス分類手法により生成されたオブジェクト識別器を用いる方法等が考えられる。また、検出するオブジェクトの種類としては、例えば、人物の顔、植物、地面、空、建築物（ランドマーク）等が考えられる。
【００２６】
なお、検索エリアＲ２は、本実施形態では、撮像素子の受光エリアＲ０に相当する撮像画像Ｓ０の画像全体を検索エリアＲ２とするが、撮像画像Ｓ０の画像全体と全く同じ範囲でなくてもよい。
【００２７】
図２は、撮像画像Ｓ０上で各種のオブジェクトが検出された様子を示す図である。画像Ｐｏは、建築物等を背景に人物を撮像して得られた撮像画像を示しており、画像Ｐｏ′は、画像Ｐｏに対してオブジェクトの検出が行われ、画像Ｐｏが各オブジェクト毎に区分けされた画像を示している。
【００２８】
トリミング部４０は、検出されたオブジェクト毎に注目度を算出する注目度算出部４２と、この注目度の大小に基づいてトリミング枠Ｘを設定するトリミング枠設定部４４と、トリミング枠Ｘに従って撮像画像Ｓ０をトリミングし、保存・プリント用画像Ｓ１を得るトリミング処理部４６とからなる。
【００２９】
注目度算出部４２は、オブジェクト検出部３０によりすべての種類のオブジェクトが検出された後、その検出されたオブジェクト毎に、被写体として注目すべき程度を表す注目度を所定の基準に従って算出するものである。すなわち、オブジェクトの種類毎にその種類によって定まる所定の種類の特徴量の値と注目度との対応関係を示した変換曲線が用意されており、検出されたオブジェクト毎にその所定の種類の特徴量を算出し、そのオブジェクトの種類に対応する変換曲線を用いてその特徴量の値から注目度を算出する。
【００３０】
例えば、オブジェクトの種類が人物の顔である場合には、図３に示すように、対応する変換曲線が２つ用意されており、第１の変換曲線ＬＵＴ１はそのオブジェクト（顔）の平均輝度と注目度Ｔ１との対応関係を表す変換曲線、第２の変換曲線ＬＵＴ２はそのオブジェクトの撮像画像Ｓ０に対する相対的な大きさ（面積）と注目度Ｔ２との対応関係を表す変換曲線である。そこで、検出された顔を表す画像の平均輝度と大きさを求め、各変換曲線を用いて注目度Ｔ１，Ｔ２をそれぞれ算出し、算出された注目度Ｔ１，Ｔ２を、重み係数を用いて合算し、得られた注目度を最終的な注目度Ｔｔとする（Ｔｔ＝ａ×Ｔ１＋ｂ×Ｔ２）。
【００３１】
トリミング枠設定部４４は、検出されたオブジェクト毎の注目度が算出された後、撮像画像Ｓ０において、注目度が所定の閾値以上であるオブジェクトをすべて含む枠をトリミング枠Ｘとして設定するものである。このとき、オブジェクトの位置やオブジェクトの種類の組合せ等も考慮して、より自然な構図となるようにトリミング枠Ｘを設定するようにしてもよい。また、表示エリアＲ１がトリミング枠に含まれるようにトリミング枠Ｘの大きさを制限するようにしてもよい。
【００３２】
図４は、撮像画像Ｓ０と受光エリアＲ０、表示エリアＲ１、検索エリアＲ２およびトリミング枠Ｘとの関係を表す図であり、図４（ａ）は、撮像画像Ｓ０とその画像における表示エリアＲ１の例を示す図、図４（ｂ）は、検索エリアＲ２を表示エリアＲ１に重ねて設定した場合にその結果として設定されたトリミング枠Ｘの例を示す図、図４（ｃ）は、検索エリアＲ２を表示エリアＲ１より大きい受光エリアＲ０に重ねて設定した場合にその結果として設定されたトリミング枠Ｘの例を示す図である。
【００３３】
図示の撮像画像Ｓ０は、２人の人物Ｍａ，Ｍｂが写っている画像であるが、そのうちの１人の人物Ｍｂの顔が受光エリアＲ０と表示エリアＲ１にまたいで存在している。ここで、従来通り検索エリアＲ２を表示エリアＲ１に重ねて設定した場合、人物Ｍａの顔はオブジェクト検出部３０により検出されるが、人物Ｍｂの顔はその一部が検索エリアＲ２外にあるためうまく検出されず、結果的にトリミング枠Ｘが図４（ｂ）に示すように、人物Ｍｂの顔を含むように設定されない可能性がある。一方、本実施形態により検索エリアＲ２を表示エリアＲ１より大きい受光エリアＲ０に重ねて設定した場合、人物Ｍａ，Ｍｂの顔はオブジェクト検出部３０によりともに検出され、結果的にトリミング枠Ｘが図４（ｃ）に示すように、人物Ｍａ，Ｍｂの両方の顔を含むように設定される可能性が高い。
【００３４】
トリミング処理部４６は、撮像画像Ｓ０からトリミング枠Ｘで囲まれた画像を切り出し、その切り出された画像を保存・プリント用画像Ｓ１として得るものである。このとき、保存・プリント用画像Ｓ１の画像サイズが撮像画像Ｓ０の画像サイズと略同じになるように、保存・プリント用画像Ｓ１を引き延ばすようにしてもよい。
【００３５】
画像記録部５０は、保存・プリント用画像Ｓ１を撮像装置本体に挿入されたメディア５１に記録するものである。メディア５１としては、例えば、ＳＤメモリやコンパクトフラッシュ（登録商標）等を考えることができる。なお、メディアの代わりに、撮像装置に内蔵されているＨＤＤ（ハードディスク）に記録するようにしてもよい。
【００３６】
次に、本実施形態において行われる処理について説明する。図５は、本実施形態において行われる処理を示すフローチャートである。
【００３７】
まず、撮像部１０がユーザから撮像の指示を受け付けて、撮像素子が不図示の光学系を通った被写体の反射光を受光し、撮像素子の光電変換により受光エリアＲ０に対応する画像を撮像画像Ｓ０として取得する（ステップＳＴ１）。撮像画像Ｓ０が取得されると、表示制御部２４が、ユーザからの撮像画像の表示の指示を受け付けて、または撮像後に自動で、撮像画像Ｓ０のうち表示エリアＲ１の画像をＬＣＤパネル２２の画面に表示するよう制御する（ステップＳＴ２）。また、オブジェクト検出部３０が、撮像画像Ｓ０における表示エリアＲ１より大きい、受光エリアＲ０に相当する撮像画像Ｓ０の画像全体の範囲である検索エリアＲ２に対して、所定の種類のオブジェクトの検出を行う（ステップＳＴ３）。
【００３８】
すべての種類のオブジェクトが検出されると、注目度算出部４２が、その検出されたオブジェクト毎に、被写体として注目すべき程度を表す注目度を所定の基準に従って算出し（ステップＳＴ４）、トリミング枠設定部４４が、撮像画像Ｓ０において、注目度が所定の閾値以上であるオブジェクトをすべて含む枠をトリミング枠Ｘとして設定する（ステップＳＴ５）。そして、トリミング処理部４６が、撮像画像Ｓ０からトリミング枠Ｘで囲まれた画像を切り出し、その切り出された画像を保存・プリント用画像Ｓ１として得る（ステップＳＴ６）。
【００３９】
保存・プリント用画像Ｓ１が得られると、画像記録部５０は、その保存・プリント用画像Ｓ１をメディア５１に記録する（ステップＳＴ７）。
【００４０】
このように、本実施形態による撮像装置によれば、撮像部１０により得られた撮像画像Ｓ０のうちＬＣＤパネル２０にて表示される表示エリアＲ１より広い範囲である検索エリアＲ２に対して人物の顔等の検出を行い、検出されたオブジェクトのうち保存または印刷すべき画像に含むべきオブジェクトを含むように撮像画像Ｓ０をトリミングするので、撮像画像Ｓ０における表示エリアＲ１内の被写体の存在を考慮してトリミングすることができ、より好ましい構図の保存・プリント用の画像Ｓ１を得ることが可能となる。
【００４１】
すなわち、被写体が表示エリアＲ１からはみ出し、撮像された範囲の端の方に位置するような撮像画像Ｓ０に対してもその被写体を検出することができ、目的の被写体が欠けないようなトリミングを行うようにすることできる。
【００４２】
また、撮像装置において撮像画像に含まれる所定のオブジェクトを検出する際に、撮像画像のうち表示エリアのみを検索範囲とすると、表示エリアにおいて情報が一部欠落したオブジェクトを検出する場合には、そのような一部が欠落したオブジェクトを検出対象とするオブジェクト識別器を別に用意したり、そのような一部が欠落したオブジェクトであっても検出できるように学習された精度の落ちるオブジェクト識別器を用いたりする必要があるが、本実施形態のように、オブジェクトの検索範囲を表示エリアより広い範囲とすることにより、上記のようなオブジェクト識別器を特別に用意しなくとも、撮像画像内にオブジェクトの略全体が存在する場合には、表示エリアにおいて情報が一部欠落したオブジェクトであっても検出することが可能である。
【００４３】
なお、本実施形態では、設定するトリミング枠Ｘの大きさを限定していないが、少なくとも表示エリアを含むようにトリミング枠Ｘを設定するようにすることが望ましい。すなわち、撮像画像Ｓ０の画像全体の範囲≧トリミング枠Ｘの範囲≧表示エリアＲ１の範囲、という関係が成り立つように撮像画像をトリミングすることが望ましい。これにより、ＬＣＤパネルに表示されユーザに把握された画像の範囲が少なくとも確保された、違和感のない保存・プリント用画像を提供することができる。
【００４４】
また、本実施形態では、オブジェクトの検索範囲を表示エリアＲ１より広い範囲としているが、例えば、表示エリアＲ１に対する標準的な保存・プリント範囲というものが予め決まっている場合には、オブジェクトの検索範囲をこの標準的な保存・プリント範囲より広い範囲としてもよい。
【００４５】
また、本実施形態では、オブジェクト検出部３０が種々のオブジェクトを検出し、注目度算出部４２が、検出されたオブジェクト毎に注目度を算出し、トリミング枠設定部４４が、注目度が所定の閾値以上であるオブジェクトを含むようにトリミング枠Ｘを設定しているが、例えば、より単純に、オブジェクト検出部３０が、人体あるいは人物の顔のみを検出し、トリミング枠設定部４４が、検出された人体あるいは人物の顔をすべて囲むようにトリミング枠Ｘを設定するようにしてもよい。
【００４６】
以上、本発明の望ましい実施形態について説明したが、本発明の装置は、上述した実施形態に限られることなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施形態となる撮像装置の構成を示すブロック図
【図２】撮像画像において各種のオブジェクトが検出された様子を示す図
【図３】オブジェクトの特徴量と注目度との対応関係を表す変換曲線を示す図
【図４】撮像画像Ｓ０と受光エリア、表示エリアＲ１、検索エリアＲ２およびトリミング枠Ｘとの関係を示す図
【図５】本実施形態における処理を示すフローチャート
【図６】動きの激しい被写体を撮像して得られた、被写体が端に寄った画像の例を示す図
【符号の説明】
【００４８】
１  ＣＣＤ
１０  撮像部
２０  画像表示部
２２  ＬＣＤパネル
２４  表示制御部
３０  オブジェクト検出部
４０  トリミング部
４２  注目度算出部
４４  トリミング枠設定部
４６  トリミング処理部
５０  画像記録部
５１  メディア
【図１】
0004624948.tif 000002
【図２】
0004624948.tif 000003
【図３】
0004624948.tif 000004
【図４】
0004624948.tif 000005
【図５】
0004624948.tif 000006
【図６】
0004624948.tif 000007