(57)【要約】【課題】所望の構図の画像を容易に得ることを可能とする撮像装置を提供する。【解決手段】切り出し処理部６０は、入力画像から主要被写体の位置を検出する主要被写体検出部６１と、主要被写体検出部を含む領域である切り出し領域を設定する切り出し領域設定部６２と、入力画像から切り出し領域の画像を切り出して切り出し画像を生成する切り出し部６３と、を備える。また、切り出し領域設定部６２で設定された切り出し領域に基づいて、撮像部の光学ズーム倍率を制御するズーム制御部ＣＺが備えられ、入力画像の画角が適正なものとなるように、光学ズーム倍率の制御が行われる。【選択図】図３
2010147925.tif 000002
【特許請求の範囲】
【請求項１】
撮像により入力画像を得る撮像部と、前記撮像部によって得られる前記入力画像に切り出し領域を設定するとともに前記入力画像の前記切り出し領域を切り出して切り出し画像を生成する切り出し処理部と、を備える撮像装置において、
前記撮像部が撮像を行う際の光学ズーム倍率を制御する制御部を備え、
当該制御部が、前記入力画像に設定される前記切り出し領域の位置及び大きさの少なくとも一つに基づいて、前記光学ズーム倍率の制御を行うことを特徴とする撮像装置。
【請求項２】
前記制御部が、
前記入力画像の端辺近傍に前記切り出し領域が設定されるとともに、前記撮像部によって順次得られる前記入力画像に対して順次設定される前記切り出し領域の位置が前記入力画像の当該端辺に近づいていることを検出する場合に、
前記撮像部が撮像を行う際の前記光学ズーム倍率を小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部が、前記入力画像の端辺から所定の幅の領域内に前記切り出し領域の少なくとも一部が設定されることを検出する場合に、前記撮像部が撮像を行う際の前記光学ズーム倍率を小さくするものであり、
前記所定の幅が、順次設定される前記切り出し領域の大きさの変化量及び順次設定される前記切り出し領域の位置の変化量の少なくとも一つに基づいて設定されることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部が、
前記入力画像の中心近傍に前記切り出し領域が設定されるとともに、前記入力画像の大きさに対する前記切り出し領域の大きさの割合が所定の値以下であり、前記撮像部によって順次得られる前記入力画像に対して順次設定される前記切り出し領域の位置が所定の範囲内に留まることを検出する場合に、
前記光学ズーム倍率を大きくすることを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記制御部が、前記光学ズーム倍率を変更する際の変化量を、順次設定される前記切り出し領域の大きさの変化量、順次設定される前記切り出し領域の位置の変化量及び前記切り出し領域内の主要被写体の位置の少なくとも一つに基づいて設定することを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記制御部によって前記光学ズーム倍率が変更される場合、前記切り出し処理部が、当該変更に伴って前記切り出し領域の大きさを変更することを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像によって得られた画像の一部を切り出して切り出し画像を生成する撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及している。また、このような撮像装置として、撮像して得られた画像から所定の領域を切り出し、所望の構図の画像を得る撮像装置がある（特許文献１参照）。
【０００３】
このような切り出し処理を行うことにより、撮像の簡易化を図ることができる。具体的に例えば、ユーザに広角の画像を撮像させるとともに、得られる広角の画像に切り出し処理を行い、ユーザが特に撮像を行いたいと考える被写体（以下、主要被写体とする）が含まれる領域の切り出しを行う。このような処理を行うこととすると、主要被写体が含まれる構図の画像を得るためにユーザが集中して主要被写体を追う必要がなくなる。特に、撮像装置を主要被写体の方に簡易的に向けるだけで足りるようになる。
【０００４】
【特許文献１】特開２００７−２７９７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、広角の画像から主要被写体が外れたり、外れそうになったりする場合には、どのように切り出し処理を行ったとしても所望の構図の画像を得ることが困難になる問題が生じる。例えば、主要被写体にズームインしている場合や、主要被写体が激しく動く場合などにこのような問題が発生しやすい。
【０００６】
なお、主要被写体が外れたり、外れそうになったりすることを抑制するために極端なズームアウトを行うと、画像が不明瞭となる問題が生じる。特に、画像処理によるズームアウトの補償（補間処理などによる切り出し後の画像の拡大）には限界があるため、切り出し後の画像は少なからず不明瞭なものとなる。
【０００７】
以上の問題を鑑みて、本発明は、所望の構図の画像を容易に得ることを可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、撮像により入力画像を得る撮像部と、前記撮像部によって得られる前記入力画像に切り出し領域を設定するとともに前記入力画像の前記切り出し領域を切り出して切り出し画像を生成する切り出し処理部と、を備える撮像装置において、前記撮像部が撮像を行う際の光学ズーム倍率を制御する制御部を備え、当該制御部が、前記入力画像に設定される前記切り出し領域の位置及び大きさの少なくとも一つに基づいて、前記光学ズーム倍率の制御を行うことを特徴とする。
【０００９】
なお、以下の実施形態では、制御部の一例としてズーム制御部及びＣＰＵ（Central Processing Unit）を挙げて説明している。
【００１０】
また、上記構成の撮像装置において、前記切り出し処理部が、前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、前記主要被写体検出部によって検出される前記主要被写体の位置に基づいて前記切り出し領域を設定する切り出し領域設定部と、前記入力画像から前記切り出し領域を切り出して前記切り出し画像を生成する切り出し部と、を備えることを特徴とする。
【００１１】
このように構成すると、主要被写体の位置を基準として切り出し領域が設定されることとなる。そのため、主要被写体の移動に伴って切り出し領域が移動し、切り出し領域が入力画像の外側に突出して設定されることが生じ得る。しかしながら、上記のような構成とすることによって、切り出し領域が入力画像の外側へ突出して設定されることが抑制される。また、無用に小さい光学ズーム倍率が設定されることによって切り出し画像が不明瞭になることも抑制される。
【００１２】
また、上記構成の撮像装置において、前記制御部が、前記入力画像の端辺近傍に前記切り出し領域が設定されるとともに、前記撮像部によって順次得られる前記入力画像に対して順次設定される前記切り出し領域の位置が前記入力画像の当該端辺に近づいていることを検出する場合に、前記撮像部が撮像を行う際の前記光学ズーム倍率を小さくすることとしても構わない。
【００１３】
このように構成すると、切り出し領域が入力画像の外側に突出して設定される可能性が高い場合に、光学ズーム倍率を小さくする、即ち、入力画像をさらに広角にすることが可能となる。そのため、切り出し領域が入力画像の外側に突出して設定されることを抑制することが可能となる。
【００１４】
なお、入力画像に設定される切り出し領域の位置が、切り出し処理部に入力される所定の構図情報によって決定されるものとしても構わない。
【００１５】
また、上記構成の撮像装置において、前記制御部が、前記入力画像の端辺から所定の幅の領域内に前記切り出し領域の少なくとも一部が設定されることを検出する場合に、前記撮像部が撮像を行う際の前記光学ズーム倍率を小さくするものであり、前記所定の幅が、順次設定される前記切り出し領域の大きさの変化量及び順次設定される前記切り出し領域の位置の変化量の少なくとも一つに基づいて設定されることとしても構わない。
【００１６】
このように構成すると、切り出し領域が入力画像の外側に突出して設定される可能性が高くなりやすい状態にあるときに、制御部が光学ズーム倍率を小さくする制御を積極的に行うことが可能となる。したがって、精度良く切り出し領域が入力画像の外側に突出して設定されることを抑制することが可能となる。反対に、切り出し領域が入力画像の外側に突出して設定される可能性が高くなりにくい状態にあるときに、制御部が光学ズーム倍率を小さくする制御を積極的に行わないようにすることが可能となる。したがって、切り出し画像が不明瞭になることを抑制することが可能となる。
【００１７】
なお、切り出し領域の大きさの変化量が大きい場合や、切り出し領域の位置の変化量が大きい場合に、所定の幅を大きく設定することとしても構わない。
【００１８】
また、上記構成の撮像装置において、前記制御部が、前記入力画像の中心近傍に前記切り出し領域が設定されるとともに、前記入力画像の大きさに対する前記切り出し領域の大きさの割合が所定の値以下であり、前記撮像部によって順次得られる前記入力画像に対して順次設定される前記切り出し領域の位置が所定の範囲内に留まることを検出する場合に、前記光学ズーム倍率を大きくすることとしても構わない。
【００１９】
このように構成すると、切り出し領域が入力画像の外側に突出して設定される可能性が低い場合に、光学ズーム倍率を大きくする、即ち、入力画像をさらに望遠にすることが可能となる。そのため、切り出し画像をさらに明瞭にすることが可能となる。
【００２０】
また、上記構成の撮像装置において、前記制御部が、前記光学ズーム倍率を変更する際の変化量を、順次設定される前記切り出し領域の大きさの変化量、順次設定される前記切り出し領域の位置の変化量及び前記切り出し領域内の主要被写体の位置の少なくとも一つに基づいて設定することとしても構わない。
【００２１】
このように構成すると、切り出し領域の大きさの変化量が大きい場合や、切り出し領域の位置の変化量が大きい場合、切り出し領域内の主要被写体の位置が入力画像の端辺に近い場合など、切り出し領域や主要被写体が入力画像の外側に突出して設定される可能性が特に高い場合に、光学ズーム倍率の減少量を大きくして効果的に突出を抑制することが可能となる。また、これとは逆の場合に、光学ズーム倍率の減少量を小さくして、切り出し画像が不明瞭になることを極力抑制することが可能となる。
【００２２】
また、上記構成の撮像装置において、前記制御部によって前記光学ズーム倍率が変更される場合、前記切り出し処理部が、当該変更に伴って前記切り出し領域の大きさを変更することとしても構わない。
【００２３】
このように構成すると、光学ズーム倍率の変更の前後において、得られる切り出し画像の構図を維持することが可能となる。例えば、切り出し画像内の主要被写体の大きさを一定に保つことが可能となる。
【００２４】
なお、光学ズーム倍率の変化率と、切り出し領域の大きさの変化率とが略等しくなるようにしても構わない。
【発明の効果】
【００２５】
本発明によると、制御部が、切り出し領域の位置や大きさに基づいて撮像部の光学ズーム倍率を制御することとなる。そのため、容易に所望の構図となる切り出し画像を得ることが可能となる。具体的には、切り出し領域が入力画像の外側に突出して設定されることや、無用に小さい光学ズーム倍率が設定されて切り出し画像が不明瞭になることを抑制することが可能となる。
【発明を実施するための最良の形態】
【００２６】
本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明の実施形態における撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。
【００２７】
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【００２８】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。
【００２９】
図２に、レンズ部の概略構成を示す模式図を示す。図２に示すように、レンズ部３は、フォーカスレンズ３２ａや変倍レンズ３２ｂ、補助レンズ３２ｃなどの各種レンズと、イメージセンサ２に入力される光量を調整する絞り３３と、をフォーカスレンズ３２ａや変倍レンズ３２ｂなどのレンズの光軸上の位置を制御したり絞り３３の開度を制御したりする駆動ドライバ３１と、を備える。
【００３０】
図２（ａ）はレンズ部３が最も広角となる状態（最大限ズームアウトした状態）を示したものであり、図２（ｂ）は最も望遠となる状態（最大限ズームインした状態）について示したものである。図２（ａ），（ｂ）に示すように、光学ズーム倍率を変更すると、主に変倍レンズ３２ｂが光軸上を移動することとなる。
【００３１】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号から一部を切り出して新たな画像信号を得る切り出し処理部６０を備える。
【００３２】
また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。
【００３３】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。
【００３４】
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００３５】
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
【００３６】
また、このとき画像処理部６に入力される画像信号に基づいて、ＣＰＵ１４が、レンズ部３のフォーカスレンズ３２ａや変倍レンズ３２ｂの光軸上の位置を調整してフォーカスやズームの調整を行ったり、絞り３３の開度を調整して露出の調整を行ったりする。このフォーカスやズーム、露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられる切り出し処理部６０は、入力される画像信号の一部を切り出して新たな画像信号を生成する切り出し処理を行う。
【００３７】
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
【００３８】
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。
【００３９】
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
【００４０】
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
【００４１】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
【００４２】
＜＜切り出し処理部＞＞
＜基本構成＞
次に、図１に示した切り出し処理部６０の基本構成について図面を参照して説明する。図３は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し処理部６０に入力されて切り出し処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、切り出し処理部６０から出力される画像信号を「切り出し画像」と呼ぶこととする。
【００４３】
切り出し処理部６０は、入力画像から主要被写体を検出するとともに入力画像中の主要被写体の位置を示す主要被写体位置情報を出力する主要被写体検出部６１と、入力される主要被写体位置情報と構図情報とズーム情報とに基づいて切り出し領域を設定して切り出し領域情報を出力する切り出し領域設定部６２と、入力される切り出し領域情報に基づいて入力画像を切り出して切り出し画像を生成する切り出し部６３と、を備える。
【００４４】
また、撮像装置１は、入力される切り出し領域情報に基づいてレンズ部３のズーム倍率を制御するための情報であるズーム制御情報を出力するズーム制御部ＣＺを備える。なお、ズーム制御部ＣＺは、ＣＰＵ１４などの制御を行う部分の一部と解釈され得るものとする。
【００４５】
構図情報とは、検出された主要被写体の位置を含むどの領域を切り出し領域として設定すべきかを指示する情報である。なお、構図情報は、例えば撮像開始前の初期設定時にユーザによって入力されるものとしても構わないし、予め決められているものとしても構わない。また、構図情報が、例えば主要被写体の顔の向きや移動方向、大きさなどに基づいて、自動的に設定を行う旨を示す情報であっても構わない。
【００４６】
ズーム情報は、レンズ部３の光学ズーム倍率を示すものである。例えば、レンズ部３を制御するＣＰＵ１４などから取得されるものとしても構わない。また、切り出し領域情報は、入力画像中に設定された切り出し領域の位置を示すものである。例えば、入力画像中の座標を用いて表現されるものとしても構わない。なお、切り出し領域情報が、主要被写体の位置を示す情報や構図を示す情報をさらに備えることとしても構わない。
【００４７】
ズーム制御情報は、例えば、光学ズーム倍率を大きくするべき、または小さくするべき旨を示す情報としても構わないし、光学ズーム倍率の値を具体的に指定するものとしても構わない。また、ズーム制御部ＣＺが光学ズーム倍率を変更する必要があると判定した場合のみ上記のようなズーム制御情報が出力されることとしても構わないし、ズーム制御部ＣＺが光学ズーム倍率を変更する必要がないと判定する場合についてもズーム制御情報（例えば、変更不要の旨を示す情報）が出力されることとしても構わない。
【００４８】
切り出し処理部６０の基本動作について図面を参照して説明する。図４は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本動作を示すフローチャートである。図４に示すように、切り出し処理部６０は、最初に切り出しを行う対象となる入力画像を取得する（ＳＴＥＰ１）。
【００４９】
次に、主要被写体検出部６１が、ＳＴＥＰ１で取得した入力画像から主要被写体を検出する（ＳＴＥＰ２）。そして、主要被写体位置情報を生成して出力する。なお、主要被写体検出部６１による検出方法の詳細については、後述する。
【００５０】
また、切り出し領域設定部６２が、構図情報及びズーム情報を取得する（ＳＴＥＰ３）。さらに、ＳＴＥＰ２で生成された主要被写体位置情報も取得する。そして、これらの情報に基づいて、切り出し領域設定部６２が切り出し領域の設定を行い、切り出し領域情報を生成する（ＳＴＥＰ４）。なお、切り出し領域設定部６２による切り出し領域の設定方法の詳細については、後述する。
【００５１】
そして、切り出し部６３が、ＳＴＥＰ１で取得された入力画像から、ＳＴＥＰ４で生成された切り出し領域情報が示す切り出し領域を切り出し、切り出し画像を生成する（ＳＴＥＰ５）。
【００５２】
また、ズーム制御部ＣＺは、切り出し領域情報に基づいて光学ズーム倍率を変更すべきか否かの判定を行う（ＳＴＥＰ６）。ズーム制御部ＣＺが光学ズーム倍率を変更すべきであると判定する場合（ＳＴＥＰ６、ＹＥＳ）、ズーム制御部ＣＺはＣＰＵ１４に対してレンズ部３の光学ズーム倍率を変更する旨のズーム制御情報を出力し、光学ズーム倍率の変更を行う（ＳＴＥＰ７）。一方、ズーム制御部ＣＺが光学ズーム倍率を変更すべきではないと判定する場合（ＳＴＥＰ６、ＮＯ）、光学ズーム倍率の変更をせずに次のステップに進む。
【００５３】
ここで、切り出し処理を終了する指示が入力されているか否かが確認される（ＳＴＥＰ８）。切り出し処理を終了する指示が入力されていない場合（ＳＴＥＰ８、ＮＯ）、ＳＴＥＰ１に戻り、次のフレームの入力画像の取得を行う。そして、上述したＳＴＥＰ２〜７の動作を行い、次のフレームの切り出し画像の生成を行う。一方、切り出し処理を終了する指示が入力されている場合は（ＳＴＥＰ８、ＹＥＳ）、終了する。
【００５４】
ところで、ＳＴＥＰ７において光学ズーム倍率の変更を行う場合、入力画像の画角が変更されることとなる。そのため、次のフレーム（またはそれ以降のフレーム）に対するＳＴＥＰ４の動作において、切り出し領域設定部６２が、構図を維持するために切り出し領域の設定方法を変更する場合がある。なお、この光学ズーム倍率の制御及び切り出し領域の設定方法の詳細については、後述する。
【００５５】
このように構成することで、検出された主要被写体を含んだ所望の構図となる画像を入力画像から切り出して、切り出し画像を生成することが可能となる。さらに、切り出し処理が行われる入力画像が不適である場合（例えば、入力画像の画角が狭く意図した切り出し処理を行うことが困難である場合）や、今後不適となる可能性が高い場合に、光学ズーム倍率を変更することが可能となる。そのため、入力画像を切り出し処理に適した画像とすることが可能となる。したがって、所望の構図の切り出し画像を容易に得ることが可能となる。
【００５６】
＜主要被写体検出部＞
次に、主要被写体検出部６１の検出方法の詳細について、具体例を挙げるとともに図面を参照して説明する。特に、主要被写体の顔を検出することで主要被写体の入力画像中の位置を検出する検出方法を例に挙げ、説明する。
【００５７】
主要被写体検出部６１が行う顔検出処理方法の一例について図面を参照して説明する。図５は、主要被写体検出部の検出方法の一例について説明する図であり、顔検出処理方法の一例について示すものである。なお、図５に示す方法は一例に過ぎず、顔検出処理方法として既存のどのような方法を用いることとしても構わない。
【００５８】
本例では、入力画像と重みテーブルとを比較することで顔を検出することとする。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の一つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００５９】
図５に示すように、まず入力画像３０から、例えば縮小率を０．８として縮小画像３１〜３５が作成されて階層化される。また、各画像３０〜３５において判定を行う判定領域６０の大きさは、どの画像３０〜３５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域４０を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域４０とマッチングする顔画像の検出が行われる。ここで、入力画像３０の他に複数の縮小画像３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。
【００６０】
マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域４０には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域４０に顔が存在すると判定し、判定領域を走査して次の判定領域４０での判定に移行する。なお、上述の例は正面顔を検出するものであるが、横顔のサンプルなどを用いることによって主要被写体の顔の向きなどを検出することとしても構わない。
【００６１】
上記の方法などによって顔検出処理を行うことにより、入力画像から主要被写体の顔が含まれる顔領域を検出することができる。そして、主要被写体検出部６１は、例えば検出された顔領域の入力画像中における位置の情報を、主要被写体位置情報として出力する。
【００６２】
なお、顔検出によって主要被写体の顔の向きを検出し、主要被写体位置情報に含めることとしても構わない。また、主要被写体の顔の向きの検出するために、例えば、上記の検出方法の例において横顔のサンプルを用いることとしても構わない。また、特定の人物の顔をサンプルとして記録し、特定の人物を検出する顔認識処理を行っても構わない。また、検出された複数の顔領域を主要被写体位置情報として出力することとしても構わない。
【００６３】
また、追尾処理を利用して主要被写体の位置を検出することとしても構わない。この場合の一例を図６に示す。図６は、追尾処理の一例を示すものである。図６に示す方法では、最初に顔検出処理によって入力画像５０から主要被写体の顔領域５１を検出する。そして、顔領域５１の下方（眉間から口の方向）であり顔領域５１の隣接する位置に、主要被写体の胴体が含まれる胴体領域５２を設定する。そして、順次入力されてくる入力画像５０について、順次胴体領域５２を検出することで主要被写体の追尾処理を行う。このとき、胴体領域５２の色（例えば、色差信号ＵＶやＲＧＢ信号、Ｈ（Hue）Ｓ（Saturation）Ｂ（Brightness）のＨの信号など、色を示す信号値）に基づいて追尾処理を行う。具体的に例えば、胴体領域５２の設定時に胴体領域５２の色を認識するとともに記憶し、その後に入力されてくる画像中から認識した色に類似する色を有した領域を検出することで、追尾処理を行う。
【００６４】
また、上述した主要被写体の検出方法は一例に過ぎず、本実施形態における撮像装置においては、どのような方法で主要被写体を検出することとしても構わないものとする。
【００６５】
＜切り出し領域設定部＞
次に、切り出し領域設定部６２の切り出し領域の設定方法の詳細の具体例について、図面を参照して説明する。なお、以下では説明の具体化のため、主要被写体検出部６１によって出力される主要被写体位置情報が、主要被写体の顔領域を示すものである場合について説明することとする。
【００６６】
切り出し領域設定部６２は、ユーザが操作部１６を介して入力するなどして設定される構図情報に基づいて、切り出し領域を決定する。この構図情報は、例えば、画像記録開始前のプレビュー画像の表示中などにユーザによって決定された構図に応じて、設定される。
【００６７】
図７に、切り出し領域の設定例を示す入力画像の模式図を示す。図７に示す例では、主要被写体７１の顔領域７２を中心とした所定の大きさの領域を、切り出し領域７３として設定する場合について示している。なお、構図情報に、設定する切り出し領域７３の大きさに関する情報が含まれることとしても構わない。例えば構図情報が、切り出し領域７３の大きさを顔領域７２の所定の倍数とする旨を示す情報を含むものとしても構わない。
【００６８】
また、切り出し領域設定部６２は、入力されるズーム情報から、レンズ部３の光学ズーム倍率の値を把握する。そして、光学ズーム倍率が変更されたときには、構図情報によって設定された構図を維持するために、切り出し領域の大きさを変更する。
【００６９】
なお、主要被写体位置情報が、主要被写体の位置の情報だけでなく、例えば主要被写体の向き（例えば、顔や体の向き）の情報を含むものとしても構わない。そして、切り出し領域設定部６２が切り出し領域を設定する際に、主要被写体の向きを利用することとしても構わない。例えば、主要被写体が向いている側が広く、反対側が狭くなるように、切り出し領域を設定することとしても構わない。
【００７０】
また、主要被写体位置情報が、主要被写体の動きを示す情報を含むものとしても構わない。このとき、主要被写体検出部６１は、例えばブロックマッチング法や代表点マッチング法などの種々のマッチング方法を利用することで主要被写体の動きベクトルを検出して、動き方向を算出する。そして、切り出し領域設定部６２が切り出し領域を設定する際に、主要被写体の動き方向を利用することとしても構わない。例えば、主要被写体の動き方向の先側が広く、反対側が狭くなるように、切り出し領域を設定することとしても構わない。
【００７１】
＜切り出し部＞
切り出し部６３は、入力画像の、切り出し領域情報が示す切り出し領域の切り出しを行う。このとき、切り出し部６３が、切り出した画像の拡大処理（例えば、画素の補間処理）や縮小処理（例えば、画素の間引き処理や加算平均化処理）を行うこととし、所定の大きさの画像を切り出し画像として出力することとしても構わない。
【００７２】
＜＜光学ズーム倍率及び切り出し領域の制御方法＞
次に、本発明の実施形態における撮像装置の光学ズーム倍率及び切り出し領域の制御方法について、具体的な実施例を挙げるとともにそれぞれの実施例について図面を参照して説明する。具体的には、ズーム制御部ＣＺ及びＣＰＵ１４による光学ズーム倍率の制御方法と、光学ズーム倍率の制御結果に応じて行われる切り出し領域設定部６２による切り出し領域の設定方法とについて説明する。
【００７３】
＜第１実施例＞
本実施例では、ズーム制御部ＣＺが、切り出し領域の入力画像中の位置に基づいて判定を行う。具体例を図８に示す。図８は、光学ズーム倍率及び切り出し領域の制御方法の第１実施例を示す入力画像の模式図である。なお、図８に示す入力画像７０は、図７に示す入力画像７０と同様のものとする。また、図８（ａ）〜（ｃ）のうち、図８（ａ）が時間的に最も古いフレームを示し、図８（ｃ）が時間的に最も新しいフレームを示すこととする。なお、以下の説明において、切り出し領域の位置を入力画像の座標（Ｘ，Ｙ）を用いて説明する。ここでは、図中右方ほどＸの値が大きくなり、下方ほどＹの値が大きくなるものとする。また、入力画像の左上の座標を（０，０）、右下の座標を（ｎ，ｍ）とする。
【００７４】
図８（ａ）では、切り出し領域７３の左上の座標が（ＸL1，ＹT1）であり、右下の座標が（ＸR1，ＹB1）となる場合を示している。また、図８（ｂ）では、主要被写体７１が左方に移動したため、切り出し領域７３の左上の座標が（ＸL1−ｋ，ＹT1）となり、右下の座標が（ＸR1−ｋ，ＹB1）となっている（ｋは正の数）。
【００７５】
ここで、図８（ｂ）では、切り出し領域７３が動き方向（主要被写体７１の動き方向）が左方であり、切り出し領域７３の左端（ＸL1−ｋ）が入力画像７０の左端（０）の近傍に位置する状態（例えば、両左端の差分値（ＸL1−ｋ）が所定の値より小さい状態）となっている。即ち、切り出し領域７３が入力画像の端部近傍に位置し、当該端部から外側へと向かっている状態となる。このような場合、切り出し領域７３が入力画像７０の外側へ突出して設定されたり、主要被写体７１が入力画像７０の外側へ突出したりする可能性が高い。
【００７６】
ズーム制御部ＣＺは、図８（ｂ）に示すような状態となったことを確認すると、光学ズーム倍率を小さくする（即ち、入力画像７０の画角を広くする）ためのズーム制御情報を出力する。ＣＰＵ１４は、そのズーム制御情報に基づいてレンズ部３を制御し、光学ズーム倍率を小さくする。
【００７７】
光学ズーム倍率を小さくすると、図８（ｃ）に示す入力画像７０ａのように、画角が広くなる。このとき、切り出し領域の左上の座標が（ＸL2，ＹT2）となり、右下の座標が（ＸR2，ＹB2）となる。特に、ＸL2＞ＸL1−ｋを満たすものとなる。
【００７８】
このように構成すると、主要被写体７１の入力画像７０ａ中における位置が、中央に近づくこととなる。そのため、切り出し領域７３ａ及び主要被写体７１が、入力画像７０ａから外側へ突出することが抑制される。したがって、所望の構図となる切り出し画像を容易に得ることが可能となる。
【００７９】
なお、切り出し領域７３ａの構図を切り出し領域７３の構図と等しいものにする場合、図８（ｃ）に示すように、切り出し領域７３ａを切り出し領域７３よりも小さくして設定し直す。例えば、図８（ａ），（ｂ）における光学ズーム倍率をＭ、図８（ｃ）における光学ズーム倍率をＭａとする場合、
Ｍａ／Ｍ＝（ＸR2−ＸL2）／（ＸR1−ＸL1）
Ｍａ／Ｍ＝（ＹB2−ＹT2）／（ＹB1−ＹT1）
の関係を満たす大きさに設定する。
【００８０】
また、上述した具体例は切り出し領域の左端について判定して光学ズーム倍率の制御を行うものであるが、右端、上端、下端についても同様の判定及び制御を行うことが可能である。
【００８１】
また、切り出し領域の動き方向を、時間的に前のフレーム（以下、前フレームとする）の切り出し領域の位置と、時間的に後のフレーム（以下、後フレームとする）の切り出し領域の位置と、の比較結果に基づいて算出することとしても構わない。
【００８２】
図９に、図８とは異なる具体例を示す。図９は、光学ズーム倍率及び切り出し領域の制御方法の第１実施例を示す入力画像の模式図であり、図８の別例を示すものである。なお、図８と同様となる部分については同じ符号を付し、その詳細な説明については省略する。また、座標の表現方法などは図８と同様のものとする。
【００８３】
図９（ａ）では、切り出し領域７３の左上の座標が（ＸL3，ＹT3）であり、右下の座標が（ＸR3，ＹB3）となる場合を示している。また、図８（ｂ）では、主要被写体７１が左方に移動したため、切り出し領域７３の左上の座標が（ＸL3−ｒ，ＹT3）となり、右下の座標が（ＸR3−ｒ，ＹB3）となっている（ｒは正の数）。
【００８４】
ここで、図９（ｂ）では、切り出し領域７３が入力画像７０の略中央に位置する状態で留まっている（例えば、切り出し領域７３の中心位置と入力画像７０の中心位置との距離が、複数のフレームにおいて所定の値以下となる状態）。さらに、入力画像７０に対する切り出し領域７３の割合が、所定の値以下となっている。このような場合、切り出し領域７３及び主要被写体７１が、入力画像７０の外側へ突出する可能性が非常に低い。
【００８５】
また、図９（ｂ）における状態は、切り出し領域７３の四辺と入力画像７０の四辺とのそれぞれの距離が、所定の値（または所定の割合）以上の状態と表現することも可能である。なお、ＸL3が所定の値以上、ＹT3が所定の値以上、ＸR3が所定の値以下、ＹB3が所定の値以下、を同時に満たす状態と表現することもできる。
【００８６】
ズーム制御部ＣＺは、図９（ｂ）に示すような状態となったことを確認すると、光学ズーム倍率を大きくする（即ち、入力画像７０の画角を狭くする）ためのズーム制御情報を出力する。ＣＰＵ１４は、そのズーム制御情報に基づいてレンズ部３を制御し、光学ズーム倍率を大きくする。
【００８７】
光学ズーム倍率を大きくすると、図９（ｃ）に示す入力画像７０ｂのように、画角が狭くなる。そのため、主要被写体７１がより大きく明瞭となる入力画像７０ｂを得ることが可能となる。そして、この入力画像７０ｂを用いて得られる切り出し画像においても、主要被写体が明瞭なものとなる。したがって、可能な限り主要被写体７１を明瞭にした切り出し画像を得ることが可能となる。
【００８８】
なお、切り出し領域７３ｂの構図を切り出し領域７３の構図と等しいものにする場合、図９（ｃ）に示すように、切り出し領域７３ｂを切り出し領域７３よりも大きくして設定し直す。例えば、図９（ａ），（ｂ）における光学ズーム倍率をＭ、図９（ｃ）における光学ズーム倍率をＭｂとする場合、
Ｍｂ／Ｍ＝（ＸR4−ＸL4）／（ＸR3−ＸL3）
Ｍｂ／Ｍ＝（ＹB4−ＹT4）／（ＹB3−ＹT3）
の関係を満たす大きさに設定する。
【００８９】
＜第２実施例＞
本実施例は、ズーム制御部ＣＺが、切り出し領域の入力画像中の位置に基づいて判定を行う点においては、第１実施例と同様である。しかしながら本実施例では、入力画像の端辺から所定の大きさ（例えば、所定の長さや所定の割合）だけ内側となる領域を周囲領域として設定し、この周辺領域を利用した判定を行う点で、第１実施例とは異なる。
【００９０】
具体例を図１０に示す。図１０は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例を示す入力画像の模式図であり、第１実施例について示した図８に相当するものである。なお、図８と同様となる部分については同じ符号を付し、その詳細な説明については省略する。また、座標の表現方法などは図８と同様のものとする。また、周囲領域７４は、入力画像７０のそれぞれの端辺からｐの長さとなる領域とする（ｐは正の数）。なお、この長さｐを、周辺領域７４の幅とも表現する。
【００９１】
図１０（ａ）では、切り出し領域７３の左上の座標が（ＸL5，ＹT5）であり、右下の座標が（ＸR5，ＹB5）となる場合を示している。また、切り出し領域７３の左端が周辺領域７４に達している。即ち、ＸL5＜ｐとなっている。なお、図１０（ａ）よりも前のフレームでは、切り出し領域７３の左端が周辺領域７４に達していないものとする。
【００９２】
図８（ｂ）では、主要被写体７１がさらに左方に移動したため、切り出し領域７３の左上の座標が（ＸL5−ｑ，ＹT5）となり、右下の座標が（ＸR5−ｑ，ＹB5）となっている（ｑは正の数）。このとき、ＸL5−ｑ＜ＸL5＜ｐとなっている。
【００９３】
図１０（ｂ）では、切り出し領域７３の動き方向（主要被写体７１の動き方向）が左方であり、切り出し領域７３の左端（ＸL5−ｑ）が周辺領域７４内に位置する状態となる。即ち、切り出し領域７３が入力画像の端部近傍に位置し、当該端部から外側へと向かっている状態となる。このような場合、切り出し領域７３が入力画像７０の外側へ突出して設定されたり、主要被写体７１が入力画像７０の外側へ突出したりする可能性が高い。
【００９４】
ズーム制御部ＣＺは、図１０（ｂ）に示すような状態となったことを確認すると、光学ズーム倍率を小さくする（即ち、入力画像７０の画角を広くする）ためのズーム制御情報を出力する。ＣＰＵ１４は、そのズーム制御情報に基づいてレンズ部３を制御し、光学ズーム倍率を小さくする。
【００９５】
光学ズーム倍率を小さくすると、図１０（ｃ）に示す入力画像７０ｃのように、画角が広くなる。このとき、切り出し領域の左上の座標が（ＸL6，ＹT6）となり、右下の座標が（ＸR6，ＹB6）となる。特に、ＸL6＞ＸL5−ｑを満たすものとなる。
【００９６】
このように構成すると、主要被写体７１の入力画像７０ｃ中における位置が、中央に近づくこととなる。そのため、切り出し領域７３ｃ及び主要被写体７１が、入力画像７０ｃから外側へ突出することが抑制される。したがって、所望の構図となる切り出し画像を容易に得ることが可能となる。
【００９７】
また、ＸL6＞ｐを満たすように（即ち、切り出し領域７３ｃの端辺が周辺領域７４に入らないように）光学ズーム倍率を小さくすると、より確実に切り出し領域７３ｃ及び主要被写体７１が、入力画像７０ｃの外側へ突出することが抑制される。さらに、後述するように周辺領域７４の幅を適宜調整することとすると、精度良く切り出し領域７３ｃ及び主要被写体７１が、入力画像７０ｃの外側へ突出することを抑制することが可能となる。
【００９８】
なお、切り出し領域７３ｃの構図を切り出し領域７３の構図と等しいものにする場合、図１０（ｃ）に示すように、切り出し領域７３ｃを切り出し領域７３よりも小さくして設定し直す。例えば、図１０（ａ），（ｂ）における光学ズーム倍率をＭ、図１０（ｃ）における光学ズーム倍率をＭｃとする場合、
Ｍｃ／Ｍ＝（ＸR6−ＸL6）／（ＸR5−ＸL5）
Ｍｃ／Ｍ＝（ＹB6−ＹT6）／（ＹB5−ＹT5）
の関係を満たす大きさに設定する。
【００９９】
また、上述した具体例は切り出し領域７３の左端について判定するものであるが、右端、上端、下端についても同様の判定を行うことが可能である。
【０１００】
また、切り出し領域７３の動き方向を、前フレームの切り出し領域の位置と、後フレームの切り出し領域の位置との比較結果に基づいて算出することとしても構わない。
【０１０１】
また、光学ズーム倍率を小さくする制御を開始する時点を、図１０（ｂ）の時点（切り出し領域７３の端辺が周辺領域７４に達した後、さらに外側に突出しようとする時点）としたが、図１０（ａ）の時点で制御を行うこととしても構わない。即ち、周辺領域７４に切り出し領域７３の端辺が達した時点で、切り出し領域７３の動き方向が当該達した端辺方向であった場合に、制御を行うこととしても構わない。
【０１０２】
また、本実施例においても、図９と同様の制御を行うこととしても構わない。即ち、切り出し領域７３が入力画像７０の略中央に位置する状態であり、入力画像７０に対する切り出し領域７３の割合が所定の値以下となる場合に、光学ズーム倍率を大きくする制御を行うこととしても構わない。さらに、光学ズーム倍率を大きくする制御を行う際の条件を、切り出し領域７３の四辺が周辺領域７４から所定の値（または割合）以上内側となる状態、としても構わない。
【０１０３】
（周辺領域の幅の設定例）
[第１設定例]
次に、光学ズーム倍率及び切り出し領域の制御方法の第２実施例における、周辺領域の幅の設定例について図面を参照して説明する。図１１は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例における、周辺領域の第１設定例を示す入力画像の模式図である。なお、図１１は第１実施例について示した図８と同様のものである。また、図８と同様となる部分については同じ符号を付し、その詳細な説明については省略する。さらに、座標の表現方法などは図８と同様のものとする。
【０１０４】
図１１に示すように、本設定例では、切り出し領域７３の移動量に応じて周辺領域７４の幅を設定する。特に、図１１（ａ）に示すように移動量（図中の白塗りの矢印の長さ）が小さい場合には狭く、図１１（ｂ）に示すように移動量が大きい場合には広く設定する。
【０１０５】
このように構成すると、切り出し領域７３の移動量が大きく入力画像７０の外側へ突出する可能性が高くなりやすい状態のときは、周辺領域７４の幅を大きくして早期に光学ズーム倍率を小さくする制御を行うこととなる。そのため、精度良く切り出し領域７３ｃ及び主要被写体７１が入力画像７０ｃの外側へ突出することを抑制し、容易に所望の構図となる切り出し画像を得ることが可能となる。
【０１０６】
また、切り出し領域７３の移動量が小さく入力画像７０の外側へ突出する可能性が高くなりにくい状態のときは、周辺領域７４の幅を小さくして可能な限り光学ズーム倍率を小さくする制御を行わないこととする。そのため、無用に光学ズーム倍率を小さくする制御を行うことによって切り出し画像が不明瞭になることを抑制することが可能となる。
【０１０７】
なお、下記式（１）に示すように、前フレームの切り出し領域の中心座標と、後フレームの切り出し領域の中心座標と、を比較する方法を用いて移動量ＰＤを算出しても構わない。下記式（１）において、前フレームの切り出し領域の左上の座標を（ＸLb，ＹTb）、右下の座標を（ＸRb，ＹBb）として、中心座標を（Ｘb，Ｙb）とする。また、後フレームの切り出し領域の左上の座標を（ＸLa，ＹTa）、右下の座標を（ＸRa，ＹBa）として、中心座標を（Ｘa，Ｙa）とする。
【０１０８】
【数１】
2010147925.tif 000003
【０１０９】
このように移動量ＰＤを規定すると、切り出し領域の大きさが変更される場合（例えば、主要被写体の入力画像中の大きさに応じて切り出し領域の大きさが設定される場合や、ズーム倍率の変更に伴って切り出し領域の大きさが変更される場合）においても、正しく移動量ＰＤを算出することが可能となる。
【０１１０】
[第２設定例]
周辺領域の幅の第２設定例について図面を参照して説明する。図１２は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例における、周辺領域の第２設定例を示す入力画像の模式図である。なお、図１２は第１設定例について示した図１１に相当するものである。また、図１１と同様となる部分については同じ符号を付し、その詳細な説明については省略する。さらに、座標の表現方法などは図１１と同様のものとする。
【０１１１】
本設定例は、例えば、主要被写体の大きさに応じて切り出し領域の大きさが設定される場合に、好適に適用され得る。この場合、主要被写体が奥行き方向に移動することによって、切り出し領域の大きさが変動する。例えば、主要被写体が撮像装置に近づくことによって切り出し領域が大きくなり、撮像装置から遠ざかることによって切り出し領域が小さくなる。
【０１１２】
また例えば、ユーザなどの操作によってズーム倍率が変更される場合に、構図を維持するために切り出し領域の大きさを変動させる場合にも、好適に適用され得る。この場合、例えばズーム倍率を大きくすると切り出し領域が大きくなり、ズーム倍率を小さくすると切り出し領域が小さくなる。
【０１１３】
図１２に示すように、本設定例では、切り出し領域７３の大きさの変化量に応じて周辺領域７４の幅を設定する。特に、図１２（ａ）に示すように大きさの変化量が小さい場合には狭く、図１２（ｂ）に示すように大きさの変化量が大きい場合には広く設定する。なお、図１２（ａ）のフレームの切り出し領域７３は、前のフレームの切り出し領域７３ｄよりも小さくなる。即ち、切り出し領域の大きさの変化量が小さい値となる（例えば、変化量が差分値であれば負の値となり、割合であれば１より小さい値となる）。一方、図１２（ｂ）のフレームの切り出し領域７３は、前のフレームの切り出し領域７３ｅよりも大きくなる。即ち、切り出し領域の大きさの変化量が大きい値となる（例えば、変化量が差分値であれば正の値となり、割合であれば１より大きい値となる）。
【０１１４】
このように構成すると、入力画像７０中の切り出し領域７３及び主要被写体７１が急激に大きくなり、入力画像７０の外側へ突出する可能性が高くなりやすい状態のときは、周辺領域７４の幅を大きくして早期に光学ズーム倍率を小さくする制御を行うこととなる。そのため、精度良く切り出し領域７３ｃ及び主要被写体７１が入力画像７０ｃの外側へ突出することを抑制し、容易に所望の構図となる切り出し画像を得ることが可能となる。
【０１１５】
また、入力画像７０中の切り出し領域７３及び主要被写体７１が急激に大きくならず、入力画像７０の外側へ突出する可能性が高くなりにくい状態のときは、周辺領域７４の幅を小さくして可能な限り光学ズーム倍率を小さくする制御を行わないこととする。そのため、無用に光学ズーム倍率を小さくする制御を行うことによって切り出し画像が不明瞭になることを抑制することが可能となる。
【０１１６】
なお、下記式（２）に示すように、前フレームの切り出し領域の面積と後フレームの切り出し領域の面積との差分値を用いて、切り出し領域の大きさの変化量ＡＤを算出しても構わない。下記式（２）において、前フレームの切り出し領域の左上の座標を（ＸLb，ＹTb）、右下の座標を（ＸRb，ＹBb）とする。また、後フレームの切り出し領域の左上の座標を（ＸLa，ＹTa）、右下の座標を（ＸRa，ＹBa）とする。
【０１１７】
【数２】
2010147925.tif 000004
【０１１８】
また、上記式（２）では、切り出し領域の面積を用いて切り出し領域の大きさの変化量ＡＤを算出する例を示したが、切り出し領域の対角線の長さや、切り出し領域の四辺の長さの合計値などを用いることとしても構わない。
【０１１９】
なお、第１設定例と第２設定例とは組み合わせて実施することが可能である。組み合わせて実施する場合、例えば、切り出し領域の移動量と、切り出し領域の大きさの変化量とを加重加算して組み合わせた値に基づいて、周辺領域の幅を設定することとしても構わない。
【０１２０】
＜変形例＞
上述した第１及び第２実施例の変形例について図面を参照して説明する。特に、ズーム制御部ＣＺが光学ズーム倍率を小さくする必要があると判定した場合における、光学ズーム倍率の値の設定方法に関するものである。なお、本変形例は上述した第１実施例及び第２実施例のいずれにも適用することが可能であるが、説明の簡略化のために第２実施例に適用する場合についてのみ説明するものとする。さらに、光学ズーム倍率の変化の前後における切り出し画像の構図を維持するために、光学ズーム倍率の変化に合わせて切り出し領域の大きさを変化させる場合について説明する。
【０１２１】
［第１変形例］
図１３に、光学ズーム倍率及び切り出し領域の制御方法の第１変形例を示す入力画像の模式図を示す。なお、図１３は第２実施例について示した図１０と同様のものである。また、図１０と同様となる部分については同じ符号を付し、その詳細な説明については省略する。さらに、座標の表現方法などは図１０と同様のものとする。
【０１２２】
本変形例は、切り出し領域の移動量に基づいて、光学ズーム倍率の変化量を調整する。図１３（ａ）は、移動量が小さい場合において設定される光学ズーム倍率について示しており、図１３（ｂ）は、移動量が大きい場合に設定される光学ズーム倍率について示している。図１３（ａ），（ｂ）のいずれの場合においても、前フレームの時点でズーム制御部ＣＺによって光学ズーム倍率を小さくする必要があると判定されており、それぞれの後フレームにおいて光学ズーム倍率が小さくなっている。
【０１２３】
本変形例では、移動量が大きい図１３（ｂ）の入力画像７０ｇの方が、移動量が小さい図１３（ａ）の入力画像７０ｆよりも、光学ズーム倍率の減少量が大きくなる。
【０１２４】
このように構成すると、切り出し領域７３の移動量が大きく、切り出し領域７３及び主要被写体７１が入力画像７０の外側へ突出する可能性が高いほど、光学ズーム倍率の減少量を大きくすることとなる。そのため、切り出し領域７３ｇ及び主要被写体７１が入力画像７０ｇの外側へ突出することを効果的に抑制し、容易に所望の構図となる切り出し画像を得ることが可能となる。
【０１２５】
また、切り出し領域７３の移動量が小さく入力画像７０の外側へ突出する可能性が低い場合は、光学ズーム倍率の減少量を小さくすることとなる。そのため、無用に光学ズーム倍率を小さくし過ぎる制御を行うことによって切り出し画像が不明瞭になることを抑制することが可能となる。
【０１２６】
なお、図９に示したような光学ズーム倍率を大きくする際に、本変形例を適用しても構わない。例えば、図９（ｂ）に示すような状態であるときに、切り出し領域７３の移動量が小さいほど、光学ズーム倍率の増大量を大きくしても構わない。
【０１２７】
また、本変形例における切り出し領域の移動量を、上記式（１）における移動量ＰＤとしても構わない。
【０１２８】
［第２変形例］
図１４に、光学ズーム倍率及び切り出し領域の制御方法の第２変形例を示す入力画像の模式図を示す。なお、図１４は第１変形例について示した図１３に相当するものである。また、図１３と同様となる部分については同じ符号を付し、その詳細な説明については省略する。さらに、座標の表現方法などは図１３と同様のものとする。
【０１２９】
本変形例は、切り出し領域の大きさの変化量に基づいて、光学ズーム倍率の変化量を調整する。図１４（ａ）は、切り出し領域の大きさの変化量が小さい場合において設定される光学ズーム倍率について示しており、図１４（ｂ）は、切り出し領域の大きさの変化量が大きい場合に設定される光学ズーム倍率について示している。図１４（ａ），（ｂ）のいずれの場合においても、前フレームの時点でズーム制御部ＣＺによって光学ズーム倍率を小さくする必要があると判定されており、それぞれの後フレームにおいて光学ズーム倍率が小さくなっている。なお、図１４（ａ），（ｂ）の切り出し領域７３ｈ，７３ｉは、前のフレームよりもさらに時間的に前のフレームの切り出し領域を示すものである。
【０１３０】
本変形例では、切り出し領域の大きさの変化量が大きい図１４（ｂ）の入力画像７０ｋの方が、変化量が小さい図１４（ａ）の入力画像７０ｊよりも、光学ズーム倍率の減少量が大きくなる。
【０１３１】
このように構成すると、切り出し領域７３の大きさの変化量が大きく、切り出し領域７３及び主要被写体７１が入力画像７０の外側へ突出する可能性が高いほど、光学ズーム倍率の減少量を大きくすることとなる。そのため、切り出し領域７３ｋ及び主要被写体７１が入力画像７０ｋの外側へ突出することを効果的に抑制し、容易に所望の構図となる切り出し画像を得ることが可能となる。
【０１３２】
また、切り出し領域７３の大きさの変化量が小さく入力画像７０の外側へ突出する可能性が低い場合は、光学ズーム倍率の減少量を小さくすることとなる。そのため、無用に光学ズーム倍率を小さくし過ぎる制御を行うことによって切り出し画像が不明瞭になることを抑制することが可能となる。
【０１３３】
なお、図９に示したような光学ズーム倍率を大きくする際に、本変形例を適用しても構わない。例えば、図９（ｂ）に示すような状態であるときに、切り出し領域７３の大きさの変化量が小さいほど、光学ズーム倍率の増大量を大きくしても構わない。
【０１３４】
また、本変形例における切り出し領域の大きさの変化量を、上記式（２）における切り出し領域の大きさの変化量ＡＤとしても構わない。
【０１３５】
［第３変形例］
図１５に、光学ズーム倍率及び切り出し領域の制御方法の第３変形例を示す入力画像の模式図を示す。なお、図１５は第１変形例について示した図１３に相当するものである。また、図１３と同様となる部分については同じ符号を付し、その詳細な説明については省略する。さらに、座標の表現方法などは図１３と同様のものとする。
【０１３６】
本変形例は、切り出し領域の構図に基づいて、光学ズーム倍率の変化量を調整する。図１５（ａ）は、切り出し領域７３中の主要被写体７１（特に顔領域７２ｍ）の位置が、切り出し領域７３の周辺領域７４に達した端辺側（左側）の反対側（右側）である場合に設定される光学ズーム倍率について示しており、図１５（ｂ）は、切り出し領域７３中の主要被写体７１（特に顔領域７２ｎ）の位置が、切り出し領域７３の周辺領域７４に達した端辺側（左側）である場合に設定される光学ズーム倍率について示している。図１５（ａ），（ｂ）のいずれの場合においても、前フレームの時点でズーム制御部ＣＺによって光学ズーム倍率を小さくする必要があると判定されており、それぞれの後フレームにおいて光学ズーム倍率が小さくなっている。
【０１３７】
本変形例では、切り出し領域７３内の主要被写体７１の位置が突出する可能性が高い端辺側である図１５（ｂ）の入力画像７０ｑの方が、主要被写体７１の位置が突出する可能性が高い端辺側の反対側である図１５（ａ）の入力画像７０ｐよりも、光学ズーム倍率の減少量が大きくなる。
【０１３８】
このように構成すると、主要被写体７１の位置が切り出し領域７３の突出する可能性が高い側であり、主要被写体７１が入力画像７０の外側へ突出する可能性が高いほど、光学ズーム倍率の減少量を大きくすることとなる。そのため、特に主要被写体７１が入力画像７０の外側へ突出することを効果的に抑制し、容易に所望の構図となる切り出し画像を得ることが可能となる。
【０１３９】
また、切り出し領域７３における突出する可能性が高い側と反対側に主要被写体７１が位置し、主要被写体７１が入力画像７０の外側へ突出する可能性が低い場合は、光学ズーム倍率の減少量を小さくすることとなる。そのため、無用に光学ズーム倍率を小さくし過ぎる制御を行うことによって切り出し画像が不明瞭になることを抑制することが可能となる。
【０１４０】
なお、図９に示したような光学ズーム倍率を大きくする際に、本変形例を適用しても構わない。例えば、図９（ｂ）に示すような状態であるときに、切り出し領域７３の中心や入力画像７０の中心に近い位置に主要被写体７１が位置する構図であるほど、光学ズーム倍率の増大量を大きくしても構わない。
【０１４１】
なお、第１〜第３変形例は、組み合わせて実施することも可能である。組み合わせて実施する場合、例えば、切り出し領域の移動量と、切り出し領域の大きさの変化量と、切り出し領域（または入力画像）の突出する可能性が高い側の端辺と主要被写体との距離と、を加重加算して組み合わせた値に基づいて、光学ズーム倍率を設定することとしても構わない。
【０１４２】
また、本発明の実施形態における撮像装置１について、画像処理部６や切り出し処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１４３】
また、上述した場合に限らず、図１の撮像装置１、図２の切り出し処理部６０は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や切り出し処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１４４】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１４５】
本発明は、デジタルビデオカメラに代表される撮像装置に関する。特に、入力画像を切り出して所望の切り出し画像を得る撮像装置に関する。
【図面の簡単な説明】
【０１４６】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、レンズ部の概略構成を示す模式図である。
【図３】は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本構成を示すブロック図である。
【図４】は、本発明の実施形態における撮像装置に備えられる切り出し処理部の基本動作を示すフローチャートである。
【図５】は、主要被写体検出部の検出方法の一例について説明する図である。
【図６】は、追尾処理の一例を示す図である。
【図７】は、切り出し領域の設定例を示す入力画像の模式図である。
【図８】は、光学ズーム倍率及び切り出し領域の制御方法の第１実施例を示す入力画像の模式図である。
【図９】は、光学ズーム倍率及び切り出し領域の制御方法の第１実施例を示す入力画像の模式図である。
【図１０】は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例を示す入力画像の模式図である。
【図１１】は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例における、周辺領域の第１設定例を示す入力画像の模式図である。
【図１２】は、光学ズーム倍率及び切り出し領域の制御方法の第２実施例における、周辺領域の第２設定例を示す入力画像の模式図である。
【図１３】は、光学ズーム倍率及び切り出し領域の制御方法の第１変形例を示す入力画像の模式図である。
【図１４】は、光学ズーム倍率及び切り出し領域の制御方法の第２変形例を示す入力画像の模式図である。
【図１５】は、光学ズーム倍率及び切り出し領域の制御方法の第３変形例を示す入力画像の模式図である。
【符号の説明】
【０１４７】
１    撮像装置
２    イメージサンサ
３    レンズ部
３１  駆動ドライバ
３２ａ  フォーカスレンズ
３２ｂ  変倍レンズ
３２ｃ  補助レンズ
３３  絞り
４    ＡＦＥ
５    集音部
６    画像処理部
６０  切り出し処理部
６１  主要被写体検出部
６２  切り出し領域設定部
６３  切り出し部
７    音声処理部
８    圧縮処理部
９    ドライバ部
１０    外部メモリ
１１    伸長処理部
１２    画像出力回路部
１３    音声出力回路部
１４    ＣＰＵ
１５    メモリ
１６    操作部
１７    ＴＧ部
１８    バス
１９    バス
ＣＺ    ズーム制御部
【図１】
2010147925.tif 000005
【図２】
2010147925.tif 000006
【図３】
2010147925.tif 000007
【図４】
2010147925.tif 000008
【図５】
2010147925.tif 000009
【図６】
2010147925.tif 000010
【図７】
2010147925.tif 000011
【図８】
2010147925.tif 000012
【図９】
2010147925.tif 000013
【図１０】
2010147925.tif 000014
【図１１】
2010147925.tif 000015
【図１２】
2010147925.tif 000016
【図１３】
2010147925.tif 000017
【図１４】
2010147925.tif 000018
【図１５】
2010147925.tif 000019