(57)【要約】【課題】処理を行う画像のデータ量を低減するとともに、所望の領域を容易に確認することができる画像を出力する画像処理装置や、この画像処理装置を備えた電子機器を提供する。【解決手段】合成処理部１２０は、入力画像を縮小した縮小画像を拡大して拡大画像を出力する拡大部１２１と、入力画像の一部を切り出して生成された切り出し画像と拡大画像とを合成して合成画像を生成する合成部１２２と、再生画角領域を設定する画角設定部１２３と、合成画像から再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部１２４と、再生時切り出し部１２４から出力される再画角設定画像の大きさを調整する画像サイズ調整部１２５と、を備える。【選択図】図６
2010081181.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を縮小した縮小画像を拡大し、拡大画像を生成する拡大処理部と、
前記入力画像の一部の領域である切り出し領域を切り出した画像である切り出し画像を、前記拡大画像の前記切り出し領域に相当する領域に合成し、合成画像を生成する合成部と、
前記合成画像の一部の領域である再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、
前記主要被写体検出部によって検出される前記主要被写体の位置を含む前記切り出し領域で前記入力画像の切り出しを行い前記切り出し画像を生成する切り出し部と、
前記入力画像を縮小して前記縮小画像を生成する縮小部と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記縮小画像と、前記切り出し画像と、前記再画角設定画像と、のいずれかを選択し、出力画像として出力する出力画像選択部をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記拡大画像から主要被写体の位置を検出するとともに、当該検出された前記主要被写体の位置に基づいて前記再生画角領域を設定する画角設定部をさらに備えることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記合成部が、前記合成画像の前記切り出し領域に相当する領域の端辺から中央部に向かって前記切り出し画像の割合が大きくなるとともに前記拡大画像の割合が小さくなるように、合成を行うことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
請求項１〜請求項５のいずれかに記載の画像処理装置を備え、
当該画像処理装置から出力される画像を記録または再生することを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の一部を切り出して所望の切り出し画像を得る画像処理装置や、この画像処理装置を備えた電子機器に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。また、このような撮像装置や表示装置として、処理対象となる画像（以下、入力画像とする）から所定の領域を切り出すとともに、この切り出した領域の画像（以下、切り出し画像とする）を記録したり表示したりするものがある。
【０００３】
このような切り出し処理を行うこととすると、撮像の簡易化を図ることができる。具体的に例えば、ユーザに広画角となる入力画像を撮像させるとともに、得られる入力画像に切り出し処理を行い、ユーザが特に撮像を行いたいと考える被写体（以下、主要被写体とする）が含まれる領域の切り出し処理を行う。この切り出し処理によって、主要被写体が含まれる構図の画像を得るために、ユーザが集中して主要被写体を追う必要がなくなる。特に、撮像装置を主要被写体の方に簡易的に向けるだけで足りるようになる。
【０００４】
しかしながら、切り出し画像のみを記録する構成とすると、不適当な切り出し処理が行われた場合に、所望の画像を得ることができなくなる問題が生じる。特に、ユーザが切り出した領域以外の領域を確認したいと考えたとしても、切り出した領域以外の領域については画像が記録されないため、再生時に当該領域を確認することができないことが問題となる。
【０００５】
この問題に対して、特許文献１では、入力画像及び切り出し画像の両方を記録し、並べて表示する撮像装置が提案されている。この撮像装置のように、両方の画像を記録及び表示することとすれば、再生時にユーザが切り取り領域以外の領域を確認することが可能となる。
【０００６】
【特許文献１】特開２００８−２２３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、同時に複数の画像を記録する構成とすると、記録するデータ量が大きくなり、各種処理に時間がかかることが問題となる。また、複数の画像を並べて表示する構成とすると、ユーザが複数の画像を見比べた上で所望の領域を確認する必要が生じる。そのため、画像の確認が煩雑なものとなる。
【０００８】
以上の問題を鑑みて、本発明は、処理を行う画像のデータ量を低減するとともに、所望の領域を容易に確認することができる画像を出力する画像処理装置や、この画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、入力画像を縮小した縮小画像を拡大し、拡大画像を生成する拡大処理部と、前記入力画像の一部の領域である切り出し領域を切り出した画像である切り出し画像を、前記拡大画像の前記切り出し領域に相当する領域に合成し、合成画像を生成する合成部と、前記合成画像の一部の領域である再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部と、を備えることを特徴とする。
【００１０】
また、上記構成の画像処理装置において、前記再画角設定画像の大きさを調整して出力する画像サイズ調整部をさらに備えることとしても構わない。このように構成すると、再生画角領域の大きさを任意のものとして任意の大きさの再生時切り出し部が出力されるようにしても、画像サイズ調整部によって出力する画像の大きさを一定とすることが可能となる。そのため、後段での処理を画一化することが可能となる。
【００１１】
また、上記構成の画像処理装置において、前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、前記主要被写体検出部によって検出される前記主要被写体の位置を含む前記切り出し領域で前記入力画像の切り出しを行い前記切り出し画像を生成する切り出し部と、前記入力画像を縮小して前記縮小画像を生成する縮小部と、をさらに備えることとしても構わない。
【００１２】
このように構成すると、自動的に切り出し領域に主要被写体を含めることが可能となる。さらに、ユーザが特に撮像したいと考える主要被写体を含む切り出し画像を、入力画像と同じ画質にすることが可能となる。また、切り出し画像及び縮小画像のデータ量を、入力画像よりも小さいものにすることが可能となる。
【００１３】
また、上記構成の画像処理装置において、前記縮小画像と、前記切り出し画像と、前記再画角設定画像と、のいずれかを選択し、出力画像として出力する出力画像選択部をさらに備えることとしても構わない。
【００１４】
このように構成すると、入力画像と同じ全画角を示す画像（縮小画像）、切り出し画角を示す画像（切り出し画像）及び任意の画角を示す画像（再画角設定画像）のいずれかを出力することが可能となる。また、縮小画像または切り出し画像を表示する場合、再画角設定画像を生成するための処理を不要とすることが可能となる。なお、縮小画像と、切り出し画像と、再画角設定画像と、の大きさを略等しいものとしても構わない。この場合、どの画像が選択されたとしても、出力画像の大きさを略等しいものにすることが可能となる。そのため、後段での処理を画一化することが可能となる。
【００１５】
また、上記構成の画像処理装置において、前記拡大画像から主要被写体の位置を検出するとともに、当該検出された前記主要被写体の位置に基づいて前記再生画角領域を設定する画角設定部をさらに備えることとしても構わない。
【００１６】
このように構成すると、主要被写体の位置を基準として再生画角領域を設定することが可能となる。特に、自動的に再生画角領域を設定することが可能となる。
【００１７】
また、上記構成の画像処理装置において、前記合成部が、前記合成画像の前記切り出し領域に相当する領域の端辺から中央部に向かって前記切り出し画像の割合が大きくなるとともに前記拡大画像の割合が小さくなるように、合成を行うこととしても構わない。
【００１８】
このように構成すると、切り出し画像を合成した領域の境界が徐々に変化するものとなる。そのため、境界を目立たないものとすることが可能となる。
【００１９】
また、上記構成の画像処理装置において、前記拡大部が、前記縮小画像を拡大するとともに超解像処理を施して、前記拡大画像を生成することとしても構わない。このように構成すると、拡大画像の画質を向上させることが可能となる。そのため、生成される再画角設定画像の画質を向上させることが可能となる。
【００２０】
また、本発明の電子機器は、上記のいずれかに記載の画像処理装置を備え、当該画像処理装置から出力される画像を記録または再生することを特徴とする。
【発明の効果】
【００２１】
本発明によると、入力画像よりもデータ量が低減された縮小画像と切り出し画像とから、所望の画角となる再画角設定画像を得ることができる。そのため、処理を行う画像のデータ量を低減して各種処理を迅速に実行可能にするとともに、ユーザが確認したい領域を直接的に表示する画像を出力することが可能となる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における電子機器の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。
【００２３】
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【００２４】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００２５】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、画像信号に各種画像処理を施す撮像画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、撮像画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり撮像画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、撮像画像処理部６は、入力される画像信号から一部を切り出して新たな画像信号を得る切り出し処理部６０を備える。
【００２６】
また、撮像装置１は、伸長処理部１１で復号された画像信号や撮像画像処理部６から出力される画像信号に基づいて再生用の画像信号を生成する再生画像処理部１２と、再生画像処理部１２から出力される画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１３と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１４と、を備える。なお、再生画像処理部１２は、入力される画像信号を合成して新たな画像信号を得る合成処理部１２０を備える。
【００２７】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどを備えてユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。
【００２８】
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００２９】
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、撮像画像処理部６に入力される。
【００３０】
撮像画像処理部６では、階調補正や輪郭強調等の各種画像処理が施される。また、撮像画像処理部６に入力されるＲＡＷ画像（各画素が単色の信号値を備える画像）の画像信号に対して色同時化処理を行って色同時化画像（各画素が複数色の信号値を備える画像）の画像信号に変換する処理が行われる。また、メモリ１６はフレームメモリとして動作し、撮像画像処理部６が処理を行なう際に画像信号を一時的に保持する。なお、色同時化画像は、例えば、１つの画素にＲ（赤）、Ｇ（緑）、Ｂ（青）の信号値をそれぞれ備えたものであっても構わないし、Ｙ（輝度）、Ｕ及びＶ（色差）の信号値をそれぞれ備えたものであっても構わない。
【００３１】
また、このとき撮像画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。また、入力される画像信号に基づいて、ホワイトバランスの調整も行われる。このフォーカスや露出、ホワイトバランスの調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００３２】
また、撮像画像処理部６に備えられる切り出し処理部６０は、入力される画像信号の一部を切り出し、切り出し画像の画像信号を生成して出力する。なお、切り出し処理部６０を含めた撮像画像処理部６の構成及び動作の詳細については、後述する。
【００３３】
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、撮像画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
【００３４】
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、撮像画像処理部６において行われる処理を異なるものとしても構わない。
【００３５】
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長する。伸長された画像信号は再生画像処理部１２に入力され、再生用の画像信号が生成される。このとき、必要に応じて合成処理部１２０が画像の合成を行う。なお、合成処理部１２０を含めた再生画像処理部１２の構成及び動作の詳細については、後述する。
【００３６】
再生用画像処理部１２から出力される画像信号は、画像出力回路部１３に入力される。また、伸長処理部１１で伸長された音声信号は、音声出力回路部１４に入力される。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
【００３７】
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
【００３８】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビュー時に、撮像画像処理部６から出力される画像信号を圧縮せずに再生画像処理部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、再生画像処理部１２及び画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。
【００３９】
また、撮像画像処理部６と再生画像処理部１２とを合わせたものが、１つの画像処理部（画像処理装置）として解釈され得るものとする。
【００４０】
＜撮像画像処理部＞
次に、図１に示した撮像画像処理部６の要部（特に、切り出し処理部６０に関係する部分）の構成について、図面を参照して説明する。図２は、本発明の実施形態における撮像画像処理部の要部の構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し処理部６０に入力されて切り出し処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、切り出し処理部６０から出力される画像信号を「切り出し画像」と呼ぶこととする。また、入力画像の画角を全画角と表現することとする。さらに、入力画像を色同時化画像としても構わないものとする。
【００４１】
図２に示すように、切り出し処理部６０は、入力画像から主要被写体を検出して入力画像中の主要被写体の位置を示す主要被写体位置情報を出力する主要被写体検出部６１と、主要被写体検出部６１から出力される主要被写体位置情報に基づいて入力画像の一部を切り出して切り出し画像を生成する切り出し部６２と、を備える。また、撮像画像処理部６は、入力画像を縮小して縮小画像を生成する縮小部６３を備える。
【００４２】
主要被写体検出部６１は、入力画像から主要被写体を検出する。例えば、入力画像に対して顔検出処理を行うことにより、主要被写体の検出を行う。顔検出処理方法の一例について図面を参照して説明する。図３は、顔検出処理方法の一例について示す画像の模式図である。なお、図３に示す方法は一例に過ぎず、顔検出処理方法として既存のどのような方法を用いることとしても構わない。
【００４３】
本例では、入力画像と重みテーブルとを比較することで顔を検出する。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００４４】
図３に示すように、まず入力画像３０から、例えば縮小率を０．８として顔検出用縮小画像３１〜３５が生成されて階層化される。また、各画像３０〜３５において判定を行う判定領域６０の大きさは、どの画像３０〜３５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域３６を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域３６とマッチングする顔画像の検出が行われる。ここで、入力画像３０の他に複数の顔検出用縮小画像３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。
【００４５】
マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域３６には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域３６に顔が存在すると判定し、判定領域を走査して次の判定領域３６での判定に移行する。なお、上述の例は正面顔を検出するものであるが、横顔のサンプルなどを用いることによって主要被写体の顔の向きなどを検出することとしても構わない。また、特定の人物の顔をサンプルとして記録し、特定の人物を主要被写体として検出する顔認識処理を行っても構わない。
【００４６】
上記の方法などによって顔検出処理を行うことにより、入力画像から主要被写体の顔が含まれる顔領域を検出することができる。そして、検出された顔領域の入力画像中における位置の情報を、主要被写体位置情報として出力する。なお、複数の顔領域を検出可能とするとともに、主要被写体位置情報が複数の位置を示すものとしても構わない。
【００４７】
切り出し部６２は、主要被写体位置情報に基づいて、入力画像の一部を切り出す。この切り出される領域（以下、切り出し領域とする）の設定方法について、具体例を図面を参照して説明する。図４は、切り出し領域の設定方法の例を示す入力画像の模式図である。
【００４８】
まず、図４（ａ）に示す例では、例えば上記の方法によって検出される顔領域４１，４２の中で、入力画像４０の中心の最も近くに位置するものを基準とする。具体的に例えば、顔領域４１，４２の中心が、入力画像４０の中心に最も近いものを基準とする。そして、この基準となる顔の位置（例えば、顔領域４１の中心位置）が、切り出し領域４３の水平方向の中央、垂直方向の上から１／３に位置するように、切り出し領域４３を設定する。このように切り出し領域４３を設定すると、主要被写体を切り出し領域４３の中央に位置させることが可能となる。
【００４９】
一方、図４（ｂ）に示す例では、検出された複数の顔を基準とする。そして、この基準となる複数の顔の位置（例えば、顔領域４１，４２の中心位置）の垂直方向における平均位置が、切り出し領域４４の垂直方向の上から１／３の位置になるように、切り出し領域４４を設定する。さらに、検出されたそれぞれの顔の位置が、切り出し領域４４の水平方向の中央部の１／２の範囲（即ち、水平方向を４等分した範囲のうち、中央の２つ分の範囲）内に含まれるように、切り出し領域４４を設定する。このように切り出し領域４４を設定すると、複数の主要被写体を切り出し領域４４の中央に位置させることが可能となる。
【００５０】
上記のようにして設定される切り出し領域４３，４４は、後段の圧縮処理部８や画像出力回路部１３などで行われる処理を画一的なものとするため、所定の大きさ（即ち、所定の画素数）とすると好ましい。なお、切り出し領域を所定の大きさとすると、図４（ｂ）に示すように複数の顔を切り出し領域内に含める場合に、例えば水平方向の中央部の１／２の範囲内に全ての顔が入りきらないなどの問題が生じうる。この場合、複数の顔が中央に近づくように（例えば、複数の顔の水平方向における平均位置が、切り出し領域の水平方向の中央に位置するように）、切り出し領域を設定しても構わない。
【００５１】
また、主要被写体とする顔を、ユーザが選択することとしても構わない。例えば、操作部１７がタッチパネルを備えるとともに、ユーザが直接的に顔を選択する構成としても構わない。また、操作部１７が方向キーなどのボタンを備えるとともに、ユーザがボタンを操作することで顔を選択する構成としても構わない。さらに、複数選択することが可能な構成としても構わないし、複数選択される顔に優先度をつけ、優先度が高い顔が優先的に切り出し領域の中央近くになるように、切り出し領域が設定される構成としても構わない。
【００５２】
切り出し画像及び縮小画像の一例を、図面を参照して説明する。図５は、切り出し画像及び縮小画像の一例について示した模式図である。なお、図５（ａ），（ｂ）は、図４（ａ）に示した切り出し領域４３が設定された場合の、切り出し画像５０及び縮小画像５１をそれぞれ示したものである。
【００５３】
上述の例のように、切り出し処理部６０は、図４（ａ）に示す入力画像４０から切り出し領域４３の画像を切り出すことで切り出し画像５０を生成し、出力する。一方、縮小部６３は、入力画像４０を縮小処理して縮小画像５１を生成し、出力する。縮小処理は、例えば、画素の加算処理や間引き処理によって行われ、その結果画素数が低減される。
【００５４】
このとき、縮小画像５１の画素数と切り出し画像５０の画素数とが同じものになるようにすると、後段の圧縮処理部８や画像出力回路部１３などで行われる処理を画一的なものとすることができるため、好ましい。例えば、入力画像４０を、水平３８４０画素×垂直２１６０画素として、切り出し画像５０及び縮小画像５１を、水平１９２０画素×垂直１０８０画素としても構わない。この場合、切り出し画像５０及び縮小画像５１の大きさは、水平方向が入力画像４０の１／２、垂直方向も入力画像４０の１／２となり、全体として入力画像４０の１／４の大きさとなる。
【００５５】
縮小部６３から出力される縮小画像５１は、画角が入力画像４０と略等しいものとなる。また、縮小画像５１は、入力画像４０に縮小処理を施して得られる画像であるため、データ量が入力画像４０よりも低減される。ただし、縮小画像５１の画質（解像度）は、入力画像４０の画質よりも低いものとなる。
【００５６】
一方、切り出し処理部６０から出力される切り出し画像５０は、縮小などの処理が行われないため、画質は入力画像４０と略等しいものとなる。また、入力画像４０の一部を切り出して得られる画像であるため、データ量が入力画像４０よりも低減される。ただし、入力画像４０の一部の領域の画像であるため、画角は入力画像４０よりも狭いものとなる。
【００５７】
切り出し画像５０及び縮小画像５１は、それぞれ圧縮処理部８に入力されたり、バス２０やメモリ１６を介して再生画像処理部１２に入力されたりする。圧縮処理部８に入力される切り出し画像５０及び縮小画像５１は、圧縮処理が施されて外部メモリ１０に記録される。一方、再生画像処理部１２に入力される切り出し画像５０及び縮小画像５１は、例えば、記録前のプレビュー時や記録時などにユーザに表示するために利用される。
【００５８】
＜再生画像処理部＞
次に、図１に示した再生画像処理部１２の要部（特に、合成処理部１２０に関係する部分）の構成について、図面を参照して説明する。図６は、本発明の実施形態における再生画像処理部の要部の構成を示すブロック図である。
【００５９】
図６に示すように、合成処理部１２０は、伸長処理部１１から出力される縮小画像を拡大処理して拡大画像を生成する拡大部１２１と、伸長処理部１１から出力される切り出し画像と拡大部１２１から出力される拡大画像とを合成して合成画像を生成する合成部１２２と、拡大部１２１から出力される拡大画像に基づいて画角の設定を行い画角情報を生成する画角設定部１２３と、画角設定部１２３から出力される画角情報に基づいて合成画像の一部を切り出して再画角設定画像を生成する再生時切り出し部１２４と、再生時切り出し部１２４から出力される再画角設定画像の大きさを調整して再画角設定画像（調整後）を生成する画像サイズ調整部１２５と、を備える。
【００６０】
また、再生画像処理部１２は、撮像画像処理部６から出力される切り出し画像及び縮小画像と伸長処理部１１から出力される切り出し画像及び縮小画像と合成処理部１２０から出力される再画角設定画像（調整後）とのいずれかを選択して出力画像として出力する出力画像選択部１２６を備える。
【００６１】
上述のように、図１の外部メモリ１０に記録された圧縮符号化された画像（切り出し画像及び縮小画像）は、伸長処理部１１で伸長されて再生画像処理部１２に入力される。まず、伸長処理部１１から出力される縮小画像は、拡大部１２１に入力されて拡大処理が施され、拡大画像が生成される。拡大処理とは、例えば、画素の補間処理などを行って、画素数を増大させる処理である。また、拡大画像は、入力画像と略等しい大きさになるように縮小画像を拡大処理して得られる画像である。
【００６２】
この拡大画像の一例について、図面を参照して説明する。図７は、拡大画像の一例について示した模式図である。なお、図７に示す拡大画像７０は、図５（ｂ）に示した縮小画像５１に拡大処理を施して得られるものである。即ち、拡大画像７０は、図４に示した入力画像４０に対して、縮小処理及び拡大処理を施すことによって得られるものである。そのため、図７に示すように拡大画像７０は、図４に示した入力画像４０よりも画質が低いものとなる。
【００６３】
伸長処理部１１から出力される切り出し画像は、合成部１２２に入力されて拡大画像と合成される。このとき、拡大画像は入力画像と略等しい大きさに拡大されており、切り出し画像は入力画像の一部を切り出したものとなっている。そのため、それぞれの画像は入力画像と略等しい倍率（拡大率が１倍）となる。したがって、それぞれの画像の大きさを調整することなく、そのまま合成処理することができる。
【００６４】
合成部１２２が行う合成処理とは、拡大画像の一部の領域に切り出し画像を合成する処理である。この拡大画像の一部の領域とは、切り出し画像を切り出した領域（図２に示す切り出し部６２が設定した切り出し領域）と同じ位置の領域である。即ち、拡大画像における切り出し領域に相当する領域である。また、得られる合成画像は、入力画像と略等しい大きさとなる。
【００６５】
この合成画像の一例について、図面を参照して説明する。図８は、合成画像の一例について示した模式図である。なお、図８に示す合成画像８０は、図７に示した拡大画像７０に、図５（ａ）に示した切り出し画像５０を合成したものである。また、合成画像８０の、切り出し画像を合成した領域８１を破線で示す。図８に示すように、切り出し画像を合成した領域８１内の画質は、入力画像の画質と略等しい画質となるため高いものとなる。一方、それ以外の領域では、拡大画像の画質と略等しい画質となるため低いものとなる。
【００６６】
合成処理を行う際に、拡大画像に切り出し画像を合成する処理に加え、境界部分を目立たなくするために、合成した領域の端部をぼかす処理を行うことも可能である。この端部をぼかす処理の一例について、図面を参照して説明する。図９は、端部をぼかす処理の一例を示す合成画像の模式図である。なお、図９では合成割合を色で示している。具体的に、白色で示す領域を、切り出し画像の信号値の割合が大きい領域とする。また、黒色で示す領域を、拡大画像の信号値の割合が大きい領域とする。
【００６７】
図９に示す合成画像９０では、切り出し画像が合成される領域９１において、端辺から中央部に向かって、切り出し画像の信号値の割合が大きくなり、かつ、拡大画像の信号値の割合が小さくなるように構成されている。このように構成すると、切り出し画像の合成が行われる領域９１の端部の画質が、徐々に変化するものとなる。そのため、切り出し画像が合成される領域９１の境界を、目立たないものとすることが可能となる。
【００６８】
画角設定部１２３は、入力される拡大画像に基づいて、再生されるべき画像の画角（再生画角領域）の設定を行う。画角設定部１２３による再生画角領域の設定方法の一例について、図面を参照して説明する。図１０は、画角設定部による再生画角領域の設定方法の一例について示す拡大画像の模式図である。なお、図１０は、図７に示した拡大画像７０に基づいて再生画角領域を設定する場合について示すものである。
【００６９】
図１０に示すように、拡大画像７０に基づいて再生画角領域１００を設定する。例えば、図２の切り出し部６２と同様に、顔検出などの方法を用いて主要被写体の検出を行い、再生画角を設定する。図１０に示す例では、拡大画像１００内で検出された顔（顔領域１０１，１０２）が含まれるように、再生画角領域１００が設定される場合について示している。また、このとき設定される再生画角領域１００の大きさは任意とすることができる。例えば、ユーザなどから指示される条件を満たすように、任意の大きさで設定される。
【００７０】
再生時切り出し部１２４は、合成画像から画角設定部１２３より入力される画角情報が示す再生画角領域に相当する領域を切り出すことにより、再画角設定画像を生成する。また、画像サイズ調整部１２５は、再画角設定画像の大きさを調整して再画角設定画像（調整後）を出力する。このとき、画像サイズ調整部１２５は、例えば画素の補間処理を行って画像を大きくしたり、加算処理や間引き処理を行って小さくしたりして、再画角設定画像（調整後）を生成する。
【００７１】
再画角設定画像及び再画角設定画像（調整後）について、図面を参照して説明する。図１１は、再画角設定画像及び再画角設定画像（調整後）の一例について示す模式図である。なお、図１１（ａ）に示す再画角設定画像１１０は、図８に示す合成画像８０から、図１０に示す再生画角領域１００に相当する領域を切り出すことで得られる画像である。また、図１１（ｂ）に示す再画角設定画像（調整後）１１１は、図１１（ａ）に示す再画角設定画像１１０の大きさを調整して得られる画像である。
【００７２】
図１１（ａ）に示すように、再画角設定画像１１０は、合成画像８０の一部を切り出したものとなる。そのため、設定される再生画角領域１００の位置によっては、図１１（ａ）に示すように、画質が高い領域（合成画像８０の切り出し画像が合成された領域８１）と、低い領域（合成画像８０の切り出し画像が合成された領域８１以外の領域）と、が含まれる場合が生じる。
【００７３】
また、図１１（ｂ）に示す再画角設定画像（調整後）１１１は、再画角設定画像１１０を縮小して得られるものである。再画角設定画像（調整後）１１１の大きさは、例えば、切り出し画像や縮小画像と略等しい所定の大きさとなる（例えば、水平１９２０画素×垂直１０８０画素）。なお、再生画角領域の大きさがこの所定の大きさより大きい場合、図１１（ｂ）に示すように、再画角設定画像が縮小されて再画角設定画像（調整後）が生成される。一方、再生画角領域の大きさが、この所定の大きさより小さい場合は、再画角設定画像が拡大されて再画角設定画像（調整後）が生成される。また、再生画角領域の大きさが、この所定の大きさと同じである場合は、再画角設定画像がそのまま再画角設定画像（調整後）となる。
【００７４】
出力画像選択部１２６は、入力される種々の画像のいずれかを選択し、出力画像として出力する。例えば撮像時には、撮像画像処理部６から入力される切り出し画像及び縮小画像のいずれかを選択し、出力する。また、再生時には、伸長処理部１１から出力される切り出し画像及び縮小画像と合成処理部１２０から出力される再画角設定画像（調整後）とのいずれかを選択し、出力する。なお、複数の画像を出力可能な構成としても構わないし、所定の情報を付加した画像（例えば、切り出し領域の位置を表示した縮小画像）を出力画像として出力することができる構成としても構わない。また、出力画像選択部１２６の画像の選択方法、即ち、ユーザに表示する画像の選択方法の詳細については、後述する。
【００７５】
以上のように構成することにより、撮像時に記録される画像が縮小画像と切り出し画像となる。即ち、入力画像よりもデータ量の小さい画像が記録される。そのため、記録に要するデータ量を低減するとともに、画像に対する各処理を迅速に行うことが可能となる。また、主要被写体が含まれる切り出し画像は、入力画像と同じ画質で記録される。そのため、ユーザが特に必要とする可能性が高い領域の画像を、高画質で記録することが可能となる。
【００７６】
さらに、記録した切り出し画像に所望の領域が含まれていない場合であっても、再画角設定画像（調整後）を用いることによって、再生時にユーザが容易にその所望の領域を確認することが可能となる。例えば、図１０の再生画角領域１００を大きくして、主要被写体とその周囲の風景が含まれるように再生画角領域１００を設定しても構わない。この場合、撮像時に主要被写体からズームアウトした場合と同様の画角の変化を、再生時に得ることができる。反対に、再生画角領域１００を小さく設定し、主要被写体にズームインすることも可能である。さらに例えば、再生画角領域１００を上下左右に移動させても構わない。この場合、撮像時に撮像装置をパン、チルトさせる場合と同様の画角の変化を、再生時に得ることができる。
【００７７】
なお、図２に示す切り出し処理部６０の切り出し部６２や、図６に示す合成処理部１２０の再生時切り出し部１２４が、メモリ１６やＶＲＡＭ（Video Random Access Memory、不図示）などに一時的に保持した入力画像や合成画像から、切り出し領域や再生画角領域の信号のみを読み出すことによって、切り出し処理を行うこととしても構わない。
【００７８】
また、入力画像は動画であっても静止画であっても構わない。ただし、以下の表示画像制御動作の説明においては、入力画像が動画である場合を例に挙げて説明する。
【００７９】
＜＜表示画像制御＞＞
次に、表示画像の制御例について説明する。表示画像の制御は、主に図６に示す出力画像選択部１２６が、出力すべき画像を選択することによって行う。以下では、撮像時と再生時とのそれぞれの表示画像の制御例について、図面を参照して説明する。特に、図１、図２、図６及び図１２〜１４を参照する。
【００８０】
＜撮像時＞
図１２は、撮像時における表示画像の制御例を示すフローチャートである。図１２に示すように、撮像が開始されると、最初にプレビューが行われる。プレビューが開始されると（ＳＴＥＰ１）、まず、入力画像が撮像画像処理部６で取得される（ＳＴＥＰ２）。撮像画像処理部６は、取得した入力画像に基づいて、フォーカスや露出、ホワイトバランスなどの種々の撮像条件の調整を行う（ＳＴＥＰ３）。
【００８１】
また、入力画像に対して、切り出し処理部６０の主要被写体検出部６１が、主要被写体の検出を行う。さらに、切り出し部６２が、切り出し領域を決定して切り出し処理を行う（ＳＴＥＰ４）。そして、プレビュー中であれば（ＳＴＥＰ５、ＹＥＳ）、ＳＴＥＰ４で生成された切り出し画像の表示を行う（ＳＴＥＰ６）。このとき、ＳＴＥＰ４において生成される切り出し画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。そして、例えば撮像装置１に備えられる表示装置で表示される。
【００８２】
次に、ユーザから記録開始の指示が入力されたか否かが確認される（ＳＴＥＰ７）。記録開始の指示が入力されていない場合（ＳＴＥＰ７、ＮＯ）、ＳＴＥＰ２に戻って次の入力画像の取得を行う。そして、取得した入力画像に対してＳＴＥＰ３〜ＳＴＥＰ６までの動作を行う。
【００８３】
一方、記録開始の指示が入力されている場合（ＳＴＥＰ７、ＹＥＳ）、主要被写体の追尾を行い、画像の記録を開始する（ＳＴＥＰ８）。主要被写体を追尾するとは、例えば、ある入力画像に対する主要被写体の検出結果（例えば検出位置）を、次に取得する入力画像に対する主要被写体の検出に利用したり、検出された被写体と同じ被写体を次に取得する入力画像から検出したりするなど、継続して主要被写体の検出を行うことである。また、画像を記録するとは、上述のように、撮像画像処理部６から出力される切り出し画像及び縮小画像を圧縮処理部８で圧縮符号化し、外部メモリ１０に記録することである。
【００８４】
ＳＴＥＰ８が終了すると、ＳＴＥＰ２に戻って次の入力画像の取得を行う。そして、取得した入力画像に対してＳＴＥＰ３及びＳＴＥＰ４の動作を行う。このとき、記録が開始されておりプレビューが終了しているため（ＳＴＥＰ５、ＮＯ）、記録を停止する指示が入力されているか否かを確認する（ＳＴＥＰ９）。
【００８５】
記録を停止する指示が入力されている場合（ＳＴＥＰ９、ＹＥＳ）、記録を停止して（ＳＴＥＰ１６）、撮像を終了する指示が入力されるか否かを確認する（ＳＴＥＰ１７）。撮像を終了する指示が入力される場合（ＳＴＥＰ１７、ＹＥＳ）、終了する。一方、撮像を終了する指示が入力されない場合（ＳＴＥＰ１７、ＮＯ）、ＳＴＥＰ１に戻ってプレビューを開始する。
【００８６】
また、記録を停止する指示が入力されていない場合（ＳＴＥＰ９、ＮＯ）、ＳＴＥＰ８と同様に、主要被写体の追尾を継続するとともに画像の記録を行う（ＳＴＥＰ１０）。そして、記録する画像をユーザに対して表示する（ＳＴＥＰ１１〜ＳＴＥＰ１５）。このとき、例えば撮像装置１に備えられる表示装置で表示を行う。
【００８７】
全画角を表示するように設定されている場合（ＳＴＥＰ１１、ＹＥＳ）、全画角を示す画像である縮小画像が表示される（ＳＴＥＰ１２）。なお、表示される縮小画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
【００８８】
一方、全画角を表示する設定になっておらず（ＳＴＥＰ１１、ＮＯ）、切り出し画角を表示する設定になっている場合（ＳＴＥＰ１３、ＹＥＳ）、切り出し画角を示す画像である切り出し画像が表示される（ＳＴＥＰ１４）。なお、表示される切り出し画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
【００８９】
また、切り出し画角を表示する設定になっていない場合（ＳＴＥＰ１３、ＮＯ）、縮小画像に切り出し領域を表示した画像が表示される（ＳＴＥＰ１５）。この縮小画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力されるものである。そして、同様に切り出し領域の位置を示す情報も出力画像選択部１２６に入力され、縮小画像に切り出し領域の位置が付加された出力画像が生成されて出力される。例えば、図１３に示すような、縮小画像に切り出し領域の位置１４１が付加表示された出力画像１４０を表示することとしても構わない。
【００９０】
上記のＳＴＥＰ１１〜ＳＴＥＰ１５の動作が行われて画像が表示されると、ＳＴＥＰ２に戻って次の入力画像の取得が行われる。そして、この入力画像に対して、上記と同様にＳＴＥＰ３以降の処理が行われる。
【００９１】
なお、ＳＴＥＰ６において、プレビュー時に表示される画像を切り出し画像としたが、縮小画像としても構わない。また、縮小画像に切り出し領域を付加した画像としても構わない。また、これらの画像から選択可能としても構わない。
【００９２】
＜再生時＞
図１４は、再生時における表示画像の制御例を示すフローチャートである。図１４に示すように、再生が開始されると、最初に再生する画像の選択画面を表示する（ＳＴＥＰ２０）。例えば、記録されている画像のサムネイル画像を表示し、ユーザに再生する画像を選択させる。ユーザが、再生する画像を選択しない場合（ＳＴＥＰ２１、ＮＯ）、ＳＴＥＰ２０の選択画面の表示を継続する。
【００９３】
ユーザによって再生する画像が選択された場合（ＳＴＥＰ２１、ＹＥＳ）、選択された画像の切り出し画像を取得するとともに表示する（ＳＴＥＰ２２）。この切り出し画像は、外部メモリ１０に記録されている画像であり、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されるものである。
【００９４】
また、再生を停止する指示が入力されているか否かが確認される（ＳＴＥＰ２３）。再生を停止する指示が入力されている場合（ＳＴＥＰ２３、ＹＥＳ）、再生を停止して（ＳＴＥＰ３２）、再生を終了する指示が入力されるか否かを確認する（ＳＴＥＰ３３）。再生を終了する指示が入力される場合（ＳＴＥＰ３３、ＹＥＳ）、終了する。一方、再生を終了する指示が入力されない場合（ＳＴＥＰ３３、ＮＯ）、ＳＴＥＰ２０に戻って再生する画像の選択画面を表示する。
【００９５】
また、再生を停止する指示が入力されていない場合（ＳＴＥＰ２３、ＮＯ）、出力画像を変更するか否かが確認される（ＳＴＥＰ２４）。再生開始時は、初期設定として切り出し画像を表示するように設定されている。しかしながら、ユーザが再生中に画角を変更したいと考える場合がある。このような場合、出力画像の変更が指示され（ＳＴＥＰ２４、ＹＥＳ）、出力画像が変更される（ＳＴＥＰ２５）。一方、出力画像の変更が指示されなければ（ＳＴＥＰ２４、ＮＯ）、現在設定されている画角の画像を表示し続けることとなる。
【００９６】
ＳＴＥＰ２４で出力画像の画角が決定されると、次に、再生する画像の取得が行われる（ＳＴＥＰ２６）。具体的には、伸長処理部１１から、切り出し画像及び縮小画像が合成処理部１２０に読み出されたり、出力画像選択部１２６に読み出されたりする。そして、出力画像がユーザに対して表示される（ＳＴＥＰ２７〜ＳＴＥＰ３１）。
【００９７】
全画角を表示するように設定されている場合（ＳＴＥＰ２７、ＹＥＳ）、全画角を示す画像である縮小画像が表示される（ＳＴＥＰ２８）。なお、表示される縮小画像は、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
【００９８】
一方、全画角を表示する設定になっておらず（ＳＴＥＰ２７、ＮＯ）、切り出し画角を表示する設定になっている場合（ＳＴＥＰ２９、ＹＥＳ）、切り出し画角を示す画像である切り出し画像が表示される（ＳＴＥＰ３０）。なお、表示される切り出し画像は、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
【００９９】
また、切り出し画角を表示する設定になっていない場合（ＳＴＥＰ２９、ＮＯ）、再画角設定画像（調整後）が表示される（ＳＴＥＰ３１）。この再画角設定画像（調整後）は、上述のように、伸長処理部１１から出力された切り出し画像及び縮小画像が、合成処理部１２０で処理されて生成されるものである。そして、生成された再画角設定画像（調整後）は出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されて表示される。
【０１００】
上記のＳＴＥＰ２７〜ＳＴＥＰ３１の動作が行われて画像が表示されると、ＳＴＥＰ２３に戻って再生を停止するか否かの確認が行われる。そして、上記と同様にＳＴＥＰ２４以降の動作が行われる。
【０１０１】
＜＜変形例＞＞
＜拡大部＞
上記の例では、合成処理部１２０の拡大部１２１が、入力される縮小画像の画素数を増やすために例えば補間処理を行うこととしていたが、補間処理に加えて（または代えて）超解像処理を行うこととしても構わない。
【０１０２】
超解像処理を行うこととすると、得られる拡大画像の画質を向上させることが可能となる。そのため、画角設定部１２３による主要被写体の検出の精度を向上させたり、合成処理部１２０から出力される再画角設定画像（調整後）の画質を向上させたりすることが可能となる。なお、以下では、超解像処理の一種であるＭＡＰ（Maximum A Posterior）法を用いる場合を例に挙げるとともに、図面を参照して説明する。図１５及び図１６は、超解像処理による拡大画像の生成例の概要を示す図である。
【０１０３】
また、以下においては説明を簡単にするため、縮小画像のある１方向に整列した複数の画素について考えることとする。また、２つの縮小画像を合成して拡大画像を生成する場合であり、合成する画素値が輝度値である場合を例に挙げて説明する。
【０１０４】
図１５（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図１５（ｂ）及び（ｃ）のそれぞれは、図１５（ａ）に示す被写体を撮像した入力画像から得られる縮小画像の輝度分布である。また、図１５（ｄ）は、図１５（ｃ）に示す縮小画像を所定の位置だけずらしたものである。なお、図１５（ｂ）に示す縮小画像（以下、低解像度実画像Ｆａとする）と図１５（ｃ）に示す縮小画像（以下、低解像度実画像Ｆｂとする）とは、撮像された時間が異なる。
【０１０５】
図１５（ｂ）に示すように、図１５（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図１５（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ブレなどが原因となりその位置にズレが生じているものとする。即ち、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。
【０１０６】
図１５（ｂ）に示す低解像度実画像Ｆａについて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値を、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３とする。同様に、図１５（ｃ）に示す低解像度実画像Ｆｂについて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３とする。
【０１０７】
ここで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準（注目画像）として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを、低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）だけ位置ズレ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図１５（ｄ）に示すようになる。
【０１０８】
次に、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図１６に示す。まず、図１６（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素が、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３と、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、を備えるものとする。
【０１０９】
低解像度実画像Ｆａの画素Ｐ４の画素値は、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択される。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択される。
【０１１０】
その後、図１６（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。なお、図１６（ｂ）では、ｎ回目の処理によって推定された高解像度画像Ｆｘｎより生成される低解像度推定画像Ｆａｎ，Ｆｂｎを示している。
【０１１１】
例えば、ｎ＝１のとき、図１６（ａ）に示す高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。そして、図１６（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、低解像度実画像Ｆａ，Ｆｂのそれぞれとの間における差分を求め、この差分を合成することで高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図１６（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎを示している。
【０１１２】
例えば、差分画像ΔＦａ１は、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）がＰ１〜Ｐ３の画素値となり、差分画像ΔＦｂ１は、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）がＰ１〜Ｐ３の画素値となる。そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ法を用いる場合では、二乗誤差を評価関数として用いる。即ち、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値を評価関数とする。この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となる。そのため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【０１１３】
その後、図１６（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図１５（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図１６（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）を示している。
【０１１４】
上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が図１５（ａ）に示す輝度分布の被写体に近い画素値に収束される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎを、例えば拡大画像として拡大部１２１から出力する。
【０１１５】
また、上記の処理において動き量（位置ズレ量）を求める際に、例えば以下に示すような、代表点マッチング法と１画素内動き量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内動き量検出について図面を参照して説明する。図１７及び図１８は、代表点マッチング法について示す図である。図１７は、画像の各領域の分割方法について示す画像の模式図であり、図１８は、基準画像及び非基準画像について示す模式図である。
【０１１６】
代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図１７に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。また、図１８（ａ）に示すように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定される。一方、図１８（ｂ）に示すように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【０１１７】
以上のように小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【０１１８】
各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられるサンプリング点Ｓ（即ち、累積相関値が最小となるサンプリング点Ｓ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【０１１９】
次に、１画素内動き量検出について図面を参照して説明する。図１９は、１画素内動き量検出について示す基準画像及び非基準画像の模式図であり、図２０は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
【０１２０】
上述のように、例えば代表点マッチング法を用いるなどして画素単位の動き量を検出した後、さらに、下記に示す方法を用いて１画素内の動き量を検出することができる。例えば、小領域ｅ毎に基準画像の代表点Ｒの画素の画素値と、代表点Ｒと相関性の高いサンプリング点Ｓｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の動き量を検出することができる。
【０１２１】
図１９に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【０１２２】
また、図２０（ａ）に示すように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図２０（ｂ）に示すように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【０１２３】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求める。そして、求めた動き量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
【０１２４】
［電子機器］
本発明の電子機器の一例として撮像装置を挙げて説明したが、本発明の電子機器は撮像装置に限られるものではない。例えば、再生機能のみを有し、記録された縮小画像と切り出し画像とに基づいて出力画像（特に、再画角設定画像（調整後））を出力する構成としても構わない。また、本発明の電子機器が、記録された縮小画像と切り出し画像とに基づいて出力画像を生成して記録する、編集装置としても構わない。
【０１２５】
また、本発明の実施形態における撮像装置１について、撮像画像処理部６や再生画像処理部１２などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１２６】
また、上述した場合に限らず、図１の撮像装置１、図１及び図２の撮像画像処理部６、図１及び図６の再生画像処理部１２は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や撮像画像処理部６、再生画像処理部１２を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１２７】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１２８】
本発明は、入力画像を切り出して所望の切り出し画像を得る画像処理装置や、デジタルビデオカメラに代表される撮像装置などの電子機器に関する。
【図面の簡単な説明】
【０１２９】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、本発明の実施形態における撮像画像処理部の要部の構成を示すブロック図である。
【図３】は、顔検出処理方法の一例について示す画像の模式図である。
【図４】は、切り出し領域の設定方法の例を示す入力画像の模式図である。
【図５】は、切り出し画像及び縮小画像の一例について示した模式図である。
【図６】は、本発明の実施形態における再生画像処理部の要部の構成を示すブロック図である。
【図７】は、拡大画像の一例について示した模式図である。
【図８】は、合成画像の一例について示した模式図である。
【図９】は、合成処理の一例を示す合成画像の模式図である。
【図１０】は、画角設定部による再生画角領域の設定方法の一例について示す拡大画像の模式図である。
【図１１】は、再画角設定画像の一例について示す模式図である。
【図１２】は、撮像時における表示画像の制御例を示すフローチャートである。
【図１３】は、出力画像の一例を示す模式図である。
【図１４】は、再生時における表示画像の制御例を示すフローチャートである。
【図１５】は、超解像処理による拡大画像の生成例の概要を示す図である。
【図１６】は、超解像処理による拡大画像の生成例の概要を示す図である。
【図１７】は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。
【図１８】は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。
【図１９】は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。
【図２０】は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
【符号の説明】
【０１３０】
１    撮像装置
２    イメージサンサ
３    レンズ部
４    ＡＦＥ
５    集音部
６    撮像画像処理部
６０  切り出し処理部
６１  主要被写体検出部
６２  切り出し部
６３  縮小部
７    音声処理部
８    圧縮処理部
９    ドライバ部
１０    外部メモリ
１１    伸長処理部
１２    再生画像処理部
１２０  合成処理部
１２１  拡大部
１２２  合成部
１２３  画角設定部
１２４  再生時切り出し部
１２５  画像サイズ調整部
１２６  出力画像選択部
１３    画像出力回路部
１４    音声出力回路部
１５    ＣＰＵ
１６    メモリ
１７    操作部
１８    ＴＧ部
１９    バス
２０    バス
【図１】
2010081181.tif 000003
【図２】
2010081181.tif 000004
【図３】
2010081181.tif 000005
【図６】
2010081181.tif 000006
【図１２】
2010081181.tif 000007
【図１４】
2010081181.tif 000008
【図１５】
2010081181.tif 000009
【図１６】
2010081181.tif 000010
【図１７】
2010081181.tif 000011
【図１８】
2010081181.tif 000012
【図１９】
2010081181.tif 000013
【図２０】
2010081181.tif 000014
【図４】
2010081181.tif 000015
【図５】
2010081181.tif 000016
【図７】
2010081181.tif 000017
【図８】
2010081181.tif 000018
【図９】
2010081181.tif 000019
【図１０】
2010081181.tif 000020
【図１１】
2010081181.tif 000021
【図１３】
2010081181.tif 000022