(57)【要約】【課題】所望の画角を維持しつつ特定領域が視認しやすい画像を生成する。【解決手段】原画像に特定領域を設定する領域設定手段と、領域設定手段により設定された特定領域に対応する部分画像を原画像から切り出す切り出し手段と、切り出し手段により切り出された部分画像を拡大して拡大部分画像を生成する拡大手段と、原画像における部分画像が拡大部分画像の一部に置き換わるように、拡大部分画像と原画像とを合成した合成画像を生成する合成手段とを備える。【選択図】図２
2012114549.tif 000002
【特許請求の範囲】
【請求項１】
原画像に特定領域を設定する領域設定手段と、
前記領域設定手段により設定された前記特定領域に対応する部分画像を前記原画像から切り出す切り出し手段と、
前記切り出し手段により切り出された前記部分画像を拡大して拡大部分画像を生成する拡大手段と、
前記原画像における前記部分画像が前記拡大部分画像の一部に置き換わるように、前記拡大部分画像と前記原画像とを合成した合成画像を生成する合成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記原画像から特定の被写体を認識する認識手段をさらに備え、
前記原画像全体の大きさに対する前記認識手段により認識された前記特定の被写体の大きさの比率が所定の比率より低いとき、前記領域設定手段は、前記特定の被写体の領域を前記特定領域に設定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
表示装置に単一の画像を表示させるときは前記原画像または前記合成画像を表示させ、前記表示装置に複数の画像を表示させるときは前記合成画像を表示させる表示手段をさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
表示装置に単一の画像を表示させるときには前記原画像を表示させ、前記表示装置に複数の画像を表示させるときは前記合成画像を表示させる表示手段をさらに備えることを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像処理装置において、
前記原画像と前記合成画像とを関連付けて記録させる記録手段をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項２乃至５のいずれか一項に記載の画像処理装置において、
前記認識手段は、前記特定の被写体として前記原画像から人物の顔を認識することを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれか一項に記載の画像処理装置において、
人物の画像パターンを記憶する記憶手段をさらに備え、
前記認識手段は、前記記憶手段に記憶されている前記人物の画像パターンに類似するパターンの被写体を検出し、検出した被写体を前記特定の被写体として認識することを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の画像処理装置において、
前記原画像は、静止画または動画像であることを特徴とする画像処理装置。
【請求項９】
被写体を撮像して画像データを生成する撮像手段と、
請求項１乃至８のいずれか一項に記載の画像処理装置とを備えることを特徴とする撮像装置。
【請求項１０】
原画像の中に特定領域を設定する領域設定処理と、
前記領域設定処理により設定された前記特定領域に対応する部分画像を前記原画像から切り出す切り出し処理と、
前記切り出し処理により切り出された前記部分画像を拡大して拡大部分画像を生成する拡大処理と、
前記原画像における前記部分画像が前記拡大部分画像の一部に置き換わるように、前記拡大部分画像と前記原画像とを合成した合成画像を生成する合成処理とをコンピューターに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
被写体距離に対して設定された撮影倍率が得られるように、自動的にズームレンズの焦点距離を調整するオートズーム機構を備えたカメラが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０２−２０１３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のカメラでは、人物などの主要被写体の撮影倍率が所望の倍率となるようにズームレンズの焦点距離を変更するので、例えば主要被写体をズームアップした場合に背景が画面内に写り込まなくなってしまい、どのような背景で撮影した写真なのかわからなくなるという問題がある。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、原画像に特定領域を設定する領域設定手段と、領域設定手段により設定された特定領域に対応する部分画像を原画像から切り出す切り出し手段と、切り出し手段により切り出された部分画像を拡大して拡大部分画像を生成する拡大手段と、原画像における部分画像が拡大部分画像の一部に置き換わるように、拡大部分画像と原画像とを合成した合成画像を生成する合成手段とを備えることを特徴とする。
本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、請求項１乃至８のいずれか一項に記載の画像処理装置とを備えることを特徴とする。
本発明の画像処理プログラムは、原画像の中に特定領域を設定する領域設定処理と、領域設定処理により設定された特定領域に対応する部分画像を原画像から切り出す切り出し処理と、切り出し処理により切り出された部分画像を拡大して拡大部分画像を生成する拡大処理と、原画像における部分画像が拡大部分画像の一部に置き換わるように、拡大部分画像と原画像とを合成した合成画像を生成する合成処理とをコンピューターに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、所望の画角を維持しつつ特定領域が視認しやすい画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のカメラの構成を示す図
【図２】一実施の形態の撮影・画像処理プログラムを示すフローチャート
【図３】撮影された原画像の一例を示す図
【図４】主要被写体を拡大して図３に示す原画像に合成した結果の画像例を示す図
【発明を実施するための形態】
【０００８】
本発明の一実施形態として撮像装置、ここではレンズ鏡筒が着脱可能なカメラを例に説明する。図１は一実施の形態のカメラの構成を示すブロック図である。なお、図１では本実施形態と直接、関係のないカメラの機器、回路および装置の図示と説明を省略する。一実施の形態のカメラはカメラボディ１にレンズ鏡筒２が着脱可能に装着され、レンズ鏡筒２として各種レンズを内蔵したレンズ鏡筒に交換可能である。
【０００９】
カメラボディ１はボディ駆動制御装置３、撮像素子４、一時記憶メモリ５、信号処理回路６、画像処理回路７、圧縮伸張回路８、記録媒体９、焦点検出装置１０、表示装置１１、操作部材１２などを備えている。ボディ駆動制御装置３はＣＰＵ３ａやメモリ３ｂなどから構成され、カメラの焦点調節制御（ＡＦ制御）、撮像制御、シーケンス制御、各種演算などを行うとともに、後述する撮影・画像処理プログラムを実行して画像の中の主要被写体の大きさが適当な大きさになるように画像処理を行う。
【００１０】
撮像素子４はたとえばＣＣＤやＣＭＯＳなどから構成され、撮影レンズ(ズーミングレンズとフォーカシングレンズを含む；不図示)により結像された被写体像を画像信号に変換して出力する。一時記憶メモリ５は撮像した画像を一時的に記憶する。信号処理回路６は撮像素子４から出力されるアナログ画像信号に対してクランプ処理、ＣＤＳ処理（相関二重サンプリング）、ＡＧＣ処理（自動利得調整）、シェージング処理、Ａ／Ｄ変換などを施す回路である。
【００１１】
画像処理回路７はデジタル画像信号に対して画像に関する処理、すなわちホワイトバランス処理、ガンマ補正、色補間、輪郭強調、ビネット補正などを行う回路である。圧縮伸張回路８はＪＰＥＧ方式による画像の圧縮と圧縮画像の伸張を行う。記録媒体９はＳＤカードやＣＦカードなどの画像ファイルを記録する着脱可能なメモリカードである。
【００１２】
焦点検出装置１０はレンズ鏡筒２に内蔵されるフォーカシングレンズ(不図示)の焦点調節状態、すなわちデフォーカス量を検出する。表示装置１１はカメラボディ１の背面に設けられ、画像と各種情報を表示する。操作部材１２は使用者がカメラを操作するためのスイッチ、モードセレクター、コマンドダイヤルなどである。
【００１３】
一方、レンズ鏡筒２はフォーカシングレンズ（不図示）、ズーミングレンズ（不図示）、絞り（不図示）、レンズ駆動制御装置１５、レンズ駆動回路１６、絞り駆動回路１７などを備えている。レンズ駆動制御装置１５はＣＰＵ１５ａやメモリ１５ｂなどから構成され、カメラボディ１のレンズマウント部(不図示)に設けられた電気接点を介してボディ駆動制御装置３と通信を行い、レンズ駆動回路１６を制御してフォーカシングレンズおよびズーミングレンズを駆動するとともに、絞り駆動回路１７を制御して絞り(不図示)の開口調節を行う。
【００１４】
図２は一実施の形態の撮影・画像処理プログラムを示すフローチャートである。この撮影・画像処理プログラムはボディ駆動制御装置３のメモリ３ｂに記憶されており、使用者が操作部材１２のシャッターボタンを操作すると、ボディ駆動制御装置３のＣＰＵ３ａはこの撮影・画像処理プログラムの実行を開始する。ステップ１において撮像素子４により撮像を行い、続くステップ２で撮像素子４により撮像した画像を一時記憶メモリ５に記憶する。
【００１５】
ステップ３では一時記憶メモリ５に記憶されている撮像画像において主要被写体の検知を行う。ここでは、顔検出技術により画像中から人物の顔を検出して人体を推定し、主要被写体として検知したり、あるいはパターン認識技術を用いて予めボディ駆動制御装置３のメモリ３ｂに記憶されている人物の顔やペットなどの動物、花などの植物、自動車や建物などの物体の画像パターンに基づいて画像中から指定された人物、動植物、物体を主要被写体として検知する。
【００１６】
ステップ４において主要被写体を検知したか否かを判別し、検知できなかった場合はステップ９へ進み、一時記憶メモリ５に記憶されている撮像画像のデータを記録媒体９に記録して撮影・画像処理プログラムの実行を終了する。
【００１７】
一方、撮像画像中に主要被写体が検知された場合はステップ５へ進み、検知された主要被写体の大きさは撮影画面の大きさに対して所定の比率以上か否かを判別する。撮影画面に対する主要被写体の大きさとして例えばそれぞれの面積を比較し、主要被写体の面積Ｓｍが撮影画面全体の面積Ｓｔに対して所定の比率、この実施の形態では例えば２５％以上か否かを判別する。撮影画面に対する主要被写体の大きさとしては、例えばそれぞれの縦と横の大きさにより比較してもよい。なお、主要被写体の撮影画面内に占める大きさとしては、それらの面積や縦横寸法に限定されない。
【００１８】
図３は撮像された原画像の一例を示す。撮影画面２０には山２２を背景にした子供２１の画像が写っている。この原画像において、顔認識技術やパターン認識技術などにより子供２１の顔を検出し、子供２１の体全体を推定する。例えば、子供２１の顔部分にはピントが合っていると考えられるから、原画像中の顔部分と同じデフォーカス量の領域を体全体の領域とする。原画像中の子供２１の体全体の面積Ｓｍを撮影画面２０全体の面積Ｓｔと比較し、次式により撮影画面２０に占める子供２１の体の面積の比率が２５％以上か否かを判定する。
Ｓｍ／Ｓｔ＞０．２５  ・・・(１)
【００１９】
図２のステップ５で主要被写体の大きさが撮影画面の大きさに対して所定の比率以上であると判定された場合には、主要被写体を拡大して背景上に合成する必要がないのでステップ９へ進み、一時記憶メモリ５に記憶されている撮像画像のデータを記録媒体９に記録して撮影・画像処理プログラムの実行を終了する。
【００２０】
一方、主要被写体の大きさが撮影画面の大きさに対して所定の比率未満であると判定された場合はステップ６へ進み、一時記憶メモリ５に記憶されている原画像の中から主要被写体部分の画像を切り出し、その画像データを一時記憶メモリ５に記憶する。例えば、オートフォーカスで同一デフォーカス量を示すエリアを抽出し、抽出した領域内で顔につながるエッジを検出し、エッジに囲まれた領域を人体として切り出す。
【００２１】
続くステップ７において、一時記憶メモリ５に記憶されている主要被写体の画像データを読み出し、次式により主要被写体像の大きさを拡大して拡大後の画像データを一時記憶メモリ５に記憶する。
Ｂａ＝０．２５／（Ｓｍ／Ｓｔ）  ・・・(２)
【００２２】
ステップ８において、一時記憶メモリ５に記憶されている拡大後の主要被写体の画像データと原画像データ（ステップ１で撮像された原画像）を読み出し、拡大後の主要被写体像で原画像上の主要被写体像が隠れるように、拡大後の主要被写体像を上層部レイヤーに透過率０で配置し、原画像上に拡大後の主要被写体像を重ね合わせて合成する。
【００２３】
図４は、主要被写体を拡大して図３に示す原画像に合成した結果の画像例を示す。図３に示す原画像から主要被写体である子供２１の像を切り出して拡大し、原画像上の子供２１の像が隠れる位置に拡大した子供２３の像を重ね合わせて合成する。この結果、背景の山２２の大きさは図３に示す原画像の背景の山２２の大きさと同一で、そのような背景をバックにして拡大した子供２３の像が写った合成画像が生成される。
【００２４】
図３に示す原画像では、背景の山２２は撮影画面２０内に写り込んでいるが、子供２１の像が小さくて顔の表情が見づらい。これに対し一実施の形態の図４に示す合成画像では、撮影画面２０内に背景の山２２を写り込ませながら、子供２３の像が大きく写り込んでおり、顔の表情もはっきりと視認できる。つまり、必要な背景を写し込みながら主要被写体の大きな画像を生成することができる。
【００２５】
ちなみに、図３に示す原画像において、子供２１の占める面積が撮影画面２０の面積に対して２５％以上となるように図３に示す原画像をそのまま拡大すると、子供２１の像は大きくなるが、背景の山２２は撮影画面２０からはみ出してしまい、どのような背景をバックに撮った写真なのか判別できなくなる。
【００２６】
ステップ９で、合成後の画像データを記録媒体９に記録して撮影・画像処理プログラムの実行を終了する。なお、マルチピクチャーフォーマットなどを利用し、図３に示すような原画像のデータと、図４に示すような合成後の画像データとを関連付けて記録媒体９に記録してもよい。また、合成後の画像データのみを記録するのか、あるいは原画像データと合成後の画像データとを関連付けて記録するかを予め使用者が選択可能としてもよい。
【００２７】
ところで、表示装置１１（図１参照）で撮影済みの画像を再生表示する際には、表示画面に１駒を表示する場合と、複数駒を並べて一覧表示する、いわゆるサムネイル表示する場合とがある。１駒表示の場合には、図３に示すような原画像を表示してもよいし、図４に示すような合成後の画像を表示してもよい。一方、複数駒をサムネイル表示する場合には、カメラの背面に設けられた表示装置１１の小さな表示画面では主要被写体が小さくて視認しづらいため、図４に示すような主要被写体を拡大した合成後の画像を表示するのが望ましい。
【００２８】
なお、複数駒をサムネイル表示する場合のみに、一実施の形態の上述した画像合成機能（図２のステップ３〜８の処理機能）を実施することももちろん可能である。
【００２９】
また、複数駒をサムネイル表示する場合、表示画面の大きさとサムネイル表示する駒数に応じて図３に示すような原画像をサムネイル表示するのか、図４に示すような合成後の画像をサムネイル表示するのかを切り換えてもよい。つまり、各画像の主要被写体を十分に視認可能な程度であれば図３に示す原画像をサムネイル表示し、主要被写体が視認しづらい場合には図４に示す合成画像をサムネイル表示する。
【００３０】
上述した一実施の形態では、撮影した画像を記録する前に、主要被写体の撮影画面に対する大きさが所定比率未満の場合に主要被写体を拡大して合成し記録する例を示したが、撮影後に直ちに撮影した画像を記録し、画像を再生する際に原画像データに対して図２のステップ３〜８に示すような画像処理を施し、主要被写体を拡大して合成した後の画像を再生表示するようにしてもよい。
【００３１】
上述した一実施の形態では、カメラに本発明の画像処理機能を搭載した例を示したが、図２のステップ３〜８に示す画像処理プログラムをＣＤなどの記録媒体で供給するか、インターネットを介して供給し、使用者のパソコン上あるいはフォトフレーム上などで本発明の画像処理機能を実現してもよい。この場合には、図３に示すような原画像データを記録媒体９(図１参照）から取り込んだり、インターネットを介して入手する。
【００３２】
上述した一実施の形態では、原画像から主要被写体部分を切り出し、拡大して原画像上の主要被写体の上に重ね合わせて合成する例を示したが、原画像から主要被写体を除く背景部分を切り出し、背景部分を縮小して原画像の主要被写体と合成するようにしてもよい。この場合、撮影画面が小さいくなる上に、主要被写体像は拡大されないので、例えば主要被写体の人物の顔の表情を明確にさせることはできない。
【００３３】
主要被写体を原画像に重ね合わせて合成する際に、主要被写体をカラー表示し、原画像すなわち背景部分を白黒表示して主要被写体を目立つようにしてもよい。あるいは、原画像すなわち背景部分の輝度を低減して主要被写体が目立つようにしてもよい。
【００３４】
また、上述した一実施の形態では、撮影された静止画像に対する画像処理を例に挙げて説明したが、動画像に対しても一実施の形態の画像処理を施すことができ、同様な効果が得られる。
【００３５】
上述した一実施の形態では、レンズ鏡筒を着脱可能なカメラを例に挙げて説明したが、本発明はこれに限定されず、例えばレンズ鏡筒とカメラボディとが一体に形成されたカメラなどに対しても適用することができる。
【００３６】
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。
【００３７】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、原画像の中に特定の領域（主要被写体の領域など）を設定して、原画像から特定の領域に対応する部分画像を切り出し、切り出された部分画像を拡大し、拡大された部分画像を原画像に重ね合わせて合成画像を生成する際に、原画像上の部分画像が拡大後の部分画像に隠れるように、拡大後の部分画像を原画像上に重ね合わせて合成するようにしたので、所望の背景をバックにした所望の倍率の特定領域の被写体の画像を生成することができる。
【００３８】
上述した実施の形態とその変形例によれば、原画像の中に特定の被写体を認識し、認識された特定の被写体の大きさが原画像全体の大きさに対して所定の比率より小さい場合には、特定の被写体の領域の部分画像を切り出して拡大するための特定領域に設定するようにしたので、所望の背景をバックにした所望の倍率の特定の被写体像を生成することができる。
【００３９】
上述した実施の形態とその変形例によれば、原画像の中に人の顔を検出してこの人を特定の被写体として認識するようにしたので、所望の背景をバックにした所望の倍率の人の画像を生成することができる。
【００４０】
上述した実施の形態とその変形例によれば、予め人物の画像パターンを記憶しておき、原画像の中に記憶されている人物の画像パターンと同様なパターンの被写体を検出し、該被写体を特定の被写体として認識するようにしたので、所望の背景をバックにした所望の倍率のペットなどの画像を生成することができる。
【００４１】
上述した実施の形態とその変形例によれば、表示画面に１駒の画像を表示する場合には原画像または合成画像を表示し、表示画面に所定駒数以上の画像を一覧表示する場合には合成画像を一覧表示するようにしたので、例えば所定駒数以上の画像をサムネイル表示する場合などに、個々の画像が小さくても主要な被写体を認識することができる。
【００４２】
上述した実施の形態とその変形例によれば、表示画面に１駒の画像を表示する場合には、上述した合成画像の生成を行わずに原画像を表示し、表示画面に所定駒数以上の画像を一覧表示する場合には、上述した合成画像を生成して一覧表示するようにしたので、所定駒数以上の画像を一覧表示する場合にのみ、合成画像を生成する処理を行うため、無駄な画像合成処理を防止できる。
【００４３】
上述した実施の形態とその変形例によれば、原画像と合成画像とを対応付けて記録するようにしたので、様々な用途に応じて原画像と合成画像とを使い分けることができる。
【符号の説明】
【００４４】
３；ボディ駆動制御装置、３ａ；ＣＰＵ、３ｂ；メモリ、４；撮像素子、５；一時記憶メモリ、７；画像処理回路、９；記録媒体、１１；表示装置
【図１】
2012114549.tif 000003
【図２】
2012114549.tif 000004
【図３】
2012114549.tif 000005
【図４】
2012114549.tif 000006