(57)【要約】【課題】好適な余白を設定できる画像合成装置を提供すること。【解決手段】画像合成装置は、画像を入力する画像入力部１２と、画像入力部１２に入力された画像を所定の縮小率で縮小する縮小部８と、縮小後の画像の周囲に余白部を合成する画像合成部７、６と、画像入力部１２に入力された画像のデータに基づいて余白部の明るさおよび面積の少なくとも一方を変えるように、縮小部８および画像合成部７、６を制御する制御部５と、を備える。【選択図】図１
2014236242.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記画像入力部に入力された画像を所定の縮小率で縮小する縮小部と、
前記縮小後の画像の周囲に余白部を合成する画像合成部と、
前記画像入力部に入力された画像のデータに基づいて前記余白部の明るさおよび面積の少なくとも一方を変えるように、前記縮小部および前記画像合成部を制御する制御部と、
を備えることを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置において、
前記制御部は、前記画像入力部に入力された画像の明るさに基づいて前記余白部の明るさを変えるように前記画像合成部を制御することを特徴とする画像合成装置。
【請求項３】
請求項１または２に記載の画像合成装置において、
前記画像入力部に入力された画像のデータに基づいて被写体を示すシーン認識を行うシーン認識部をさらに備え、
前記制御部は、前記シーン認識部による認識結果に基づいて前記余白部の面積を変えるように前記縮小部を制御することを特徴とする画像合成装置。
【請求項４】
請求項３に記載の画像合成装置において、
前記画像合成部はさらに、前記シーン認識部による認識結果に基づいて前記余白部に所定の模様を設けることを特徴とする画像合成装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像合成装置において、
前記制御部は、前記画像入力部に入力された画像の撮影条件に基づいて前記余白部の面積を変えるように前記縮小部を制御することを特徴とする画像合成装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像合成装置において、
画像を表示する画像表示部と、
前記画像合成部によって合成された画像を前記画像表示部に表示させる表示制御部と、
をさらに備えることを特徴とする画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の周囲に余白を設ける画像合成装置に関する。
【背景技術】
【０００２】
ユーザーが用意した画像を、所定のフレームデザインのテンプレート画像上の合成用領域にはめ込み合成する画像合成装置が知られている（特許文献１参照）。画像合成装置には、合成用領域の周りに余白をもたないテンプレート画像や、合成用領域の周りに余白を有するテンプレート画像、合成用領域の隣に吹きだしを有するテンプレート画像などが、あらかじめ用意される。画像合成装置は、ユーザーによって選ばれたテンプレート画像にユーザーが用意した画像を合成し、合成後の画像を表示装置に表示したり、プリントしたり、記録媒体に記録したりする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２４４７２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術によって画像の周囲に余白を設ける場合、画像と組合せる余白のテンプレート画像を画像ごとに選択しなければならず、手間がかかるという問題があった。本発明の課題は、好適な余白を設定できる画像合成装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明による画像合成装置は、画像を入力する画像入力部と、画像入力部に入力された画像を所定の縮小率で縮小する縮小部と、縮小後の画像の周囲に余白部を合成する画像合成部と、画像入力部に入力された画像のデータに基づいて余白部の明るさおよび面積の少なくとも一方を変えるように、縮小部および画像合成部を制御する制御部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、好適な余白を設定できる画像合成装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。
【図２】ＣＰＵが実行する撮影処理の流れを説明するフローチャートである。
【図３】余白生成処理の詳細を説明するフローチャートである。
【図４】図４(a)は輝度平均値が所定値より高い取得画像を例示する図、図４(b)は白い背景画像を例示する図、図４(c)は白い背景画像の上にリサイズ後の取得画像を合成した例を示す図である。
【図５】図５(a)は輝度平均値が所定値以下の取得画像を例示する図、図５(b)は黒い背景画像を例示する図、図５(c)は黒い背景画像の上にリサイズ後の取得画像を合成した例を示す図である。
【図６】変形例１の余白生成処理の詳細を説明するフローチャートである。
【図７】変形例１の画像リサイズ処理の詳細を説明するフローチャートである。
【図８】図８(a)は８０％に縮小した取得画像を例示する図、図８(b)は９５％に縮小した取得画像を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像合成装置を搭載するデジタルカメラの構成を例示するブロック図である。本実施形態によるデジタルカメラは、画像鑑賞の際に画像から得られる印象を高めるように、画像の周囲に余白を自動で設ける。
【０００９】
図１において、デジタルカメラは、撮像光学系１と、絞り兼用シャッター２と、撮像素子３と、画像処理回路４と、ＣＰＵ５と、背景領域生成回路６と、画像合成回路７と、画像リサイズ回路８と、表示回路９と、液晶表示装置（ＬＣＤ）１０と、シーン認識回路１１と、ＲＡＭ１２と、ＤＲＡＭ１３と、記録媒体インタフェース（Ｉ／Ｆ）１４と、操作部材１５とを有し、記録媒体２０が着脱可能に構成される。
【００１０】
撮像光学系１は、被写体像を撮像素子３の撮像面上に結像させる。絞り兼用シャッター２は、撮像素子３に対する露光を調節する絞りと、シャッター幕とが兼用に構成されている。撮像素子３は、例えばＣＣＤイメージセンサによって構成され、被写体像を光電変換してアナログ画像信号を出力する。アナログ画像信号は図示しないＡ／Ｄ変換回路によってデジタル画像データに変換される。画像処理回路４は、Ａ／Ｄ変換後の画像データや、ＤＲＡＭ１３に格納されている画像データに対して所定の画像処理（画素補間処理や色変換処理等）を行う。
【００１１】
ＣＰＵ５は、撮影処理などカメラ内の動作を制御する。ＣＰＵ５は、内蔵するリアルタイムクロック（ＲＴＣ）を用いた計時機能やカレンダー機能も備える。背景領域生成回路６は、ＣＰＵ５からの指示に応じて、画像の周囲に余白を持たせるための背景画像を生成する。
【００１２】
画像合成回路７は、ＣＰＵ５からの指示に応じて、背景領域生成回路６によって生成された背景画像の上から、後述するリサイズ画像を重ね合成する。画像リサイズ回路８は、ＣＰＵ５からの指示に応じて、画像を所定の比率で縮小（例えば、縦横それぞれ８０％）したリサイズ画像を得る。
【００１３】
表示回路９は、ＣＰＵ５からの指示に応じて、ＬＣＤ１０に画像や操作メニューなどを表示させるため表示信号を生成する。ＬＣＤ１０は、表示回路９から送出される表示信号に基づいて画像や操作メニューなどを表示する。シーン認識回路１１は、画像データに基づいて被写体を示すシーン認識を行う。シーン認識は、例えば、画像の明るさ（輝度）や色、撮影条件などに基づいて、風景撮影、ポートレート撮影、夜景撮影、スポーツ撮影などの撮影シーンを認識する。
【００１４】
ＲＡＭ１２は、画像データを一時的に格納するメモリであり、所定枚数（例えば５０枚）の画像を格納する容量を備える。ＤＲＡＭ１３は、ＬＣＤ１０の表示データ等の各種データを一時的に保存するメモリである。ＤＲＡＭ１３はさらに、上記ＣＰＵ５がプログラムを実行する際のワーキングメモリとしても使用される。
【００１５】
記録媒体インタフェース１４は、ＣＰＵ５からの指示に基づいて画像ファイルを記録媒体２０に記録し、また、記録媒体２０に記録されている画像ファイルを読出す。記録媒体２０は、図示しないカードスロットに着脱自在に取り付けられるメモリカードなどで構成される。ＣＰＵ５は、記録媒体インタフェース１４によって記録媒体２０から読出された画像ファイルに基づいて、ＬＣＤ１０に画像を再生表示させる。
【００１６】
操作部材１５は、レリーズスイッチや各種設定スイッチを含む。操作部材１５は、各操作に応じた操作信号をＣＰＵ５へ送出する。
【００１７】
本実施形態は、上記デジタルカメラにおいて、画像鑑賞の際に画像から得られる印象を高める余白を画像の周囲に自動的に設ける点に特徴と有するので、以下の説明はこの点を中心に行う。図２および図３は、ＣＰＵ５が実行する撮影処理の流れを説明するフローチャートである。ＣＰＵ５は、操作部材１５によって「余白自動付与機能」がオン設定された場合に、図２による処理を行うプログラムを繰り返し実行する。図２、図３によるプログラムは、ＣＰＵ５内のメモリに格納されている。
【００１８】
＜フローチャートの説明＞
図２のステップＳ１０１において、ＣＰＵ５は、レリーズ操作されたか否かを判定する。ＣＰＵ５は、操作部材１５を構成するレリーズスイッチからレリーズ操作信号が入力されると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。ＣＰＵ５は、操作部材１５を構成するレリーズスイッチからレリーズ操作信号が入力されない場合は、ステップＳ１０１を否定判定して当該判定処理を繰り返す。ステップＳ１０１を否定判定する場合は、例えば測光処理を繰り返しながらレリーズ操作を待つ。
【００１９】
ステップＳ１０２において、ＣＰＵ５は撮影処理を行う。ＣＰＵ５は、露出演算に基づいて決定した絞り値およびシャッター速度へ、絞り兼用シャッター２を制御して撮像素子３に画像を取得させ、ステップＳ１０３へ進む。取得画像のデータは、ＲＡＭ１２に格納される。ステップＳ１０３において、ＣＰＵ５は、取得した画像の周囲に余白を設ける余白生成処理を行ってステップＳ１０４へ進む。余白生成処理の詳細については後述する。
【００２０】
ステップＳ１０４において、ＣＰＵ５は記録媒体インタフェース１４へ指示を送り、上記余白が設けられた取得画像のデータを記録媒体２０へ記録させて図２による処理を終了する。
【００２１】
余白生成処理の詳細について、図３に例示するフローチャートを参照して説明する。図３のステップ２０１において、ＣＰＵ５は、ステップＳ１０２で取得した画像の認識を行う。画像の認識として、本実施形態では取得画像の平均的な明るさを求めてステップＳ２０２へ進む。
【００２２】
ステップＳ２０２において、ＣＰＵ５は、輝度平均値が所定値（例えば８ビットデータの場合に１２８）より高いか否かを判定する。ＣＰＵ５は、輝度平均値が所定値より高い場合にステップＳ２０２を肯定判定してステップＳ２０３へ進む。ＣＰＵ５は、輝度平均値が上記所定値以下の場合には、ステップＳ２０２を否定判定してステップＳ２０４へ進む。図４(a)は、輝度平均値が所定値より高い取得画像を例示する図である。図５(a)は、輝度平均値が所定値以下の取得画像を例示する図である。
【００２３】
輝度平均値が所定値より高い場合のＣＰＵ５は、ステップＳ２０３において背景領域生成回路６へ指示を送り、白い背景画像を生成させてステップＳ２０５へ進む。図４(b)は、背景領域生成回路６が生成した白い背景画像を例示する図である。輝度平均値が所定値以下の場合のＣＰＵ５は、ステップＳ２０４において背景領域生成回路６へ指示を送り、黒い背景画像を生成させてステップＳ２０５へ進む。図５(b)は、背景領域生成回路６が生成した黒い背景画像を例示する図である。
【００２４】
ステップＳ２０５において、ＣＰＵ５は画像リサイズ回路８へ指示を送り、ステップＳ１０２で取得した画像をリサイズ処理させる。これによって画像リサイズ回路８は、取得画像を縦横それぞれ８０％に縮小する。ステップＳ２０６において、ＣＰＵ５は画像合成回路７へ指示を送り、背景画像とリサイズ後の取得画像とを合成させる。
【００２５】
画像合成回路７は、背景領域生成回路６によって生成された白または黒の背景画像の上から、上記リサイズ後の取得画像を重ね合成する。図４(c)は、白い背景画像の上にリサイズ後の取得画像を合成した例を示す図である。また、図５(c)は、黒い背景画像の上にリサイズ後の取得画像を合成した例を示す図である。このように、図３の余白生成処理によれば、白または黒の余白が取得画像の周囲に設けられる。ＣＰＵ５は、余白が設けられた画像をＬＣＤ１０に表示させる。
【００２６】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、画像を入力するＲＡＭ１２と、ＲＡＭ１２に入力された画像を所定の縮小率で縮小する画像リサイズ回路８と、縮小後の画像の周囲に余白部を合成する画像合成回路７、背景領域生成回路６と、ＲＡＭ１２に入力された画像のデータに基づいて余白部の明るさを変えるように、画像合成回路７、背景領域生成回路６を制御するＣＰＵ５と、を備える。これにより、例えば、明るい取得画像に対して明るい余白を設けることによって取得画像に広がりがある印象を与え、暗い取得画像に対して暗い余白を設けることによって取得画像の暗い部分の階調を効果的に見せることができるから、取得画像に対する印象度が高められる。
【００２７】
（２）上記デジタルカメラにおいて、ＣＰＵ５は、ＲＡＭ１２に入力された画像の輝度平均値に基づいて余白部の明るさ（白、黒）を変えるように制御するので、取得画像の明るさに応じて、適切な明るさの余白を自動的に設けることができる。
【００２８】
（３）上記デジタルカメラにおいて、画像を表示するＬＣＤ１０と、画像合成回路７によって合成された画像をＬＣＤ１０に表示させる表示回路９と、をさらに備えるので、印象度を高める余白が設けられた画像を鑑賞できる。
【００２９】
（変形例１）
上述した図３の余白生成処理に代えて、あるいは上記余白生成処理に加えて、図６および図７に例示するフローチャートによる余白生成処理を行うように構成してもよい。変形例１の余白生成処理では、取得画像に対するシーン認識結果に基づいて余白の広さ（面積）を変える。余白の広さの変化は、リサイズ処理における縮小率を変化させることによって行う。
【００３０】
図６において、ステップＳ３０１〜ステップＳ３０４の処理は、図３におけるステップＳ３０１〜ステップＳ３０４の処理と同様のため、説明を省略する。図６のステップＳ３０５において、ＣＰＵ５は、図７のフローチャートによる画像のリサイズ処理を実行する。
【００３１】
図７のステップＳ４０１において、ＣＰＵ５は、ステップＳ１０２（図２）で取得した画像の認識を行う。変形例１では、画像認識処理において取得画像が「風景」を撮影したものであるか否かを示す情報を求める。このようなシーン認識技術は公知であるので説明を省略する。
【００３２】
ステップＳ４０２において、ＣＰＵ５は、シーン認識処理で集めた情報をもとに取得画像が「風景」シーンか否かを判定する。ＣＰＵ５は、取得画像を「風景」シーンと判定した場合にステップＳ４０２を肯定判定してステップＳ４０３へ進む。ＣＰＵ５は、取得画像を「風景」シーンと判定しなかった場合には、ステップＳ４０２を否定判定してステップＳ４０４へ進む。
【００３３】
「風景」シーンである旨を判定したＣＰＵ５は、ステップＳ４０３において、ステップＳ１０２で取得した画像に対する縮小サイズを「風景用」の縮小サイズに決定する。本実施形態では、「風景用」の縮小サイズを縦横それぞれ８０％とする。図８(a)は、８０％に縮小した取得画像を例示する図である。
【００３４】
一方、「風景」シーンである旨を判定しないＣＰＵ５は、ステップＳ４０４において、ステップＳ１０２で取得した画像に対する縮小サイズを通常の縮小サイズに決定する。本実施形態では、通常の縮小サイズを縦横それぞれ９５％とする。図８(b)は、９５％に縮小した取得画像を例示する図である。
【００３５】
ステップＳ４０５において、ＣＰＵ５は画像リサイズ回路８へ指示を送り、ステップＳ１０２で取得した画像を上記決定した縮小サイズでリサイズ処理させて、図７によるリサイズ処理を終了する。
【００３６】
リサイズ処理後のＣＰＵ５は、図６のステップＳ３０６において画像合成回路７へ指示を送り、背景画像とリサイズ後の取得画像とを合成させる。画像合成回路７は、背景領域生成回路６によって生成された白または黒の背景画像の上から、上記リサイズ後の取得画像を重ね合成する。図８(a)は、白い背景画像の上にリサイズ後の風景画像を合成した例に相当する。また、図８(b)は、白い背景画像の上にリサイズ後の非風景画像を合成した例に相当する。このように、図６、図７の余白生成処理によれば、取得画像が「風景」の場合に、非風景の場合よりも広い面積の余白が取得画像の周囲に設けられる。
【００３７】
以上説明した変形例１によれば、画像のデータに基づいて余白部の面積を変えるように、ＣＰＵ５が画像リサイズ回路８、背景領域生成回路６、画像合成回路７を制御したので、取得画像が「風景」の場合に広い余白を取得画像の周りに設けられる。これにより、リサイズ後の取得画像の風景が、画像外側へ向けて広がっていくような印象を与えるから、取得画像に対する印象度が高められる。
【００３８】
（変形例２）
上記変形例１では、取得画像を「風景」と判断した場合の縮小サイズを縦横それぞれ８０％に決定する例を説明した。この他に、取得画像を「花」と判断した場合にも、縮小サイズを縦横それぞれ８０％に決定してもよい。なお、リサイズ処理を行う縮小サイズ８０％は一例であって、７０％でも８５％でもよい。
【００３９】
（変形例３）
また、取得画像の撮影条件に基づいてリサイズ処理の縮小サイズを決定するように構成してもよい。変形例３のＣＰＵ５は、撮像光学系１がズームレンズである場合において、焦点距離が所定値以下（例えば３５mm版システムに換算して焦点距離３５mm以下）の場合に、ステップＳ１０２で取得した画像を「風景」であると判断し、当該取得画像に対する縮小サイズを「風景用」の縮小サイズに決定する。変形例３の場合も、取得画像が「風景」の場合に広い余白を取得画像の周りに設けるので、リサイズ後の取得画像の風景が、画像外側へ向けて広がっていくような印象を与えることが可能となる。
【００４０】
（変形例４）
ＣＰＵ５はまた、撮像光学系１が固定焦点レンズである場合において撮影距離が無限遠である場合に、ステップＳ１０２で取得した画像が「風景」であると判断し、当該取得画像に対する縮小サイズを「風景用」の縮小サイズに決定してもよい。変形例４の場合も、取得画像が「風景」の場合に広い余白を取得画像の周りに設けるので、リサイズ後の取得画像の風景が、画像外側へ向けて広がっていくような印象を与えることが可能となる。
【００４１】
（変形例５）
上記実施形態では、背景領域の明るさを取得画像の平均的な明るさに応じて決定するようにしたが、取得画像に含まれる主要被写体に応じて決定するようにしてもよい。ＣＰＵ５は、取得画像に対して公知の画像認識処理を施すことによって主要被写体を判定する。そして、主要被写体が、例えば「こども」や「ペット」である場合に、白い背景領域を生成することによって、取得画像の周囲に明るい余白を設けるようにする。明るい余白はソフトな印象を与えるので、「こども」や「ペット」の画像を好印象にさせることができる。
【００４２】
（変形例６）
背景領域に模様を付加してもよい。変形例６のＣＰＵ５は、例えば、木目模様や、幾何学模様、または和紙の模様などを背景領域に付加させる。白など明るい背景領域に付加する模様は黒や濃いグレーなど暗い線で表し、黒など暗い背景領域に付加する模様は白や淡いグレーなど明るい線で表す。これにより、余白に模様が付加され、余白から得られる印象度をさらに高めることができる。
【００４３】
（変形例７）
背景領域に付加する模様を取得画像に含まれる主要被写体に応じて決定するようにしてもよい。例えば、主要被写体が「こども」である場合に、背景領域に絹目模様を付加することによって、取得画像の周囲に絹目模様の余白を設けるようにする。余白の絹目模様はソフトな印象を与えるので、「こども」の画像を好印象にさせることができる。
【００４４】
また、主要被写体が「寺社」である場合に、背景領域に和紙の模様を付加することによって、取得画像の周囲に和紙の模様の余白を設けるようにする。和紙の模様は日本古来の印象を与えるので、「寺社」の画像を好印象にさせることが可能である。なお、ＣＰＵ５は、取得画像に対して公知の画像認識処理を施すことによって主要被写体を判定する。
【００４５】
（変形例８）
背景領域に付加する模様を、取得画像のデータに付加されている撮影位置情報に応じて決定するようにしてもよい。ＣＰＵ５は、例えば、ＧＰＳデータに基づく撮影位置が「京都」である場合に、背景領域に和紙の模様を付加することによって取得画像の周囲に和紙の模様の余白を設けるようにする。和紙の模様は古都の印象を与えるので、「京都」で撮影された画像を好印象にさせることができる。
【００４６】
（変形例９）
上述した実施形態では、デジタルカメラで取得し、記録媒体２０へ記録する前の画像のデータ（すなわち、画像処理回路４を経てＲＡＭ１２へ格納された画像データ）を対象に、画像の周囲に余白を設ける例を説明した。この代わりに、余白を設けていない画像のデータを記録媒体２０から読み出して、記録媒体インタフェース１４から入力されＲＡＭ１２へ格納された画像データを対象に、後付け的に画像の周囲に余白を設けるように構成してもよい。余白を設けた画像のデータは、図２のステップＳ１０４の場合と同様に、ＣＰＵ５の指示を受けた記録媒体インタフェース１４が記録媒体２０へ記録させる。
【００４７】
（変形例１０）
変形例９のように、記録媒体２０から読み出した画像のデータに基づいて、後から画像の周囲に余白を設ける場合は、デジタルカメラに限らず、フォトフレームなどの画像再生表示装置やプリンタ装置などに、上述した画像合成装置を搭載することができる。
【００４８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００４９】
１…撮像光学系
３…撮像素子
５…ＣＰＵ
６…背景領域生成回路
７…画像合成回路
８…画像リサイズ回路
９…表示回路
１０…ＬＣＤ
１１…シーン認識回路
１２…ＲＡＭ
１４…記録媒体インタフェース
２０…記録媒体
【図１】
2014236242.tif 000003
【図２】
2014236242.tif 000004
【図３】
2014236242.tif 000005
【図４】
2014236242.tif 000006
【図５】
2014236242.tif 000007
【図６】
2014236242.tif 000008
【図７】
2014236242.tif 000009
【図８】
2014236242.tif 000010