(57)【要約】【課題】  デジタル画像を合成する際、ＰＣや専用アプリケーションが必要となり、ユーザが手動で挿入画像の位置およびサイズ等を補正しなければならず、操作に不慣れなユーザには極めて手間がかかる。【手段】  合成したい任意の前記デジタル画像データファイルが有する前記画像情報を前記画像情報判断部１０９において判断し、その判断結果に応じて合成したい任意の前記デジタル画像データファイルを補正し、その結果を基に画像データを合成する合成処理部１１０を有する事を特徴とする。【選択図】        図２
2005165609.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データファイルと、前記デジタル画像データファイルを記録および蓄積をする任意の蓄積データ手段および装置と、前記デジタル画像データファイルならびにその合成画像を出力および保存する任意のデータ出力手段および装置と、両者を接続する前記デジタル画像データファイルの任意の内部または外部転送手段ならびに装置があって、
前記デジタル画像データファイルが画像データと画像情報を有しており、前記画像情報を判断する画像情報判断部があり、合成したい任意の前記デジタル画像データファイルが有する前記画像情報を前記画像情報判断部において判断し、その判断結果に応じて合成したい任意の前記デジタル画像データファイルを補正し、その結果を基に画像データを合成する合成処理部を有することを特徴とする画像合成装置。
【請求項２】
前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
前記各領域に着目し、前記注目被写体領域のサイズ・位置等を適切に補正することで前記画像挿入可能領域との整合性を取り、適切に合成画像を生成することを特徴とする、請求項１に記載の画像合成装置。
【請求項３】
前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
前記両領域の位置補正の手段として、前記両領域の面積重心の位置合わせを用いることを特徴とする、請求項１または２に記載の画像合成装置。
【請求項４】
前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
注目被写体領域のサイズ補正の手段として、画像挿入領域内に収まる範囲まで注目被写体領域を拡大あるいは縮小することを特徴とする、請求項１ないし３のいずれか１項に記載の画像合成装置。
【請求項５】
前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
注目被写体領域のサイズ補正の手段として、画像挿入領域内に収まる注目被写体領域の面積と、前記画像挿入領域外にはみ出た注目被写体領域の面積との差が最大となるよう、注目被写体領域を拡大あるいは縮小することを特徴とする、請求項１ないし４のいずれか１項に記載の画像合成装置。
【請求項６】
前記デジタル画像データファイルの１つがフォトフレーム、画像窓などの背景画像である事を特徴とする、請求項１ないし５のいずれか１項に記載の画像合成装置。
【請求項７】
前記デジタル画像データファイルの１つが文字情報などである事を特徴とする、請求項１ないし６のいずれか１項に記載の画像合成装置。
【請求項８】
前記画像情報判断部が、前記蓄積データ手段および装置、または前記データ出力手段および装置、または前記蓄積データ手段と前記データ出力手段の両者に搭載されていること、あるいは、全く独立した手段および装置であることを特徴とする、請求項１ないし７のいずれか１項に記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データファイルの画像合成において、前記デジタル画像データファイルが有する各種情報を利用した、自動画像合成方法に関するものである。
【背景技術】
【０００２】
現在、年賀状や結婚などの通知状などとして、文字や写真画像などが合成されたデジタルプリント画像をはがきなどの台紙上に持ついわゆるポストカードが広く普及している。
【０００３】
このような合成されたデジタル画像を作成するには、例えばフォトフレームのような画像と人物画像を合成する際には、人物がデジタル画像データの適切な位置に適切なサイズで記録されているとは限らず、そのまま重ね合わせてしまうとフォトフレームと人物が重なってしまうこともある。そのため人物をフォトフレーム画像の適切な位置、サイズ、角度になるようにパーソナル・コンピュータ（以下、ＰＣ）やアプリケーションを用いてユーザが手動で補正をする必要がある（例えば特許文献１参照。）。
【特許文献１】特開２０００−１４８９７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタル画像を合成する際、ＰＣや専用アプリケーションが必要となる場合が多く、その上、ユーザが手動で挿入画像の位置およびサイズ等を補正しなければならず、ＰＣおよびアプリケーションに不慣れなユーザには極めて手間がかかる、という問題があった。
【０００５】
また、近年普及しつつあるフォト・ダイレクト・プリント・システムはＰＣと接続しないことが前提であり、装置のサイズも小型であることが望まれていることより、ユーザが手作業で合成画像の作業をおこなうには、装置に搭載される画面では小さ過ぎる、という問題もある。
【０００６】
本発明の目的は、上記従来技術の問題点を解消し、各種情報を持ったデジタル画像データを自動かつ適切に合成するために、デジタル画像データが持つ各種情報を利用した画像合成方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る第１から第７の発明は、合成したい任意のデジタル画像データファイルと前記デジタル画像データファイルが持つ画像情報を利用することで、例えば、人物画像である画像１とフォトフレーム画像である画像２があって、画像情報１に前記画像１の注目被写体領域の位置およびサイズおよび形状等が与えられており、画像情報２に前記画像２の画像挿入可能領域の位置およびサイズおよび形状等が与えられている場合、前記画像情報１と前記画像情報２から両領域のマッチングを取ることで前記画像１のサイズおよび位置を適切に補正する。それにより、前記画像２に重ね合わせたときに良好な合成画像を得ることができることを特徴とする。
【０００８】
また本発明に係る第８の発明は、デジタルカメラやスキャナ、ＰＣなど、任意のデジタル画像データ蓄積手段ならびに装置と、プリンタやＰＣなど、任意のデジタル画像データ出力手段ならびに装置と接続可能であることも併せて特徴とする。
【０００９】
以上、本発明を整理して要約すれば以下の構成に集約できる。
【００１０】
（１）デジタル画像データファイルと、前記デジタル画像データファイルを記録および蓄積をする任意の蓄積データ手段および装置と、前記デジタル画像データファイルならびにその合成画像を出力および保存する任意のデータ出力手段および装置と、両者を接続する前記デジタル画像データファイルの任意の内部または外部転送手段ならびに装置があって、
前記デジタル画像データファイルが画像データと画像情報を有しており、前記画像情報を判断する画像情報判断部があり、合成したい任意の前記デジタル画像データファイルが有する前記画像情報を前記画像情報判断部において判断し、その判断結果に応じて合成したい任意の前記デジタル画像データファイルを補正し、その結果を基に画像データを合成する合成処理部を有することを特徴とする画像合成装置。
【００１１】
（２）前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
前記各領域に着目し、前記注目被写体領域のサイズ・位置等を適切に補正することで前記画像挿入可能領域との整合性を取り、適切に合成画像を生成することを特徴とする、前記（１）に記載の画像合成装置。
【００１２】
（３）前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
前記両領域の位置補正の手段として、前記両領域の面積重心の位置合わせを用いることを特徴とする、前記（１）または（２）に記載の画像合成装置。
【００１３】
（４）前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
注目被写体領域のサイズ補正の手段として、画像挿入領域内に収まる範囲まで注目被写体領域を拡大あるいは縮小することを特徴とする、前記（１）ないし（３）のいずれか１項に記載の画像合成装置。
【００１４】
（５）前記画像情報において、注目被写体領域および画像挿入可能領域等の位置およびサイズおよび形状が与えられており、
注目被写体領域のサイズ補正の手段として、画像挿入領域内に収まる注目被写体領域の面積と、前記画像挿入領域外にはみ出た注目被写体領域の面積との差が最大となるよう、注目被写体領域を拡大あるいは縮小することを特徴とする、前記（１）ないし（４）のいずれか１項に記載の画像合成装置。
【００１５】
（６）前記デジタル画像データファイルの１つがフォトフレーム、画像窓などの背景画像である事を特徴とする、前記（１）ないし（５）のいずれか１項に記載の画像合成装置。
【００１６】
（７）前記デジタル画像データファイルの１つが文字情報などである事を特徴とする、前記（１）ないし（６）のいずれか１項に記載の画像合成装置。
【００１７】
（８）前記画像情報判断部が、前記蓄積データ手段および装置、または前記データ出力手段および装置、または前記蓄積データ手段と前記データ出力手段の両者に搭載されていること、あるいは、全く独立した手段および装置であることを特徴とする、前記（１）ないし（７）のいずれか１項に記載の画像合成装置。
【発明の効果】
【００１８】
以上説明したように、本発明に係る第１から第７の発明によれば、デジタル画像データと前記デジタル画像データが持つ各種情報を利用することで、ユーザが手作業での補正を全くあるいは殆どおこなうことなく、自動的に適切な合成画像を得ることができる。
【００１９】
また本発明に係る第１および第８の発明によれば、ダイレクトプリントシステムなどＰＣを経由せずにデジタル画像データを合成したい場合においても、上記同様、自動的に適切な合成画像を得ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施例を図面に基づいて説明する。
【実施例】
【００２１】
図１は本発明の構成を表すブロック図である。
【００２２】
図１において、１０１はデータ蓄積手段および装置であって、ＰＣやデジタルカメラ・デジタルビデオカメラ等のようにデジタル画像データファイルを直接記録および蓄積するための手段および装置等や、スキャナのように非デジタル画像データをデジタル画像データファイルへと変換する手段および装置等を意味する。１０２はデータ出力手段および装置であり、プリンタのように物理メディアに画像を出力するような手段および装置や、ＰＣのようにデジタル画像データファイルのまま出力ならびに保存をおこなう手段および装置等を意味する。なお、図中矢印は任意のデータ転送手段ならびに装置を意味している。さて、データ蓄積手段および装置にはデジタル画像データファイル１（１０３）、デジタル画像データファイル２（１０４）があり、前記デジタル画像データファイルは各々画像データと画像情報を有している（１０５、１０６、１０７、１０８）。１０９は画像情報判断部であり、本発明である画像情報を適切に判断ならびに補正する手段および装置である。１１０は画像データ合成処理部であり、前記画像情報判断部より与えられる補正データをもとに、前記画像データを合成する。前記画像データ合成処理部によって作成された合成画像データは前記データ出力手段および装置の中にある画像データ出力・保存部（１１１）により、保存および出力される。
【００２３】
図２を用いて前記画像情報判断部と前記画像データ合成処理部の動作フローを説明する。ここでは、画像の位置合わせに画像の面積重心を一致させる手法を用いる例を示す。
【００２４】
最初にステップ２０１において、まず処理画像数を決定する。これは前記蓄積データ手段および装置から転送された、あるいは、転送されようとしているデジタル画像データファイル数より決定する事ができる。
【００２５】
ステップ２０２では、画像挿入領域の選定をおこなう。これも前記処理画像から、画像挿入領域情報を持っているものより選定する。
【００２６】
ステップ２０３では前記画像挿入領域の形状把握をおこなう。具体的には、画像挿入領域の外形を認識・記憶しておく。後で説明するが、挿入画像のサイズを変更する際に必要となる。
【００２７】
ステップ２０４では前記画像挿入領域の面積重心を算出する。後述のステップ２０７において算出される注目被写体領域の面積重心との合致作業をおこなう。
【００２８】
ステップ２０５では前記挿入画像の選定をおこなう。前記処理画像から、注目被写体領域情報を持っているものより選定する。
【００２９】
ステップ２０６では前記挿入画像の注目被写体領域の形状把握をおこなう。前記ステップ２０３で得られた画像挿入領域形状情報とともに、後述のステップ２０９において用いる。
【００３０】
ステップ２０７では前記注目被写体領域の面積重心を算出する。前記ステップ２０４で算出した画像挿入領域の面積重心と合致させる事で、両画像の位置合わせをおこなう。
【００３１】
ステップ２０８では前記挿入画像と前記画像挿入領域の位置合わせをおこなう。前記ステップ２０４、２０７より算出した面積重心を合致させる事で、前記画像挿入領域と前記注目被写体の位置合わせをおこなう。
【００３２】
ステップ２０９では前記挿入画像のサイズを変更する。前記ステップ２０３、２０６、２０８で得られた情報より、前記挿入画像のサイズを適切に縮小あるいは拡大する。具体的には、前記画像挿入領域と前記注目被写体領域の面積重心を合わせた上で、前記画像挿入領域から前記注目被写体領域がはみ出さない範囲で最大となるよう、注目被写体領域のサイズを補正する。
【００３３】
最後にステップ２１０において、画像合成処理をおこなう。前記ステップ２０８ならびに２０９で得られた情報を用いて、前記処理画像の画像データを重ね合わせ、合成処理をおこなう。その際、画像挿入領域における空白部が生じる事が考えられるが、予め定めておいた配色や、挿入画像の色相バランス等から求めた色を用いて着色すること等が考えられる。
【００３４】
また前述の通り、上記ステップ２０１、２０２、２０５、２０９における選定および設定に関してはユーザが任意に設定することも可能であるし、予め規定値を定めておいて自動的に設定することも可能である。
【００３５】
図３に本実施例として、前記画像情報判断部と前記画像合成処理部がプリンタに搭載されており、前記プリンタがＰＣに接続されている構成例を示す。前記ＰＣと前記プリンタの接続手段としては、ＵＳＢやＩＥＥＥ１３９４、セントロ等が考えられるが、特定のインターフェースに限定されるものではない。
【００３６】
図中、３０１はＰＣであり、３０２がプリンタである。前記ＰＣ３０１はフォトアルバム機能３０３を有しており、前記プリンタ３０２には通常のプリント機能部３０４と、データ受信バッファメモリ３０５と、前述の通り画像情報判断部３０６および画像データ合成処理部３０７が搭載されている。前記画像情報判断部３０６はメモリ領域を持っており、処理するデジタル画像データファイルに応じて任意に割り当てられるのだが、本実施例では便宜上メモリ１（３０８）とメモリ２（３０９）を有するものとする。前記プリント機能部には印刷データ受信バッファメモリ３１０があり、一般的なプリンタであるため途中は省略するが、最終的に印刷部３１１へと印刷データが処理および転送される。図３および画像サンプルである図４を用いて、画像合成の過程を詳細に説明する。
【００３７】
さて図３において、前記フォトアルバム３０３内に人物画像を含むデジタル画像データファイル（図４−ａ：以下、画像１）とフォトフレーム画像であるデジタル画像データファイル（図４−ｂ：以下、画像２）の２つの画像があるとする。前記画像１ならびに前記画像２は画像データおよび様々な画像情報を有しており、画像１は注目被写体領域情報を、画像２は画像挿入領域情報をそれぞれ有している。
【００３８】
前記画像１および前記画像２がフォトアルバムよりプリンタ３０２へと転送され、データ受信バッファメモリ３０５に受信された後、前記画像１はメモリ１（３０８）へ、前記画像２はメモリ２（３０９）へと格納される。このまま単純に両画像を重ね合わせてしまうと、図４−ｃに示した通り、人物画像の位置ならびにサイズが不適当な画像が生成されてしまう。そこで本発明である画像合成方法では、前記画像情報判断部３０６において、両画像データの画像情報を判断する。
【００３９】
具体的には、まず前記ステップ２０１で述べた通り、転送されたデジタル画像データ数より合成処理をおこなう画像は２個であると判断される。続いて前記画像２が画像挿入領域情報を有していることから画像挿入領域に選定され、前記画像２の有する画像挿入領域に対して形状の把握（前記ステップ２０３）ならびに面積重心の算出（前記ステップ２０４）をおこなう。前記画像２においては、画像挿入領域が図４−ｂ中央の菱形部内側であり、面積重心は前記画像挿入領域の中心部である。次に、前記画像１が注目被写体領域情報を有していることから、前記画像１を挿入画像に選定し、前記注目被写体領域の形状把握、面積重心の算出をおこなう（前記ステップ２０６、２０７）。本実施例では、前記画像１の注目被写体領域が図４−ｄの楕円形点線部内側である、と与えられていれば、面積重心は前記注目被写体領域の中心部である。これまでに得られた情報、即ち、画像挿入領域および注目被写体領域の形状および面積重心から、前記両面積重心を合わせた状態で画像挿入領域内に注目被写体領域が最大面積で収まるよう前記画像１の補正データを得る。本実施例では、注目被写体領域の外形が図４−ｅ中の楕円形点線部と一致するように前記画像１の位置移動およびサイズ縮小率の補正データから得られる。
【００４０】
その後、画像情報判断部３０６から画像データ合成処理部３０７へと画像データ１および画像データ２および補正データを転送し、合成画像（図４−ｆ）を得る。例えば、画像２の画像挿入領域の透明度を０．０（完全な透明）、フレーム部を透明度１．０（完全な非透明）として補正画像１の上に重ねる等の処理が考えられる。
【００４１】
最後に、出力手段としてプリンタ３０４の印刷データ受信バッファメモリ３１０へ合成画像の印刷データを転送し、印刷部３１１において合成画像が印刷される。
【００４２】
図５は図４同様の画像サンプルであり、これを用いて請求項５に記載の、画像挿入領域において外形と面積重心との距離の最大値と最小値との差が著しく大きい場合の処理例を説明する。図５−ａは前述の図４−ａと同一であり、楕円形の点線で示された注目被写体領域を有している。また図５−ｂは、画像挿入領域において外形と面積重心との距離の最大値と最小値との差が著しく大きい場合の一例である、星型フォトフレーム画像である。前記実施例において説明した手法に従って画像合成をおこなう場合、図５−ａにおける注目被写体領域は図５−ｃ中の楕円形点線部と一致するように処理されるが請求項５に記載の方法では、前記注目被写体領域は図５−ｄ中の楕円形点線部と一致するよう処理される。図５−ｃから得られる合成画像例を図５−ｅに、図５−ｄから得られる合成画像を図５−ｆに示す。前記両図より分かる通り、画像挿入領域において外形と面積重心との距離の最大値と最小値との差が著しく大きい場合には、注目被写体領域の一部が欠けてしまっても、前記注目被写体領域の大きさを確保することも可能である。請求項５に記載の方法は、オプションとしてユーザが選択することも、画像挿入領域において外形と面積重心との距離の最大値と最小値との差に閾値を設けて自動判別することも、あるいは採用しないことも考えられる。
【００４３】
上記実施例は、背景画像とフォトフレーム画像を例に取り上げているが、画像挿入領域、および注目被写体領域を有していれば前記両画像に限定されるものではなく、例えば請求項７に記載のとおり、テキスト等の文字情報を画像に合成することも可能である。
【００４４】
さらに、上記実施例は、ＰＣとプリンタから構成されるシステムを取り上げたが、請求項８に記載の通り、本発明である画像合成方法はその上記実施例のシステム構成に限定されるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明であるデジタル画像データの自動合成手順の概念を表したブロック図
【図２】本発明における、前記画像情報判断部と前記画像データ合成処理部の動作を説明するフローチャート
【図３】本実施例におけるフォトアルバム−プリンタによる構成を示した図
【図４】本実施例における人物画像とフォトフレーム画像の自動合成におけるサンプル図
【図５】本実施例における人物画像とフォトフレーム画像の自動合成におけるサンプル図で、画像挿入領域の外形と面積重心との距離の最大値と最小値の差が大きい例を示した図
【符号の説明】
【００４６】
１０１  データ蓄積手段および装置
１０２  データ出力手段および装置
１０３  デジタル画像データファイル１
１０４  デジタル画像データファイル２
１０５  画像データ１
１０６  画像情報１
１０７  画像データ２
１０８  画像情報２
１０９  画像情報判断部
１１０  画像データ合成処理部
１１１  画像データ出力・保存部
３０１  ＰＣ
３０２  プリンタ
３０３  フォトアルバム機能
３０４  通常のプリント機能部
３０５  データ受信バッファメモリ
３０６  画像情報判断部
３０７  画像データ合成処理部
３０８  メモリ１
３０９  メモリ２
３１０  印刷データ受信バッファメモリ
３１１  印刷部
【図１】
2005165609.tif 000003
【図２】
2005165609.tif 000004
【図３】
2005165609.tif 000005
【図４】
2005165609.tif 000006
【図５】
2005165609.tif 000007