(57)【要約】【課題】ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供すること。【解決手段】記事記録部２ａに記録されている記事の内容からユーザの嗜好を示すキーワードが抽出され、抽出されたキーワードに対応した画像が外部データベース３１から検索されるとともに、この画像の合成位置が位置決定部５によって決定される。これらの情報に従って合成部８において外部データベース３１から検索された画像と身体画像記録部２ｂに記録された身体画像とが合成される。【選択図】図１
2008310502.tif 000002
【特許請求の範囲】
【請求項１】
画像又は文章を含む記事を作成者毎に記録する記録部と、
上記記事から上記作成者を特徴づけるキーワードを抽出する抽出部と、
上記抽出されたキーワードに従って検索した第１の画像と上記作成者の顔を少なくとも含む身体に係る第２の画像とを合成する合成部と、
を具備することを特徴とする画像合成装置。
【請求項２】
上記合成部は、上記作成者の顔を構成する少なくとも１つの器官と上記キーワードとの関係を記録したデータベースと、
上記データベースに従って上記第２の画像に対する上記第１の画像の合成位置を決定する決定部と、
を有することを特徴とする請求項１に記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する画像合成装置に関する。
【背景技術】
【０００２】
従来、複数の画像を合成して新たな画像を生成する技術に関する提案として、例えば、特許文献１には、ユーザが自分の好みの画像データをフレーム画像データとして持ち込み、このフレーム画像データとそのときユーザを撮影して得られた画像データとを合成することで、ユーザが好みとする画像のプリントシールを簡単に作成することができる装置が提案されている。また、特許文献２には、ユーザが自分で撮影したり、取り込んだりして取得した好みの画像を背景画像として合成して写真シールを作成する装置が提案されている。
【特許文献１】特開２０００−５０１９０号公報
【特許文献２】特開平１１−６９２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、特許文献１及び２の何れも、合成する画像や画像の合成位置をユーザが選ばなければならないため、ユーザに不便さを感じさせることも考えられる。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様の画像合成装置は、画像又は文章を含む記事を作成者毎に記録する記録部と、上記記事から上記作成者を特徴づけるキーワードを抽出する抽出部と、上記抽出されたキーワードに従って検索した第１の画像と上記作成者の顔を少なくとも含む身体に係る第２の画像とを合成する合成部とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る画像合成装置を有する画像表示システムの構成を示す図である。図１に示す画像表示システムは、サーバ１と、端末２１とを有し、これらがネットワーク４１を介して通信自在に接続されている。さらに、サーバ１には外部データベース３１が通信自在に接続されている。
【０００８】
サーバ１は、記録部２と、キーワード抽出部３と、画像検索部４と、位置決定部５と、内部データベース６と、顔位置判定部７と、合成部８と、表示制御部９とを有している。
【０００９】
記録部２は、記事記録部２ａと、身体画像記録部２ｂとを有している。記事記録部２ａは、ユーザが作成した記事を作成者毎に記録する。なお、ここでの記事は、ユーザが作成した文章と画像の少なくとも何れかから構成されているものである。身体画像記録部２ｂは、ユーザの身体画像をユーザ毎に記録する。なお、ここでの身体画像は、少なくともユーザの顔を含む画像である。
【００１０】
キーワード抽出部３は、記事記録部２ａに記録されている記事の内容を解析してユーザの嗜好を判断し、その判断結果に基づいてキーワードを抽出する。ここで、記事に文章が含まれている場合には、例えば、その文章を単語単位で解析し、文章中の出現頻度の高いもの（動物、食べ物、小物等）をキーワードとして抽出する。また、記事に画像が含まれている場合には、例えばその画像を認識処理することによって画像内の被写体の名称を判断し、その名称をキーワードとして抽出する。
【００１１】
画像検索部４は、キーワード抽出部３で抽出されたキーワードに対応する画像を外部データベース３１から検索し、検索した画像を合成部８に出力する。位置決定部５は、キーワード抽出部３で抽出されたキーワードに対応する画像の合成位置の情報を内部データベース６から検索し、検索した合成位置情報を合成部８に出力する。
【００１２】
内部データベース６は、各種のキーワードとその合成位置とを対応付けて記憶している。図２に、内部データベース６の詳細を示す。図２は、画像の合成位置が被写体の顔の場合を示している。そして、ＣＤやレコード等の聞くものは耳に関係があるとして合成位置を耳としている。同様に、たこやきやたいやき等の食べるものは口に関係があるとして合成位置を口としている。また、香水や花等のにおいを嗅げるものは、鼻に関係があるとして合成位置を鼻としている。さらに、眼鏡等の目に装着できるものは目に関係があるとして合成位置を目としている。
【００１３】
顔位置判定部７は、身体画像記録部２ｂに記録されているユーザの身体画像における顔部分を判定し、さらに判定した顔部分の画像の陰影分布から顔部の各器官（目、鼻、口、及び耳）の位置を判定して、その位置情報を身体画像記録部２ｂに記録されているユーザの身体画像とともに合成部８に出力する。
【００１４】
合成部８は、顔位置判定部７から入力されたユーザの身体画像と画像検索部４から入力された画像とを、位置決定部５から入力された合成位置情報に従って合成する。表示制御部９は、合成部８で得られた合成画像を端末２１に表示可能なように制御する。
【００１５】
端末２１は、ウェブページをブラウジングするためのソフトウェアがインストールされ、ウェブページ上で各種の操作を行うためのマウスやキーボードといった操作部や液晶ディスプレイ等の表示部を有するコンピュータである。外部データベース３１は、キーワードに対応した各種の画像を記憶している。
【００１６】
以下、図１に示す画像表示システムの動作について説明する。図３は、サーバ１による合成画像の表示制御について示したフローチャートである。ここで、記事記録部２ａには、ユーザが作成した記事が予め記録されており、身体画像記録部２ｂには、図４（ａ）で示すような、ユーザの顔を含む身体画像が予め記録されているものとする。
【００１７】
ユーザによる端末２１の操作によって合成画像の表示が指示されると、顔位置判定部７によって、端末２１に対応したユーザの身体画像が身体画像記録部２ｂから取得される（ステップＳ１）。その後、顔位置判定部７において身体画像における顔部が検出され、さらに顔部内の各器官の位置が判定される（ステップＳ２）。
【００１８】
続いて、記事記録部２ａに記録されている記事がキーワード抽出部３により取得され、取得された記事からキーワードが抽出される（ステップＳ３）。ここで、キーワードは複数抽出するようにしても良い。次に、抽出されたキーワードの中から１つのキーワードが選択され、選択されたキーワードに従って、画像検索部４により外部データベース３１から画像が検索される（ステップＳ４）。
【００１９】
その後、位置決定部５において内部データベース６が参照され、キーワード抽出部３により選択されたキーワードが口と関係するキーワードであるかが判定される（ステップＳ５）。ステップＳ５の判定において、キーワード抽出部３により選択されたキーワードが食べ物等の口と関係するキーワードである場合には、合成位置が口に設定される（ステップＳ６）。その後に、処理がステップＳ１４に移行する。また、ステップＳ５の判定において、キーワード抽出部３により選択されたキーワードが口と関係するキーワードでない場合には、キーワード抽出部３により選択されたキーワードが鼻と関係するキーワードであるかが判定される（ステップＳ７）。ステップＳ７の判定において、キーワード抽出部３により選択されたキーワードが香水等の鼻と関係するキーワードである場合には、合成位置が鼻に設定される（ステップＳ８）。その後に、処理がステップＳ１４に移行する。また、ステップＳ７の判定において、キーワード抽出部３により選択されたキーワードが鼻と関係するキーワードでない場合には、キーワード抽出部３により抽出されたキーワードが耳と関係するキーワードであるかが判定される（ステップＳ９）。ステップＳ９の判定において、キーワード抽出部３により選択されたキーワードがＣＤ等の耳と関係するキーワードである場合には、合成位置が耳に設定される（ステップＳ１０）。その後に、処理がステップＳ１４に移行する。また、ステップＳ９の判定において、キーワード抽出部３により選択されたキーワードが耳と関係するキーワードでない場合には、キーワード抽出部３により選択されたキーワードが目と関係するキーワードであるかが判定される（ステップＳ１１）。ステップＳ１１の判定において、キーワード抽出部３により選択されたキーワードが眼鏡等の目と関係するキーワードである場合には、合成位置が目に設定される（ステップＳ１２）。その後に、処理がステップＳ１４に移行する。また、ステップＳ１１の判定において、キーワード抽出部３により選択されたキーワードが目と関係するキーワードでない場合には、合成位置が所定の合成位置（上述の顔の各器官の位置とは異なる位置）に設定される（ステップＳ１３）。その後に、処理がステップＳ１４に移行する。
【００２０】
ステップＳ５〜ステップＳ１３の処理によって合成位置が設定された後、合成部８において画像の合成が行われる（ステップＳ１４）。例えば、眼鏡の画像は、図４（ｂ）の参照符号１０１で示すようにして被写体の目の位置に合成し、被写体があたかも眼鏡をかけているかのような画像を合成する。同様に、レコードの画像は図４（ｂ）の参照符号１０２で示すようにして被写体の耳の近くの位置に合成し、ソフトクリームの画像は図４（ｃ）の参照符号１０３で示すようにして被写体の口の位置に合成する。このようにして被写体の嗜好に応じて検索された画像が、その画像の関係する顔の位置に合成される。
【００２１】
ステップＳ１４において、画像の合成がなされた後、表示制御部９の制御により合成された画像が端末２１に表示される（ステップＳ１５）。この合成画像はユーザによる端末２１の操作によって自由にダウンロードすることが可能である。合成画像が端末２１に表示された後、画像を合成していないキーワードがまだ残っているかが判定される（ステップＳ１６）。ステップＳ１６の判定において、キーワードが残っている場合には、別のキーワードへの切り替えがなされた後（ステップＳ１７）、処理がステップＳ４に戻る。
【００２２】
図５は、図３のステップＳ２における顔部の検出処理の一例を示すフローチャートである。
【００２３】
まず、顔部の基準パターンの設定が行われる（ステップＳ１０１）。図６の参照符号２０１は顔部基準パターンの一例を示している。この顔部基準パターン２０１と身体画像記録部２ｂから読み出された身体画像２０２との間でマッチング処理によって顔位置の検出を行う。ここで、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、顔部基準パターン２０１も顔の向きや大きさに対応して複数用意しておく。ステップＳ１０１の処理は、複数用意しておいた顔部基準パターン２０１の中から１つを設定する処理である。
【００２４】
次に、身体画像２０２の顔部２０２ａ（実際には顔部２０２ａ以外も含まれる）と顔部基準パターン２０１との間でマッチング処理が行われる（ステップＳ１０２）。これは、顔部基準パターン２０１によって身体画像２０２を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔部基準パターン２０１がマッチングした位置が存在していたか否か、即ち身体画像２０２と顔部基準パターン２０１との一致度が所定量以上高い位置が画像内に存在していたかが判定される（ステップＳ１０３）。ステップＳ１０３の判定において、マッチング位置が存在していた場合には、その位置の画像が顔部の画像として検出され、その部分の画像の陰影分布から目、鼻、口、耳といった顔の各器官の位置が検出される（ステップＳ１０４）。
【００２５】
一方、ステップＳ１０３の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが顔部基準パターン２０１と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には１つの顔部基準パターン２０１で全ての顔部を検出できるとは限らない。そこで、ステップＳ１０３に判定においてマッチング位置が存在していない場合、若しくはステップＳ１０４の後、顔検出処理を終了するか否かが、全ての顔部基準パターン２０１を用いてマッチング処理を行ったか否かを判定することによって判定される（ステップＳ１０５）。ステップＳ１０５の判定において、まだ、全ての顔部基準パターン２０１を用いてマッチング処理が行われていない場合には、別の顔部基準パターンへの切り替えがなされた後（ステップＳ１０６）、処理がステップＳ１０２に戻り、再びマッチング処理が行われる。一方、全ての顔部基準パターン２０１を用いてマッチング処理が行われた場合には、顔部の位置情報が合成部８に出力されて顔検出処理が終了する。
【００２６】
以上説明したように、本実施形態によれば、ユーザが以前に作成した記事から、ユーザの嗜好を判定し、その嗜好に即した画像を合成することにより、ユーザに画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成することができる。また、キーワードに応じた最適な位置に画像が合成されるので、ユーザの操作量をさらに低減させることが可能である。
【００２７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した例では、１つのキーワードに対する画像の合成位置が１箇所となるが、これを複数箇所としても良い。これにより、例えば、キーワードが動物の場合に、被写体の顔に該動物の耳と鼻、ひげ等の画像を一度に合成したりすることも可能である。
【００２８】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係る画像合成装置を有する画像表示システムの構成を示す図である。
【図２】内部データベースの詳細を示す図である。
【図３】サーバによる合成画像の表示制御について示したフローチャートである。
【図４】画像合成の例を示した図である。
【図５】顔部の検出処理の一例を示すフローチャートである。
【図６】顔部基準パターンの一例について示す図である。
【符号の説明】
【００３０】
１…サーバ、２…記録部、２ａ…記事記録部、２ｂ…身体画像記録部、３…キーワード抽出部、４…画像検索部、５…位置決定部、６…内部データベース、７…顔位置判定部、８…合成部、９…表示制御部、２１…端末、３１…外部データベース、４１…ネットワーク
【図１】
2008310502.tif 000003
【図２】
2008310502.tif 000004
【図３】
2008310502.tif 000005
【図４】
2008310502.tif 000006
【図５】
2008310502.tif 000007
【図６】
2008310502.tif 000008