(57)【要約】    【課題】      子画面が親画面の重要な画像領域を完全に覆い隠すことがなく、親画面の重要な領域がどのような画像であるかをユーザが判断できること。    【解決手段】  画像合成装置１００は、画像を入力する画像入力部１０１と、入力された画像から重要領域を検出する領域検出部１０２と、入力された複数の画像を合成する画像合成部１０３と、合成された画像を出力する画像出力部１０４とを備える。画像合成部１０３は、領域検出部１０２が検出した重要領域と重なる場合には、入力された画像を透過合成する。  【選択図】      図１
2007019956.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から所定の条件を満たす領域を重要領域として検出する領域検出手段と、
前記画像入力手段により入力された複数の画像を合成する際、入力された画像が前記重要領域と重なる場合には、前記入力された画像を透過合成する画像合成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記画像合成手段は、前記重要領域と重なる領域にある前記入力された画像部分のみを透過合成することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記領域検出手段は、予め収集した対象物から生成されたテンプレートを用いて、入力された画像の各部分に当てはめ、前記テンプレートと所定の閾値以上の相関を持つ画像部分を重要領域として検出することを特徴とする請求項１又は請求項２に記載の画像合成装置。
【請求項４】
画像を入力するステップと、
入力された画像から所定の条件を満たす領域を重要領域として検出するステップと、
入力された複数の画像を合成する際、入力された画像が前記重要領域と重なる場合には、前記入力された画像を透過合成する画像合成ステップと
を有することを特徴とする画像合成方法。
【請求項５】
前記画像合成ステップでは、前記重要領域と重なる領域にある前記入力された画像部分のみを透過合成することを特徴とする請求項４記載の画像合成方法。
【請求項６】
請求項４又は請求項５に記載のステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の動画像や静止画を１つの画面上に合成する画像合成装置及び画像合成方法に関する。
【背景技術】
【０００２】
従来の画像表示装置においては、表示全画面中に小領域の画面を形成し、この小領域の画面に表示全画面に表示された画像と異なる別の画像を表示するものがある。
【０００３】
例えば、特許文献１には、親画面の中にサムネイル状の子画面を表示するピクチャ・イン・ピクチャ（ＰｉｎＰ）と呼ばれる技術が記載されている。この技術は、動画の親画面の画面中に動画あるいは静止画で、親画面と同一映像若しくは別の映像を、親画面と同じ縦横比で圧縮した子画面をスーパーインポーズする。また、子画面をスーパーインポーズする場所は親画面の任意の場所に設定することができる。
【０００４】
図８は、従来の画像合成装置であるピクチャ・イン・ピクチャ生成装置の構成を示すブロック図である。
【０００５】
図８において、ピクチャ・イン・ピクチャ生成装置１０は、画像拡大部１１、画像縮小部１２、及び画像合成部１３を備えて構成される。
【０００６】
画像拡大部１１は、例えば図３のような１７６×１４４画素で構成される画像を３５２×２８８画素へと拡大し、画像縮小部１２は、例えば図２のような３５２×２８８画素で構成される画像を１７６×１４４へと縮小する。画像合成部１３は、図４のように画像拡大部から出力される画像（親画面）の特定位置に、画像縮小部から出力される画像（子画面）を合成するものである。
【特許文献１】特開平６−３０３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような従来の画像合成装置にあっては、子画面が親画面の重要な画像領域を覆い隠してしまう場合があり、この場合には親画面の重要な領域を見ることができないという問題がある。
【０００８】
本発明はかかる点に鑑みてなされたものであり、子画面が親画面の重要な画像領域を完全に覆い隠すことがなく、親画面の重要な領域がどのような画像であるかをユーザが判断できる画像合成装置及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像合成装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から所定の条件を満たす領域を重要領域として検出する領域検出手段と、前記画像入力手段により入力された複数の画像を合成する際、入力された画像が前記重要領域と重なる場合には、前記入力された画像を透過合成する画像合成手段とを備える構成を採る。
【００１０】
本発明の画像合成方法は、画像を入力するステップと、入力された画像から所定の条件を満たす領域を重要領域として検出するステップと、入力された複数の画像を合成する際、入力された画像が前記重要領域と重なる場合には、前記入力された画像を透過合成する画像合成ステップとを有する。
【００１１】
他の観点から、本発明は、上記画像合成方法のステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、合成する画像によって、合成元の画像の重要な領域を完全に覆い隠すことがないように、合成する画像を透過合成することができ、合成元の重要領域の画像内容についてユーザが判別可能になる。これにより、合成画像の画像内容（例えば子画面）と合成元の重要領域の画像内容（例えば親画面）の両方の画像内容を理解することができ、ユーザに優しい使い勝手のよい装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像合成装置の構成を示すブロック図である。本実施の形態に係る画像合成装置は、デジタルカメラに適用した例である。
【００１４】
図１において、画像合成装置１００は、画像を入力する画像入力部１０１と、入力された画像から重要領域を検出する領域検出部１０２と、入力された複数の画像を合成する画像合成部１０３と、合成された画像を出力する画像出力部１０４とから主に構成される。
【００１５】
画像入力部１０１は、複数の画像入力部(1)，(2)，…，(N)を有し、複数の画像を入力することができる。例えば、カメラ等の入力デバイスからの画像や、ＴＶチューナ、ＤＶＤプレーヤ、ＶＴＲ等の復号化装置等で復号化された画像、ネットワークからダウンロードされた画像データや、ＴＶ電話等で用いられるＩＴＵ−Ｔ勧告Ｈ.２６１やＨ.２６３、ＭＰＥＧ−４等の規格で符号化されたビットストリームを復号した画像を入力として用いることができる。画像入力時には、拡大・縮小処理、輪郭強調処理、色変換（ＹＵＶ→ＲＧＢ変換等）や増色・減色処理、Ｄ／Ａ変換処理等を行ってもよい。
【００１６】
領域検出部１０２は、画像入力部１０１によって格納された入力画像から、所定の条件を満たす領域を重要領域として検出する。検出した重要領域情報は、画像合成部１０３へ渡される。重要領域の対象物体としては、人間全体であったり、人間の顔であったり、手、足、目、鼻、耳、口等の部分領域であってもよい。また、人間だけではなく、動物であったり、車、電車等の人工物であってもよい。これらの重要領域の検出方法として、例えば予め収集した対象物から生成されたテンプレートを用意する。そして、入力された画像にこのテンプレートを拡大又は縮小して重ね合わせることで画像の各部分の相関を求める。画像の各部分にテンプレートを当てはめた結果、テンプレートと所定の閾値以上の相関を持つ高い相関部分を重要領域として検出する方法がある。また、別途入力デバイスとして、距離計測可能なレンジファインダーからの距離画像を用いて重要領域を検出してもよいし、温度センサからの情報を用いて対象物を検出してもよい。
【００１７】
画像合成部１０３は、画像入力部１０１が入力した複数の画像と、領域検出部１０２が検出した重要領域情報を用いて合成する。ここで、画像合成部１０３は、透過合成することが可能であり、領域検出部１０２が検出した重要領域と重なる場合には透過合成を行う。透過合成とは、例えば２つの画像を合成する場合に、重み付け合成をすることである。この重みは、透過値と一般に呼ばれる。例えば、画素値Ａと画素値Ｂとの透過合成は次式（１）によって表される。
【００１８】
合成画素値＝画素値Ａ×透過値＋画素値Ｂ×（１−透過値）      …（１）
また、合成時には、画像入力部１０１が入力した複数の画像に対して、拡大・縮小処理、輪郭強調処理、色変換（ＹＵＶ→ＲＧＢ変換等）や増色・減色処理、Ｄ／Ａ変換処理等を施してもよい。
【００１９】
画像出力部１０４は、画像合成部１０３が合成した合成画像を入力とし、例えばＬＣＤ等の表示デバイスに対して出力を行う。なお、ＮＴＳＣ若しくはＰＡＬ（phase alternation line）フォーマットへの変換を行い、ＴＶ画面への出力を可能にしてもよい。
【００２０】
以下、上述のように構成された画像合成装置１００の動作について説明する。
【００２１】
ここでは、ＴＶ電話会議システムのように、自局のカメラで撮影された画像と、対局からＭＰＥＧ−４規格で符号化されたビットストリームを受信し、復号された画像をピクチャ・イン・ピクチャ合成して表示する場合を想定する。
【００２２】
図２及び図３は、画像合成装置１００の入力画像の一例を示す図、図４及び図５は、画像合成装置１００の画像合成例を示す図である。
【００２３】
自局のカメラで撮影された画像は、画像入力部１０１により入力される。入力画像の例は図２に示される。また、対局からＭＰＥＧ−４規格で符号化されたビットストリームは、図示しない復号化装置によって復号され、画像入力部１０１により入力される。入力画像の例は図３に示される。自局カメラ画像は、ピクチャ・イン・ピクチャ合成時には、３５２×２８８画素のサイズの画像を１７６×１４４画素へ縮小し、子画面として座標（１５４,１１０）に合成する。対局復号画像は、１７６×１４４画素のサイズから３５２×２８８画素へ拡大し、いま親画面として図４に示すように合成する場合を想定する。
【００２４】
領域検出部１０２では、画像入力部１０１によって入力された対局復号画像の重要領域を検出する。図３において、重要領域は人物の周囲を囲む実線の枠内に示される領域として検出されたものとする。
【００２５】
画像合成部１０３では、領域検出部１０２からの重要領域を示す情報から、子画面合成位置が、重要領域と重なっていることを判断し、図５に示すように子画面合成する場合には透過合成を行う。この例での透過値は、０.５としたが、適応的に値を変更するようにしてもよい。
【００２６】
画像出力部１０４では、画像合成部１０３により合成された合成画像をＬＣＤ等の表示デバイスに出力する。
【００２７】
図６は、画像合成装置１００の画像処理方法を示すフローチャートである。図中、Ｓはフローの各処理ステップを示す。
【００２８】
図６において、画像入力処理（ステップＳ１）、領域検出処理（ステップＳ２）、画像合成処理（ステップＳ３）、及び画像出力処理（ステップＳ４）はそれぞれ、図１の画像入力部１０１、領域検出部１０２、画像合成部１０３、及び画像出力部１０４と同様の機能を有する。
【００２９】
上述した想定に基づいてより具体的に動作を説明する。
【００３０】
自局のカメラで撮影された画像は、ステップＳ１の画像入力処理により入力される。入力画像の例は図２に示される。また、対局からＭＰＥＧ−４規格で符号化されたビットストリームは、復号化装置によって復号され、画像入力処理（ステップＳ１）によって入力される。入力画像の例は図３に示される。
【００３１】
次いで、ステップＳ２の領域検出処理では、画像入力処理（ステップＳ１）によって入力された対局復号画像の重要領域を検出する。図３において、重要領域は実線の枠内に示される領域として検出されたものとする。
【００３２】
次いで、ステップＳ３の画像合成処理では、領域検出処理（ステップＳ２）により検出された重要領域情報から、子画面合成位置が、重要領域と重なっていることを判断し、図５に示すように子画面合成する場合には透過合成を行う。この例での透過値は、０.５としたが、適応的に値を変更するようにしてもよい。
【００３３】
最後に、ステップＳ４の画像出力処理（ステップＳ４）では、画像合成処理（ステップＳ３）により画像合成された合成画像をＬＣＤ等の表示デバイスに対して出力して本フローを終了する。
【００３４】
以上のように、実施の形態１によれば、合成する画像によって、合成元の画像の重要な領域を完全に覆い隠すことがないように、合成する画像を透過合成することができ、合成元の重要領域の画像内容も理解することができる。すなわち、親画面の重要領域は透過合成されるため、重要な画像領域を完全に覆い隠すことがなく、重要な画像領域がどのような画像であるかをユーザが判断できるという点において優れた効果を有する。かかる優れた特長を有する本発明を、ＴＶ会議システムにおける画像装置、据置き型の有線テレビ電話装置、移動体通信システムにおける携帯テレビ電話装置等に適用して好適である。
（実施の形態２）
図７は、本発明の実施の形態２に係る画像合成装置の画像合成例を示す図である。構成要素は、実施の形態１（図１）と同様であるため、その説明は省略する。
【００３５】
実施の形態１との違いは、画像合成部１０３が、図５に示すように、子画面全体透過合成するのではなく、図７に示すように、領域検出部１０２が検出した重要領域と重なる領域のみを透過合成することにある。
【００３６】
また、図６のフローチャートにおける違いは、画像合成処理（ステップＳ３）では、図５に示すように、子画面全体透過合成するのではなく、図７に示すように、領域検出処理（ステップＳ２）が検出した重要領域と重なる領域のみを透過合成する。
【００３７】
このように、実施の形態２によれば、親画面の重要領域のみが透過合成されるため、透過合成となる画像部分が実施の形態１に比べてより少なくなり、合成画像の画像内容と合成元の重要領域の画像内容の両方の画像内容をより一層ユーザが理解できるという点において優れた効果を有する。
【００３８】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００３９】
また、画像合成装置及び方法を有する電子機器であればどのような装置にも適用できる。例えば、デジタルカメラ、デジタルビデオカメラは勿論のこと、テレビ電話装置、さらにはカメラ付き携帯電話機、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末、パソコン等の情報処理装置など、カメラ（内蔵／外付け）を備えた装置にも適用可能である。また、合成対象となる画像は、どのような画像データであってもよい。
【００４０】
さらに、本発明は例えば携帯端末として組み込むことが可能であり、画像合成装置及び方法を具備した移動体通信システムとして実現することも可能である。
【００４１】
また、上記各実施の形態では、画像合成装置及び方法という名称を用いたが、これは説明の便宜上であり、画像表示装置、画像合成方法、画像処理方法等でもよいことは勿論である。
【００４２】
また、図２乃至図６に示す画像表示は一例であって他の例でもよいことは言うまでもない。
【００４３】
また、上記画像合成装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。
【００４４】
また、以上説明した画像合成装置及び方法は、これら画像合成装置及び方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【産業上の利用可能性】
【００４５】
本発明に係る画像合成装置及び方法は、ＴＶ会議システムにおける画像装置、据置き型の有線テレビ電話装置、移動体通信システムにおける携帯テレビ電話装置等において、複数の動画像や静止画を１つの画面上に合成する画像合成装置及び画像合成方法として有用である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態１に係る画像合成装置の構成を示すブロック図
【図２】上記実施の形態１に係る画像合成装置の入力画像を示す図
【図３】上記実施の形態１に係る画像合成装置の入力画像を示す図
【図４】上記実施の形態１に係る画像合成装置の画像合成例を示す図
【図５】上記実施の形態１に係る画像合成装置の画像合成例を示す図
【図６】上記実施の形態１に係る画像合成装置の画像処理方法の処理を示すフロー図
【図７】本発明の実施の形態２に係る画像合成装置の画像合成例を示す図
【図８】従来の画像合成装置の構成を示すブロック図
【符号の説明】
【００４７】
１００  画像合成装置
１０１  画像入力部
１０２  領域検出部
１０３  画像合成部
１０４  画像出力部
【図１】
2007019956.tif 000003
【図２】
2007019956.tif 000004
【図３】
2007019956.tif 000005
【図４】
2007019956.tif 000006
【図５】
2007019956.tif 000007
【図６】
2007019956.tif 000008
【図７】
2007019956.tif 000009
【図８】
2007019956.tif 000010