(57)【要約】画像合成携帯端末は、合成前画像記録部（２００）に予め用意されている記録画像と、カメラ部（２２０）が撮像した撮像画像とを合成する。マスク記録部（２１０）には、記録画像において、撮像画像を合成したい一以上の領域を定義した複数のマスク情報が格納されている。マスク情報取得部（２１１）は、ユーザの指示に応じて、所望のマスク情報をマスク記録部（２１０）から選択する。画像合成部（２３０）は、マスク情報取得部（２１１）によって選択されたマスク情報で指定されている領域で、記録画像と撮像画像とを合成する。
2004039068.tif 000002
【特許請求の範囲】
【請求項１】
背景についての背景画像と撮像された撮像画像とを合成する携帯端末であって、
前記背景画像を取得する背景画像取得手段と、
前記撮像画像を取得する撮像画像取得手段と、
ユーザの指示に応じて、前記撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するマスク情報取得手段と、
前記マスク情報取得手段が取得したマスク情報で指定されている領域で、前記撮像画像取得手段が取得した前記撮像画像と前記背景画像取得手段が取得した前記背景画像とを合成する画像合成手段とを備える、携帯端末。
【請求項２】
前記マスク情報には、複数の前記領域が指定されており、前記複数の領域に予め順序が指定されており、
前記画像合成手段は、前記順序に従って前記撮像画像を前記領域に順次合成していくことを特徴とする、請求項１に記載の携帯端末。
【請求項３】
前記画像合成手段は、ユーザの指示に応じて、前記撮像画像を合成する前記領域の順序を変更することを特徴とする、請求項２に記載の携帯端末。
【請求項４】
前記マスク情報取得手段によって取得されたマスク情報で指定されている領域を表示しながら、前記撮像画像取得手段によって取得された撮像画像を動画表示させて、前記撮像画像を確定することによって前記背景画像を作成する背景画像作成手段をさらに備える、請求項１に記載の携帯端末。
【請求項５】
前記背景画像作成手段は、前記背景画像を作成する際、作成した前記背景画像と使用した前記マスク情報との関連付けを行い、
前記マスク情報取得手段は、前記背景画像にマスク情報が関連付けられている場合、当該関連付けられているマスク情報を取得することを特徴とする、請求項４に記載の携帯端末。
【請求項６】
さらに、前記画像合成手段による合成途中の状態を示す情報を作成する途中情報作成手段と、
前記途中情報作成手段が作成した途中情報を外部装置に送信する途中情報送信手段とを備える、請求項１に記載の携帯端末。
【請求項７】
前記途中情報作成手段は、未だ撮像画像が合成されていない領域を示す未領域情報を含むように前記途中情報を作成することを特徴とする、請求項６に記載の携帯端末。
【請求項８】
自端末以外の外部装置から前記途中情報が送信されてきた場合、前記画像合成手段は、前記途中情報に含まれる前記未領域情報で指定されている領域に前記撮像画像取得手段が取得した撮像画像を合成することを特徴とする、請求項７に記載の携帯端末。
【請求項９】
前記画像合成手段は、前記撮像画像取得手段が取得した前記撮像画像を前記領域内で動画表示されるように合成することを特徴とする、請求項１に記載の携帯端末。
【請求項１０】
前記画像合成手段は、ユーザからの指示に応じて、動画表示されている前記撮像画像を確定して、前記背景画像と確定した前記撮像画像とを合成することを特徴とする、請求項９に記載の携帯端末。
【請求項１１】
前記背景画像と前記マスク情報とは関連付けられており、
前記マスク情報取得手段は、前記背景画像に関連付けられているマスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１２】
前記マスク情報には複数の前記領域が指定されている場合、
前記画像合成手段は、ユーザの指示に応じて、前記撮像画像を合成するための前記領域を選択して、前記撮像画像と前記背景画像とを順次合成していくことを特徴とする、請求項１に記載の携帯端末。
【請求項１３】
さらに、少なくとも一つの前記背景画像を格納する背景画像格納部を備え、
前記背景画像取得手段は、前記背景画像格納部から前記背景画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１４】
さらに、画像を撮像するカメラ部を備え、
前記背景画像取得手段は、前記カメラ部が撮像した画像を前記背景画像として取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１５】
さらに、外部装置と通信する通信部を備え、
前記背景画像取得手段は、前記通信部を介して、外部装置から前記背景画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１６】
さらに、画像を撮像するカメラ部を備え、
前記撮像画像取得手段は、前記カメラ部が撮像した画像を前記撮像画像として取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１７】
さらに、外部装置と通信する通信部を備え、
前記撮像画像取得手段は、前記通信部を介して、外部装置から前記撮像画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１８】
さらに、少なくとも一つの前記マスク情報を格納するマスク情報格納部を備え、
前記マスク情報取得手段は、前記マスク情報格納部から前記マスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１９】
さらに、外部装置と通信する通信部を備え、
前記マスク情報取得手段は、前記通信部を介して、外部装置から前記マスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項２０】
背景についての背景画像と撮像された撮像画像とを合成する携帯端末の処理方法であって、
前記背景画像を取得するステップと、
前記撮像画像を取得するステップと、
ユーザの指示に応じて、前記撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するステップと、
取得した前記マスク情報で指定されている領域で、取得した前記撮像画像と前記背景画像とを合成するステップとを備える、方法。
【発明の詳細な説明】
【技術分野】  本発明は、画像合成可能な携帯端末に関し、より特定的には、背景についての画像と撮像された画像とを合成する携帯端末およびそれに用いられる画像合成方法に関する。
【背景技術】  従来、外部からリアルタイムな画像データを取得して撮影するカメラ機能を備えた端末装置として、端末装置内に予め保存されている記録画像と、カメラから入力されるリアルタイムな撮像画像とを、カメラ撮影時に複数合成するものがあった（例えば、特開２００１−１７７７６４号公報参照）。図１２は、特許文献１に記載された従来の画像合成装置の構成を示すブロック図である。
図１２において、従来の画像合成装置は、合成前画像記録部１００と、画像選択部１０１と、座標入力部１１０と、カメラ部１２０と、画像合成部１３０と、表示部１４０と、記録指示部１５０と、合成後画像記録部１５１とを含む。座標入力部１１０は、画面上の任意の領域を指定できる手書き入力部（ペン入力部）である。
画像合成部１３０には、合成前画像記録部１００に予め格納されている複数の画像データから画像選択部１０１が選択した画像データと、座標入力部１１０においてユーザがペン入力によって指定した形、大きさおよび位置等の領域に関する情報と、カメラ部１２０から出力されるリアルタイムの画像データとが入力される。
画像合成部１３０は、背景画像取得部１０１が選択した画像に対して、座標入力部１１０からの情報で示される領域に、カメラ部１２０からのリアルタイムな撮像画像を重ね合わせて画像を合成する。画像合成部１３０は、合成した画像を表示部１４０に表示させる。また、画像合成部１３０は、記録指示部１５０からの指示に応じて、指示があった瞬間の表示画像を合成後画像記録部１５１に格納する。このような処理によって、従来の画像合成装置は、装置内に予め格納されている記録画像に対して、撮像したリアルタイム画像をユーザが指定した領域に合成することができた。
上記従来の画像合成装置では、予め用意されている画像に合成画像をはめ込むために、表示画面上の任意の領域を指定するための座標入力部（手書き入力部やペン入力部等）が必要であった。ところが、上記従来の画像合成装置やパーソナルコンピュータなどと比べて、ハードウェア性能が低い端末装置（たとえば、携帯電話やデジタルスチルカメラ、ＰＤＡ、情報家電、腕時計、テレビ電話、テレビ等）では、手書き入力部等を設けることは困難である。したがって、これらの装置で、画面上の領域を指定するには、単純なキーやボタンのみを使用するしかない。ところが、画面上の領域を指定するためのキー操作やボタン操作は、かなり操作性が悪い。
それゆえ、本発明の目的は、複数の撮像画像を、単純なキーやボタンによる操作によって、容易な画像合成を行える携帯端末およびそれに用いられる画像合成方法を提供することである。
【発明の開示】
上記目的を達成するために、本発明は、以下のような特徴を有する。
本発明の第１の局面は、背景についての背景画像と撮像された撮像画像とを合成する携帯端末であって、背景画像を取得する背景画像取得手段と、撮像画像を取得する撮像画像取得手段と、ユーザの指示に応じて、撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するマスク情報取得手段と、マスク情報取得手段が取得したマスク情報で指定されている領域で、撮像画像取得手段が取得した撮像画像と背景画像取得手段が取得した背景画像とを合成する画像合成手段とを備える。
好ましくは、マスク情報には複数の領域が指定されており、複数の領域に予め順序が指定されており、画像合成手段は、順序に従って撮像画像を領域に順次合成していくとよい。
また、画像合成手段は、ユーザの指示に応じて、撮像画像を合成する領域の順序を変更してもよい。
好ましくは、マスク情報取得手段によって取得されたマスク情報で指定されている領域を表示しながら、撮像画像取得手段によって取得された撮像画像を動画表示させて、撮像画像を確定することによって背景画像を作成する背景画像作成手段をさらに備えるとよい。
より好ましくは、背景画像作成手段は、背景画像を作成する際、作成した背景画像と使用したマスク情報との関連付けを行い、マスク情報取得手段は、背景画像にマスク情報が関連付けられている場合、当該関連付けられているマスク情報を取得するとよい。
さらに、画像合成手段による合成途中の状態を示す情報を作成する途中情報作成手段と、途中情報作成手段が作成した途中情報を外部装置に送信する途中情報送信手段とを備えるとよい。
好ましくは、途中情報作成手段は、未だ撮像画像が合成されていない領域を示す未領域情報を含むように途中情報を作成するとよい。
また、自端末以外の外部装置から途中情報が送信されてきた場合、画像合成手段は、途中情報に含まれる未領域情報で指定されている領域に撮像画像取得手段が取得した撮像画像を合成するとよい。
好ましくは、画像合成手段は、撮像画像取得手段が取得した撮像画像を領域内で動画表示されるように合成するとよい。
より好ましくは、画像合成手段は、ユーザからの指示に応じて、動画表示されている撮像画像を確定して、背景画像と確定した撮像画像とを合成するとよい。
背景画像とマスク情報とは関連付けられている場合、マスク情報取得手段は、背景画像に関連付けられているマスク情報を取得するとよい。
マスク情報には複数の領域が指定されている場合、画像合成手段は、ユーザの指示に応じて、撮像画像を合成するための領域を選択して、撮像画像と背景画像とを順次合成していくとよい。
さらに、少なくとも一つの背景画像を格納する背景画像格納部を備え、背景画像取得手段は、背景画像格納部から背景画像を取得するとよい。
さらに、画像を撮像するカメラ部を備え、背景画像取得手段は、カメラ部が撮像した画像を背景画像として取得するとよい。
さらに、外部装置と通信する通信部を備え、背景画像取得手段は、通信部を介して、外部装置から背景画像を取得するとよい。
さらに、画像を撮像するカメラ部を備え、撮像画像取得手段は、カメラ部が撮像した画像を撮像画像として取得するとよい。
さらに、外部装置と通信する通信部を備え、撮像画像取得手段は、通信部を介して、外部装置から撮像画像を取得するとよい。
さらに、少なくとも一つのマスク情報を格納するマスク情報格納部を備え、マスク情報取得手段は、マスク情報格納部からマスク情報を取得するとよい。
さらに、外部装置と通信する通信部を備え、マスク情報取得手段は、通信部を介して、外部装置からマスク情報を取得するとよい。
本発明の第２の局面は、背景についての背景画像と撮像された撮像画像とを合成する携帯端末の処理方法であって、背景画像を取得するステップと、撮像画像を取得するステップと、ユーザの指示に応じて、撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するステップと、取得したマスク情報で指定されている領域で、取得した撮像画像と背景画像とを合成するステップとを備える。
上記本発明によれば、以下のような効果が生ずる。本発明の携帯端末は、ユーザの指示に応じて、撮像画像を合成したい領域を定義したマスク情報を取得するだけで、撮像画像を合成したい領域を指定することができ、単純なキーやボタンによる操作によって、容易に複数の画像を合成することができる。したがって、複数の画像の合成を簡単に行うことができるので、携帯電話やデジタルスチルカメラなどの画面上の任意の位置を指定しにくい携帯端末においても、撮像画像を合成したい領域（形やサイズ、位置等）を容易な操作（たとえば、キー操作やボタン操作等）で決定することができる。これにより、操作性が向上し、ユーザは入力操作する回数が減り、より簡単なユーザインタフェースを提供することができる。
また、撮像画像を合成する領域の順序を予め指定しておき、その順序にしたがって、自動的に撮像画像を合成していくこととなるので、ユーザはより簡単に画像合成を行うことができる。
領域の順序をユーザに変更させることで、ユーザの好みに応じた画像合成が可能となる。領域の順序の変更は、ボタンスイッチ等の簡便な入力手段によっても実現できる。
背景画像作成手段を設けることによって、撮像時に画像とマスク枠だけの重ね合わせ表示が可能となり、マスクを使用したときの領域位置を確認しながら、背景画像の撮影を行うことができる。これにより、ユーザのイメージに合致した背景画像の作成が可能となる。
背景画像作成手段が作成した撮像画像とマスク情報とを関連付けることによって、マスク情報取得手段は、当該関連付けられているマスク情報を自動的に取得することとなる。したがって、ユーザは、イメージに合致した記録画像を作成した場合、再度、マスク情報を選択する必要がなくなる。
途中情報を外部装置に送信することで、外部装置は、合成途中の画像を加工することができる。
途中情報に未領域情報を含ませることによって、外部装置は、撮像画像が合成されていない領域にあらたに撮像画像を合成させることができる。
また、逆に、携帯端末は、途中情報を受信することによって、撮像画像が貼り付けられていない領域に撮像画像を合成することができる。このように、複数の携帯端末間で、途中情報をやり取りすることによって、離れた場所にいる者の間でも、顔写真や風景等が合成された画像を作成し、交換することができる。
画像合成手段は撮像画像を領域内で動画表示されるようにするので、ユーザは、撮像画像を確認しながら、画像合成を行うことができる。
また、ユーザは、動画表示されている画像を確定することによって、画像合成を指示することができるので、シャッター感覚で画像合成を行うことができる。
また、単に、背景画像にマスク情報が関連付けられている場合、自動的にマスク情報が選択されることとなる。したがって、ユーザによるマスク情報選択の手間が省かれる。
マスク情報で複数の領域が指定されている場合、領域の順序をユーザに選択させることで、ユーザの好みに応じた画像合成が可能となる。領域の順序の選択は、ボタンスイッチ等の簡便な入力手段によっても実現できる。
背景画像を予め格納しておくことによって、携帯端末のみで画像合成が可能となる。また、背景画像をカメラ部から取得することによって、ユーザの好みに応じた背景画像の作成が可能となる。また、背景画像を通信によって取得することによって、様々なバリエーションの背景画像を取得することができる。
撮像画像をカメラ部から取得することによって、カメラ内蔵またはカメラ外付けの携帯端末を用いるだけで、背景画像との合成が可能となる。また、撮像画像を通信によって取得することによって、離れた場所にいる人等の画像を用いて合成を行うことができる。
マスク情報を予め格納しておくことによって、携帯端末のみで画像合成が可能となる。また、マスク情報を通信によって取得することによって、様々なバリエーションのマスク情報を取得することができる。
【図面の簡単な説明】  図１は、本発明の第１の実施形態に係る画像合成携帯端末の構成を示すブロック図である。
図２は、マスク情報の一例を示す図である。
図３Ａは、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図３Ｂは、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図３Ｃは、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図３Ｄは、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図３Ｅは、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図４は、第１の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。
図５は、本発明の第２の実施形態に係る画像合成携帯端末の構成を示すブロック図である。
図６Ａは、第２の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図６Ｂは、第２の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図６Ｃは、第２の実施形態に係る画像合成携帯端末の動作を説明するための図である。
図７は、第２の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。
図８は、第３の実施形態に係る画像構成装置の動作を示すフローチャートである。
図９は、第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャートである。
図１０は、第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャートである。
図１１Ａは、第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図である。
図１１Ｂは、第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図である。
図１２は、特許文献１に記載された従来の画像合成携帯端末の構成を示すブロック図である。
【発明を実施するための最良の形態】  （第１の実施形態）
図１は、本発明の第１の実施形態に係る画像合成携帯端末の構成を示すブロック図である。当該画像合成携帯端末は、キーやボタンなどを用いてユーザからの入力を受け付ける装置で、例えば、携帯電話、デジタルスチルカメラ、ＰＤＡ、情報家電、腕時計、テレビ電話、テレビ等である。
図１において、画像合成携帯端末は、合成前画像記録部２００と、背景画像取得部２０１と、マスク記録部２１０と、マスク情報取得部２１１と、カメラ部２２０と、撮像画像取得部２２１と、画像合成部２３０と、表示部２４０と、記録指示部２５０と、合成後画像記録部２５１とを含む。
合成前画像記録部２００には、複数の画像、図形、文字などが記録されている。合成前画像記録部２００に格納されている画像を記録画像という。記録画像といった場合、写真画像以外にも図形や文字なども含まれているものとする。これら記録画像のデータは、装置内に予め保存されているデータや、通信によって取得して装置に保存されたデータ、装置に設けられた外部接続端子から入力されたデータ、メモリカードに保存されているデータ、合成後画像記録部２５１に保存されたデータ等からなる。なお、合成前画像記録部２００には、上記のような記録画像の他に、画像合成時に使用する縦や横のずれや、透明度、色数、カメラの露出、画像をひずませる、画像を変形する、画像の明度を反転させる等の付加的情報が格納されていてもよい。また、２つ以上の関連付けられた画像やカメラで撮影したデータが格納されていても良い。
背景画像取得部２０１は、合成前画像記録部２００に格納されている記録画像データの中から特定のデータを選択し、選択したデータを画像合成部２３０に入力する。背景画像取得部２０１が選択した記録画像は、画像合成部２３０において、背景のための画像として用いられる。したがって、以下、背景画像取得部２０１によって取得された記録画像のことを背景画像ということにする。背景画像取得部２０１での画像の選択には、画像合成携帯端末内に設けられたキーやボタン（図示せず）が利用される。背景画像取得部２０１では、予め登録されている画像を選択するだけであるので、キーやボタン操作のみで容易に所望の画像を選択することができる。
マスク記録部２１０は、複数のマスク情報を格納している。ここで、マスク情報とは、背景画像取得部２０１で選択されたデータに対して、カメラ部２２０からの画像を合成する領域を定義した情報である。マスク情報は、１つ以上のマスクエリアによって定義される。マスクエリアとは、形状やサイズ、画面上の位置等、カメラ部２２０による撮像画像を合成するための領域を示す情報である。マスク記録部２１０に格納されているマスク情報は、装置内に予め保存されているデータや、通信によって取得したデータ、装置に設けられた外部接続端子から入力されるデータ、メモリカードに保存されているデータ等である。このように、マスク情報を、通信を用いてダウンロードしたり、メモリカードから取得することにより、ユーザが気に入ったマスク情報を、自由に更新、追加することが可能となる。上記のように、マスク情報を外部の装置から取得するには、画像合成携帯端末内にモデムや外部入力端子、赤外線ポート等の通信部が必要である。なお、マスクエリアには透明度、色数、画像をひずませる、画像を変形する、画像の明度を反転させる、ブルーバック合成のようにカメラ画像内の特定の色は画像の色を使用する等の付加的情報を含んでいてもよい。
図２は、マスク情報の一例を示す図である。図２に示すように、マスク情報の項目は、「エリアナンバー」項目、「形」項目、「サイズ」項目、「位置」項目からなる。「エリアナンバー」項目では、「形」項目以降で定義されているマスクエリアの番号が示される。エリアナンバーは、当該マスクエリアの順序を示す。画像合成部２３０は、エリアナンバーが若い順に、カメラ部２２０で撮像された画像を合成する。「形」項目では、マスクエリアの平面形状が示される。「サイズ」項目では、「形」項目で示した平面形状のサイズが示される。「位置」項目では、「形」項目および「サイズ」項目で特定された平面形状の画面上での位置が示される。なお、図２に示したように（エリアナンバーが２の場合のように）、「サイズ」項目および「位置」項目をまとめて定義してもよい。なお、サイズや位置はドット数でも、画像に対する百分率でもよく、画像合成時にサイズや位置が特定できれるような情報であればよい。図２の例では、各マスクエリアは重なっていないが、マスクエリア同士は隣接していても、重なっていてもよいが、重なっている場合、どちらの画像データを使用するか特定する情報を付加しておく必要がある。また、この例のように平面形状でマスクエリアを指定せずに、一ドットごとに画像データを使用するのか、第一回目のカメラの画像を使用するのかといった情報を登録しておくようにしてもよい。
マスク情報取得部２１１は、ユーザの指示に応じて、マスク記録部２１０に格納されているマスク情報から、所望のマスク情報を選択し、画像合成部２３０に入力する。マスク情報取得部２１１でのマスク情報の選択には、画像合成携帯端末内に設けられたキーやボタン（図示せず）が利用される。マスク情報取得部２１１では、予め登録されているマスク情報を選択するだけであるので、キーやボタン操作のみで好みの撮像画像合成エリアのレイアウトを選択することができる。図２に示したように、マスク情報は、視覚的には判断しにくいマスクエリアに関する情報からなるので、マスク情報取得部２１１は、表示部２４０にマスク情報と対応する画像を表示させて、マスク情報をユーザに選択させる（図１上、マスク情報取得部２１１から表示部２４０への矢印省略）。なお、マスク情報を画像合成部２３０に入力する際、マスク情報取得部２１１は、マスクエリアを画面に対して左右反転、上下反転、回転、変形するなどの加工を加えてもよい。
カメラ部２２０は、ＣＣＤやＣＭＯＳセンサ等の固体撮像装置であって、外部を撮像して、リアルタイムな撮像画像データを、逐次出力する。撮像画像取得部２２１は、カメラ部２２０から撮像画像を取得して、画像合成部２３０に入力する。撮像画像取得部２２１は、定期的に（たとえば、１秒間隔毎に）、撮像画像を画像合成部２３０に入力することとなるので、カメラ位置に応じたリアルタイムな撮像画像が画像合成部２３０に入力されることとなる。
画像合成部２３０は、背景画像取得部２０１からの画像、マスク情報取得部２１１からマスク情報、および撮像画像取得部２２１からのリアルタイム画像を入力として受け付け、背景画像取得部２０１からの画像に対して、マスク情報で指定されている領域（エリア）に撮像画像取得部２２１からの撮像画像を貼り付けて、表示部２４０に画面表示させる。また、画像合成部２３０は、記録指示部２５０から合成した画像の記録が指示されると、撮像画像取得部２２１からの撮像画像を固定して、指示された時点での合成画像を合成後画像記録部２５１に格納する。
表示部２４０は、画像合成部２３０から得た表示画面をリアルタイムに表示する。このとき、表示部２４０は、カメラ部２２０と表示部２４０との位置関係に応じて、画像の左右を反転させるような表示を行ってもよい。例えば、カメラ部２２０と表示部２４０との位置関係が、装置の前面と背面との関係にある場合、表示部２４０は、画像合成部２３０から得た画像をそのままリアルタイムに表示する。一方、カメラ部２２０と表示部２４０とが同じ面に配置されている場合、表示部２４０は、画像合成部２３０から得た画像をそのままリアルタイムに表示してもよいし、左右反転を行ってカメラ部２２０から得た画像が鏡に映ったように見えるように表示してもよい。
記録指示部２５０は、ユーザの指示を受け付け、カメラ部２２０から出力されているリアルタイム画像（カメラ部２２０から出力されている動画像）を確定するシャッターとしての機能を有し、表示中の合成画像を合成後画像記録部２５１へ記録するよう画像合成部２３０に対して指示する。記録指示部２５０での指示は、画像合成携帯端末内に設けられたキーやボタン（図示せず）が押下されることや、セルフタイマー（図示せず）の起動等によって行われる。
合成後画像記録部２５１は、画像合成部２３０から送られてくる画像を、装置内のＲＯＭやＲＡＭなどのメモリに保存したり、通信により外部に保存したり、装置に設けられた外部接続端子から出力したり、メモリカードに保存したりする。なお、合成後画像記録部２５１と合成前画像記録部２００とは、別である必要はなく、同一のものでもよい。また、合成前画像記録部２００、マスク記録部２１０および合成後画像記録部２５１は、ハードウェア的には、共通のメモリで実現できる。
図３は、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。図４は、第１の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。以下、図３および図４を参照しながら、画像合成携帯端末の動作について説明する。
まず、背景画像取得部２０１は、合成前画像記録部２００に格納されている複数の記録画像の中から、ユーザ所望の背景画像を選択し、画像合成部２３０に入力する（ステップＳ３０１）。例えば、背景画像取得部２０１は、図３Ａに示すような背景画像を選択したとする。なお、選択方法としては、合成前画像記録部２００に格納されている複数の記録画像の名称などの情報をリスト表示してユーザに選択させるようにしてもよいし、記録画像を順番に画面表示して選択させるようにしてもよいし、まとめて複数の記録画像を一画面上に表示してその中から選択させるようにしてもよい。
次に、マスク情報取得部２１１は、複数のマスク情報の中から、ユーザ所望のマスク情報を選択し、画像合成部２３０に入力する（ステップＳ３０２）。例えば、マスク情報取得部２１１は、図３Ｂに示すようなマスク情報を選択したとする。この場合、マスクエリアは、エリアナンバーが“１”の楕円形のマスクエリア１１およびエリアナンバーが“２”の三角形のマスクエリア１２の２つからなる。図２に示したように、マスク情報は、抽象的に表現されているので、マスク情報の選択にあたって、マスク情報取得部２１１は、マスク情報を図３Ｂに示すような画像を表示したり、または図３Ｃに示すように背景画像とマスク画像とを合成したような画像を表示して、ユーザに選択させる。ここで、マスクエリア１１やマスクエリア１２は、真っ白で表され、それ以外は、透明な画像となっている。
次に、画像合成部２３０は、処理中のエリアナンバーが“１”であるとする（ステップＳ３０３）。
次に、画像合成部２３０は、ステップＳ３０１で選択された背景画像（図３Ａ参照）に対して、選択されたマスク情報に相当する画像（図３Ｂ参照）を貼り付け（図３Ｃ参照）、現在処理中のエリアナンバーのマスクエリアに、撮像画像取得部２２１からのリアルタイム画像をはめ込んで、表示部２４０に表示させる（ステップＳ３０４）。このとき、表示部２４０に表示される画像の一例が、図３Ｄである。動作開始時では、エリアナンバーは“１”である。したがって、図３Ｄにおいて、エリアナンバーが“２”のマスクエリア１２には、カメラ部２２０からの画像がはめ込まれていない。図３Ｄに示すように、未処理のマスクエリア１２は、真っ白の画像となっている。ステップＳ３０４の段階で、カメラ部２２０を動かせば、カメラ部２２０からは、定期的に撮像画像が送られてくるので、現在処理中のマスクエリア内の映像もそれに合わせて変化することとなる。すなわち、画像合成部２３０は、現在処理中のマスクエリアにカメラ部２２０が撮像した画像を動画表示する。
図３の例では、画像合成部２３０は、一回目のステップ３０３で、図３Ａの画像と図３Ｂのマスクとを重ねて、図３Ｃのようにして、図３Ｄの楕円形のマスクエリア１１にカメラ部２２０からのリアルタイム画像を表示する。画像合成部２３０は、二回目のステップ３０３で、図３Ｅのように楕円形のマスクエリア１１に撮影済みの画像を表示し、三角形のマスクエリア１２にカメラ部２２０からのリアルタイム画像を表示する。
なお、未処理のマスクエリア内は白で塗りつぶさなくても、例えば黒色などその他の色で塗りつぶしたり、特定の模様で塗りつぶしたりするなど、未処理のマスクエリアであることがわかる表示方法であればよい。また、画像合成部２３０は、ステップＳ３０１で選択した画像と撮影済みの画像との２つの画像を重ね合わせて表示画面を生成するだけでなく、ステップＳ３０１で選択した画像と撮影済みの画像とを合成して１つの画像に変換処理した後、変換処理後の画像と撮像画像とを表示するような処理を行ってもよい。
次に、画像合成部２３０は、記録指示部２５０からのシャッター指示で、リアルタイムに入力されるカメラ部２２０からの画像を確定し、合成画像を確定する（ステップＳ３０５）。このとき、画像合成部２３０は、マスクエリアに貼り付けられた撮像画像を背景画像に合成した途中画像を一時記憶しておく。なお、画像合成部２３０は、実際に合成せずに、撮像画像を貼り付けるエリアと撮像画像と背景画像とを関連付けることによって途中画像を一時記憶しておいてもよい。なお、入力確定した後、ユーザがキャンセルを要求することにより、画像合成部２３０は、マスクエリアに合成した最新の画像を消去して、再度、マスクエリアへリアルタイムな画像を表示することで、再撮影できる。これは周知の処理であって、画像合成携帯端末が、処理後の画像と処理前の画像とを記憶しておくことによって実現できる。
次に、画像合成部２３０は、ステップＳ３０２で選択されたマスク情報におけるエリアナンバーと現在処理中のエリアナンバーとを比較して、残りのマスクエリアが存在するか否かを判断する（ステップＳ３０６）。残りのマスクエリアが存在する場合、画像合成部２３０は、画像合成処理の中断指示が与えられているか否かを判断し（ステップＳ３０７）、中断指示が与えられていない場合、処理中のエリアナンバーを一つ増加させ（ステップＳ３０８）、ステップＳ３０４の動作に戻る。一方、ステップＳ３０７の動作において、中断指示が与えられていると判断した場合、画像合成部２３０は、ステップＳ３０９の動作に進む。これにより、エリアナンバーで指定されている順に、撮像画像取得部２２１が取得したカメラ部２２０からの撮像画像が合成されていくこととなる。
一方、ステップＳ３０６の動作において、残りのマスクエリアが存在しないと判断した場合、画像合成部２３０は、ステップＳ３０９の動作に進む。ステップＳ３０９の動作において、画像合成部２３０は、現在表示中の合成画面を一つの画像に変換処理し、最終的な合成画像を作成する。なお、ステップＳ３０７で中断指示が与えられていると判断された結果、ステップＳ３０９の動作に遷移した場合、画像合成部２３０は、撮像画像が貼り付けられていないマスクエリア内を白や黒色、特定の模様で塗りつぶすなどして、一つの画像に変換処理する。この塗りつぶし処理は、予め決められている方法にしたがって行われる。
なお、ステップＳ３０７で中断指示が与えられていると判断された結果、ステップＳ３０９の動作に遷移した場合、画像合成部２３０は、撮像画像が貼り付けられていないマスクエリア内を白や黒色、特定の模様で塗りつぶすなどして、一つの画像に変換処理し、一つの画像に変換処理し、合成後画像記録部２５１に格納する以外にも、合成途中の状態を示す途中情報を作成し、後で合成処理を再開できるようにしてもよい。ここで、途中情報は、画像合成携帯端末で合成された途中画像と、使用したマスク情報と、未だ撮像画像が合成されていないマスクエリアのエリアナンバーを示す未領域情報とを含むこととする。また、途中情報は、途中画像を再現するために必要な複数の画像とマスク情報とこれまでの合成ステップとを含んだものでもよい。
その後、画像合成部２３０は、記録指示部２５０からの指示に応じて、合成画像を合成後画像記録部２５１に格納し（ステップＳ３１０）、処理を終了する。
このように、第１の実施形態に係る画像合成携帯端末では、予め登録されているマスク情報をマスク情報取得部２１１で選択し、カメラ部２２０からの撮像画像を合成したい領域を、マスク情報で指定されている順に従って決定し、その順番に従って、画像合成部２３０は、合成前画像と撮像画像とを合成していく。マスク情報取得部２１１では、マスク情報を選択するだけでよいので、携帯電話等、限られたキーボタンしか存在しない装置であっても、容易に合成領域を決定することが可能となる。したがって、合成画像の形やサイズ、位置等の領域を、単純なキーやボタンによる容易な操作で決定し、複数の画像を容易に合成することができる画像合成携帯端末を提供することが可能となる。
なお、第１の実施形態において、画像合成部２３０は、マスク情報で指定されているエリアナンバーの順序にしたがって、撮像画像取得部２２１が取得した撮像画像を、順に、マスクエリアに貼り付けることとしたが、ユーザの指示に応じて、撮像画像を貼り付けるマスクエリアの順序を変更するようにしてもよい。具体的には、画像合成部２３０は、図４におけるステップＳ３０３において、ユーザからマスクエリアへの撮像画像の貼り付け順序の変更を行うか否かを指定させ、順序の変更を行うと指定された場合、ユーザにマスクエリアを選択させる。そして、画像合成部２３０は、ステップＳ３０４において、選択されたマスクエリアに撮像画像が貼り付けられるように表示画面を生成する。次に、画像合成部２３０は、図４におけるステップＳ３０８において、残されたマスクエリアをユーザに選択させて、撮像画像の貼付を継続する。このように、マスクエリアを貼り付ける順序をユーザに選択させることは、ボタン操作だけで選択可能であるので、携帯端末であっても、実現可能である。
なお、マスク情報には、予めエリアナンバーが設定されていなくてもよい。この場合は、画像合成部２３０は、ユーザに順序の変更を指定させることなく、ユーザに撮像画像を貼り付けるべきマスクエリアを指定させて画像を合成する。
なお、第１の実施形態では、マスクエリアに撮像画像を貼り付けるように画像合成を行うこととしたが、撮像画像の全部または一部が透けるように合成してもよく、また撮像画像の解像度や色合い、縦横比率等が変わるようにして合成してもよい。このように、マスクエリアに撮像画像を合成する方法は、上記の例に限られるものではない。
なお、第１の実施形態において、画像合成部２３０は、合成前画像記録部２００に格納されている背景画像を用いることとしたが、撮像画像取得部２２１が取得した撮像画像を背景画像として用いてもよい。また、画像合成携帯端末に通信部が備わっている場合、画像合成部２３０は、通信部を介して、サーバや他の携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、監視カメラ等の外部装置から背景画像を取得してもよい。
なお、カメラ部２２０は、画像合成携帯端末内に内蔵されているものであっても、外付けのものであってもよい。
なお、画像合成携帯端末に通信部が備わっている場合、撮像画像取得部２２１は、通信部を介して、サーバや他の携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、監視カメラ等の外部装置から電子メール等を利用して、撮像画像を取得してもよい。また、マスク情報取得部２１１も、電子メール等を利用して、マスク情報を外部装置から取得してもよい。また、背景画像取得部２０１も、電子メール等を利用して、背景画像を外部装置から取得してもよい。
なお、背景画像取得部２０１は、カメラ部２２０が撮像した画像を背景画像として取得してもよい。
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像合成携帯端末の構成を示すブロック図である。図５において、図１に示した第１の実施形態と同様の構成要素については、同一の参照符号を付し、説明を省略する。
図５において、画像合成携帯端末は、合成前画像記録部２００と、背景画像取得部４０１と、マスク記録部２１０と、マスク情報取得部２１１と、カメラ部２２０と、撮像画像取得部２２１と、画像合成部４０２と、表示部２４０と、記録指示部２５０と、合成後画像記録部２５１とを含む。
背景画像取得部４０１は、合成前画像記録部２００に格納されている複数の記録画像の中から、ユーザ所望のデータを選択するか、もしくは、空白データ（全て透明なデータ）を選択し、画像合成部４０２に入力する。なお、空白データに限定されるものではなく、合成画像を使用しないことを示す専用の画像データや合成画像を使用しないことを示す文字列データ等、合成画像を使用しないことがわかるデータであればよい。
画像合成部４０２は、背景画像取得部４０１からの画像データを受け取った場合、第１の実施形態と同様、マスクエリア内の領域に撮像画像取得部２２１からの撮像画像をはめ込んで、背景画像取得部４０１からの画像と合成して、表示部２４０に画面表示させる。画像合成部４０２は、背景画像取得部４０１から画像データを使用しない指示（空白データ）を受け取った場合、マスク情報取得部２１１が選択したマスク情報に基づくマスクエリア外の領域に、撮像画像取得部２２１からの撮像画像を取り込んで、表示部２４０に画面表示させる。なお、この時、画像合成部４０２は、マスクエリアを枠線のみで表して、マスクエリア内にも撮像画像を表示させるようにしてもよい。カメラ部２２０を動かすことによって、マスクエリア外の背景画像も動画的に変化する。ユーザは、マスクエリアが背景画像上において、最適の位置に配置された瞬間、記録指示部２５０のシャッターボタンを押下する。画像合成部４０２は、記録指示部２５０からのシャッター指示に応じて、マスクエリアが合成された背景画像を合成前画像記録部２００に格納する。なお、画像合成部４０２は、マスクエリアを合成することなく背景画像をそのまま合成前画像記録部２００に格納してもよい。
図６は、第２の実施形態に係る画像合成携帯端末の動作を説明するための図である。図７は、第２の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。以下、図６および図７を参照しながら、画像合成携帯端末の動作について説明する。なお、図７において、図４で示した処理内容と同じ部分については、同一のステップ番号を付し、説明を省略する。
記録画像の選択（ステップＳ３０１）、マスク情報の選択（ステップＳ３０２）およびエリアナンバーの初期化（ステップＳ３０３）が行われた後、画像合成部４０２は、背景画像取得部４０１からの通知画像が空白データであるか否かを判断する（ステップＳ５０１）。空白データでない場合、画像合成部４０２は、第１の実施形態と同様、ステップＳ３０４〜Ｓ３１０の処理を行う。
一方、空白データである場合、画像合成部４０２は、選択されたマスクエリア外に、カメラ部２２０からの撮像画像を取り込み、合成画像を表示部２４０に動画表示させる（ステップＳ５０２）。なお、マスクエリアを示す枠は、枠の表示でなくても、明度が反転するなどマスクエリアがわかる表示方法であればよい。
空白データである場合、例えば、図６に示すように、画像合成部４０２は、撮像画像取得部２２１からのリアルタイム画像を図６Ａに示す画像のマスクエリア外１０に取り込んで、図６Ｂのようにマスクエリア外１０に撮像画像取得部２２１からの撮像画像をリアルタイム表示する。
次に、画像合成部４０２は、記録指示部２５０からのシャッター指示で、撮像画像取得部２２１からの撮像画像を固定し、保存する合成画像を確定する（ステップＳ５０３）。なお、この確定画像にはステップＳ５０２で表示されている枠が含まれていても、含まれていなくてもよい。図６Ｃは、枠が示されていない例である。また、明度が反転するなどマスクエリアがわかる表示方法を行っていた場合、この処理を行った画像でも、行わなかった画像でも、どちらを使用してもよい。
その後、画像合成部４０２は、ステップＳ５０３で確定した合成画像を合成前画像記録部２００に記録画像として保存し（ステップＳ５０４）、処理を終了する。
このように、第２の実施形態では、背景画像取得部４０１において空白を選択できるようにして、撮像時に背景画像およびマスク枠だけを重ね合わせた表示画面を表示して、保存しておくことが可能となる。したがって、マスクを使用したときの撮像領域を確認しながら、背景に使用すべき画像を予め撮像しておくことができるので、最適な位置に顔写真等をマスクすることができる背景画像を作成することが可能となる。
なお、上記の実施形態では、保存したオリジナルの記録画像を使用する場合、再度、ユーザはマスク情報を選択する必要があり、二度手間となる。したがって、ステップＳ５０４に動作において、画像合成部２３０は、撮像した背景画像と選択したマスク情報とを関連付けて、合成前画像記録部２００に記録し、画像合成時に、関連付けられているマスク情報を自動的に取得ようにしてもよい。これにより、ユーザは、マスク情報の選択する手間が省ける。背景画像とマスク情報との関連付けは、背景画像に対応するマスク情報を特定するための管理テーブルを合成前画像記録部２００内で格納しておくようにしてもよいし、マスク情報を特定するようなデータ識別子を背景画像データに付加しておいてもよいし、マスク情報そのものを合成前画像記録部２００に格納するようにしておいてもよい。
上記のようにマスク情報と背景画像との関連付けは、マスク情報および／または背景画像を提供する第三者によって予めなされていてもよい。
（第３の実施形態）
第３の実施形態では、合成前画像記録部２００に格納されている画像にマスク情報が関連付けられている場合があるときの画像合成携帯端末について説明する。画像合成携帯端末のブロック図については、図１を援用する。第１の実施形態と異なるのは、合成前画像記録部２００に格納されている画像とマスク情報との関連付けは、合成前画像記録部２００に格納されている管理テーブルで行うものとする。当該管理テーブルには、合成前画像記録部２００に格納されている画像に対応するマスク情報のデータ識別子が登録されているものとする。
図８は、第３の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。図８において、第１の実施形態と同様の動作を行うステップについては、同一のステップ番号を付し、説明を省略する。
記録画像の選択（ステップＳ３０１）が行われた後、背景画像取得部２０１は、合成前画像記録部２００に格納されている管理テーブルを参照して、選択された記録画像にマスク情報が関連付けがあるか否かを判断する（ステップＳ６０１）。マスク情報の関連付けがない場合、背景画像取得部２０１は、その旨を画像合成部２３０に通知する（ステップＳ６０２）。その後、画像合成部２３０は、第１の実施形態と同様にして、ステップＳ３０２以下の処理を行う。
一方、マスク情報の関連付けがある場合、背景画像取得部２０１は、選択された画像に関連付けられているマスク情報のデータ識別子を画像合成部２３０に通知する（ステップＳ６０３）。次に、画像合成部２３０は、通知されたマスク情報のデータ識別子に相当するマスク情報をマスク情報取得部２１１に選択させ、マスク情報を取得し（ステップＳ６０４）、ステップＳ３０３以下の処理を行う。
このように、第３の実施形態では、背景に採用する記録画像とマスク情報とが関連付けられているので、背景画像に対して選ぶべき最適のマスク情報が自動的に選択されることとなり、ユーザによるマスク情報の選択の手間を省略することが可能となる。
なお、マスク情報取得部２１１は、指定されているマスク情報がマスク記録部２１０に格納されていない場合、通信部（図示せず）に、ネットワーク等を介して、外部装置（図示せず）からマスク情報を取得させる実施形態も考えられる。
なお、記録画像に関連付けられているマスク情報がマスク記録部２１０から削除等されたら、マスク情報取得部２１１は、データ識別子を参照してマスク情報を取得することができなくなる。このような状況を回避するために、画像合成携帯端末は、関連付けられているマスク情報を、別途保存しておくようにしてもよいし、削除・変更等ができないようにしておいてもよい。
（第４の実施形態）
第４の実施形態では、通信部を備えた画像合成携帯端末を用いることとする。第４の実施形態に係る画像合成携帯端末の機能ブロック構成は、通信部を備える以外は、第１の実施形態の場合と同様であるので、図１を援用することとする。当該通信部（図示せず）は、通信で得られたデータを画像合成部２３０に送信したり、画像合成部２３０からのデータを外部に送信したりすることができる。第４の実施形態では、複数の画像合成携帯端末を用いて最終的な合成画像を作成することができる。以下では、簡単のために、２台の画像合成携帯端末として、第１および第２の画像合成携帯端末を用いて最終的な合成画像を作成する例を示すが、後述するように、３台以上の画像合成携帯端末を用いる場合の動作についても、以下の説明で明らかである。
図９は、第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャートである。図９において、図４に示した動作と同様の動作については、同一のステップ番号を付し、説明を省略する。図１０は、第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャートである。図１１は、第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図である。以下、図９、図１０および図１１を参照しながら、第４の実施形態に係る画像合成携帯端末の動作について説明する。
まず、第１の画像合成携帯端末の画像合成部２３０は、ステップＳ３０６において、マスクエリアの残りが存在すると判断した場合、途中まで作成された途中画像を第２の画像合成携帯端末に送信すべき旨の指示がユーザから与えられるか否かを判断する（ステップＳ７０１）。
送信指示が与えられていない場合、画像合成部２３０は、ステップＳ３０７の動作に進み、その他のマスクエリアへの画像合成を継続する。
一方、送信指示が与えられている場合、画像合成部２３０は、合成途中の状態を示す途中情報を作成する（ステップＳ７０２）。ここで、途中情報は、第１の画像合成携帯端末で合成された途中画像と、使用したマスク情報と、未だ撮像画像が合成されていないマスクエリアのエリアナンバーを示す未領域情報とを含むこととする。次に、画像合成部２３０は、通信部（図示せず）に当該途中情報を第２の画像合成携帯端末宛に送信させ（ステップＳ７０３）、処理を終了する。なお、画像合成部２３０は、途中情報を電子メール等を用いて第２の画像合成携帯端末に送信する。このとき、画像合成部２３０は、自動的に途中情報を電子メールのフォーマットに変換して、第２の画像合成携帯端末に送信するとよい。
次に、図１０を参照しながら、途中情報が送信されてきた第２の画像合成携帯端末の動作について説明する。図１０において、図９に示した動作と同様の動作については、同一のステップ番号を付し、説明を省略する。
まず、第２の画像合成携帯端末の画像合成部２３０は、通信部（図示せず）を介して、第１の画像合成携帯端末からの途中情報を受信する（ステップＳ８０１）。電子メールで途中情報が送られてきた場合、第２の画像合成携帯端末は、メールソフトから下記の動作を行うプログラムが自動または手動で立ち上がるようにしておくとよい。
次に、画像合成部２３０は、途中情報内の未領域情報で指定されているエリアナンバーを参照して、次に撮像画像を合成すべきマスクエリアを認識する（ステップＳ８０２）。次に、画像合成部２３０は、ステップＳ８０２で認識したマスクエリアのエリアナンバーを処理中のエリアナンバーとして（ステップＳ８０３）、ステップＳ３０４の動作に進み、残されたマスクエリアへの撮像画像の合成を継続する。第２の画像合成携帯端末においても、その後途中情報をステップＳ７０１〜Ｓ７０３の処理において、第１の画像合成携帯端末等の他の画像合成携帯端末へ送信することができる。このように、次から次へと途中情報が他の画像合成携帯端末へ送信されることによって、３台以上の画像合成携帯端末を用いて最終的な合成画像を作成することができる。
第２の画像合成携帯端末から途中情報が送信されてきた場合、第１の画像合成携帯端末は、図１０に示した動作と同様にして、マスクエリアへの撮像画像の合成を継続すればよい。第１または第２の画像合成携帯端末で作成された最終的な合成画像は、電子メール等を用いて、相互に交換し合うことができる。この場合、画像合成携帯端末は、作成した最終的な合成画像を電子メールで送信することができるようにヘッダ等を付加して自動的にフォーマット変換して、他の画像合成携帯端末に送信するとよい。
具体的には、図１１Ａに示すように、第１の画像合成携帯端末は、マスクエリア１１に撮像画像が合成された途中画像を作成された場合、作成した途中画像と、用いたマスク情報と、マスクエリア１２にエリアナンバーを指定することによってマスクエリア１２に未だ撮像画像が合成されていないことを示している未領域情報とを含むようにして、途中情報を作成し、第２の画像合成携帯端末に送信する。
図１１Ｂに示すように、途中情報を受信した第２の画像合成携帯端末は、マスクエリア１２に自端末が取得した撮像画像を貼り付けて、最終的な合成画像を完成させる。その後、第２の画像合成携帯端末は、第１の画像合成端末等の他の外部装置に合成画像を送信する。この送信は、自動的に行われても良いし、ユーザの指示に基づいて行われても良い。
このように、第４の実施形態では、未だ撮像画像が貼り付けられていない領域を示す情報を含む途中画像が複数の携帯端末間でやり取りされることとなるので、複数の携帯端末を用いて最終的な合成画像を作成することができる。これにより、離れた場所にいる者等の画像を取り込んで、合成画像を作成することができる。
なお、第４の実施形態に示した動作を、第１〜第３の実施形態において採用してもよいことは言うまでもない。
なお、第４の実施形態において、第１の画像合成携帯端末は、撮像画像が貼り付けられた途中画像が送信されることとしたが、背景画像のみを途中画像として、マスク情報および未領域情報を含めて途中情報を送信してもよい。この場合、第１の画像合成携帯端末は、ステップＳ３０２の後、途中送信を行うか否かを判断すればよい。このような途中情報を受信した第２の画像合成携帯端末は、図１０に示した動作と同様にして、撮像画像を合成する。このような動作は、第２の画像合成携帯端末が、通信部を用いて、背景画像とマスク情報とが関連付けられている情報を取得するのと同様である。第１の画像合成携帯端末が、背景画像とマスク情報とが関連付けられている情報を送信するのと同様である。
【産業上の利用可能性】  本発明にかかる画像合成携帯端末およびそれに用いられる方法は、合成画像の形やサイズ、位置等の領域を、単純なキーやボタンによる容易な操作で決定することができるものであり、携帯端末等の分野において、有用である。
【図１】
2004039068.tif 000003
【図２】
2004039068.tif 000004
2004039068.tif 000005
【図４】
2004039068.tif 000006
【図５】
2004039068.tif 000007
2004039068.tif 000008
【図７】
2004039068.tif 000009
【図８】
2004039068.tif 000010
【図９】
2004039068.tif 000011
【図１０】
2004039068.tif 000012
2004039068.tif 000013
【図１２】
2004039068.tif 000014
【手続補正書】
【提出日】平成17年4月22日(2005.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
背景についての背景画像と撮像された撮像画像とを合成する携帯端末であって、
前記背景画像を取得する背景画像取得手段と、
前記撮像画像を取得する撮像画像取得手段と、
ユーザの指示に応じて、前記撮像画像を合成するための複数の領域が指定されているマスク情報を取得するマスク情報取得手段と、
前記マスク情報取得手段が取得したマスク情報で指定されている領域で、前記撮像画像取得手段が取得した前記撮像画像と前記背景画像取得手段が取得した前記背景画像とを合成する画像合成手段とを備え、
前記複数の領域にはそれぞれ予め前記撮像画像を合成するための順序が定められており、
前記画像合成手段は、前記予め定められた順序に従って前記撮像画像を前記領域に順次合成していくことを特徴とする、携帯端末。
【請求項２】
前記画像合成手段は、ユーザの指示に応じて、前記撮像画像を合成する前記領域の順序を変更することを特徴とする、請求項１に記載の携帯端末。
【請求項３】
前記マスク情報取得手段によって取得されたマスク情報で指定されている領域を表示しながら、前記撮像画像取得手段によって取得された撮像画像を動画表示させて、前記撮像画像を確定することによって前記背景画像を作成する背景画像作成手段をさらに備える、請求項１に記載の携帯端末。
【請求項４】
前記背景画像作成手段は、前記背景画像を作成する際、作成した前記背景画像と使用した前記マスク情報との関連付けを行い、
前記マスク情報取得手段は、前記背景画像にマスク情報が関連付けられている場合、当該関連付けられているマスク情報を取得することを特徴とする、請求項３に記載の携帯端末。
【請求項５】
さらに、前記画像合成手段による合成途中の状態を示す情報を作成する途中情報作成手段と、
前記途中情報作成手段が作成した途中情報を外部装置に送信する途中情報送信手段とを備える、請求項１に記載の携帯端末。
【請求項６】
前記途中情報作成手段は、未だ撮像画像が合成されていない領域を示す未領域情報を含むように前記途中情報を作成することを特徴とする、請求項５に記載の携帯端末。
【請求項７】
自端末以外の外部装置から前記途中情報が送信されてきた場合、前記画像合成手段は、前記途中情報に含まれる前記未領域情報で指定されている領域に前記撮像画像取得手段が取得した撮像画像を合成することを特徴とする、請求項６に記載の携帯端末。
【請求項８】
前記画像合成手段は、前記撮像画像取得手段が取得した前記撮像画像を前記領域内で動画表示されるように合成することを特徴とする、請求項１に記載の携帯端末。
【請求項９】
前記画像合成手段は、ユーザからの指示に応じて、動画表示されている前記撮像画像を確定して、前記背景画像と確定した前記撮像画像とを合成することを特徴とする、請求項８に記載の携帯端末。
【請求項１０】
前記背景画像と前記マスク情報とは関連付けられており、
前記マスク情報取得手段は、前記背景画像に関連付けられているマスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１１】
さらに、少なくとも一つの前記背景画像を格納する背景画像格納部を備え、
前記背景画像取得手段は、前記背景画像格納部から前記背景画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１２】
さらに、画像を撮像するカメラ部を備え、
前記背景画像取得手段は、前記カメラ部が撮像した画像を前記背景画像として取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１３】
さらに、外部装置と通信する通信部を備え、
前記背景画像取得手段は、前記通信部を介して、外部装置から前記背景画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１４】
さらに、画像を撮像するカメラ部を備え、
前記撮像画像取得手段は、前記カメラ部が撮像した画像を前記撮像画像として取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１５】
さらに、外部装置と通信する通信部を備え、
前記撮像画像取得手段は、前記通信部を介して、外部装置から前記撮像画像を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１６】
さらに、少なくとも一つの前記マスク情報を格納するマスク情報格納部を備え、
前記マスク情報取得手段は、前記マスク情報格納部から前記マスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１７】
さらに、外部装置と通信する通信部を備え、
前記マスク情報取得手段は、前記通信部を介して、外部装置から前記マスク情報を取得することを特徴とする、請求項１に記載の携帯端末。
【請求項１８】
背景についての背景画像と撮像された撮像画像とを合成する携帯端末の処理方法であって、
前記背景画像を取得するステップと、
前記撮像画像を取得するステップと、
ユーザの指示に応じて、前記撮像画像を合成するための複数の領域が指定されているマスク情報を取得するステップと、
取得した前記マスク情報で指定されている領域で、取得した前記撮像画像と前記背景画像とを合成するステップとを備え、
前記複数の領域にはそれぞれ予め前記撮像画像を合成するための順序が定められており、
前記撮像画像と前記背景画像とを合成するステップでは、
前記予め定められた順序に従って前記撮像画像を前記領域に順次合成していくことを特徴とする、方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成可能な携帯端末に関し、より特定的には、背景についての画像と撮像された画像とを合成する携帯端末およびそれに用いられる画像合成方法に関する。
【背景技術】
【０００２】
従来、外部からリアルタイムな画像データを取得して撮影するカメラ機能を備えた端末装置として、端末装置内に予め保存されている記録画像と、カメラから入力されるリアルタイムな撮像画像とを、カメラ撮影時に複数合成するものがあった（例えば、特許文献１参照）。図１２は、特許文献１に記載された従来の画像合成装置の構成を示すブロック図である。
【０００３】
図１２において、従来の画像合成装置は、合成前画像記録部１００と、画像選択部１０１と、座標入力部１１０と、カメラ部１２０と、画像合成部１３０と、表示部１４０と、記録指示部１５０と、合成後画像記録部１５１とを含む。座標入力部１１０は、画面上の任意の領域を指定できる手書き入力部（ペン入力部）である。
【０００４】
画像合成部１３０には、合成前画像記録部１００に予め格納されている複数の画像データから画像選択部１０１が選択した画像データと、座標入力部１１０においてユーザがペン入力によって指定した形、大きさおよび位置等の領域に関する情報と、カメラ部１２０から出力されるリアルタイムの画像データとが入力される。
【０００５】
画像合成部１３０は、画像選択部１０１が選択した画像に対して、座標入力部１１０からの情報で示される領域に、カメラ部１２０からのリアルタイムな撮像画像を重ね合わせて画像を合成する。画像合成部１３０は、合成した画像を表示部１４０に表示させる。また、画像合成部１３０は、記録指示部１５０からの指示に応じて、指示があった瞬間の表示画像を合成後画像記録部１５１に格納する。このような処理によって、従来の画像合成装置は、装置内に予め格納されている記録画像に対して、撮像したリアルタイム画像をユーザが指定した領域に合成することができた。
【特許文献１】特開２００１−１７７７６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来の画像合成装置では、予め用意されている画像に合成画像をはめ込むために、表示画面上の任意の領域を指定するための座標入力部（手書き入力部やペン入力部等）が必要であった。ところが、上記従来の画像合成装置やパーソナルコンピュータなどと比べて、ハードウェア性能が低い端末装置（たとえば、携帯電話やデジタルスチルカメラ、ＰＤＡ、情報家電、腕時計、テレビ電話、テレビ等）では、手書き入力部等を設けることは困難である。したがって、これらの装置で、画面上の領域を指定するには、単純なキーやボタンのみを使用するしかない。ところが、画面上の領域を指定するためのキー操作やボタン操作は、かなり操作性が悪い。
【０００７】
それゆえ、本発明の目的は、複数の撮像画像を、単純なキーやボタンによる操作によって、容易な画像合成を行える携帯端末およびそれに用いられる画像合成方法を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、以下のような特徴を有する。
【０００９】
本発明の第１の局面は、背景についての背景画像と撮像された撮像画像とを合成する携帯端末であって、背景画像を取得する背景画像取得手段と、撮像画像を取得する撮像画像取得手段と、ユーザの指示に応じて、撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するマスク情報取得手段と、マスク情報取得手段が取得したマスク情報で指定されている領域で、撮像画像取得手段が取得した撮像画像と背景画像取得手段が取得した背景画像とを合成する画像合成手段とを備える。
【００１０】
好ましくは、マスク情報には複数の領域が指定されており、複数の領域に予め順序が指定されており、画像合成手段は、順序に従って撮像画像を領域に順次合成していくとよい。
【００１１】
また、画像合成手段は、ユーザの指示に応じて、撮像画像を合成する領域の順序を変更してもよい。
【００１２】
好ましくは、マスク情報取得手段によって取得されたマスク情報で指定されている領域を表示しながら、撮像画像取得手段によって取得された撮像画像を動画表示させて、撮像画像を確定することによって背景画像を作成する背景画像作成手段をさらに備えるとよい。
【００１３】
より好ましくは、背景画像作成手段は、背景画像を作成する際、作成した背景画像と使用したマスク情報との関連付けを行い、マスク情報取得手段は、背景画像にマスク情報が関連付けられている場合、当該関連付けられているマスク情報を取得するとよい。
【００１４】
さらに、画像合成手段による合成途中の状態を示す情報を作成する途中情報作成手段と、途中情報作成手段が作成した途中情報を外部装置に送信する途中情報送信手段とを備えるとよい。
【００１５】
好ましくは、途中情報作成手段は、未だ撮像画像が合成されていない領域を示す未領域情報を含むように途中情報を作成するとよい。
【００１６】
また、自端末以外の外部装置から途中情報が送信されてきた場合、画像合成手段は、途中情報に含まれる未領域情報で指定されている領域に撮像画像取得手段が取得した撮像画像を合成するとよい。
【００１７】
好ましくは、画像合成手段は、撮像画像取得手段が取得した撮像画像を領域内で動画表示されるように合成するとよい。
【００１８】
より好ましくは、画像合成手段は、ユーザからの指示に応じて、動画表示されている撮像画像を確定して、背景画像と確定した撮像画像とを合成するとよい。
【００１９】
背景画像とマスク情報とは関連付けられている場合、マスク情報取得手段は、背景画像に関連付けられているマスク情報を取得するとよい。
【００２０】
マスク情報には複数の領域が指定されている場合、画像合成手段は、ユーザの指示に応じて、撮像画像を合成するための領域を選択して、撮像画像と背景画像とを順次合成していくとよい。
【００２１】
さらに、少なくとも一つの背景画像を格納する背景画像格納部を備え、背景画像取得手段は、背景画像格納部から背景画像を取得するとよい。
【００２２】
さらに、画像を撮像するカメラ部を備え、背景画像取得手段は、カメラ部が撮像した画像を背景画像として取得するとよい。
【００２３】
さらに、外部装置と通信する通信部を備え、背景画像取得手段は、通信部を介して、外部装置から背景画像を取得するとよい。
【００２４】
さらに、画像を撮像するカメラ部を備え、撮像画像取得手段は、カメラ部が撮像した画像を撮像画像として取得するとよい。
【００２５】
さらに、外部装置と通信する通信部を備え、撮像画像取得手段は、通信部を介して、外部装置から撮像画像を取得するとよい。
【００２６】
さらに、少なくとも一つのマスク情報を格納するマスク情報格納部を備え、マスク情報取得手段は、マスク情報格納部からマスク情報を取得するとよい。
【００２７】
さらに、外部装置と通信する通信部を備え、マスク情報取得手段は、通信部を介して、外部装置からマスク情報を取得するとよい。
【００２８】
本発明の第２の局面は、背景についての背景画像と撮像された撮像画像とを合成する携帯端末の処理方法であって、背景画像を取得するステップと、撮像画像を取得するステップと、ユーザの指示に応じて、撮像画像を合成するための一以上の領域が指定されているマスク情報を取得するステップと、取得したマスク情報で指定されている領域で、取得した撮像画像と背景画像とを合成するステップとを備える。
【００２９】
上記本発明によれば、以下のような効果が生ずる。本発明の携帯端末は、ユーザの指示に応じて、撮像画像を合成したい領域を定義したマスク情報を取得するだけで、撮像画像を合成したい領域を指定することができ、単純なキーやボタンによる操作によって、容易に複数の画像を合成することができる。したがって、複数の画像の合成を簡単に行うことができるので、携帯電話やデジタルスチルカメラなどの画面上の任意の位置を指定しにくい携帯端末においても、撮像画像を合成したい領域（形やサイズ、位置等）を容易な操作（たとえば、キー操作やボタン操作等）で決定することができる。これにより、操作性が向上し、ユーザは入力操作する回数が減り、より簡単なユーザインタフェースを提供することができる。
【００３０】
また、撮像画像を合成する領域の順序を予め指定しておき、その順序にしたがって、自動的に撮像画像を合成していくこととなるので、ユーザはより簡単に画像合成を行うことができる。
【００３１】
領域の順序をユーザに変更させることで、ユーザの好みに応じた画像合成が可能となる。領域の順序の変更は、ボタンスイッチ等の簡便な入力手段によっても実現できる。
【００３２】
背景画像作成手段を設けることによって、撮像時に画像とマスク枠だけの重ね合わせ表示が可能となり、マスクを使用したときの領域位置を確認しながら、背景画像の撮影を行うことができる。これにより、ユーザのイメージに合致した背景画像の作成が可能となる。
【００３３】
背景画像作成手段が作成した撮像画像とマスク情報とを関連付けることによって、マスク情報取得手段は、当該関連付けられているマスク情報を自動的に取得することとなる。したがって、ユーザは、イメージに合致した記録画像を作成した場合、再度、マスク情報を選択する必要がなくなる。
【００３４】
途中情報を外部装置に送信することで、外部装置は、合成途中の画像を加工することができる。
【００３５】
途中情報に未領域情報を含ませることによって、外部装置は、撮像画像が合成されていない領域にあらたに撮像画像を合成させることができる。
【００３６】
また、逆に、携帯端末は、途中情報を受信することによって、撮像画像が貼り付けられていない領域に撮像画像を合成することができる。このように、複数の携帯端末間で、途中情報をやり取りすることによって、離れた場所にいる者の間でも、顔写真や風景等が合成された画像を作成し、交換することができる。
【００３７】
画像合成手段は撮像画像を領域内で動画表示されるようにするので、ユーザは、撮像画像を確認しながら、画像合成を行うことができる。
【００３８】
また、ユーザは、動画表示されている画像を確定することによって、画像合成を指示することができるので、シャッター感覚で画像合成を行うことができる。
【００３９】
また、単に、背景画像にマスク情報が関連付けられている場合、自動的にマスク情報が選択されることとなる。したがって、ユーザによるマスク情報選択の手間が省かれる。
【００４０】
マスク情報で複数の領域が指定されている場合、領域の順序をユーザに選択させることで、ユーザの好みに応じた画像合成が可能となる。領域の順序の選択は、ボタンスイッチ等の簡便な入力手段によっても実現できる。
【００４１】
背景画像を予め格納しておくことによって、携帯端末のみで画像合成が可能となる。また、背景画像をカメラ部から取得することによって、ユーザの好みに応じた背景画像の作成が可能となる。また、背景画像を通信によって取得することによって、様々なバリエーションの背景画像を取得することができる。
【００４２】
撮像画像をカメラ部から取得することによって、カメラ内蔵またはカメラ外付けの携帯端末を用いるだけで、背景画像との合成が可能となる。また、撮像画像を通信によって取得することによって、離れた場所にいる人等の画像を用いて合成を行うことができる。
【００４３】
マスク情報を予め格納しておくことによって、携帯端末のみで画像合成が可能となる。また、マスク情報を通信によって取得することによって、様々なバリエーションのマスク情報を取得することができる。
【発明の効果】
【００４４】
本発明の携帯端末は、ユーザの指示に応じて、撮像画像を合成したい領域を定義したマスク情報を取得するだけで、撮像画像を合成したい領域を指定することができ、単純なキーやボタンによる操作によって、容易に複数の画像を合成することができる。したがって、複数の画像の合成を簡単に行うことができるので、携帯電話やデジタルスチルカメラなどの画面上の任意の位置を指定しにくい携帯端末においても、撮像画像を合成したい領域（形やサイズ、位置等）を容易な操作（たとえば、キー操作やボタン操作等）で決定することができる。これにより、操作性が向上し、ユーザは入力操作する回数が減り、より簡単なユーザインタフェースを提供することができる。
【発明を実施するための最良の形態】
【００４５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像合成携帯端末の構成を示すブロック図である。当該画像合成携帯端末は、キーやボタンなどを用いてユーザからの入力を受け付ける装置で、例えば、携帯電話、デジタルスチルカメラ、ＰＤＡ、情報家電、腕時計、テレビ電話、テレビ等である。
【００４６】
図１において、画像合成携帯端末は、合成前画像記録部２００と、背景画像取得部２０１と、マスク記録部２１０と、マスク情報取得部２１１と、カメラ部２２０と、撮像画像取得部２２１と、画像合成部２３０と、表示部２４０と、記録指示部２５０と、合成後画像記録部２５１とを含む。
【００４７】
合成前画像記録部２００には、複数の画像、図形、文字などが記録されている。合成前画像記録部２００に格納されている画像を記録画像という。記録画像といった場合、写真画像以外にも図形や文字なども含まれているものとする。これら記録画像のデータは、装置内に予め保存されているデータや、通信によって取得して装置に保存されたデータ、装置に設けられた外部接続端子から入力されたデータ、メモリカードに保存されているデータ、合成後画像記録部２５１に保存されたデータ等からなる。なお、合成前画像記録部２００には、上記のような記録画像の他に、画像合成時に使用する縦や横のずれや、透明度、色数、カメラの露出、画像をひずませる、画像を変形する、画像の明度を反転させる等の付加的情報が格納されていてもよい。また、２つ以上の関連付けられた画像やカメラで撮影したデータが格納されていても良い。
【００４８】
背景画像取得部２０１は、合成前画像記録部２００に格納されている記録画像データの中から特定のデータを選択し、選択したデータを画像合成部２３０に入力する。背景画像取得部２０１が選択した記録画像は、画像合成部２３０において、背景のための画像として用いられる。したがって、以下、背景画像取得部２０１によって取得された記録画像のことを背景画像ということにする。背景画像取得部２０１での画像の選択には、画像合成携帯端末内に設けられたキーやボタン（図示せず）が利用される。背景画像取得部２０１では、予め登録されている画像を選択するだけであるので、キーやボタン操作のみで容易に所望の画像を選択することができる。
【００４９】
マスク記録部２１０は、複数のマスク情報を格納している。ここで、マスク情報とは、背景画像取得部２０１で選択されたデータに対して、カメラ部２２０からの画像を合成する領域を定義した情報である。マスク情報は、１つ以上のマスクエリアによって定義される。マスクエリアとは、形状やサイズ、画面上の位置等、カメラ部２２０による撮像画像を合成するための領域を示す情報である。マスク記録部２１０に格納されているマスク情報は、装置内に予め保存されているデータや、通信によって取得したデータ、装置に設けられた外部接続端子から入力されるデータ、メモリカードに保存されているデータ等である。このように、マスク情報を、通信を用いてダウンロードしたり、メモリカードから取得することにより、ユーザが気に入ったマスク情報を、自由に更新、追加することが可能となる。上記のように、マスク情報を外部の装置から取得するには、画像合成携帯端末内にモデムや外部入力端子、赤外線ポート等の通信部が必要である。なお、マスクエリアには透明度、色数、画像をひずませる、画像を変形する、画像の明度を反転させる、ブルーバック合成のようにカメラ画像内の特定の色は画像の色を使用する等の付加的情報を含んでいてもよい。
【００５０】
図２は、マスク情報の一例を示す図である。図２に示すように、マスク情報の項目は、「エリアナンバー」項目、「形」項目、「サイズ」項目、「位置」項目からなる。「エリアナンバー」項目では、「形」項目以降で定義されているマスクエリアの番号が示される。エリアナンバーは、当該マスクエリアの順序を示す。画像合成部２３０は、エリアナンバーが若い順に、カメラ部２２０で撮像された画像を合成する。「形」項目では、マスクエリアの平面形状が示される。「サイズ」項目では、「形」項目で示した平面形状のサイズが示される。「位置」項目では、「形」項目および「サイズ」項目で特定された平面形状の画面上での位置が示される。なお、図２に示したように（エリアナンバーが２の場合のように）、「サイズ」項目および「位置」項目をまとめて定義してもよい。なお、サイズや位置はドット数でも、画像に対する百分率でもよく、画像合成時にサイズや位置が特定できるような情報であればよい。図２の例では、各マスクエリアは重なっていないが、マスクエリア同士は隣接していても、重なっていてもよいが、重なっている場合、どちらの画像データを使用するか特定する情報を付加しておく必要がある。また、この例のように平面形状でマスクエリアを指定せずに、一ドットごとに画像データを使用するのか、第一回目のカメラの画像を使用するのかといった情報を登録しておくようにしてもよい。
【００５１】
マスク情報取得部２１１は、ユーザの指示に応じて、マスク記録部２１０に格納されているマスク情報から、所望のマスク情報を選択し、画像合成部２３０に入力する。マスク情報取得部２１１でのマスク情報の選択には、画像合成携帯端末内に設けられたキーやボタン（図示せず）が利用される。マスク情報取得部２１１では、予め登録されているマスク情報を選択するだけであるので、キーやボタン操作のみで好みの撮像画像合成エリアのレイアウトを選択することができる。図２に示したように、マスク情報は、視覚的には判断しにくいマスクエリアに関する情報からなるので、マスク情報取得部２１１は、表示部２４０にマスク情報と対応する画像を表示させて、マスク情報をユーザに選択させる（図１上、マスク情報取得部２１１から表示部２４０への矢印省略）。なお、マスク情報を画像合成部２３０に入力する際、マスク情報取得部２１１は、マスクエリアを画面に対して左右反転、上下反転、回転、変形するなどの加工を加えてもよい。
【００５２】
カメラ部２２０は、ＣＣＤやＣＭＯＳセンサ等の固体撮像装置であって、外部を撮像して、リアルタイムな撮像画像データを、逐次出力する。撮像画像取得部２２１は、カメラ部２２０から撮像画像を取得して、画像合成部２３０に入力する。撮像画像取得部２２１は、定期的に（たとえば、１秒間隔毎に）、撮像画像を画像合成部２３０に入力することとなるので、カメラ位置に応じたリアルタイムな撮像画像が画像合成部２３０に入力されることとなる。
【００５３】
画像合成部２３０は、背景画像取得部２０１からの画像、マスク情報取得部２１１からマスク情報、および撮像画像取得部２２１からのリアルタイム画像を入力として受け付け、背景画像取得部２０１からの画像に対して、マスク情報で指定されている領域（エリア）に撮像画像取得部２２１からの撮像画像を貼り付けて、表示部２４０に画面表示させる。また、画像合成部２３０は、記録指示部２５０から合成した画像の記録が指示されると、撮像画像取得部２２１からの撮像画像を固定して、指示された時点での合成画像を合成後画像記録部２５１に格納する。
【００５４】
表示部２４０は、画像合成部２３０から得た表示画面をリアルタイムに表示する。このとき、表示部２４０は、カメラ部２２０と表示部２４０との位置関係に応じて、画像の左右を反転させるような表示を行ってもよい。例えば、カメラ部２２０と表示部２４０との位置関係が、装置の前面と背面との関係にある場合、表示部２４０は、画像合成部２３０から得た画像をそのままリアルタイムに表示する。一方、カメラ部２２０と表示部２４０とが同じ面に配置されている場合、表示部２４０は、画像合成部２３０から得た画像をそのままリアルタイムに表示してもよいし、左右反転を行ってカメラ部２２０から得た画像が鏡に映ったように見えるように表示してもよい。
【００５５】
記録指示部２５０は、ユーザの指示を受け付け、カメラ部２２０から出力されているリアルタイム画像（カメラ部２２０から出力されている動画像）を確定するシャッターとしての機能を有し、表示中の合成画像を合成後画像記録部２５１へ記録するよう画像合成部２３０に対して指示する。記録指示部２５０での指示は、画像合成携帯端末内に設けられたキーやボタン（図示せず）が押下されることや、セルフタイマー（図示せず）の起動等によって行われる。
【００５６】
合成後画像記録部２５１は、画像合成部２３０から送られてくる画像を、装置内のＲＯＭやＲＡＭなどのメモリに保存したり、通信により外部に保存したり、装置に設けられた外部接続端子から出力したり、メモリカードに保存したりする。なお、合成後画像記録部２５１と合成前画像記録部２００とは、別である必要はなく、同一のものでもよい。また、合成前画像記録部２００、マスク記録部２１０および合成後画像記録部２５１は、ハードウェア的には、共通のメモリで実現できる。
【００５７】
図３は、第１の実施形態に係る画像合成携帯端末の動作を説明するための図である。図４は、第１の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。以下、図３および図４を参照しながら、画像合成携帯端末の動作について説明する。
【００５８】
まず、背景画像取得部２０１は、合成前画像記録部２００に格納されている複数の記録画像の中から、ユーザ所望の背景画像を選択し、画像合成部２３０に入力する（ステップＳ３０１）。例えば、背景画像取得部２０１は、図３Ａに示すような背景画像を選択したとする。なお、選択方法としては、合成前画像記録部２００に格納されている複数の記録画像の名称などの情報をリスト表示してユーザに選択させるようにしてもよいし、記録画像を順番に画面表示して選択させるようにしてもよいし、まとめて複数の記録画像を一画面上に表示してその中から選択させるようにしてもよい。
【００５９】
次に、マスク情報取得部２１１は、複数のマスク情報の中から、ユーザ所望のマスク情報を選択し、画像合成部２３０に入力する（ステップＳ３０２）。例えば、マスク情報取得部２１１は、図３Ｂに示すようなマスク情報を選択したとする。この場合、マスクエリアは、エリアナンバーが“１”の楕円形のマスクエリア１１およびエリアナンバーが“２”の三角形のマスクエリア１２の２つからなる。図２に示したように、マスク情報は、抽象的に表現されているので、マスク情報の選択にあたって、マスク情報取得部２１１は、マスク情報を図３Ｂに示すような画像を表示したり、または図３Ｃに示すように背景画像とマスク画像とを合成したような画像を表示して、ユーザに選択させる。ここで、マスクエリア１１やマスクエリア１２は、真っ白で表され、それ以外は、透明な画像となっている。
【００６０】
次に、画像合成部２３０は、処理中のエリアナンバーが“１”であるとする（ステップＳ３０３）。
【００６１】
次に、画像合成部２３０は、ステップＳ３０１で選択された背景画像（図３Ａ参照）に対して、選択されたマスク情報に相当する画像（図３Ｂ参照）を貼り付け（図３Ｃ参照）、現在処理中のエリアナンバーのマスクエリアに、撮像画像取得部２２１からのリアルタイム画像をはめ込んで、表示部２４０に表示させる（ステップＳ３０４）。このとき、表示部２４０に表示される画像の一例が、図３Ｄである。動作開始時では、エリアナンバーは“１”である。したがって、図３Ｄにおいて、エリアナンバーが“２”のマスクエリア１２には、カメラ部２２０からの画像がはめ込まれていない。図３Ｄに示すように、未処理のマスクエリア１２は、真っ白の画像となっている。ステップＳ３０４の段階で、カメラ部２２０を動かせば、カメラ部２２０からは、定期的に撮像画像が送られてくるので、現在処理中のマスクエリア内の映像もそれに合わせて変化することとなる。すなわち、画像合成部２３０は、現在処理中のマスクエリアにカメラ部２２０が撮像した画像を動画表示する。
【００６２】
図３の例では、画像合成部２３０は、一回目のステップＳ３０４で、図３Ａの画像と図３Ｂのマスクとを重ねて、図３Ｃのようにして、図３Ｄの楕円形のマスクエリア１１にカメラ部２２０からのリアルタイム画像を表示する。画像合成部２３０は、二回目のステップＳ３０４で、図３Ｅのように楕円形のマスクエリア１１に撮影済みの画像を表示し、三角形のマスクエリア１２にカメラ部２２０からのリアルタイム画像を表示する。
【００６３】
なお、未処理のマスクエリア内は白で塗りつぶさなくても、例えば黒色などその他の色で塗りつぶしたり、特定の模様で塗りつぶしたりするなど、未処理のマスクエリアであることがわかる表示方法であればよい。また、画像合成部２３０は、ステップＳ３０１で選択した画像と撮影済みの画像との２つの画像を重ね合わせて表示画面を生成するだけでなく、ステップＳ３０１で選択した画像と撮影済みの画像とを合成して１つの画像に変換処理した後、変換処理後の画像と撮像画像とを表示するような処理を行ってもよい。
【００６４】
次に、画像合成部２３０は、記録指示部２５０からのシャッター指示で、リアルタイムに入力されるカメラ部２２０からの画像を確定し、合成画像を確定する（ステップＳ３０５）。このとき、画像合成部２３０は、マスクエリアに貼り付けられた撮像画像を背景画像に合成した途中画像を一時記憶しておく。なお、画像合成部２３０は、実際に合成せずに、撮像画像を貼り付けるエリアと撮像画像と背景画像とを関連付けることによって途中画像を一時記憶しておいてもよい。なお、入力確定した後、ユーザがキャンセルを要求することにより、画像合成部２３０は、マスクエリアに合成した最新の画像を消去して、再度、マスクエリアへリアルタイムな画像を表示することで、再撮影できる。これは周知の処理であって、画像合成携帯端末が、処理後の画像と処理前の画像とを記憶しておくことによって実現できる。
【００６５】
次に、画像合成部２３０は、ステップＳ３０２で選択されたマスク情報におけるエリアナンバーと現在処理中のエリアナンバーとを比較して、残りのマスクエリアが存在するか否かを判断する（ステップＳ３０６）。残りのマスクエリアが存在する場合、画像合成部２３０は、画像合成処理の中断指示が与えられているか否かを判断し（ステップＳ３０７）、中断指示が与えられていない場合、処理中のエリアナンバーを一つ増加させ（ステップＳ３０８）、ステップＳ３０４の動作に戻る。一方、ステップＳ３０７の動作において、中断指示が与えられていると判断した場合、画像合成部２３０は、ステップＳ３０９の動作に進む。これにより、エリアナンバーで指定されている順に、撮像画像取得部２２１が取得したカメラ部２２０からの撮像画像が合成されていくこととなる。
【００６６】
一方、ステップＳ３０６の動作において、残りのマスクエリアが存在しないと判断した場合、画像合成部２３０は、ステップＳ３０９の動作に進む。ステップＳ３０９の動作において、画像合成部２３０は、現在表示中の合成画面を一つの画像に変換処理し、最終的な合成画像を作成する。なお、ステップＳ３０７で中断指示が与えられていると判断された結果、ステップＳ３０９の動作に遷移した場合、画像合成部２３０は、撮像画像が貼り付けられていないマスクエリア内を白や黒色、特定の模様で塗りつぶすなどして、一つの画像に変換処理する。この塗りつぶし処理は、予め決められている方法にしたがって行われる。
【００６７】
なお、ステップＳ３０７で中断指示が与えられていると判断された結果、ステップＳ３０９の動作に遷移した場合、画像合成部２３０は、撮像画像が貼り付けられていないマスクエリア内を白や黒色、特定の模様で塗りつぶすなどして、一つの画像に変換処理し、合成後画像記録部２５１に格納する以外にも、合成途中の状態を示す途中情報を作成し、後で合成処理を再開できるようにしてもよい。ここで、途中情報は、画像合成携帯端末で合成された途中画像と、使用したマスク情報と、未だ撮像画像が合成されていないマスクエリアのエリアナンバーを示す未領域情報とを含むこととする。また、途中情報は、途中画像を再現するために必要な複数の画像とマスク情報とこれまの合成ステップとを含んだものでもよい。
【００６８】
その後、画像合成部２３０は、記録指示部２５０からの指示に応じて、合成画像を合成後画像記録部２５１に格納し（ステップＳ３１０）、処理を終了する。
【００６９】
このように、第１の実施形態に係る画像合成携帯端末では、予め登録されているマスク情報をマスク情報取得部２１１で選択し、カメラ部２２０からの撮像画像を合成したい領域を、マスク情報で指定されている順に従って決定し、その順番に従って、画像合成部２３０は、合成前画像と撮像画像とを合成していく。マスク情報取得部２１１では、マスク情報を選択するだけでよいので、携帯電話等、限られたキーボタンしか存在しない装置であっても、容易に合成領域を決定することが可能となる。したがって、合成画像の形やサイズ、位置等の領域を、単純なキーやボタンによる容易な操作で決定し、複数の画像を容易に合成することができる画像合成携帯端末を提供することが可能となる。
【００７０】
なお、第１の実施形態において、画像合成部２３０は、マスク情報で指定されているエリアナンバーの順序にしたがって、撮像画像取得部２２１が取得した撮像画像を、順に、マスクエリアに貼り付けることとしたが、ユーザの指示に応じて、撮像画像を貼り付けるマスクエリアの順序を変更するようにしてもよい。具体的には、画像合成部２３０は、図４におけるステップＳ３０３において、ユーザからマスクエリアへの撮像画像の貼り付け順序の変更を行うか否かを指定させ、順序の変更を行うと指定された場合、ユーザにマスクエリアを選択させる。そして、画像合成部２３０は、ステップＳ３０４において、選択されたマスクエリアに撮像画像が貼り付けられるように表示画面を生成する。次に、画像合成部２３０は、図４におけるステップＳ３０８において、残されたマスクエリアをユーザに選択させて、撮像画像の貼付を継続する。このように、マスクエリアを貼り付ける順序をユーザに選択させることは、ボタン操作だけで選択可能であるので、携帯端末であっても、実現可能である。
【００７１】
なお、マスク情報には、予めエリアナンバーが設定されていなくてもよい。この場合は、画像合成部２３０は、ユーザに順序の変更を指定させることなく、ユーザに撮像画像を貼り付けるべきマスクエリアを指定させて画像を合成する。
【００７２】
なお、第１の実施形態では、マスクエリアに撮像画像を貼り付けるように画像合成を行うことしたが、撮像画像の全部または一部が透けるように合成してもよく、また撮像画像の解像度や色合い、縦横比率等が変わるようにして合成してもよい。このように、マスクエリアに撮像画像を合成する方法は、上記の例に限られるものではない。
【００７３】
なお、第１の実施形態において、画像合成部２３０は、合成前画像記録部２００に格納されている背景画像を用いることとしたが、撮像画像取得部２２１が取得した撮像画像を背景画像として用いてもよい。また、画像合成携帯端末に通信部が備わっている場合、画像合成部２３０は、通信部を介して、サーバや他の携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、監視カメラ等の外部装置から背景画像を取得してもよい。
【００７４】
なお、カメラ部２２０は、画像合成携帯端末内に内蔵されていているものであっても、外付けのものであってもよい。
【００７５】
なお、画像合成携帯端末に通信部が備わっている場合、撮像画像取得部２２１は、通信部を介して、サーバや他の携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、監視カメラ等の外部装置から電子メール等を利用して、撮像画像を取得してもよい。また、マスク情報取得部２１１も、電子メール等を利用して、マスク情報を外部装置から取得してもよい。また、背景画像取得部２０１も、電子メール等を利用して、背景画像を外部装置から取得してもよい。
【００７６】
なお、背景画像取得部２０１は、カメラ部２２０が撮像した画像を背景画像として取得してもよい。
【００７７】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る画像合成携帯端末の構成を示すブロック図である。図５において、図１に示した第１の実施形態と同様の構成要素については、同一の参照符号を付し、説明を省略する。
【００７８】
図５において、画像合成携帯端末は、合成前画像記録部２００と、背景画像取得部４０１と、マスク記録部２１０と、マスク情報取得部２１１と、カメラ部２２０と、撮像画像取得部２２１と、画像合成部４０２と、表示部２４０と、記録指示部２５０と、合成後画像記録部２５１とを含む。
【００７９】
背景画像取得部４０１は、合成前画像記録部２００に格納されている複数の記録画像の中から、ユーザ所望のデータを選択するか、もしくは、空白データ（全て透明なデータ）を選択し、画像合成部４０２に入力する。なお、空白データに限定されるものではなく、合成画像を使用しないことを示す専用の画像データや合成画像を使用しないことを示す文字列データ等、合成画像を使用しないことがわかるデータであればよい。
【００８０】
画像合成部４０２は、背景画像取得部４０１からの画像データを受け取った場合、第１の実施形態と同様、マスクエリア内の領域に撮像画像取得部２２１からの撮像画像をはめ込んで、背景画像取得部４０１からの画像と合成して、表示部２４０に画面表示させる。画像合成部４０２は、背景画像取得部４０１から画像データを使用しない指示（空白データ）を受け取った場合、マスク情報取得部２１１が選択したマスク情報に基づくマスクエリア外の領域に、撮像画像取得部２２１からの撮像画像を取り込んで、表示部２４０に画面表示させる。なお、この時、画像合成部４０２は、マスクエリアを枠線のみで表して、マスクエリア内にも撮像画像を表示させるようにしてもよい。カメラ部２２０を動かすことによって、マスクエリア外の背景画像も動画的に変化する。ユーザは、マスクエリアが背景画像上において、最適の位置に配置された瞬間、記録指示部２５０のシャッターボタンを押下する。画像合成部４０２は、記録指示部２５０からのシャッター指示に応じて、マスクエリアが合成された背景画像を合成前画像記録部２００に格納する。なお、画像合成部４０２は、マスクエリアを合成することなく背景画像をそのまま合成前画像記録部２００に格納してもよい。
【００８１】
図６は、第２の実施形態に係る画像合成携帯端末の動作を説明するための図である。図７は、第２の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。以下、図６および図７を参照しながら、画像合成携帯端末の動作について説明する。なお、図７において、図４で示した処理内容と同じ部分については、同一のステップ番号を付し、説明を省略する。
【００８２】
記録画像の選択（ステップＳ３０１）、マスク情報の選択（ステップＳ３０２）およびエリアナンバーの初期化（ステップＳ３０３）が行われた後、画像合成部４０２は、背景画像取得部４０１からの通知画像が空白データであるか否かを判断する（ステップＳ５０１）。空白データでない場合、画像合成部４０２は、第１の実施形態と同様、ステップＳ３０４〜Ｓ３１０の処理を行う。
【００８３】
一方、空白データである場合、画像合成部４０２は、選択されたマスクエリア外に、カメラ部２２０からの撮像画像を取り込み、合成画像を表示部２４０に動画表示させる（ステップＳ５０２）。なお、マスクエリアを示す枠は、枠の表示でなくても、明度が反転するなどマスクエリアがわかる表示方法であればよい。
【００８４】
空白データである場合、例えば、図６に示すように、画像合成部４０２は、撮像画像取得部２２１からのリアルタイム画像を図６Ａに示す画像のマスクエリア外１０に取り込んで、図６Ｂのようにマスクエリア外１０に撮像画像取得部２２１からの撮像画像をリアルタイム表示する。
【００８５】
次に、画像合成部４０２は、記録指示部２５０からのシャッター指示で、撮像画像取得部２２１からの撮像画像を固定し、保存する合成画像を確定する（ステップＳ５０３）。なお、この確定画像にはステップＳ５０２で表示されている枠が含まれていても、含まれていなくてもよい。図６Ｃは、枠が示されていない例である。また、明度が反転するなどマスクエリアがわかる表示方法を行っていた場合、この処理を行った画像でも、行わなかった画像でも、どちらを使用してもよい。
【００８６】
その後、画像合成部４０２は、ステップＳ５０３で確定した合成画像を合成前画像記録部２００に記録画像として保存し（ステップＳ５０４）、処理を終了する。
【００８７】
このように、第２の実施形態では、背景画像取得部４０１において空白を選択できるようにして、撮像時に背景画像およびマスク枠だけを重ね合わせた表示画面を表示して、保存しておくことが可能となる。したがって、マスクを使用したときの撮像領域を確認しながら、背景に使用すべき画像を予め撮像しておくことができるので、最適な位置に顔写真等をマスクすることができる背景画像を作成することが可能となる。
【００８８】
なお、上記の実施形態では、保存したオリジナルの記録画像を使用する場合、再度、ユーザはマスク情報を選択する必要があり、二度手間となる。したがって、ステップＳ５０４に動作において、画像合成部４０２は、撮像した背景画像と選択したマスク情報とを関連付けて、合成前画像記録部２００に記録し、画像合成時に、関連付けられているマスク情報を自動的に取得ようにしてもよい。これにより、ユーザは、マスク情報の選択する手間が省ける。背景画像とマスク情報との関連付けは、背景画像に対応するマスク情報を特定するための管理テーブルを合成前画像記録部２００内で格納しておくようにしてもよいし、マスク情報を特定するようなデータ識別子を背景画像データに付加しておいてもよいし、マスク情報そのものを合成前画像記録部２００に格納するようにしておいてもよい。
【００８９】
上記のようにマスク情報と背景画像との関連付けは、マスク情報および／または背景画像を提供する第三者によって予めなされていてもよい。
【００９０】
（第３の実施形態）
第３の実施形態では、合成前画像記録部２００に格納されている画像にマスク情報が関連付けられている場合があるときの画像合成携帯端末について説明する。画像合成携帯端末のブロック図については、図１を援用する。第１の実施形態と異なるのは、合成前画像記録部２００に格納されている画像とマスク情報との関連付けは、合成前画像記録部２００に格納されている管理テーブルで行うものとする。当該管理テーブルには、合成前画像記録部２００に格納されている画像に対応するマスク情報のデータ識別子が登録されているものとする。
【００９１】
図８は、第３の実施形態に係る画像合成携帯端末の動作を示すフローチャートである。図８において、第１の実施形態と同様の動作を行うステップについては、同一のステップ番号を付し、説明を省略する。
【００９２】
記録画像の選択（ステップＳ３０１）が行われた後、背景画像取得部２０１は、合成前画像記録部２００に格納されている管理テーブルを参照して、選択された記録画像にマスク情報が関連付けがあるか否かを判断する（ステップＳ６０１）。マスク情報の関連付けがない場合、背景画像取得部２０１は、その旨を画像合成部２３０に通知する（ステップＳ６０２）。その後、画像合成部２３０は、第１の実施形態と同様にして、ステップＳ３０２以下の処理を行う。
【００９３】
一方、マスク情報の関連付けがある場合、背景画像取得部２０１は、選択された画像に関連付けられているマスク情報のデータ識別子を画像合成部２３０に通知する（ステップＳ６０３）。次に、画像合成部２３０は、通知されたマスク情報のデータ識別子に相当するマスク情報をマスク情報取得部２１１に選択させ、マスク情報を取得し（ステップＳ６０４）、ステップＳ３０３以下の処理を行う。
【００９４】
このように、第３の実施形態では、背景に採用する記録画像とマスク情報とが関連付けられているので、背景画像に対して選ぶべき最適のマスク情報が自動的に選択されることとなり、ユーザによるマスク情報の選択の手間を省略することが可能となる。
【００９５】
なお、マスク情報取得部２１１は、指定されているマスク情報がマスク記録部２１０に格納されていない場合、通信部（図示せず）に、ネットワーク等を介して、外部装置（図示せず）からマスク情報を取得させる実施形態も考えられる。
【００９６】
なお、記録画像に関連付けられているマスク情報がマスク記録部２１０から削除等されたら、マスク情報取得部２１１は、データ識別子を参照してマスク情報を取得することができなくなる。このような状況を回避するために、画像合成携帯端末は、関連付けられているマスク情報を、別途保存しておくようにしてもよいし、削除・変更等ができないようにしておいてもよい。
【００９７】
（第４の実施形態）
第４の実施形態では、通信部を備えた画像合成携帯端末を用いることとする。第４の実施形態に係る画像合成携帯端末の機能ブロック構成は、通信部を備える以外は、第１の実施形態の場合と同様であるので、図１を援用することとする。当該通信部（図示せず）は、通信で得られたデータを画像合成部２３０に送信したり、画像合成部２３０からのデータを外部に送信したりすることができる。第４の実施形態では、複数の画像合成携帯端末を用いて最終的な合成画像を作成することができる。以下では、簡単のために、２台の画像合成携帯端末として、第１および第２の画像合成携帯端末を用いて最終的な合成画像を作成する例を示すが、後述するように、３台以上の画像合成携帯端末を用いる場合の動作についても、以下の説明で明らかである。
【００９８】
図９は、第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャートである。図９において、図４に示した動作と同様の動作については、同一のステップ番号を付し、説明を省略する。図１０は、第４の実施形態に係る第２の画像合成携帯端末の動作を示すフローチャートである。図１１は、第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図である。以下、図９、図１０および図１１を参照しながら、第４の実施形態に係る画像合成携帯端末の動作について説明する。
【００９９】
まず、第１の画像合成携帯端末の画像合成部２３０は、ステップＳ３０６において、マスクエリアの残りが存在すると判断した場合、途中まで作成された途中画像を第２の画像合成携帯端末に送信すべき旨の指示がユーザから与えられるか否かを判断する（ステップＳ７０１）。
【０１００】
送信指示が与えられていない場合、画像合成部２３０は、ステップＳ３０７の動作に進み、その他のマスクエリアへの画像合成を継続する。
【０１０１】
一方、送信指示が与えられている場合、画像合成部２３０は、合成途中の状態を示す途中情報を作成する（ステップＳ７０２）。ここで、途中情報は、第１の画像合成携帯端末で合成された途中画像と、使用したマスク情報と、未だ撮像画像が合成されていないマスクエリアのエリアナンバーを示す未領域情報とを含むこととする。次に、画像合成部２３０は、通信部（図示せず）に当該途中情報を第２の画像合成携帯端末宛に送信させ（ステップＳ７０３）、処理を終了する。なお、画像合成部２３０は、途中情報を電子メール等を用いて第２の画像合成携帯端末に送信する。このとき、画像合成部２３０は、自動的に途中情報を電子メールのフォーマットに変換して、第２の画像合成携帯端末に送信するとよい。
【０１０２】
次に、図１０を参照しながら、途中情報が送信されてきた第２の画像合成携帯端末の動作について説明する。図１０において、図９に示した動作と同様の動作については、同一のステップ番号を付し、説明を省略する。
【０１０３】
まず、第２の画像合成携帯端末の画像合成部２３０は、通信部（図示せず）を介して、第１の画像合成携帯端末からの途中情報を受信する（ステップＳ８０１）。電子メールで途中情報が送られてきた場合、第２の画像合成携帯端末は、メールソフトから下記の動作を行うプログラムが自動または手動で立ち上がるようにしておくとよい。
【０１０４】
次に、画像合成部２３０は、途中情報内の未領域情報で指定されているエリアナンバーを参照して、次に撮像画像を合成すべきマスクエリアを認識する（ステップＳ８０２）。次に、画像合成部２３０は、ステップＳ８０２で認識したマスクエリアのエリアナンバーを処理中のエリアナンバーとして（ステップＳ８０３）、ステップＳ３０４の動作に進み、残されたマスクエリアへの撮像画像の合成を継続する。第２の画像合成携帯端末においても、その後途中情報をステップＳ７０１〜Ｓ７０３の処理において、第１の画像合成携帯端末等の他の画像合成携帯端末へ送信することができる。このように、次から次へと途中情報が他の画像合成携帯端末へ送信されることによって、３台以上の画像合成携帯端末を用いて最終的な合成画像を作成することができる。
【０１０５】
第２の画像合成携帯端末から途中情報が送信されてきた場合、第１の画像合成携帯端末は、図１０に示した動作と同様にして、マスクエリアへの撮像画像の合成を継続すればよい。第１または第２の画像合成携帯端末で作成された最終的な合成画像は、電子メール等を用いて、相互に交換し合うことができる。この場合、画像合成携帯端末は、作成した最終的な合成画像を電子メールで送信することができるようにヘッダ等を付加して自動的にフォーマット変換して、他の画像合成携帯端末に送信するとよい。
【０１０６】
具体的には、図１１Ａに示すように、第１の画像合成携帯端末は、マスクエリア１１に撮像画像が合成された途中画像を作成された場合、作成した途中画像と、用いたマスク情報と、マスクエリア１２にエリアナンバーを指定することによってマスクエリア１２に未だ撮像画像が合成されていないことを示している未領域情報とを含むようにして、途中情報を作成し、第２の画像合成携帯端末に送信する。
【０１０７】
図１１Ｂに示すように、途中情報を受信した第２の画像合成携帯端末は、マスクエリア１２に自端末が取得した撮像画像を貼り付けて、最終的な合成画像を完成させる。その後、第２の画像合成携帯端末は、第１の画像合成端末等の他の外部装置に合成画像を送信する。この送信は、自動的に行われても良いし、ユーザの指示に基づいて行われても良い。
【０１０８】
このように、第４の実施形態では、未だ撮像画像が貼り付けられていない領域を示す情報を含む途中画像が複数の携帯端末間でやり取りされることとなるので、複数の携帯端末を用いて最終的な合成画像を作成することができる。これにより、離れた場所にいる者等の画像を取り込んで、合成画像を作成することができる。
【０１０９】
なお、第４の実施形態に示した動作を、第１〜第３の実施形態において採用してもよいことは言うまでもない。
【０１１０】
なお、第４の実施形態において、第１の画像合成携帯端末は、撮像画像が貼り付けられた途中画像が送信されることとしたが、背景画像のみを途中画像として、マスク情報および未領域情報を含めて途中情報を送信してもよい。この場合、第１の画像合成携帯端末は、ステップＳ３０２の後、途中送信を行うか否かを判断すればよい。このような途中情報を受信した第２の画像合成携帯端末は、図１０に示した動作と同様にして、撮像画像を合成する。このような動作は、第２の画像合成携帯端末が、通信部を用いて、背景画像とマスク情報とが関連付けられている情報を取得するのと同様である。第１の画像合成携帯端末が、背景画像とマスク情報とが関連付けられている情報を送信するのと同様である。
【産業上の利用可能性】
【０１１１】
本発明にかかる画像合成携帯端末およびそれに用いられる方法は、合成画像の形やサイズ、位置等の領域を、単純なキーやボタンによる容易な操作で決定することができるものであり、携帯端末等の分野において、有用である。
【図面の簡単な説明】
【０１１２】
【図１】本発明の第１の実施形態に係る画像合成携帯端末の構成を示すブロック図
【図２】マスク情報の一例を示す図
【図３Ａ】第１の実施形態に係る画像合成携帯端末の動作を説明するための図
【図３Ｂ】第１の実施形態に係る画像合成携帯端末の動作を説明するための図
【図３Ｃ】第１の実施形態に係る画像合成携帯端末の動作を説明するための図
【図３Ｄ】第１の実施形態に係る画像合成携帯端末の動作を説明するための図
【図３Ｅ】第１の実施形態に係る画像合成携帯端末の動作を説明するための図
【図４】第１の実施形態に係る画像合成携帯端末の動作を示すフローチャート
【図５】本発明の第２の実施形態に係る画像合成携帯端末の構成を示すブロック図
【図６Ａ】第２の実施形態に係る画像合成携帯端末の動作を説明するための図
【図６Ｂ】第２の実施形態に係る画像合成携帯端末の動作を説明するための図
【図６Ｃ】第２の実施形態に係る画像合成携帯端末の動作を説明するための図
【図７】第２の実施形態に係る画像合成携帯端末の動作を示すフローチャート
【図８】第３の実施形態に係る画像合成携帯端末の動作を示すフローチャート
【図９】第４の実施形態に係る第１の画像合成携帯端末の動作を示すフローチャート
【図１０】第４の実施形態に係る第２の画像合成携帯端末の動作を示すフローチャート
【図１１Ａ】第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図
【図１１Ｂ】第４の実施形態に係る第１および第２の画像合成携帯端末の動作を具体的に説明するための図
【図１２】特許文献１に記載された従来の画像合成携帯端末の構成を示すブロック図
【符号の説明】
【０１１３】
１１，１２  マスクエリア
２００  合成前画像記録部
２０１，４０１  背景画像取得部
２１０  マスク記録部
２１１  マスク情報取得部
２２０  カメラ部
２２１  撮像画像取得部
２３０，４０２  画像合成部
２４０  表示部
２５０  記録指示部
２５１  合成後画像記録部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2004039068.tif 000015
【図２】
2004039068.tif 000016
【図３Ａ】
2004039068.tif 000017
【図３Ｂ】
2004039068.tif 000018
【図３Ｃ】
2004039068.tif 000019
【図３Ｄ】
2004039068.tif 000020
【図３Ｅ】
2004039068.tif 000021
【図４】
2004039068.tif 000022
【図５】
2004039068.tif 000023
【図６Ａ】
2004039068.tif 000024
【図６Ｂ】
2004039068.tif 000025
【図６Ｃ】
2004039068.tif 000026
【図７】
2004039068.tif 000027
【図８】
2004039068.tif 000028
【図９】
2004039068.tif 000029
【図１０】
2004039068.tif 000030
【図１１Ａ】
2004039068.tif 000031
【図１１Ｂ】
2004039068.tif 000032
【図１２】
2004039068.tif 000033
【国際調査報告】
2004039068.tif 000034
2004039068.tif 000035
2004039068.tif 000036
2004039068.tif 000037