(57)【要約】【課題】  送話側と受話側の合成画像の生成及びその表示は、利用者のテレビ電話装置でのみしかできず、テレビ電話中に送話側、受話側それぞれが合成画像の共有ができない。また、切り出し画像と貼り付け位置を送話側、受話側で選択できない。【解決手段】  制御部１０１は、ユーザーがテレビ電話中に表示部１０６に表示されている送話側画像と受話側画像の合成画像を見ながら、操作部１０３を操作することで選択された切り出し画像と、その画像貼り付け位置の選択処理を実行する。その後、ユーザーは、操作部１０３の特定のボタンを押下して、保存画像決定入力を行う。制御部１０１は保存画像決定入力があると、画像処理部１０９にて、その時表示部１０６に表示中の画像が貼り付けられた合成画像のデータをメモリ１０４へ供給して保存させる。また、制御部１０１は、メモリ１０４に保存した合成画像データをテレビ電話中に相手端末へ送信する。【選択図】            図１
2005303360.tif 000002
【特許請求の範囲】
【請求項１】
画像データ及び音声データの送受信が可能なテレビ電話機能付き携帯電話端末において、
送話側のユーザーの画像に関する第１の画像データを取得する第１の画像データ取得手段と、
受話側である相手端末から送信された、該相手端末のユーザーの画像データを受信して該相手端末のユーザーに関する第２の画像データを取得する第２の画像データ取得手段と、
前記第１及び第２の画像データを、前記相手端末との通話中にそれぞれ合成して１枚の合成画像データを生成する第１の合成画像生成手段と、
前記第１の合成画像生成手段により生成された前記合成画像データによる第１の合成画像を表示する表示部と、
前記表示部に表示された第１の合成画像のうち、前記第１の画像データによる第１の画像又は前記第２の画像データによる第２の画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた第２の合成画像のデータを得る第２の合成画像生成手段と、
前記相手端末との通話中に、前記第２の合成画像を前記表示部に表示すると共に、該第２の合成画像のデータを記憶部に保存する表示・保存手段と
を有することを特徴とする携帯電話端末。
【請求項２】
前記表示・保存手段により前記記憶部に保存された前記第２の合成画像のデータを、前記相手端末との通話中に、該相手端末への通話信号に差し替えて該相手端末へ送信する合成画像データ送信手段を更に有することを特徴とする請求項１記載の携帯電話端末。
【請求項３】
前記相手端末との通話中に、該相手端末から送信された前記第２の合成画像のデータに相当する合成画像データを、記憶部に保存する保存手段を更に有することを特徴とする請求項１又は２記載の携帯電話端末。
【請求項４】
前記第１及び第２の画像データは、静止画データ又は動画像データであることを特徴とする請求項１乃至３のうちいずれか一項記載の携帯電話端末。
【請求項５】
画像データ及び音声データの送受信が可能なテレビ電話機能付き携帯電話端末の画像合成方法において、
送話側のユーザーの画像に関する第１の画像データを取得する第１のステップと、
受話側である相手端末から送信された、該相手端末のユーザーの画像データを受信して該相手端末のユーザーに関する第２の画像データを取得する第２のステップと、
前記第１及び第２の画像データを、前記相手端末との通話中にそれぞれ合成して１枚の合成画像データを生成する第３のステップと、
表示部に表示された前記合成画像データによる第１の合成画像のうち、前記第１の画像データによる第１の画像又は前記第２の画像データによる第２の画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた第２の合成画像のデータを得る第４のステップと、
前記相手端末との通話中に、前記第２の合成画像を前記表示部に表示すると共に、該第２の合成画像のデータを記憶部に保存する第５のステップと
を含むことを特徴とする画像合成方法。
【請求項６】
前記第５のステップにより前記記憶部に保存された前記第２の合成画像のデータを、前記相手端末との通話中に、該相手端末への通話信号に差し替えて該相手端末へ送信する第６のステップを更に含むことを特徴とする請求項５記載の画像合成方法。
【請求項７】
前記第１及び第２の画像データは、静止画データ又は動画像データであることを特徴とする請求項５又は６記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯電話端末及びその画像合成方法に係り、特に画像と音声の送受信が可能なテレビ電話機能付きの携帯電話端末及びその画像合成方法に関する。
【背景技術】
【０００２】
従来より、テレビジョン電話装置と携帯電話装置の各機能を組み合わせることにより、相手の顔を見ながら、屋外や移動中の自動車等でも通話できるテレビ電話機能付きの携帯電話端末が知られている（例えば、特許文献１参照）。このテレビ電話機能付きの携帯電話端末では、カメラ手段で撮影して得られた送話側の映像信号と音声取込手段で得られた送話側の音声信号を同時に送信し、受信された受話側の映像信号を表示手段で表示すると共に、受信された受話側の音声信号を音声発生手段で音声出力する装置であって、上記の表示手段を表示画面に接眼して表示内容が認識可能な接眼表示手段を設け、上記音声発生手段を耳の近傍に配置する構成とすることにより、外部の騒音等に邪魔されることなく、受信された映像と共に受信された音声を確実に聞き取ることができる。また、このテレビ電話機能付きの携帯電話機では、使用者が撮影して得た映像と、受信された映像とを合成して画面表示することもできる。
【０００３】
一方、通話相手（受話側）の画像と利用者（送話側）の画像とを配置した合成画像を得ることができるテレビ電話装置も従来提案されている（例えば、特許文献２参照）。この特許文献２記載のテレビ電話装置では、利用者の画像と電話回線を介して受信した通話相手の画像データとを任意の背景画像に合わせてそれぞれ縮小し、それらの縮小画像データと背景画像のデータとを時系列的に合成して、画面表示部に表示したり、印刷部により印刷させる構成である。
【０００４】
【特許文献１】特開平１０−１５５１４１号公報
【特許文献２】特開２０００−０２３１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかるに、特許文献１記載の従来の携帯電話端末では、テレビ電話中に画像を含む通話内容を保存する場合は、受話側のみの内容や送話側のみの内容の、一方のみの内容しか保存できないため、送話側と受話側両方の画像を１枚の画像として保存するには、送話側と受話側の各画像データを別々に取得した後、１つの画像データとして合成する必要がある。更に、相手側への合成画像の送信は、メールなどを用いて、通話終了後に送信せねばならず、面倒である。
【０００６】
また、特許文献１記載の従来の携帯電話端末及び特許文献２記載のテレビ電話装置では、通話相手（受話側）の画像と利用者（送話側）の画像との合成画像の生成及びその表示は、利用者のテレビ電話装置でのみしかできず、テレビ電話中に送話側、受話側それぞれが同じタイミングで、両者の合成画像の保存ができない。更に、特許文献１記載の従来の携帯電話端末及び特許文献２記載のテレビ電話装置では、切り出し画像を送話側、受話側で選択できず、画像の切り出し範囲及び貼り付け位置も利用者が任意に選択できないという問題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、テレビ電話中に送話側、受話側それぞれが同じタイミングでの画像保存を行うことができる携帯電話端末及びその画像合成方法を提供することを目的とする。
【０００８】
また、本発明の他の目的は、切り出し画像を送話側及び受話側で選択でき、テレビ電話中に相手とやりとりをしながらの撮影構成の設定を容易に行い得る携帯電話端末及びその画像合成方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、第１の発明は、画像データ及び音声データの送受信が可能なテレビ電話機能付き携帯電話端末において、送話側のユーザーの画像に関する第１の画像データを取得する第１の画像データ取得手段と、受話側である相手端末から送信された、相手端末のユーザーの画像データを受信して相手端末のユーザーに関する第２の画像データを取得する第２の画像データ取得手段と、第１及び第２の画像データを、相手端末との通話中にそれぞれ合成して１枚の合成画像データを生成する第１の合成画像生成手段と、第１の合成画像生成手段により生成された合成画像データによる第１の合成画像を表示する表示部と、表示部に表示された第１の合成画像のうち、第１の画像データによる第１の画像又は第２の画像データによる第２の画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた第２の合成画像のデータを得る第２の合成画像生成手段と、相手端末との通話中に、第２の合成画像を表示部に表示すると共に、第２の合成画像のデータを記憶部に保存する表示・保存手段とを有する構成としたものである。
【００１０】
この発明では、相手端末との通話中に、相手端末のユーザーの画像と自端末のユーザーの画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた合成画像のデータを保存することができる。
【００１１】
また、上記の目的を達成するため、第２の発明は、第１の発明に、表示・保存手段により記憶部に保存された第２の合成画像のデータを、相手端末との通話中に、相手端末への通話信号に差し替えて相手端末へ送信する合成画像データ送信手段を更に追加した構成としたことを特徴とする。この発明では、第１の発明で保存した合成画像のデータを、相手端末の通話中に、相手端末へ送信するようにしたため、相手端末にその合成画像データを保存させることができる。
【００１２】
また、上記の目的を達成するため、第３の発明は、相手端末との通話中に、相手端末から送信された第２の合成画像のデータに相当する合成画像データを、記憶部に保存する保存手段を更に有することを特徴とする。この発明では、相手端末との通話中に、相手端末から送信されて受信した合成画像データを記憶部に保存することができる。
【００１３】
また、上記の目的を達成するため、第４の発明は、第１及び第２の画像データは、静止画データ又は動画像データであることを特徴とする。
【００１４】
また、上記の目的を達成するため、第５の発明は、画像データ及び音声データの送受信が可能なテレビ電話機能付き携帯電話端末の画像合成方法において、送話側のユーザーの画像に関する第１の画像データを取得する第１のステップと、受話側である相手端末から送信された、相手端末のユーザーの画像データを受信して相手端末のユーザーに関する第２の画像データを取得する第２のステップと、第１及び第２の画像データを、相手端末との通話中にそれぞれ合成して１枚の合成画像データを生成する第３のステップと、表示部に表示された合成画像データによる第１の合成画像のうち、第１の画像データによる第１の画像又は第２の画像データによる第２の画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた第２の合成画像のデータを得る第４のステップと、相手端末との通話中に、第２の合成画像を表示部に表示すると共に、第２の合成画像のデータを記憶部に保存する第５のステップとを含むことを特徴とする。
【００１５】
この発明では、相手端末との通話中に、相手端末のユーザーの画像と自端末のユーザーの画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた合成画像のデータを保存することができる。
【００１６】
また、上記の目的を達成するため、第６の発明は、第５のステップにより記憶部に保存された第２の合成画像のデータを、相手端末との通話中に、相手端末への通話信号に差し替えて相手端末へ送信する第６のステップを更に含むことを特徴とする。この発明では、第５の発明で保存した合成画像のデータを、相手端末の通話中に、相手端末へ送信するようにしたため、相手端末にその合成画像データを保存させることができる。
【発明の効果】
【００１７】
本発明によれば、相手端末との通話中に、相手端末のユーザーの画像と自端末のユーザーの画像のうち、任意に選択した一方の画像を任意の大きさで切り出し、その切り出した画像を他方の画像に対して任意位置に貼り付けた合成画像のデータを保存するようにしたため、所望の構図の合成画像を見ながらテレビ電話ができる。
【００１８】
また、本発明によれば、保存した合成画像のデータを、相手端末の通話中に、相手端末へ送信することにより、相手端末にその合成画像データを保存させるようにしたため、テレビ電話中（通話中）に、送話側と受話側の両方で同じ合成画像を同時に保存することができ、これにより、送話側、受話側それぞれが同じタイミングでの画像保存を行うことができる。
【００１９】
更に、本発明によれば、切り出し画像を送話側、受話側と選択でき、切り出し範囲及び、貼り付け位置もユーザーが任意に選択できるため、テレビ電話中に相手とやりとりをしながらの撮影構成の設定を容易に行うことができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明を実施するための最良の形態について説明する。図１は本発明になる携帯電話端末の一実施の形態のブロック図を示す。同図中、制御部１０１は、中央処理装置（ＣＰＵ）１０２を有し、操作部１０３より入力されるユーザー操作などをトリガに、この携帯電話端末を統括的に動作させるための各種制御を行う。操作部１０３は、文字や記号や数字などの各種データを入力する各種キーや決定、選択を行うキーなどを有する入力装置である。メモリ１０４は、この携帯電話端末を動作させるために必要な各種プログラム、ＩＤ情報、電話帳データ、画像データ等が保存されており、制御部１０１の制御の下に読み出しと書き込みを行う。カメラ１０５は、任意の被写体の画像を撮影して画像データを生成して制御部１０１に供給する。
【００２１】
表示部１０６は、制御部１０１の制御により、各種の画像や文字などの表示を行う。無線部１０７は、最寄りの基地局（図示せず）及びアンテナ１０８を介して受信した相手端末からの受信信号（受話音声信号や電子メールデータ）を復調等の処理を行って制御部１０１へ供給し、また、制御部１０１から供給された相手端末への送話音声信号や電子メールのデータに対して変調等所定の処理を行って、所定の周波数帯の送信信号を生成してアンテナ１０８を介して最寄りの基地局（図示せず）へ無線送信する。
【００２２】
画像処理部１０９は、複数の画像加工用バッファ１１０、１１１を持ち、無線部１０７により受信された画像データや、カメラ１０５により撮影された画像データが、制御部１０１を介して供給され、その入力画像データに対して表示用加工処理や、保存形式への処理、画像合成処理などを行う。レシーバ１１２は、制御部１０１を介して供給される相手端末の受話音声信号や着信音声信号などを電気−音響変換して音声として発音する。マイク１１３は、送話音声を音響−電気変換して送話音声信号を得て制御部１０１へ供給する。
【００２３】
次に、本実施の形態のテレビ電話動作について説明する。いま、相手端末との間で図示しない基地局及び公衆網を介して通話路を確立し、相手端末との間で画像データ及び音声信号を送受信するテレビ電話を行っているものとすると、マイク１１３により収音して得られた送話音声信号は、制御部１０１に供給され、アナログ−デジタル変換されて送話音声データとされる。
【００２４】
また、カメラ１０５により撮影されて得られた送話側の画像データは、制御部１０１を介して画像処理部１０９に供給され、ここで表示用加工及び、情報圧縮、符号化が施された後、制御部１０１の制御にて表示部１０６に供給されて表示されると共に、前記送話音声データと共に無線部１０７及びアンテナ１０８を介して相手端末へ無線送信される。
【００２５】
一方、アンテナ１０８を介して無線部１０７により受信された相手端末からの受話音声データ及び相手端末のユーザーの受話側画像データからなる合成データは、制御部１０１に供給されて分離され、更に受話音声データはアナログ音声信号に変換されて、レシーバ１１２に供給されて受話音声として発音される。また、制御部１０１で分離された受話側画像データは、画像処理部１０９に供給され、ここで表示用処理が行われた後、制御部１０１を介して表示部１０６に供給され、制御部１０１の制御の下に表示される。従って、テレビ電話中では、表示部１０６には受話側と送話側の両方の画像が同時に表示されている。
【００２６】
次に、本実施の形態の画像登録保存処理動作について図２のフローチャートと、図３、図４及び図５の画像例とを併せ参照して説明する。いま、上記のテレビ電話動作中において、図３に示すように、送話側の携帯電話端末の表示部１０６に、相手端末（すなわち、受話側）から送信されてきた画像データに基づく受話側画像２０１と、自端末（すなわち、送話側）のカメラ１０５で撮影して得られた画像データに基づく送話側画像２０２とが同時に表示されているものとする。
【００２７】
まず、ユーザーが図１の操作部１０３を操作して、画像保存処理の選択をすると（図２のステップＳ１）、切り出し画像を送話側（自端末）にするかどうかの判断処理を実施する（図２のステップＳ２）。切り出し画像を送話側とするように指定された場合は、制御部１０１は、バッファ１１０に蓄積されている送話側画像データに対する画像切り出し範囲の選択処理を実行する（図２のステップＳ３）。
【００２８】
この場合、ユーザーは、図４に示すように、表示部１０６を見ながら、送話側画像２０２’を切り出し易いように大きく表示すると共に、受話側画像２０１’は小さく表示する操作を行ってから、切り出し画像として選択する範囲を、例えば点線で示す円２０３で囲んだ領域とする。この任意に選択された領域２０３内の送話側画像は、バッファ１１０の対応するメモリ領域から読み出されて切り出し画像となる。
【００２９】
次に、制御部１０１は、画像貼り付け位置の選択処理を実行する（図２のステップＳ５）。この画像貼り付け位置の選択処理では、ユーザーは、表示部１０６の画像を確認しながら、図５に示すように、例えば受話側画像２０４と並ぶように切り出し画像２０５を任意に配置した画像貼り付け処理した合成画像２０６を得る。画像貼り付け処理による構図が決定したならば、ユーザーは、操作部１０３の特定のボタン（キー）を押下して、保存画像決定入力を行う（図２のステップＳ６）。
【００３０】
制御部１０１は上記の保存画像決定入力があると、画像処理部１０９にて、その時表示部１０６に表示中の合成画像２０６を合成画像データとして処理する。続いて、操作部１０３の登録処理入力に基づき、制御部１０１は、画像処理部１０９にて処理された上記の合成画像データを、メモリ１０４へ供給して保存させる（図２のステップＳ７）。
【００３１】
なお、図２のステップＳ２の選択処理にて、受話側画像切り出し処理が選択されたと判定した場合は、受話側画像に対して切り出し画像範囲の選択処理が行われ（図２のステップＳ４）、バッファ１１１に蓄積されている受話側画像データに対する画像切り出し範囲が選択される。ステップＳ４の受話側画像切り出し範囲の選択処理が終わると、以降は前述したステップＳ５〜Ｓ７の処理が順次に実行される。
【００３２】
なお、上記の実施の形態では、画像切り出し範囲を図４に２０３で示したように円形で指定しているが、この画像切り出し範囲の形状はユーザーが任意に選択できるものとし、例えば、三角形や四角形、フレームなど様々な設定が可能であり、サイズも任意に設定できるものである。また、切り出し画像の合成だけでなく、図６に２０７で示すように、受話側画像２０１と送話側画像２０２とを等分割した、画像合成の設定もできるものである。
【００３３】
次に、本発明の他の実施の形態について説明する。この実施の形態は、上記の実施の形態と同様に図１のブロック図で示されるが、合成画像データを動画画像データとして保存できるようにした点に特徴がある。本実施の形態について、図７のフローチャートを用いて説明する。テレビ電話中、送話側、受話側両方の動画画像データを１つの動画データとして保存する場合は、ユーザーが図１の操作部１０３を操作して、動画保存処理の選択をすると（図７のステップＳ１１）、図２のステップＳ２〜Ｓ４と同様の保存画面設定処理を行う（図７のステップＳ１２）。
【００３４】
次に、制御部１０１は保存動画と共に発音する保存音声の選択処理を行う（図７のステップＳ１３）。保存音声を受話側の音声にする場合は、無線部１０７からの音声データに対して、送話側の音声にする場合はマイク１１３からの音声データに対して、両方の音声を保存音声にする場合は、無線部１０７とマイク１１３それぞれの音声データに対して、制御部１０１の制御にて保存可能な音声データへの変換処理が行われ、変換後の音声データは画像処理部１０９へ出力される。
【００３５】
続いて、制御部１０１は操作部１０３からの動画保存開始入力を検出すると、無線部１０７で受信されて出力された受話側動画像データ、カメラ１０５から出力された送話側動画像データ及び保存する音声データを、画像処理部１０９にて、動画保存形式への圧縮、符号化処理を、操作部１０３から動画保存終了入力があるまで行う（図７のステップＳ１４、Ｓ１５）。続いて、制御部１０１は操作部１０３からの保存画像登録入力に基づき、画像処理部１０９にて保存形式に処理された動画データを、制御部１０１の制御にてメモリ１０４へ保存させる保存処理を行う（図７のステップＳ１６）。
【００３６】
次に、本発明の更に他の実施の形態について説明する。この実施の形態は、上記の各実施の形態で保存した、送話側、受話側それぞれの画像（静止画）又は動画を合成して得た、一つの合成静止画又は合成動画をテレビ電話中の画像データと差し替える点に特徴がある。
【００３７】
そのため、本実施の形態の構成は図１と同様であるが、制御部１０１による処理が上記の実施の形態と異なる。この制御部１０１による処理について、図８のフローチャートを用いて説明する。同図中、図２と同一処理ステップには同一符号を付し、その説明を省略する。本実施の形態では、図８のステップＳ２１にてメモリ１０４に保存した合成画像データを、制御部１０１の制御にて、テレビ電話中の画像データ、音声データに差し替え、無線部１０７及びアンテナ１０８を介して受話側に送信する（図８のステップＳ２２）。
【００３８】
これにより、通話相手の受話側の携帯電話端末も図１のブロック図の構成である場合は、受話側の携帯電話端末において必要に応じて画像登録処理を実行することにより、そのメモリには受信した合成画像（静止画又は動画）データと音声データとが格納される。この場合は、送話側と受話側の両方において、通話中に同じタイミングで得られた合成画像データと音声データとを同時に保存することができ、同じ合成画像と音声とを共有できる。また、通話中に合成画像データと音声データの送受信を行うようにしているため、通話終了後にそれらを別途送信する手間も省ける上、撮影した画像又は動画を相手と直ぐに共有することができる。
【００３９】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば音声データは必ずしも合成画像データと共に登録保存や送信をしなくても構わない。
【図面の簡単な説明】
【００４０】
【図１】本発明になる携帯電話端末の一実施の形態のブロック図である。
【図２】本発明の一実施の形態の画像登録保存処理動作説明用フローチャートである。
【図３】テレビ電話中の画像表示の一例を示す図である。
【図４】切り出し画像範囲の選択の一例を示す図である。
【図５】切り出し画像の貼り付け位置選択の一例を示す図である。
【図６】分割合成画像の一例を示す図である。
【図７】本発明の他の実施の形態の画像登録保存処理動作説明用フローチャートである。
【図８】本発明の更に他の実施の形態の動作説明用フローチャートである。
【符号の説明】
【００４１】
１０１  制御部
１０２  中央処理装置（ＣＰＵ）
１０３  操作部
１０４  メモリ
１０５  カメラ
１０６  表示部
１０７  無線部
１０９  画像処理部
１１０、１１１  バッファ
１１２  レシーバ
１１３  マイク
２０１、２０１’２０４  受話側画像
２０２、２０２’送話側画像
２０３  切り出し範囲
２０５  切り出し画像
【図１】
2005303360.tif 000003
【図２】
2005303360.tif 000004
【図３】
2005303360.tif 000005
【図４】
2005303360.tif 000006
【図５】
2005303360.tif 000007
【図６】
2005303360.tif 000008
【図７】
2005303360.tif 000009
【図８】
2005303360.tif 000010