(57)【要約】      （修正有）【課題】テレビ電話で、プライバシーを理由に自分の顔写真等の静止画を表示する時に、喜怒哀楽の表情を反映させる。【解決手段】テレビ電話の画像送信時等において、編集に先立って取り込んだ顔画像等の初期設定画像と該画像に関連する各パーツの複数の異なる部分画像を画像保存部１３に保存しておき、画像反映部１５で前記初期設定画像を画像保存部１３から読み込むとともに、利用者を撮影した撮影画像の部分画像の変化パターンを動作解析部１２が特定し、該変化パターンに対応する前記部分画像を読み込んで置き換えることにより画像を編集して画像送信部１６に出力する。テレビ電話の受信画像についても同様の画像の編集を可能とする。また、前記動作解析部１２による前記変化パターンの特定に代え、利用者のボタン入力操作でも可能に構成する。【選択図】図１
2007213364.tif 000002
【特許請求の範囲】
【請求項１】
初期設定画像を部分画像により編集する画像変換装置において、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存部と、編集時の撮影画像の部分画像の変化パターンを特定する動作解析部と、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する画像保存部の部分画像により置き換えることにより画像を編集して出力する画像反映部と、を有することを特徴とする画像変換装置。
【請求項２】
初期設定画像を部分画像により編集する画像変換装置において、編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存部と、利用者の操作により前記画像保存部の部分画像を指定するボタン入力部と、前記初期設定画像の部分画像を前記ボタン入力部により指定した部分画像により置き換えることにより画像を編集して出力する画像反映部と、を有することを特徴とする画像変換装置。
【請求項３】
前記編集に先立って撮影した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存する画像編集部を有することを特徴とする請求項１又は２記載の画像変換装置。
【請求項４】
前記編集に先立って送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存する画像編集部を有することを特徴とする請求項１又は２記載の画像変換装置。
【請求項５】
前記初期設定画像は複数の画像による合成画像であることを特徴とする請求項１又は２記載の画像変換装置。
【請求項６】
前記初期設定画像は、顔画像であり前記部分画像は少なくとも口、鼻、目に対応する画像を含むことを特徴とする請求項１ないし５の何れかの請求項記載の画像変換装置。
【請求項７】
テレビ電話機能を有する携帯端末における画像編集に適用され、前記画像反映部が出力する編集後の画像を送信側に送信する画像送信部又は前記画像反映部が出力する編集後の画像を表示する画像表示部を有することを特徴とする請求項１ないし６の何れかの請求項記載の画像変換装置。
【請求項８】
利用者に対する前記画像編集に対する認証機能を備えることを特徴とする請求項７記載の画像変換装置。
【請求項９】
初期設定画像を部分画像により編集する画像変換方法において、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を画像保存部に保存するステップと、編集時の撮影画像の部分画像の変化パターンを特定するステップと、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する画像保存部の部分画像により置き換えることにより画像を編集して出力するステップと、を有することを特徴とする画像変換方法。
【請求項１０】
初期設定画像を部分画像により編集する画像変換方法において、編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を画像保存部に保存するステップと、利用者の操作により前記画像保存部の部分画像をボタン入力部により指定するステップと、前記初期設定画像の部分画像を前記ボタン入力部の指定した部分画像により置き換えることにより画像を編集して出力するステップと、を有することを特徴とする画像変換方法。
【請求項１１】
前記編集に先立って撮影した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存するステップを有することを特徴とする請求項９又は１０記載の画像変換方法。
【請求項１２】
前記編集に先立って送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存するステップを有することを特徴とする請求項９又は１０記載の画像変換方法。
【請求項１３】
前記初期設定画像は複数の画像による合成画像として生成するステップを有することを特徴とする請求項９又は１０記載の画像変換方法。
【請求項１４】
前記初期設定画像は、顔画像であり前記部分画像は少なくとも口、鼻、目に対応する画像を含むことを特徴とする請求項９ないし１３の何れかの請求項記載の画像変換方法。
【請求項１５】
テレビ電話機能を有する携帯端末における画像編集に適用し、編集後の画像を送信側に送信するステップ又は編集後の画像を画像表示部に表示するステップを有することを特徴とする請求項９ないし１４の何れかの請求項記載の画像変換方法。
【請求項１６】
利用者に対する前記編集に対する認証を行うステップを有することを特徴とする請求項１５記載の画像変換方法。
【請求項１７】
初期設定画像を部分画像により編集する画像変換の処理プログラムであって、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存機能と、編集時の撮影画像の部分画像の変化パターンを特定する動作解析機能と、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する保存された部分画像により置き換えることにより画像を編集して出力する画像反映機能とをコンピュータに実現させる画像変換処理プログラム。
【請求項１８】
初期設定画像を部分画像により編集する画像変換の処理プログラムであって、編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存機能と、利用者の操作により保存した部分画像を指定する入力機能と、前記初期設定画像の部分画像を前記入力機能により指定した部分画像により置き換えることにより画像を編集して出力する画像反映機能とを実現させることを画像変換処理プログラム。
【請求項１９】
コンピュータに前記編集に先立って撮影した撮影画像に基づいて前記初期設定画像及び部分画像を作成して保存する画像編集機能を実現させる請求項１７又は１８記載の画像変換処理プログラム。
【請求項２０】
前記編集に先立って送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して保存する画像編集機能を実現させる請求項１７又は１８記載の画像変換処理プログラム。
【請求項２１】
前記初期設定画像は複数の画像による合成画像であることを特徴とする請求項１７又は１８記載の画像変換処理プログラム。
【請求項２２】
前記初期設定画像は、顔画像であり前記部分画像は少なくとも口、鼻、目に対応する画像を含むことを特徴とする請求項１７ないし２１の何れかの請求項記載の画像変換処理プログラム。
【請求項２３】
テレビ電話機能を有する携帯端末における画像編集に適用し、前記画像反映部が出力する編集後の画像を送信側に送信する画像送信部又は前記画像反映部が出力する編集後の画像を表示する画像表示部を有することを特徴とする請求項１７ないし２２の何れかの請求項記載の画像変換処理プログラム。
【請求項２４】
利用者に対する前記編集に対する認証機能を備えることを特徴とする請求項７記載の画像変換処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテレビ電話画像変換に関し、特に携帯電話機のテレビ電話機能等における画像変換装置、画像変換方法及び画像変換プログラムに関する。
【背景技術】
【０００２】
従来のテレビ電話端末ではプライバシーを理由にテレビ電話での着信を拒否し通話のみで着信を行なったり、キャラクターのアニメなどを表示したりするなど、使用者によっては自分の顔をそのまま表示させる事を嫌う傾向がある。その為テレビ電話端末であるにも拘らず相手側の表情が把握できずテレビ電話端末のメリットが生かされず利用率も悪くなっている。
【０００３】
また、顔画像を変化させる技術としては、例えば、顔のモザイク処理等により通話者の顔を見難くする処理を行うもの（特許文献１参照）、記憶されたさまざまな表情の画像の中から送信者が選択した画像を相手に送るもの（特許文献２参照）、撮影した表情を音声に応じて変化させるもの（特許文献３）、テレビ電話等の送受信間の圧縮符号化伝送に係り、原画画像を表情分析と音声の音声認識結果により３次元モデルの変形を行って符号化するもの（特許文献４）等が知られている。
【０００４】
【特許文献１】特開２０００−３５４２３３号公報
【特許文献２】特開２００４−４０６１５号公報
【特許文献３】実用新案登録第３０６２０８０号
【特許文献４】特開平５−１５３５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
これまでのテレビ電話端末ではノーメイク時や寝起き時、寝不足で目の下にクマが出来ている時など、そのままではテレビ電話による通話に出られない状況においては、テレビ電話を拒否し音声通話だけをおこなったり、自分の顔の変わりにアニメキャラクタなどを表示したりして応答を行い、テレビ電話をかけた側ががっかりするケースがあった。また自分の顔写真等の静止画を表示するようなことが可能であるが、笑ったり、怒ったりする表情を反映させることが出来ず、テレビ電話機能を活用できていないケースが多い。また、前述のような顔画像を変化させる技術が知られているが、送信者等の表情等により変化させることは想定されていない。
【０００６】
本発明の目的は、以上の課題を解決するものであり、送信者の表情の変化を予め設定した画像に反映させることを可能とした変換方法及び装置を提供することにある。  
本発明の他の目的は、送信者のキーボタン等の操作により予め設定したテレビ電話画像を変化させることを可能とした画像変換方法及び装置を提供することにある。
【０００７】
本発明の他の目的は、予め設定したテレビ電話画像を送信者の表情により変化させることを可能としたテレビ電話の画像変換方法及び装置を提供することにある。  
本発明の他の目的は、予め設定したテレビ電話画像を送信者のキーボタン等の操作により変化させることを可能としたテレビ電話の画像変換方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像変換装置は、初期設定画像を部分画像により編集する画像変換装置において、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存部と、編集時の撮影画像の部分画像の変化パターンを特定する動作解析部と、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する画像保存部の部分画像により置き換えることにより画像を編集して出力する画像反映部と、を有し、又は編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存部と、利用者の操作により前記画像保存部の部分画像を指定するボタン入力部と、前記初期設定画像の部分画像を前記ボタン入力部により指定した部分画像により置き換えることにより画像を編集して出力する画像反映部と、を有する。また、前記編集に先立って撮影した撮影画像又は送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存する画像編集部を有する。
【０００９】
本発明の画像変換方法は、初期設定画像を部分画像により編集する画像変換方法において、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を画像保存部に保存するステップと、編集時の撮影画像の部分画像の変化パターンを特定するステップと、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する画像保存部の部分画像により置き換えることにより画像を編集して出力するステップと、を有し、又は編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を画像保存部に保存するステップと、利用者の操作により前記画像保存部の部分画像をボタン入力部により指定するステップと、前記初期設定画像の部分画像を前記ボタン入力部の指定した部分画像により置き換えることにより画像を編集して出力するステップと、を有する。また、前記編集に先立って撮影した撮影画像又は送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して前記画像保存部に保存するステップを有する。
【００１０】
本発明の画像変換処理プログラムは、初期設定画像を部分画像により編集する画像変換の処理プログラムであって、編集に先立って取り込んだ前記初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存機能と、編集時の撮影画像の部分画像の変化パターンを特定する動作解析機能と、前記初期設定画像の部分画像を前記撮影画像の前記変化パターンに対応する保存された部分画像により置き換えることにより画像を編集して出力する画像反映機能とをコンピュータに実現させる、又は編集に先立って取り込んだ初期設定画像及び該初期設定画像に関連する複数の異なる部分画像を保存する画像保存機能と、利用者の操作により保存した部分画像を指定する入力機能と、前記初期設定画像の部分画像を前記入力機能により指定した部分画像により置き換えることにより画像を編集して出力する画像反映機能とを実現させる。また、コンピュータに前記編集に先立って撮影した撮影画像又は送信側より受信した撮影画像に基づいて前記初期設定画像及び部分画像を作成して保存する画像編集機能を実現させる。
【００１１】
本発明によるテレビ電話の画像変換においては、テレビ電話通話時に事前に設定（登録）した顔画像を相手先に送信することが出来、しかもその顔画像が送信者の実際の表情を反映して相手に送信されることを特徴とする。また、通話中に表示される顔画像の各パーツ（目、鼻、口、耳、ほくろ等）や衣装、背景、音声がそれぞれに対応するボタン一つで変更可能とする。また、送信する自分の顔画像だけでなく、受信した相手の顔画像をも設定したものに変更可能であり、かつ送信者の表情を反映可能であり、受信者によりそのパーツ等の変更も可能とする。
【００１２】
通話前に撮影した複数の顔写真とその各パーツの画像及び／又は予め端末等に登録された有名人の顔写真とそのパーツの中から発着信時等のベースとなる画像を設定可能とする。テレビ電話の発着信により設定画像を相手先端末又は自端末に表示し、設定画像をベースに通話中に撮影された自分又は相手の顔画像に基づきその表情を反映した画像を相手先端末又は自端末に表示する。
【００１３】
より具体的には、撮影中の顔の輪郭、目元、口元の位置など数百箇所（多いほどリアルに表現可能）のポイントとなる点の座標、輝度（色）等の座標情報を記録し、その変化に基づき画像の各パーツを判断し登録された各パーツで置き換えて設定映像に反映させる。座標情報を元に通話者が横を向いたりうつむく動作時も端末内で動作を判定し編集を行い表示する。
【００１４】
また、通話中に各パーツに対応したボタンを押すことで送信側への設定画像の各パーツをリアルタイムで変更する。相手からの受信される設定画像は、異なる操作（例えば特定記号キー等と前記ボタンの同時押下）によりを変更する。
【発明の効果】
【００１５】
本発明によれば、テレビ電話等の送受信画像に適用することで、寝起き時やノーメイク時など人前に出たくない状況にも予め登録した顔画像等に通話中の自分の表情を反映して会話することが可能になる。また、嫌いな人とテレビ電話で話をする場合には相手の顔を自分の好きな芸能人に変更して会話するようなことが可能になる。このため送信又は受信画像に自画像に代えて喜怒哀楽等が反映されないアニメーションキャラクタを使用する必要がなく、実際の送信者等の表情を設定画像に即座に反映でき受信側で相手の心情が把握できる。テレビ電話への適用ではプライバシーが守れるので顔画像等を送信できない状況でも通話が可能となりテレビ電話の使用率が向上する。
【００１６】
本発明によれば、通話中に相手や自分の顔画像の各パーツをボタンの選択操作で当該ボタンに応じた部分画像に適宜変更することが出来る為、通話中の感情やジョークを画像に反映できるから会話の幅も広がる。
【００１７】
更に、各パーツを他人と入れ替えたり、芸能人の表情で会話をしたり、二人の顔を合体させることにより子供の顔を想像したり、モンタージュ画像、その画像を設定画像とした笑い顔、起こり顔、泣き顔などを作成する等、娯楽性を持った画像変換の道具としても活用できる。
【発明を実施するための最良の形態】
【００１８】
（実施の形態１）
本発明の画像変換装置及び方法の一実施の形態として、テレビ（ＴＶ）電話端末の送信又は受信画像として予めデフォルト設定した画像に送信者等の表情変化を反映させる構成例により詳細に説明する。
（構成の説明）
図１は本実施の形態の機能ブロック構成を示す図であり、図１（ａ）は送信時の機能ブロック図、図１（ｂ）は受信時の機能ブロック図である。本実施の形態の送信時の機能は、大きく分類すると図１（ａ）に示すように、画像撮影部１１、動作解析部１２、画像保存部１３、画像編集部１４、差像反映部１５及び画像送信部１６で構成される。また、受信時の機能は図１（ｂ）に示すように画像受信部２１、動作解析部２２、画像保存部２３、画像編集部２４、画像反映部２５及び画像表示部２６で構成される。各部の機能は以下のとおりである。
【００１９】
まず、図１（ａ）に示す送信側の構成、機能について説明する。送信側の画像撮影部１１は携帯電話などに付いているカメラでテレビ電話利用者を撮影する機能であり、これはＴＶ電話に搭載されている従来のカメラ機能が利用可能である。
【００２０】
画像保存部１３はＴＶ電話機能を利用していない時にカメラで撮影された画像（撮影画像）や編集、加工された画像等を保存する機能を有する。保存画像にはカメラで撮影された画像、ネット等から入力した画像等、ＴＶ電話時のデフォルトとしての初期設定画像（デフォルトの画像）及び顔画像から目や口、鼻、衣装、背景などの部分（パーツ）のみを取り出した部分画像等が含まれる。例えば、ＴＶ電話で利用したい芸能人や知人の顔画像等に加え、それらの画像から目や口、鼻などの各パーツのみを取り出した部分画像等、相手先に送信する顔画像の表情等へ反映するために利用する部分画像が保存、登録される。また、デフォルトの画像としては、撮影画像等にかぎらずユーザが相手先へ送信する所望の表情を有する画像として、各パーツを組み合わせることにより合成した画像を登録することも可能である。保存された画像の中から1枚をＴＶ電話送受信時のデフォルトの顔画像等として利用され、各パーツはデフォルトの画像への置き換え等に利用される。
【００２１】
画像編集部１４は画像保存部１３に保存された撮影画像から各パーツを抜き出したり、画像保存部１３に保存された撮影画像の部分画像を他の保存された部分画像に変更する編集機能を有する。目を閉じた表情など、登録した部分画像がない場合は、登録した画像をベースに想定される画像を編集し作成する機能を持たせると効果的である。前記部分画像及び編集後の画像等は再び画像保存部１３に保存される。
【００２２】
動作解析部１２はテレビ電話利用時にカメラで撮影された画像（撮影画像）の各パーツの変化（変化パターン）等を解析する機能を有する。本実施の形態では動画の通信を前提としており、動作解析部１２では処理対象として動画の１枚１枚の静止画を扱い、それぞれの時点の顔の表情を判別する。判別の手段は、各静止画を解析しそれぞれ決められた点の座標情報を抽出し、顔画像の輪郭及び該輪郭から目や鼻や口など顔のパーツの位置を特定し、現在の静止画の部分画像の形（パターン）を判断する。口を例にすると座標情報から上唇の上端、上唇の下端、下唇の上端、上唇の下端、右口元、左の口元またそれぞれの中間点の位置等の座標を検出して判断する。口の形の解析では、例えば、上唇の下端と下唇の上端の座標から口の開口を判断し、右口元と左の口元の座標から口の長さが判断し、口の形として画像保存部１３に保存している多数の口のパーツに対応する予め想定された数十〜数百種類のパターンの何れであるかを判断する。座標情報は細かく取れば取るほどより正確な解析、判断が可能であり、前記座標情報に基づいて前記パターンに最も近いものを当該静止画の口の形として判別する。同様に、目、鼻、髪型などについても予め想定されるパターンを用意し、その中からもっとも近い形のものを判別する。また撮影画像の各点の位置から顔の大きさや顔の向きなどを解析し、同様なパターンを判定する。
【００２３】
図２は動作解析部１２の座標情報の抜き出しイメージを示す図である。同図の画像がＴＶ電話端末のテレビ電話利用時にカメラで撮影された画像とすると、動作解析部１２はこの動画の１枚１枚の静止画を対象としてそのパーツの動きから前記パターンを判断するための解析を行う。最初に画像の表情を判断するための基準となる多数の点の座標又は座標と輝度（色）等の座標情報を記録する。具体的には図２に示すように撮影した画像を画面上で細かい軸で区切り、前記基準となる点の座標として数百箇所の座標情報を抜き出す。これらの情報により顔の輪郭及び目や鼻や口など顔のパーツの位置を特定し、それぞれ決められた点の座標情報から現在の静止画のパーツの形を判別する。例えば、多様な表情変化を示す口の形の場合、上唇の下端、下唇の上端、上唇の下端、右口元、左の口元またそれぞれの中間点の位置等のうち、例えば、上唇の下端と下唇の上端の座標から口の開口が判断でき、右口元と左の口元の座標から口の長さが判断できるから、口の形として予め前述の数十〜数百種類のパターンを想定し、前記座標情報に基づいて口の形の変化に最も近いパターン（変化パターン）を特定する。同様に、目、鼻、髪型などについても予め想定されるパターンを用意し、その中からもっとも近い形のものを特定する。以上の解析処理を各静止画で行うことで画像の各パーツのパターンの変化により表情の変化として認識する。同様に撮影画像の各点の位置から顔の大きさや顔の向きなどを解析し、同様なパターンによる変化を認識する。
【００２４】
画像反映部１５は、ＴＶ電話時のデフォルトとしての画像を画像保存部１３から読み込んで画像メモリ等に格納し、ＴＶ電話端末の撮影画像により動作解析部１２で特定した各パターンにより、前記デフォルトの画像のパーツを変更して該画像に反映する機能を有する。つまり、ＴＶ電話時の撮影画像の表情の変化により動作解析部１２が顔画像のパーツのパターンが変わったことを判断すると、画像反映部１５は画像保存部１３から当該パーツのパターンに相当する部分画像を読み込んで当該箇所に置き換える処理により画像の編集を行う機能を有する。具体的には、動作解析部１２が『あ』を発生する口のパターンへの表情変化を生じたと判断した場合、デフォルトの画像の口の画像を当該パターンの部分画像を画像保存部１３から読み出して置き換えることにより編集する。同様に撮影画像の変化により顔画像等の各パーツの変更による表情変化に反映させる。
【００２５】
画像反映部１５では変化として解析されたパーツのパターンの部分画像の置き換えによる表情変化への反映に加え、背景画像の付け替えなどの処理も行なう。処理された画像は画像送信部１６に送られ相手側の端末に映像として送信される。その際設定により声質を変更することも可能である。これによりテレビ電話の利用者の顔の表情、リアクションで相手先画像を変更することが可能となる。
【００２６】
通話中に撮影画像から各表情を判別し編集を行うには高速なハード処理等が必要となるため、画像保存部１３で登録された時点で、予め起こりうる表情の変化を予測して、各パーツに部分画像を置き換える等の編集を行っておくように構成すると好適である。  
画像送信部１６は画像反映部１５で処理された画像を受信して相手端末に送信する機能を有する。
【００２７】
次に、受信時の機能は図１（ｂ）に示すように基本的に送信時の機能、動作と同様であるが、画像受信部２１は相手の端末から送信された画像の受信機能を有し、画像表示部２６は画像変換された画像を表示する機能を有し、動作解析部２２、画像保存部２３、画像編集部２４及び画像反映部２５は、受信画像に対する処理機能である点で相違があるものの、送信側の動作解析部１２、画像保存部１３、画像編集部１４及び画像反映部１５と同様の機能を有する。つまり、受信時の画像処理においては、相手側からの受信画像に対して、デフォルトの画像を設定し、ＴＶ電話中は動作解析部２２が受信画像の各パーツの変化したパターンを判定し、前記デフォルトの画像のパーツを部分画像で置き換えＴＶ電話端末の表示部に表示する。
【００２８】
（動作の説明）
図３は本実施の形態の動作フローチャートを示す図である。同図はＴＶ電話による画像の送信及び受信の両動作を示すものである。まず、送信の場合で説明すると、最初にデフォルトの画像の設定を行なうため、ＴＶ電話端末の利用者の入力操作により事前の画像の取り込み、例えばカメラによる顔写真の撮影とその各パーツの画像の抽出を行い保存する（ステップＡ１１、Ａ１２）。顔写真（ａ）をそのままデフォルトに設定するか（ステップＡ１４）、別の顔写真（ｂ）を含めて各パーツを組み合わせてデフォルトの表情を作成し（ステップＡ１３）、デフォルトの画像として設定する（ステップＡ１４）。ここで、フローチャート上に示していないが、デフォルトの画像の設定と共に、音声の変更設定も同時に行なうことも可能であり、例えば音声のキーを１オクターブ上げる又は下げるなどの設定を行う。
【００２９】
利用者の発呼操作によりＴＶ電話の通話を開始し（ステップＢ１１）、カメラ撮影が開始した時点（ステップＢ１２）で、撮影画像又は受信画像の各基準点の座標情報を細かく抜き出す（ステップＢ１３）。抜き出した座標情報から顔画像の各パーツを判別し、変化したパーツのパターンを特定し、画像保存部から対応する部分画像を読み出して画像反映部でデフォルトの画像のパーツの画像と置き換える（ステップＣ１１）。以上のステップＢ１３、Ｂ１４を繰り返すとともに、音声の変更の設定があれば音声を変更し（ステップＣ１２）、画像送信部から音声とともに画像を相手側の端末へ送信し（ステップＣ１３）、受信側の端末の表示部に表示し、スピーカから音声を出力する。以上の動作により使用者の撮影画像の表情の変化に伴い変化する表情の画像表示により相手との通話が可能となる。
【００３０】
図３に示す動作フローチャートの受信の場合の動作では、最初にデフォルトの画像の設定を行なうため、ＴＶ電話端末の利用者の入力操作により通話状態（ステップＢ１１、Ｂ１２）で受信画像を取り込み、例えば相手の顔画像の取り込み及びその各パーツの画像の抽出を行い保存する（ステップＡ１１、Ａ１２）。この受信した顔画像（ａ）をそのままデフォルトに設定するか（ステップＡ１４）、別の顔画像（ｂ）を含めて各パーツを組み合わせてデフォルトの表情を作成し（ステップＡ１３）、デフォルトの画像として設定する（ステップＡ１４）。必要によりデフォルトの画像の設定と共に音声の変更設定を行う。
【００３１】
以降、ＴＶ電話の通話中、受信される顔画像の各基準点の座標情報を細かく抜き出す（ステップＢ１３）。抜き出した座標情報から顔画像の各パーツを判別し、変化したパーツのパターンを特定し、画像保存部から対応する部分画像を読み出して画像反映部でデフォルトの画像のパーツの画像と置き換える（ステップＣ１１）。以上のステップＢ１３、Ｂ１４を繰り返すとともに、音声の変更の設定があれば音声を変更し（ステップＣ１２）、画像を画像表示部に表示するとともにスピーカから音声を出力する（ステップＣ１３）。以上の動作により相手の撮影画像の表情の変化に伴い変化する表情の画像表示により相手との通話が可能となる。
【００３２】
図４は顔画像の表情がパーツ変更により変化するイメージを示す図である。図４（ａ）に示すＴＶ電話端末の利用者の予め設定されたデフォルトの顔画像に対し、図４（ｂ）に示すように、撮影画像又は受信画像の口、鼻及び目の変化に応じて、画像保存部のそれぞれのパーツの部分画像で置き換えた時系列な静止画が作成され、動画として受信者側又は送信者側で視聴できる。
【００３３】
（実施の形態２）
前述の実施の形態１では、画像のパーツの変更を使用者自身の通話中の撮影画像又は受信画像の表情変化により変えるように構成したものであるが、通話中にボタン操作を行うことでデフォルトの顔画像の表情を変えるように構成することが可能である。
【００３４】
図５は本実施の形態２の機能ブロック構成を示す図であり、図５（ａ）は送信時の機能、図５（ｂ）は受信時の機能である。本実施の形態の送信時の機能は、図５（ａ）に示すように、画像撮影部１１、ボタン操作部１７、画像保存部１３、画像編集部１４、画像反映部１５及び画像送信部１６で構成される。また、受信時の機能は図５（ｂ）に示すように画像受信部２１、ボタン操作部２７、画像保存部２３、画像編集部２４、画像反映部２５及び画像表示部２６で構成される。本実施の形態２は実施の形態１と比較して画像解析部１５、２５に代えてボタン操作部１７、２７を有する点で異なり、同じ符号の各部は実施の形態１と同様の機能を有する。
【００３５】
本実施の形態のボタン操作部１７、２７はテンキー等の操作スイッチで構成されており、各入力キー毎に口、目、鼻などの画像の各パーツ（パターン）と対応付けられている。画像保存部１３には保存されたカメラで撮影された画像、ネット等から入力した画像、及び顔画像から目や口、鼻などの各パーツのみを取り出した部分画像等が保存され、画像反映部１５、２５は画像保存部１３、２３の画像から1枚をＴＶ電話送受信時のデフォルトの顔画像等として読み込み送信又は表示画像として設定し、使用者のボタン操作部１７、２７のボタンの押下時に、当該押下ボタンに割り当てられたパターンの部分画像を画像保存部１３から抽出して前記顔画像等のパーツの画像と置き換える等の画像の編集を行い、撮影又は受信画像を変化させる。画像反映部１５、２５で処理された画像は画像送信部１６又は画像表示部２６に出力される。以上のように本実施の形態２では、送信時及び受信時に自らボタン操作１１、２１の操作を行って相手への送信画像及び受信画像の表情等を変化させる。
【００３６】
図６は本実施の形態２の動作フローチャートを示す図である。最初に送信又は受信のデフォルトの画像の設定を行なうため、実施の形態１と同様に事前の画像の取り込み、例えば顔写真の撮影を行なう（ステップＡ２１、Ａ２２）。顔写真（ａ）等をそのままデフォルトの画像に設定するか（ステップＡ２４）、別の顔写真（ｂ）等から各パーツを組み合わせてデフォルトの表情を作成し（ステップＡ２３）、デフォルトの画像として設定する（ステップＡ２４）。ここで、動作フローチャート上に示していないが、デフォルトの画像の設定と共に、音声の変更設定も同時に行なうことも可能であり、例えば音声のキーを１オクターブ上げる又は下げるなどの設定を行う。
【００３７】
ＴＶ電話の通話状態（ステップＢ２１）で、利用者は通話中の相手の画像や会話内容等に応じたリアクション等としてテンキーボタンを選択して押下する（Ｂ２２）。押下されたテンキーボタンに応じてパーツの種類が特定され、押下回数等によりそのパーツのパターンが特定され、画像反映部１５、２５は画像保存部１３、２３から該当する部分画像を読み込んでデフォルトの画像の当該パーツ箇所に置き換えられる（ステップＣ２１）。また、音声の変更が設定されている場合には音声を変更し（ステップＣ２２）、編集後の映像と声とを併せて相手側の端末へ送信し又は表示部に表示する（ステップＣ２３）。ステップＢ２２、Ｂ２３の操作を繰り返すことで表情を変えた画像の送信又は受信による通話が可能となる。
【００３８】
図７は本実施の形態２をテレビ電話が可能な携帯電話機等に適用した例を示す図である。ボタン操作部のテンキーボタン１０別に顔の各パーツの変更を制御するスイッチ機能をもたせる。例えば、携帯電話機のテンキー１〜９について、１：目、２：鼻、３：口、４：耳、５：まゆげ、６：髪型、７：肌の色、８：背景、９：音声、０：全て、を割り当て、その押下回数によりそれぞれの異なるパターンの部分画像又はデフォルトの画像の置き換えを制御する機能を持たせる。これにより、図７に示すパーツ変換イメージのように、通話中に各パーツに対応したボタンを押すことでリアルタイムにデフォルトの画像の各パーツを変更することが可能であり、ベースとなる画像の表情をリアルタイムに変化させることができる。
【００３９】
本実施の形態２の画像のパーツの変更による表情の変更を受信側に対して行う場合には、ＴＶ端末による送信の場合との識別に特定ボタン操作を追加する。例えば、♯（シャープ）記号のキー等と同時にパーツに対応したテンキー１〜０等を押すことにより受信側の相手の画像の表情を変更可能とする。この場合も、予めデフォルトの画像を事前に設定する操作が必要であるが、受信画像から充分な部分画像を編集して画像保存部２３に保存することは困難な場合が生じうる。例えば、目を閉じたり、横を向いたり、画面から半分見切れた時の動作時には端末内でそれらの動作を把握し、元の画像をベースに表情を推測する機能を搭載すると好適である。また、後ろ向きになった時などで端末の編集機能の限界を超えた時には撮影している映像をそのまま送信するか、画像の送信を停止するかを選択するように構成することができる。
【００４０】
本実施の形態２でも、デフォルトの画像等として有名人の画像や声を設定し、そのパーツの置き換えを操作することにより、その表情を変更することができ、あたかも有名人と直接会話をしているような気分を味わうことが可能である。
【００４１】
（他の実施の形態３）
図８及び図９は本発明の他の実施の形態を示す図である。それぞれ前記実施の形態１及び２のＴＶ電話端末の機能をプログラム制御により実施する画像変換プログラムの実施の形態３、４の構成例を示している。
【００４２】
図８に示す実施の形態３は、テンキーボタン等のボタン操作部１０、基地局及びインターネット等に接続し送受信機能を有する無線部２０、ＴＶ電話で相手及び使用者の顔画像等を表示する表示部３０、マイク及びスピーカ４０、利用者の顔画像を撮影可能なカメラ部５０、ＶＲＡＭを含む各種のメモリ部６０、画像変換機能の制御用の各種プログラムに加え、前記設定画像、部分画像等、画像データを保存する記憶部７０及び制御部８０等により構成される。
【００４３】
ここで制御部８０はコンピュータで構成され記憶部７０に記憶された各種の処理プログラムを読み込み、読み込まれた処理プログラムは制御部８０を制御し、制御部８０はＴＶ電話端末の画像変換の各種制御機能を実現する。制御部８０の制御機能は、携帯通信端末としての発呼、着呼、通話、ＴＶ電話等の通信制御等に加え、画像変換機能に関連して、送受信／表示機能８００、画像撮影機能８０１、動作解析機能８０２、画像保存機能８０３、画像編集機能８０４及び画像反映機能８０５を有する。本実施の形態３の送受信／表示機能８００は図１に示す実施の形態１の画像の送受信及び表示を行う画像送信部１６、画像受信部２１及び画像表示部２６の機能と同様であり、また、画像撮影機能８０１、動作解析機能８０２、画像保存機能８０３、画像編集機能８０４及び画像反映機能８０５は図１に示す実施の形態１の画像撮影部１１、動作解析部１２、２２、画像保存部１３、２３、画像編集部１４、２４及び画像反映部１５、２５の機能と同様である。つまり、本実施の形態３の制御部８０の制御により図３に示す画像及び音声変換の処理機能を実現し、利用者等の表情の変化により部分画像を置き換え設定画像に反映させる。
【００４４】
また、図９に示す実施の形態４は、図８に示す機能の内、動作解析機能８０２に代えてボタン操作部１０のテンキーボタン入力機能を備える。制御部８０は、送受信／表示機能８００、画像撮影機能８０１、画像保存機能８０３、画像編集機能８０４及び画像反映機能８０５を有する。本実施の形態４の送受信／表示機能８００は図５に示す実施の形態２の画像の送受信及び表示を行う画像送信部１６、画像受信部２１及び画像表示部２６の機能と同様であり、また、画像撮影機能８０１、画像保存機能８０３、画像編集機能８０４及び画像反映機能８０５は図６に示す実施の形態２の画像撮影部１１、画像保存部１３、２３、画像編集部１４、２４及び画像反映部１５、２５の機能と同様である。つまり、本実施の形態３の制御部８０の制御により図６に示す画像及び音声変換の処理機能を実現し、利用者のテンキーボタンの押下により部分画像を置き換え設定画像に反映させる。
【００４５】
（他の実施の形態）
本発明のＴＶ電話端末を他人が拾った場合などには、本来の利用者になりきることが可能であるから、セキュリティーを考慮して携帯電話機に実装されている紛失等の際に使用を禁止する機能であるキーロック機能に加えて、画像変換通話を行う際には、指紋認証や複雑なパスワードなどによる認証や、画像解析部の機能を利用した顔認証をおこなうように構成すると好適であり、受信者も通話前に電話番号の確認に細心の注意を払う必要がある。
【００４６】
以上の実施の形態はテレビ電話に限らず、テレビ放送やテレビ会議など映像をリアルタイムで送信する機器に適用可能である。また、ＴＶ電話等への適用した場合にも、本機能を使用しない通常の画像表示により通話するように切り替え可能であることは明らかである。
【図面の簡単な説明】
【００４７】
【図１】本実施の形態の機能ブロック構成を示す図である。
【図２】動作解析部の座標情報の抜き出しイメージを示す図である。
【図３】本実施の形態の動作フローチャートを示す図である。
【図４】顔画像の表情がパーツ変更により変化するイメージを示す図である。
【図５】本実施の形態２の機能ブロック構成を示す図である。
【図６】本実施の形態２の動作フローチャートを示す図である。
【図７】本実施の形態２をテレビ電話が可能な携帯電話機等に適用した構成例を示す図である。
【図８】本発明の他の実施の形態３を示す図である。
【図９】本発明の他の実施の形態４を示す図である。
【符号の説明】
【００４８】
１０、１７、２７  ボタン操作部（テンキーボタン）
１１  画像撮影部
１２、２２  動作解析部
１３、２３  画像保存部
１４、２４  画像編集部
１５、２５  画像反映部
１６  画像送信部
１７  ボタン操作部
２０  無線部
２１  画像受信部
３０、２６  画像表示部
４０  マイク／スピーカ
５０  カメラ部
６０  メモリ部
７０  記憶部
８０  制御部（ＣＰＵ）
【図１】
2007213364.tif 000003
【図２】
2007213364.tif 000004
【図３】
2007213364.tif 000005
【図４】
2007213364.tif 000006
【図５】
2007213364.tif 000007
【図６】
2007213364.tif 000008
【図７】
2007213364.tif 000009
【図８】
2007213364.tif 000010
【図９】
2007213364.tif 000011