(57)【要約】【課題】事前に撮影した画像を用いてテレビ電話通話中の画像を模擬した画像を生成して提示することができるテレビ電話端末を提供する。【解決手段】ユーザの画像を記憶する記憶装置３と、テレビ電話通話中に撮影されたユーザの画像から特徴点を抽出して特徴点の画像データを取得するデータ解析部４と、データ解析部４により取得された各特徴点の画像データを用いて、テレビ電話通話中のユーザの画像の特徴点を、記憶装置３に予め記憶しておいたユーザの画像に適合するように補正し、ユーザの画像の特徴点をテレビ電話通話中のユーザの画像の特徴点で置換した画像を通話相手へ表示する画像として生成する画像処理部２とを備える。【選択図】図１
2007189624.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの画像データを記憶する記憶部と、
前記テレビ電話通話中に撮影されたユーザの画像から特徴点を抽出して前記特徴点の画像データを取得するデータ解析部と、
前記データ解析部により取得された各特徴点の画像データを用いて、前記記憶部に予め記憶しておいたユーザの画像を前記テレビ電話通話中のユーザの画像として模擬した画像を、通信相手へ表示する画像として生成する画像処理部とを備えたテレビ電話端末。
【請求項２】
画像処理部は、テレビ電話通話中のユーザの画像の特徴点を、記憶部に予め記憶しておいたユーザの画像に適合するように補正し、前記記憶部に予め記憶しておいたユーザの画像の特徴点を前記テレビ電話通話中のユーザの画像の特徴点で置換した画像を通信相手へ表示する画像として生成することを特徴とする請求項１記載のテレビ電話端末。
【請求項３】
データ解析部は、処理負荷の状況及びテレビ電話通話中のユーザの画像を模擬する上での重要度のうちの少なくとも一方に応じて、画像処理部による画像生成に用いる特徴点の数を制限することを特徴とする請求項１又は請求項２記載のテレビ電話端末。
【請求項４】
データ解析部は、予め撮影されたユーザの画像から特徴点を抽出して前記特徴点の画像を規定するパラメータを要素とする時系列な画像データを生成し、
記憶部は、ユーザの画像データとして前記データ解析部により生成された画像データを記憶することを特徴とする請求項１から請求項３のうちのいずれか１項記載のテレビ電話端末。
【請求項５】
データ解析部は、通信相手へ表示する画像の生成に用いる画像データにイベント情報を付加し、
画像処理部は、前記通信相手へ表示する画像に対して前記イベント情報に応じた画像処理を施すことを特徴とする請求項１から請求項４のうちのいずれか１項記載のテレビ電話端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理が可能なテレビ電話端末に関するものである。
【背景技術】
【０００２】
従来のテレビ電話端末としては、例えば特許文献１に開示されるものがある。このテレビ電話端末では、自端末に表情や動作のアクションコマンドを予め保存しておき、留守番電話の応答時にアクションコマンドの解析結果を反映させた代替画像を通話相手のテレビ電話端末に送信する。これにより、留守番電話の応答時に予め録画しておいた動画の映像データを通話相手に送信する場合と比較して通信データ量を削減することができる。
【０００３】
【特許文献１】特開２００４−３２８０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に代表される従来のテレビ電話端末は、留守番電話応答を前提としており、テレビ電話による通話においてリアルタイムに代替画像を表示することが想定されていない。このため、通話時における通話者の状況を考慮したテレビ電話応答をすることができなかった。
【０００５】
テレビ電話での通話要求があった際、通話者が、例えばトイレ等の通話相手に見せたくない場所にいるとき、テレビ電話で応答できない場合がある。しかしながら、通話相手からのテレビ電話による応答の要求を無視して通常の通話で応答すると、通話相手に不快感を与えかねない。このような場合、通話者があたかも別の場所からテレビ電話で応答しているようにみせられることが望ましい。
【０００６】
また、特許文献１は、アクションコマンドを利用して代替画像に反映させる表情等を作り出すものである。このように、特許文献１では、画一的な画像処理に規定するアクションコマンドを利用して表情等を作り出すことから、通話者の実際の表情等が代替画像に反映されない可能性があるという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、事前に撮影した画像を用いてテレビ電話通話中の画像を模擬した画像を生成して提示することができるテレビ電話端末を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係るテレビ電話端末は、ユーザの画像データを記憶する記憶部と、テレビ電話通話中に撮影されたユーザの画像から特徴点を抽出して特徴点の画像データを取得するデータ解析部と、データ解析部により取得された各特徴点の画像データを用いて、記憶部に予め記憶しておいたユーザの画像をテレビ電話通話中のユーザの画像として模擬した画像を、通話相手へ表示する画像として生成する画像処理部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、ユーザの画像データを記憶する記憶部と、テレビ電話通話中に撮影されたユーザの画像から特徴点を抽出して特徴点の画像データを取得するデータ解析部と、データ解析部により取得された各特徴点の画像データを用いて、記憶部に予め記憶しておいたユーザの画像をテレビ電話通話中のユーザの画像として模擬した画像を、通話相手へ表示する画像として生成する画像処理部とを備えるので、テレビ電話通話を求められた際に通話相手にテレビ電話応答することが困難な状況であっても、予め撮影しておいた画像を通話相手にあたかもテレビ電話通話中の画像として応答することができるという効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１によるテレビ電話端末の概略的な構成を示す図であり、例えば本発明をテレビ電話機能を有する携帯電話機に適用した場合を示している。実施の形態１による携帯電話機は、撮影装置１、画像処理部２、記憶装置（記憶部）３、データ解析部４及び送信装置５を含んで構成される。撮影装置１は、本携帯電話機に内蔵若しくは着脱可能に設けられ、ユーザの表情等をリアルタイムに撮像した画像データを得ることができる。この撮影装置１としては、例えばＣＣＤ（Charge-Coupled Devices）カメラ等により具現化できる。
【００１１】
画像処理部２は、記憶装置３に記憶された既存の画像データに対して、撮影装置１により撮像された画像から抽出した特徴点を合成する処理を行う。記憶装置３は、撮影装置１の撮像画像データをデータ解析部４により事前解析した結果やイベント処理において差し替えるイベント画像、テレビ電話応答の際に通話相手に送信する画像を記憶する。データ解析部４は、記憶装置３に記憶された画像データや撮影装置１により撮像された入力画像データのデータ解析を行う。送信装置５は、通常の通信処理の他、テレビ電話応答するにあたり、画像処理部２の処理結果の画像を通話相手に提示する画像として通話相手の通信装置に送信する。
【００１２】
図２は、図１中のデータ解析部による事前解析の結果を説明するための図であり、撮影装置１により取得されたユーザの顔の画像データを事前解析した場合を示している。データ解析部４は、図２中の左側に示すように、ユーザの顔の画像６を特徴点毎のブロック領域に分割する。例えば、目のブロック領域７ａ、頬のブロック領域７ｂ、鼻のブロック領域７ｃ、口のブロック領域７ｄ及び顎のブロック領域７ｅに分割する。事前解析の結果は、撮影装置１により撮影されたユーザの映像（動画）のフレーム画像毎の時系列データとして記憶装置３に記憶される。
【００１３】
事前解析の内容としては、例えば撮影装置１により取得されたフレーム画像（ユーザの顔の画像６）に対して解析を行い、画像６上における顔の面積、顔に設定した基準線に対する目の座標、基準線と画面の中心線との角度を計測する。基準線は、例えば水平方向は両目を結んだ線、これに画像６の平面に沿って直交する方向には両目の目の中心点から等距離にある点を通り、水平方向の基準線に垂直な線を基準線とする。なお、顔の面積に関する情報は、特徴点の画像を拡大縮小して使用するときの指標となるため、時系列データ毎に対応付けて記憶しておく。
【００１４】
また、画像６上の顔の明るさ（輝度やコントラスト）を取得する。この画像６における顔の明るさの情報に基づいて、当該事前解析データを合成処理に使用する場合における輝度やコントラストの基準を作成する。例えば、この事前解析データに対して、テレビ電話による通話中にリアルタイムに撮影された顔の画像から抽出した特徴点を合成する場合、事前解析データとリアルタイムに撮影された画像データとの輝度やコントラスト調整に前述の基準を使用する。
【００１５】
このようにして、図２中の右側に示すように、顔の画像６の各特徴点のブロック領域７ａ〜７ｅにおける画像情報をそれぞれ独立したパラメータとした時系列データが作成される。図示の例では、ブロック領域７ａにおける目の画像情報として、画像６上の目の位置座標（図示の例では、二次元座標ｘ１，ｙ１）、画像６上での目が占める部分の面積（図示の例では、面積ｚ１）、目が占める部分の輝度ａ１、コントラストｂ１、水平方向又は垂直方向における基準線に対する目の角度ｃ１等がそれぞれ独立したパラメータとして抽出されている。
【００１６】
また、データ解析部４は、顔の画像６を解析するにあたり、例えば表情の構成に重要な役割を果たす目や口等の特徴点のブロック領域７ａ，７ｄから順に画像解析を行い、図２中の右側に示すような座標、面積、輝度、コントラスト、角度等のパラメータの値を画像情報として求める。なお、特徴点の画像情報としてどのようなパラメータを求めるかは、解析処理に要する時間や記憶装置３の空き容量、本テレビ電話端末の処理能力に応じて予め決定しておく。
【００１７】
このように、特徴点の画像情報を構成する各パラメータを独立に求めておくことで、通話時に通話相手に提示する画像を合成するにあたり、画像処理部２の処理能力に応じて、事前に求めた前記パラメータのうちのいずれを利用するかを柔軟に変更できる。
【００１８】
例えば、画像処理部２の処理能力が低く、各特徴点の画像情報として事前に求めた全てのパラメータを利用すると処理に時間がかかり過ぎてしまう場合は、目や口といった表情の構成に大きく影響を与える特徴点のパラメータを優先的に利用し、その他の特徴点のパラメータについては適宜間引いて利用する。反対に、画像処理部２の処理能力に余裕がある場合は、その他の特徴点のパラメータを間引かずに利用して通話相手に提示する画像を合成する。
【００１９】
なお、通話開始時までに事前解析が進んでおらず、未だに解析できていない部分、例えば顔の画像６の特徴点として目と口の解析は済んでいるが、鼻や頬、顎の解析が済んでいない場合等がある。このような場合、画像処理部２が、通話開始前に画像合成するにあたり、合成に使用する特徴点の数とその下限を規定する閾値とを比較し、閾値未満である場合、画像合成できるまで解析が進んでいないと判断して画像合成を実行しない。このときは、通常の通話で応答することになる。また、どの特徴点に関するどのパラメータまでを使って所定の時間内に処理が可能か等の画像処理部２の処理能力は、後述するように事前に評価しておく。
【００２０】
次に動作について説明する。
先ず、通話相手に対する画像送信中の動作を説明する。
図３は、実施の形態１によるテレビ電話端末の画像処理の流れを示すフローチャートであり、この図に沿って説明する。
実施の形態１によるテレビ電話端末である携帯電話機では、テレビ電話機能を有する通話相手の電話機から発呼があると、着信動作を開始する。この着呼時又は発呼前に、テレビ電話応答に使用する合成画像を画像処理部２により作成するため、データ解析部４により事前解析された時系列データで表される画像（以下、記録画像と称す）を記憶装置３から選択する（ステップＳＴ１）。この選択方法としては、例えば図２に示すような記録画像の選択画面を表示部に表示させ、キー操作等で選択させるものが考えられる。
【００２１】
ステップＳＴ１において、記録画像が選択されると、この記録画像を用いて通話が開始される。ここでは、記録画像として、例えばユーザの顔を事前に撮影した動画映像が選択されたものとする。この記録画像がその時系列データ毎に記憶装置３から読み出され、以降のステップにおける処理が順次施されることになる。なお、記録画像の時系列データによる画像が、後述するようにリアルタイムに撮影装置１により撮影された画像の特徴点を合成する対象となる。
【００２２】
続いて、ユーザの顔のリアルタイムな表情等の情報を得るために、撮影装置１によりユーザを撮影し、撮像画像を取得する（ステップＳＴ２）。撮影装置１により取得された画像データは、データ解析部４に入力される。データ解析部４では、入力したデータの画像に対し、アウトライン解析による画像中の顔の特徴点の大まかな解析を行う（ステップＳＴ３）。この解析により、例えば顔を目や口等のブロック領域の画像に分割する。
【００２３】
次に、データ解析部４は、アウトライン解析の結果として得られるブロック領域のうち、例えば表情等の構成に影響を与える目や口等の特徴点のブロック領域画像データから順に詳細な解析を実行して、例えば図２の右側に示すような特徴点毎の各パラメータ（座標、面積、輝度、コントラスト、角度等）の値を求めていく（ステップＳＴ４）。
【００２４】
このとき、データ解析部４は、事前に設定しておいた合成対象とする部位の優先度や画質レベルに基づいて、ステップＳＴ４で詳細な解析を行った特徴点が、画像処理部２による画像合成に使用される部位であるか否かを判定する（ステップＳＴ５）。なお、特徴点について全てのパラメータの解析が完了していた場合であっても、画質レベルによっては解析結果の一部のみを合成対象として使用する場合もある。
【００２５】
また、優先度や画質レベルから特徴点が合成対象ではないと判定すると、データ解析部４は、再びステップＳＴ４に戻り、次の特徴点のブロック領域について詳細解析を実行する。一方、合成対象であると判定すると、ステップＳＴ６の処理に移行する。
【００２６】
ステップＳＴ６において、画像処理部２は、１回目のイベント発生タイミングであるか否かを判定する。ここで、１回目のイベントとは、ステップＳＴ１で選択した記録画像をイベント画像に差し替えるイベントをいう。イベント画像とは、例えば記憶装置３に記憶された記録画像のうちからイベント発生時に差し替える画像としてユーザが事前に設定しておく画像である。また、イベント発生タイミングは、イベント情報に基づいて判断される。このイベント情報は、記憶装置３に記憶されるどのイベント画像に切り替えるかという情報と通話開始後の所定時間（例えば、数秒）後というイベント発生タイミングとを含む情報であり、データ解析部４による事前解析の際、解析結果である記録画像に設定しておく。
【００２７】
画像処理部２は、記録画像にイベント発生タイミングが設定されていると、これに従ってステップＳＴ１で選択された記録画像をイベント画像の時系列データの画像に切り替える（ステップＳＴ７）。このイベント画像が、後述するステップＳＴ８において、ステップＳＴ２で撮影装置１により撮影された画像の特徴点を合成する対象画像となる。
【００２８】
また、画像処理部２は、１回目のイベント発生タイミングではないと判定すると、ステップＳＴ１で選択された記録画像の時系列データによる画像に対し、ステップＳＴ２で撮影装置１により撮影された画像の特徴点を合成する処理を実行する（ステップＳＴ８）。これにより、記録画像における顔の特徴点（例えば、目、口、鼻、頬、顎）が、撮影装置１によりリアルタイムに撮影された画像における顔の特徴点で置換される。
【００２９】
ここで、合成処理の具体例を説明する。
データ解析部４が、ステップＳＴ２において撮影装置１により撮影されたユーザの顔の画像に対し、ステップＳＴ４において目を中心とした領域を切り出し、顔の中心線と画面の中心線との角度を計測して合成対象のデータとして判定していたものとする。この場合、画像処理部２は、ステップＳＴ１で選択された記録画像の時系列データによる画像又はステップＳＴ７で切り替えられたイベント画像の時系列データによる画像（以下、現在画像と称す）と、ステップＳＴ２において撮影装置１により撮影された画像（以下、リアルタイム画像と称す）との顔の面積の違いから、リアルタイム画像から切り出された領域に関して拡大縮小の面積変更処理を行う。
【００３０】
なお、このとき、両画像の特徴点の画像データ（前述の各パラメータ）の値に一定以上の差が生じた場合にはエラーとする。また、現在画像について事前解析により得た上記角度とリアルタイム画像から取得された上記角度とに基づいて、リアルタイム画像から切り出した領域を回転させ、現在画像において事前解析により取得しておいた座標に対して貼り付ける。
【００３１】
この他、ステップＳＴ４において、データ解析部４が、リアルタイム画像に対して解析を行い、リアルタイム画像上の顔の明るさに関する情報を取得し、この顔の明るさの情報に基づいて輝度やコントラストの基準値を規定していたものとする。この場合、画像処理部２は、現在画像において事前解析により取得しておいた顔の明るさに関する前記基準値とリアルタイム画像における前記基準値との差に基づいて、リアルタイム画像から切り出した領域を現在画像に貼り付ける際の色調整を行う。
【００３２】
画像処理部２は、上述のようにして１つの特徴点について合成処理が終了すると、次に合成処理する特徴点を選択し（ステップＳＴ９）、合成対象として使用する特徴点の数に達したか否かを判定する（ステップＳＴ１０）。次に選択すべき特徴点としては、例えば表情等に大きく影響を与える目や口の特徴点が挙げられる。また、合成対象として使用する特徴点の数は、本実施の形態１による携帯電話機の処理能力を事前に評価し、例えば許容時間内に合成処理が可能な特徴点の数とする。
【００３３】
なお、上記評価の際に、本実施の形態１による携帯電話機内の各構成要素の処理量を算出し、本携帯電話機で他のタスクが動作していない状態において、ある構成要素がどの程度まで動作が可能かを測定する。そして、動作中の負荷状況（ＣＰＵ占有率）等と評価結果とから、画像処理部２が、ステップＳＴ１０において一定周期毎に使用する特徴点数を変更する。
【００３４】
ステップＳＴ１０において、使用特徴点数に達していないと判定されると、ステップＳＴ４の処理に戻り、リアルタイム画像からステップＳＴ９で選択した特徴点を抽出し、ステップＳＴ４からステップＳＴ１０までの処理が繰り返される。一方、使用特徴点数に達した場合、画像処理部２は、画像合成処理に成功したか否かを判定する（ステップＳＴ１１）。この判定は、事前に撮像したユーザの画像を用いて通信中のユーザの画像を模擬するので、合成前の画像と合成後の画像を比較しても大きな差が現れないことを前提としている。そこで、合成前の画像の特徴点部位と合成後の画像の特徴点部位とに関する画素毎の差分を求め、その差が事前に設定した閾値以上である場合に合成処理に失敗したと判定する。
【００３５】
例えば、上述の場合、通話者であるユーザの顔が常に画面に写っていることが前提となるが、合成処理の失敗により顔がない画像が作成された場合等は、ステップＳＴ４において適切な特徴点が抽出されておらず、この特徴点を合成する部位とは全く異なったものが抽出されたことが想像される。このような場合は、上述した特徴点部位の画素毎の差分値が閾値以上になり、合成処理に失敗したと判定される。
【００３６】
ステップＳＴ１１において合成処理に失敗したと判定された場合、画像処理部２は、合成後の画像を乱す等の特殊効果を加えるイベント処理を実行する（ステップＳＴ１４）。一方、合成処理に成功した場合、画像処理部２は、２回目のイベント発生タイミングであるか否かを判定する（ステップＳＴ１２）。ここで、２回目のイベントとは、ステップＳＴ１４で実行される合成後の画像を乱す等の特殊効果を加えるイベントをいう。つまり、ステップＳＴ１１で合成処理に成功したと判定された場合であっても、事前シナリオのイベント発生タイミングであった場合、例えば画像を乱すといったイベント処理用の画像処理が実行される。
【００３７】
ステップＳＴ１２で判定される事前シナリオのイベント発生タイミングは、イベント情報に基づき判断される。このイベント情報は、ステップＳＴ６の場合と同様に、どのような画像処理を施すのか（イベント内容）という情報と通話開始後の所定時間（例えば、数秒）後というイベント発生タイミングとを含む情報であり、データ解析部４による事前解析の際、解析結果である記録画像に設定しておく。
【００３８】
画像処理部２は、合成処理を施した現在画像にイベント発生タイミングが設定されていると、これに従ってステップＳＴ１４に移行して合成後の画像を乱す等の特殊効果を加える画像処理を実行する（ステップＳＴ７）。なお、２回目のイベントが発生する少し前、つまり特殊効果を加える画像処理を施す前に、画像処理部２は、自機に搭載した不図示の表示部の画面に、これから発生させるイベントの内容（どのような画像処理を施すのか）を表示する。例えば、どのように画像を乱すかについてその内容を表示し、キー操作等を介してユーザによる確認を受け付けるようにしてもよい。
【００３９】
ステップＳＴ１２で２回目のイベント発生タイミングではないと判定した場合又はステップＳＴ１４でイベント処理用の画像処理を施すと、画像処理部２は、処理を施した画像データを送信装置５に出力する（ステップＳＴ１３）。送信装置５では、画像処理部２からの画像データを通話相手の通信装置に送信する。
【００４０】
この後、画像処理部２は、ステップＳＴ１で選択された記録画像における全ての時系列データを処理したか否かを判定する（ステップＳＴ１５）。このとき、全ての時系列データを処理していないと判定されると、ステップＳＴ２の処理に戻って次の時系列データの画像（次のコマの画像）に対して、ステップＳＴ２からステップＳＴ１３までの処理を実行する。
【００４１】
一方、全ての時系列データを処理した場合は、例えばテレビ電話による通話が終わるまで、再び最初の時系列データに戻って処理対象をループさせる。なお、時系列の最後のデータから最初のデータに戻る際、そのつなぎ目の前後の画像における背景のずれ等に起因して画像が不自然になる可能性がある。そこで、事前解析時に上記背景のずれが最小になるように例えば以下のような処理を施す。
（１）開始一定時間内と終了一定時間内にある時系列データの画像同士の差分を計算し、この差分が最小になる時刻をループの基点とする。
（２）終了一定時間前から、開始画像における人物の位置ずれを計算しておき、人物の位置ずれを時系列に徐々に補正していき、終了時点での人物の位置ずれをなくす。
【００４２】
このようにして、通話相手が、ユーザの顔の記録画像をリアルタイム画像で補正した映像を見ながら、テレビ電話による通話がなされる。これにより、通話者が、通話相手に見せたくない場所にいる場合であっても、別の場所で撮影した記録画像を用いることによりあたかも別の場所からテレビ電話で応答しているようにみせることができる。
【００４３】
次に待機状態における動作を説明する。
テレビ電話での通話要求があるまでの待機状態において、データ解析部４は、撮影装置１によって撮影された画像に対して事前解析を実行する。
図４は、実施の形態１によるテレビ電話端末の待機状態における動作の流れを示すフローチャートであり、この図に沿って説明する。
上記待機状態において、タイマに設定した一定周期での割り込みや、撮影装置１により記録画像とする画像の撮影がなされると、データ解析部４は、撮影装置１により撮影された画像（動画）に対する事前解析を開始する。
【００４４】
先ず、データ解析部４は、撮影装置１により撮影された画像を構成するフレーム画像データのうち、未解析の画像データがあるか否かを判定する（ステップＳＴ１ａ）。ここで、未解析のデータがなければ、再びステップＳＴ１ａに戻り、解析対象のデータが入力されるまでの待機状態に移行する。また、未解析のデータがあれば、ステップＳＴ２ａの処理に移行する。
【００４５】
ステップＳＴ２ａにおいて、データ解析部４は、本実施の形態１による携帯電話機のＣＰＵの負荷状況を判定する。このとき、他のタスクが動作していることにより処理負荷が低くないと判断される場合、データ解析部４は、直ちに事前解析を実行することなく、事前解析を実行する時間をタイマに設定する（ステップＳＴ７ａ）。この間、データ解析部４は解析処理を中断する。この後、タイマに設定した時間が満了すると（ステップＳＴ８ａ）、ステップＳＴ１ａに戻って事前解析処理が再開される。
【００４６】
一方、処理負荷が低いと判定すると、データ解析部４は、記憶装置３について、事前解析したデータを格納するのに十分な空き容量があるか、記憶領域の使用量の上限に達していないかを判定する（ステップＳＴ３ａ）。ここで、十分な空き容量がない又は記憶領域の使用量の上限に達している場合、事前解析を実行しても解析結果を格納できないので処理を終了する。
【００４７】
また、十分な空き容量があり、記憶領域の使用量の上限に達していなければ、データ解析部４は、記憶装置３から解析対象となる画像を読み出し（ステップＳＴ４ａ）、データ解析を実行する（ステップＳＴ５ａ）。このデータ解析により、図２に示したような記録画像の時系列データにおける各特徴点のパラメータ値が求められる。
【００４８】
なお、上述のデータ解析は、解析対象の画像を構成するフレーム画像データに対して、全ての特徴点のパラメータ値を求める詳細解析を順次フレーム毎に行うのではなく、リアルタイムな画像を模擬する上で重要な特徴点毎に所定のフレーム間隔で解析を実行する。
【００４９】
例えば、顔の画像であれば、実際の顔の表情等に大きな影響を与える目のブロック領域の画像について、ある一定のフレーム間隔で解析対象の画像データ全体について解析し、その解析データ（各パラメータ値）を求める。この後、次に表情の形成に重要と考えられる口、その次に頬、鼻、顎、・・・といった特徴点について、目の画像を解析したフレームと同じフレームの画像について順次解析を実行する。この一連の解析を完了すると、引き続き時系列に解析済みフレーム画像の間にあるフレーム画像を選択し、重要な特徴点である目から同様に解析を実行する。
【００５０】
このように、データ解析部４は、一つのフレーム画像毎に詳細解析を行うのではなく、ある一定のフレーム間隔で規定される複数のフレーム画像に対し、重要な特徴点から順に繰り返し解析を行い、各フレーム画像についての解析結果を順次追加していく。解析された結果のデータは、記録画像として記憶装置３に出力されて記憶される。
【００５１】
また、データ解析部４は、ステップＳＴ５ａのデータ解析が完了したか否かを判定する（ステップＳＴ６ａ）。ここで、解析が完了したと判定されると処理を終了する。なお、解析の完了は、ステップＳＴ５ａにおけるデータ解析が十分に実行されたと判断されるタイミングであるか否かで判断される。例えば、図２に示す特徴点及びそのパラメータ等の解析要素が全て解析された時点である。なお、解析要素はユーザが事前に任意に設定可能である。
【００５２】
一方、解析が未完了、例えば上述の繰り返し解析において、全ての解析要素の解析が終了していない場合、データ解析部４は、ステップＳＴ１ａの処理に移行し、全ての解析要素の解析が終了していないデータを未解析データと判断し、ステップＳＴ２ａに移行して本携帯電話機のＣＰＵの負荷状況を判定する。
【００５３】
このとき、他のタスクが動作していることにより処理負荷が低くないと判断される場合、データ解析部４は、直ちに事前解析を実行することなく、事前解析を実行する時間をタイマに設定する（ステップＳＴ７ａ）。この間、データ解析部４は解析処理を中断する。タイマに設定した時間が満了すると（ステップＳＴ８ａ）、ステップＳＴ１ａに戻って事前解析処理が再開される。
【００５４】
このように、データ解析部４は、解析が十分なところまで到達していない場合や未解析のデータが存在する場合、ステップＳＴ７ａでタイマを設定してタイマが満了するまで処理を中断することから、他のタスクが動作しておらず処理負荷が低いときに少しずつ事前解析を定期的に繰り返し行うことができる。これにより、ユーザは、事前解析における処理負荷を感じることがなく、処理すべきデータ量が急激に増えることを防止できる。
【００５５】
以上のように、この実施の形態１によれば、ユーザの画像を記憶する記憶装置３と、テレビ電話通話中に撮影されたユーザの画像から特徴点を抽出して特徴点の画像データを取得するデータ解析部４と、データ解析部４により取得された各特徴点の画像データを用いて、テレビ電話通話中のユーザの画像の特徴点を、記憶装置３に予め記憶しておいたユーザの画像に適合するように補正し、記憶装置３に予め記憶しておいたユーザの画像の特徴点をテレビ電話通話中のユーザの画像の特徴点で置換した画像を通話相手へ表示する画像として生成する画像処理部２とを備えるので、テレビ電話の通話要求があった際、ユーザがテレビ電話応答することが困難な状況にいる場合であっても、事前に記録しておいた画像（映像）を用いてあたかもリアルタイムな映像でテレビ電話応答しているように通話相手に思わせることが可能となる。
【００５６】
また、上記実施の形態１によれば、データ解析部４が、予め撮影されたユーザの画像から特徴点を抽出して特徴点の画像を規定するパラメータを要素とする時系列な画像データを生成し、ユーザの画像データとして記憶装置３に記憶するので、時系列データによりリアルタイムな反応が必要となる通話中の処理を低減することができる。
【００５７】
さらに、上記実施の形態１によれば、データ解析部４が、処理負荷の状況及びテレビ電話通話中のユーザの画像として模擬する際の重要度のうちの少なくとも一方に応じて、画像処理部２による画像生成に用いられる特徴点の数を制限するので、通話相手へ表示する画像の生成を少ない処理量で可能にすると共に、通話相手へ表示する画像の生成処理に必要な計算量を柔軟に調整することが可能になる。
【００５８】
さらに、上記実施の形態１によれば、データ解析部４が通話相手へ表示する画像の生成に用いる画像データにイベント情報を付加し、画像処理部２が、通話相手へ表示する画像に対してイベント情報に応じた画像処理を施すので、例えば予め撮影された画像とは別に用意したイベント画像を組み合わせることができ、ユーザの任意のタイミングで任意のイベントを発生させることも可能となる。
【図面の簡単な説明】
【００５９】
【図１】この発明の実施の形態１によるテレビ電話端末の概略的な構成を示す図である。
【図２】図１中のデータ解析部による事前解析の結果を説明するための図である。
【図３】実施の形態１によるテレビ電話端末の画像処理の流れを示すフローチャートである。
【図４】実施の形態１によるテレビ電話端末の待機状態における動作の流れを示すフローチャートである。
【符号の説明】
【００６０】
１  撮影装置、２  画像処理部、３  記憶装置（記憶部）、４  データ解析部、５  送信装置、６  画像、７ａ〜７ｅ  ブロック領域。
【図１】
2007189624.tif 000003
【図２】
2007189624.tif 000004
【図３】
2007189624.tif 000005
【図４】
2007189624.tif 000006