(57)【要約】【課題】ユーザーの実物映像を部分的に変更して表示することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１００）は、第１記憶部（１１０）と、第２記憶部（１２０）と、合成部（１３０）とを備える。第１記憶部（１１０）は、ユーザーＡの第１画像Ｇ１を示す第１画像データを記憶する。第２記憶部（１２０）は、ユーザーＡの実物映像Ｇ２を示す実物映像データを記憶する。合成部（１３０）は、第１画像データと実物映像データとに基づいて、第１画像Ｇ１と実物映像Ｇ２とを合成したユーザーＡの第２画像Ｓを示す第２画像データを生成する。【選択図】図２
2020136738.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの第１画像を示す第１画像データを記憶する第１記憶部と、
前記ユーザーの実物映像を示す実物映像データを記憶する第２記憶部と、
前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成する合成部と
を備える、画像処理装置。
【請求項２】
前記合成部は、前記実物映像の一部を前記第１画像に差し替えて前記第１画像が前記実物映像に合わせて動くように前記第２画像データを生成する、請求項１に記載の画像処理装置。
【請求項３】
前記第２画像データを送信する通信部をさらに備える、請求項１または２に記載の画像処理装置。
【請求項４】
前記合成部は、前記合成部が前記第１画像と前記実物映像とを合成するための遅延時間だけずらして、前記第２画像データに前記ユーザーの実物音声を示す音声データを合成する、請求項３に記載の画像処理装置。
【請求項５】
前記実物映像データを受信する通信部をさらに備える、請求項１または２に記載の画像処理装置。
【請求項６】
前記第１記憶部が前記実物映像と合成する前記第１画像を示す前記第１画像データを記憶していない場合に代替画像を用いる、請求項５に記載の画像処理装置。
【請求項７】
前記実物映像データを受信し、前記第２画像データを送信する通信部をさらに備える、請求項１または２に記載の画像処理装置。
【請求項８】
前記ユーザーを認証する認証部をさらに備える、請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
前記合成部は、前記ユーザーの前記第２画像データの生成を許可する許可情報に基づいて、前記第２画像データを生成する、請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記合成部は、前記ユーザーの前記第１画像の一部と前記実物映像の一部とが一致する場合に前記第２画像データを生成する、請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
第１画像処理装置と、
前記第１画像処理装置とネットワークを介して接続された第２画像処理装置と
を備える、画像通信システムであって、
前記第１画像処理装置および前記第２画像処理装置の少なくとも一方は、
ユーザーの第１画像を示す第１画像データを記憶する第１記憶部と、
前記ユーザーの実物映像を示す実物映像データを記憶する第２記憶部と、
前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成する合成部と
を有する、画像通信システム。
【請求項１２】
前記第２画像処理装置が、前記第１記憶部と、前記第２記憶部と、前記合成部とを有し、
前記第１画像処理装置は、前記実物映像データを前記第２画像処理装置に送信する、請求項１１に記載の画像通信システム。
【請求項１３】
前記第１画像処理装置は、前記実物映像データを送信する通信部を有し、
前記通信部は、前記第２画像処理装置の前記合成部による合成を指定する合成選択信号を前記第２画像処理装置に送信する、請求項１２に記載の画像通信システム。
【請求項１４】
ユーザーの第１画像を示す第１画像データを記憶するステップと、
前記ユーザーの実物映像を示す実物映像データを記憶するステップと、
前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成するステップと
を包含する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像通信システムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、ネットワークを介して異なる地点でリアルタイムなコミュニケーションを実現するシステムが提案されている。例えば、撮影部で撮影した画像を相手方の表示装置に表示することにより、リアルタイムにコミュニケーションを図るためのコミュニケーション装置が検討されている（例えば、特許文献１）。特許文献１のコミュニケーション装置では、コミュニケーション先のディスプレイにユーザーを実物大で表示することにより、よりリアルなコミュニケーションを実現している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２６３５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のコミュニケーション装置では、ユーザーは実物大のサイズでそのまま相手に表示される。このため、ユーザーは、相手と直接会う場合と同様に、服装、化粧等の身支度を整える必要があり、ユーザーは、身支度の整っていない状態で相手とコミュニケーションを図りづらかった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的は、ユーザーの実物映像を部分的に変更して表示可能な画像処理装置、画像通信システムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、第１記憶部と、第２記憶部と、合成部とを備える。前記第１記憶部は、ユーザーの第１画像を示す第１画像データを記憶する。前記第２記憶部は、前記ユーザーの実物映像を示す実物映像データを記憶する。前記合成部は、前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成する。
【０００７】
本発明に係る画像通信システムは、第１画像処理装置と、前記第１画像処理装置とネットワークを介して接続された第２画像処理装置とを備える。前記第１画像処理装置および前記第２画像処理装置の少なくとも一方は、第１記憶部と、第２記憶部と、合成部とを備える。前記第１記憶部は、ユーザーの第１画像を示す第１画像データを記憶する。前記第２記憶部は、前記ユーザーの実物映像を示す実物映像データを記憶する。前記合成部は、前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成する。
【０００８】
本発明に係る画像処理方法は、ユーザーの第１画像を示す第１画像データを記憶するステップと、前記ユーザーの実物映像を示す実物映像データを記憶するステップと、前記第１画像データと前記実物映像データとに基づいて、前記第１画像と前記実物映像とを合成した前記ユーザーの第２画像を示す第２画像データを生成するステップとを包含する。
【発明の効果】
【０００９】
本発明によれば、ユーザーの実物映像を部分的に変更して表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図２】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図３】本実施形態の画像処理装置の模式図である。
【図４】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図５】本実施形態の画像処理装置の模式図である。
【図６】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図７】本実施形態の画像処理装置の模式図である。
【図８】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図９】本実施形態の画像処理装置の模式図である。
【図１０】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図１１】本実施形態の画像処理装置の模式図である。
【図１２】（ａ）は本実施形態の画像処理装置における合成可否テーブルを示す図であり、（ｂ）は本実施形態の画像処理装置における合成パーツテーブルを示す図である。
【図１３】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図１４】本実施形態の画像処理装置の模式図である。
【図１５】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図１６】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図１７】本実施形態の画像処理装置を備えた画像通信システムの模式図である。
【図１８】本実施形態の画像処理装置の模式図である。
【図１９】本実施形態の画像処理装置における認証テーブルを示す図である。
【図２０】（ａ）は本実施形態の画像処理装置における認証テーブルを示す図であり、（ｂ）は本実施形態の画像通信システムにおける許可装置テーブルを示す図である。
【図２１】（ａ）は本実施形態の画像処理装置における合成パーツテーブルを示す図であり、（ｂ）は本実施形態の画像処理装置における許可画像テーブルを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明による画像処理装置および画像通信システムの実施形態を説明する。なお、図中、同一または相当部分には同一の参照符号を付して説明を繰り返さない。
【００１２】
まず、図１を参照して本実施形態の画像処理装置１００を備えた画像通信システム２００について説明する。図１は、画像通信システム２００の模式図である。画像通信システム２００は、ネットワークＮを介して接続した複数の画像処理装置１００を備える。複数の画像処理装置１００は、ネットワークＮを介して互いに画像データをリアルタイムに通信可能である。
【００１３】
画像処理装置１００は、プロセッサーを含む。一例では、プロセッサーは、中央処理演算機（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）を含む。プロセッサーは、特定用途集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）を含んでもよい。また、画像処理装置１００は、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ：ＰＣ）またはスマートフォンの一部として実装されてもよい。あるいは、画像処理装置１００は、サーバーであってもよい。
【００１４】
ここでは、画像通信システム２００は、画像処理装置１００として、３つの画像処理装置１００Ａ、１００Ｂ、１００Ｃを備える。画像処理装置１００Ａ、１００Ｂ、１００Ｃは、ネットワークＮを介して接続されている。典型的には、画像処理装置１００Ａ、１００Ｂ、１００Ｃは互いに離れて位置しており、画像処理装置１００Ａ、１００Ｂ、１００Ｃは、ネットワークＮとしてインターネットまたはＷＡＮを介して接続される。あるいは、画像処理装置１００Ａ、１００Ｂ、１００Ｃは同じ建物または同じ部屋内に位置しており、ネットワークＮとしてＬＡＮを介して接続される。画像処理装置１００Ａ、１００Ｂ、１００Ｃは、同様の構成を有してもよい。
【００１５】
画像処理装置１００Ａは、ユーザーＡに対応する画像処理装置である。画像処理装置１００Ａは、ユーザーＡの近くに位置する。画像処理装置１００Ａには表示装置ＤＡが接続されている。画像処理装置１００Ａは、表示装置ＤＡを制御する。例えば、表示装置ＤＡは、液晶表示装置を含む。または、表示装置ＤＡは、有機ＥＬ表示装置を含んでもよい。
【００１６】
なお、画像処理装置１００Ａおよび表示装置ＤＡは一体化されていてもよい。例えば、画像処理装置１００Ａおよび表示装置ＤＡは、スマートフォンの一部として実装されてもよい。あるいは、画像処理装置１００Ａおよび表示装置ＤＡは、ＰＣの一部として実装されてもよい。
【００１７】
同様に、画像処理装置１００Ｂは、ユーザーＢに対応する画像処理装置である。ここでは、ユーザーＢは省略して示している。画像処理装置１００Ｂは、ユーザーＢの近くに位置する。画像処理装置１００Ｂには表示装置ＤＢが接続されている。画像処理装置１００Ｂは、表示装置ＤＢを制御する。
【００１８】
さらに同様に、画像処理装置１００Ｃは、ユーザーＣに対応する画像処理装置である。ここでは、ユーザーＣは省略して示している。画像処理装置１００Ｃは、ユーザーＣの近くに位置する。画像処理装置１００Ｃには表示装置ＤＣが接続されている。画像処理装置１００Ｃは、表示装置ＤＣを制御する。
【００１９】
画像通信システム２００は、ユーザーＡ、Ｂ、Ｃの参加する会議またはゲームに用いられる。表示装置ＤＡは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＡを表示する。また、表示装置ＤＡは、表示画面の左上にユーザーＢを表示し、表示画面の右上にユーザーＣを表示する。
【００２０】
同様に、表示装置ＤＢは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＢを表示する。また、表示装置ＤＢは、表示画面の左上にユーザーＡを表示し、表示画面の右上にユーザーＣを表示する。
【００２１】
さらに同様に、表示装置ＤＣは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＣを表示する。また、表示装置ＤＣは、表示画面の左上にユーザーＡを表示し、表示画面の右上にユーザーＢを表示する。なお、図１の表示装置ＤＡ〜ＤＣにおけるユーザーＡ〜Ｃの表示位置について、図１に示した例はあくまでも一例であり、これに限定されるものではない。
【００２２】
なお、画像処理装置１００Ａには撮影装置ＣＡが接続されている。撮影装置ＣＡはユーザーＡを撮影して実物映像データを生成する。撮影装置ＣＡは、カメラを含む。撮影装置ＣＡは、デジタルカメラであってもよく、ビデオカメラであってもよい。実物映像データは、画像データを含む。また、実物映像データは、画像データだけでなく音声データを含んでもよい。画像処理装置１００Ａおよび撮影装置ＣＡは一体化されていてもよい。例えば、画像処理装置１００Ａおよび撮影装置ＣＡは、スマートフォンの一部として実装されてもよい。
【００２３】
画像処理装置１００Ａに接続された表示装置ＤＡは、ユーザーＡの実物映像データに基づいてユーザーＡの実物映像を表示できる。また、画像処理装置１００Ａは、撮影装置ＣＡによって生成されたユーザーＡの実物映像データを画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。画像処理装置１００Ｂおよび画像処理装置１００ＣはそれぞれユーザーＡの実物映像データに基づいてユーザーＡの実物映像を表示できる。
【００２４】
なお、図１の画像通信システム２００では、撮影装置ＣＡの前にいるユーザーＡには睫毛、頬紅および口紅は付されていないのに対して、表示装置ＤＡ、ＤＢ、ＤＣで表示されているユーザーＡには、睫毛、頬紅および口紅が付されている。本実施形態の画像通信システム２００では、ユーザーＡの実物映像を部分的に変更して表示できる。このような画像通信システム２００は、遠く離れたユーザーの参加する会議またはゲームに好適に用いられる。特に、ユーザーは、着替えまたは化粧等の身支度をしなくてもユーザー同士の集まりに参加できる。例えば、画像通信システム２００は、テレワークに好適に用いられる。
【００２５】
次に、図２を参照して画像処理装置１００Ａおよび画像処理装置１００Ｂを備える画像通信システム２００を説明する。図２は、画像処理装置１００Ａおよび画像処理装置１００Ｂを備えた画像通信システム２００の模式図である。なお、画像処理装置１００Ｃは、画像処理装置１００Ｂと同様に動作するため、図２では、画像処理装置１００Ｃを省略して示している。
【００２６】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とを備える。画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像を撮影する。なお、撮影装置ＣＡが音声も録音できる場合、撮影装置ＣＡは、ユーザーＡの実物映像を撮影するとともにユーザーＡの音声を録音する。
【００２７】
第１記憶部１１０は、ユーザーＡの第１画像Ｇ１を示す第１画像データを記憶する。第１画像は、ユーザーＡに関連する画像である。第１画像Ｇ１は、過去にユーザーＡを撮影した画像であってもよい。あるいは、第１画像Ｇ１は、ユーザーＡを描いたイラストまたはユーザーＡを表すアバターであってもよい。
【００２８】
第１画像Ｇ１は、ユーザーＡの一部またはユーザーＡの背景の一部を示す画像であってもよい。例えば、第１画像Ｇ１は、ユーザーＡの髪、眉毛、額、目、睫毛、鼻、口、頬、顎、輪郭、服装、帽子および眼鏡のいずれかの画像を含む。また、第１画像Ｇ１は、ユーザーＡの背景の画像を含んでもよい。あるいは、第１画像Ｇ１は、ユーザーＡの髪、眉毛、額、目、睫毛、鼻、口、頬、顎、輪郭、服装、帽子、眼鏡および背景のうちの２以上のパーツの画像であってもよい。
【００２９】
第１画像データは、撮影装置ＣＡに撮影されたものであってもよい。ただし、典型的には、第１画像データは、撮影装置ＣＡに過去に撮影されたものである。あるいは、第１画像データは、撮影装置ＣＡ以外の撮影装置で撮影されたものであってもよい。
【００３０】
第２記憶部１２０は、ユーザーＡの実物映像Ｇ２を示す実物映像データを記憶する。撮影装置ＣＡは、ユーザーＡの実物映像を撮影し、実物映像データを生成する。実物映像データは、ユーザーＡの実物映像だけでなく音声を示してもよい。画像処理装置１００Ａは、撮影装置ＣＡから実物映像データを受信し、第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【００３１】
合成部１３０は、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいて第１画像Ｇ１と実物映像Ｇ２とを合成したユーザーＡの第２画像Ｓを示す第２画像データを生成する。例えば、合成部１３０は、実物映像Ｇ２の目（睫毛）、頬および口を目（睫毛）、頬および口を示す第１画像Ｇ１に差し替えた第２画像Ｓを示すようにユーザーＡの第１画像データおよび実物映像データから第２画像データを生成する。
【００３２】
合成部１３０が第２画像データを生成する際に、実物映像Ｇ２に対して差し替えられるユーザーＡの第１画像Ｇ１は予めユーザーＡによって決められてもよい。あるいは、合成部１３０は、第１画像データと実物映像データとを比較して差し替えるパーツを決定してもよい。例えば、合成部１３０は、第１画像データと実物映像データとを比較し、実物映像Ｇ２のうちの第１画像Ｇ１と大きく異なるパーツのみを第１画像Ｇ１に差し替えてもよい。
【００３３】
なお、合成部１３０は、第１記憶部１１０に記憶された第１画像データをそのまま利用して第１画像Ｇ１と実物映像Ｇ２とを合成して第２画像データを生成してもよい。あるいは、合成部１３０は、第１画像Ｇ１がユーザーＡの実物映像Ｇ２と整合するように第１記憶部１１０に記憶された第１画像データを加工した上で、加工データを利用して第２画像データを生成してもよい。例えば、第１画像Ｇ１が静止画であり、実物映像Ｇ２が動画であっても、合成部１３０は、静止画の第１画像データＧ１を加工して第１画像Ｇ１に対応する動画画像を示す画像データを生成した上で、動画画像と実物映像Ｇ２とを合成するように第２画像データを生成してもよい。また、ユーザーＡの実物映像Ｇ２が動画である場合、合成部１３０は、実物映像Ｇ２の一部を第１画像Ｇ１に差し替えて第１画像Ｇ１が実物映像Ｇ２に合わせて動くように第２画像データを生成することが好ましい。
【００３４】
さらに、合成部１３０は、ユーザーＡの実物映像Ｇ２を差し替える第１画像を選択または加工する場合、ユーザーＡの実物映像の表情に対応するように第１画像を選択または加工してもよい。例えば、撮影装置ＣＡの前のユーザーＡが笑っている場合、合成部１３０は、ユーザーＡの笑っている第１画像Ｇ１を選択してユーザーＡの実物映像Ｇ２の一部を第１画像Ｇ１のパーツと差し替えてもよい。
【００３５】
あるいは、合成部１３０は、ユーザーによって予め決定されたユーザーの表情に対応するように第１画像Ｇ１を選択または加工してもよい。例えば、撮影装置ＣＡの前のユーザーＡが、泣いている、または、怒っている場合でも、合成部１３０は、ユーザーＡの笑っている第１画像Ｇ１を選択してユーザーＡの実物映像Ｇ２の一部を笑っている第１画像Ｇ１のパーツと差し替えてもよい。この場合、合成部１３０は、顔認証を利用してユーザーＡの感情を分析することが好ましい。
【００３６】
ここでは、合成部１３０は、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいてユーザーＡの第２画像データを生成する。その後、画像処理装置１００Ａは、ネットワークＮを介してユーザーＡの第２画像データを画像処理装置１００Ｂに送信する。
【００３７】
画像処理装置１００Ｂは、ユーザーＡの第２画像データを受信し、ユーザーＡの第２画像データを記憶する。その後、画像処理装置１００Ｂは、第２画像データに示されるユーザーＡの第２画像Ｓを表示装置ＤＢに表示させる。なお、合成部１３０が、ユーザーＡの実物映像Ｇ２に対して第１画像Ｇ１のいずれのパーツも差し替えない場合、表示装置ＤＢは、撮影装置ＣＡで撮影されたユーザーＡの撮影結果をそのまま表示することになる。
【００３８】
以下、図１〜図３を参照して本実施形態の画像処理装置１００Ａについて説明する。図３は、本実施形態の画像処理装置１００Ａの模式図である。
【００３９】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とを備える。上述したように、第１記憶部１１０は、ユーザーＡの第１画像データを記憶し、第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【００４０】
合成部１３０は、処理部１３２と、ワークメモリ１３４と、保存メモリ１３６とを有する。合成部１３０がユーザーＡの第１画像と実物映像とを合成する際に、ワークメモリ１３４は、ユーザーＡの第１画像データおよび実物映像データを記憶する。処理部１３２は、ユーザーＡの第１画像と実物映像とを合成するように第１画像データおよび実物映像データを処理して第２画像データを生成する。第２画像データは、保存メモリ１３６に記憶される。保存メモリ１３６に記憶された第２画像データは、ネットワークＮを経由して画像処理装置１００Ｂに送信される。
【００４１】
撮影装置インターフェース１４１は、撮影装置ＣＡと接続して撮影装置ＣＡから実物映像データを受信する。表示装置インターフェース１４２は、表示装置ＤＡと接続して表示装置ＤＡとの間でデータを送受信する。
【００４２】
通信インターフェース１４３は、ネットワークＮを介して画像処理装置１００Ｂおよび／または画像処理装置１００Ｃとの間でデータを送受信する。通信インターフェース１４３は、画像処理装置１００Ｂおよび画像処理装置１００Ｃにデータを送信する送信機能を有する。また、通信インターフェース１４３は、画像処理装置１００Ｂおよび画像処理装置１００Ｃからのデータを受信する受信機能を有する。通信インターフェース１４３は、「通信部」の一例である。
【００４３】
システム設定保存メモリ１４４は、画像通信システム２００の設定に必要な情報を記憶する。なお、典型的には、第１記憶部１１０、第２記憶部１２０およびシステム設定保存メモリ１４４は不揮発性メモリを含むことが好ましい。
【００４４】
表示映像処理部１５１は、表示装置ＤＡで表示される画像のための画像データを処理する。相手側画像メモリ１５２は、外部から画像データを受信した場合に受信した画像データを記憶する。表示装置用ワークメモリ１５３は、表示装置ＤＡに送信するデータを記憶する。例えば、表示装置用ワークメモリ１５３は、保存メモリ１３６に記憶されたユーザーＡの画像データを記憶するとともに相手側画像メモリ１５２に記憶されたユーザーＢの画像データおよびユーザーＣの画像データを記憶する。表示映像処理部１５１は、表示装置用ワークメモリ１５３を用いて、ユーザーＡ、Ｂ、Ｃの画像データを処理する。処理された画像は、表示装置ＤＡで表示される。このため、表示装置ＤＡは、ユーザーＡの画像、ユーザーＢの画像およびユーザーＣの画像を表示できる。
【００４５】
なお、図１〜図３を参照して上述した説明では、ユーザーの第１画像および実物映像を合成するように第２画像データを生成した後に、ネットワークＮを介して第２画像データを送信したが、本実施形態はこれに限定されない。ネットワークＮを介して受信したユーザーの第１画像データと実物映像データとに基づいて、ユーザーの第１画像と実物映像とを合成した第２画像データを生成してもよい。
【００４６】
以下、図４を参照して本実施形態の画像処理装置１００Ａおよび画像処理装置１００Ｂを備えた画像通信システム２００を説明する。図４は、画像処理装置１００Ａおよび画像処理装置１００Ｂを備えた画像通信システム２００の模式図である。図４の画像通信システム２００では、ユーザーＡの第１画像および実物映像の合成が画像処理装置１００Ｂで行われる点を除いて、図２を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、上述したように、画像処理装置１００Ａおよび画像処理装置１００Ｂは同様の構成を有してもよいが、ここでは、画像処理装置１００Ａおよび画像処理装置１００ＢのうちユーザーＡの第２画像の生成に関連する構成に着目して説明する。また、画像処理装置１００Ｃは、画像処理装置１００Ｂと同様に動作するため、図４では、画像処理装置１００Ｃを省略して示している。
【００４７】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０とを備える。また、画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像Ｇ２を撮影し、実物映像Ｇ２を示す実物映像データを生成する。
【００４８】
画像処理装置１００Ａの第１記憶部１１０は、ユーザーＡの第１画像Ｇ１を示す第１画像データを記憶する。画像処理装置１００Ａの第２記憶部１２０は、ユーザーＡの実物映像Ｇ２を示す実物映像データを記憶する。画像処理装置１００Ａは、ユーザーＡの第１画像データおよび実物映像データを画像処理装置１００Ｂに送信する。
【００４９】
画像処理装置１００Ｂは、第１記憶部１１０Ａと、第２記憶部１２０Ａと、合成部１３０Ａとを備える。第１記憶部１１０Ａは、画像処理装置１００Ａから受信したユーザーＡの第１画像データを記憶する。第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【００５０】
合成部１３０Ａは、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいてユーザーＡの第１画像Ｇ１とユーザーＡの実物映像Ｇ２とを合成したユーザーＡの第２画像Ｓを示す第２画像データを生成する。例えば、合成部１３０Ａは、実物映像データに示されるユーザーＡの実物映像Ｇ２のうちの目（睫毛）、頬および口を、ユーザーＡの第１画像データに示される第１画像Ｇ１の目（睫毛）、頬および口に差し替えるように第２画像データを生成する。その後、画像処理装置１００Ｂは、ユーザーＡの第２画像データに示される第２画像Ｓを表示装置ＤＢに表示させる。
【００５１】
本実施形態の画像通信システム２００では、ユーザーＡの第２画像Ｓは、画像処理装置１００Ａではなく画像処理装置１００Ｂで生成される。画像処理装置１００Ｂの処理能力が画像処理装置１００Ａの処理能力よりも高い場合、ユーザーＡの第２画像データを画像処理装置１００Ｂの合成部１３０Ａにおいて生成することが好ましい。これにより、画像処理装置１００Ａの処理能力が比較的低くても、遅延を回避しつつ、ユーザーの実物映像を部分的に変更して表示することができる。
【００５２】
なお、上述したように、画像処理装置１００Ｂは、ネットワークＮを介して画像処理装置１００Ａから、ユーザーＡの実物映像データとともにユーザーＡの第１画像データを受信し、ユーザーＡの第１画像データを記憶してもよい。あるいは、画像処理装置１００Ｂは、ネットワークＮを介して画像処理装置１００Ａから、ユーザーＡの第１画像データを事前に受信し、ユーザーＡの第１画像データを記憶してもよい。一例では、画像処理装置１００Ｂは、ネットワークＮを介するメールに添付してユーザーＡの第１画像データを事前に画像処理装置１００Ａから受信してもよい。あるいは、画像処理装置１００Ｂは、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を介してユーザーＡの第１画像データを事前に画像処理装置１００Ａから受信してもよい。
【００５３】
あるいは、画像処理装置１００Ｂは、ネットワークＮを介することなくユーザーＡの第１画像データを記憶してもよい。例えば、画像処理装置１００Ｂは、ＵＳＢメモリを介して、ユーザーＡの第１画像データを記憶してもよい。
【００５４】
あるいは、画像処理装置１００Ｂは、ユーザーＡの第１画像データを記憶したアドレス情報を記憶してもよい。画像処理装置１００Ｂは、ユーザーＡの実物映像データを受信した後で、アドレス情報に基づいてユーザーＡの第１画像データを読み出してもよい。
【００５５】
次に、図４および図５を参照して本実施形態の画像処理装置１００Ｂについて説明する。図５は、本実施形態の画像処理装置１００Ｂの模式図である。図５の画像処理装置１００Ｂは、表示映像処理部１５１が合成部１３０Ａを含み、相手側画像メモリ１５２が第１記憶部１１０Ａと第２記憶部１２０Ａとを含む点を除いて、図３を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【００５６】
画像処理装置１００Ｂは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とを備える。なお、画像処理装置１００Ｂの第１記憶部１１０および第２記憶部１２０は、ユーザーＢの第１画像データおよび実物映像データを記憶しており、ユーザーＢの第１画像データおよび実物映像データは、通信インターフェース１４３を介して画像処理装置１００Ａに送信されてもよい。
【００５７】
相手側画像メモリ１５２は、第１記憶部１１０Ａと第２記憶部１２０Ａとを含む。第１記憶部１１０Ａは、画像処理装置１００Ａから受信したユーザーＡの第１画像データを記憶し、第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【００５８】
画像処理装置１００Ｂの表示映像処理部１５１は、合成部１３０Ａを含む。合成部１３０Ａは、第１記憶部１１０Ａに記憶されたユーザーＡの第１画像データと、第２記憶部１２０Ａに記憶されたユーザーＡの実物映像データとに基づいて、ユーザーＡの第１画像Ｇ１および実物映像Ｇ２を合成するようにユーザーＡの第２画像データを生成する。合成部１３０Ａは、図３の合成部１３０と同様の機能を有する。第２画像データは、表示装置用ワークメモリ１５３に記憶される。表示装置ＤＢは、第２画像データに基づいてユーザーＡの第２画像Ｓを表示する。
【００５９】
本実施形態では、画像処理装置１００Ｂの合成部１３０ＡがユーザーＡの第２画像データを生成し、表示装置ＤＢは、第２画像データに基づいてユーザーＡの第２画像を表示する。なお、画像処理装置１００Ｂは、生成した第２画像データを画像処理装置１００Ａに送信してもよい。この場合、画像処理装置１００Ａと接続する表示装置ＤＡは、第２画像データに基づいてユーザーＡの第２画像Ｓを表示できる。
【００６０】
なお、図１〜図３を参照して上述した説明では、ユーザーの第１画像データおよびユーザーの実物映像データに基づいてユーザーの第１画像および実物映像を合成した第２画像を示す第２画像データを生成した後に、ネットワークＮを介して第２画像データを送信したが、本実施形態はこれに限定されない。また、図４および図５を参照して上述した説明では、ネットワークＮを介して受信したユーザーの第１画像データと実物映像データとから第２画像データを生成したが、本実施形態はこれに限定されない。ネットワークＮを介して送信中の第１画像データと実物映像データとから第２画像データを生成してもよい。
【００６１】
以下、図６を参照して本実施形態の画像処理装置１００Ａ、１００Ｂ、１００Ｓを備えた画像通信システム２００を説明する。図６は、本実施形態の画像処理装置１００Ａ、１００Ｂ、１００Ｓを備えた画像通信システム２００の模式図である。図６の画像通信システム２００では、ユーザーＡの第１画像および実物映像の合成が画像処理装置１００Ｓで行われる点を除いて、図２または図４を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、画像処理装置１００Ａ、画像処理装置１００Ｂおよび画像処理装置１００Ｓは同様の構成を有してもよいが、ここでは、画像処理装置１００Ａ、画像処理装置１００Ｂ、画像処理装置１００ＳのうちユーザーＡの第２画像の生成に関連する構成に着目して説明する。
【００６２】
画像通信システム２００は、画像処理装置１００Ａ、画像処理装置１００Ｂおよび画像処理装置１００Ｓを備える。画像処理装置１００Ｓは、画像処理装置１００Ａと画像処理装置１００ＢとネットワークＮを介して接続する。画像処理装置１００Ｓは、画像処理装置１００Ａと画像処理装置１００Ｂとの間の中継装置である。例えば、画像処理装置１００Ｓは、クラウド上のサーバーである。
【００６３】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０とを備える。また、画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像Ｇ２を撮影し、実物映像Ｇ２を示す実物映像データを生成する。
【００６４】
画像処理装置１００Ａの第１記憶部１１０は、ユーザーＡの第１画像Ｇ１を示す第１画像データを記憶する。画像処理装置１００Ａの第２記憶部１２０は、ユーザーＡの実物映像Ｇ２を示す実物映像データを記憶する。画像処理装置１００Ａは、ネットワークＮを介してユーザーＡの第１画像データおよび実物映像データを画像処理装置１００Ｂに向けて送信する。
【００６５】
画像処理装置１００Ｓは、ユーザーＡの第１画像データおよび実物映像データを受信する。画像処理装置１００Ｓは、ユーザーＡの第１画像データおよび実物映像データに基づいてユーザーＡの第１画像および実物映像を合成した第２画像データを生成する。
【００６６】
画像処理装置１００Ｓは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とを備える。画像処理装置１００Ｓの第１記憶部１１０は、画像処理装置１００Ａから受信したユーザーＡの第１画像Ｇ１を示す第１画像データを記憶する。画像処理装置１００Ｓの第２記憶部１２０は、画像処理装置１００Ａから受信したユーザーＡの実物映像Ｇ２を示す実物映像データを記憶する。
【００６７】
画像処理装置１００Ｓの合成部１３０は、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいて第１画像Ｇ１と実物映像Ｇ２とを合成したユーザーＡの第２画像Ｓを示す第２画像データを生成する。例えば、合成部１３０は、実物映像Ｇ２の目（睫毛）、頬および口を目（睫毛）、頬および口を示す第１画像Ｇ１に差し替えた第２画像Ｓを示すようにユーザーＡの第１画像データおよび実物映像データから第２画像データを生成する。その後、画像処理装置１００Ｓは、第２画像データを画像処理装置１００Ｂに送信する。
【００６８】
画像処理装置１００Ｂは、画像処理装置１００ＳからユーザーＡの第２画像データを受信し、ユーザーＡの第２画像データを記憶する。その後、画像処理装置１００Ｂは、ユーザーＡの第２画像データに示されるユーザーＡの第２画像を表示装置ＤＢに表示させる。以上のようにして、画像処理装置１００Ｂに接続された表示装置ＤＢには、ユーザーＡの要望した画像を表示できる。
【００６９】
本実施形態の画像通信システム２００では、ユーザーＡの第２画像は、画像処理装置１００Ａおよび画像処理装置１００Ｂではなく画像処理装置１００Ｓにおいて生成される。画像処理装置１００Ｓの処理能力が画像処理装置１００Ａおよび画像処理装置１００Ｂの処理能力よりも高い場合、ユーザーＡの第２画像データを画像処理装置１００Ｓの合成部１３０において生成することが好ましい。これにより、画像処理装置１００Ａおよび画像処理装置１００Ｂの処理能力が比較的低くても、遅延を回避しつつ、所望な印象を相手に与えるように実物映像を部分的に変更して表示できる。
【００７０】
なお、図４を参照して上述した説明では、画像処理装置１００Ａは、ネットワークＮを介してユーザーＡの第１画像データを画像処理装置１００Ｂに向けて送信したが、このように、画像処理装置１００Ｓは、ネットワークＮを介して画像処理装置１００Ａから、ユーザーＡの実物映像データとともにユーザーＡの第１画像データを受信して、ユーザーＡの第１画像データを記憶してもよい。あるいは、画像処理装置１００Ｓは、ネットワークＮを介して画像処理装置１００Ａから、ユーザーＡの第１画像データを事前に受信し、ユーザーＡの第１画像データを記憶してもよい。一例では、画像処理装置１００Ｓは、ネットワークＮを介するメールに添付してユーザーＡの第１画像データを事前に画像処理装置１００Ａから受信してもよい。あるいは、画像処理装置１００Ｓは、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を介してユーザーＡの第１画像データを事前に画像処理装置１００Ａから受信してもよい。
【００７１】
あるいは、画像処理装置１００Ｓは、ネットワークＮを介することなくユーザーＡの第１画像データを記憶してもよい。例えば、画像処理装置１００Ｓは、ＵＳＢメモリを介して、ユーザーＡの第１画像データを記憶してもよい。
【００７２】
あるいは、画像処理装置１００Ｓは、ユーザーＡの第１画像データを記憶したアドレス情報を記憶してもよい。画像処理装置１００Ｓは、ユーザーＡの実物映像データを受信した後で、アドレス情報に基づいてユーザーＡの第１画像データを読み出してもよい。
【００７３】
次に、図６および図７を参照して本実施形態の画像処理装置１００Ｓについて説明する。図７は、本実施形態の画像処理装置１００Ｓの模式図である。図７の画像処理装置１００Ｓは、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とを備えない点を除いて、図３を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【００７４】
画像処理装置１００Ｓは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、通信インターフェース１４３と、システム設定保存メモリ１４４とを備える。ここでは、画像処理装置１００Ｓの第１記憶部１１０は、ユーザーＡの第１画像データを記憶しており、画像処理装置１００Ｓの第２記憶部１２０は、ユーザーＡの実物映像データを記憶している。
【００７５】
なお、画像処理装置１００Ｓの第１記憶部１１０は、画像通信システム２００を利用するすべてのユーザーの第１画像データを記憶することが好ましい。また、画像処理装置１００Ｓの第２記憶部１２０は、画像通信システム２００を利用するすべてのユーザーの実物映像データを記憶することが好ましい。
【００７６】
画像処理装置１００Ｓの合成部１３０は、第１記憶部１１０に記憶されたユーザーＡの第１画像データと、第２記憶部１２０に記憶されたユーザーＡの実物映像データとに基づいて、ユーザーＡの第１画像Ｇ１および実物映像Ｇ２を合成するようにユーザーＡの第２画像データを生成する。合成部１３０は、処理部１３２と、ワークメモリ１３４と、保存メモリ１３６とを有する。合成部１３０がユーザーＡの第１画像Ｇ１と実物映像Ｇ２とを合成する際に、ワークメモリ１３４は、ユーザーＡの第１画像データおよび実物映像データを記憶し、処理部１３２は、ユーザーＡの第１画像Ｇ１と実物映像Ｇ２とを合成するように第１画像データおよび実物映像データを処理してユーザーＡの第２画像データを生成する。第２画像データは、保存メモリ１３６に記憶され、通信インターフェース１４３は、第２画像データを画像処理装置１００Ｂに送信する。
【００７７】
本実施形態では、画像処理装置１００Ｓの合成部１３０がユーザーＡの第２画像データを生成し、第２画像データを画像処理装置１００Ｂに送信する。なお、画像処理装置１００Ｓは、生成した第２画像データを画像処理装置１００Ａに送信してもよい。この場合、画像処理装置１００Ａと接続する表示装置ＤＡは、第２画像データに基づいてユーザーＡの第２画像を表示できる。
【００７８】
なお、実物映像データが音声データを含む場合、第１画像と実物映像との合成のための遅延時間を考慮して、第２画像データに音声データを合成することが好ましい。
【００７９】
以下、図８を参照して本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００を説明する。図８は、本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００の模式図である。図８の画像通信システム２００では、画像処理装置１００Ａが第１記憶部１１０および第２記憶部１２０とは別に音声記憶部１２０Ｕをさらに備える点を除いて、図２を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、上述したように、画像処理装置１００Ａ〜１００Ｃは同様の構成を有してもよいが、ここでは、画像処理装置１００Ａ〜１００ＣのうちユーザーＡの第２画像の生成に関連する構成に着目して説明する。
【００８０】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、音声記憶部１２０Ｕをさらに備える。また、画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像を撮影する。ここでは、撮影装置ＣＡが音声も録音できる。例えば、撮影装置ＣＡにはマイクロフォンが取り付けられる。なお、録音は、撮影装置ＣＡとは別部材で行われてもよい。
【００８１】
画像処理装置１００Ａの第１記憶部１１０は、ユーザーＡの第１画像データを記憶する。撮影装置ＣＡは、ユーザーＡの実物映像を撮影し、実物映像データを生成する。ここでは、実物映像は、動画である。また、撮影装置ＣＡは、ユーザーＡの実物音声を録音し、実物音声データを生成する。
【００８２】
画像処理装置１００Ａの第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。また、画像処理装置１００Ａの音声記憶部１２０Ｕは、ユーザーＡの実物音声データを記憶する。
【００８３】
合成部１３０は、ユーザーＡの第１画像データとユーザーＡの実物映像データとユーザーＡの実物音声データとに基づいてユーザーＡの第１画像Ｇ１と実物映像Ｇ２とを合成したユーザーの第２画像Ｓを示す第２画像データを生成するとともに、第２画像Ｓの動画に合わせて実物音声を合成する。合成部１３０が第２画像データを生成する際に遅延が生じる場合、合成部１３０は、遅延時間だけずらして第２画像に合わせて実物音声を合成する。実物音声を合成する際に、合成部１３０は、ユーザーＡの実物映像の表情および／または口の動きに合わせて実物音声を合成することが好ましい。
【００８４】
例えば、合成部１３０は、実物映像データに示されるユーザーの実物映像の目（睫毛）、頬および口を第１画像データに示される目（睫毛）、頬および口に差し替えるように第２画像データを生成する。さらに、合成部１３０は、第２画像データに合わせて実物音声データを合成する。その後、画像処理装置１００Ａは、ネットワークＮを介してユーザーＡの第２画像データを画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。
【００８５】
画像処理装置１００Ｂおよび画像処理装置１００Ｃは、ユーザーＡの第２画像データを受信し、ユーザーＡの第２画像データを記憶する。その後、画像処理装置１００Ｂおよび画像処理装置１００Ｃは、ユーザーＡの第２画像データに示されるユーザーＡの第２画像を表示装置ＤＢおよび表示装置ＤＣに表示させる。このとき、表示装置ＤＢおよび表示装置ＤＣは、第２画像を表示するともにユーザーＡの実物音声を出力する。本実施形態の画像通信システム２００では、実物映像データおよび音声データを別個に記憶した上で、第１画像と実物映像との合成の遅延時間を考慮して第２画像データに音声データを合成することにより、第２画像と実物音声とのずれを抑制できる。
【００８６】
次に、図８および図９を参照して本実施形態の画像処理装置１００Ａについて説明する。図９は、本実施形態の画像処理装置１００Ａの模式図である。図９の画像処理装置１００Ａは、音声記憶部１２０Ｕ、分離処理部１６１および遅延演算部１６２をさらに備える点を除いて、図３を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【００８７】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０と、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とに加えて、音声記憶部１２０Ｕと、分離処理部１６１と、遅延演算部１６２とをさらに備える。第１記憶部１１０は、ユーザーＡの第１画像データを記憶し、第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【００８８】
分離処理部１６１は、撮影装置ＣＡにおいて生成されたデータを、実物映像データおよび実物音声データに分離する。実物映像データは、第２記憶部１２０に記憶される。実物音声データは、音声記憶部１２０Ｕに記憶される。
【００８９】
遅延演算部１６２は、合成部１３０の処理部１３２が第１画像データおよび実物映像データを処理して第２画像データを生成する際の遅延時間を演算する。その後、合成部１３０の処理部１３２は、遅延演算部１６２にて求められた遅延時間だけずらして第２画像データに実物音声データを合成する。実物音声データの合成された第２画像データは、保存メモリ１３６に記憶される。保存メモリ１３６に記憶された第２画像データは、ネットワークＮを経由して画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信される。
【００９０】
図１〜図９を参照して上述した説明では、１つの画像処理装置から複数の画像処理装置に、第１画像データ、実物映像データおよび／または第２画像データを送信する場合、すべての送信対象に対して同じデータを送信し、また、複数の画像処理装置は同じ第２画像データに基づいて表示装置に第２画像を表示させたが、本実施形態はこれに限定されない。複数の画像処理装置は、異なる表示装置に異なる画像を表示させてもよい。
【００９１】
以下、図１０を参照して本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００を説明する。図１０は、本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００の模式図である。図１０の画像通信システム２００では、画像処理装置１００Ａが、画像処理装置１００Ｂにおいて第１画像および実物映像を合成するように指示する一方で、画像処理装置１００Ｃにおいて第１画像および実物映像を合成しないように指示する点を除いて、図４を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、上述したように、画像処理装置１００Ａ〜１００Ｃは同様の構成を有してもよいが、ここでは、画像処理装置１００Ａ〜１００ＣのうちユーザーＡの第２画像の生成に関連する構成に着目して説明する。
【００９２】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０とを備える。また、画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像を撮影して実物映像データを生成する。
【００９３】
画像処理装置１００Ａの第１記憶部１１０は、ユーザーＡの第１画像データを記憶する。画像処理装置１００Ａの第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【００９４】
画像処理装置１００Ａは、実物映像データを画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。ただし、画像処理装置１００Ａは、画像処理装置１００Ｃにのみ合成選択信号を送信する。ここで、画像処理装置１００Ｃに送信する合成選択信号は、第１画像のいずれかのパーツと実物映像との合成を許可しないことを示す。なお、画像処理装置１００Ａは、ユーザーＡからの指示に応じて合成選択信号を選択的に送信してもよい。
【００９５】
画像処理装置１００Ｂは、第１記憶部１１０Ａと、第２記憶部１２０Ａと、合成部１３０Ａとを備える。画像処理装置１００Ｂの第１記憶部１１０Ａは、ユーザーＡの第１画像データを記憶する。ユーザーＡの第１画像データは、実物映像データに先立って受信してもよく、実物映像データとともに受信してもよい。画像処理装置１００Ｂの第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【００９６】
画像処理装置１００Ｂは、画像処理装置１００Ａから合成選択信号を受信しない。このため、画像処理装置１００Ｂの合成部１３０Ａは、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいてユーザーＡの第１画像とユーザーの実物映像とを合成したユーザーＡの第２画像を示す第２画像データを生成する。例えば、画像処理装置１００Ｂの合成部１３０Ａは、実物映像データに示されるユーザーの実物映像の目（睫毛）、頬および口を第１画像データに示される目（睫毛）、頬および口に差し替えるように第２画像データを生成する。その後、画像処理装置１００Ｂは、ユーザーＡの第２画像データに示されるユーザーＡの第２画像を表示装置ＤＢに表示させる。
【００９７】
画像処理装置１００Ｃは、第１記憶部１１０Ａと、第２記憶部１２０Ａと、合成部１３０Ａとを備える。画像処理装置１００Ｃの第１記憶部１１０Ａは、ユーザーＡの第１画像データを記憶する。ユーザーＡの第１画像データは、実物映像データに先立って受信してもよく、実物映像データとともに受信してもよい。画像処理装置１００Ｃの第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【００９８】
しかしながら、画像処理装置１００Ｃは、画像処理装置１００Ａから、第１画像のいずれかのパーツと実物映像との合成を許可しないことを示す合成選択信号を受信する。このため、画像処理装置１００Ｃの合成部１３０Ａは、画像処理装置１００Ｂとは異なり、ユーザーＡの第２画像を示す第２画像データを生成しない。このため、画像処理装置１００Ｃは、ユーザーＡの実物映像データに示されるユーザーＡの実物映像Ｓ’を表示装置ＤＢに表示させる。
【００９９】
以上のように、本実施形態の画像通信システム２００では、同一の画像通信システム２００を用いているユーザーのうち、ユーザーの実物映像を部分的に変更して表示させるユーザーを選択できる。このため、相手に応じてユーザーの実物映像を所望に変更できる。
【０１００】
なお、図１０を参照した上述の説明では、画像処理装置１００Ａは、１つの第２画像を合成する際に、画像処理装置１００Ｂには合成選択信号を送信しない一方で、画像処理装置１００Ｃに合成選択信号を送信したが、本実施形態はこれに限定されない。画像処理装置１００Ａは、複数の第２画像を合成する際に、画像処理装置１００Ｂおよび画像処理装置１００Ｃに、合成選択信号を選択的に送信してもよい。
【０１０１】
また、図１０を参照した上述の説明では、本実施形態の理解を容易にするために、画像処理装置１００Ａは、画像処理装置１００Ｂには合成選択信号を送信せず、画像処理装置１００Ｃには第１画像のいずれかのパーツと実物映像との合成を許可しないことを示す合成選択信号を送信したが、本実施形態はこれに限定されない。画像処理装置１００は、第１画像の任意の選択されたパーツと実物映像との合成を許可する一方で、第１画像の任意の選択されなかったパーツと実物映像との合成を許可しないことを示す合成選択信号を送信してもよい。
【０１０２】
次に、図１０〜図１２（ａ）を参照して本実施形態の画像処理装置１００Ａについて説明する。図１１は、本実施形態の画像処理装置１００Ａの模式図である。図１１の画像処理装置１００Ａは、合成可否テーブル１７１をさらに含む点を除いて、図３を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【０１０３】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とに加えて、合成可否テーブル１７１をさらに備える。上述したように、第１記憶部１１０は、ユーザーＡの第１画像データを記憶し、第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【０１０４】
合成部１３０は、処理部１３２と、ワークメモリ１３４と、保存メモリ１３６とを有する。合成部１３０がユーザーＡの第１画像と実物映像とを合成する際に、ワークメモリ１３４は、ユーザーＡの第１画像データおよび実物映像データを記憶し、処理部１３２は、ユーザーＡの第１画像と実物映像とを合成するように第１画像データおよび実物映像データを処理して第２画像データを生成する。第２画像データは、保存メモリ１３６に記憶される。通信インターフェース１４３は、保存メモリ１３６に記憶された第２画像データは、ネットワークＮを経由して画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。また、通信インターフェース１４３は、合成可否テーブル１７１に基づいて、ユーザーごとに、合成に使用可能なユーザーＡの第１画像のパーツを示す情報を送信する。
【０１０５】
合成可否テーブル１７１は、ユーザーごとに設定された、合成を許可した第１画像のパーツを示す。ここで、図１２を参照して合成可否テーブル１７１を説明する。図１２（ａ）は、画像処理装置１００Ａにおける合成可否テーブル１７１を示す図である。
【０１０６】
合成可否テーブル１７１は、ユーザー情報（ユーザーＩＤ）ごとにパーツ１〜８の合成可否を示す情報を示す。例えば、ＩＤ１は、ユーザーＡ自身の画像処理装置１００ＡのＩＰアドレスであり、ＩＤ２は、ユーザーＢの画像処理装置１００ＢのＩＰアドレスであり、ＩＤ３は、ユーザーＣの画像処理装置１００ＣのＩＰアドレスである。例えば、合成可否テーブル１７１のＩＤ２の欄に示されるように、画像処理装置１００Ｂに送信される合成選択信号は、パーツ１、２、４、５、７の合成を禁止し、パーツ３、６、８の合成を許可することを示す。
【０１０７】
なお、図１０〜図１２（ａ）を参照して上述した説明では、画像処理装置１００Ｂおよび画像処理装置１００Ｃは、第２画像を合成するためのユーザーＡの第１画像のすべてのパーツを記憶していたが、本実施形態はこれに限定されない。画像処理装置は、第２画像を合成するユーザーについての第１画像のすべてのパーツを記憶していなくてもよい。
【０１０８】
次に、図１０〜図１２（ｂ）を参照して本実施形態の画像処理装置１００Ｂについて説明する。図１２（ｂ）は、画像処理装置１００Ｂにおける合成パーツテーブルを示す。合成パーツテーブルは、画像処理装置１００Ｂの保存メモリ１３６に記憶される。
【０１０９】
ここでは、ＩＤ１は、ユーザーＢ自身の画像処理装置１００ＢのＩＰアドレスであり、ＩＤ２は、ユーザーＡの画像処理装置１００ＡのＩＰアドレスであり、ＩＤ３は、ユーザーＣの画像処理装置１００ＣのＩＰアドレスである。例えば、合成パーツテーブルのＩＤ１の欄に示されるように、画像処理装置１００Ｂは、ユーザーＢの第１画像のすべてのパーツを記憶している。また、ＩＤ２の欄に示されるように、画像処理装置１００Ｂは、ユーザーＡの第１画像の背景、髪型、目、鼻頬、輪郭および服装を記憶している一方、ユーザーＡの第１画像の眉、口を記憶していない。このため、画像処理装置１００Ｂが画像処理装置１００ＡからユーザーＡの実物映像データを受信しても、ユーザーＡの眉、口を差し替えた第２画像データを生成できない。
【０１１０】
さらに、図１２（ａ）と図１２（ｂ）との比較から理解されるように、画像処理装置１００Ｂは、画像処理装置１００Ａからの合成選択信号と合成パーツテーブルとの組み合わせに応じて、ユーザーＡの第１画像の選択されたパーツでユーザーＡの実物映像を差し替えるように第２画像データを生成してもよい。
【０１１１】
なお、図９〜図１２（ａ）を参照して上述した説明では、ユーザーＡがユーザーＡの第１画像の選択されたパーツでユーザーＡの実物映像を差し替えるように指示したが、本実施形態はこれに限定されない。
【０１１２】
また、図３〜図４を参照して上述した説明では、画像処理装置１００Ｂは、画像処理装置１００Ａからの実物映像データを受信した後、第１画像および実物映像を合成した第２画像データを生成したが、本実施形態はこれに限定されない。画像処理装置１００Ｂの記憶している第１画像データが充分ではなく、画像処理装置１００Ｂは、第１画像および実物映像を合成できないことがある。例えば、ユーザーＡの第２画像を生成する際に画像処理装置１００Ｂに記憶した第１画像データの一部がクラッシュしてしまうと、画像処理装置１００Ｂは、ユーザーＡの意図したようにユーザーＡの第１画像および実物映像を合成できないおそれがある。
【０１１３】
以下、図１３を参照して本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００を説明する。図１３は、本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００の模式図である。
【０１１４】
図１３の画像通信システム２００では、画像処理装置１００Ａからの指示にもかかわらず画像処理装置１００ＣがユーザーＡの第１画像を部分的に有していない点を除いて、図１０を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、上述したように、画像処理装置１００Ａ〜１００Ｃは同様の構成を有してもよいが、ここでは、画像処理装置１００Ａ〜１００ＣのうちユーザーＡの第２画像の生成に関連する構成に着目して説明する。
【０１１５】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０とを備える。また、画像処理装置１００Ａには、撮影装置ＣＡが接続されている。撮影装置ＣＡは、ユーザーＡの実物映像を撮影し、実物映像データを生成する。
【０１１６】
画像処理装置１００Ａの第１記憶部１１０は、ユーザーＡの第１画像データを記憶する。画像処理装置１００Ａの第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。画像処理装置１００Ａは、実物映像データを画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。
【０１１７】
画像処理装置１００Ｂは、第１記憶部１１０Ａと、第２記憶部１２０Ａと、合成部１３０Ａとを備える。画像処理装置１００Ｂの第１記憶部１１０Ａは、ユーザーＡの第１画像データを記憶する。ユーザーＡの第１画像データは、実物映像データに先立って受信してもよく、実物映像データとともに受信してもよい。画像処理装置１００Ｂの第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【０１１８】
画像処理装置１００Ｂの合成部１３０Ａは、ユーザーＡの第１画像データとユーザーＡの実物映像データとに基づいてユーザーＡの第１画像Ｇ１とユーザーＡの実物映像Ｇ２とを合成したユーザーＡの第２画像Ｓを示す第２画像データを生成する。例えば、合成部１３０Ａは、実物映像データに示されるユーザーＡの実物映像Ｇ２のうちの目（睫毛）、頬および口を、ユーザーＡの第１画像データに示される第１画像Ｇ１の目（睫毛）、頬および口に差し替えるように第２画像データを生成する。その後、画像処理装置１００Ｂは、ユーザーＡの第２画像データに示される第２画像Ｓを表示装置ＤＢに表示させる。
【０１１９】
画像処理装置１００Ｃは、第１記憶部１１０Ａと、第２記憶部１２０Ａと、合成部１３０Ａとを備える。画像処理装置１００Ｃの第１記憶部１１０Ａは、ユーザーＡの第１画像データを記憶する。ただし、画像処理装置１００Ｃの第１記憶部１１０Ａは、ユーザーＡの第１画像データを部分的にのみ記憶しており、ユーザーＡの意図するようには記憶していない。画像処理装置１００Ｃの第２記憶部１２０Ａは、画像処理装置１００Ａから受信したユーザーＡの実物映像データを記憶する。
【０１２０】
ここでは、画像処理装置１００Ｃの第１記憶部１１０Ａは、ユーザーＡの第１画像データを部分的にのみ記憶している。このため、画像処理装置１００Ｃの合成部１３０Ａは、画像処理装置１００Ｂとは異なり、ユーザーＡの第２画像を示す第２画像データを生成しない。この場合、画像処理装置１００Ｃは、ユーザーＡの実物映像に代えて、代替画像Ｓ０を表示装置ＤＣに表示させる。代替画像Ｓ０は、例えば、全面灰色の画像である。または、代替画像は、風景等の静止画であってもよい。本実施形態の画像通信システム２００では、所定の合成ができない場合、予め決められた代替画像Ｓ０を表示する。このため、データのクラッシュ等によって第１画像が消去された場合でも、ユーザーの意図に反してユーザーを表示されることを抑制できる。
【０１２１】
なお、図１３を参照して上述した説明では、画像処理装置１００Ｃの第１記憶部１１０が合成のための第１画像を記憶していない場合に表示装置ＤＣは、全面灰色の代替画像を表示したが、本実施形態はこれに限定されない。表示装置ＤＣは、ブラックアウト画像を表示してもよい。または、表示装置ＤＣは、不足パーツのみ合成されなかった第２画像を表示してもよい。あるいは、実物映像データが音声データを含む場合、表示装置ＤＣは、音声のみを出力してもよい。
【０１２２】
さらには、画像処理装置１００Ｃの第１記憶部１１０が合成のための第１画像を記憶していない場合に画像通信システム２００における画像処理装置１００Ａ〜１００Ｃの通信は終了してもよい。あるいは、画像処理装置１００Ｃの第１記憶部１１０の第１画像データが補填されるまで、画像通信システム２００における画像処理装置１００Ａ〜１００Ｃの通信は中止されてもよい。
【０１２３】
次に、図１４を参照して本実施形態の画像処理装置１００Ｃについて説明する。図１４は、本実施形態の画像処理装置１００Ｃの模式図である。図１４の画像処理装置１００Ｃは、代替画像メモリ１７２をさらに備える点を除いて、図１１を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【０１２４】
画像処理装置１００Ｃは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０とに加えて、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３と、合成可否テーブル１７１とに加えて、代替画像メモリ１７２をさらに備える。上述したように、第１記憶部１１０は、ユーザーＡの第１画像データを記憶し、第２記憶部１２０は、ユーザーＡの実物映像データを記憶する。
【０１２５】
表示映像処理部１５１は、合成部１３０Ａを含む。合成部１３０Ａは、第１記憶部１１０Ａに記憶されたユーザーＡの第１画像データと、第２記憶部１２０Ａに記憶されたユーザーＡの実物映像データとに基づいて、ユーザーＡの第１画像Ｇ１および実物映像Ｇ２を合成するようにユーザーＡの第２画像データを生成する。２画像データは、表示装置用ワークメモリ１５３に記憶される。表示装置ＤＣは、第２画像データに基づいてユーザーＡの第２画像Ｓを表示する。
【０１２６】
代替画像メモリ１７２は、合成部１３０Ａが画像処理装置１００Ａからの指示にしたがって合成できない場合に表示装置ＤＣに表示させる代替画像を示す代替画像データを記憶する。合成部１３０Ａが合成できない場合、表示装置インターフェース１４２は、代替画像メモリ１７２に記憶された代替画像データを表示装置ＤＣに送信し、表示装置ＤＣは、代替画像データに基づいて代替画像を表示する。
【０１２７】
なお、撮影装置の前のユーザーは、撮影装置から離れることがある。また、撮影装置の前に、意図せぬユーザーが現れることがある。例えば、図１〜図１４を参照した上述の説明では、撮影装置ＣＡは、ユーザーＡを撮影しているが、撮影装置ＣＡの前からユーザーＡが移動し、撮影装置ＣＡの前にユーザーＡとは異なるユーザーＸが現れることがある。
【０１２８】
以下、図１５〜図１７を参照して本実施形態の画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００について説明する。図１５〜図１７は、画像処理装置１００Ａ〜１００Ｃを備えた画像通信システム２００の模式図である。図１５の画像通信システム２００は、画像処理装置１００Ａ〜１００Ｃがユーザーを認証する機能を有する点を除いて、図１を参照して上述した画像通信システム２００と同様であり、冗長を避けるために重複する説明を省略する。なお、上述したように、画像処理装置１００Ａ〜１００Ｃは同様の構成を有しているが、ここでは、画像処理装置１００Ａ〜１００ＣのうちユーザーＡに関連する構成に着目して説明する。
【０１２９】
図１５に示すように、画像通信システム２００は、画像処理装置１００Ａ〜１００Ｃを備える。画像処理装置１００Ａには撮影装置ＣＡが接続されている。ユーザーＡは撮影装置ＣＡの前におり、撮影装置ＣＡはユーザーＡを撮影して実物映像データを生成する。画像処理装置１００Ａは、認証装置ＡＡに接続されている。なお、画像処理装置１００Ａは、ユーザーＡの実物映像データに基づいてユーザーＡを認証してもよい。
【０１３０】
認証は、ユーザーＡの身分証、パスワードおよび生体認証のいずれかで行われてもよい。例えば、生体認証は、指紋認証、掌紋認証、声紋認証および網膜認証のいずれかであってもよい。あるいは、認証は、ユーザーＡの体型によって行われてもよい。さらに、画像処理装置１００Ａは、ユーザーＡの顔を認証してもよい。また、画像処理装置１００Ａは、ユーザーＡがログインする際に撮影装置ＣＡによって生成されたユーザーＡの実物映像データを記憶してもよい。画像処理装置１００Ａは、撮影装置ＣＡによって生成された実物映像データを画像処理装置１００Ｂおよび画像処理装置１００Ｃに送信する。
【０１３１】
同様に、画像処理装置１００Ｂには撮影装置ＣＢが接続されている。ユーザーＢは撮影装置ＣＢの前におり、撮影装置ＣＢはユーザーＢを撮影して実物映像データを生成する。画像処理装置１００Ｂは、ユーザーＢの実物映像データに基づいて、ユーザーＢを認証する。画像処理装置１００Ｂは、撮影装置ＣＢによって生成された実物映像データを画像処理装置１００Ａおよび画像処理装置１００Ｃに送信する。
【０１３２】
さらに同様に、画像処理装置１００Ｃには撮影装置ＣＣが接続されている。ユーザーＣは撮影装置ＣＣの前におり、撮影装置ＣＣはユーザーＣを撮影して実物映像データを生成する。画像処理装置１００Ｃは、ユーザーＣの実物映像データに基づいてユーザーＣを認証する。画像処理装置１００Ｃは、撮影装置ＣＣによって生成された実物映像データを画像処理装置１００Ａおよび画像処理装置１００Ｂに送信する。
【０１３３】
表示装置ＤＡは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＡを表示する。また、表示装置ＤＡは、表示画面の左上にユーザーＢを表示し、表示画面の右上にユーザーＣを表示する。
【０１３４】
同様に、表示装置ＤＢは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＢを表示する。また、表示装置ＤＢは、表示画面の左上にユーザーＡを表示し、表示画面の右上にユーザーＣを表示する。
【０１３５】
さらに同様に、表示装置ＤＣは、表示画面の中央にメイン画面を表示するとともに、表示画面の左下にユーザーＣを表示する。また、表示装置ＤＣは、表示画面の左上にユーザーＡを表示し、表示画面の右上にユーザーＢを表示する。なお、図１５の表示装置ＤＡ〜ＤＣにおけるユーザーＡ〜Ｃの表示位置について、図１５に示した例はあくまでも一例であり、これに限定されるものではない。
【０１３６】
図１６に示すように、ユーザーＡが撮影装置ＣＡの前から移動すると、撮影装置ＣＡはユーザーＡを撮影できなくなる。この場合、表示装置ＤＡは、ユーザーＡを表示できない。表示装置ＤＡは、表示画面の左上にユーザーＢを表示し、表示画面の右上にユーザーＣを表示し続ける一方で、表示画面の左下にユーザーＡを表示できなくなる。表示装置ＤＡは、表示画面の左下に、エラー画像として白色の画像を表示する。また、表示装置ＤＡは、ユーザーＡに撮影装置ＣＡの前に戻るように促す旨のメッセージを表示する。
【０１３７】
同様に、表示装置ＤＢは、表示画面の左下にユーザーＢを表示し、表示画面の右上にユーザーＣを表示し続ける一方で、表示画面の左上にユーザーＡを表示できなくなる。このとき、表示装置ＤＢは、表示画面の左上に、白色の画像を表示する。また、表示装置ＤＢは、ユーザーＡが不在である旨のメッセージを表示する。
【０１３８】
さらに同様に、表示装置ＤＣは、表示画面の左下にユーザーＣを表示し、表示画面の右上にユーザーＢを表示し続ける一方で、表示画面の左上にユーザーＡを表示できなくなる。このとき、表示装置ＤＣは、表示画面の左上に、白色の画像を表示する。また、表示装置ＤＣは、ユーザーＡが不在である旨のメッセージを表示する。
【０１３９】
なお、ユーザーＡが撮影装置ＣＡの前に再び現れると、撮影装置ＣＡはユーザーＡを再び撮影する。この場合、画像処理装置１００Ａは、自動的にログイン操作を行い、表示装置ＤＡ〜ＤＣのいずれもユーザーＡを再び表示することが好ましい。あるいは、ユーザーＡが撮影装置ＣＡの前に再び現れた場合、表示装置ＤＡは、ユーザーＡに対して認証装置ＡＡで認証を行う旨のメッセージを表示し、認証の結果に応じて、合成を許可するか否かを選択可能としてもよい。
【０１４０】
さらに、画像処理装置１００Ａは、ユーザーＡを認証するだけでなく、ユーザーＢまたはユーザーＣを認証可能であってもよい。また、画像処理装置１００Ａが複数のユーザーを認証する場合、撮影装置ＣＡ〜ＣＣがユーザーＡ〜Ｃをそれぞれ撮影している場合にのみ認証を許可してもよい。あるいは、特定のユーザーが撮影されている場合にのみ認証を許可してもよい。
【０１４１】
図１７に示すように、ユーザーＡが撮影装置ＣＡの前からいなくなった後、ユーザーＸが撮影装置ＣＡの前に現れる。この場合、撮影装置ＣＡはユーザーＸを撮影することになる。
【０１４２】
撮影装置ＣＡはユーザーＸを撮影してユーザーＸの実物映像データを生成する。このとき、ユーザーＸはユーザーＡとは異なるため、画像処理装置１００Ａは、ユーザーＸを認証しない。この場合、表示装置ＤＡは、ユーザーＡを表示せず、表示装置ＤＡは、表示画面の左下に、白色の画像を表示したままである。また、表示装置ＤＡは、ユーザーＡにログインを促す旨のメッセージを表示する。
【０１４３】
また、表示装置ＤＢは、ユーザーＡを表示できず、表示装置ＤＢは、表示画面の左上に、白色の画像を表示したままである。また、表示装置ＤＢは、ユーザーＡが入れ替わっている旨のメッセージを表示する。同様に、表示装置ＤＣは、ユーザーＡを表示できず、表示装置ＤＣは、表示画面の左上に、白色の画像を表示したままである。また、表示装置ＤＣは、ユーザーＡが入れ替わっている旨のメッセージを表示する。
【０１４４】
なお、図１５〜図１７を参照して上述した説明では、撮影装置ＣＡの前のユーザーがユーザーＡからユーザーＸに入れ替わった場合に、表示装置ＤＡは、ユーザーＡにログインを促す旨のメッセージを表示したが、本実施形態はこれに限定されない。撮影装置ＣＡの前のユーザーがユーザーＡからユーザーＸに入れ替わった場合には、画像処理装置１００Ａは、画像処理装置１００Ｂおよび画像処理装置１００Ｃとの通信を遮断してもよい。
【０１４５】
本実施形態の画像通信システム２００では、ユーザーが撮影装置の前からいなくなった場合、または、別のユーザーが撮影装置の前に現れた場合には、第１画像と実物映像との合成が許可されなくてもよい。これにより、画像処理装置１００Ａ〜１００Ｃが互いに通信を開始したときと同じユーザーが参加している場合には、ユーザーの実物映像を部分的に変更して表示でき、同じユーザーが参加していない場合には、ユーザーの実物映像を変更しないようにすることができる。
【０１４６】
次に、図１８および図１９を参照して本実施形態の画像処理装置１００Ａについて説明する。図１８は、本実施形態の画像処理装置１００Ａの模式図である。図１８の画像処理装置１００Ａは、認証部１８０をさらに備える点を除いて、図３を参照して上述した画像処理装置１００Ａと同様の構成を有している。このため、冗長を避けるために重複する説明を省略する。
【０１４７】
画像処理装置１００Ａは、第１記憶部１１０と、第２記憶部１２０と、合成部１３０と、撮影装置インターフェース１４１と、表示装置インターフェース１４２と、通信インターフェース１４３と、システム設定保存メモリ１４４と、表示映像処理部１５１と、相手側画像メモリ１５２と、表示装置用ワークメモリ１５３とに加えて、認証装置インターフェース１４７および認証部１８０をさらに備える。認証部１８０は、認証テーブル１８１と、識別ファイル１８２と、エラー画像ファイル１８３と、処理部１８４と、認証ワークメモリ１８５と、フレームアウト処理部１８６と、フレームアウトワークメモリ１８７とを含む。
【０１４８】
認証装置インターフェース１４７は、認証装置ＡＡと接続して認証装置ＡＡから認証データを受信する。認証部１８０は、認証データに示された認証結果に基づいてユーザーを認証する。
【０１４９】
認証テーブル１８１は、ユーザーの認証に用いる情報またはユーザーの認証に用いる情報の有無を記憶する。認証テーブル１８１は、ユーザーＡだけでなく他のユーザーの認証に用いるために、システム設定保存メモリ１４４に記憶されていてもよい。ここで、図１９を参照して認証テーブル１８１を説明する。図１９は、本実施形態の画像処理装置１００Ａにおける認証テーブル１８１である。
【０１５０】
図１９に示すように、認証テーブル１８１は、ユーザーＩＤごとに、ログイン名、名前、身分証およびパスワードを示す。また、認証テーブル１８１は、ユーザーＩＤごとに、指紋、掌紋、声紋および網膜を示す情報の有無を示す。また、認証テーブル１８１は、ログイン時の実物映像データを記憶するフォルダのアドレスと、認証エラー情報とを示す。
【０１５１】
認証テーブル１８１に示された身分証およびパスワードは、ユーザーの認証に用いられる。また、認証テーブル１８１に示された指紋、掌紋、声紋および網膜の有無を示す情報は、ユーザーの認証に用いられる。例えば、ユーザーＡは、身分証、パスワード、指紋、掌紋、声紋および網膜を示す情報はいずれも記憶されているため、ユーザーＡは、身分証、パスワード、指紋、掌紋、声紋および網膜のいずれかを用いて認証可能である。
【０１５２】
ユーザーＤは、身分証、パスワードおよび指紋を示す情報は記憶されているため、ユーザーＤは、身分証、パスワードおよび指紋のいずれかを用いて認証可能である。一方で、ユーザーＤの掌紋、声紋および網膜は記憶されていないため、ユーザーＤは、掌紋、声紋および網膜を用いて認証できない。
【０１５３】
再び図１８を参照する。識別ファイル１８２には、ユーザーの指紋、掌紋、声紋および網膜が記憶される。また、識別ファイル１８２には、ユーザーのログイン時の実物映像データが記憶される。
【０１５４】
エラー画像ファイル１８３は、エラー画像を示すエラー画像データを記憶する。撮影装置ＣＡの前にユーザーＡがいない場合、表示装置ＤＡは、エラー画像データに基づいてエラー画像を表示する。例えば、エラー画像は、全面白色の画像である。あるいは、エラー画像は、特定の静止画であってもよい。
【０１５５】
処理部１８４は、ユーザーの認証を行う。処理部１８４は、第２記憶部１２０に記憶された実物映像データ、認証テーブル１８１および／または識別ファイル１８２に基づいて、ユーザーを認証する。
【０１５６】
認証ワークメモリ１８５は、処理部１８４がユーザーを認証する際に、利用される。認証ワークメモリ１８５は、認証の際に実物映像データを記憶する。また、認証ワークメモリ１８５は、認証の際に、識別ファイル１８２から読みだした指紋、掌紋、声紋および網膜を示す情報を記憶してもよい。
【０１５７】
フレームアウト処理部１８６は、撮影装置ＣＡの前からユーザーＡがいなくなったか否かを判定する。フレームアウト処理部１８６は、撮影装置ＣＡで生成した実物映像データに基づいて、実物映像にユーザーＡの画像が含まれるか否かを判定する。
【０１５８】
フレームアウトワークメモリ１８７は、撮影装置ＣＡの前からユーザーＡがいなくなったか否かを判定するために用いられる。フレームアウトワークメモリ１８７は、ログイン時のユーザーＡの実物映像データを記憶する。
【０１５９】
さらに、フレームアウト処理部１８６は、撮影装置ＣＡの前からユーザーＡがいなくなった場合に処理を開始する。例えば、フレームアウト処理部１８６は、撮影装置ＣＡの前からユーザーＡがいなくなったことを検知すると、表示装置ＤＡがユーザーＡに撮影装置ＣＡの前に戻るように促す旨のメッセージを表示するように制御する。
【０１６０】
また、フレームアウト処理部１８６は、撮影装置ＣＡの前にユーザーＡとは異なるユーザーが現れたことを検知すると、表示装置ＤＡがユーザーＡにログインするよう促す旨のメッセージを表示するように制御する。なお、撮影装置ＣＡの前にユーザーＡとは異なるユーザーが現れたことを検知する場合、フレームアウト処理部１８６は、画像処理装置１００Ａと画像処理装置１００Ｂおよび画像処理装置１００Ｃとの通信を遮断するように制御してもよい。
【０１６１】
典型的には、認証テーブル１８１、識別ファイル１８２およびエラー画像ファイル１８３は不揮発性メモリを含む。図１８に示した画像処理装置１００Ａによれば、撮影装置ＣＡの前のユーザーＡを認証することにより、撮影装置ＣＡの前のユーザーがユーザーＡから入れ替わったことを把握できる。このため、別のユーザーがユーザーＡになりすまして画像通信システム２００を利用することを抑制できる。
【０１６２】
なお、画像通信システム２００において、ユーザーごとに許可可能な画像処理装置１００が決められていてもよい。この場合、認証テーブル１８１は、ユーザーごと許可可能な装置を示す情報を有してもよい。
【０１６３】
ここで、図２０（ａ）を参照して認証テーブル１８１を説明する。図２０（ａ）は、本実施形態の画像処理装置１００Ａにおける認証テーブル１８１を示す。図２０（ａ）の認証テーブル１８１は、ユーザーごとに許可可能な装置を示す許可装置情報をさらに有する点を除いて、図１９を参照して上述した認証テーブル１８１と同様である。このため、冗長を避けるために重複する説明を省略する。許可装置情報は、許可情報の一例である。
【０１６４】
図２０（ａ）に示すように、認証テーブル１８１には、ユーザーＩＤごとに、ログイン名、名前、身分証およびパスワードが示される。また、認証テーブル１８１には、ユーザーＩＤごとに、指紋、掌紋、声紋および網膜を示す情報の有無が示されている。また、認証テーブル１８１には、ユーザーのログイン時の実物映像データを記憶するフォルダのアドレスと、認証エラー情報とが示される。さらに、認証テーブル１８１には、ユーザーＩＤごとに、許可装置情報が示される。許可装置情報は、装置ＩＤを用いて示される。
【０１６５】
ここでは、認証テーブル１８１の許可装置情報は、ユーザーＡがＩＤ１、ＩＤ３およびＩＤ４で示された画像処理装置を使用可能であることを示す。また、認証テーブル１８１の許可装置情報は、ユーザーＤが、ＩＤ１、ＩＤ３およびＩＤ４で示された画像処理装置を使用可能であることを示す。このため、ユーザーが許可装置を使用している場合は、合成部１３０は、ユーザーの第２画像データの生成を許可する許可情報に基づいて、第２画像データを生成できる。
【０１６６】
図２０（ｂ）は、本実施形態の画像通信システム２００における装置情報テーブルである。装置情報テーブルは、装置ＩＤごとの装置情報および有効・無効情報を示す。ここでは、装置情報は、装置の製造者、型番および製品番号を示し、有効・無効情報は、装置が画像通信システム２００に対して有効または無効であるか否かを示す。ユーザーまたは画像通信システム２００の管理者は、有効・無効情報を切り替え可能である。これにより、画像処理装置が画像通信システム２００において有効に機能するか否かを切り替えることができる。
【０１６７】
なお、合成部１３０による合成は、実物映像が第１画像と同じ位置で同じ背景に対して撮影されている場合にのみ許可されてもよい。
【０１６８】
ここで、図２１を参照して合成パーツテーブルおよび許可画像テーブルを説明する。図２１（ａ）は、本実施形態の画像処理装置における合成パーツテーブルを示す。合成パーツテーブルは、画像処理装置１００における合成部１３０の保存メモリ１３６に記憶される。
【０１６９】
図２１（ａ）に示すように、合成パーツテーブルには、パーツＩＤごとに、パーツの名称および種類が示されている。また、合成パーツテーブルには、パーツＩＤごとに、ユーザーＩＤごとの第１画像データが記憶されたフォルダのアドレスと、画像情報とが示されている。画像情報は、第１画像の元となった全体画像に対する第１画像の座標位置を示す。
【０１７０】
例えば、実物映像が、第１画像と同じ撮影装置ＣＡを同じ部屋内で固定した状態で撮影された場合、実物映像中の背景の位置および大きさは、第１画像の元となった全体画像中の背景の位置および大きさと同じになる。このため、合成部１３０は、実物映像が第１画像と同じ位置で同じ背景に対して撮影されたか否かを判定し、判定結果に基づいて合成部１３０による合成を許可してもよい。この場合、合成部１３０は、ユーザーの第１画像の一部と実物映像の一部とが一致する場合に第２画像データを生成する。
【０１７１】
図２１（ｂ）は、本実施形態の画像処理装置における許可画像テーブルである。図２１（ｂ）に示すように、許可画像テーブルは、ＩＤごとにファイル名および画像情報およびデータ状況を示している。
【０１７２】
以上、図面を参照しながら本発明の実施形態を説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の実施形態に開示される複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
【産業上の利用可能性】
【０１７３】
本発明によれば、ユーザーの実物映像を部分的に変更して表示できる。
【符号の説明】
【０１７４】
１００  画像処理装置
１１０  第１記憶部
１２０  第２記憶部
１３０  合成部
【図１】
2020136738.tif 000003
【図２】
2020136738.tif 000004
【図３】
2020136738.tif 000005
【図４】
2020136738.tif 000006
【図５】
2020136738.tif 000007
【図６】
2020136738.tif 000008
【図７】
2020136738.tif 000009
【図８】
2020136738.tif 000010
【図９】
2020136738.tif 000011
【図１０】
2020136738.tif 000012
【図１１】
2020136738.tif 000013
【図１２】
2020136738.tif 000014
【図１３】
2020136738.tif 000015
【図１４】
2020136738.tif 000016
【図１５】
2020136738.tif 000017
【図１６】
2020136738.tif 000018
【図１７】
2020136738.tif 000019
【図１８】
2020136738.tif 000020
【図１９】
2020136738.tif 000021
【図２０】
2020136738.tif 000022
【図２１】
2020136738.tif 000023