(57)【要約】      （修正有）【課題】会話に違和感を生じさせにくい高品位なテレビ電話システムを提供する。【解決手段】複数の端末11間で画像データおよび音声データを通信するテレビ電話システムであって、前記端末は、通信相手からの画像を表示する表示手段２と、該表示手段の画面を注視しつつ位置を変える使用者Ａをほぼ正面から撮像し該撮像された使用者の像が画面のほぼ中央を占める画像３Ａを前記通信相手への画像として生成する撮像手段５とを有する。【選択図】図３
2009071573.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末間で画像データおよび音声データを通信するテレビ電話システムであって、前記端末は、通信相手からの画像を表示する表示手段と、該表示手段の画面を注視しつつ位置を変える使用者をほぼ正面から撮像し該撮像された使用者の像が画面のほぼ中央を占める画像を前記通信相手への画像として生成する撮像手段とを有することを特徴とするテレビ電話システム。
【請求項２】
前記撮像手段が、前記使用者を正面から捉えるように位置あるいは向きのいずれか一方または両方を変更できる可動撮像カメラであることを特徴とする請求項１に記載のテレビ電話システム。
【請求項３】
前記撮像手段が、前記使用者を含む広範囲を撮像し、該撮像した画像を、前記使用者の像が画面中央を占めるように処理できる広範囲撮像カメラであることを特徴とする請求項１に記載のテレビ電話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話システムに関し、特に、使用者を正面から撮像し、通信相手との会話に違和感を生じさせないテレビ電話システムに関する。
【背景技術】
【０００２】
近年、複数の電子機器の間で使用者の音声データと画像データを通信するテレビ電話システムが普及しつつある。かかるテレビ電話システムにおいては、通信する画像データのデータ量が多いので、通信時に通信トラフィックが増大するという課題があり、これを解決するための提案がなされてきた。
かかる提案として、携帯電話を使用するテレビ電話システムにおいて、電波の状態を検出し、電波の状態が悪い場合は画像通信を行わずに音声通信だけを行うことにより、通信するデータ量を減らして通信トラフィックを低減することが知られている（例えば特許文献１）。
【０００３】
また、複数の端末（それぞれ撮像カメラとディスプレイを有する）間で画像データおよび音声データを通信するテレビ電話システムにおいて、各端末に、その端末の使用者が表示部を注視しているかどうかを判定し該判定結果に応じて相手方の端末からの画像データの通信（または画像データ自体）を制御する制御部を設けることで、使用者が表示部を注視していない場合に、例えばデータの通信速度を低下したり、データ量を削減したりして、端末間の通信トラフィックを低減することが知られている（例えば特許文献２）。
【０００４】
一方、テレビ電話システムにおいて、該システムの端末を用いて会話している使用者に違和感を生じさせないためには、通信相手の使用者（他使用者）の顔を正面から見ることができる、ということが非常に重要である。このためディスプレイ中央にピンホールカメラを配置する（例えば特許文献３）、あるいはハーフミラーを用いて光学的に撮像カメラを使用者とディスプレイを結んだ軸上に配置する（例えば特許文献４）、といった方法により、ディスプレイの画面を正面から注視している使用者、ディスプレイ、撮像カメラを一直線（この一直線とは、一光線経路の意であり、該経路にはミラー反射による屈曲点があってもよい。以下同じ）上に配置し、他使用者に対して使用者の顔を正面からとらえた画像の表示を可能としている。
【特許文献１】特開２０００−０３６８７５号公報
【特許文献２】特開２００７−１１０３１２号公報
【特許文献３】特開２００１−２３１０１９号公報
【特許文献４】特開平５−１９９５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述の、他使用者に対して使用者の顔を正面からとらえた画像の表示を可能としている従来のテレビ電話システムは、一般に撮像カメラが端末に固定されている。そのため、使用者がディスプレイの画面の正面から動いてしまうと、使用者、ディスプレイ、撮像カメラの一直線上という関係が崩れ、会話に違和感が生じてしまうという課題があった。本発明は、この課題を解決しうる高品位なテレビ電話システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題についてさらに詳述する。図１に使用者を正面から撮像することができる従来のテレビ電話システムの一例を示す。このシステムは、複数の端末10間で音声データと画像データを通信するテレビ電話システムにおいて、各端末10が、ディスプレイ２と撮像カメラ１を有する。撮像カメラ１は、ディスプレイ２の画面を正面から注視する使用者Ａ（あるいは他使用者；使用者Ｂ）の正面画像を撮像可能に固定配置されている。使用者Ａ側の端末10の撮像カメラ１で撮像された使用者Ａの画像データ３Ａは使用者Ｂ側へ送信30され、使用者Ｂ側の端末10のディスプレイ２の画面に表示される。使用者Ａと使用者Ｂが入れ替わっても同様である。
【０００７】
このシステムでは、画面を正面から注視する使用者Ａ、ディスプレイ２、撮像カメラ１が一直線20上に並び、また使用者Ｂに関しても同様の関係があるために、使用者を正面から撮像することができ、かつ使用者の正面画像をそれぞれ相手方の端末10の画面中央に表示することができる。これを実現する方法としては、ディスプレイ上にピンホールカメラを配置する（例えば特許文献３）、ハーフミラーを用いて光学的に撮像カメラを使用者とディスプレイを結んだ軸上に配置する（例えば特許文献４）、といった方法が存在する。
【０００８】
ここで、使用者、他使用者は一対一とは限らず一対多であってもそれぞれでこの関係が保たれていれば使用者を正面から撮像可能である。以下では簡単のため一対一を例にして説明するが、一対多であっても同じ議論を適用することができる。
図２は、このようなシステムにおいて使用者の位置がずれ、使用者Ａ（またはＢ）、ディスプレイ２、撮像カメラ１が一直線20上に並ばないという状態を示す。図では使用者の水平位置がずれた場合を示しているが、垂直方向あるいは水平・垂直方向の両方に対しても同じ議論を適用することができる。
【０００９】
この場合一般に撮像カメラ１が固定であるため使用者の位置がずれて撮像される。また、目線に関しても使用者Ａ，Ｂともにディスプレイ画面に表示されたお互いの画像３Ｂ，３Ａを注視するため、撮像カメラ１の方向を見ていないこととなり、目線は正面ではなく斜めを向いたものとなる。この問題は撮像カメラ１が端末10内のどの位置に存在していても固定である限り同様に起こりうる問題である。
【００１０】
使用者Ａ，Ｂのどちらか一方または両方の側に複数の人間がいる場合にはこの問題は常に生じる。また、大画面を用いたテレビ電話システムにおいては、画面の正面に使用者が存在するとは限らず、この問題はより顕著になる。
このように従来システムでは使用者の位置および目線のずれから会話に違和感が生じてしまう。
【００１１】
発明者らは前記課題の解決手段として、使用者、ディスプレイ、撮像カメラの一直線上という関係が崩れ、会話に違和感が生じてしまうという点に着目し、画面を注視しつつ位置を変える使用者を正面から撮像し、該撮像した画像を通信相手の画面中央に表示することにより、前記課題が解決可能であることに想到し、さらに検討を重ねて本発明をなした。
【００１２】
すなわち本発明は以下のとおりである。
１．  複数の端末間で画像データおよび音声データを通信するテレビ電話システムであって、前記端末は、通信相手からの画像を表示する表示手段と、該表示手段の画面を注視しつつ位置を変える使用者をほぼ正面から撮像し該撮像された使用者の像が画面のほぼ中央を占める画像を前記通信相手への画像として生成する撮像手段とを有することを特徴とするテレビ電話システム。
【００１３】
２．  前記撮像手段が、前記使用者を正面から捉えるように位置あるいは向きのいずれか一方または両方を変更できる可動撮像カメラであることを特徴とする前項１に記載のテレビ電話システム。
３．  前記撮像手段が、前記使用者を含む広範囲を撮像し、該撮像した画像を、前記使用者の像が画面中央を占めるように処理できる広範囲撮像カメラであることを特徴とする前項１に記載のテレビ電話システム。
【発明の効果】
【００１４】
本発明によれば、端末を介して互いに通信中の使用者Ａ，Ｂの一方例えば使用者Ａが画面を注視しつつ動いた場合でも、使用者Ｂは使用者Ａのほぼ正面からの像を常に画面のほぼ中央に見ることができるから、会話に違和感を生じない高品位なテレビ電話システムを実現することが可能となる。
【発明を実施するための最良の形態】
【００１５】
図３は、本発明システムの一つの例（可動撮像カメラを有する形態）を示すものである。同図において５は可動撮像カメラ、11は端末であり、前掲の図と同一または相当部材には同じ符号を付し説明を省略する。
各端末11が有する可動撮像カメラ５は、当該端末11側の使用者例えば使用者Ａがディスプレイ２の画面を注視しつつ動いた場合、使用者Ａを正面から捉えるように（使用者Ａがカメラ視野の中心に位置するように）位置あるいは向きのいずれか一方または両方を変更することができる機能を有する。この機能は、撮像カメラに、使用者の顔の中の特定箇所（例えば目）の撮像がカメラ視野内の所定の位置（例えばカメラ視野内の中央）からどれだけずれているかを認識する手段（通常の画像処理・画像認識技術により構成できる）と、該認識されたずれがなくなるように撮像カメラの位置、向きのいずれか一方または両方を変更する手段（通常のサーボモータ等で構成できる）とを設けることで実現可能である。
【００１６】
これにより、使用者Ａ（あるいは使用者Ｂ）、ディスプレイ２、可動撮像カメラ５は、使用者Ａ（あるいは使用者Ｂ）が動いても一直線20上の関係を保つこととなり、会話に違和感が生じることがない。
ここで可動撮像カメラ５は位置・向き（角度）の両方を変更できるものが好ましいが、いずれか一方のみを変更可能とし、他方のずれは画像処理によって取り除くようにして同様の効果を得ることも可能である。
【００１７】
またここで使用者を正面から捉えるとしたがこれは厳密なものではなく、10度程度以内のずれがあるもの（ほぼ正面）であっても許容されるものと思われる。同様にディスプレイの画面中央としたがこれは厳密なものではなく、使用者の頭２つ分程度（ディスプレイが等倍で画面表示しているのならば30cm程度（画面対角線長さの±1/5程度））以内のずれがあるもの（ほぼ中央）であっても問題ないものと思われる。また、使用者Ａ，Ｂのいずれか一方の側あるいは両方の側に複数の人間がいる場合に関しては、話者あるいは中心人物を設定することで課題を解決可能である。
【００１８】
図４は、本発明システムのもう１つの例（広範囲撮像カメラを有する形態）を示すものである。同図において６は広範囲撮像カメラ、12は端末であり、前掲の図と同一または相当部材には同じ符号を付し説明を省略する。
各端末12が有する広範囲撮像カメラ６は、例えば広角レンズを備え、当該端末12側の使用者例えば使用者Ａを含む広範囲（実際の撮影範囲７として示す）を撮像する。そして、該撮像した画像を、使用者Ａの像が画面中央を占めるように画像処理する。例えば図示のように、撮像した全視野範囲から不必要な部分８を削除して、使用者Ａの像が使用者Ｂ側のディスプレイ２の画面中央に位置するような画像３Ａを生成する（使用者Ａ，Ｂが入れ替わった場合も同様）。かかる画像処理機能は通常の画像処理・画像認識技術により構成できる。
【００１９】
この場合使用者を真正面から捉えることができず目線のずれを補正することはできないため、その部分の違和感は残ってしまうが、前述のようにほぼ正面とみなすことができる10度程度の目線のずれの範囲内では有用である。
目線のずれを補正する方法としては、図４において広範囲撮像カメラ6を複数にし、それらを用いて様々な角度から使用者を撮像し、これらの画像データに基づいて、使用者を正面から撮像した画像とほぼ等価な画像を生成するといった方法（通常の画像処理技術で実現可能）が考えられる。
【００２０】
また、図５は、本発明のさらにもう１つの例（特殊広範囲撮像カメラを有する形態）を示すものである。同図において９は特殊広範囲撮像カメラ、13は端末であり、前に示した図と同一または相当部材には同じ符号を付し説明を省略する。
各端末13が有する特殊広範囲撮像カメラ９は、従来のピンホールカメラの代わりに、例えば魚眼レンズのような超広角なレンズを備えた超小型カメラ（超小型とは10画素程度の大きさで、望ましくは10画素以下）をディスプレイ２の画面の裏側中央で画面とほぼ接するように配置してなり、当該端末13側の使用者例えば使用者Ａを含む広範囲（実際の撮影範囲７として示す）を撮像する。そして、該撮像した画像を、使用者Ａの像が画面中央を占めるように画像処理する。例えば図示のように、撮像した全視野範囲から不必要な部分８を削除して、使用者Ａの像が使用者Ｂ側のディスプレイ２の画面中央に表示されるような画像３Ａを生成する（使用者Ａ，Ｂが入れ替わった場合も同様）。かかる画像処理機能は通常の画像処理・画像認識技術により構成できる。
【００２１】
これによれば、目線のずれがほとんどなくなって、図３のシステムと同じ効果を得ることができると思われる。
このとき撮像した画像はひずんでしまうが画像処理により補正することが可能である。また、前記魚眼レンズを固定し、この魚眼レンズと光学的に連結した撮像素子（ＣＣＤ等）を動かすことにより、解像度の劣化を抑えることが可能である。
【実施例】
【００２２】
デジタルカメラを用いて、前掲の図３〜５からディスプレイ２を除いた形態のシステム（模擬テレビ電話システム）を構築し、使用者Ａ，Ｂが互いの画像３Ａ，３Ｂを観察し合ったところ、従来システムのような違和感は生じず、高品位なテレビ電話システムが実現可能であることが確認された。
【図面の簡単な説明】
【００２３】
【図１】画面を正面から注視している使用者を正面から撮像することができる従来のテレビ電話システムの一例を示す模式図である。
【図２】従来システムにおいて使用者位置が画面の正面からずれた場合を示す模式図である。
【図３】本発明システムにおいて使用者位置が画面の正面からずれた場合を示す模式図である。
【図４】本発明システム（広範囲撮像カメラを有する形態）において使用者位置が画面の正面からずれた場合を示す模式図である。
【図５】本発明システム（特殊広範囲撮像カメラを有する形態）において使用者位置が画面の正面からずれた場合を示す模式図である。
【符号の説明】
【００２４】
１  撮像カメラ
２  ディスプレイ（表示手段）
３  画像（Ａ、Ｂはそれぞれ使用者Ａ、Ｂの画像）
５  可動撮像カメラ（本発明に用いる撮像手段）
６  広範囲撮像カメラ（本発明に用いる撮像手段）
７  実際の撮像範囲
８  不必要な部分
９  特殊広範囲撮像カメラ（本発明に用いる撮像手段）
10  端末（従来）
11,12,13  端末（本発明）
20  一直線
30,40  送信
【図１】
2009071573.tif 000003
【図２】
2009071573.tif 000004
【図３】
2009071573.tif 000005
【図４】
2009071573.tif 000006
【図５】
2009071573.tif 000007