(57)【要約】【課題】瞬き発生を検出したタイミングで瞳画像を生成し適宜の期間だけ視線を合致させることによって自然な視線補正効果を得ること。【解決手段】送受信端末において、人物を含む第一の映像を入力する第一映像入力手段１００と、第一の映像情報を送信し、他の送受信端末からの第二の映像情報を受信する通信手段１０５と、第二の映像情報から顔を認識する顔認識手段２０７と、認識した顔から瞳を認識する瞳認識手段２０８と、認識した瞳から視線の方向を表す視線情報を生成する視線情報生成手段２０３と、視線情報に基づいて瞬きを検出する瞬き検出手段２０４と、検出した瞬きの発生した時を起点にして所定期間に亘って、第二映像入力手段の方向を直視する瞳画像を生成する瞳画像生成手段２０５と、生成した瞳画像と第二の映像情報を合成し第三の映像を生成する合成手段２０６と、第三の映像を表示する表示手段２０２と、から構成される。【選択図】図４
2013183421.tif 000002
【特許請求の範囲】
【請求項１】
無線又は有線により通信を行う送受信端末において、
人物を含む第一の映像を入力する第一映像入力手段と、
前記第一映像入力手段からの第一の映像情報を送信し、他の送受信端末から送信された人物を含む第二の映像情報を受信する通信手段と、
前記第二の映像情報から前記人物の顔を認識する顔認識手段と、
前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、
前記瞳認識手段で認識した瞳から視線の方向を表す視線情報を生成する視線情報生成手段と、
前記生成した視線情報に基づいて瞬きを検出する瞬き検出手段と、
前記瞬き検出手段で検出した瞬きの発生した時を起点にして所定期間に亘って、前記第二の映像を入力した第二映像入力手段の方向を直視する瞳画像を生成する瞳画像生成手段と、
前記生成した瞳画像と前記第二の映像情報を合成し第三の映像を生成する合成手段と、
前記第三の映像を表示する表示手段と、から構成される
ことを特徴とする送受信端末。
【請求項２】
請求項１において、
前記瞬きの発生した時にタイマーをオンし、前記所定期間後に前記タイマーをオフして、前記タイマーのオン期間に亘って前記直視する瞳画像によって視線を合致させることを特徴とする送受信端末。
【請求項３】
無線又は有線により通信を行う送信端末において、
人物を含む第一の映像を入力する第一映像入力手段と、
前記第一映像入力手段からの第一の映像情報から前記人物の顔を認識する顔認識手段と、
前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、
前記瞳認識手段で認識した瞳から視線の方向を表す瞬き検出用の視線情報を生成する視線情報生成手段と、
前記第一の映像情報と前記視線情報を送信する通信手段と、から構成される
ことを特徴とする送信端末。
【請求項４】
無線又は有線により通信を行う受信端末において、
他の送信端末から人物を含む第一の映像情報を受信し、前記第一の映像情報に含まれる人物の視線の方向を表す視線情報を受信する通信手段と、
前記通信手段から前記視線情報を取得する視線情報取得手段と、
前記視線情報取得手段からの視線情報に基づいて瞬きを検出する瞬き検出手段と、
前記瞬き検出手段で検出した瞬きの発生した時を起点にして所定期間に亘って瞳画像を生成する瞳画像生成手段と、
前記生成した瞳画像と前記第一の映像情報を合成し第二の映像を生成する合成手段と、
前記第二の映像を表示する表示手段と、から構成される
ことを特徴とする受信端末。
【請求項５】
請求項４において、
前記瞳画像生成手段で生成された前記瞳画像は、
前記第一の映像情報を出力した第一映像入力手段の方向を直視する瞳画像であることを特徴とする受信端末。
【請求項６】
無線又は有線により通信を行う送受信端末において、
人物を含む第一の映像を入力する第一映像入力手段と、
前記第一映像入力手段からの第一の映像情報から顔を認識する顔認識手段と、
前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、
前記瞳認識手段で認識した瞳から視線の方向を表す視線情報を生成する視線情報生成手段と、
前記生成した視線情報から瞬きを検出する瞬き検出手段と、
前記瞬き検出手段で検出した瞬きの発生した時にタイマーをオンし、前記所定期間後に前記タイマーをオフして、前記タイマーのオン期間に亘って、前記第一の映像を入力した第一映像入力手段の方向を直視する瞳画像を生成する瞳画像生成手段と、
前記生成した瞳画像と前記第一の映像情報を合成し第二の映像を生成する合成手段と、
前記第二の映像を送信し、他の送受信端末から送信された第三の映像を受信する通信手段と、
前記第三の映像を表示する表示手段と、から構成される
ことを特徴とする送受信端末。
【請求項７】
無線又は有線により通信を行う送受信端末における送受信方法において、
人物を含む第一の映像を入力する第一映像入力ステップと、
前記第一映像入力ステップで得られた第一の映像情報を送信し、他の送受信端末から送信された人物を含む第二の映像情報を受信するステップと、
前記第二の映像情報から前記人物の顔を認識する顔認識ステップと、
前記顔認識ステップで認識した顔から瞳を認識する瞳認識ステップと、
前記瞳認識ステップで認識した瞳から視線の方向を表す視線情報を生成する視線情報生成ステップと、
前記生成した視線情報に基づいて瞬きを検出する瞬き検出ステップと、
前記瞬き検出ステップで検出した瞬きの発生した時を起点にして所定期間に亘って、前記第二の映像を入力した第二映像入力手段の方向を直視する瞳画像を生成する瞳画像生成ステップと、
前記生成した瞳画像と前記第二の映像情報を合成し第三の映像を生成する合成ステップと、
前記第三の映像を表示する表示ステップと、から構成される
ことを特徴とする送受信方法。
【請求項８】
無線又は有線により通信を行う送受信端末における送受信方法において、
人物を含む第一の映像を入力する第一映像入力ステップと、
前記第一映像入力ステップで得られた第一の映像情報から顔を認識する顔認識ステップと、
前記顔認識ステップで認識した顔から瞳を認識する瞳認識ステップと、
前記瞳認識ステップで認識した瞳から視線の方向を表す視線情報を生成する視線情報生成ステップと、
前記生成した視線情報から瞬きを検出する瞬き検出ステップと、
前記瞬き検出ステップで検出した瞬きの発生した時にタイマーをオンし、前記所定期間後に前記タイマーをオフして、前記タイマーのオン期間に亘って、前記第一の映像を入力した第一映像入力手段の方向を直視する瞳画像を生成する瞳画像生成ステップと、
前記生成した瞳画像と前記第一の映像情報を合成し第二の映像を生成する合成ステップと、
前記第二の映像を送信し、他の送受信端末から送信された第三の映像を受信する通信ステップと、
前記第三の映像を表示する表示ステップと、から構成される
ことを特徴とする送受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の情報端末からなるテレビ会議システムに係わり、特にカメラで撮像した映像を送受信し、再生する情報端末に関する。
【背景技術】
【０００２】
近年、高速インターネットの普及により、テレビやカメラと接続して双方向通信を行うテレビ会議機能を利用するユーザがますます増えている。その中で、テレビ会議システムは、映像と資料を表示するディスプレイと、通話者を撮影するカメラの位置関係から、通話者同士の視線が合わないという課題がある。一般的に、会議の場では、参加者同士がアイコンタクトを取りながら会議を進めるが、テレビ会議システムを用いたときには、視線を合わせているつもりが、ディスプレイとカメラ位置の関係でどうしても視線が合わないという不都合さが目立っている。
【０００３】
テレビ会議システムにおいて視線を合わせる従来技術として、たとえば特許文献１に示すように、カメラで撮像した映像から顔や瞳を検出し、顔の向きを推定し、瞳部分の画像を置換することによって視線の一致した画像を得ることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３７７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に示す技術では、視線を検出している間中、常に視線を合わせた画像になってしまい、どのタイミングで視線が合っていると認識すればよいのかがわかりにくいという課題があった。
【０００６】
本発明の目的は、テレビ会議システムにおいて視線を合致させるタイミングと仕組みを実現して自然な視線補正を実現する送受信端末を提供することにある。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明は一例として特許請求の範囲に記載のような構成を採用する。
【０００８】
無線又は有線により通信を行う送受信端末において、人物を含む第一の映像を入力する第一映像入力手段と、前記第一映像入力手段からの第一の映像情報を送信し、他の送受信端末から送信された人物を含む第二の映像情報を受信する通信手段と、前記第二の映像情報から前記人物の顔を認識する顔認識手段と、前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、前記瞳認識手段で認識した瞳から視線の方向を表す視線情報を生成する視線情報生成手段と、前記生成した視線情報に基づいて瞬きを検出する瞬き検出手段と、前記瞬き検出手段で検出した瞬きの発生した時を起点にして所定期間に亘って、前記第二の映像を入力した第二映像入力手段の方向を直視する瞳画像を生成する瞳画像生成手段と、前記生成した瞳画像と前記第二の映像情報を合成し第三の映像を生成する合成手段と、前記第三の映像を表示する表示手段と、から構成される送受信端末。
【０００９】
無線又は有線により通信を行う送信端末において、人物を含む第一の映像を入力する第一映像入力手段と、前記第一映像入力手段からの第一の映像情報から前記人物の顔を認識する顔認識手段と、前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、前記瞳認識手段で認識した瞳から視線の方向を表す瞬き検出用の視線情報を生成する視線情報生成手段と、前記第一の映像情報と前記視線情報を送信する通信手段と、から構成される送信端末。さらに、無線又は有線により通信を行う受信端末において、他の送信端末から人物を含む第一の映像情報を受信し、前記第一の映像情報に含まれる人物の視線の方向を表す視線情報を受信する通信手段と、前記通信手段から前記視線情報を取得する視線情報取得手段と、前記視線情報取得手段からの視線情報に基づいて瞬きを検出する瞬き検出手段と、前記瞬き検出手段で検出した瞬きの発生した時を起点にして所定期間に亘って瞳画像を生成する瞳画像生成手段と、前記生成した瞳画像と前記第一の映像情報を合成し第二の映像を生成する合成手段と、前記第二の映像を表示する表示手段と、から構成される受信端末。
【００１０】
また、無線又は有線により通信を行う送受信端末において、人物を含む第一の映像を入力する第一映像入力手段と、前記第一映像入力手段からの第一の映像情報から顔を認識する顔認識手段と、前記顔認識手段で認識した顔から瞳を認識する瞳認識手段と、前記瞳認識手段で認識した瞳から視線の方向を表す視線情報を生成する視線情報生成手段と、前記生成した視線情報から瞬きを検出する瞬き検出手段と、前記瞬き検出手段で検出した瞬きの発生した時にタイマーをオンし、前記所定期間後に前記タイマーをオフして、前記タイマーのオン期間に亘って、前記第一の映像を入力した第一映像入力手段の方向を直視する瞳画像を生成する瞳画像生成手段と、前記生成した瞳画像と前記第一の映像情報を合成し第二の映像を生成する合成手段と、前記第二の映像を送信し、他の送受信端末から送信された第三の映像を受信する通信手段と、前記第三の映像を表示する表示手段と、から構成される送受信端末。
【発明の効果】
【００１１】
本発明によれば、瞬き発生を検出したタイミングで瞳画像を生成し適宜の期間だけ視線を合致させることによって、自然な視線補正効果を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る送受信端末を用いたテレビ会議システムの全体構成を示す概略図である。
【図２】本発明の実施形態に係る送受信端末の実施例１における内部構成を示すブロック図である。
【図３】本発明の実施形態に係る送受信端末の実施例２における内部構成を示すブロック図である。
【図４】本発明の実施形態に係る送受信端末の実施例３における内部構成を示すブロック図である。
【図５】本実施形態に係る送受信端末で用いられるストリームを説明する図である。
【図６】本実施形態に係る送受信端末で用いられる視線情報を説明する図である。
【図７】本実施形態に関する視線合致のタイミングと仕組みを説明する動作図である。
【図８】本実施形態に係る送受信端末の実施例１における動作を表すフローチャートである。
【図９】本実施形態に係る送受信端末の実施例２における動作を表すフローチャートである。
【図１０】本実施形態に係る送受信端末の実施例３における動作を表すフローチャートである。
【発明を実施するための形態】
【００１３】
送受信端末について図面を参照しながら以下説明する。本実施形態に係る送受信端末のテレビ会議システムの全体構成を図１を用いてまず説明する。図１において、テレビ会議システムは、送受信端末１、送受信端末２、インターネット３、表示装置５、表示装置８から構成される。人物６は送受信端末１を操作し、送受信端末１のカメラで撮像される対象となる人物であり、人物７は送受信端末２を操作し、送受信端末２のカメラで撮像される対象となる人物である。
【００１４】
送受信端末１、送受信端末２を一組にしてテレビ会議システムを構成する。送受信端末１及び送受信端末２はインターネット３を介して互いに通信する端末装置であり、例えば、セットトップボックスやパソコンのような固定式の情報端末や、ＰＤＡやスマートフォンのような移動体通信端末、あるいはテレビ会議専用の通信装置である。送受信端末１及び送受信端末２には通信装置が搭載され、ＣＰＵで作動するプログラムにより互いに通信することが可能である。また、表示装置５及び表示装置８は、例えばテレビのような表示装置やプロジェクタなどの映像投射装置であり、映像情報を表示する情報装置であればどのようなものであってもよい。また、内蔵された液晶ディスプレイなどの表示装置であってもよい。
【００１５】
ここで、本発明の実施形態においては、表示装置５の中央部に相手側人物７の顔が写っていて、この中央部に存在する相手側人物７の顔を見ながら相手側と会話を進めていくスタイルであり、その際に相手側と会話する人物６の顔は、例えば表示装置の上辺中央部に配置されたカメラで撮影された映像情報として相手側の表示装置８に表示されるのである。そして、人物６の当該表示された顔は、人物６が相手側人物７の写った顔を真っ直ぐに見て会話したにも関わらず、表示装置５の中央部に写った相手側顔の配置と表示装置５上辺中央部のカメラの配置のズレによって、相手側の表示装置８には例えば伏し目の顔として表示されることとなって視線の合致した顔が表示されないこととなる。このような状況を前提として、本実施形態の概要は、工夫したタイミングと仕組みによって、相手側の視線と合致した映像を相手側表示装置に適宜に表示しようとすることである。以下、本発明の実施形態に係る送受信端末の実施例を図２〜図１０を用いて説明する。
【実施例１】
【００１６】
本発明の実施例１における送受信端末１、２の構成を図２に示すブロック図で説明する。図２に示す構成のブロック図は、図１における送受信端末１あるいは送受信端末２に搭載されて動作するソフトウェアあるいはハードウェアを示す。
【００１７】
送受信端末１は、カメラ装置など映像を取得する機器である第一映像入力手段１００と、マイク装置など音声を取得する機器である第一音声入力手段１０９と、第一映像入力手段１００からの映像情報４１０から人物６あるいは人物７の顔を認識する顔認識手段１０１と、顔認識手段１０１により認識された顔の位置の情報を用いて瞳を認識する瞳認識手段１０２と、瞳認識手段１０２で認識された瞳の位置を用いて視線の方向を検出して視線情報４１２を生成する視線情報生成手段１０８と、視線情報４１２を用いて瞳を閉じた時刻（瞬きした時でもよく、目を開き始めたときでもよい）を検出する瞬き検出手段１０６と、瞬き検出手段１０６で瞳を閉じた時刻に瞳の画像を生成する瞳画像生成手段１０３と、映像情報４１０と瞳画像を合成する合成手段１０４と、映像情報４１０と音声情報４１１と合成手段１０４からの映像情報とを圧縮・多重化しストリーム４００に変換するＭＵＸ手段１０７と、を有する。
【００１８】
さらに、送受信端末１は、ストリーム４００をインターネット３を介して送受信端末２に送信し、送受信端末２からインターネット３を介してストリーム４０１を受信する通信手段１０５と、受信したストリーム４０１を分解・伸張して映像情報４１０と音声情報４１１を取得するＤＥＭＵＸ手段２０１と、映像情報４１０を表示する映像出力手段２０２と、音声情報４１１を出力するスピーカなどの音声出力手段２０９と、ストリーム４００、ストリーム４０１を入出力する入出力端子１１０と、映像情報４１０を出力する出力端子２１０と、を有する。ここで、顔認識手段１０１、瞳認識手段１０２、視線情報生成手段１０８、瞬き検出手段１０６、瞳画像生成手段１０３、合成手段１０４からなる手段は、ソフトウェアで構成されてもよい。その場合、送受信端末を制御する制御部が、上記手段を実行するためのソフトウェアを、送受信端末が備える記憶部から読み出し、送受信端末が備えるメモリ上に展開し、上記手段が行う処理を制御部が実行する。
【００１９】
視線情報生成手段１０８は、瞳認識手段１０２で認識された瞳の画像を解析し、虹彩の形からどの方向に眼球が向いているかを計算することにより視線の方向、すなわち後述の視線ベクトル５１５を生成する（後述の図６の説明を参照）。
【００２０】
また、瞬き検出手段１０６は、視線情報生成手段１０８からの視線情報４１２を基にこの視線情報４１２の途切れを検出した場合に瞬きが行われた時刻であると判断する処理を行うことで瞬きを検出する。また、瞬きの検出については、瞳認識手段１０２において認識された瞳の画像を解析し、瞳画像の中に円形の虹彩を検知することができない場合に瞬きが行われた時刻であると判断する処理を行うことで瞬きを検出してもよい。また、上述したように、瞳を閉じた直後の目を開けた瞬間を検知して瞬き検出としてもよい。
【００２１】
また、瞳画像生成手段１０３は、後述の図６に示すように、映像識別情報５１０、右目原点情報５１１、左目原点情報５１３、右目サイズ５１３、左目サイズ５１５及び、後述のステップ１００９で計算する視線ベクトルに従って、映像にピクセル単位でドットを追加・削除することにより瞳の画像を新たに生成したり、あるいは、データベースからステップ１００９で計算した視線ベクトルに対応する瞳の映像を取得して張り付けるといった方法のいずれでもよい。
【００２２】
次に、送受信端末１及び送受信端末２で使用されるストリーム４００について図５を用いて説明する。図５では、後述する実施例２に対応したストリームを図示しており、ストリーム４００は、映像情報４１０、音声情報４１１及び視線情報４１２から構成される。因みに、実施例１では上記の視線情報に代えて、図２に示すように生成した瞳画像情報がストリーム４００に含まれる。ストリーム４００は、時系列的に列挙された映像情報４１０、音声情報４１１を再生することにより、映像や音声などの情報を送受信端末２に伝えることができる。ストリーム４００は、映像情報４１０、音声情報４１１及び視線情報４１２のいずれか１つ以上の種類が多重化して格納された情報であり、どれか１つだけであってもよいし、複数の種類が同時にストリーム４００に多重化されていてもよい。
【００２３】
なお、後述する実施例２（図３を参照）では、送信するストリームとして、視線情報４１２それ自体を直接送信する形態である。図２に示す実施例１では生成された瞳画像を含む映像情報を送信し、図４に示す実施例３では視線情報自体を送信せずに受信端末側で視線情報を生成しており、ＤＥＭＵＸ手段２０１へのストリーム４０１は他の端末から送信されてきたものである。
【００２４】
映像情報４１０は、カメラ装置など映像を出力する情報装置から出力される映像データ、あるいは、合成手段１０４で出力される生成された瞳画像を含む映像データであり、カメラで撮影した人物６あるいは人物７の顔の映像を含有するデータである。音声情報４１１は、マイク装置など音声を入力する情報装置から取得できる音声データであり、たとえばＰＣＭや圧縮符号化音声データなどの音声を表現するデジタル情報である。
【００２５】
視線情報４１２について図６を用いて説明する。視線情報４１２は、映像識別情報５１０、右目原点情報５１１、右目サイズ５１２、左目原点情報５１３、左目サイズ５１４及び視線ベクトル５１５、から構成される。
【００２６】
映像識別情報５１０は、映像情報４１０毎に固有に割り振られた識別子であり、映像情報４１０を特定する情報である。右目原点情報５１１及び左目原点情報５１３は、映像識別情報５１０で識別される映像情報４１０に含まれる右目と左目の画像が、映像情報４１０内のどの座標位置から切り出すかを決定する原点を表す情報であり、Ｘ軸方向及びＹ軸方向の座標位置を含む情報である。右目サイズ５１２及び左目サイズ５１４は、右目原点情報５１１及び左目原点情報５１３からＸ軸方向及びＹ軸方向にどれくらいの範囲が切り出す情報であるかを示す範囲情報であり、たとえば縦と横のドットサイズで表す。視線ベクトル５１５は、瞳のむいている方向をベクトルとしてあらわしたものであり、たとえば正面方向を原点として上下左右方向にどの方向を指しているかを示す座標情報であったり、東西南北、緯度経度などの方位情報であってもよい。
【００２７】
次に、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現する動作について、図７のタイミングチャートを用いて説明する。タイミングチャートの左から右方向に時間が経過することを意味する。すなわち、図７は、時刻ｔ１（６０９）、時刻ｔ２（６１０）、時刻ｔ３（６１１）、時刻ｔ４（６１２）の順に時間が流れることをあらわしている。
【００２８】
図２、図３及び図４に示す視線情報生成手段１０８，２０３は、右目原点情報５１１、左目原点情報５１３、右目サイズ５１２、左目サイズ５１４で定義される領域の画像を調査することによって視線ベクトル５１５（図６を参照）を生成するが、視線ベクトルの検知６００と検知６０１の間、検知６０１と検知６０２の間には間隙ができる（瞳を閉じれば視線ベクトル５１５が検知できないから）。つまり、時刻６０９の時刻に瞬き６０３、時刻６１１の時刻に瞬き６０４の示す間だけ瞳を閉じていることを表している。
【００２９】
本実施例１，２，３においては、この時刻ｔ１（６０９）のタイミングでタイマーをＯＮし、ｔ２−ｔ１で表す時間だけ後にＯＦＦする。つまりタイマー動作６０５及びタイマー動作６０６がそのＯＮ動作を示している。タイマーは、たとえば時刻ｔ１（６０９）にＯＮしたタイマーは時刻ｔ２（６１０）にＯＦＦになる。また、時刻ｔ３（６１１）にＯＮしたタイマーは時刻ｔ４（６１２）にＯＦＦになる。タイマーがＯＮしている間だけ瞳画像を合成して視線が合うようにするため、ｔ２−ｔ１で表す時間だけ視線が合うような動作となる。すなわち、カメラの位置が表示装置の中央部の相手側顔位置とずれが生じているために、視線がずれて相手側に表示されるはずであるのに対して、視線を合致するように瞳画像を生成してｔ２−ｔ１の期間だけに限って上述の相手側顔と意図的に視線を合致させるのであり、違和感の無い会話となる。上述した視線合致の手法は、実施例１に限らず他の実施例でも共通するものである。図７では、瞬きの間隔（ｔ３−ｔ１）よりも短い時間間隔である（ｔ２−ｔ１）の間において視線を合致するような瞳画像を生成して相手側に送信し、自然な視線合致の時間間隔を演出するのである。
【００３０】
次に、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現する動作について、図８のフローチャートを用いて説明する。まず、送受信端末１、送受信端末２のそれぞれにおいて処理１０００と処理１１００が並列に実行される。以下、フローチャートに従い説明する。
【００３１】
送受信端末１、送受信端末２において、プログラムを記憶装置上に展開し、ＣＰＵを動作させてプログラムとして作動させることにより機能を開始する（１０００，１１００）。送受信端末１において、映像情報４１０を外部あるいは内部のカメラ装置などの撮像装置から取得する（１００１）。次に、映像情報４１０に対し画像解析を施して、顔がどこにあるかを検出し、その座標値を取得する（１００２）。この顔認識は、映像をピクセル単位で解析して目、鼻、口、輪郭などの特徴を検出することにより顔を判別したり、あるいは顔画像のデータベースと照合して一致することにより顔を判別するなどのいずれの方法でもよく、要するに、顔が映像情報４１０のうちのどの座標に位置するかが判定できればよい。
【００３２】
次に、ステップ１００２で取得した座標情報を元に、映像情報４１０に対し画像解析を施して、瞳がどこにあるかを検出し、その座標値を取得する（１００３）。この瞳検出は、顔検出と同様、映像をピクセル単位で解析して目の特徴を検出することにより瞳を判別したり、あるいは瞳の画像のデータベースと照合して一致することにより瞳を判別するなどのいずれの方法でもよく、瞳が映像情報４１０のうちのどの座標に位置するかが判定できればよい。
【００３３】
次に瞳の座標位置から瞳画像を取得して、視線情報４１２を生成する（１００４）。視線情報４１２は、ステップ１００３で取得した情報をもとに、映像識別情報５１０、原点情報５１１，５１３、サイズ５１２，５１４を設定し、加えて瞳の向いている方向をベクトル情報に変換し視線ベクトル５１５として所定のメモリに保存することにより生成する。具体的には、瞳の虹彩の円形が円に近ければ正面に視線があるとし、楕円に近ければそれだけ正面から角度をつけて視線が傾いていることになる。また、瞳が閉じているときには虹彩が確認できないから、視線ベクトル５１５は生成されない。つまり、瞳の虹彩の状態から視線ベクトル５１５を生成することができれば、どのような方法であってもよい。
【００３４】
次に、タイミングチャートの項で説明したタイマーは、ＯＮとＯＦＦの２状態があり、まずはこのタイマーがＯＮであればステップ１００９へ進み、タイマーがＯＦＦであればステップ１００６へ進む。
【００３５】
ステップ１００５でタイマーがＯＦＦのとき、瞬きしたかどうか（例えば、瞬きし終わったかどうか、すなわち目を開き始めたときでもよい）を検出するために視線ベクトル５１５を調査し、視線ベクトルが検出できないという事象が発生したか否かを判断することで瞬きの有無を判断する（１００６）。ステップ１００６において瞬きをしたと判断した場合、タイマーのＯＮ動作を開始する（１００７）。次に、映像情報４１０、音声情報４１１を圧縮して多重化処理し、ストリーム４００を作成して、通信手段及びインターネット３を介して送受信端末２にストリーム４００を送信する（１０１３）。
【００３６】
そして、ステップ１００１に戻り、続いてステップ１００５において、タイマーのＯＮ動作開始（ステップ１００７）に続いてタイマーがＯＮであった場合に視線補正処理を実行することとなる。この視線補正処理は、ステップ１００４で取得した視線情報４１２の中の視線ベクトル５１５を用いて正面を向いていることを表す視線ベクトルを計算し（１００９）、視線ベクトルに基づいて瞳画像を生成する（１０１０）。瞳画像の生成は、映像識別情報５１０、右目原点情報５１１、左目原点情報５１３、右目サイズ５１３、左目サイズ５１５及び、ステップ１００９で計算した視線ベクトルに従って、映像にピクセル単位でドットを追加・削除することにより瞳の画像を新たに生成したり、あるいは、データベースからステップ１００９で計算した視線ベクトルに対応する瞳の映像を取得して張り付けるといった方法のいずれでもよい。要するに瞳の画像を更新する処理を行う（１０１０）。次に、ステップ１０１０で取得した瞳画像を映像情報４１０の原点情報５１１，５１３に対応する位置に貼り付ける処理を実行することにより瞳画像と映像情報４１０を合成する（１０１１）。
【００３７】
次に、タイマーをＯＦＦすべき時刻になったかどうかを判断し、タイマーでソフトウェア的あるいはハードウェア的に設定した一定時間が経過した場合（例えば、時刻ｔ１から時刻ｔ２の時間経過）にタイマーをＯＦＦに設定する（１０１２）。次に、映像情報４１０、音声情報４１１、合成手段１０４からの生成された瞳画像を含んだ映像情報を圧縮・多重化処理し、ストリーム４００を作成して、通信手段及びインターネット３を介して送受信端末２にストリーム４００を送信する（１０１３）。そして、ステップ１００１に戻り、処理を継続する。
【００３８】
上述の説明では、瞬きの時間間隔（時刻ｔ３−時刻ｔ１）が、視線合致の瞳画像の合成期間、すなわちタイマーのオン期間（時刻ｔ２−時刻ｔ１）よりも長いという条件であったが、瞬きがタイマーのオン期間内にされる場合も有り得ることなので、この場合の動作のフローチャートについて以下説明する。
【００３９】
図８において、ステップ１００５のタイマーＯＮ？のｙｅｓ側とステップ１００９の視線情報を確定との間に瞬きした？のステップを設け、当該ステップのｎｏ側をステップ１００９につなげ、当該ステップのｙｅｓ側をステップ１０１２のタイマーＯＦＦ処理につなげばよい。このフローによると、瞬きの間隔がタイマーのオン期間内に再度行われるという短い周期のときには、瞬きの都度、視線補正の処理は実行しないことになる。上述した条件でのフローは、図８に示す実施例１に限らず、図９と図１０に示す実施例２と３においても適用可能である。
【００４０】
また、送受信端末２においては、ステップ１０１３で送受信端末１が送信したストリーム４００を受信し（１１０１）、ストリーム４００を分解・伸張して映像情報４１０と音声情報４１１と生成した瞳画像情報とを取得する（１１０２）。次に、ストリーム４００からこれらの情報を表示装置５に送出して表示する（１１０３）。
【００４１】
以上の動作により、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現することができる。本実施例１おける効果は、視線を合わせる処理を送信側だけで行うことにより、受信側では受信した映像情報をそのまま表示するだけで視線合わせが可能であることである。
【実施例２】
【００４２】
実施例２における送受信端末１、２の構成を図３に示すブロック図で説明する。図３に示す構成のブロック図は、図１における送受信端末１あるいは送受信端末２に搭載されて動作するソフトウェアあるいはハードウェアを示す。
【００４３】
送受信端末１及び送受信端末２において、実施例２におけるＭＵＸ手段は、カメラ装置など映像を出力する第一映像入力手段１００から得られる映像情報４１０と、マイク装置など音声を入力する第一音声入力手段から得られる音声情報４１１と、視線情報生成手段が生成する視線情報４１２とを圧縮・多重化しストリーム４００に変換する。
【００４４】
また、実施例２におけるＤＥＭＵＸ手段２０１は、通信手段１０５を介して受信したストリーム４０１を分解・伸張して映像情報４１０と視線情報４１２と音声情報４１１とを得る。
【００４５】
実施例２においては、視線情報取得手段２０３がＤＥＭＵＸ手段２０１から視線情報４１２を取得し、瞬き検出手段２０４は、視線情報取得手段２０３が取得した視線情報４１２を取得する。また、合成手段２０６はＤＥＭＵＸ手段２０１から映像情報４１０を取得する。その他の手段の動作については実施例１と同様である。
【００４６】
次に、本発明の実施例２における動作、つまり、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現する動作について、図９のフローチャートを用いて説明する。まず、送受信端末１、送受信端末２において処理１０００と処理１１００が並列に実行される。以下、図９のフローチャートに従い説明する。送受信端末１、送受信端末２において、プログラムを記憶装置上に展開し、ＣＰＵを動作させてプログラムとして作動させることにより機能を開始する（１０００，１１００）。
【００４７】
送受信端末１において、映像情報４１０を外部あるいは内部のカメラ装置などの撮像装置から取得する（１００１）。次に、映像情報４１０に対し画像解析を施して、顔がどこにあるかを顔認識手段１０１で検出し、その座標値を取得する（１００２）。次に、ステップ１００２で取得した座標情報を元に、映像情報４１０に対し画像解析を施して、瞳がどこにあるかを瞳認識手段１０２で検出し、その座標地を取得する（１００３）。次に、瞳の座標位置から瞳画像を取得して、視線情報生成手段１０８で視線情報４１２を生成する（１００４）。次に、映像情報４１０、視線情報４１２及び音声情報４１１をＭＵＸ手段１０７で圧縮・多重化処理し、ストリーム４００を作成して、通信手段及びインターネット３を介して送受信端末２にストリーム４００を送信し（１０１３）、ステップ１００１に戻って処理を継続する。
【００４８】
送受信端末２においては、ステップ１０１３で送受信端末１が送信したストリーム４００を受信し（１１０１）、ストリーム４００を分解・伸張してＤＥＭＵＸ手段２０１で映像情報４１０と視線情報４１２と音声情報４１１とを取得する（１１０２）。
【００４９】
ステップ１００５においてタイマーがＯＦＦのとき、瞬きしたかどうかを検出するために視線情報４１２に含まれる視線ベクトル５１５を調査し、視線ベクトルが検出できないという事象が発生したか否かを瞬き検出手段２０４で判断することによって瞬きの有無を判断する（１００６）。ステップ１００６において瞬き（例えば、瞬きし終わったかどうか、すなわち目を開き始めたときでもよい）をしたと判断した場合、タイマーのＯＮ動作を開始する（１００７）。次に、映像情報４１０を表示装置５に送出して表示する（１１０３）。
【００５０】
そして、ステップ１１０１に戻り、続いてステップ１００５において、タイマーのＯＮ動作開始（ステップ１００７）の後でタイマーがＯＮであった場合に視線補正処理を実行することとなる。この視線補正処理は、ステップ１１０２で取得した視線情報４１２の中の視線ベクトル５１５を用いて正面を向いていることを表す視線ベクトルを計算し（１００９）、視線ベクトルに基づいて瞳画像生成手段２０５で瞳画像を生成する（１０１０）。瞳画像の生成は、映像識別情報５１０、右目原点情報５１１、左目原点情報５１３、右目サイズ５１３、左目サイズ５１５及び、ステップ１００９で計算した視線ベクトルに従って、映像にピクセル単位でドットを追加・削除することにより瞳の画像を新たに生成したり、あるいは、データベースからステップ１００９で計算した視線ベクトルに対応する瞳の映像を取得して張り付けるといった方法のいずれでもよい。要するに瞳の画像を更新する処理を行う（１０１０）。
【００５１】
次に、ステップ１０１０で取得した瞳画像を映像情報４１０の原点情報５１１，５１３に対応する位置に貼り付ける処理を実行することにより瞳画像と映像情報４１０を合成する（１０１１）。
【００５２】
次に、タイマーをＯＦＦすべき時刻になったかどうかを判断し、タイマーをソフトウェア的あるいはハードウェア的に設定した一定時間が経過した場合にタイマーをＯＦＦに設定する（１０１２）。次に、映像情報４１０を表示装置５あるいは表示装置８（図１を参照）に表示する（１１０３）。
【００５３】
以上の説明においては、図３のブロック図に示す各構成要素からなる構成が送受信端末であって、この送受信端末が図１に示すテレビ会議システムの送信側と受信側の双方で用いられていれば、その双方側で対等に情報伝達が可能な会議が実行されるものである。これに対して、送信側から受信側に情報を一方的に伝達するようなシステムの場合には、図３の上半分に示す構成ブロックを送信端末とし、下半分の構成ブロックを受信端末とすれば、一方的情報伝達システムとして実行可能なものとなるのであり、それぞれ送信端末、受信端末として単独で機能することとなる。
【００５４】
以上の動作により、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現することができる。本実施例２における効果は、前述の実施例１との比較において、視線を合わせる処理を送信側と受信側で分担することにより、送信側の処理負担を軽減することが可能であることである。
【実施例３】
【００５５】
実施例３における送受信端末１、２の構成を図４に示すブロック図で説明する。図４に示す構成のブロック図は、図１における送受信端末１あるいは送受信端末２に搭載されて動作するソフトウェアあるいはハードウェアを示す。
【００５６】
送受信端末１及び送受信端末２において、実施例３におけるＭＵＸ手段１０７は、カメラ装置など映像を出力する第一映像入力手段１００から得られる映像情報４１０と、マイク装置など音声を入力する第一音声入力手段から得られる音声情報４１１とを圧縮・多重化しストリーム４００に変換する。
【００５７】
また、実施例３におけるＤＥＭＵＸ手段２０１は、通信手段１０５を介して受信したストリーム４０１を分解・伸張し、映像情報４１０と音声情報４１１を得る。ＤＥＭＵＸ手段２０１からの映像情報４１０は合成手段２０６に入力されて瞳画像生成手段２０５からの瞳画像と合成される。さらに、映像情報４１０は顔認識手段２０７に入力され処理されて、認識された人物の顔の位置情報から瞳認識手段２０８で瞳の位置が認識されて出力される。視線情報生成手段２０３において、入力された瞳の位置情報を用いて視線の方向を検出して視線情報４１２を生成する。視線情報４１２を用いて瞳を閉じた時刻を瞬き検出手段２０４で検出し、この閉じ時刻に瞳画像を生成し、合成手段２０６でこの瞳画像と映像情報を合成して表示手段２０２に表示する。
【００５８】
上述したように、実施例３においては、顔認識手段２０７がＤＥＭＵＸ手段２０１から映像情報４１０を取得する。また、合成手段２０６はＤＥＭＵＸ手段２０１から映像情報４１０を取得する。その他の手段の動作については実施例１と同等である。
【００５９】
次に、本発明における実施例３における動作、つまり、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現する動作について、図１０のフローチャートを用いて説明する。まず、送受信端末１、送受信端末２において処理１０００と処理１１００が並列に実行される。以下、フローチャートに従い説明する。送受信端末１、送受信端末２において、プログラムを記憶装置上に展開し、ＣＰＵを動作させてプログラムとして作動させることにより機能を開始する（１０００，１１００）。
【００６０】
送受信端末１において、映像情報４１０を外部あるいは内部のカメラ装置などの撮像装置から取得する（１００１）。次に、映像情報４１０と音声情報４１１とを圧縮・多重化処理し、ストリーム４００を作成して、通信手段１０５及びインターネット３を介して受信装置２にストリーム４００を送信し（１０１３）、ステップ１００１に戻って処理を継続する。
【００６１】
送受信端末２においては、ステップ１０１３で送受信端末１が送信したストリーム４００を受信し（１１０１）、ストリーム４００をＤＥＭＵＸ手段２０１で分解・伸張して、図４に示すように、映像情報４１０と音声情報４１１とを取得する（１１０２）。次に、映像情報４１０に対し画像解析を施して、顔がどこにあるかを顔認識手段２０７で検出し、その座標値を取得する（１００２）。次に、ステップ１００２で取得した座標情報を元に、映像情報４１０に対し画像解析を施して、瞳がどこにあるかを瞳認識手段２０８で検出し、その座標値を取得する（１００３）。次に瞳の座標位置から瞳画像を取得して、視線情報生成手段２０３で視線情報４１２を生成する（１００４）。
【００６２】
ステップ１００５においてタイマーがＯＦＦのとき、瞬きしたかどうかを検出するために視線情報４１２に含まれる視線ベクトル５１５を調査し、視線ベクトルが検出できないという事象が発生したか否かを瞬き検出手段２０４で判断することによって瞬きの有無を判断する（１００６）。ステップ１００６において瞬きをしたと判断した場合、タイマーのＯＮ動作を開始する（１００７）。次に、映像情報４１０を表示装置５に送出して表示する（１１０３）。
【００６３】
そして、ステップ１００１に戻り、続いてステップ１００５において、タイマーのＯＮ動作開始（ステップ１００７）の後でタイマーがＯＮであった場合に視線補正処理を実行することとなる。この視線補正処理は、ステップ１００４で取得した視線情報４１２の中の視線ベクトル５１５を用いて正面を向いていることを表す視線ベクトルを計算し（１００９）、視線ベクトルに基づいて瞳画像生成手段２０５で瞳画像を生成する（１０１０）。瞳画像の生成は、映像識別情報５１０、右目原点情報５１１、左目原点情報５１３、右目サイズ５１３、左目サイズ５１５及び、ステップ１００９で計算した視線ベクトルに従って、映像にピクセル単位でドットを追加・削除することにより瞳の画像を新たに生成したり、あるいは、データベースからステップ１００９で計算した視線ベクトルに対応する瞳の映像を取得して張り付けるといった方法のいずれでもよい。要するに瞳の画像を更新する処理を行う（１０１０）。
【００６４】
次に、ステップ１０１０で取得した瞳画像を映像情報４１０の原点情報５１１，５１３に対応する位置に貼り付ける処理を実行することにより瞳画像と映像情報４１０を合成する（１０１１）。
【００６５】
次に、タイマーをＯＦＦすべき時刻になったかどうかを判断し、適切な時間が経過した場合にタイマーをＯＦＦに設定する（１０１２）。次に、映像情報４１０を表示装置５に送出して表示する（１１０３）。
【００６６】
以上の動作により、視線の方向を検知する仕組みを使って瞬きのタイミングで瞳画像を修正して視線を合致させる仕組みを実現することができる。本実施例３における効果は、前述の実施例１との比較において、視線を合わせる処理を受信側だけで行うことにより、送信側では映像情報をそのまま送信するだけで視線合わせが可能であることである。
【符号の説明】
【００６７】
１，２  送受信端末
３  インターネット
５，８  表示装置
６，７  人物
１００  第一映像入力手段
１０１，２０７  顔認識手段
１０２，２０８  瞳認識手段
１０３，２０５  瞳画像生成手段
１０５  通信手段
１０６，２０４  瞬き検出手段
１０７  ＭＵＸ手段
１０８  視線情報生成手段
１１０  入出力端子
２０１  ＤＥＭＵＸ手段
２０２  映像出力手段（表示手段）
２０３  視線情報生成手段（視線情報取得手段）
２１０  出力端子
４００  ストリーム
４０１  受信ストリーム
４１０  映像情報
４１１  音声情報
４１２  視線情報
【図１】
2013183421.tif 000003
【図２】
2013183421.tif 000004
【図３】
2013183421.tif 000005
【図４】
2013183421.tif 000006
【図５】
2013183421.tif 000007
【図６】
2013183421.tif 000008
【図７】
2013183421.tif 000009
【図８】
2013183421.tif 000010
【図９】
2013183421.tif 000011
【図１０】
2013183421.tif 000012