(57)【特許請求の範囲】
【請求項１】
所定の角度で傾斜して表示装置における表示画面の一部にのみ対向する第１の位置と、前記表示画面から退避する第２の位置とに移動可能な半透鏡を備え、
前記半透鏡を前記第１の位置に移動させたとき、会話者の顔の像を前記半透鏡で反射させて撮像装置により撮像し、前記表示装置に表示され前記半透鏡を透過した会話相手の顔の像を会話者が視認するＴＶ電話システムであって、
前記半透鏡が第１の位置に移動したことを検知するスイッチと、
前記スイッチの検知により始動するＴＶ電話手段と、
前記ＴＶ電話手段によって受信した会話相手の顔の像を、前記表示装置の表示画面における前記第１の位置の前記半透鏡に対向する位置に表示すべく制御する表示コントローラと、を備えたことを特徴とするＴＶ電話システム。
【請求項２】
前記半透鏡を第１の位置に移動させたとき、前記半透鏡は前記表示装置における表示画面の上部位置に対向することを特徴とする請求項１に記載のＴＶ電話システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＴＶ電話やＴＶ会議システム等に用いられるＴＶ電話用ビデオムービに関し、特にパーソナルコンピュータやワークステーションのモニタ用ディスプレイを利用してＴＶ電話に改良するＴＶ電話システムに関する。
【０００２】
【従来の技術】
近年、画像符号化技術等の通信技術の発達により、遠隔地間を映像・音声通信網で結んだＴＶ電話やＴＶ会議システム等の双方向映像通信が急速に普及して来ている。ＩＳＤＮ網の充実と伝送網の広帯域化等により、より高臨場感に溢れた映像がサービスできることになった。
【０００３】
従って、パソコンやワークステーションは、ソフト環境の整備に伴いＩＳＤＮ網に接続してＴＶ電話用ビデオムービを接続し、ＴＶ電話のように相手の顔を見ながら会話することができるようになっている。
【０００４】
図１４は従来のＴＶ電話システムを示す概念図である。
【０００５】
使用者ＡはＣＲＴディスプレイ等の表示装置Ｄの上面又は側面に設けてあるビデオムービＶＣで撮影する。しかしながら、これを利用する使用者Ａは、通常、表示装置Ｄを見ているため、ビデオムービＶＣで撮影を行っても、使用者ＡはビデオムービＶＣの方に視線を向けることがない。そのため、せっかくの高臨場感溢れる映像が送信可能となっても、ビデオムービＶＣの位置により、図１４（ｂ）や図１４（ｃ）に示すように対話者同士の視線が一致しない不自然な会話になるという問題があった。
【０００６】
対話者同士の視線を一致させる方法に、半透鏡（ハーフミラー）を用いる方式がある。
【０００７】
図１３は一般的な半透鏡を採用したＴＶ電話用ビデオムービの光学系を示す模式図である。
【０００８】
表示装置Ｄは、図１３に示したように前方に半透鏡Ｈmをある角度θだけ傾けて奥行きをｄとして設置してある。被写体である使用者Ａからの像は、半透鏡Ｈmで反射され、半透鏡Ｈmの上方又は下方に設置されたビデオムービＶＣにより撮像されることになる。その結果、会話者の視線は表示装置Ｄに向けられているため、通話者と表示画面に映し出された通話相手との視線が一致することになる。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１３に示すようなＴＶ電話用ビデオムービは、会話者の視線を一致させることができるが、半透鏡をパソコンやワークステーションのモニタの前面に張り出しているので、パソコンやワークステーションのキー操作上邪魔になっていた。
【００１０】
又、パソコンやワークステーションのディスプレイとビデオムービとを同じ場所に置けば、画像にビデオムービの影が入るためにディスプレイとビデオムービとを同じ場所に置けない。斯かるために対話者同志の視線がずれてしまい、悪い印象を与えるおそれがある。
【００１１】
本発明の目的は、上記技術的課題に鑑み、会話者の視線を一致させることができ、しかも利用者のスペースをできるだけ占有しないＴＶ電話システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記目的は、以下の構成により達成される。
【００１３】
所定の角度で傾斜して表示装置における表示画面の一部にのみ対向する第１の位置と、前記表示画面から退避する第２の位置とに移動可能な半透鏡を備え、前記半透鏡を前記第１の位置に移動させたとき、会話者の顔の像を前記半透鏡で反射させて撮像装置により撮像し、前記表示装置に表示され前記半透鏡を透過した会話相手の顔の像を会話者が視認するＴＶ電話システムであって、前記半透鏡が第１の位置に移動したことを検知するスイッチと、前記スイッチの検知により始動するＴＶ電話手段と、前記ＴＶ電話手段によって受信した会話相手の顔の像を、前記表示装置の表示画面における前記第１の位置の前記半透鏡に対向する位置に表示すべく制御する表示コントローラと、を備えたことを特徴とするＴＶ電話システム。
【００１８】
【発明の実施の形態】
実施の形態１
図１は本実施の形態のＴＶ電話システムを示す外観斜視図である。
【００１９】
本実施の形態のＴＶ電話システムは、ＴＶ電話による通話において通常１対１で自分が画面中央に写るようなポジションをとって通話を行うものであり、図１に示すようにパソコンやワークステーションのモニタ用ＣＲＴ３とステレオ視を行うことにより実際に非常に近いステレオ画像を入力するためのビデオムービ１，２とからなるものである。
【００２０】
図２はＴＶ電話システムの配置を示した模式図である。
【００２１】
本実施の形態のＴＶ電話システムは、図２に示したように使用者Ａの斜め前方の２方向からビデオムービ１，２で撮像した２枚の人物顔画像（以下、斯かる２枚の人物顔画像をステレオ画像という。）を基に使用者Ａ像の水平方向断面に円モデルをあてはめ、重心点を含む鉛直軸で回転させることにより使用者Ａの正面像を作成し、視線の一致を図るものであり、対話相手の正面像を表示するためのモニタ用ＣＲＴ３を備える。
【００２２】
図３は本実施の形態のＴＶ電話システムに搭載する３次元構造復元回路を示すブロック図であり、図４は図３に示した３次元構造復元回路の処理動作の概念図である。
【００２３】
３次元構造復元回路１００は、図３に示すようにビデオムービ１，２からの画像を処理して得られるステレオ画像から動きベクトル推定処理と、３次元運動パラメータ、奥行き推定処理を実行して３次元構造モデルを作成し、３次元構造モデルの水平方向断面に円モデルをあてはめ、重心点を含む鉛直軸で回転させることにより正面像を作成するものであり、動きベクトル推定回路１１０、運動パラメータ・奥行き推定回路１２０、モデル作成回路１３０とからなる。
【００２４】
図４に示す入力画像系列とは、ビデオムービ１，２からの画像を処理して得られるステレオ画像である。動きベクトル推定回路１１０は、図４に示すようにステレオ画像から輪郭若しくはエッジに対応するゼロ交差を検出し、ゼロ交差上で勾配法を用いて動きベクトルを推定する回路である。運動パラメータ・奥行き推定回路１２０は、図６に示すようにゼロ交差上における動きベクトル情報から物体の３次元運動パラメータ、ゼロ交差上での奥行きを求める回路である。モデル作成回路１３０は、図４に示すようにゼロ交差上での奥行き情報から表面の補間を行い、得られた３次元構造に画面上の輝度値を付与することにより３次元構造モデルを作成して３次元構造モデルの水平方向断面に円モデルをあてはめ、重心点を含む鉛直軸で回転させることにより正面像を作成する回路である。
【００２５】
ＴＶ電話回路２００は、図４に示すようにモデル作成回路１３０から得られる正面像に３次元画像処理、補正した２次元画像を生成して符号化して電話回線に送出する回路である。
【００２６】
次に眼部分の形状及び動き検出処理を説明する。
【００２７】
図５は眼部分の表現のための特徴点を抽出処理を説明するための模式図である。
【００２８】
画像符号化方式における眼部分の取り扱いは、図５に示すように外形を表す４個の特徴点及び瞳を表す特徴点の検出及び追跡が基本となる。この場合、陰影や瞬き等により眼部分の見え方がフレーム単位で異なるため、検出手順を予め決めておくのではなく、入力されたステレオ画像から得られた検出結果に基づいて以後の検出処理を決める必要がある。以下に、眼の中心部分をベースにした検出及び追跡処理の内容を説明する。
【００２９】
眼部分の大まかな領域の推定処理は、眼の瞳部分の濃淡値が他の部分のそれに比較して低い値を取ることを利用している。ステレオ画像から前フレームでの結果を基に眼部分の存在する範囲（ブロック）を推定し、２値化処理を行う。２値画像中の“１”の画素の水平及び垂直方法のヒストグラムを求め、眼部分と眉毛、髪の毛の分離をする。この結果を基に瞳を示す特徴点ｓ５の大まかな位置を求める。
【００３０】
眼の部分の外形の大まかな検出処理は、前述の眼部分の大まかな領域の推定処理の結果を基に眼部分の外形を表す特徴点の存在範囲を推定する。具体的には、特徴点ｓ１はｓ５に対して左、ｓ２は右、ｓ３は下並びにｓ４は上に位置することを利用する。推定した範囲に対してＳｏｂｅｌ演算子を用いて微分画面を求める眼部分のエッジを検出する。このエッジパターンを上下左右の方向から探索して眼の外形を表す特徴点ｓ１〜ｓ４の大まかな位置を検出する。
【００３１】
眼の外形部分の決定処理は、前フレームで検出された特徴点ｓ１〜ｓ５を中心としたブロックを考える。この特徴点を含んだブロックと現フレームとの間で、微分処理を行った上でブロックマッチングを行い、このブロックの動き量、すなわち特徴点ｓ１〜ｓ５の動き量を求める。マッチングのための初期変位としては、眼部分の外形の大まかの検出処理で求めた位置を用いる方法と前フレームの特徴点の検出結果を用いる方法の２通りを行う。特徴点間の大きさや距離、陰影や瞬きによる形状の変化に対する規則を用いる。また、必要に応じてパラメータを変えて眼部分の形状抽出と動き検出処理、眼部分の大まかな領域の推定処理と眼部分の外形の大まかな検出処理を再度行って誤検出に対処する。
【００３２】
図６は本実施の形態のＴＶ電話システムの入力画像系列と補正した２次元画像を示した模式図である。
【００３３】
図６（ａ）に示した画像はビデオムービ２で撮影した入力画像であり、使用者Ａの視線は右側に寄っていることが分かる。図６（ｂ）に示した画像はビデオムービ１で撮影した入力画像であり、使用者Ａの視線は左側に寄っていることが分かる。図６（ｃ）に示した画像は図６（ａ）及び図６（ｂ）に示したステレオ画像に基づいて使用者Ａ像の水平方向断面に円モデルをあてはめ、重心点を含む鉛直軸で回転させることにより使用者Ａの正面像を作成し、視線の一致を図ったものである。
【００３４】
以上説明したように、本実施の形態のＴＶ電話システムは、上記構成を備えたことにより、２つのビデオムービからの画像を合成して視線をモニタ中心に向けることができるので、会話者の視線を一致させることができる。
【００３５】
なお、本実施の形態のＴＶ電話システムは、簡単にＴＶ会議システムに転用できる。
【００３６】
図７はテレビ会議システムとしての実施の形態を示した外観斜視図である。
【００３７】
テレビ会議システムは図１に示したＴＶ電話システムのビデオムービ１，２を回転しただけのものである。
【００３８】
実施の形態２
図８は２枚の半透鏡を備えるＴＶ電話システムの光学系を示す模式図である。
【００３９】
本実施の形態のＴＶ電話システムは、ＴＶ電話による通話において通常１対１で自分が画面中央に写るようなポジションをとって通話を行うものであり、図８に示すようにパソコンやワークステーションのモニタ用ＣＲＴ３とステレオ視を行うことにより実際に非常に近いステレオ画像の入力を行うことのできるようにビデオムービ１，２と９０°の角度を付けた２枚の半透鏡４，５を採用することによって従来技術で説明した半透鏡Ｈmの出っ張り過ぎを解決するものである。
【００４０】
本実施の形態のＴＶ電話システムは、前述したように半透鏡を用いて視線を一致させてあるので、ビデモムービ１，２で撮像した画像の一部を抽出して合成処理する。
【００４１】
続いて、本実施の形態のＴＶ電話システムの入力画像と出力画像を説明する。
【００４２】
図９は図８に示すＴＶ電話システムにおける入力画像系列と補正した２次元画像を示した模式図である。
【００４３】
図９（ａ）に示した画像はビデオムービ１で撮影した入力画像の一部を示したものであり、図９（ｂ）に示した画像はビデオムービ２で撮影した入力画像の一部を示したものであり、図９（ｃ）は図９（ａ）及び図９（ｂ）に示した画像を合成した画像である。
【００４４】
以上説明したように、本実施の形態のＴＶ電話システムは、上記構成を備えたことにより、２つのビデオムービ１，２からの画像を合成して視線をモニタ中心に向けることができるので、会話者の視線を一致させることができる。
【００４５】
実施の形態３
図１０はディスクトップ型コンピュータに搭載したＴＶ電話システムを示す外観斜視図であり、図１１は図１０に示したＴＶ電話システムを示す側面図である。
【００４６】
本実施の形態のＴＶ電話システムは、図１０及び図１１に示すようにＴＶ電話による通話において通常１対１で自分がＴＶ電話システムソフトのウィンドウ画面中央に写るようなポジションをとって通話を行うものであり、図１０（ａ），（ｂ）に示すようにパソコンやワークステーションのモニタ用ＣＲＴ３と画像の入力を行うことのできるビデオムービ１０とビデオコントローラ３０とからなるものである。
【００４７】
ビデオムービ１０は、図１０に示すようにモニタ用ＣＲＴ３の上面に載置する載置板１１と半透鏡１２とビデオムービ１０を支えるアーム１３とを設けてある。
【００４８】
載置板１１は、図１１に示すようにビデオコントローラ３０と接続するコード１１ｃと半透鏡１２が所定位置にあることを検出するスイッチ１４を設けてあり、半透鏡１２とアーム１３を回動自在に軸支してある。図１０（ａ）及び図１１（ａ）はビデオムービ１０をモニタ用ＣＲＴ３上に折り畳んだ状態を示した外観斜視図と側面図である。半透鏡１２とビデオムービ１０は載置板１１の上に折り畳んであるので、スイッチ１４は、図１０（ａ）及び図１１（ａ）で示した状態で押圧されていないことがわかる。斯かる状態はパソコンをオン状態とし、ＴＶ電話をオフしてあるときの一般的な利用態様であり、ワープロソフト等のウィンドウ３３を表示してある。
【００４９】
一方、図１０（ｂ）及び図１１（ｂ）はビデオムービ１０をＴＶ電話システムとしての使用状態を示す外観斜視図及び側面図である。
【００５０】
半透鏡１２は、図１０（ｂ）に示すようにＴＶ電話用ソフトによる相手の画像のウィンドウを遮るように開かれてビデオムービ１０もアーム１３により撮影位置に配置してあることが分かる。半透鏡１２は、図１１（ｂ）に示すようにスイッチ１４を押圧していることが分かる。会話相手と共有する図や文書のウィンドウ３２は会話相手の顔を表示するウィンドウ３１に重ならないように配置してある。
【００５１】
ビデオコントローラ３０は、パソコン本体９の電源スイッチのオン・オフや通信ソフトの起動とウィンド設定のためのパラメータを供給するものであり、具体的には、ビデオムービ１０の位置を検出するスイッチ１４からの出力信号を検出することにより、ＴＶ電話システムとして使用できるか否かを確認し、使用可能な状態であれば、パソコン本体９の電源を投入して通信ソフトとＴＶ電話用アプリケーションシステムを起動し、ビデオムービ１０からの撮像信号に各種の画像処理を施して伝送可能なように画像を符号化したり、電話回線を介して受信した２次元画像を表示するものである。
【００５２】
従って、会話者は、パーソナルコンピュータの電源を投入し、ＴＶ電話用アプリケーションシステムを起動し、会話相手の顔を表示してあるウィンドを開く。
【００５３】
次いで会話者は、ビデオムービを図１０（ｂ）及び図１１（ｂ）に示したように半透鏡を広げ、モニタ上のウィンドに半透鏡１２を移動させる。これによって、本実施の形態のＴＶ電話システムは会話者の視線を一致させることができる。
【００５４】
実施の形態４
図１２はＴＶ電話システムを構成するビデオムービを示す外観斜視図である。
【００５５】
本実施の形態のビデオムービ２０は、図１２に示すようにＴＶ電話システムに適用できるように半透鏡２１と液晶ディスプレイ（以下、単にＬＣＤと略称する。）２２を角度検出部材２３を介して備えたものである。
【００５６】
図１２（ａ）は、ＴＶ電話システムとしての使用態様を示したものである。
【００５７】
ＬＣＤ２２は、対話相手の正面像を表示してある。従って、使用者は、ハーフミラー２１からの反射光により対話者の正面像を見ることができる。ビデオムービ２０の前面は黒色等の反射率約０％となるような加工を施してある。
【００５８】
図１２（ｂ）は一般的な撮像画像をモニタする使用態様を示したものである。
【００５９】
ＬＣＤ２２をビデオムービ２０の背面に折り返せば、ＬＣＤ２２が撮影画像のモニタになる。半透鏡２１は日よけとして使用してある。
【００６０】
図１２（ｃ）は自画像をモニタする利用態様を示したものである。
【００６１】
半透鏡２１は撮影のためのレフ板として使用することもできる。
【００６２】
本実施の形態のビデオムービ２０は、上述した構成を備えることにより、コンパクトでしかも、ビデオムービ２０からの画像を半透鏡２１の中心に向けることができるので、会話者の視線を一致させることができる。
【００６３】
【発明の効果】
本発明は、上記構成を備えることにより、相手と視線を一致させることができるので、好印象を与えることができ、しかも利用者のスペースをできるだけ占有しない。
【図面の簡単な説明】
【図１】本実施の形態のＴＶ電話システムを示す外観斜視図である。
【図２】ＴＶ電話システムの配置を示した模式図である。
【図３】本実施の形態のＴＶ電話システムに搭載する３次元構造復元回路を示すブロック図である。
【図４】図３に示した３次元構造復元回路の処理動作の概念図である。
【図５】眼部分の表現のための特徴点を抽出処理を説明するための模式図である。
【図６】本実施の形態のＴＶ電話システムの入力画像系列と補正した２次元画像を示した模式図である。
【図７】テレビ会議システムとしての実施の形態を示した外観斜視図である。
【図８】２枚の半透鏡を備えるＴＶ電話システムの光学系を示す模式図である。
【図９】図８に示すＴＶ電話システムにおける入力画像系列と補正した２次元画像を示した模式図である。
【図１０】ディスクトップ型コンピュータに搭載したＴＶ電話システムを示す外観斜視図である。
【図１１】図１０に示したＴＶ電話システムを示す側面図である。
【図１２】ＴＶ電話システムを構成するビデオムービを示す外観斜視図である。
【図１３】一般的な半透鏡を採用したＴＶ電話用ビデオムービの光学系を示す模式図である。
【図１４】従来のＴＶ電話システムを示す概念図である。
【符号の説明】
１，２，１０，２０  ビデオムービ
３  モニタ用ＣＲＴ
４，５，１２  半透鏡
１４  スイッチ
１００  ３次元構造復元回路
【図１】
0003721624.tif 000002
【図２】
0003721624.tif 000003
【図３】
0003721624.tif 000004
【図４】
0003721624.tif 000005
【図５】
0003721624.tif 000006
【図６】
0003721624.tif 000007
【図７】
0003721624.tif 000008
【図８】
0003721624.tif 000009
【図９】
0003721624.tif 000010
【図１０】
0003721624.tif 000011
【図１１】
0003721624.tif 000012
【図１２】
0003721624.tif 000013
【図１３】
0003721624.tif 000014
【図１４】
0003721624.tif 000015