(57)【要約】【課題】  被写体の動作情報を授受伝達するシステムと、そのシステムで用いられる動作伝達方法を提供すること。【解決手段】  情報の発信側では、動作検出手段によって、被写体の撮像画像から被写体の動作を検知しその３次元動作情報を、独立した３方位への各変動量として示す３種類の電気信号に変換し、各電気信号をエンコーダによって、それぞれ異なる波長の３種類の光信号に変換し、各光信号を投光手段によって合成して投光し、受光送信手段によって受光して光画像情報を情報の受信側へ送信し、情報の受信側では、送信された画像情報を受信表示手段によって光映像として表示し、受光手段によって受光して前記３種類の光信号に分割し、各光信号をデコーダによって、それぞれ前記３種類の電気信号に変換し、各電気信号を動作再現手段によって、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ示す。【選択図】  図１
2006094050.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動作に関する情報を授受伝達するシステムであって、
情報の発信側では、
被写体の撮像画像から、被写体の動作を検知し、その３次元動作情報を、独立した３方位への各変動量として示す３種類の電気信号に変換する動作検出手段と、
動作検出手段で得られた各電気信号を、それぞれ異なる波長の３種類の光信号に変換するエンコーダと、
エンコーダで得られた各光信号を合成して投光する投光手段と、
投光手段で発せられた光を受光して、その光画像情報を情報の受信側へ送信する受光送信手段を備え、一方、
情報の受信側では、
送信された画像情報を、光映像として表示する受信表示手段と、
受信表示装置で表示された映像を受光して、前記３種類の光信号に分割する受光手段と、
受光手段で得られた各光信号を、それぞれ前記３種類の電気信号に変換するデコーダと、
デコーダで得られた各電気信号を、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ示す動作再現手段とを備える
ことを特徴とする動作情報伝達システム。
【請求項２】
動作検出手段で検出される独立した３方位が、
略水平方向に回転する方位と、その略水平回転方位に対して垂直に回転する前後回転方位と、それら略水平回転方位とも前後回転方位とも垂直に回転する左右回転方位である
請求項１に記載の動作情報伝達システム。
【請求項３】
動作検出手段で検出される独立した３方位への各変動量が、
被写体の初期撮像状態と、現時点での状態との差分を示す絶対変化量で表現される
請求項１または２に記載の動作情報伝達システム。
【請求項４】
動作検出手段で検出される独立した３方位への各変動量が、
一定時間前に撮像した被写体の状態と、現時点での状態との差分を示す相対変化量で表現される
請求項１または２に記載の動作情報伝達システム。
【請求項５】
３種類の各電気信号が変換される光信号が、
赤緑青の可視光である
請求項１ないし４に記載の動作情報伝達システム。
【請求項６】
投光手段が、携帯式電話機のカメラの直前に一体的に配設されると共に、
受光手段が、携帯式電話機のディスプレイの直前に一体的に配設される
請求項１ないし５に記載の動作情報伝達システム。
【請求項７】
動作再現手段で３次元動作を示す動作体が、
ディスプレイで表示される画像である
請求項１ないし６に記載の動作情報伝達システム。
【請求項８】
動作再現手段で３次元動作を示す動作体が、
略水平回転方位に回転する水平回転軸と、その回転角（ヨー角）を調節する駆動部材とを有するヨー調節部と、
前後回転方位に回転する前後回転軸と、その回転角（ピッチ角）を調節する駆動部材とを有するピッチ調節部と、
左右回転方位に回転する左右回転軸と、その回転角（ロール角）を調節する駆動部材とを有するロール調節部とを有する３軸動作物体である
請求項１ないし６に記載の動作情報伝達システム。
【請求項９】
動作再現手段で３次元動作を示す動作体が、
携帯式電話機に装備されたバイブレータであり、動作の変動量をバイブレータの振動で表現する
請求項１ないし６に記載の動作情報伝達システム。
【請求項１０】
無線或いは有線の通信網を介して情報を送受信可能であり、その通信網に接続された撮像手段によって撮像された被写体の動作に関する情報を授受伝達するシステムにおいて、
情報の発信側では、
動作検出手段によって、被写体の撮像画像から、被写体の動作を検知し、その３次元動作情報を、独立した３方位への各変動量として示す３種類の電気信号に変換し、
動作検出手段で得られた各電気信号を、エンコーダによって、それぞれ異なる波長の３種類の光信号に変換し、
エンコーダで得られた各光信号を、投光手段によって合成して投光し、
投光手段で発せられた光を、受光送信手段によって受光して、その光画像情報を情報の受信側へ送信し、一方、
情報の受信側では、
送信された画像情報を、受信表示手段によって光映像として表示し、
受信表示装置で表示された映像を、受光手段によって受光して、前記３種類の光信号に分割し、
受光手段で得られた各光信号を、デコーダによって、それぞれ前記３種類の電気信号に変換し、
デコーダで得られた各電気信号を、動作再現手段によって、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ示す
ことを特徴とする動作情報伝達方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯式電話機等の通信手段を利用して、被写体の頭部等の動作に関する情報を授受伝達するシステムと、そのシステムで用いられる動作伝達方法に関する。
【背景技術】
【０００２】
インターネット回線等を使いIP電話などで、電話料金を気にすることなく長時間通話することが容易となった現在、以前よりも電話の利用時間が増えてきた。
【０００３】
また、これらIP電話と親和性の高い一般の計算機(PC)とを併用し、音声通信に動画像を付加したライブチャットも用いられている。初期コストはかかるものの後は定額であったり、通信費が安価になりつつあるので、頻繁に使う人も少なくない。
【０００４】
携帯式電話でもカメラ機能付きが多く、現在は定額ではないものの、TV会議のように相手を見ながら対話ができる小型機も既に存在し普及しつつある。
【０００５】
しかし、長時間にわたって対面していると、音声のみの対話に比べて観られているという精神的疲労が生じ得る。また、化粧を落とした後の対面対話や衣服の点で問題があることもある。
そのため、顔や身体そのものを直接見せずに、頭部の動作だけを伝達する方が望ましい場合が少なくない。
【０００６】
人と人とが自然な対話を行う時には、頷きや傾げなどの頭部動作が自然と発生する。この頭部動作を、既設の電話機材を取り替えることなく、僅かの増設で相手側にリアルタイムに伝達できれば、対話の臨場感を手軽に増すことが可能である。
【０００７】
他方、通信を中継している機器が流している情報を、悪意ある誰かが覗き見している可能性も否めない。また室内にTVカメラを置くことに対し、多くの人には抵抗がある。電源を切っている時でも、もしかしたら電源が入っていてこちらの映像が筒抜けなのではないかという危惧もある。
【０００８】
しかしながら、従来には、人と人とが自然な対話を行う時に発生する頭部等の動作を、身体の生映像ではなく間接的な手段で伝達する技術はなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は、人と人とが自然な対話を行う時などに発生する頭部の動作など、被写体の動作を、その生映像ではなく動作情報のみを授受伝達するシステムと、そのシステムで用いられる動作伝達方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の動作情報伝達方法は次の構成を備える。
すなわち、被写体の動作に関する情報を授受伝達するシステムであって、情報の発信側では、被写体の撮像画像から、被写体の動作を検知し、その３次元動作情報を、独立した３方位への各変動量として示す３種類の電気信号に変換する動作検出手段と、動作検出手段で得られた各電気信号を、それぞれ異なる波長の３種類の光信号に変換するエンコーダと、エンコーダで得られた各光信号を合成して投光する投光手段と、投光手段で発せられた光を受光して、その光画像情報を情報の受信側へ送信する受光送信手段を備え、一方、情報の受信側では、送信された画像情報を、光映像として表示する受信表示手段と、受信表示装置で表示された映像を受光して、前記３種類の光信号に分割する受光手段と、受光手段で得られた各光信号を、それぞれ前記３種類の電気信号に変換するデコーダと、デコーダで得られた各電気信号を、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ示す動作再現手段とを備えることを特徴とする。
【００１１】
ここで、動作検出手段で検出される独立した３方位を、略水平方向に回転する方位と、その略水平回転方位に対して垂直に回転する前後回転方位と、それら略水平回転方位とも前後回転方位とも垂直に回転する左右回転方位として、動作の検知及び認知に寄与させてもよい。
【００１２】
また、動作検出手段で検出される独立した３方位への各変動量を、被写体の初期撮像状態と、現時点での状態との差分を示す絶対変化量で表現して、被写体の定点観測に寄与させてもよい。
【００１３】
動作検出手段で検出される独立した３方位への各変動量を、一定時間前に撮像した被写体の状態と、現時点での状態との差分を示す相対変化量で表現して、被写体の特性観測に寄与させてもよい。
【００１４】
３種類の各電気信号が変換される光信号を、赤緑青の可視光として、信号の授受に寄与させてもよい。
【００１５】
投光手段を、携帯式電話機のカメラの直前に一体的に配設すると共に、受光手段を、携帯式電話機のディスプレイの直前に一体的に配設して、装置設置の利便に寄与させてもよい。携帯式電話機としては、対話中において撮像する機能と、その撮像データを送受信する機能を備えた機種が有用であるが、その撮像及び送受信機能をオプションとして付帯可能な機種でもよい。
【００１６】
動作再現手段で３次元動作を示す動作体を、ディスプレイで表示される画像で表現して、装置の簡素化に寄与させてもよい。
【００１７】
動作再現手段で３次元動作を示す動作体を、略水平回転方位に回転する水平回転軸と、その回転角（ヨー角）を調節する駆動部材とを有するヨー調節部と、前後回転方位に回転する前後回転軸と、その回転角（ピッチ角）を調節する駆動部材とを有するピッチ調節部と、左右回転方位に回転する左右回転軸と、その回転角（ロール角）を調節する駆動部材とを有するロール調節部とを有する３軸動作物体として、動作再現の多様性に寄与させてもよい。
【００１８】
動作再現手段で３次元動作を示す動作体を、携帯式電話機に装備されたバイブレータとし、動作の変動量をバイブレータの振動の振幅や振動数で表現して、被写体の動作の感知に寄与させてもよい。
【００１９】
本発明の動作情報伝達方法は、無線或いは有線の通信網を介して情報を送受信可能であり、その通信網に接続された撮像手段によって撮像された被写体の動作に関する情報を授受伝達するシステムにおいて、情報の発信側では、動作検出手段によって、被写体の撮像画像から、被写体の動作を検知し、その３次元動作情報を、独立した３方位への各変動量として示す３種類の電気信号に変換し、動作検出手段で得られた各電気信号を、エンコーダによって、それぞれ異なる波長の３種類の光信号に変換し、エンコーダで得られた各光信号を、投光手段によって合成して投光し、投光手段で発せられた光を、受光送信手段によって受光して、その光画像情報を情報の受信側へ送信し、一方、情報の受信側では、送信された画像情報を、受信表示手段によって光映像として表示し、受信表示装置で表示された映像を、受光手段によって受光して、前記３種類の光信号に分割し、受光手段で得られた各光信号を、デコーダによって、それぞれ前記３種類の電気信号に変換し、デコーダで得られた各電気信号を、動作再現手段によって、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ示すことを特徴とする。
【発明の効果】
【００２０】
本発明によると、被写体の３次元動作に関する３種類の電気信号を、それぞれ３種類の光信号に変換して送信し、受信側ではその光信号を電気信号にデコードして３次元動作情報を得るので、人と人とが自然な対話を行う時などに発生する頭部の動作など、被写体の動作を、背景や表情等を含む生映像ではなく動作情報のみを容易に授受伝達することができる。そのため、被写体の動作を認知することで、携帯式電話機による対話の臨場感を向上させられたり、監視カメラとして利用することもできる。また、被写体の動作を、生映像ではなく間接的な表示による動作情報として伝達するので、プライバシーの保護にもつながる。
【発明を実施するための最良の形態】
【００２１】
以下に、図面を基に本発明の実施形態を説明する。
図１は、本発明のシステムにおける動作情報の流れを示す説明図である。ここでは、無線或いは有線の通信網を介して情報を送受信可能であり、その通信網に接続された撮像手段によって撮像された被写体の動作に関する情報を授受伝達するシステムにおいて、携帯式電話機を用いて、話者の頭部の動作情報を伝達する実施例を示す。
【００２２】
話者の頭部の動きに関する動作情報には、その動く方向や移動量、動作速度、加速度等が含まれる。
特に、動く方向に関しては、ヨー・ピッチ・ロールの３成分が混成された情報であり、それは、電気、磁気、または力学的手段による情報から成る。
ヨーは、略水平回転方位に回転する方位であり、ピッチは、前後回転方位に回転する方位であり、ロールは、左右回転方位に回転する方位であり、これらは互いに直交して一次独立している。
【００２３】
情報の発信側では、動作検出手段によって、カメラ等による被写体の撮像画像から、被写体の動作を検知し、その３次元動作情報を、ヨー・ピッチ・ロールなどの独立した３方位への各変動量として示す３種類の電気信号に変換する。
独立した３方向の変動量を得るためには、ここに記した光学的な手段のみならず、利用者の頭部に小型ジャイロや各種ポテンシオメータなどを装着して変動情報を得てもよい。このような機械的な手段であれば、赤外光すら許されない場所でも利用可能である。
またこれらセンサーも、単独ではなく利用者のヘッドホンやイヤホンに組み込めば、嵩張ることなく設置できる。光学的手段とこれらセンサーの併用は、利用者の話中の移動や周囲の光の変化に影響されない安定した解析を可能にする。
【００２４】
動作検出手段で得られた各電気信号は、エンコーダで、赤緑青の可視光など、それぞれ異なる波長の３種類の光信号に変換される。赤緑青の各光強度によって、３次元の動作が表現される。
例えば、ヨー・ピッチ・ロールをそれぞれ赤・緑・青に対応させ、１〜５の５段階の指数で表現すると、赤・緑・青＝５・３・４の赤みを帯びた紫色で、顔を右に振り（ヨー＝＋２）、右耳を少し下げた（ロール＝＋１）状態を表すことができる。
なお、今日一般的に利用されている携帯式電話機付属のディスプレイは、各色５強度以上の表現力があり、また受光手段としてのカメラの光強度の解析力も各色５強度以上であるため、実際の頭部動作の解像度は上術例よりも高い。この頭部動作解像度が、投光手段の各色の表現力、カメラの色解析能力、ディスプレイの発色能力、受光手段の色解析能力等に依存することは自明である。
【００２５】
エンコーダで得られた各光信号は、投光手段で合成されて投光される。投光手段の投光面は一面が同一色で発光し、何らかの像が投影されるのではない。色に意味はあるが像に意味があるわけではないために、カメラにおける合焦機構は意味をもたない。そのため、カメラの最短合焦距離以下で図示のように近接させることが可能である。
発光面に適宜十分な大きさをもたせておけば、携帯式電話機の機種間の差異の影響を受けにくいばかりか、利用中の投光位置と受光位置の多少の位置ずれによる動作伝達の停止を回避しやすくなる。
【００２６】
投光手段で発せられた光画像情報は、受光送信手段によって受光されると共に、携帯式電話機に備わる通信装置によって音声情報と一緒に、既存の通信網を介して情報の受信側へ送信される。
この受光送信手段も、投光手段と同様に、最短合焦距離を無視して配置することが可能であり、受光部分を適宜小型にすれば、携帯式電話機の機種間の差異の影響を受けにくいばかりか、利用中の投光位置と受光位置の多少の位置ずれによる動作伝達の停止を回避しやすくなる。
【００２７】
情報の受信側では、送信された画像情報を、携帯式電話機に備わる通信装置によって音声情報と一緒に受信すると共に、受信表示手段によって光映像として表示する。
【００２８】
受信表示装置で表示された映像は、受光手段によって受光され、前記３種類の光信号に分割される。この受光手段も、投光手段と同様に、受信表示装置で表示される映像の大きさによらず、投光位置と受光位置とのずれによる不備の危惧は少ない。
【００２９】
受光手段で得られた各光信号は、デコーダによって、それぞれ前記３種類の電気信号に変換される。
【００３０】
デコーダで得られた各電気信号は、動作再現手段によって、３次元動作を示す動作体の前記３方位への各変動量としてそれぞれ表現される。
動作再現手段で３次元動作を示す動作体は、ディスプレイで表示される画像で表現すると、装置を簡素化できる。
【００３１】
図２は、既存の携帯式電話機に部材を付設して本発明を実施可能にした形態を示す説明図である。同様に、図３ないし５は、既存の携帯式電話機に付設する部材の別実施例を示す側面図、正面図、背面図である。
いずれも、投光手段（１３）を、携帯式電話機のカメラ（１４）の直前に一体的に配設すると共に、受光手段（１６）を、携帯式電話機のディスプレイ（１５）の直前に一体的に配設している。
【００３２】
図３ないし５の例は、一体された付設部材を吸盤（１９）によって携帯式電話機に接続するものである。ライト等の照明手段（２０）を追加して、被写体にあてるようにしてもよい。
【００３３】
動作再現手段で３次元動作を示す動作体は、携帯式電話機に装備されたバイブレータで兼用してもよい。動作の変動量をバイブレータの振動の振幅や振動数で表現して、被写体に動作があったことを利用者に感知させることができる。
【００３４】
同様に、動作再現手段で３次元動作を示す動作体を、携帯式電話機に装備されたマイクで兼用してもよい。動作の変動量を音声で表現して、被写体に動作があったことを利用者に感知させることができる。
【００３５】
また、動作再現手段で３次元動作を示す動作体を、略水平回転方位に回転する水平回転軸と、その回転角（ヨー角）を調節する駆動部材とを有するヨー調節部と、前後回転方位に回転する前後回転軸と、その回転角（ピッチ角）を調節する駆動部材とを有するピッチ調節部と、左右回転方位に回転する左右回転軸と、その回転角（ロール角）を調節する駆動部材とを有するロール調節部とを有する３軸動作物体として設けてもよい。
【００３６】
動作検出手段で検出される独立した３方位への各変動量は、被写体の初期撮像状態と、現時点での状態との差分を示す絶対変化量で表現すると、被写体の定点観測に有用である。
【００３７】
また、動作検出手段で検出される独立した３方位への各変動量は、一定時間前に撮像した被写体の状態と、現時点での状態との差分を示す相対変化量で表現すると、対話時に疲れてくると首を横に曲げる癖など被写体の特性観測に有用である。
【００３８】
上述は、携帯式電話機を用いて対話をする例であるが、本発明は、通信網に接続されたwebカメラ付きPCやTV会議システムなどにも適用でき、更に、監視カメラとしても利用できる。
【産業上の利用可能性】
【００３９】
本発明の動作情報伝達システム及び方法によると、人と人とが自然な対話を行う時などに発生する頭部の動作など、物体の動作を、その生映像ではなく間接的な手段で伝達できるので、秘匿性を保ちつつ、電話による対話など通信の臨場感を向上させられるので、用途が広く産業上非常に有用である。
【図面の簡単な説明】
【００４０】
【図１】本発明のシステムにおける動作情報の流れを示す説明図
【図２】既存の携帯式電話機に部材を付設して本発明を実施可能にした形態を示す説明図
【図３】既存の携帯式電話機に付設する部材の別実施例を示す側面図
【図４】既存の携帯式電話機に付設する部材の別実施例を示す正面図
【図５】既存の携帯式電話機に付設する部材の別実施例を示す背面図
【符号の説明】
【００４１】
１０  携帯式電話機
１１  動作検出手段
１２  エンコーダ
１３  投光手段
１４  受光送信手段
１５  受信表示手段
１６  受光手段
１７  デコーダ
１８  動作再現手段
１９  吸盤
２０  照明手段
【図１】
2006094050.tif 000003
【図２】
2006094050.tif 000004
【図３】
2006094050.tif 000005
【図４】
2006094050.tif 000006
【図５】
2006094050.tif 000007