(57)【要約】【課題】  互いに自己の画像を送りあって画像を見ながらコミュニケーションを図る場合に、カメラの画角を気にする必要がなくなり、また、相手側のプライバシを尊重しつつも、相手側のカメラを自分の意思で操作することが可能な画像情報送信装置を提供する。【解決手段】  画像入力部１０で取得した画像から人物に対応する人物画像範囲を特定し、人物画像範囲に基づいて人物を画角の中央に捕らえるように画像入力部１０の取得する画像の画角を画像入力制御部１３で制御し、人物画像範囲を含みその人物画像範囲より広い指定範囲をユーザーからの指示により設定し、人物画像範囲に基づき、人物画像範囲外の画像部分を加工した送信画像、または、画像範囲選択部１５によって指定範囲が設定された場合には画像入力部１０から供給される画像における指定範囲外の画像部分を加工した送信画像を入力画像加工部１２で生成して送信画像を相手側端末に送信する。【選択図】図１
2006270380.tif 000002
【特許請求の範囲】
【請求項１】
画像を取り込む画像取得手段と、
この画像取得手段により取得した画像から人物に対応する人物画像範囲を特定する人物画像範囲特定手段と、
前記人物画像範囲特定手段によって特定された人物画像範囲に基づいて、人物を画角の中央に捕らえるように前記画像取得手段の取得する画像の画角を制御する画角制御手段と、
前記人物画像範囲特定手段により特定された人物画像範囲を含みその人物画像範囲より広い指定範囲をユーザーからの指示により設定する画像範囲選択手段と、
前記人物画像範囲特定手段によって特定された人物画像範囲に基づき、前記画像取得手段から供給される画像における前記人物画像範囲外の画像部分を加工した送信画像を生成する、または、前記画像範囲選択手段によって前記指定範囲が設定された場合には、前記指定範囲に基づき、前記画像取得手段から供給される画像における前記指定範囲外の画像部分を加工した送信画像を生成する入力画像加工手段と、
この入力画像加工手段から出力される前記送信画像を相手側端末に送信する送信手段とを備えたことを特徴とする画像情報送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自己側画像と相手側画像を撮像する通信機能の付加された情報処理装置に関し、特に、自己側画像のプライバシ保護と相手側画像の操作を可能とし、プライバシを確保しつつも自然なコミュニケーションを図れるようにする画像情報送信装置に関する。
【背景技術】
【０００２】
音声と映像を交えて遠隔の相手とコミュニケーションをとるためのシステムとして、テレビ電話システムやテレビ会議システムがある。これらは、お互いの声を主とする音声に加えて、テレビカメラとモニタを用いて、遠隔の相手に自己の映像を送り、また相手からの映像を受信して表示し、相手の姿を見ながらコミュニケーションをとることができるものである。してみると、これらのシステムは、音声のみのやり取りをする既存の電話システムに比べ、通常のコミュニケーションに近い形態であるといえる。
【０００３】
このようなシステムは、テレビカメラを定位置に固定し、そのテレビカメラで撮像される範囲内のみの映像を相手側に送信し、受け手側においては、送られてきた映像をモニタするのが一般的である。
【０００４】
しかしながら、このようなシステムでは、相手側のテレビカメラの位置によって、自己側の視点が決定してしまう。そのため、相手がビデオカメラの撮像範囲外に出てしまう場合や、相手の顔が撮像範囲の端にある場合などでは、送信された画像から相手が消えてしまうといった不都合が生じる。
【０００５】
また自己側が相手側のテレビカメラを、パン・チルト、ズームなどの操作をすると、相手側の意思に反する場所を撮影してしまい、相手側のプライバシを守ることができないといった不都合が生じる。
【０００６】
そこで、これを解消する技術として特許文献１に「画像情報伝達装置および画像情報伝達システム」という技術が報告されている。この技術の概要を以下に説明する。
【０００７】
すなわち、自己側および相手側それぞれの意思を尊重してプライバシを守りつつも、相手の許可する範囲内で自由に視点を移すように画面の遠隔操作をできるようにするものである。
【０００８】
具体的には、送り手側は、撮影された画像から送信許可範囲を予め選択しておき、受け手側は、その送信許可範囲内で任意の画像範囲を選択して受信する。これにより、受け手側は、自己の視線をある程度自由に操作できるというものである。
【特許文献１】特開２００１−５３９４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に報告されたシステムの場合、テレビカメラの撮像範囲よりも狭い範囲内の画像を送受信することとなり、それぞれのテレビカメラの性能を生かしきれない。また、相手が移動した場合に、受け手側が相手を追いかける操作をしなければならず、使用者の操作負担となる。
【００１０】
このように従来の技術では、遠隔の相手とコミュニケーションを図ろうとする場合、例えばテレビ電話の場合、相手側がカメラの画角の外に出てしまう場合など、テレビカメラの撮像範囲が必ずしも適当ではない場合があり、相手側のテレビカメラを受け手側でパン・チルト操作しなければならず、使用者の操作負担となるといった問題があった。
【００１１】
また、相手側のビデオカメラをパン・チルト操作した場合に相手以外の背景画像を撮影してしまうため、相手のプライバシが確保されないといった問題があった。
【００１２】
本発明は、上記に鑑みてなされたもので、その目的としては、互いに自己の画像を送りあって画像を見ながらコミュニケーションを図る場合に、カメラの画角を気にする必要がなくなり、また、相手側のプライバシを尊重しつつも、相手側のカメラを自分の意思で操作することが可能な画像情報送信装置を提供することにある。
【課題を解決するための手段】
【００１３】
請求項１記載の発明は、上記課題を解決するため、画像を取り込む画像取得手段と、この画像取得手段により取得した画像から人物に対応する人物画像範囲を特定する人物画像範囲特定手段と、前記人物画像範囲特定手段によって特定された人物画像範囲に基づいて、人物を画角の中央に捕らえるように前記画像取得手段の取得する画像の画角を制御する画角制御手段と、前記人物画像範囲特定手段により特定された人物画像範囲を含みその人物画像範囲より広い指定範囲をユーザーからの指示により設定する画像範囲選択手段と、前記人物画像範囲特定手段によって特定された人物画像範囲に基づき、前記画像取得手段から供給される画像における前記人物画像範囲外の画像部分を加工した送信画像を生成する、または、前記画像範囲選択手段によって前記指定範囲が設定された場合には、前記指定範囲に基づき、前記画像取得手段から供給される画像における前記指定範囲外の画像部分を加工した送信画像を生成する入力画像加工手段と、この入力画像加工手段から出力される前記送信画像を相手側端末に送信する送信手段とを備えたことを要旨とする。
【発明の効果】
【００１４】
本発明の画像情報送信装置によれば、取得した画像から人物に対応する人物画像範囲を特定し、この人物画像範囲に基づいて人物を画角の中央に捕らえるように画像取得手段の取得する画像の画角を制御し、人物画像範囲を含みその人物画像範囲より広い指定範囲をユーザーからの指示により設定し、人物画像範囲に基づき、画像取得手段から供給される画像における人物画像範囲外の画像部分を加工した送信画像を生成し、または、画像範囲選択手段によって指定範囲が設定された場合には、画像取得手段から供給される画像における指定範囲外の画像部分を加工した送信画像を生成し、送信画像を相手側端末に送信することで、互いに自己の画像を送りあって画像を見ながらコミュニケーションを図る場合に、相手を自動で追尾するのでカメラの画角を気にする必要がなくなり、撮像範囲内で相手像以外をマスキングして相手側のプライバシを尊重しつつも、相手側のカメラを自分の意思で操作することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る画像情報送信装置を実施するための最良の形態を図面を参照して説明する。図１は本発明の一実施の形態に係る画像情報送信装置の構成図である。
【００１６】
図１に示すように、画像情報送信装置は、２端末を最少数のシステム構成要素としており、端末同士で自端末側の画像を相互に送りあい、相手端末の画像をモニタする構成となっている。なお、本実施の形態においては、画像情報送信装置の構成を図１に示すように２端末からなるようにしているが、実際の使用にあっては、３端末以上を用意して互いに伝達路を介して接続してもよい。
【００１７】
画像入力部１０は、予め被写体に対して設置されているテレビカメラであり、ズーム機能およびパン・チルト機能を備えているものであり、入力画像１１０を信号として出力するものである。また、後述する画像入力制御部１３によって、ズーム操作およびパン・チルト操作をすることができるものである。
【００１８】
また、人物画像範囲特定部１１は、画像入力部１０が撮影した入力画像１１０に対して、例えば画像認識などの技術を用いて、入力画像１１０から人物画像の範囲を検出し、人物画像範囲１１１を信号として出力するものである。
【００１９】
画像入力制御部１３は、人物画像範囲１１１から、例えば、被写体が画角の中央になるように、画像入力部１０を操作するものである。これにより、使用者がカメラの正面から移動した場合でも、当該画像入力制御部１３が、画像入力部１０のズーム機能およびパン・チルト機能などを用いて、最適な入力画像を得ることができるようになり、使用者の負担を軽減することができる。
【００２０】
また、当該画像入力制御部１３は、受信情報分離部２１によって分離された情報のうち、相手側から伝送されてきたカメラ制御の情報を画像入力制御部１３を介して受け取り、画像入力部１０を制御する。これにより、相手の表情をよく見たい場合などに相手側カメラのズーム機能などを使って、互いに、自己の意図した画像を受信して表示することができる。
【００２１】
また、入力画像加工部１２は、画像入力部１０から入力される入力画像１１０に対して、人物画像範囲特定部１１から入力される人物画像範囲１１１を用いて、画像入力部１０からの入力画像１１０の人物画像範囲外の画像を、例えば、モザイク処理などをするものである。また、後述する画像送信範囲選択部１５からの入力を用いて、人物画像範囲外も相手に送信することもできる。これにより、送信者の意図しない背景画像などを相手に見られることがなくなり、プライバシを守ることができるようになり、また、送信者が相手に公開しても良い領域は相手側に送信できるようになり、使用者の自由度が広がる。
【００２２】
また、相手画像制御部３１は、相手側の画像入力制御部１３に対して、相手側の画像入力部１０を制御する信号を出力するものである。ユーザーが相手側端末に対して自身が見たい方向やズーム倍率などの情報を入力するための操作部であって、例えば、本システムの使用者が相手側カメラのズーム、パン・チルト操作をする操作部（例えば、十字カーソルキー、マウス、ジョイステッィックなど）が用意されており、入力された内容は、それに対応する相手入力画像制御信号として、送信情報合成部１４に出力する。
【００２３】
また、送信情報合成部１４は、入力画像加工部１２が出力する送信画像１１２と、相手画像制御部３１が出力する相手入力画像制御信号を合成して送信情報とする。送受信部２０は、この送信情報合成部１４の出力する合成した送信情報を伝送路３１０に送出し、伝送路３１０を伝送されてくる相手側からの送信情報を受信して受信情報分離部２１に出力する。
【００２４】
また、受信情報分離部２１は、伝送路３１０を介して受信した受信情報を分離処理して、相手の送信画像を画像表示部４０へ出力し、相手画像制御信号を画像入力制御部１３へ出力する。
【００２５】
画像送信範囲選択部１５は、人物画像１１２ａの範囲を示す人物画像範囲１１１に対して、それよりも広い範囲を自己が他者に公開しても良いとする場合に、例えば、図４（ａ），（ｂ）に示すように設定するものである。図４（ａ），（ｂ）に示す１１２ｂは、人物画像範囲特定部１１で決定された人物画像範囲のみを相手側に見せる場合の送信画像であり、図４（ｂ）に示す１１２ｃは、ユーザーが任意の範囲を設定した場合の送信画像である。
【００２６】
（画像情報伝送システムの動作）
次に、図２〜図４を参照して、この画像情報送信装置の動作を詳しく説明する。
【００２７】
画像入力部１０により撮像された入力画像１１０は、人物画像範囲特定部１１から出力された人物画像範囲１１１を受けた入力画像加工部１２により、人物画像範囲外にモザイク処理などの制限をされた送信画像１１２に加工され、この送信画像１１２が送信情報合成部１４に入力され、相手画像制御部３１が出力する相手入力画像制御信号とこの送信画像１１２が合成されて送信情報となり、送受信部２０から伝送路３１０を介して相手側に送信される。
【００２８】
図２（ａ）に示すように、画像入力部１０で得られる入力画像１１０には人物画像１１０ａと背景画像１１０ｂとが一つの画角に撮像されこの入力画像が人物画像範囲特定部１１に入力された場合に、人物画像範囲特定部１１から出力される人物画像範囲１１１は図２（ｂ）のように人物画像１１０ａよりも外側に特定される。入力画像加工部１２は、入力画像１１０と人物画像範囲１１１を受け、図２（ｃ）に示すような人物画像１１０ａの背景部分１１２ｂがモザイクパターンに加工された送信画像１１２を出力する。これにより、人物画像１１２ａのみが鮮明な画像で相手側に送信されることになり、自己のプライバシを保護することができる。
【００２９】
また、被写体が画像入力部１０の画角の端に移動した場合や、画像入力部１０から遠ざかった場合などは、画像入力制御部１３は、人物画像範囲特定部１１から入力される人物画像範囲１１１を用いて、被写体の位置を検出し、画像入力部１０をズーム、パン・チルトなどの操作をして、被写体を自動追尾する（図３参照）。
【００３０】
図３に被写体の自動追尾の一例を示す。図３中の１００は、画像入力部１０がズーム、パン・チルト機能を用いて撮影できる範囲を示し、また１０１は画像入力部１０の画角を示し、１０１ａは人物画像を示す。図３（ａ）は被写体（１０１ａ）が画角の中央に位置する場合である。図３（ａ）の状態から図３（ｂ）のように被写体（１０１ａ）が画角の隅に移動した場合、人物画像範囲特定部１１は、被写体移動後の人物画像範囲１１１を入力画像加工部１２と画像入力制御部１３に出力する。これを受けて画像入力制御部１３は、画像入力部１０の画角が適切になるように、ズーム、パン・チルト操作する（図３（ｃ））。
【００３１】
また、被写体の移動に応じて入力画像加工部１２がモザイク処理等のマスク処理をする範囲も変化する。これにより、被写体が、画像入力部１０がズーム、パン・チルト機能を用いて撮影することができる範囲１００の外に出ない限り、画像入力部１０は被写体を画角の中央に捕らえることが可能になり、使用者は、自己のカメラの画角に注意する必要がなくなり、また、カメラの撮像範囲内であれば自由に移動できるようになり、使用者の煩わしさを軽減することができる。
【００３２】
このようにして、入力画像加工部１２により加工された画像１１２は、送信情報合成部１４から送受信部２０を経て伝送路３１０を介して相手側端末に送られることになる。
【００３３】
なお、本実施例に示す画像情報送信装置の場合、画像入力部１０は、後述するように相手側端末からの操作によって制御することも可能であって、その制御は受信情報分離部２１で分離されたコマンド情報により画像入力制御部１３によって行われる。このコマンド情報は詳細を後述するように、相手側からの画像データ中に埋め込まれて送られてくる。
【００３４】
例えば、本システムをＴＶ電話や、ＴＶ会議システム等に適用した場合には、自己側の端末Ａの相手画像制御部３１を操作してコマンド情報を送受信部２０から送出する。
【００３５】
すなわち、相手画像制御部３１は、相手側端末Ｂの画像入力部１０′に対してズーム、パン・チルトなど入力操作を行わせるためにコマンド情報を生成するものであり、自己側端末Ａの相手画像制御部３１から、相手側端末Ｂの画像入力部１０′に対しズーム、パン・チルトなどのコマンド情報を出力すると、この情報は送信情報合成部１４で他の信号（上記の入力画像加工部１２によって出力された送信画像１１２）と合成された後、送受信部２０より伝送路３１０に出力される。
【００３６】
一方、相手側端末Ｂでは、伝送路３１０を介して送られてきた相手側からの伝送情報を送受信部２０′で受信し、これを受信情報分離部２１′に与えて情報を分離する。この分離処理により端末Ａから伝送されてきた情報に含まれているコマンド情報と、画像情報とに分離される。受信情報分離部２１′は分離した情報のうち、画像情報を画像表示部４０′に与えて画像として表示させ、また、コマンド情報は画像入力制御部１３′に与えて画像入力部１０′の画角を制御する。その結果、例えば、コマンド情報の内容が“カメラのパニングを指定するもの”であったならば、画像入力制御部１３′は、画像入力部１０′をパニング操作し、その結果得られる入力画像１１０′は、人物画像範囲特定部１１′と、入力画像加工部１２′により、人物画像範囲外にモザイク処理等のマスキング処理が施され、この画像情報が入力画像加工部１２′から送信情報合成部１４′と送受信部２０′を経て伝送路３１０を介して相手側に送られる。これにより、端末Ａ側においては、端末Ｂ側の画像入力部１０′をパニング操作した画像を受け取って自システムの画像表示部４０で観察することができる。
【００３７】
この結果、自己側端末が、ズーム、パン・チルト操作のコマンドを相手側端末に送信することにより、使用者は自己の視線を動かすように、見たいところを相手のプライバシを尊重した上で自由に見ることが可能となる。
【００３８】
画像送信範囲選択部１５は、人物画像１１２ａの範囲を示す人物画像範囲１１１に対して、人物画像範囲特定部１１で決定された人物画像範囲のみを相手側に見せる場合には、図４（ａ）に示すように、入力画像加工部１２から人物画像１１２ａの背景がモザイク処理された送信画像１１２ｂが出力される。
【００３９】
また、人物画像範囲特定部１１で決定された人物画像範囲１１１よりも、画像送信範囲選択部１５によりユーザーが任意に設定した範囲が広くなった場合には、図４（ｂ）に示すように、人物画像範囲特定部１１で決定された人物画像範囲１１３内の人物画像１１２ａが背景とともに公開され、かつ、人物画像範囲特定部１１で決定された人物画像範囲１１３よりも外側で画像送信範囲選択部１５で選択された範囲よりも内側の部分がモザイク処理された送信画像１１２ｃが入力画像加工部１２から送信情報合成部１４に出力される。
【００４０】
これにより、例えば画像送信範囲を、人物画像範囲よりも広くすることで、相手によって、プライバシ保護の制限を緩めることができ、使用者は自己の画像だけでなく、任意の領域を相手に見せることが可能となる。これにより、相手によっては、カメラの撮影範囲をすべて公開する。または、人物画像範囲よりも多少広い範囲を公開する、または、自己画像の顔を公開しない、などの選択をすることができる。なお、画像送信範囲を選択するには、十字キーやマウスなどのポインティングデバイスを用い、画像が表示されている画像表示部４０上に、たとえば枠線などを表示して、この枠線の大きさ、位置を上記ポインティングデバイスで決定し、使用者が自己のプライバシ保護の上で適切と思う領域を設定する、と云ったようなことを画像送信範囲選択部１５で行えるようにし、また、入力画像加工部１２には、画像送信範囲選択部１５で選択した範囲外の領域と、人物画像範囲以外の領域を、例えば、モザイク処理などをさせるようにすればよい。また、当該画像送信範囲選択部１５で選択した範囲は、人物画像範囲特定部１１で特定した人物画像範囲に追従するように設定しても良い。これにより、例えば、使用者が手に持っているものなどを相手側に見せることが可能になる。
【００４１】
また、画像入力制御部１３は、人物画像範囲特定部１１からの入力と、受信情報分離部２１からの入力との２種類があるが、どちらを優先させるかはユーザーが設定すればよい。
【００４２】
また、通信相手の付加情報により、初期時での画像送信範囲を選択する部を設けて、初期時での画像送信範囲を自動設定できる構成とすることも可能であり、このようにすると、初期画像送信範囲を設定する手間が省け、さらには、親しい友人と初対面のセールスマンを区別して対応できるようになるので、一層、合理的にプライバシを守ることができる。
【００４３】
これらのことから、本発明の画像情報送信装置によれば、一般的に、感覚的なわだかまりとして拭いきれない“画像を用いて通信”が持つ初期導入時の精神的な抵抗感と煩わしさを軽減することができる。
【００４４】
以上、種々の実施例を説明したが、要するに本発明は、画像入力部により互いに自己の画像を撮像して相手側に送り、それぞれの側に設けた画像表示部に表示して対話に利用できるようにした画像情報送信装置において、それぞれの画像入力部にズーム、パン・チルト機能を持つ撮像範囲を用いることで、自己の視線を自由に決定できるようにすると共に、この画像入力部で得た画像から人物画像範囲を特定することで、互いに自己の画像を撮像範囲内の適切な位置に捉えることが自動的に行えるようになり、また、人物画像範囲外に対してモザイク処理等の処理を施してから相手側端末に送信することで、互いのプライバシを守りながら対話を進めることができる画像情報送信装置が得られるようになるものである。
【００４５】
本発明は、従来のＴＶ会議システムやテレビ電話システムでは、相手側から送られてくる画面を見るだけで、自分の視線を自分の意思に沿って動かすことができない、または、自分の視線を自分の意思で動かした場合に、相手のプライバシを守ることができないという欠点を補う技術であって、画像の見ることができる範囲を人物に特定、またはユーザーが決定することで、自己側および相手側それぞれの意思を尊重してプライバシ確保を堅持しつつも、自分の視線を自分の意思に沿って動かすことができるという技術を提供することができる。
【００４６】
特に、本発明の画像情報送信装置では、撮像画像から人物画像範囲を特定し、それによってカメラを追尾させることができるから、自己側はカメラの撮像範囲内であれば自由に動いても支障がなくなり、従って、従来のようにカメラの画角を意識するといった煩わしさがなくなり、コミュニケーションに主体をおくことができるようになる。
【００４７】
また、ズーム、パン・チルト機能を備えたカメラを用いることにより、広角レンズのカメラで広範囲を撮影し、その中から一部分を相手に送信するといった手段よりも、画像を高画質に送ることができる。
【００４８】
また、画像送信範囲を相手によって変更したり、あるいは、その時々によって設定することが可能であるから、これによって、柔軟な通信が可能となる。
【００４９】
従って、本発明は、同じ場所に会して互いに顔を突き合わせて交わすコミュニケーションのように、話者が互いに自己の望む画像を見ることができ、かつ、送信者側のプライバシを守ることができるコミュニケーションシステムを提供することができる。
【００５０】
なお、本発明は上述した実施例に限定するものではなく、種々変形して実施可能である。
【００５１】
本発明では、互いに自己の画像を送りあい、画像を見ながらコミュニケーションを図る場合に、ビデオカメラのパン・チルト機能を動的に制御することで、常に被写体を適切に撮像するようにし、また、人物画像範囲外をモザイクなどの処理を施すようにし、また、互いに相手側のビデオカメラをパン・チルト操作できるようにすることで、使用者の負担を軽減し、また互いにプライバシを守ることができるようにし、また自己が望む画像を得ることができるようにする技術を提供する。
【００５２】
使用者の負担軽減と、プライバシ確保のための重要な技術として、本発明は人物画像範囲を特定し、カメラを被写体に対して動的に追尾させ、また、撮影範囲中の人物画像範囲外に対してモザイク処理などを施すことで、相手の表情をよく見たい、相手の服装を見たいなどの場合に、相手側のカメラをズーム、パン・チルト操作しても、相手のプライバシを守ることができ、なおかつ自己が望む画像を得ることができる。
【産業上の利用可能性】
【００５３】
本発明の画像情報送信装置は、テレビ電話、テレビ会議システム、ビデオチャットなどに適用することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の画像情報送信装置の実施例を示すブロック構成図である。
【図２】本発明の実施例における人物画像範囲特定例を説明するための図である。
【図３】本発明の実施例における画像入力部をズーム、パン・チルト操作する例を説明するための図である。
【図４】本発明の実施例における画像送信範囲選択部で任意範囲を選択する例を説明するための図である。
【符号の説明】
【００５５】
１０    画像入力部
１１    人物画像範囲特定部
１２    入力画像加工部
１３    画像入力制御部
１４    送信情報合成部
１５    画像送信範囲選択部
２０    送受信部
２１    受信情報分離部
３１    相手画像制御部
４０    画像表示部
１００    画像入力部がズーム、パン・チルト機能を用いて撮影できる範囲
１０１    画像入力部の画角
１１０    入力画像
１１１    入力画像範囲
１１２    送信画像
２１０    受信画像
３１０    伝送路  
【図１】
2006270380.tif 000003
【図２】
2006270380.tif 000004
【図３】
2006270380.tif 000005
【図４】
2006270380.tif 000006