(57)【要約】【課題】ネットワークを介して柔軟にシンボルを共有する技術を提供する。【解決手段】他の情報処理装置に映像を送信する映像送信手段と、入力部より入力される文字情報を表示面に表示し、送信対象の選択に基づいて前記他の情報処理装置へ前記文字情報を送信する文字送信手段と、前記他の情報処理装置へ、文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択手段の選択の結果を送信する映像選択結果送信手段と、前記他の情報処理装置から映像を受信する映像受信手段と、前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記他の情報処理装置から受信する受信手段とを備える情報処理装置。【選択図】  図３
2014232502.tif 000002
【特許請求の範囲】
【請求項１】
入力部を有する表示装置の表示面に画像を表示させることが可能な情報処理装置であって、
ネットワークを介して他の情報処理装置と通信するための通信手段と、
文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択手段と、
前記通信手段を通じて前記他の情報処理装置に映像を送信する映像送信手段と、
前記入力部より入力される文字情報を前記表示面に表示し、前記送信対象の選択に基づいて前記通信手段を通じて前記他の情報処理装置へ前記文字情報を送信する文字送信手段と、
前記通信手段を通じて前記他の情報処理装置へ前記映像の選択の結果を送信する映像選択結果送信手段と、
前記通信手段を通じて前記他の情報処理装置から映像を受信する映像受信手段と、
前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記通信手段を通じて前記他の情報処理装置から受信する受信手段と、
前記受信手段によって受信された文字情報の前記映像選択結果に基づく映像を表示するときは、前記文字情報を同時に、また前記映像選択結果に基づかない映像を表示する場合は前記文字情報の表示は抑制して、前記表示面に表示させる表示制御手段とを
備える情報処理装置。
【請求項２】
入力部を有する表示装置の表示面に画像を表示させることが可能な情報処理装置であって、
文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択手段と、
外部の通信手段を通じて前記他の情報処理装置に映像を送信する映像送信手段と、
前記入力部より入力される文字情報を前記表示面に表示し、前記送信対象の選択に基づいて前記通信手段を通じて前記他の情報処理装置へ前記文字情報を送信する文字送信手段と、
前記通信手段を通じて前記他の情報処理装置へ前記映像の選択の結果を送信する映像選択結果送信手段と、
前記通信手段を通じて前記他の情報処理装置から映像を受信する映像受信手段と、
前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記通信手段を通じて前記他の情報処理装置から受信する受信手段と、
前記受信手段によって受信された文字情報の前記映像選択結果に基づく映像を表示するときは、前記文字情報を同時に、また前記映像選択結果に基づかない映像を表示する場合は前記文字情報の表示は抑制して、前記表示面に表示させる表示制御手段とを
備える情報処理装置。
【請求項３】
入力部を有する表示装置の表示面に画像を表示させることが可能な情報処理装置であって、
ネットワークを介して他の情報処理装置と通信するための通信手段と、
前記通信手段を通じて前記他の情報処理装置に映像を送信する映像送信手段と、
前記入力部より入力される文字情報を前記表示面に表示し、前記送信対象の選択に基づいて前記通信手段を通じて前記他の情報処理装置へ前記文字情報を送信する文字送信手段と、
前記通信手段を通じて前記他の情報処理装置へ、文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択手段の選択の結果を送信する映像選択結果送信手段と、
前記通信手段を通じて前記他の情報処理装置から映像を受信する映像受信手段と、
前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記通信手段を通じて前記他の情報処理装置から受信する受信手段とを
備える情報処理装置。
【請求項４】
前記入力の属性に基づいて前記入力部より入力される文字情報、または映像を送信する前記他の情報処理装置を選択する請求項１乃至請求項３に記載の情報処理装置。
【請求項５】
前記属性は前記入力部より入力される文字情報の色である請求項４に記載の情報処理装置。
【請求項６】
前記属性は前記入力部より入力される文字情報の書体である請求項４に記載の情報処理装置。
【請求項７】
更に前記表示面を備える請求項１または請求項２に記載の情報処理装置。
【請求項８】
入力部を有する表示装置の表示面に画像を表示させることが可能な情報処理装置における情報処理方法であって、
ネットワークを介して他の情報処理装置と通信するための通信工程と、
文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択工程と、
前記通信手段を通じて前記他の情報処理装置に映像を送信する映像送信工程と、
前記入力部より入力される文字情報を前記表示面に表示し、前記送信対象の選択に基づいて前記通信手段を通じて前記他の情報処理装置へ前記文字情報を送信する文字送信工程と、
前記通信手段を通じて前記他の情報処理装置へ前記映像の選択の結果を送信する映像選択結果送信工程と、
前記通信手段を通じて前記他の情報処理装置から映像を受信する映像受信工程と、
前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記通信手段を通じて前記他の情報処理装置から受信する受信工程と、
前記受信手段によって受信された文字情報の前記映像選択結果に基づく映像を表示するときは、前記文字情報を同時に、また前記映像選択結果に基づかない映像を表示する場合は前記文字情報の表示は抑制して、前記表示面に表示させる表示制御工程とを
備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
所謂ビデオチャットにおける手描き文字などのシンボルを共有する技術がある。この共有方法としては、例えばゲームパッドとして使われるタッチスクリーンに文字や絵などを描いて、相手と共有できる機能がある。しかし、描き込みは必ず共有されてしまうため自分側のゲームのディスプレイに表示される映像にも相手側のゲームのディスプレイに表示される映像にも同じものが表示されてしまう。これではどちらかの映像のみに対して手描きをしたいというケースに対応することができない。
【０００３】
即ち自分側の映像と相手側の映像のどちらかに対して手描きを行うことができまた、描き込みを共有する相手を選択することができるといった、ネットワークを介して柔軟にシンボルを共有する技術への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４９８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、ネットワークを介して柔軟にシンボルを共有する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば情報処理装置は、入力部を有する表示装置の表示面に画像を表示させることが可能な情報処理装置であって、ネットワークを介して他の情報処理装置と通信するための通信手段と、文字情報を同時に表示する対象とする映像の選択をするとともに、入力部からの入力の属性により送信対象の他の情報処理装置の選択をする選択手段と、前記通信手段を通じて前記他の情報処理装置に映像を送信する映像送信手段と、前記入力部より入力される文字情報を前記表示面に表示し、前記送信対象の選択に基づいて前記通信手段を通じて前記他の情報処理装置へ前記文字情報を送信する文字送信手段と、前記通信手段を通じて前記他の情報処理装置へ前記映像の選択の結果を送信する映像選択結果送信手段と、前記通信手段を通じて前記他の情報処理装置から映像を受信する映像受信手段と、前記他の情報処理装置において入力された文字情報とこの文字情報に関して選択された前記映像選択結果とを、前記通信手段を通じて前記他の情報処理装置から受信する受信手段と、前記受信手段によって受信された文字情報の前記映像選択結果に基づく映像を表示するときは、前記文字情報を同時に、また前記映像選択結果に基づかない映像を表示する場合は前記文字情報の表示は抑制して、前記表示面に表示させる表示制御手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】本実施形態におけるビデオチャットシステムのハードウェア構成の一例を示すブロック図。
【図２】一実施形態を示すシステム概略イメージ図。
【図３】同実施形態を説明するために示すデータフロー図。
【図４】同実施形態１のイメージ図。
【図５】同実施形態２のイメージ図。
【図６】同実施形態３のイメージ図。
【図７】手書き入力内容の送信を示すフローチャート。
【図８】図４〜図６における映像と手描き画像とを構成するグラフィックレイヤーの説明図。
【図９】図４における映像と手描き画像とを構成するグラフィックレイヤーの説明図。
【図１０】図５における映像と手描き画像とを構成するグラフィックレイヤーの説明図。
【図１１】図６における映像と手描き画像とを構成するグラフィックレイヤーの説明図。
【発明を実施するための形態】
【０００８】
以下、実施形態を図１乃至図１１を参照して説明する。
【０００９】
図１は本実施形態におけるビデオチャットシステム１０のハードウェア構成の一例を示すブロック図である。図１のビデオチャットシステム１０は制御ＢＯＸ１１、テレビ１２、ＰＣ１３、およびネットワーク１４より構成され、テレビ１２の表示画面等を変更可能とするシステムである。テレビ１２、ＰＣ１３は、制御ＢＯＸ１１を経由して他のビデオチャットシステムとの間でデータのやりとりをする。
【００１０】
制御ＢＯＸ１１は情報送受信装置として働き、ネットワーク１４を介してテレビ１２、ＰＣ１３と通信可能である。
テレビ１２はユーザに対して映像の表示を行うことの可能な映像表示装置であり、放送局からの放送波を受信し、表示面（後述のＬＣＤ１２６）に表示を行なう。本実施形態ではネットワーク１４と接続可能であり、他の電子機器との通信を行うことができる。またテレビ１２はユーザがテレビ１２の操作等を行う際に表示面に表示される表示画面の変更を行なうことが可能である。
【００１１】
ＰＣ１３は例えばパーソナルコンピュータ（Personal Computer）であり、各種の情報処理が可能な情報処理装置である。ＰＣ１３はネットワーク１４を介して、他の電子機器と通信可能となっている。ＰＣ１３はタブレット型の形態を採るのも好適である。
【００１２】
ネットワーク１４は例えば宅内のローカルエリアネットを含むものであり、接続される制御ＢＯＸ１１、テレビ１２、およびＰＣ１３を通信可能としている。制御ＢＯＸ１１は更に、このローカルエリアネットを介してインターネット等のＷＡＮ（Wide Area Network：広域ネットワーク）１４１に接続され、この広域ネットワーク越しに他の制御ＢＯＸと通信可能となっている。
【００１３】
更に詳細には図１（ａ）の制御ＢＯＸ１１は、ＣＰＵ１１１、メモリ１１２、ＨＤＤ１１３、ネットワークＩ／Ｆ１１４、バス１１５から構成されている。
また図１（ｂ）のテレビ１２は、ＣＰＵ１２１、チューナ１２２、デコーダ１２３、メモリ１２４、表示制御部１２５、ＬＣＤ１２６、ネットワークＩ／Ｆ１２７、入力部１２８、音声制御部１２９、スピーカ／マイク１２０１、カメラ１２０２、バス１２０３から構成されている。
【００１４】
また図１（ｂ）のＰＣ１３は、ＣＰＵ１３１、メモリ１３２、表示制御部１３３、ネットワークＩ／Ｆ１３４、ＨＤＤ１３５、入力部１３６、バス１３７、およびディスプレイ１５から構成されている。ネットワーク１４は、ＷＡＮ１４１、ＬＡＮ（Local Area Network）１４２から構成されている。
【００１５】
図１（ａ）の制御ＢＯＸ１１について説明する。
ＣＰＵ１１１は中央演算処理装置（Central Processing Unit）であり、制御ＢＯＸ１１全体を制御している。またプログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。
【００１６】
メモリ１１２は半導体メモリにより構成され、ＣＰＵ１１１がプログラムを処理する際のプログラムおよびデータの展開用領域として利用される。
ＨＤＤ１１３は例えば磁気ディスク装置であり、制御ＢＯＸ１１のデータを保存する不揮発性の領域として利用される。ＣＰＵ１１１の指示により、記憶されたプログラムやデータを読み出すことができる。
【００１７】
ネットワークＩ／Ｆ１１４はＬＡＮ１４２と接続されており、ＬＡＮ１４２と制御ＢＯＸ１１とを通信可能に接続している。
バス１１５は制御ＢＯＸ１１内の上記説明した各モジュールを通信可能に接続している。
次に、図１（ｂ）のテレビ１２について説明する。
ＣＰＵ１２１は中央演算処理装置であり、テレビ１２全体を制御している。またプログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。
【００１８】
チューナ１２２は放送局の送信する放送波を復調する機能を有している。
デコーダ１２３はチューナ１２２で復調した信号にデコード処理を行い、テレビ１２が映像や音声で出力可能な電気信号へと変換する機能を有している。
メモリ１２４は半導体メモリによって構成される不揮発性の記憶媒体である。本実施形態においてメモリ１２４はテレビ１２で適用可能なGUIなどのアプリケーションプログラムを格納している。このGUIなどのアプリケーションプログラムはＣＰＵ１２１によって実行される。
【００１９】
表示制御部１２５はＣＰＵ１２１の描画指示や、デコーダ１２３でデコード処理された画像情報に基づいて、テレビ１２が表示を行う画像の描画を行いＬＣＤ１２６に表示させる機能を有している。
【００２０】
ＬＣＤ１２６は例えば液晶ディスプレイ（Liquid Crystal Display）であり、テレビ１２における表示装置である。テレビ１２の画像情報をユーザに対して出力する機能を有している。本実施形態ではＬＣＤ１２６の一例として液晶ディスプレイを例示しているが、これに限定されるものではなく、他の表示装置としては例えばＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）等が用いられる。
【００２１】
ネットワークＩ／Ｆ１２７はＬＡＮ１４２と接続されており、ＬＡＮ１４２とテレビ１２とを通信可能に接続している。
入力部１２８はテレビ１２に対してのユーザからの入力操作を電気信号として入力する機能を有する。入力部１２８は例えば、テレビ１２に設置されたユーザ操作ボタンや遠隔操作の可能なリモコンからの操作信号を受信する受信部等があり得る。
【００２２】
音声制御部１２９はＣＰＵ１２１の指示や、デコーダ１２３でデコード処理された音声情報に基づいて、テレビ１２が出力する音声を生成し、スピーカ／マイク１２０１に音声を出力させる機能を有している。
【００２３】
スピーカ／マイク１２０１は音声入出力装置であり、スピーカ部分はテレビ１２の音声情報を外部のユーザに対して音声として出力する機能を、またマイク部分は外部のユーザの音声等を入力する機能を有している。
【００２４】
カメラ１２０２は外部の情景を入力・撮影する機能を有している。
バス１２０３はテレビ１２内の接続されたモジュールを通信可能としている。
次に、図１（ｂ）ＰＣ１３について説明する。
ＣＰＵ１３１は中央演算処理装置であり、ＰＣ１３全体を制御している。またプログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。
【００２５】
メモリ１３２は半導体メモリにより構成され、ＣＰＵ１３１がプログラムを処理する際のプログラムおよびデータの展開用領域として利用される。
ＨＤＤ１３３は例えば磁気ディスク装置であり、ＰＣ１３のデータを保存する不揮発性の領域として利用される。
表示制御部１３３はＣＰＵ１３１の描画指示に基づいて、ＰＣ１３が表示を行う画像の描画を行いディスプレイ１５に表示させる機能を有している。
ディスプレイ１５は例えば液晶ディスプレイであり、ＰＣ１３における表示装置である。ＰＣ１３の画像情報をユーザに対して出力する機能を有している。
ネットワークＩ／Ｆ１３４はＬＡＮ１４２と接続されており、ＬＡＮ１４２とＰＣ１３とを通信可能に接続している。
ＨＤＤ１３５は例えば磁気ディスク装置であり、ＰＣ１３のデータを保存する不揮発性の領域として利用される。
入力部１３６はＰＣ１３に対してのユーザからの操作を電気信号として入力する機能を有する。入力部１３６は例えば、キーボード、タッチパッド、マウス、ペン等の入力手段があり得る。
【００２６】
バス１３７はテレビ１２内の接続されたモジュールを通信可能としている。
次に、ネットワーク１４について説明する。
ネットワーク１４の構成要素であるＷＡＮ１４１は例えばワイドエリアネットワーク（Wide Area Network）であり、ＬＡＮ１４２と接続されている。
【００２７】
ＬＡＮ１４２は例えばローカルエリアネットワーク（Local Area Network）であり、ＷＡＮ１４１、制御ＢＯＸ１１、テレビ１２、ＰＣ１３との間を接続しており、ＬＡＮ１４２内の機器間や、ＷＡＮ１４１−ＬＡＮ１４２内の機器間でのデータの送受信を可能としている。
【００２８】
テレビ１２とＰＣ１３は、例えば前述のＨＤＭＩ（登録商標）を用いてデータ転送可能に接続をし、ＨＤＭＩ（登録商標）を経由してデータを転送してもよい。
（概略構成）
図２は、上記のようなハードウェア構成などに基づく、本実施形態における基本システムの概略機能イメージを示したものである。以下の説明でメインディスプレイはテレビ１２のＬＣＤ１２６など大画面ディスプレイを、サブディスプレイはメインディスプレイより小型でタッチパネルの機能を持ったＰＣ１３のタッチパネルディスプレイ（ディスプレイ１５の表示面上に入力部１３６が重ねられている）などを想定している。例えば、サブディスプレイはタブレット型ＰＣのような、入力部１３６でペン入力を受け付け、かつ画像や映像をディスプレイ１５に表示するデバイスである。
【００２９】
サブディスプレイには、カメラ１２０２で撮影されている自分側グループ(グループA)の映像、通話相手側グループ(グループB)の映像、手描きツールなどが表示される。メインディスプレイに表示する映像の選択や手描きなど、ユーザによるシステムの操作はすべてこのサブディスプレイから行う。
【００３０】
メインディスプレイには、ユーザがサブディスプレイで選択した映像が表示される。
カメラ１２０２は、自分側グループ(グループA)の映像を撮影する。
スピーカ／マイク１２０１は、自分側グループの音声の入力と、相手側グループ(グループB)の音声の出力を行う。
制御ＢＯＸ１１は情報処理装置の実施形態の中核となるもので、接続されている各機器の制御を行う。また、入力された映像・画像・音声をネットワーク経由で相手側に送信する。このネットワークは、ＬＡＮ内（例えば別の部屋でのテレビ会議など）であってもよいし、ＷＡＮを介して異なるＬＡＮ間との間であっても良い。ＰＣ１３のタッチパネルディスプレイに描かれた手描き画像は筆跡をリアルタイムで相手側に送信するが、ユーザ設定に応じて、描き終わった画像をユーザの指示で相手側に送信することも可能である。
【００３１】
通信相手側のビデオチャットシステム１０は、この図２にあるように自分側と同様な構成のビデオチャットシステムでも良いし異なる構成でも良い。この実施形態では同じものとして説明をする。ビデオチャットシステム１０間は、制御ＢＯＸ１１を経由し、ネットワーク１４を介して接続されている。
【００３２】
この図２では、グループAとグループＢとは、ユーザがサブディスプレイで相手側グループの映像を選択したため、互いに相手側グループの映像をメインディスプレイに表示している。
【００３３】
ビデオチャットシステム１０がビデオチャットのモードになるのは次の手順による。
（１）ユーザがＰＣ１３を操作し、ビデオチャットを行うアプリを起動させる。
（２）ＰＣ１３はかくビデオチャットアプリを起動し、自身をビデオチャット実行可能な状態にする。
（３）ＰＣ１３は制御ＢＯＸ１１に対して、このビデオチャットアプリを起動した旨の信号を送る。
（４）制御ＢＯＸ１１はこの信号を受信したら、自身をビデオチャット実行可能な状態にする。
（５）制御ＢＯＸ１１はテレビ１２に対して、ビデオチャット実行可能な状態に遷移することを指示する旨の信号を送る。
（６）テレビ１２はこの信号を受信したら、自身をビデオチャット実行可能な状態にする。また、制御ＢＯＸ１１から出力される映像を表示する。
図８は、図４〜図６における映像と手描き画像とを構成するグラフィックレイヤーの説明図である。図８（ａ）は手描きの色とグラフィックレイヤーとの関係を示している。また図８（ｂ）は手描きの色と手描き送信方法との関係を示している。また図８（ｃ）は各グループの映像とグラフィックレイヤーとの関係を示している。
【００３４】
まず図８（ａ）を説明する。レイヤー（言わば表示面の層）としては映像レイヤーの他にグラフィックレイヤー１、グラフィックレイヤー２およびグラフィックレイヤー３があり、それぞれのグラフィックレイヤーには以下に述べるように手描きの色１、色２および色３が対応する。
【００３５】
図８（ｂ）に示すようにこの手描きの色１は、グラフィックレイヤー１に手描きをする指示手段としてあり、手描き送信方法はビデオチャット中の全員（全グループ）に送信という機能設定が成されている。また色２は、グラフィックレイヤー２に手描きをする指示手段としてあり、手描き送信方法は選択した相手（グループ）にのみ送信という機能設定が成されている。また色３は、グラフィックレイヤー３に手描きをする指示手段としてあり、手描き送信方法は送信しないという設定が成されている。
【００３６】
図８（ｃ）では、グループAの映像および手描き画像に関しては、図８（ａ）の映像レイヤー、グラフィックレイヤー１、グラフィックレイヤー２およびグラフィックレイヤー３は、グループＡの映像レイヤー、グラフィックレイヤーＡ−１、グラフィックレイヤーＡ−２およびグラフィックレイヤーＡ−３として用いられている。
【００３７】
同様にグループＢの映像および手描き画像に関しては、映像レイヤー、グラフィックレイヤー１、グラフィックレイヤー２およびグラフィックレイヤー３は、グループＢの映像レイヤー、グラフィックレイヤーＢ−１、グラフィックレイヤーＢ−２およびグラフィックレイヤーＢ−３として用いられている。
【００３８】
同様にグループＣの映像および手描き画像に関しては、映像レイヤー、グラフィックレイヤー１、グラフィックレイヤー２およびグラフィックレイヤー３は、各グループＣの映像レイヤー、グラフィックレイヤーＣ−１、グラフィックレイヤーＣ−２およびグラフィックレイヤーＣ−３として用いられている。
【００３９】
ユーザ操作と制御ＢＯＸ１１の処理との関係の例を、例えば後述する実施形態３のように、グループAのユーザが自身の映像に対して行った手描きをグループCに送信する場合に関して述べると次のようになる。手描きを行う映像として「グルーブAの映像」をユーザが選択すると、制御ＢＯＸ１１は手描きを行う映像として「グルーブAの映像」が選択されたことを記憶する。また手描きを送信する相手として「グループC」をユーザが選択すると、制御ＢＯＸ１１は手描きを送信する相手として「グループC」が選択されたことを記憶する。手描きツールからペンの色として「色2 」をユーザが選択すると、制御ＢＯＸ１１は手描き対象のレイヤーとして「グラフィックレイヤーA−２」 を選択する。「グルーブA の映像」に「色2 ］でユーザが手描きすると、制御ＢＯＸ１１は手描き入力を受け付け、「グラフィックレイヤーA −２」に手描きを表示する。またグループA の手描き画像をグルーブＣに制御ＢＯＸ１１は送信する。
【００４０】
（データフロー）
図３は、本実施例におけるシステムの機能構成要素とデータフローを示したものである。図内の符号は図１、図２に対応している。
ユーザは、サブディスプレイ１５を使用して、システムの操作や手描きの入力を行う。例えば実施形態１〜３に関して後述する、図８の各グラフィックレイヤーの手描き送信方法に関して色１、色２、色３の指定を行う。このリストはＨＤＤ１３５から読み出され通常はメモリ１３２上で運用される。手描き送信方法と色１、色２、色３とはＰＣ１３に初期値として設定されている色の対応でよいが、この対応をユーザが設定変更できるようにしてもよい。
【００４１】
ＬＣＤ１２６（メインディスプレイ）は、自分側の映像・相手側の映像のうち、ユーザが入力部１３６（サブディスプレイ）で選択した映像を表示する。入力部１３６は、ユーザの操作・手描き入力を受け付け、システムの制御に関する情報・手描きの画像を制御ＢＯＸ１１に入力する。
【００４２】
スピーカ／マイク１２０１のマイクは、ユーザの音声を制御ＢＯＸ１１に入力する。
カメラ１２０２は、撮影したユーザの映像を制御ＢＯＸ１１に入力する。
制御ＢＯＸ１１は、入力された各データを処理し、ネットワーク経由で相手側に送信する。相手側から受信した映像・画像はＬＣＤ１２６およびディスプレイ１５に、音声はスピーカ／マイク１２０１のスピーカに出力する。
【００４３】
なおシステムの機能構成要素としては互いに同一筐体内に在るか否かを問わず、例えば制御ＢＯＸ１１は、前記ＬＣＤ１２６などを備えるテレビに内蔵されるものであってもよい。
【００４４】
（実施形態１）
図４は、実施形態１のイメージを示したものである。以下にこの実施形態を説明する。
グループAのユーザは、ペンを用いて入力部１３６を操作して、手描きの設定を行う。まず手描きを行う対象の映像としてグループBの映像を選択する（破線囲い部Ｂ）。この選択は例えばペンで、ディスプレイ１５に表示しているグループBの映像を触れるというユーザの操作を、ディスプレイ１５上の入力部１３６が電気信号として入力することにより実行される。このとき対象画面Ｂが手描き領域Ｌに表示される。ＣＰＵ１３１はこの電気信号に基づいてメモリ１３２に「グループBの映像選択」という情報を書き込む。
【００４５】
続いてユーザは、ディスプレイ１５の画面右下の手描きツールＴから、筆記属性として鉛筆・ペン先の太さ・ペンの色(一番上の色１)を選択すると、この選択された筆記属性にてユーザは手描き領域Ｌに手描きできる状態になる。このときも同様に「色１の選択」という情報等がメモリ１３２に書き込まれる。
【００４６】
この設定完了後、グループBの映像に対して手描きを行う。手描き領域Ｌの手描きの画像部分「Ｈｅｌｌｏ♪」は制御ＢＯＸ１１によるリアルタイムの情報処理でグループBに送信され、グループBの各ディスプレイで表示しているグループＢの映像に関してグラフィックレイヤーＢ−１に手描きが反映される。
【００４７】
このとき、グループBのメインディスプレイ（及びサブディスプレイ）に表示されているようにグループAの映像ＧＡにはこの手描きの影響は与えない。図８にあるように色１に対応するグラフィックレイヤーＢ−１に書かれた手描きの画像部分は、グラフィックレイヤーＡ−１には無関係としてグループＡの映像は表示抑止の適用対象とするように制御ＢＯＸ１１は構成されている。
【００４８】
図９はこのときにおける映像と手描き画像とを構成するレイヤーの状態である。例えば制御ＢＯＸ１１はまず手描きがグラフィックレイヤーＢ−１に書かれた旨を判定し、この旨の情報を手描きと併せて送信する。受信側の制御ＢＯＸでは、グラフィックレイヤーＢ−１にこの手描きを画像として反映させる。
【００４９】
手描き領域ＬをグループAの映像ＧＡに切り替えるとグラフィックレイヤーＢ−１に書かれたこの手描きは表示されなくなる。
なおこのシンボル「Ｈｅｌｌｏ♪」は文字認識や記号の認識といった更に高度な情報処理を行い活字等に整形してもよい。
（実施形態２）
図５は、実施形態２のイメージを示したものである。図4の状態から更に文字色を色３に変えて「Ｘさん  Ｙさん  Ｚさん」を追記したものであり、以下にこの実施形態を説明する。
【００５０】
グループAのユーザは、入力部１３６を操作して、手描きの設定を行う。まず手描きを行う映像としてグループBの映像を実施形態1の場合と同様に選択する。
続いてユーザは、ディスプレイ１５の画面右下の手描きツールから、鉛筆・ペン先の大きさ・手描きを相手に送信しないためのペンの色(一番下の色３)を選択する。設定完了後、グループBの映像ＧＢに対して手描きを行う。手描きの画像は、グループAの各ディスプレイで表示しているグループBの映像には反映されるが、相手には送信しないため、グループBの各ディスプレイで表示しているグループBの映像には反映されない。
【００５１】
図１０はこのときにおける映像と手描き画像とを構成するレイヤーの状態である。例えば制御ＢＯＸ１１はまず手描きがグラフィックレイヤーＢ−３に書かれた旨を判定し、この旨の情報を手描きと併せて送信することは抑止する。
【００５２】
（実施形態３）
図６は、実施形態３のイメージを示したものである。ここでは説明のために、グループA・B・Cの3地点での通話を想定する。以下に実施形態を説明する。
グループAのユーザは、入力部１３６を操作して、手描きの設定を行う。まず手描きを行う映像としてグループAの映像を選択し、手描きを送信する相手としてグループCを選択する。このとき、ディスプレイ１５に表示されているグループCの映像の上に、手描きを送信する相手として選択された旨を示すアイコンｉが表示される。続いて、ディスプレイ１５の画面右下の手描きツールから、鉛筆・ペン先の大きさ・手描きの送信相手を限定するためのペンの色(真ん中の色２)をユーザは選択する。
【００５３】
設定完了後、グループAの映像ＧＡに対して手描きを行う。手描きの画像は、グループAの各ディスプレイで表示している映像と、送信相手に選択したグループCの各ディスプレイで表示している映像には反映されるが、送信相手に選択されなかったグループBの各ディスプレイで表示している映像には反映されない。例えばグループBは相互に既知のグループであり、グループCは初対面のグループである場合などに用いることができる。
【００５４】
図１１はこのときにおける映像と手描き画像とを構成するレイヤーの状態である。例えば制御ＢＯＸ１１はまず手描きがグラフィックレイヤーA―２に書かれた旨を判定し、この旨の情報を手描きと併せて送信する。受信側の制御ＢＯＸでは、グラフィックレイヤーA―２にこの手描きを画像として反映させる。
【００５５】
図８にあるように色２に対応するグラフィックレイヤーA―２に書かれた手描きの画像部分は、適用対象グループとしてグループＡの映像はグループＣに対し送信の適用対象とするように制御ＢＯＸ１１は構成されている。
【００５６】
以上の実施形態のフローをまとめると図７のようになる。
ステップＳ７０：  まず準備としてユーザは、手描き入力の設定(ペンの種類、送信相手、色等)を行う。
ステップＳ７１：  ユーザは手描きの入力を行う。
ステップＳ７２：  この入力を行ったものが制御ＢＯＸ１１により送信処理の対象と判定されれば次のステップへ進み、そうでなければ処理を終了する。
ステップＳ７３：  入力を行ったものをしかるべき相手グループへ制御ＢＯＸ１１は送信し、処理を終了する。
以上の実施形態によりビデオチャットにおいて、複数の映像のうち選択した映像に対して手描きで描き込み(および描き込みの削除)を行うことができる。また、入力の属性として特定の色を選択して手描きを行うと、描き込みを相手に送信しないようにすることができる。また、特定の色を選択して手描きを行うと、選択した相手に対して描き込みを送信することができる（更に入力書体（例えば楷書その他、あるいは所謂丸文字かどうか）、筆記具（鉛筆、毛筆、万年筆などや）文字サイズにより、或いは活字に整形した場合等のフォントや、飾り文字といった書体変化により、通信相手装置を選択するような構成としてもよい。）。
【００５７】
即ちビデオチャットにおいて、選択した映像にのみ手描きを行えるようになった。選択した通話相手のみ手描きを共有できるようになった。手描きを通話相手に送信せず、自分側グループ内に限って手描きを共有できるようになった。また、全体に送信した手描き、選択した通話相手にのみ送信した手描き、通話相手に送信しなかった手描きを、手描きの色の違いで一目で判別できるようになった。
【００５８】
なお以上はメインディスプレイとサブディスプレイという構成に関して説明したが、あるＴＶにおける２つのウィンドウ（第１の表示面と第２の表示面）といった形態でもよい。またテレビ１２、ＰＣ１３は、制御ＢＯＸ１１を1台のパーソナルコンピュータで実現する形態としてもよい。
【００５９】
また映像は各グループの撮影映像で例示をしたが、特に限定はない。例えば共通認識のある風景映像に関してグループ内のみのコメント、他のグループにも開示するコメントを混在できるような利用をしてもよい。
【００６０】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。更に、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００６１】
１０：ビデオチャットシステム
１１：制御ＢＯＸ
１２：テレビ
１３：ＰＣ
１４：ネットワーク
１１１：ＣＰＵ
１１２：メモリ
１１３：ＨＤＤ
１１４：ネットワークＩ／Ｆ
１１５：バス
１２１：ＣＰＵ
１２２：チューナ
１２３：デコーダ
１２４：メモリ
１２５：表示制御部
１２６：表示部
１２７：ネットワークＩ／Ｆ
１２８：入力部
１２９：音声制御部
１２０１：スピーカ／マイク
１２０２：カメラ
１２０３：バス
１３１：ＣＰＵ
１３２：メモリ
１３３：表示制御部
１３４：ネットワークＩ／Ｆ
１３５：ＨＤＤ
１３６：入力部
１３７：バス
１４１：ＷＡＮ
１４２：ＬＡＮ
１５：ディスプレイ
【図１】
2014232502.tif 000003
【図２】
2014232502.tif 000004
【図３】
2014232502.tif 000005
【図４】
2014232502.tif 000006
【図５】
2014232502.tif 000007
【図６】
2014232502.tif 000008
【図７】
2014232502.tif 000009
【図８】
2014232502.tif 000010
【図９】
2014232502.tif 000011
【図１０】
2014232502.tif 000012
【図１１】
2014232502.tif 000013