(57)【特許請求の範囲】
【請求項１】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、
複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、
前記サーバは、
互いにコミュニケーションをとる２以上の前記ユーザ端末に対する描画情報のリアルタイム送受信を行うリアルタイム描画管理機能部と、
互いにコミュニケーションをとる２以上の前記ユーザ端末に対する音声情報のリアルタイム送受信を行うリアルタイム通話管理機能部とを備え、
前記ユーザ端末は、
前記入力手段により描画された描画情報を自己の表示手段とコミュニケーション相手のユーザ端末の表示手段に表示させ、コミュニケーション相手のユーザ端末の入力手段により描画された描画情報を自己の表示手段に表示させる双方向リアルタイム描画機能部と、
自己の音声入力手段に入力された音声情報をコミュニケーション相手のユーザ端末の音声出力手段に出力させ、コミュニケーション相手のユーザ端末の音声入力手段に入力された音声情報を自己の音声出力手段に出力させる双方向リアルタイム音声通話機能部と、
前記双方向リアルタイム描画機能部と前記双方向リアルタイム音声通話機能部をユーザ感覚として同時並行に動作していると感じられるように並列処理する制御手段とを備え、
前記ユーザ端末の前記通信手段は、電波により無線で通信を行う無線通信手段で構成され、
前記サーバ又は前記ユーザ端末に、前記双方向リアルタイム音声通話機能部による通話中に前記無線通信手段が受け取る電波の状態を確認する電波状態確認部と、
前記電波状態が所定状態より悪くなると、前記双方向リアルタイム音声通話機能部による通話を切断する通話切断部とを備え、
前記通話切断部による通話切断後も前記双方向リアルタイム描画機能部によるリアルタイム描画は継続して実行する構成である
コミュニケーションシステム。
【請求項２】
ユーザ端末を、
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、サーバを介した情報の通信を電波により無線で行う無線通信手段として機能させるコミュニケーションプログラムであって、
前記ユーザ端末を、
前記入力手段により描画された描画情報を自己の表示手段とコミュニケーション相手のユーザ端末の表示手段に表示させ、コミュニケーション相手のユーザ端末の入力手段により描画された描画情報を自己の表示手段に表示させる双方向リアルタイム描画機能部と、
自己の音声入力手段に入力された音声情報をコミュニケーション相手のユーザ端末の音声出力手段に出力させ、コミュニケーション相手のユーザ端末の音声入力手段に入力された音声情報を自己の音声出力手段に出力させる双方向リアルタイム音声通話機能部と、
前記双方向リアルタイム描画機能部と前記双方向リアルタイム音声通話機能部をユーザ感覚として同時並行に動作していると感じられるように並列処理する制御手段として機能させ、
前記ユーザ端末の前記無線通信手段を、
前記サーバ又は前記ユーザ端末に、前記双方向リアルタイム音声通話機能部による通話中に前記無線通信手段が受け取る電波の状態を確認する電波状態確認部と、
前記電波状態が所定状態より悪くなると、前記双方向リアルタイム音声通話機能部による通話を切断する通話切断部として機能させ、
前記ユーザ端末を、
前記通話切断部による通話切断後もリアルタイム描画を継続して実行する前記双方向リアルタイム描画機能部として機能させる
コミュニケーションプログラム。
【請求項３】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を電波により無線で行う無線通信手段とを有してユーザに操作される複数台のユーザ端末に対して、当該複数台のユーザ端末と通信するサーバによって前記ユーザ端末間のコミュニケーションを許容するコミュニケーション処理方法であって、
２以上の前記ユーザ端末により互いに情報を送受信するコミュニケーション状態を確立し、
あるユーザ端末の入力手段により描画された描画情報を当該ユーザ端末の表示手段とコミュニケーション状態となっている他のユーザ端末の表示手段に表示させる双方向リアルタイム描画処理と、
あるユーザ端末の音声入力手段に入力された音声情報をコミュニケーション状態となっている他のユーザ端末の音声出力手段に出力させる双方向リアルタイム音声通話処理と、
前記双方向リアルタイム描画処理と前記双方向リアルタイム音声通話処理をユーザ感覚として同時並行に動作していると感じられるようにする並列処理と、
前記サーバ又は前記ユーザ端末に、前記双方向リアルタイム音声通話処理による通話中に前記無線通信手段が受け取る電波の状態を確認する電波状態確認処理と、
前記電波状態が所定状態より悪くなると、前記双方向リアルタイム音声通話処理による通話を切断する通話切断処理と、
前記通話切断処理による通話切断後も前記双方向リアルタイム描画処理によるリアルタイム描画の継続実行処理とを実行する
コミュニケーション処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ユーザ同士がユーザ端末を用いてコミュニケーションをとるようなコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法に関する。
【背景技術】
【０００２】
従来、ユーザが携帯する端末といえば携帯電話機であった。近年では、ユーザが携帯する端末が、電話機能に加えてインターネット機能や決済機能等の様々な機能が付与されたスマートフォンに移行してきている。このスマートフォンでは、電話によるコミュニケーションに加えて、メールによるコミュニケーションも行えるため、コミュニケーションの幅が広がっている。
【０００３】
そして、送信したメッセージと届いたメッセージをタイムラインに沿って確認でき、しかもメッセージが送信されると即座に受信するアプリケーションも提供されている。このようなアプリケーションは、比較的長文が用いられるメールに比べて短文でメッセージが送られることが多い。そして、ちょっとしたメッセージが届くとすぐに返信するような利用が行われている。このため、従来に比べてコミュニケーションのレスポンスタイミングが随分早くなっており、素早いレスポンスが望まれるようになってきている。
【０００４】
このようなスマートフォンによるコミュニケーションに関する技術として、チャットサーバを用いてメッセージをやりとりするメッセージ送受信支援システムが提案されている（特許文献１参照）。このメッセージ送受信支援システムは、多用なコンテンツを利用して円滑なコミュニケーションを図れるようにすることを目的としている。そして、共有を指示されたコンテンツのリソース情報を特定する共有部と、前記リソース情報を含む会話ビューとを備えることで、コンテンツをメッセージに効率的に展開できるとされている。
【０００５】
しかし、このメッセージ送受信支援システムは、コンテンツの送受信を行うだけであるから、リアルタイムのコミュニケーションに役立つものではなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２１９７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、上述の問題に鑑み、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供し、ユーザの満足度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、前記サーバは、互いにコミュニケーションをとる２以上の前記ユーザ端末に対する描画情報のリアルタイム送受信を行うリアルタイム描画管理機能部と、互いにコミュニケーションをとる２以上の前記ユーザ端末に対する音声情報のリアルタイム送受信を行うリアルタイム通話管理機能部とを備え、前記ユーザ端末は、前記入力手段により描画された描画情報を自己の表示手段とコミュニケーション相手のユーザ端末の表示手段に表示させ、コミュニケーション相手のユーザ端末の入力手段により描画された描画情報を自己の表示手段に表示させる双方向リアルタイム描画機能部と、自己の音声入力手段に入力された音声情報をコミュニケーション相手のユーザ端末の音声出力手段に出力させ、コミュニケーション相手のユーザ端末の音声入力手段に入力された音声情報を自己の音声出力手段に出力させる双方向リアルタイム音声通話機能部と、前記双方向リアルタイム描画機能部と前記双方向リアルタイム音声通話機能部をユーザ感覚として同時並行に動作していると感じられるように並列処理する制御手段とを備え、前記ユーザ端末の前記通信手段は、電波により無線で通信を行う無線通信手段で構成され、前記サーバ又は前記ユーザ端末に、前記双方向リアルタイム音声通話機能部による通話中に前記無線通信手段が受け取る電波の状態を確認する電波状態確認部と、前記電波状態が所定状態より悪くなると、前記双方向リアルタイム音声通話機能部による通話を切断する通話切断部とを備え、前記通話切断部による通話切断後も前記双方向リアルタイム描画機能部によるリアルタイム描画は継続して実行する構成であるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法であることを特徴とする。
【発明の効果】
【０００９】
この発明により、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】コミュニケーションシステムのシステム構成を示すブロック図。
【図２】各プログラムによる各サーバおよびユーザ端末の機能ブロック図。
【図３】ユーザ端末の画面構成を説明する説明図。
【図４】ユーザ端末の画面構成を説明する説明図。
【図５】ユーザ端末の画面構成を説明する説明図。
【発明を実施するための形態】
【００１１】
以下、この発明の一実施形態を図面と共に説明する。
【実施例】
【００１２】
図１は、コミュニケーションシステム１のシステム構成を示すブロック図である。  
コミュニケーションシステム１は、インターネット３に通信可能に接続されたアプリ配信サーバ５、メインサーバ１０、通話サーバ３０、及びユーザ端末５０を有している。
【００１３】
メインサーバ１０は、制御部１１、通信部１２、操作入力部１３、表示部１４、及び記憶部１５を備えている。  
通話サーバ３０は、制御部３１、通信部３２、操作入力部３３、表示部３４、及び記憶部３５を備えている。  
ユーザ端末５０は、制御部５１、通信部５２、操作入力部５３、表示部５４、音声入力部５５、音声出力部５６、記憶部５７、および撮影部５８を備えている。
【００１４】
メインサーバ１０と通話サーバ３０は、サーバコンピュータで構成されており、ユーザ端末５０はスマートフォン等の移動体端末により構成されている。これらは、いずれもハードウェア要素としてＣＰＵとＲＯＭとＲＡＭ等で構成されて各種演算や制御動作を実行する制御部（１１，３１，５１）、ＬＡＮボードやＷＩＦＩユニット等で構成されて有線または無線での通信を実行する通信部（１２，３２，５２）、タッチパネルやキーボードやマウスや押下ボタンやこれらの複数で構成されて接触操作による入力を受け付ける操作入力部（１３，３３，５３）、液晶ディスプレイや有機ＥＬディスプレイ等で構成されて文字や図等の画像を表示する表示部（１４，３４，５４）、およびハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部（１５，３５，５７）を備えている。
【００１５】
また、ユーザ端末５０には、さらに、マイクによって音声を集音することで音声入力を受け付ける音声入力部５５、スピーカーから音を発して音声出力を行う音声出力部５６、デジタルカメラによって静止画や動画を撮影する撮影部５８を備えている。
【００１６】
メインサーバ１０の記憶部１５には、全体を管理する管理プログラム１５ａと、お絵かき処理を管理するお絵かき管理プログラム１５ｂと、ユーザ端末５０とユーザに関するユーザ関連データ１５ｃとが記憶されている。ユーザ関連データ１５ｃには、ユーザ端末５０の識別情報（ＭＡＣアドレス等）、ユーザを識別するユーザ識別情報（ＩＤまたは電話番号等）、および、ユーザのコミュニケーション相手（友達）に関するコミュニケーション相手情報等、適宜の情報を記憶している。なお、お絵かき管理プログラム１５ｂは、管理プログラム１５ａと同じメインサーバ１０にインストールするに限らず、別途の描画サーバを設けて、この描画サーバにインストールされてもよい。
【００１７】
通話サーバ３０の記憶部３５には、アドレス発行等を行って通話相手を管理する通話相手管理プログラム３５ａと、ＩＰネットワーク内で、ＩＰ電話端末の回線交換を行うＩＰ−ＰＢＸ（Ｉｎｔｅｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）等の通話プログラム３５ｂと、ユーザ端末５０の識別情報等で構成されて通話を実現するための情報である通話用管理情報３５ｃとを記憶している。
【００１８】
ユーザ端末５０の記憶部５７は、コミュニケーション用のアプリケーションであるコミュニケーションアプリ５７ａ、および、コミュニケーション相手の識別情報等のコミュニケーション相手データ５７ｂを記憶している。
【００１９】
図２は、図１とともに説明したハードウェアを用いてメインサーバ１０、通話サーバ３０、およびユーザ端末５０の各制御部１１，３１，５１がそれぞれのプログラム（１５ａ，１５ｂ，３５ａ，３５ｂ，５７ａ）によって実行する機能を表す機能ブロック図である。
【００２０】
図３〜図５は、ユーザ端末５の表示部５４に表示する各画面の構成を説明する説明図である。各画面は、表示によってユーザに伝えるとともに、表示部５４に重ねて設けられた透明のタッチパネルが入力操作されることによって操作入力を受け付ける入力要素としても機能する。
【００２１】
接続相手選択部６５は、図３（Ａ）に示す接続相手選択画面１１０を表示し、一覧表示部１１６に一覧表示した接続相手１１６ａの中からひとつをユーザに選択させる。この接続相手１１６ａは、特定の個人ひとりである場合もあれば、複数人で作成されたグループである場合もある。
【００２２】
接続相手選択画面１１０の下部には、一覧表示部１１６に接続相手を一覧表示する画面を表示する連絡先ボタン１１７、メッセージを送受信したことのある接続相手を一覧表示するとともに新たな接続相手への新規メッセージの送信も可能とするメッセージボタン１１８、接続相手（友だち）を追加する友だち追加ボタン１１９、およびアイコン画像やゲームのダウンロード等を可能とする画面に移行するその他ボタン１２１を備えている。
【００２３】
連絡先ボタン１１７が選択されている状態の接続相手選択画面１１０の上部には、一覧表示部１１６の接続相手１１６ａを削除等する編集ボタン１１１、ユーザ端末５０に登録されている全ての接続相手を一覧表示して選択可能とする接続相手選択画面１１０（図示している画面）を表示する接続相手選択タブ１１２、お気に入りの接続相手を一覧表示するお気に入りタブ１１３、通常の電話機能における電話帳に登録されている連絡先を一覧表示する連絡先タブ１１４、複数の接続相手をまとめたグループを作成するグループ作成ボタン１１５が並べて配置されている。  
これらの各要素により、接続相手選択部６５（図２参照）は、ユーザによる接続相手の選択を受け付け、選択された接続相手とメッセージによるコミュニケーションを行うメッセージ機能部６６へ接続相手を渡す。
【００２４】
メッセージ機能部６６は、図３（Ｂ）のメッセージ表示画面１３０を表示し、入力されたメッセージの接続相手への送信と、送信した送信メッセージ１３５および接続相手から受信した受信メッセージ１３６のタイムライン表示部１３４への表示を行う。タイムライン表示部１３４では、左右のうち一方が自分、他方が自分以外の接続相手となっており、送信と受信が一目でわかるように表示される。
【００２５】
メッセージ表示画面１３０の上部には、接続相手選択画面１１０に移行する戻るボタン１３１、接続相手の氏名（若しくはニックネーム）を表示する接続相手表示部１３２、表示している接続相手とのメッセージに関する設定等を行うためのポップアップ画面１４０（図３（Ｃ）参照）を表示する設定ボタン１３３が設けられている。
【００２６】
このポップアップ画面１４０には、図３（Ｃ）に示すように、タイムラインへ他のユーザを招待する招待ボタン１４１、タイムラインの接続相手をブロックするブロックボタン１４２、およびタイムライン表示部１３４の背景（画像、色、写真等）を変更する背景設定ボタン１４３が設けられている。
【００２７】
招待ボタン１４１が選択されると、接続相手追加部６１（図２参照）が機能し、上述した一覧表示部１１６と同様の画面を表示して追加する接続相手の選択を受け付け、選択された接続相手との接続を確立して、以降の入力メッセージを追加した接続相手に送信するとともに、追加した接続相手から受信したメッセージをタイムライン表示部１３４に表示する。
【００２８】
メッセージ表示画面１３０の下部には、コミュニケーション方法を選択するコミュニケーション方法選択部１３７、入力内容を文字かイラストかに切り替えてその入力を受け付ける入力内容切替部１３８、入力された内容を接続相手に送信する送信ボタン１３９が設けられている。
【００２９】
コミュニケーション方法選択部１３７が選択されると、図３（Ｄ）に示すようにメッセージ表示画面１３０の下方約半分の領域にコミュニケーション方法一覧１５０を表示する。このコミュニケーション方法一覧１５０には、撮影済みの写真を選択して送信する写真送信ボタン１５１、録画済みの動画を選択して送信する動画送信ボタン１５２、写真撮影または動画撮影をして送信するカメラボタン１５３、フリーハンドでのお絵かきをしてできた絵を送信するお絵かきボタン１５４、接続相手とリアルタイムで双方向にフリーハンドでのお絵かきをするお絵かきトークボタン１５５、連絡先を送信する連絡先送信ボタン１５６、予め登録された定型文を選択して送信する定型文送信ボタン１５７、予め登録されているグリーティングカードを選択して送信するカードボタン１５８が設けられている。
【００３０】
メインサーバ１０（図２参照）のメッセージ転送部１７は、ユーザ端末５０から受信した送信メッセージ１３５（図３（Ｂ）参照）の内容を接続相手のユーザ端末５０に転送する。これにより、入力完了したメッセージの双方向でのやり取りを可能にしている。
【００３１】
コミュニケーション方法一覧１５０（図３（Ｄ）参照）のお絵かきトークボタン１５５が選択されると、ユーザ端末５０（図２参照）は、図４（Ａ）に示すお絵かきトーク開始用通知１６１を表示してキャンセルボタン１６２とＯＫボタン１６３を表示し、ＯＫボタン１６３が選択されるとお絵かき開始処理部６７（図２参照）によってお絵かき処理を開始する。
【００３２】
このとき、お絵かき開始処理部６７は、お絵かき機能部６９を起動して図４（Ｂ）に示すお絵かきトーク画面１７０を表示させると共に、接続相手とのお絵かきトークを開始するお絵かきトーク開始依頼信号をメインサーバ１０へ送信する。このとき、お絵かきトーク画面１７０には、「相手の接続を待っています」という接続待ち通知（図示省略）を表示する。お絵かきトーク開始依頼信号を受けたメインサーバ１０は、お絵かきリアルタイム処理部１８によって接続相手にお絵かきトーク開始要求があることを知らせるお絵かきトーク招待メッセージ（図示省略）を表示する。このメッセージは、例えば「お絵かきトークへ招待されています。今すぐ開始しますか？  キャンセル，ＯＫ」の表示とし、選択可能とすることが好ましい。これを受けた接続相手は、自身のユーザ端末５０により「ＯＫ」を選択してお絵かきトークを開始するか、あるいは「キャンセル」をしてメッセージにて「少し待って」と回答するといったことができる。「ＯＫ」が選択されてこの信号をメインサーバ１０が受信すると、お絵かきリアルタイム処理部１８は、接続相手となっている２以上のユーザ端末５０のお絵かき機能部６９に対して情報（パケット）を連続的に送受信する双方向のリアルタイムでのお絵かき処理を開始する。
【００３３】
ユーザ端末５０のお絵かき機能部６９は、お絵かきトーク画面１７０（図４（Ｂ）参照）を表示し、ユーザによるフリーハンドの描画を受け付け、自己のユーザと接続相手がフリーハンドで描画した軌跡をリアルタイムに表示部５４（図１参照）に表示する。お絵かきトーク画面１７０は、画面の大部分を占めてフリーハンドでの描画を受け付けて表示するお絵かき部１７５を備えている。お絵かきトーク画面１７０の上部には、お絵かきトークを終了してメッセージ表示画面１３０に戻る退出ボタン１７１、接続相手を表示する接続相手表示部１７２、音声による通話を開始する通話操作ボタン１７３、お絵かき部１７５の描画内容を画面上で消去して無地の新しいキャンバスを表示するゴミ箱ボタン１７４を備えている。お絵かきトーク画面１７０の下部には、描画するペンの形状（大きさなど）を変更するペン形状変更ボタン１７６、描画するペンの色を変更するペン色変更ボタン１７７、描画内容を部分的に消去する消しゴムを選択する消しゴムボタン１７８、描画内容を記憶部５７（図１参照）に記憶または送信（メール送信、短文投稿サイトへの投稿、またはＳＮＳへの投稿など）する描画内容発信部（描画内容保存部）１７９、写真撮影をしてお絵かき部１７５にその写真を表示して上から描画できるようにするカメラボタン１８１、撮影済みの写真を選択しお絵かき部１７５にその写真を表示して上から描画できるようにする写真選択ボタン１８２を備えている。
【００３４】
退出ボタン１７１が選択されると、お絵かき終了処理部６８（図２参照）は、メインサーバ１０に退出信号を送信してお絵かきトークを終了し、メッセージ機能部６６によりメッセージを送受信するメッセージ表示画面１３０に戻る。
【００３５】
お絵かきリアルタイム処理部１８は、ユーザ端末５０のお絵かき機能部６９によって描画された情報（パケット）を刻々とリアルタイムで受け取って接続相手にリアルタイムで送信する。また、接続相手の両方から同時に描画された場合、この両方の描画内容を描画前の画像に対して合成する合成処理を行ってから接続相手のお絵かき機能部６９へ送信する。従って、お絵かきトークをしている利用者は、自分が描画している最中であっても相手の描画も同時に描かれ、１つのキャンパスに接続相手と一緒に描いているようにリアルタイムの描画を行える。
【００３６】
メインサーバ１０（図２参照）の接続状態確認部１９は、お絵かきリアルタイム処理部１８によってユーザ端末５０と双方向にやり取りしている応答状態を確認している。接続状態確認部１９は、相手からの応答が所定時間無くなる、あるいは相手からの応答信号が不適切な信号になっている等、お絵かきトーク中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、お絵かきトークをしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、接続が切断されたことを通知する。
【００３７】
接続断通知部６２は、メインサーバ１０からの通知を受けて、例えば「○○が退室しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通信が切断され、お絵かきトークでこちらが描いている描画内容が相手に伝わっていない状態であることをユーザに伝える。
【００３８】
お絵かきトーク画面１７０（図４（Ｂ）参照）で通話操作ボタン１７３が選択されると、通話開始処理部７１（図２参照）は、メインサーバ１０とは別に設けられた通話サーバ３０に通話依頼信号を送信し、通話機能部７３による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【００３９】
通話サーバ３０は、アドレス割り当て部３７により、通話要求してきたユーザ端末５０と、その接続相手となっている相手側のユーザ端末５０に対して、一時的アドレスをそれぞれ割り当てる。このアドレスによって通話相手を特定することで、双方向の通話を可能としている。すなわち、相手側の電話番号を知らなくても、その都度割り当てられるアドレスを用いてＩＰ電話による通話が可能となる。また、アドレス割り当て部３７は、接続相手のユーザ端末５０に通話要求があることを通知する。
【００４０】
この通知を受けたユーザ端末５０は、図４（Ｃ）に示すように、お絵かきトーク画面１７０に着信中メッセージ１９１を表示し、着信中であること（通話要求が来て電話のコール状態であること）をユーザに知らせる。このとき、ユーザ端末５０は、操作案内メッセージ１９２も表示し、通話操作ボタン１７３を選択することで通話開始できること、通話中もお絵かきトークは継続して利用できることをユーザに知らせる。
【００４１】
通話サーバ３０の通話リアルタイム処理部３８は、アドレス割り当て部３７で割り当てられたアドレスのユーザ端末５０との間で通話信号（パケット）を送受信し、通話を実施する。この通話リアルタイム処理部３８は、ＩＰ−ＰＢＸ（Ｉｎｔｅｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）の機能を有しており、通話の中継を実現している。
【００４２】
ユーザ端末５０の通話機能部７３は、通話サーバ３０を介した接続相手のユーザ端末５０との通話（電話）を実行する。この通話中のとき、お絵かきトーク画面１７０（図４（Ｄ）参照）は、通話操作ボタン１７３の形状および色を変更して、通話中であることをユーザに知らせる。このとき、通話機能部７３と並列にお絵かき機能部６９も動作しているため、ユーザ端末５０は、通話とお絵かきの両方を同時にリアルタイムに送受信できる。従って、図４（Ｄ）に示すようにお絵かき部１７５に描画しながら口頭で説明するといったことができる。
【００４３】
通話サーバ３０（図２参照）の電波状態確認部３９は、ユーザ端末５０との電波状態を確認する。すなわち、電波状態が良好であると通話が良好に成立するが、電波状態がある程度悪くなると通話の音が途切れる等の状態が発生し、さらに電波状態が悪くなると通話ができなくなる。このため、ユーザ端末５０の電波状態を常時確認している。
【００４４】
通話切断部４１は、電波状態確認部３９で確認している電波状態が所定状態より悪くなると、通話の切断を実行する。この所定状態は、完全に通話不可となった状態ではなく、それより前の通話が少々困難になっている電波状態としている。すなわち、電波が完全に遮断されていなくても、ある程度悪くなっている状態（例えば、スマートフォンの機能による電波状態を示すアンテナ表示がフルでもゼロでもなく３本中１本または２本となっている状態など）であると、パケットロス等が発生し始めるため、画面上は通話継続中に見えるにもかかわらず音声が届かないことが生じる。本実施形態では、お絵かきトークをしながら通話も行うため、通常の音声通話のみの電話と違い、音声が届いていないことに気づきにくい。つまり、お絵かきトークのリアルタイム処理が正常動作しながら通話音声が届かないといった状況が生じると、ユーザは音声が届いていないとは思わない。このため、こちらが言ったことを相手が蒸し無視して（実際には音声が届いていない）お絵かきトークでの描画を続けているような状態が生じ得る。このような状況を避けるため、パケットロス等によって音声が届かない状況の発生し得る電波状態になると、通話切断部４１が強制的に通話を切断し、一時的にユーザ端末５０に付与していたアドレスを解放する。
【００４５】
このときアドレスを解放することによって、使われないアドレスが割り当て不可状態で残り続けてアドレスが枯渇することを防止している。通話切断部４１は、通話が切断されたことを通話の接続をしていた全て（２人通話であれば２人、グループ通話であればグループ全員）のユーザ端末５０に通知する。
【００４６】
ユーザ端末５０の通話断通知部６３は、通話サーバ３０からの通知を受けて、図５（Ａ）に示すように「無料通話を終了しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通話が切断され、会話が相手に伝わっていない状態であることをユーザに伝えるとともに、リアルタイムのお絵かきトークは継続する。
【００４７】
また、上述した通話サーバ３０（図２参照）の電波状態確認部３９は、電波状態が悪くなって通話が成立しない接続断状態になった場合、通話中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、通話をしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、通話の接続が切断されたことを通知する。この状態のときは、メインサーバ１０の接続状態確認部１９においても応答不可状態であると判断して接続を切断することになるから、お絵かきトークと通話の両方が接続断となる。このため、ユーザ端末５０には、図５（Ｂ）に示すように、「相手の接続を待っています」といった接続待機メッセージ１９６と、お絵かきトークと通話が終了したことを示す「○○が退室し無料通話も終了しました」といった全リアルタイム処理終了メッセージ１９７を表示する。またこのとき、通話切断されたユーザ端末５０の通話操作ボタン１７３の形状と色も通話していない状態の表示に戻す。なお、図示の例はグループでお絵かきトークおよび通話をしていた場合の例であり、そのグループ内の一人の通信が切断されたことを表示している。
【００４８】
ユーザ端末５０において、通話中に通話操作ボタン１７３（図４（Ｄ）参照）が選択されると、通話終了処理部７２（図２参照）は、通話を終了して通話相手のユーザ端末５０に通話終了を通知するとともに、通話操作ボタン１７３の形状と色も通話していない状態の表示に戻す。
【００４９】
図５（Ｃ）は、接続相手のユーザがユーザ端末５０において通話を許可しない設定にしている場合のお絵かきトーク画面１７０を示している。この場合、通話操作ボタン１７３は、バツ（×）を表示する等、通話不可であることを示す表示を行う。
【００５０】
以上の構成及び動作により、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム１を提供することができ、ユーザの満足度を向上させることができる。
【００５１】
お絵かきトークや通話では、メッセージを入力し完成させてから送信ボタンを押して送信するようなコミュニケーションとは異なり、描画の開始と共に描画の軌跡に沿って相手側のユーザ端末５０にもリアルタイムで表示されていき、また会話もリアルタイムで相手に届くため、非常に緊密なコミュニケーションをとることができる。
【００５２】
メッセージの送受信やお絵かきトークの後に通話を開始できるようにしているため、音の無いコミュニケーションをしてから音のあるコミュニケーションに移行することができる。これにより、通話しようと思ったら相手が声を出して話せない状況であった場合など、無音で通話要求と通話拒否のやりとりをし、かつ、通話できない理由を伝えるといったことができる。これにより、お互いのその時の状況に応じた円滑なコミュニケーションを図ることができる。
【００５３】
また、お絵かきトークをして接続相手と無音のリアルタイムコミュニケーションを取っている状態から、通話による音ありのリアルタイムコミュニケーションを追加できるため、通話の要求があって出られない状況であっても、無音でお絵かきトークによって今は通話できないといったことを知らせることができる。このように通話できない理由を即座に伝えられるため、円滑なコミュニケーションをとることができる。
【００５４】
また、お絵かきトークから通話を追加する際、通話要求を受けたユーザ端末５０では無音のメッセージにて通話を受けるか確認するため、音を出さずに通話可否を決定することができる。このため、例えば会議中等の電話に出られない状況で通話要求が届いても、手元の操作で音を出さずに通話要求をキャンセルし、さらにお絵かきトークで今は難しいことを無音で伝える、あるいはメッセージ表示画面１３０に戻ってメッセージで今は難しいことを無音で伝えることができる。
【００５５】
また、電波状態がある程度悪くなると、お絵かきトークを継続しつつ通話を終了するため、こちらの会話が相手に届いていないと思わずにコミュニケーションを続けようとするといった状態を防止できる。
【００５６】
また、通話依頼のある毎にアドレスを一時的に割り当て、通話が切断されるとアドレスを解放する構成であるため、ユーザ毎に予めアドレスを割り当てる必要がなく、アドレスの枯渇を防止することができる。また、一時的なアドレスを用いて通話を実現するため、相手の電話番号等を知らなくても通話できる。従って、例えば２人でお絵かきトークと通話を行っていて、一人は知っているがもう一人は知らない人をコミュニケーションに追加するときに、電話番号を知らせたりせずとも追加したい人を招待して３者通話を行うことができる。
【００５７】
また、メインサーバ１０と通話サーバ３０を別のサーバとしたため、パケット量の集中を回避してリアルタイム処理が遅くなることを防止できる。
【００５８】
このようにして、リアルタイム性が高くコミュニケーション手段の幅が広いコミュニケーションシステム１を提供できる。特に、コミュニケーションシステム１は、触覚と視覚、および聴覚によるコミュニケーションを同時に処理でき、しかも、これを手のひらで持つ携帯型の情報端末で実現することができる。
【００５９】
また、コミュニケーションシステム１は、作成し終えたメッセージや写真等を送受信するメッセージのやり取りをしている途中からリアルタイムのお絵かきトークに移行できるため、ユーザ感覚としての応答速度を速めて緊密なコミュニケーションに移行できる。さらに、お絵かきトークを継続しながら通話も同時に開始できるため、描画によるリアルタイムのコミュニケーションと話すこと（音声）によるリアルタイムのコミュニケーションを同時並行にとることができ、幅広い手段を用いて相手のレスポンスがリアルタイムに得られる非常に緊密なコミュニケーションをとることができる。
【００６０】
この発明におけるサーバは、実施形態のメインサーバ１０および通話サーバ３０に対応し、以下同様に、
描画用サーバは、メインサーバ１０に対応し、
リアルタイム描画管理機能部は、お絵かきリアルタイム処理部１８に対応し、
通話用サーバは、通話サーバ３０に対応し、
通信手段は、通信部３２に対応し、
入力手段は、操作入力部３３に対応し、
表示手段は、表示部３４に対応し、
リアルタイム通話管理機能部は、通話リアルタイム処理部３８に対応し、
制御手段は、制御部５１に対応し、
無線通信手段は、通信部５２に対応し、
コミュニケーションプログラムは、コミュニケーションアプリ５７ａに対応し、
双方向リアルタイム描画機能部は、お絵かき機能部６９に対応し、
描画コミュニケーション中通話開始機能部は、通話開始処理部７１に対応し、
双方向リアルタイム音声通話機能部は、通話機能部７３に対応するが、
この発明は本実施形態に限られず他の様々な実施形態とすることができる。
【産業上の利用可能性】
【００６１】
この発明は、複数のユーザがお互いのユーザ端末を利用してコミュニケーションをとるシステムに関する産業に利用することができる。
【符号の説明】
【００６２】
１…コミュニケーションシステム
１０…メインサーバ
１９…お絵かきリアルタイム処理部
２０…通話サーバ
３２…通信部
３３…操作入力部
３４…表示部
３７…アドレス割り当て部
３８…通話リアルタイム処理部
３９…電波状態確認部
４１…通話切断部
５０…ユーザ端末
５１…制御部
５２…通信部
５７ａ…コミュニケーションアプリ
６９…お絵かき機能部
７１…通話開始処理部
７３…通話機能部
【図１】
0006302869.tif 000002
【図２】
0006302869.tif 000003
【図３】
0006302869.tif 000004
【図４】
0006302869.tif 000005
【図５】
0006302869.tif 000006