(57)【要約】【課題】  温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステムを提供する。【解決手段】  複数台のユーザ端末５０と、複数台の前記ユーザ端末５０と通信して前記ユーザ端末５０間のコミュニケーションを許容するメインサーバ１０とを備え、ユーザ端末５０に、メッセージ送受信の対象となる相手の選択を受け付ける接続相手選択部６５と、選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示するタイムライン表示部１３４と、操作者自身が送信したいメッセージのテキストデータとしての入力を受け付ける入力内容受付部１３８と、前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画画面１７０とを設けた。【選択図】図３
2020135357.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、
複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、
前記サーバは、
互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信を行うメッセージ管理機能部を備え、
前記ユーザ端末は、
メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、
前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、
前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部とを備え、
前記メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備えた
コミュニケーションシステム。
【請求項２】
前記手書き描画入力部は、
手書き描画を受け付ける描画領域部と、
手書き描画をするためのツールを選択するツール選択部とを有し、
前記描画領域部は、手書き入力の背景として単調な背景画像をデフォルト表示として最初に表示する構成であり、前記メッセージ表示部で前記手書き入力開始部が選択されて前記手書き描画入力部が機能すると即座に前記背景画像の上に前記ツールを用いて手書き描画を行える構成である
請求項１記載のコミュニケーションシステム。
【請求項３】
前記手書き描画入力部は、
前記背景画像として表示するユーザ選択画像を選択する背景画像選択部を備え、
前記背景画像選択部により前記ユーザ選択画像が選択されると、前記背景画像の代わりに前記ユーザ選択画像を表示し、かつ、前記手書き描画はそのまま前記ユーザ選択画像より前面に表示継続する構成である
請求項２記載のコミュニケーションシステム。
【請求項４】
前記手書き描画入力部は、
前記手書き描画を消去する消去操作部を備え、
前記消去操作部による消去が行われると、前記手書き描画を消去するが表示されている前記背景画像または前記ユーザ選択画像はそのまま表示継続する構成である
請求項３記載のコミュニケーションシステム。
【請求項５】
前記送受信メッセージ表示部を表示してから手書き入力開始指示部が選択されて前記手書き描画入力部にて手書き描画が可能となるまでの操作数は、
前記送受信メッセージ表示部を表示してから前記メッセージ入力部によりメッセージのテキストデータとしての入力が可能となるまでの操作数と比べて、同一かそれ以下である
請求項１から４のいずれか１つに記載のコミュニケーションシステム。
【請求項６】
コンピュータを、
メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、
前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、
前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部として機能させ、
前記メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備えた
メッセージ送受信プログラム。
【請求項７】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバによって前記ユーザ端末間のコミュニケーションを許容するコミュニケーション処理方法であって、
前記サーバは、互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信をメッセージ管理機能部により行い、
前記ユーザ端末は、メッセージ送受信の対象となる相手の選択を相手選択部により受け付け、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを送受信メッセージ表示部に時系列に表示し、
メッセージ入力部が選択されると前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付け、
手書き描画入力部が選択されると前記操作者自身が手書きで描く手書き描画の入力を受け付け、
前記メッセージ表示部の手書き入力開始指示部が選択されると前記手書き描画入力部へ即時に移行する
コミュニケーション処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ユーザ同士がユーザ端末を用いてコミュニケーションをとるようなコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法に関する。
【背景技術】
【０００２】
従来、ユーザが携帯する端末といえば携帯電話機であった。近年では、ユーザが携帯する端末が、電話機能に加えてインターネット機能や決済機能等の様々な機能が付与されたスマートフォンに移行してきている。このスマートフォンでは、電話によるコミュニケーションに加えて、メールによるコミュニケーションも行えるため、コミュニケーションの幅が広がっている。
【０００３】
そして、送信したメッセージと届いたメッセージをタイムライン（時系列）に沿って確認でき、しかもメッセージが送信されると即座に受信するアプリケーションも提供されている。このようなアプリケーションは、比較的長文が用いられるメールに比べて短文でメッセージが送られることが多い。そして、ちょっとしたメッセージが届くとすぐに返信するような利用が行われている。このため、従来に比べてコミュニケーションのレスポンスタイミングが随分早くなっており、素早いレスポンスが望まれるようになってきている。
【０００４】
このようなスマートフォンによるコミュニケーションに関する技術として、チャットサーバを用いてメッセージをやりとりするメッセージ送受信支援システムが提案されている（特許文献１参照）。このメッセージ送受信支援システムは、多様なコンテンツを利用して円滑なコミュニケーションを図れるようにすることを目的としている。そして、共有を指示されたコンテンツのリソース情報を特定する共有部と、前記リソース情報を含む会話ビューとを備えることで、コンテンツをメッセージに効率的に展開できるとされている。
【０００５】
しかし、このメッセージ送受信支援システムは、コンテンツの送受信を行うだけであるから、ユーザのコミュニケーションに温かみを持たすことはできなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２１９７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、上述の問題に鑑み、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供し、ユーザの満足度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、前記サーバは、互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信を行うメッセージ管理機能部を備え、前記ユーザ端末は、メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部とを備え、前記メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備えたコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法であることを特徴とする。
【発明の効果】
【０００９】
この発明により、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】コミュニケーションシステムのシステム構成を示すブロック図。
【図２】各プログラムによる各サーバおよびユーザ端末の機能ブロック図。
【図３】ユーザ端末の画面構成を説明する説明図。
【図４】ユーザ端末の画面構成を説明する説明図。
【図５】ユーザ端末の画面構成を説明する説明図。
【発明を実施するための形態】
【００１１】
以下、この発明の一実施形態を図面と共に説明する。
【実施例】
【００１２】
図１は、コミュニケーションシステム１のシステム構成を示すブロック図である。  
コミュニケーションシステム１は、インターネット３に通信可能に接続されたアプリ配信サーバ５、メインサーバ１０、通話サーバ３０、及びユーザ端末５０を有している。
【００１３】
メインサーバ１０は、制御部１１、通信部１２、操作入力部１３、表示部１４、及び記憶部１５を備えている。  
通話サーバ３０は、制御部３１、通信部３２、操作入力部３３、表示部３４、及び記憶部３５を備えている。  
ユーザ端末５０は、制御部５１、通信部５２、操作入力部５３、表示部５４、音声入力部５５、音声出力部５６、記憶部５７、および撮影部５８を備えている。
【００１４】
メインサーバ１０と通話サーバ３０は、サーバコンピュータで構成されており、ユーザ端末５０はスマートフォン等の移動体端末により構成されている。これらは、いずれもハードウェア要素としてＣＰＵとＲＯＭとＲＡＭ等で構成されて各種演算や制御動作を実行する制御部（１１，３１，５１）、ＬＡＮボードやＷＩＦＩユニット等で構成されて有線または無線での通信を実行する通信部（１２，３２，５２）、タッチパネルやキーボードやマウスや押下ボタンやこれらの複数で構成されて接触操作による入力を受け付ける操作入力部（１３，３３，５３）、液晶ディスプレイや有機ＥＬディスプレイ等で構成されて文字や図等の画像を表示する表示部（１４，３４，５４）、およびハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部（１５，３５，５７）を備えている。
【００１５】
また、ユーザ端末５０には、さらに、マイクによって音声を集音することで音声入力を受け付ける音声入力部５５、スピーカーから音を発して音声出力を行う音声出力部５６、デジタルカメラによって静止画や動画を撮影する撮影部５８を備えている。
【００１６】
メインサーバ１０の記憶部１５には、全体を管理する管理プログラム１５ａと、お絵かき処理を管理するお絵かき管理プログラム１５ｂと、ユーザ端末５０とユーザに関するユーザ関連データ１５ｃとが記憶されている。ユーザ関連データ１５ｃには、ユーザ端末５０の識別情報（ＭＡＣアドレス等）、ユーザを識別するユーザ識別情報（ＩＤまたは電話番号等）、および、ユーザのコミュニケーション相手（友達）に関するコミュニケーション相手情報等、適宜の情報を記憶している。なお、お絵かき管理プログラム１５ｂは、管理プログラム１５ａと同じメインサーバ１０にインストールするに限らず、別途の描画サーバを設けて、この描画サーバにインストールされてもよい。
【００１７】
通話サーバ３０の記憶部３５には、アドレス発行等を行って通話相手を管理する通話相手管理プログラム３５ａと、ＩＰネットワーク内で、ＩＰ電話端末の回線交換を行うＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）等の通話プログラム３５ｂと、ユーザ端末５０の識別情報等で構成されて通話を実現するための情報である通話用管理情報３５ｃとを記憶している。
【００１８】
ユーザ端末５０の記憶部５７は、コミュニケーション用のアプリケーションであるコミュニケーションアプリ５７ａ、および、コミュニケーション相手の識別情報等のコミュニケーション相手データ５７ｂを記憶している。
【００１９】
図２は、図１とともに説明したハードウェアを用いてメインサーバ１０、通話サーバ３０、およびユーザ端末５０の各制御部１１，３１，５１がそれぞれのプログラム（１５ａ，１５ｂ，３５ａ，３５ｂ，５７ａ）によって実行する機能を表す機能ブロック図である。
【００２０】
図３〜図５は、ユーザ端末５０の表示部５４に表示する各画面の構成を説明する説明図である。各画面は、表示によってユーザに伝えるとともに、表示部５４に重ねて設けられた透明のタッチパネルが入力操作されることによって操作入力を受け付ける入力要素としても機能する。
【００２１】
接続相手選択部６５は、図３（Ａ）に示す接続相手選択画面１１０を表示し、一覧表示部１１６に一覧表示した接続相手１１６ａの中からひとつ（一人）をユーザに選択させる。この接続相手１１６ａは、特定の個人ひとりである場合もあれば、複数人で作成されたグループである場合もある。
【００２２】
接続相手選択画面１１０の下部には、メッセージを送受信したことのある接続相手を一覧表示するとともに新たな接続相手への新規メッセージの送信も可能とするメッセージボタン１１７、登録済みの接続相手を一覧表示部１１６に一覧表示して接続相手（友だち）の追加を可能とする画面を表示する連絡先ボタン１１８、接続相手（友だち）を追加する友だち追加ボタン１１９、接続相手と音声による双方向の無料通話を行う通話操作ボタン１２０、およびプロフィール編集や設定変更やスタンプ購入やグリーティングカード購入や画面イメージ変更やお絵描きチャットやお絵描きメールやイベント表示や機種変更処理や公式アカウント確認や月額コース変更や災害時メッセージ送信等を可能とする画面に移行するその他ボタン１２１を備えている。
【００２３】
なお、接続相手選択画面１１０で通話操作ボタン１２０が選択されると、通話開始処理部７１（図２参照）は、接続相手一覧を表示して接続相手を選択させ、メインサーバ１０とは別に設けられた通話サーバ３０に通話依頼信号を送信し、接続相手との通話機能部７３による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【００２４】
これらの各要素により、接続相手選択部６５（図２参照）は、ユーザによる接続相手の選択を受け付け、選択された接続相手とメッセージによるコミュニケーションを行うメッセージ機能部６６へ接続相手を渡す。  
メッセージ機能部６６は、文字入力機能部６６ａ、絵文字入力機能部６６ｂ、イラスト選択機能部６６ｃ、手書き入力機能部６６ｄ、手書き複合入力機能部６６ｅ、及びデコレーション写真作成機能部６６ｆを有している。
【００２５】
メッセージ機能部６６は、図３（Ｂ）のメッセージ表示画面１３０を表示し、入力されたメッセージの接続相手への送信と、送信した送信メッセージ１３６および接続相手から受信した受信メッセージ１３５のタイムライン表示部１３４への表示を行う。タイムライン表示部１３４では、左右のうち一方が自分、他方が自分以外の接続相手となっており、送信と受信が一目でわかるように表示される。
【００２６】
メッセージ表示画面１３０の上部には、接続相手選択画面１１０に移行する戻るボタン１３１、接続相手の氏名（若しくはニックネーム）を表示する接続相手表示部１３２、表示している接続相手とのメッセージに関する設定等を行うためのポップアップ画面（図示省略）を表示する設定ボタン１３３が設けられている。
【００２７】
このポップアップ画面（図示省略）には、タイムラインへ他のユーザを招待する招待ボタン、タイムラインの接続相手をブロックするブロックボタン、表示名を編集する表示名編集ボタン、およびタイムライン表示部１３４の背景（画像、色、写真等）を変更する背景設定ボタンが設けられている。
【００２８】
招待ボタンが選択されると、接続相手追加部６１（図２参照）が機能し、上述した一覧表示部１１６と同様の画面を表示して追加する接続相手の選択を受け付け、選択された接続相手との接続を確立して、以降の入力メッセージを追加した接続相手に送信するとともに、追加した接続相手から受信したメッセージをタイムライン表示部１３４に時系列に表示する。
【００２９】
メッセージ表示画面１３０の下部には、コミュニケーション方法を選択するコミュニケーション方法選択部１３７、入力内容を文字か絵文字かに切り替えてその入力を受け付ける入力内容受付部１３８、入力内容受付部１３８に入力する絵文字（アイコン）を選択する絵文字選択部（アイコン選択部）１２１、送信するイラスト（スタンプ）を選択するイラスト選択部（スタンプ選択部）１２２、手書き描画画像を作成する手書き描画画像作成部１２３、手書き描画やスタンプ等を複合して画像作成できる複合画像作成部１２４、デコレーション写真を作成するデコレーション写真作成部１２５、および入力された内容を接続相手に送信する送信ボタン１３９が設けられている。
【００３０】
コミュニケーション方法選択部１３７が選択されると、メッセージ表示画面１３０の下方約半分の領域にコミュニケーション方法一覧（図示省略）を表示する。このコミュニケーション方法一覧には、通話機能部７３を機能させて相手と無料通話が可能な通話操作ボタン、デコレーション写真作成機能部６６ｆを機能させてデコレーションした写真を撮影するデコレーション写真作成ボタン、過去に作成した手書き描画画像（お絵かきによる画像）を選択して送信する手書き描画画像選択ボタン（スクラップブック）、写真撮影または動画撮影をして送信するカメラボタン、手書き入力機能部６６ｄを機能させて手書き入力による描画を受け付けて作成された手書き入力画像を送信する手書き入力ボタン（お絵かきメール）、予め登録された定型文を選択して送信する定型文送信ボタン、撮影済みの写真を選択して送信する写真送信ボタン（ギャラリー）、録画済みの動画を選択して送信する動画送信ボタン（モーション）、フリーハンドでのお絵かき（手書き描画）をしてできた絵を送信するお絵かきメールボタン、接続相手とリアルタイムで双方向にフリーハンドでのお絵かきをするお絵かきトークボタン（お絵かきチャット）、連絡先を送信する連絡先送信ボタン、予め登録されているグリーティングカードを選択して送信するカードボタン、および指定範囲の地図を送信する地図ボタン等が設けられている。
【００３１】
入力内容受付部１３８が選択されると、図３（Ｃ）に示すように、文字入力用の文字選択入力部１２８が表示される。この文字選択入力部は、ひらがなを入力するひらがな入力部、アルファベットを入力するアルファベット入力部、数字を入力する数字入力部、および絵文字を入力する絵文字入力部を適宜切替表示できる。この文字選択入力部１２８でユーザに入力された文字は、入力内容受付部１３８に表示され、送信ボタン１３９でテキストデータとして送信される。
【００３２】
手書き描画画像作成部１２３が選択されると、手書き入力機能部６６ｄが機能し、図３（Ｄ）に示す手書き描画画面１７０を表示する。
手書き描画画面１７０は、画面の大部分を占めてフリーハンドでの描画を受け付けて表示する手書き描画部１７５を備えている。この手書き描画部１７５は、初期表示としてあらかじめ定められた単調な背景画像（例えば、一色の背景画像、一色で明度のグラデーションが施された背景画像など）が表示されており、この実施例では白色の背景が表示されている。手書き描画画面１７０の上部には、手書き描画を終了してメッセージ表示画面１３０にキャンセルボタン１７１、手書き描画部１７５の描画内容を画面上で消去して背景（初期の白色の背景、または選択された写真画像）のみを表示するゴミ箱ボタン１７２、および背景を写真撮影してその写真に差し替えるか撮影済みの写真に差し替えるか地図の位置と範囲を指定してその地図に差し替える背景合成ボタン１７３、および作成した手書き描画画像を送信する送信ボタン１７４を備えている。手書き描画画面１７０の下部には、イラスト（スタンプ）を張り付けできるイラスト追加ボタン１７６、描画するペンの形状（大きさなど）を変更するペン形状変更ボタン１７７、描画するペンの色を変更するペン色変更ボタン１７８、描画内容を部分的に消去する消しゴムを選択する消しゴムボタン１７９、描画操作を１つ前に戻す戻るボタン１８１、戻した描画操作を１つ後に進める進むボタン１８２、および、描画内容を記憶部５７（図１参照）に記憶または送信（メール送信、短文投稿サイトへの投稿、またはＳＮＳへの投稿など）する描画内容発信ボタン（描画内容保存ボタン）１８３を備えている。これらのボタン１７６〜１８３は、描画するツールを選択するツール選択部として機能する。なお、ゴミ箱ボタン１７２は、背景以外を削除する構成であるから、背景として写真画像が選択されて表示されている場合は、写真画像がそのまま残る。このため、手書き描画によって線図や手書き文字を描いてから写真を選択し、手書き文字や線図の表示をやり直したい場合に写真画像を残したまま再作成することができる。なお、写真画像も消去したい場合は、キャンセルボタン１７１によって作成を一旦キャンセルすれば、再度白色の背景だけのまっさらなキャンバス上に手書き描画を開始できる。
【００３３】
ペン形状変更ボタン１７７が選択された場合、図４（Ａ）に示すように、ペン形状を一覧表示するペン形状選択部１７７ａを表示し、どの形状のペンにするか選択を受け付けて、以降はその形状のペンで描画を行えるようにする。なお、図示の例では、ペン形状としてサイズの異なるペンを選択できるようにしているが、形状の異なるペン形状を選択可能としてもよい。
【００３４】
ペン色変更ボタン１７８が選択された場合、図４（Ｂ）に示すように、ペン色を一覧表示するペン色選択部１７８ａを表示し、どの色のペンにするか選択を受け付けて、以降はその色のペンで描画を行えるようにする。なお、ノーマル、パステル、半透明といったグループを選択して当該グループ内のペン色を選択する構成とすることで、多数の色から容易に任意の色を選択できるようにしている。
【００３５】
イラスト追加ボタン１７６が選択された場合、図４（Ｃ）に示すように、下方のツール群の表示をイラスト追加用表示に切り替える。このイラスト追加用表示のときに表示されるツール群は、手書き描画画面へ戻るボタン１７６ａ、イラスト選択ボタン（スタンプ選択ボタン）１７６ｂ、イラストを左に任意の角度に回転させるイラスト左回転ボタン１７６ｃ、イラストを右へ任意の角度に回転させるイラスト右回転ボタン１７６ｄ、イラストのサイズを縮小するイラスト縮小ボタン１７６ｅ、および、イラストのサイズを拡大するイラスト拡大ボタン１７６ｆを備えている。これにより、任意のイラストを張り付け、サイズおよび向きを変更できるようにしている。
【００３６】
背景合成ボタン１７３が選択された場合、図４（Ｄ）に示すように、合成対象選択表示部１９０を表示し、撮影済みの写真画像をライブラリから選択させるライブラリから選択ボタン１９１、カメラで写真撮影してその写真を採用する撮影ボタン１９２、地図を表示させて任意の位置および範囲の地図を選択させる地図選択ボタン１９３、および背景合成をキャンセルするキャンセルボタン１９５を備えている。
【００３７】
描画内容発信ボタン（描画内容保存ボタン）１８３が選択された場合、図５（Ａ）の発信先指定部２１０を表示し、完成した手書き描画画像を保存する保存ボタン２１１、完成した手書き描画画像をメッセージ表示画面１３０へメール送信するメール送信ボタン２１２、完成した手書き描画画像をその他のアプリケーション（例えばメールアプリケーション、画像編集アプリケーション等）に送信するその他アプリ転送ボタン２１３、および完成した手書き描画画像の発信を取りやめるキャンセルボタン２１５を備えている。
【００３８】
複合画像作成部１２４が選択された場合、図５（Ｂ）に示すように、複合画像作成画面17を表示する。複合画像作成画面２３０は、手書き描画を受け付ける手書き描画部6を備えており、下方に、グリーティング用フレーム選択部（グリーティング用テンプレート選択部）２３１、写真選択部２３２、手書き描画画像作成部１２３、グリーティング用イラスト選択部（グリーティング用貼付素材選択部）２３３、およびイラスト選択部（スタンプ選択部）１２２を備えている。
【００３９】
グリーティング用フレーム選択部２３１は、グリーティング用のフレーム画像をダウンロードした複数の画像の中から選択させ、選択されたフレーム画像を手書き描画部１７５に重ねて表示（合成表示）する。
【００４０】
写真選択部２３２は、撮影済みの写真を選択するか、あるいは写真撮影をしてその撮影をした写真を選択することを受け付け、選択された写真を手書き描画部１７５に重ねて表示（合成表示）する。
【００４１】
グリーティング用イラスト選択部２３３は、グリーティング用のイラスト画像をダウンロードした複数の画像の中から選択させ、選択されたイラスト画像を手書き描画部１７５に重ねて表示（合成表示）する。これらの選択部２３１，２３２，２３３は、手書き描画画像を作成するツールを選択するツール選択部として機能する。
【００４２】
このようにして、図５（Ｃ）に示すように、背景画像２２２の上に手書き文字２２０が描かれた手書き描画画像を迅速に作成でき、さらに、図５（Ｄ）に示すように、写真画像２２５（ユーザ選択画像）等を手書き文字２２０の向こう側に合成することができる。
【００４３】
また、手書き描画画像に書き込みできる各要素は、要素毎にレイヤー構造となっている。すなわち、最も上面（手前側）のレイヤーから最も下面（奥側）のレイヤーまでの順で説明すると、第１レイヤーがイラスト用レイヤー、第２レイヤーが手書き描画用レイヤー、第３レイヤーがフレーム用レイヤー、第４レイヤーが写真レイヤー（および背景レイヤー）となっている。このため、イラストは常に手前に表示され、手書き描画の線などがイラストの手前に重なってきたなくなることが防止され、かつ、手書き描画の線がイラスト以外に隠されることが無い（写真の裏に隠れて全く見えなくなることや、フレームによって切り取られるといったことが無い）ように構成されている。同じレイヤー上の描かれたオブジェクトは、後のものが手前に配置される。したがって、イラストを配置した後に重ねてイラストを配置すると、後から配置したイラストが前面に現れ、先に配置したイラストのうち後のイラストと重なっている部分は見えないこととなる。このようにして、簡易操作で最も適切な手書き描画画像が作成されるように構成されている。
【００４４】
メインサーバ１０（図２参照）のメッセージ転送部１７は、ユーザ端末５０から受信した送信メッセージ１３６（図３（Ｂ）参照）の内容を接続相手のユーザ端末５０に転送する。また、メッセージ転送部１７は、転送したメッセージを時系列に管理するメッセージ管理機能部としても機能する。これにより、入力完了したメッセージの双方向でのやり取りおよび過去からのやり取りの時系列での確認を可能にしている。
【００４５】
なお、上述した手書き描画画面１７０を用いた手書き描画でのコミュニケーションは、完成した手書き描画画像を送信する形でメールのようにして行われるが、コミュニケーションシステム１は、このような手書き描画によるコミュニケーションをリアルタイムに行うお絵描きトーク機能も有している。
【００４６】
上述したコミュニケーション方法選択部１３７にてお絵かきトークボタン（お絵かきチャット）が選択された場合、ユーザ端末５０（図２参照）は、お絵かきトークを開始する旨のお絵かきトーク開始用通知（図示省略）を表示してキャンセルボタンとＯＫボタンを表示し、ＯＫボタンが選択されるとお絵かき開始処理部６７（図２参照）によってお絵かき処理を開始する。
【００４７】
このとき、お絵かき開始処理部６７は、お絵かき機能部６９を起動してお絵かきトーク画面（図３（Ｄ）の手書き描画画面１７０と同一要素を全て有する同様のお絵描きトーク画面）を表示させると共に、接続相手とのお絵かきトークを開始するお絵かきトーク開始依頼信号をメインサーバ１０へ送信する。お絵かきトーク開始依頼信号を受けたメインサーバ１０は、お絵かきリアルタイム処理部１８によって接続相手にお絵かきトーク開始要求があることを知らせるお絵かきトーク招待メッセージ（図示省略）を表示する。これを受けた接続相手は、自身のユーザ端末５０により「ＯＫ」を選択してお絵かきトークを開始するか、あるいは「キャンセル」をしてメッセージにて「少し待って」と回答するといったことができる。「ＯＫ」が選択されてこの信号をメインサーバ１０が受信すると、お絵かきリアルタイム処理部１８は、接続相手となっている２以上のユーザ端末５０のお絵かき機能部６９に対して情報（パケット）を連続的に送受信する双方向のリアルタイムでのお絵かき処理を開始する。
【００４８】
ユーザ端末５０のお絵かき機能部６９は、お絵かきトーク画面（図３（Ｄ）の手書き描画画面１７０と同様のお絵描きトーク画面）を表示し、ユーザによるフリーハンドの描画を受け付け、自己のユーザと接続相手がフリーハンドで描画した軌跡をリアルタイムに表示部５４（図１参照）に表示する。
【００４９】
キャンセルボタン１７１が選択されると、お絵かき終了処理部６８（図２参照）は、メインサーバ１０に退出信号を送信してお絵かきトークを終了し、メッセージ機能部６６によりメッセージを送受信するメッセージ表示画面１３０に戻る。
【００５０】
お絵かきリアルタイム処理部１８は、ユーザ端末５０のお絵かき機能部６９によって描画された情報（パケット）を刻々とリアルタイムで受け取って接続相手にリアルタイムで送信する。また、接続相手の両方から同時に描画された場合、この両方の描画内容を描画前の画像に対して合成する合成処理を行ってから接続相手のお絵かき機能部６９へ送信する。従って、お絵かきトークをしている利用者は、自分が描画している最中であっても相手の描画も同時に描かれ、１つのキャンバスに接続相手と一緒に描いているようにリアルタイムの描画を行える。
【００５１】
メインサーバ１０（図２参照）の接続状態確認部１９は、お絵かきリアルタイム処理部１８によってユーザ端末５０と双方向にやり取りしている応答状態を確認している。接続状態確認部１９は、相手からの応答が所定時間無くなる、あるいは相手からの応答信号が不適切な信号になっている等、お絵かきトーク中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、お絵かきトークをしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、接続が切断されたことを通知する。
【００５２】
接続断通知部６２は、メインサーバ１０からの通知を受けて、例えば「○○が退室しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通信が切断され、お絵かきトークでこちらが描いている描画内容が相手に伝わっていない状態であることをユーザに伝える。
【００５３】
お絵かきトーク画面で通話操作ボタンが選択されると、通話開始処理部７１（図２参照）は、メインサーバ１０とは別に設けられた通話サーバ３０に通話依頼信号を送信し、通話機能部７３による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【００５４】
通話サーバ３０は、アドレス割り当て部３７により、通話要求してきたユーザ端末５０と、その接続相手となっている相手側のユーザ端末５０に対して、一時的アドレスをそれぞれ割り当てる。このアドレスによって通話相手を特定することで、双方向の通話を可能としている。すなわち、相手側の電話番号を知らなくても、その都度割り当てられるアドレスを用いてＩＰ電話による通話が可能となる。また、アドレス割り当て部３７は、接続相手のユーザ端末５０に通話要求があることを通知する。
【００５５】
この通知を受けたユーザ端末５０は、図４（Ｃ）に示すように、お絵かきトーク画面に着信中メッセージを表示し、着信中であること（通話要求が来て電話のコール状態であること）をユーザに知らせる。このとき、ユーザ端末５０は、操作案内メッセージも表示し、通話操作ボタンを選択することで通話開始できること、通話中もお絵かきトークは継続して利用できることをユーザに知らせる。
【００５６】
通話サーバ３０の通話リアルタイム処理部３８は、アドレス割り当て部３７で割り当てられたアドレスのユーザ端末５０との間で通話信号（パケット）を送受信し、通話を実施する。この通話リアルタイム処理部３８は、ＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）の機能を有しており、通話の中継を実現している。
【００５７】
ユーザ端末５０の通話機能部７３は、通話サーバ３０を介した接続相手のユーザ端末５０との通話（電話）を実行する。この通話中のとき、お絵かきトーク画面は、通話操作ボタンの形状および色を変更して、通話中であることをユーザに知らせる。このとき、通話機能部７３と並列にお絵かき機能部６９も動作しているため、ユーザ端末５０は、通話とお絵かきの両方を同時にリアルタイムに送受信できる。従って、図４（Ｄ）に示すように手書き描画部１７５に描画しながら口頭で説明するといったことができる。
【００５８】
通話サーバ３０（図２参照）の電波状態確認部３９は、ユーザ端末５０との電波状態を確認する。すなわち、電波状態が良好であると通話が良好に成立するが、電波状態がある程度悪くなると通話の音が途切れる等の状態が発生し、さらに電波状態が悪くなると通話ができなくなる。このため、ユーザ端末５０の電波状態を常時確認している。
【００５９】
通話切断部４１は、電波状態確認部３９で確認している電波状態が所定状態より悪くなると、通話の切断を実行する。この所定状態は、完全に通話不可となった状態ではなく、それより前の通話が少々困難になっている電波状態としている。すなわち、電波が完全に遮断されていなくても、ある程度悪くなっている状態（例えば、スマートフォンの機能による電波状態を示すアンテナ表示がフルでもゼロでもなく３本中１本または２本となっている状態など）であると、パケットロス等が発生し始めるため、画面上は通話継続中に見えるにもかかわらず音声が届かないことが生じる。本実施形態では、お絵かきトークをしながら通話も行うため、通常の音声通話のみの電話と違い、音声が届いていないことに気づきにくい。つまり、お絵かきトークのリアルタイム処理が正常動作しながら通話音声が届かないといった状況が生じると、ユーザは音声が届いていないとは思わない。このため、こちらが言ったことを相手が蒸し無視して（実際には音声が届いていない）お絵かきトークでの描画を続けているような状態が生じ得る。このような状況を避けるため、パケットロス等によって音声が届かない状況の発生し得る電波状態になると、通話切断部４１が強制的に通話を切断し、一時的にユーザ端末５０に付与していたアドレスを解放する。
【００６０】
このときアドレスを解放することによって、使われないアドレスが割り当て不可状態で残り続けてアドレスが枯渇することを防止している。通話切断部４１は、通話が切断されたことを通話の接続をしていた全て（２人通話であれば２人、グループ通話であればグループ全員）のユーザ端末５０に通知する。
【００６１】
ユーザ端末５０の通話断通知部６３は、通話サーバ３０からの通知を受けて、「無料通話を終了しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通話が切断され、会話が相手に伝わっていない状態であることをユーザに伝えるとともに、リアルタイムのお絵かきトークは継続する。
【００６２】
また、上述した通話サーバ３０（図２参照）の電波状態確認部３９は、電波状態が悪くなって通話が成立しない接続断状態になった場合、通話中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、通話をしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、通話の接続が切断されたことを通知する。この状態のときは、メインサーバ１０の接続状態確認部１９においても応答不可状態であると判断して接続を切断することになるから、お絵かきトークと通話の両方が接続断となる。このため、ユーザ端末５０には、「相手の接続を待っています」といった接続待機メッセージと、お絵かきトークと通話が終了したことを示す「○○が退室し無料通話も終了しました」といった全リアルタイム処理終了メッセージを表示する。またこのとき、通話切断されたユーザ端末５０の通話操作ボタンの形状と色も通話していない状態の表示に戻す。なお、図示の例はグループでお絵かきトークおよび通話をしていた場合の例であり、そのグループ内の一人の通信が切断されたことを表示している。
【００６３】
ユーザ端末５０において、通話中に通話操作ボタンが選択されると、通話終了処理部７２（図２参照）は、通話を終了して通話相手のユーザ端末５０に通話終了を通知するとともに、通話操作ボタンの形状と色も通話していない状態の表示に戻す。
【００６４】
以上の構成及び動作により、手書き描画を用いたコミュニケーションを容易に行うことができ、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム１を提供することができる。
【００６５】
すなわち、入力した文字を中心とするコミュニケーションは、コンピュータによって表示される機械的な文字を使用するため、表示も機械的で温かみに欠ける。仮に、写真に文字などを描いて送信できる機能を設けたとしても、そのように写真を選択して文字を描く行為に時間がかかるため、そのような文字が描かれた写真等によるコミュニケーション回数は多くならない。したがって、入力した文字が大部分となるコミュニケーションが繰り広げられる。
【００６６】
これに対して、コミュニケーションシステム１は、接続相手選択画面１１０にてコミュニケーションの相手を選択してメッセージ表示画面１３０を表示すると、文字選択入力（文字ボタンの選択による入力、キー入力）による文字入力のできる入力内容受付部１３８と、手書き描画を行える手書き描画画像作成部１２３および複合画像作成部１２４が、同一画面に並んでいる。
【００６７】
そして、文字選択入力をする場合は、第１の操作として入力内容受付部１３８を選択して文字選択入力部１２８を表示させ、第２の操作として文字選択入力部１２８による文字選択入力が可能な状態となる。
【００６８】
また、手書き描画をする場合は、第１の操作として手書き描画画像作成部１２３（または複合画像作成部１２４）を選択して手書き描画画面１７０（または複合画像作成画面２３０）を表示させ、第２の操作として手書き描画部１７５に直接手書き描画することが可能な状態となる。つまり、手書き描画画面１７０（または複合画像作成画面２３０）が表示された段階で、ペンの色とサイズがデフォルト値として初期設定されたもの（若しくは前回最終使用のものとしてもよい）に決定しているため、ペン等を選ばなくとも手書き描画を開始できる。
【００６９】
従って、文字選択入力を開始するための手間（操作回数）と、手書き描画を開始するための手間（操作回数）は変わらないため、操作の面倒さで手書き描画を避けるといったことが生じない。しかも、手書き描画は、文字選択入力で必要とされる文字選択入力部１２８でのキー選択といった煩わしい操作がないため、キー配列を覚えるといったことをせずとも、白紙の背景に直接手書きで描き始めることができ、文字選択入力よりも容易である。
【００７０】
このように、手書き描画が容易になる構成であるため、本コミュニケーションシステム１を用いたコミュニケーションは、自然に手書き描画が増加し、接続相手とのやり取りの多くが手書き描画となる。そうすると、メッセージ表示画面１３０のタイムライン表示部１３４には、送信メッセージ１３６および受信メッセージ１３５として多くの手書き描画画像が並ぶこととなり、温かみのあるコミュニケーション画面となる。
【００７１】
このように、手書き描画をするための手間が文字選択入力をするための手間と同一かそれ以下とすることで、コンピュータを用いながらもあたたかみのあるコミュニケーションが自然に行われるコミュニケーションシステム１を提供でき、コミュニケーションする人々の気持ちを明るくでき、かつ感情豊かなコミュニケーションを促進できる。
【００７２】
また、上述した構成及び動作により、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム１を提供することができ、ユーザの満足度を向上させることができる。
【００７３】
お絵かきトークや通話では、メッセージを入力し完成させてから送信ボタンを押して送信するようなコミュニケーションとは異なり、描画の開始と共に描画の軌跡に沿って相手側のユーザ端末５０にもリアルタイムで表示されていき、また会話もリアルタイムで相手に届くため、非常に緊密なコミュニケーションをとることができる。
【００７４】
メッセージの送受信やお絵かきトークの後に通話を開始できるようにしているため、音の無いコミュニケーションをしてから音のあるコミュニケーションに移行することができる。これにより、通話しようと思ったら相手が声を出して話せない状況であった場合など、無音で通話要求と通話拒否のやりとりをし、かつ、通話できない理由を伝えるといったことができる。これにより、お互いのその時の状況に応じた円滑なコミュニケーションを図ることができる。
【００７５】
また、お絵かきトークをして接続相手と無音のリアルタイムコミュニケーションを取っている状態から、通話による音ありのリアルタイムコミュニケーションを追加できるため、通話の要求があって出られない状況であっても、無音でお絵かきトークによって今は通話できないといったことを知らせることができる。このように通話できない理由を即座に伝えられるため、円滑なコミュニケーションをとることができる。
【００７６】
また、お絵かきトークから通話を追加する際、通話要求を受けたユーザ端末５０では無音のメッセージにて通話を受けるか確認するため、音を出さずに通話可否を決定することができる。このため、例えば会議中等の電話に出られない状況で通話要求が届いても、手元の操作で音を出さずに通話要求をキャンセルし、さらにお絵かきトークで今は難しいことを無音で伝える、あるいはメッセージ表示画面１３０に戻ってメッセージで今は難しいことを無音で伝えることができる。
【００７７】
また、電波状態がある程度悪くなると、お絵かきトークを継続しつつ通話を終了するため、こちらの会話が相手に届いていないと思わずにコミュニケーションを続けようとするといった状態を防止できる。
【００７８】
また、通話依頼のある毎にアドレスを一時的に割り当て、通話が切断されるとアドレスを解放する構成であるため、ユーザ毎に予めアドレスを割り当てる必要がなく、アドレスの枯渇を防止することができる。また、一時的なアドレスを用いて通話を実現するため、相手の電話番号等を知らなくても通話できる。従って、例えば２人でお絵かきトークと通話を行っていて、一人は知っているがもう一人は知らない人をコミュニケーションに追加するときに、電話番号を知らせたりせずとも追加したい人を招待して３者通話を行うことができる。
【００７９】
また、メインサーバ１０と通話サーバ３０を別のサーバとしたため、パケット量の集中を回避してリアルタイム処理が遅くなることを防止できる。
【００８０】
このようにして、リアルタイム性が高くコミュニケーション手段の幅が広いコミュニケーションシステム１を提供できる。特に、コミュニケーションシステム１は、触覚と視覚、および聴覚によるコミュニケーションを同時に処理でき、しかも、これを手のひらで持つ携帯型の情報端末で実現することができる。
【００８１】
また、コミュニケーションシステム１は、作成し終えたメッセージや写真等を送受信するメッセージのやり取りをしている途中からリアルタイムのお絵かきトークに移行できるため、ユーザ感覚としての応答速度を速めて緊密なコミュニケーションに移行できる。さらに、お絵かきトークを継続しながら通話も同時に開始できるため、描画によるリアルタイムのコミュニケーションと話すこと（音声）によるリアルタイムのコミュニケーションを同時並行にとることができ、幅広い手段を用いて相手のレスポンスがリアルタイムに得られる非常に緊密なコミュニケーションをとることができる。
【００８２】
この発明におけるサーバは、実施形態のメインサーバ１０に対応し、以下同様に、
メッセージ送受信プログラムは、管理プログラム１５ａとお絵かき管理プログラム１５ｂに対応し、
メッセージ管理機能部は、メッセージ転送部１７に対応し、
通信手段は、通信部３２に対応し、
入力手段は、操作入力部３３に対応し、
表示手段は、表示部３４に対応し、
コミュニケーションプログラムは、コミュニケーションアプリ５７ａに対応し、
相手選択部は、接続相手選択部６５に対応し、
手書き入力開始指示部は、手書き描画画像作成部１２３および複合画像作成部１２４に対応し、
送受信メッセージ表示部は、タイムライン表示部１３４に対応し、
メッセージ入力部は、入力受付部入力内容し、
手書き描画入力部は、手書き描画画面１７０および複合画像作成画面２３０に対応し、
消去操作部は、ゴミ箱ボタン１７２に対応し、
背景画像選択部は、背景合成ボタン１７３に対応し、
描画領域部は、手書き描画部１７５に対応し、
ツール選択部は、イラスト追加ボタン１７６、ペン形状変更ボタン１７７、ペン色変更ボタン１７８、消しゴムボタン１７９、グリーティング用フレーム選択部２３１、写真選択部２３２、およびグリーティング用イラスト選択部２３３に対応し、
ユーザ選択画像は、写真画像２２５に対応するが、
この発明は本実施形態に限られず他の様々な実施形態とすることができる。
【産業上の利用可能性】
【００８３】
この発明は、温かみのあるコミュニケーションが自然に繰り広げられることが望まれるようなコミュニケーション産業に利用することができる。
【符号の説明】
【００８４】
１…コミュニケーションシステム
１０メインサーバ
１５ａ…管理プログラム
１５ｂ…お絵かき管理プログラム
１７…メッセージ転送部
３２…通信部
３３…操作入力部
３４…表示部
５０…ユーザ端末
５７ａ…コミュニケーションアプリ
６５…接続相手選択部
１２３…手書き描画画像作成部
１２４…複合画像作成部
１３４…タイムライン表示部
１３８…入力内容受付部
１７０…手書き描画画面
１７２…ゴミ箱ボタン
１７３…背景合成ボタン
１７５…手書き描画部
１７６…イラスト追加ボタン
１７７…ペン形状変更ボタン
１７８…ペン色変更ボタン
１７９…消しゴムボタン
２２２…背景画像
２３０…複合画像作成画面
２３１…グリーティング用フレーム選択部
２３２…写真選択部
２３３…グリーティング用イラスト選択部
【図１】
2020135357.tif 000003
【図２】
2020135357.tif 000004
【図３】
2020135357.tif 000005
【図４】
2020135357.tif 000006
【図５】
2020135357.tif 000007
【手続補正書】
【提出日】令和1年9月6日(2019.9.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、
複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、
前記サーバは、
互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信を行うメッセージ管理機能部を備え、
前記ユーザ端末は、
メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、
前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、
前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部とを備え、
前記送受信メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備え、
前記手書き描画入力部は、
選択されているペンによるフリーハンドでの描画を受け付けるとともに、
任意のイラストを選択して配置するイラスト追加を受け付けるイラスト追加手段と、
選択または撮影した写真あるいは任意の地図を背景に合成する背景合成手段とを備えた
コミュニケーションシステム。
【請求項２】
前記手書き描画入力部は、
前記イラストを追加するイラスト用レイヤーと、
前記フリーハンドでの描画をする手書き描画用レイヤーと、
前記写真または前記地図である前記背景の背景レイヤーとを備え、
前記イラスト用レイヤーを最も上面に配置し、
前記手書き描画用レイヤーを中間に配置し、
前記背景レイヤーを最も下面に配置した構成である
請求項１記載のコミュニケーションシステム。
【請求項３】
前記手書き描画入力部は、
前記フリーハンドでの描画、イラストの追加、および背景の合成の１以上を用いた手書き描画画像が完成して送信手段が選択されると前記送受信メッセージ表示部へ前記手書き描画画像を送信する構成である
請求項１または２記載のコミュニケーションシステム。
【請求項４】
前記送受信メッセージ表示部とは別に、前記相手とリアルタイムで双方向にフリーハンドでのお絵かきをするお絵かき機能部を備え、
前記お絵かき機能部は、
描画された情報をリアルタイムに前記相手の前記ユーザ端末へ送信し、両方の前記ユーザ端末で同時に描画された場合にこの両方の描画内容を描画前の画像に対して合成する合成処理を行ってから前記相手の前記ユーザ端末へ送信する構成である
請求項３記載のコミュニケーションシステム。
【請求項５】
コンピュータを、
メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、
前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、
前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部として機能させ、
前記送受信メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備え、
前記手書き描画入力部は、
選択されているペンによるフリーハンドでの描画を受け付けるとともに、
任意のイラストを選択して配置するイラスト追加を受け付けるイラスト追加手段と、
選択または撮影した写真あるいは任意の地図を背景に合成する背景合成手段とを備えた
メッセージ送受信プログラム。
【請求項６】
ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、複数台の前記ユーザ端末と
通信して前記ユーザ端末間のコミュニケーションを許容するサーバによって前記ユーザ端末間のコミュニケーションを許容するコミュニケーション処理方法であって、
前記サーバは、互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信をメッセージ管理機能部により行い、
前記ユーザ端末は、メッセージ送受信の対象となる相手の選択を相手選択部により受け付け、
選択された相手から受信したメッセージと操作者自身により送信されたメッセージを送受信メッセージ表示部に時系列に表示し、
メッセージ入力部が選択されると前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付け、
手書き描画入力部が選択されると前記操作者自身が手書きで描く手書き描画の入力を受け付け、
前記送受信メッセージ表示部の手書き入力開始指示部が選択されると前記手書き描画入力部へ即時に移行する構成であり、
前記手書き描画入力部は、
選択されているペンによるフリーハンドでの描画を受け付けるとともに、
任意のイラストを選択して配置するイラスト追加をイラスト追加手段により受け付け、
選択または撮影した写真あるいは任意の地図を背景として背景合成手段により合成する
コミュニケーション処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ユーザ同士がユーザ端末を用いてコミュニケーションをとるようなコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法に関する。
【背景技術】
【０００２】
従来、ユーザが携帯する端末といえば携帯電話機であった。近年では、ユーザが携帯する端末が、電話機能に加えてインターネット機能や決済機能等の様々な機能が付与されたスマートフォンに移行してきている。このスマートフォンでは、電話によるコミュニケーションに加えて、メールによるコミュニケーションも行えるため、コミュニケーションの幅が広がっている。
【０００３】
そして、送信したメッセージと届いたメッセージをタイムライン（時系列）に沿って確認でき、しかもメッセージが送信されると即座に受信するアプリケーションも提供されている。このようなアプリケーションは、比較的長文が用いられるメールに比べて短文でメッセージが送られることが多い。そして、ちょっとしたメッセージが届くとすぐに返信するような利用が行われている。このため、従来に比べてコミュニケーションのレスポンスタイミングが随分早くなっており、素早いレスポンスが望まれるようになってきている。
【０００４】
このようなスマートフォンによるコミュニケーションに関する技術として、チャットサーバを用いてメッセージをやりとりするメッセージ送受信支援システムが提案されている（特許文献１参照）。このメッセージ送受信支援システムは、多様なコンテンツを利用して円滑なコミュニケーションを図れるようにすることを目的としている。そして、共有を指示されたコンテンツのリソース情報を特定する共有部と、前記リソース情報を含む会話ビューとを備えることで、コンテンツをメッセージに効率的に展開できるとされている。
【０００５】
しかし、このメッセージ送受信支援システムは、コンテンツの送受信を行うだけであるから、ユーザのコミュニケーションに温かみを持たすことはできなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２１９７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、上述の問題に鑑み、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供し、ユーザの満足度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、ユーザの操作入力を受け付ける入力手段と、情報の表示を行う表示手段と、情報の通信を行う通信手段とを有してユーザに操作されるユーザ端末と、複数台の前記ユーザ端末と通信して前記ユーザ端末間のコミュニケーションを許容するサーバとを備え、前記サーバは、互いにコミュニケーションをとる２以上の前記ユーザ端末に対するメッセージの送受信を行うメッセージ管理機能部を備え、前記ユーザ端末は、メッセージ送受信の対象となる相手の選択を受け付ける相手選択部と、選択された相手から受信したメッセージと操作者自身により送信されたメッセージを時系列に表示する送受信メッセージ表示部と、前記操作者自身が送信したいメッセージのテキストデータとしての入力を受け付けるメッセージ入力部と、前記操作者自身が手書きで描く手書き描画の入力を受け付ける手書き描画入力部とを備え、前記送受信メッセージ表示部に、前記手書き描画入力部へ即時に移行する手書き入力開始指示部を備え、前記手書き描画入力部は、選択されているペンによるフリーハンドでの描画を受け付けるとともに、任意のイラストを選択して配置するイラスト追加を受け付けるイラスト追加手段と、選択または撮影した写真あるいは任意の地図を背景に合成する背景合成手段とを備えたコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法であることを特徴とする。
【発明の効果】
【０００９】
この発明により、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】コミュニケーションシステムのシステム構成を示すブロック図。
【図２】各プログラムによる各サーバおよびユーザ端末の機能ブロック図。
【図３】ユーザ端末の画面構成を説明する説明図。
【図４】ユーザ端末の画面構成を説明する説明図。
【図５】ユーザ端末の画面構成を説明する説明図。
【発明を実施するための形態】
【００１１】
以下、この発明の一実施形態を図面と共に説明する。
【実施例】
【００１２】
図１は、コミュニケーションシステム１のシステム構成を示すブロック図である。  
コミュニケーションシステム１は、インターネット３に通信可能に接続されたアプリ配信サーバ５、メインサーバ１０、通話サーバ３０、及びユーザ端末５０を有している。
【００１３】
メインサーバ１０は、制御部１１、通信部１２、操作入力部１３、表示部１４、及び記憶部１５を備えている。  
通話サーバ３０は、制御部３１、通信部３２、操作入力部３３、表示部３４、及び記憶部３５を備えている。  
ユーザ端末５０は、制御部５１、通信部５２、操作入力部５３、表示部５４、音声入力部５５、音声出力部５６、記憶部５７、および撮影部５８を備えている。
【００１４】
メインサーバ１０と通話サーバ３０は、サーバコンピュータで構成されており、ユーザ端末５０はスマートフォン等の移動体端末により構成されている。これらは、いずれもハードウェア要素としてＣＰＵとＲＯＭとＲＡＭ等で構成されて各種演算や制御動作を実行する制御部（１１，３１，５１）、ＬＡＮボードやＷＩＦＩユニット等で構成されて有線または無線での通信を実行する通信部（１２，３２，５２）、タッチパネルやキーボードやマウスや押下ボタンやこれらの複数で構成されて接触操作による入力を受け付ける操作入力部（１３，３３，５３）、液晶ディスプレイや有機ＥＬディスプレイ等で構成されて文字や図等の画像を表示する表示部（１４，３４，５４）、およびハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部（１５，３５，５７）を備えている。
【００１５】
また、ユーザ端末５０には、さらに、マイクによって音声を集音することで音声入力を受け付ける音声入力部５５、スピーカーから音を発して音声出力を行う音声出力部５６、デジタルカメラによって静止画や動画を撮影する撮影部５８を備えている。
【００１６】
メインサーバ１０の記憶部１５には、全体を管理する管理プログラム１５ａと、お絵かき処理を管理するお絵かき管理プログラム１５ｂと、ユーザ端末５０とユーザに関するユーザ関連データ１５ｃとが記憶されている。ユーザ関連データ１５ｃには、ユーザ端末５０の識別情報（ＭＡＣアドレス等）、ユーザを識別するユーザ識別情報（ＩＤまたは電話番号等）、および、ユーザのコミュニケーション相手（友達）に関するコミュニケーション相手情報等、適宜の情報を記憶している。なお、お絵かき管理プログラム１５ｂは、管理プログラム１５ａと同じメインサーバ１０にインストールするに限らず、別途の描画サーバを設けて、この描画サーバにインストールされてもよい。
【００１７】
通話サーバ３０の記憶部３５には、アドレス発行等を行って通話相手を管理する通話相手管理プログラム３５ａと、ＩＰネットワーク内で、ＩＰ電話端末の回線交換を行うＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）等の通話プログラム３５ｂと、ユーザ端末５０の識別情報等で構成されて通話を実現するための情報である通話用管理情報３５ｃとを記憶している。
【００１８】
ユーザ端末５０の記憶部５７は、コミュニケーション用のアプリケーションであるコミュニケーションアプリ５７ａ、および、コミュニケーション相手の識別情報等のコミュニケーション相手データ５７ｂを記憶している。
【００１９】
図２は、図１とともに説明したハードウェアを用いてメインサーバ１０、通話サーバ３０、およびユーザ端末５０の各制御部１１，３１，５１がそれぞれのプログラム（１５ａ，１５ｂ，３５ａ，３５ｂ，５７ａ）によって実行する機能を表す機能ブロック図である。
【００２０】
図３〜図５は、ユーザ端末５０の表示部５４に表示する各画面の構成を説明する説明図である。各画面は、表示によってユーザに伝えるとともに、表示部５４に重ねて設けられた透明のタッチパネルが入力操作されることによって操作入力を受け付ける入力要素としても機能する。
【００２１】
接続相手選択部６５は、図３（Ａ）に示す接続相手選択画面１１０を表示し、一覧表示部１１６に一覧表示した接続相手１１６ａの中からひとつ（一人）をユーザに選択させる。この接続相手１１６ａは、特定の個人ひとりである場合もあれば、複数人で作成されたグループである場合もある。
【００２２】
接続相手選択画面１１０の下部には、メッセージを送受信したことのある接続相手を一覧表示するとともに新たな接続相手への新規メッセージの送信も可能とするメッセージボタン１１７、登録済みの接続相手を一覧表示部１１６に一覧表示して接続相手（友だち）の追加を可能とする画面を表示する連絡先ボタン１１８、接続相手（友だち）を追加する友だち追加ボタン１１９、接続相手と音声による双方向の無料通話を行う通話操作ボタン１２０、およびプロフィール編集や設定変更やスタンプ購入やグリーティングカード購入や画面イメージ変更やお絵描きチャットやお絵描きメールやイベント表示や機種変更処理や公式アカウント確認や月額コース変更や災害時メッセージ送信等を可能とする画面に移行するその他ボタン１２１を備えている。
【００２３】
なお、接続相手選択画面１１０で通話操作ボタン１２０が選択されると、通話開始処理部７１（図２参照）は、接続相手一覧を表示して接続相手を選択させ、メインサーバ１０とは別に設けられた通話サーバ３０に通話依頼信号を送信し、接続相手との通話機能部７３による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【００２４】
これらの各要素により、接続相手選択部６５（図２参照）は、ユーザによる接続相手の選択を受け付け、選択された接続相手とメッセージによるコミュニケーションを行うメッセージ機能部６６へ接続相手を渡す。  
メッセージ機能部６６は、文字入力機能部６６ａ、絵文字入力機能部６６ｂ、イラスト選択機能部６６ｃ、手書き入力機能部６６ｄ、手書き複合入力機能部６６ｅ、及びデコレーション写真作成機能部６６ｆを有している。
【００２５】
メッセージ機能部６６は、図３（Ｂ）のメッセージ表示画面１３０を表示し、入力されたメッセージの接続相手への送信と、送信した送信メッセージ１３６および接続相手から受信した受信メッセージ１３５のタイムライン表示部１３４への表示を行う。タイムライン表示部１３４では、左右のうち一方が自分、他方が自分以外の接続相手となっており、送信と受信が一目でわかるように表示される。
【００２６】
メッセージ表示画面１３０の上部には、接続相手選択画面１１０に移行する戻るボタン１３１、接続相手の氏名（若しくはニックネーム）を表示する接続相手表示部１３２、表示している接続相手とのメッセージに関する設定等を行うためのポップアップ画面（図示省略）を表示する設定ボタン１３３が設けられている。
【００２７】
このポップアップ画面（図示省略）には、タイムラインへ他のユーザを招待する招待ボタン、タイムラインの接続相手をブロックするブロックボタン、表示名を編集する表示名編集ボタン、およびタイムライン表示部１３４の背景（画像、色、写真等）を変更する背景設定ボタンが設けられている。
【００２８】
招待ボタンが選択されると、接続相手追加部６１（図２参照）が機能し、上述した一覧表示部１１６と同様の画面を表示して追加する接続相手の選択を受け付け、選択された接続相手との接続を確立して、以降の入力メッセージを追加した接続相手に送信するとともに、追加した接続相手から受信したメッセージをタイムライン表示部１３４に時系列に表示する。
【００２９】
メッセージ表示画面１３０の下部には、コミュニケーション方法を選択するコミュニケーション方法選択部１３７、入力内容を文字か絵文字かに切り替えてその入力を受け付ける入力内容受付部１３８、入力内容受付部１３８に入力する絵文字（アイコン）を選択する絵文字選択部（アイコン選択部）１２１、送信するイラスト（スタンプ）を選択するイラスト選択部（スタンプ選択部）１２２、手書き描画画像を作成する手書き描画画像作成部１２３、手書き描画やスタンプ等を複合して画像作成できる複合画像作成部１２４、デコレーション写真を作成するデコレーション写真作成部１２５、および入力された内容を接続相手に送信する送信ボタン１３９が設けられている。
【００３０】
コミュニケーション方法選択部１３７が選択されると、メッセージ表示画面１３０の下方約半分の領域にコミュニケーション方法一覧（図示省略）を表示する。このコミュニケーション方法一覧には、通話機能部７３を機能させて相手と無料通話が可能な通話操作ボタン、デコレーション写真作成機能部６６ｆを機能させてデコレーションした写真を撮影するデコレーション写真作成ボタン、過去に作成した手書き描画画像（お絵かきによる画像）を選択して送信する手書き描画画像選択ボタン（スクラップブック）、写真撮影または動画撮影をして送信するカメラボタン、手書き入力機能部６６ｄを機能させて手書き入力による描画を受け付けて作成された手書き入力画像を送信する手書き入力ボタン（お絵かきメール）、予め登録された定型文を選択して送信する定型文送信ボタン、撮影済みの
写真を選択して送信する写真送信ボタン（ギャラリー）、録画済みの動画を選択して送信する動画送信ボタン（モーション）、フリーハンドでのお絵かき（手書き描画）をしてできた絵を送信するお絵かきメールボタン、接続相手とリアルタイムで双方向にフリーハンドでのお絵かきをするお絵かきトークボタン（お絵かきチャット）、連絡先を送信する連絡先送信ボタン、予め登録されているグリーティングカードを選択して送信するカードボタン、および指定範囲の地図を送信する地図ボタン等が設けられている。
【００３１】
入力内容受付部１３８が選択されると、図３（Ｃ）に示すように、文字入力用の文字選択入力部１２８が表示される。この文字選択入力部は、ひらがなを入力するひらがな入力部、アルファベットを入力するアルファベット入力部、数字を入力する数字入力部、および絵文字を入力する絵文字入力部を適宜切替表示できる。この文字選択入力部１２８でユーザに入力された文字は、入力内容受付部１３８に表示され、送信ボタン１３９でテキストデータとして送信される。
【００３２】
手書き描画画像作成部１２３が選択されると、手書き入力機能部６６ｄが機能し、図３（Ｄ）に示す手書き描画画面１７０を表示する。
手書き描画画面１７０は、画面の大部分を占めてフリーハンドでの描画を受け付けて表示する手書き描画部１７５を備えている。この手書き描画部１７５は、初期表示としてあらかじめ定められた単調な背景画像（例えば、一色の背景画像、一色で明度のグラデーションが施された背景画像など）が表示されており、この実施例では白色の背景が表示されている。手書き描画画面１７０の上部には、手書き描画を終了してメッセージ表示画面１３０にキャンセルボタン１７１、手書き描画部１７５の描画内容を画面上で消去して背景（初期の白色の背景、または選択された写真画像）のみを表示するゴミ箱ボタン１７２、および背景を写真撮影してその写真に差し替えるか撮影済みの写真に差し替えるか地図の
位置と範囲を指定してその地図に差し替える背景合成ボタン１７３、および作成した手書き描画画像を送信する送信ボタン１７４を備えている。手書き描画画面１７０の下部には、イラスト（スタンプ）を張り付けできるイラスト追加ボタン１７６、描画するペンの形状（大きさなど）を変更するペン形状変更ボタン１７７、描画するペンの色を変更するペン色変更ボタン１７８、描画内容を部分的に消去する消しゴムを選択する消しゴムボタン１７９、描画操作を１つ前に戻す戻るボタン１８１、戻した描画操作を１つ後に進める進むボタン１８２、および、描画内容を記憶部５７（図１参照）に記憶または送信（メール送信、短文投稿サイトへの投稿、またはＳＮＳへの投稿など）する描画内容発信ボタン（描画内容保存ボタン）１８３を備えている。これらのボタン１７６〜１８３は、描画する
ツールを選択するツール選択部として機能する。なお、ゴミ箱ボタン１７２は、背景以外を削除する構成であるから、背景として写真画像が選択されて表示されている場合は、写真画像がそのまま残る。このため、手書き描画によって線図や手書き文字を描いてから写真を選択し、手書き文字や線図の表示をやり直したい場合に写真画像を残したまま再作成することができる。なお、写真画像も消去したい場合は、キャンセルボタン１７１によって作成を一旦キャンセルすれば、再度白色の背景だけのまっさらなキャンバス上に手書き描画を開始できる。
【００３３】
ペン形状変更ボタン１７７が選択された場合、図４（Ａ）に示すように、ペン形状を一覧表示するペン形状選択部１７７ａを表示し、どの形状のペンにするか選択を受け付けて、以降はその形状のペンで描画を行えるようにする。なお、図示の例では、ペン形状としてサイズの異なるペンを選択できるようにしているが、形状の異なるペン形状を選択可能としてもよい。
【００３４】
ペン色変更ボタン１７８が選択された場合、図４（Ｂ）に示すように、ペン色を一覧表示するペン色選択部１７８ａを表示し、どの色のペンにするか選択を受け付けて、以降はその色のペンで描画を行えるようにする。なお、ノーマル、パステル、半透明といったグループを選択して当該グループ内のペン色を選択する構成とすることで、多数の色から容易に任意の色を選択できるようにしている。
【００３５】
イラスト追加ボタン１７６が選択された場合、図４（Ｃ）に示すように、下方のツール群の表示をイラスト追加用表示に切り替える。このイラスト追加用表示のときに表示されるツール群は、手書き描画画面へ戻るボタン１７６ａ、イラスト選択ボタン（スタンプ選択ボタン）１７６ｂ、イラストを左に任意の角度に回転させるイラスト左回転ボタン１７６ｃ、イラストを右へ任意の角度に回転させるイラスト右回転ボタン１７６ｄ、イラストのサイズを縮小するイラスト縮小ボタン１７６ｅ、および、イラストのサイズを拡大するイラスト拡大ボタン１７６ｆを備えている。これにより、任意のイラストを張り付け、サイズおよび向きを変更できるようにしている。
【００３６】
背景合成ボタン１７３が選択された場合、図４（Ｄ）に示すように、合成対象選択表示部１９０を表示し、撮影済みの写真画像をライブラリから選択させるライブラリから選択ボタン１９１、カメラで写真撮影してその写真を採用する撮影ボタン１９２、地図を表示させて任意の位置および範囲の地図を選択させる地図選択ボタン１９３、および背景合成をキャンセルするキャンセルボタン１９５を備えている。
【００３７】
描画内容発信ボタン（描画内容保存ボタン）１８３が選択された場合、図５（Ａ）の発信先指定部２１０を表示し、完成した手書き描画画像を保存する保存ボタン２１１、完成した手書き描画画像をメッセージ表示画面１３０へメール送信するメール送信ボタン２１２、完成した手書き描画画像をその他のアプリケーション（例えばメールアプリケーション、画像編集アプリケーション等）に送信するその他アプリ転送ボタン２１３、および完成した手書き描画画像の発信を取りやめるキャンセルボタン２１５を備えている。
【００３８】
複合画像作成部１２４が選択された場合、図５（Ｂ）に示すように、複合画像作成画面17を表示する。複合画像作成画面２３０は、手書き描画を受け付ける手書き描画部6を備えており、下方に、グリーティング用フレーム選択部（グリーティング用テンプレート選択部）２３１、写真選択部２３２、手書き描画画像作成部１２３、グリーティング用イラスト選択部（グリーティング用貼付素材選択部）２３３、およびイラスト選択部（スタンプ選択部）１２２を備えている。
【００３９】
グリーティング用フレーム選択部２３１は、グリーティング用のフレーム画像をダウンロードした複数の画像の中から選択させ、選択されたフレーム画像を手書き描画部１７５に重ねて表示（合成表示）する。
【００４０】
写真選択部２３２は、撮影済みの写真を選択するか、あるいは写真撮影をしてその撮影をした写真を選択することを受け付け、選択された写真を手書き描画部１７５に重ねて表示（合成表示）する。
【００４１】
グリーティング用イラスト選択部２３３は、グリーティング用のイラスト画像をダウンロードした複数の画像の中から選択させ、選択されたイラスト画像を手書き描画部１７５に重ねて表示（合成表示）する。これらの選択部２３１，２３２，２３３は、手書き描画画像を作成するツールを選択するツール選択部として機能する。
【００４２】
このようにして、図５（Ｃ）に示すように、背景画像２２２の上に手書き文字２２０が描かれた手書き描画画像を迅速に作成でき、さらに、図５（Ｄ）に示すように、写真画像２２５（ユーザ選択画像）等を手書き文字２２０の向こう側に合成することができる。
【００４３】
また、手書き描画画像に書き込みできる各要素は、要素毎にレイヤー構造となっている。すなわち、最も上面（手前側）のレイヤーから最も下面（奥側）のレイヤーまでの順で説明すると、第１レイヤーがイラスト用レイヤー、第２レイヤーが手書き描画用レイヤー、第３レイヤーがフレーム用レイヤー、第４レイヤーが写真レイヤー（および背景レイヤー）となっている。このため、イラストは常に手前に表示され、手書き描画の線などがイラストの手前に重なってきたなくなることが防止され、かつ、手書き描画の線がイラスト以外に隠されることが無い（写真の裏に隠れて全く見えなくなることや、フレームによって切り取られるといったことが無い）ように構成されている。同じレイヤー上の描かれたオブジェクトは、後のものが手前に配置される。したがって、イラストを配置した後に重ねてイラストを配置すると、後から配置したイラストが前面に現れ、先に配置したイラストのうち後のイラストと重なっている部分は見えないこととなる。このようにして、簡易操作で最も適切な手書き描画画像が作成されるように構成されている。
【００４４】
メインサーバ１０（図２参照）のメッセージ転送部１７は、ユーザ端末５０から受信した送信メッセージ１３６（図３（Ｂ）参照）の内容を接続相手のユーザ端末５０に転送する。また、メッセージ転送部１７は、転送したメッセージを時系列に管理するメッセージ管理機能部としても機能する。これにより、入力完了したメッセージの双方向でのやり取りおよび過去からのやり取りの時系列での確認を可能にしている。
【００４５】
なお、上述した手書き描画画面１７０を用いた手書き描画でのコミュニケーションは、完成した手書き描画画像を送信する形でメールのようにして行われるが、コミュニケーションシステム１は、このような手書き描画によるコミュニケーションをリアルタイムに行うお絵描きトーク機能も有している。
【００４６】
上述したコミュニケーション方法選択部１３７にてお絵かきトークボタン（お絵かきチャット）が選択された場合、ユーザ端末５０（図２参照）は、お絵かきトークを開始する旨のお絵かきトーク開始用通知（図示省略）を表示してキャンセルボタンとＯＫボタンを表示し、ＯＫボタンが選択されるとお絵かき開始処理部６７（図２参照）によってお絵かき処理を開始する。
【００４７】
このとき、お絵かき開始処理部６７は、お絵かき機能部６９を起動してお絵かきトーク画面（図３（Ｄ）の手書き描画画面１７０と同一要素を全て有する同様のお絵描きトーク画面）を表示させると共に、接続相手とのお絵かきトークを開始するお絵かきトーク開始依頼信号をメインサーバ１０へ送信する。お絵かきトーク開始依頼信号を受けたメインサーバ１０は、お絵かきリアルタイム処理部１８によって接続相手にお絵かきトーク開始要求があることを知らせるお絵かきトーク招待メッセージ（図示省略）を表示する。これを受けた接続相手は、自身のユーザ端末５０により「ＯＫ」を選択してお絵かきトークを開始するか、あるいは「キャンセル」をしてメッセージにて「少し待って」と回答するといったことができる。「ＯＫ」が選択されてこの信号をメインサーバ１０が受信すると、お
絵かきリアルタイム処理部１８は、接続相手となっている２以上のユーザ端末５０のお絵かき機能部６９に対して情報（パケット）を連続的に送受信する双方向のリアルタイムでのお絵かき処理を開始する。
【００４８】
ユーザ端末５０のお絵かき機能部６９は、お絵かきトーク画面（図３（Ｄ）の手書き描画画面１７０と同様のお絵描きトーク画面）を表示し、ユーザによるフリーハンドの描画を受け付け、自己のユーザと接続相手がフリーハンドで描画した軌跡をリアルタイムに表示部５４（図１参照）に表示する。
【００４９】
キャンセルボタン１７１が選択されると、お絵かき終了処理部６８（図２参照）は、メインサーバ１０に退出信号を送信してお絵かきトークを終了し、メッセージ機能部６６によりメッセージを送受信するメッセージ表示画面１３０に戻る。
【００５０】
お絵かきリアルタイム処理部１８は、ユーザ端末５０のお絵かき機能部６９によって描画された情報（パケット）を刻々とリアルタイムで受け取って接続相手にリアルタイムで送信する。また、接続相手の両方から同時に描画された場合、この両方の描画内容を描画前の画像に対して合成する合成処理を行ってから接続相手のお絵かき機能部６９へ送信する。従って、お絵かきトークをしている利用者は、自分が描画している最中であっても相手の描画も同時に描かれ、１つのキャンバスに接続相手と一緒に描いているようにリアルタイムの描画を行える。
【００５１】
メインサーバ１０（図２参照）の接続状態確認部１９は、お絵かきリアルタイム処理部１８によってユーザ端末５０と双方向にやり取りしている応答状態を確認している。接続状態確認部１９は、相手からの応答が所定時間無くなる、あるいは相手からの応答信号が不適切な信号になっている等、お絵かきトーク中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、お絵かきトークをしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、接続が切断されたことを通知する。
【００５２】
接続断通知部６２は、メインサーバ１０からの通知を受けて、例えば「○○が退室しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通信が切断され、お絵かきトークでこちらが描いている描画内容が相手に伝わっていない状態であることをユーザに伝える。
【００５３】
お絵かきトーク画面で通話操作ボタンが選択されると、通話開始処理部７１（図２参照）は、メインサーバ１０とは別に設けられた通話サーバ３０に通話依頼信号を送信し、通話機能部７３による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【００５４】
通話サーバ３０は、アドレス割り当て部３７により、通話要求してきたユーザ端末５０と、その接続相手となっている相手側のユーザ端末５０に対して、一時的アドレスをそれぞれ割り当てる。このアドレスによって通話相手を特定することで、双方向の通話を可能としている。すなわち、相手側の電話番号を知らなくても、その都度割り当てられるアドレスを用いてＩＰ電話による通話が可能となる。また、アドレス割り当て部３７は、接続相手のユーザ端末５０に通話要求があることを通知する。
【００５５】
この通知を受けたユーザ端末５０は、図４（Ｃ）に示すように、お絵かきトーク画面に着信中メッセージを表示し、着信中であること（通話要求が来て電話のコール状態であること）をユーザに知らせる。このとき、ユーザ端末５０は、操作案内メッセージも表示し、通話操作ボタンを選択することで通話開始できること、通話中もお絵かきトークは継続して利用できることをユーザに知らせる。
【００５６】
通話サーバ３０の通話リアルタイム処理部３８は、アドレス割り当て部３７で割り当てられたアドレスのユーザ端末５０との間で通話信号（パケット）を送受信し、通話を実施する。この通話リアルタイム処理部３８は、ＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｐｒｉｖａｔｅ  Ｂｒａｎｃｈ  ｅＸｃｈａｎｇｅ）の機能を有しており、通話の中継を実現している。
【００５７】
ユーザ端末５０の通話機能部７３は、通話サーバ３０を介した接続相手のユーザ端末５０との通話（電話）を実行する。この通話中のとき、お絵かきトーク画面は、通話操作ボタンの形状および色を変更して、通話中であることをユーザに知らせる。このとき、通話機能部７３と並列にお絵かき機能部６９も動作しているため、ユーザ端末５０は、通話とお絵かきの両方を同時にリアルタイムに送受信できる。従って、図４（Ｄ）に示すように手書き描画部１７５に描画しながら口頭で説明するといったことができる。
【００５８】
通話サーバ３０（図２参照）の電波状態確認部３９は、ユーザ端末５０との電波状態を確認する。すなわち、電波状態が良好であると通話が良好に成立するが、電波状態がある程度悪くなると通話の音が途切れる等の状態が発生し、さらに電波状態が悪くなると通話ができなくなる。このため、ユーザ端末５０の電波状態を常時確認している。
【００５９】
通話切断部４１は、電波状態確認部３９で確認している電波状態が所定状態より悪くなると、通話の切断を実行する。この所定状態は、完全に通話不可となった状態ではなく、それより前の通話が少々困難になっている電波状態としている。すなわち、電波が完全に遮断されていなくても、ある程度悪くなっている状態（例えば、スマートフォンの機能による電波状態を示すアンテナ表示がフルでもゼロでもなく３本中１本または２本となっている状態など）であると、パケットロス等が発生し始めるため、画面上は通話継続中に見えるにもかかわらず音声が届かないことが生じる。本実施形態では、お絵かきトークをしながら通話も行うため、通常の音声通話のみの電話と違い、音声が届いていないことに気づきにくい。つまり、お絵かきトークのリアルタイム処理が正常動作しながら通話音声が
届かないといった状況が生じると、ユーザは音声が届いていないとは思わない。このため、こちらが言ったことを相手が無視して（実際には音声が届いていない）お絵かきトークでの描画を続けているような状態が生じ得る。このような状況を避けるため、パケットロス等によって音声が届かない状況の発生し得る電波状態になると、通話切断部４１が強制的に通話を切断し、一時的にユーザ端末５０に付与していたアドレスを解放する。
【００６０】
このときアドレスを解放することによって、使われないアドレスが割り当て不可状態で残り続けてアドレスが枯渇することを防止している。通話切断部４１は、通話が切断されたことを通話の接続をしていた全て（２人通話であれば２人、グループ通話であればグループ全員）のユーザ端末５０に通知する。
【００６１】
ユーザ端末５０の通話断通知部６３は、通話サーバ３０からの通知を受けて、「無料通話を終了しました。」というメッセージをユーザ端末５０の画面上に表示する。この通知により、リアルタイムの通話が切断され、会話が相手に伝わっていない状態であることをユーザに伝えるとともに、リアルタイムのお絵かきトークは継続する。
【００６２】
また、上述した通話サーバ３０（図２参照）の電波状態確認部３９は、電波状態が悪くなって通話が成立しない接続断状態になった場合、通話中であるユーザ端末５０の１つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、通話をしている他方のユーザ端末５０（応答のある方のユーザ端末５０）に対して、通話の接続が切断されたことを通知する。この状態のときは、メインサーバ１０の接続状態確認部１９においても応答不可状態であると判断して接続を切断することになるから、お絵かきトークと通話の両方が接続断となる。このため、ユーザ端末５０には、「相手の接続を待っています」といった接続待機メッセージと、お絵かきトークと通話が終了したことを示す「○○が退室し無料通話も終了しました」といった全リアルタイム処理終了メッセージ
を表示する。またこのとき、通話切断されたユーザ端末５０の通話操作ボタンの形状と色も通話していない状態の表示に戻す。なお、図示の例はグループでお絵かきトークおよび通話をしていた場合の例であり、そのグループ内の一人の通信が切断されたことを表示している。
【００６３】
ユーザ端末５０において、通話中に通話操作ボタンが選択されると、通話終了処理部７２（図２参照）は、通話を終了して通話相手のユーザ端末５０に通話終了を通知するとともに、通話操作ボタンの形状と色も通話していない状態の表示に戻す。
【００６４】
以上の構成及び動作により、手書き描画を用いたコミュニケーションを容易に行うことができ、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム１を提供することができる。
【００６５】
すなわち、入力した文字を中心とするコミュニケーションは、コンピュータによって表示される機械的な文字を使用するため、表示も機械的で温かみに欠ける。仮に、写真に文字などを描いて送信できる機能を設けたとしても、そのように写真を選択して文字を描く行為に時間がかかるため、そのような文字が描かれた写真等によるコミュニケーション回数は多くならない。したがって、入力した文字が大部分となるコミュニケーションが繰り広げられる。
【００６６】
これに対して、コミュニケーションシステム１は、接続相手選択画面１１０にてコミュニケーションの相手を選択してメッセージ表示画面１３０を表示すると、文字選択入力（文字ボタンの選択による入力、キー入力）による文字入力のできる入力内容受付部１３８と、手書き描画を行える手書き描画画像作成部１２３および複合画像作成部１２４が、同一画面に並んでいる。
【００６７】
そして、文字選択入力をする場合は、第１の操作として入力内容受付部１３８を選択して文字選択入力部１２８を表示させ、第２の操作として文字選択入力部１２８による文字選択入力が可能な状態となる。
【００６８】
また、手書き描画をする場合は、第１の操作として手書き描画画像作成部１２３（または複合画像作成部１２４）を選択して手書き描画画面１７０（または複合画像作成画面２３０）を表示させ、第２の操作として手書き描画部１７５に直接手書き描画することが可能な状態となる。つまり、手書き描画画面１７０（または複合画像作成画面２３０）が表示された段階で、ペンの色とサイズがデフォルト値として初期設定されたもの（若しくは前回最終使用のものとしてもよい）に決定しているため、ペン等を選ばなくとも手書き描画を開始できる。
【００６９】
従って、文字選択入力を開始するための手間（操作回数）と、手書き描画を開始するための手間（操作回数）は変わらないため、操作の面倒さで手書き描画を避けるといったことが生じない。しかも、手書き描画は、文字選択入力で必要とされる文字選択入力部１２８でのキー選択といった煩わしい操作がないため、キー配列を覚えるといったことをせずとも、白紙の背景に直接手書きで描き始めることができ、文字選択入力よりも容易である。
【００７０】
このように、手書き描画が容易になる構成であるため、本コミュニケーションシステム１を用いたコミュニケーションは、自然に手書き描画が増加し、接続相手とのやり取りの多くが手書き描画となる。そうすると、メッセージ表示画面１３０のタイムライン表示部１３４には、送信メッセージ１３６および受信メッセージ１３５として多くの手書き描画画像が並ぶこととなり、温かみのあるコミュニケーション画面となる。
【００７１】
このように、手書き描画をするための手間が文字選択入力をするための手間と同一かそれ以下とすることで、コンピュータを用いながらもあたたかみのあるコミュニケーションが自然に行われるコミュニケーションシステム１を提供でき、コミュニケーションする人々の気持ちを明るくでき、かつ感情豊かなコミュニケーションを促進できる。
【００７２】
また、上述した構成及び動作により、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム１を提供することができ、ユーザの満足度を向上させることができる。
【００７３】
お絵かきトークや通話では、メッセージを入力し完成させてから送信ボタンを押して送信するようなコミュニケーションとは異なり、描画の開始と共に描画の軌跡に沿って相手側のユーザ端末５０にもリアルタイムで表示されていき、また会話もリアルタイムで相手に届くため、非常に緊密なコミュニケーションをとることができる。
【００７４】
メッセージの送受信やお絵かきトークの後に通話を開始できるようにしているため、音の無いコミュニケーションをしてから音のあるコミュニケーションに移行することができる。これにより、通話しようと思ったら相手が声を出して話せない状況であった場合など、無音で通話要求と通話拒否のやりとりをし、かつ、通話できない理由を伝えるといったことができる。これにより、お互いのその時の状況に応じた円滑なコミュニケーションを図ることができる。
【００７５】
また、お絵かきトークをして接続相手と無音のリアルタイムコミュニケーションを取っている状態から、通話による音ありのリアルタイムコミュニケーションを追加できるため、通話の要求があって出られない状況であっても、無音でお絵かきトークによって今は通話できないといったことを知らせることができる。このように通話できない理由を即座に伝えられるため、円滑なコミュニケーションをとることができる。
【００７６】
また、お絵かきトークから通話を追加する際、通話要求を受けたユーザ端末５０では無音のメッセージにて通話を受けるか確認するため、音を出さずに通話可否を決定することができる。このため、例えば会議中等の電話に出られない状況で通話要求が届いても、手元の操作で音を出さずに通話要求をキャンセルし、さらにお絵かきトークで今は難しいことを無音で伝える、あるいはメッセージ表示画面１３０に戻ってメッセージで今は難しいことを無音で伝えることができる。
【００７７】
また、電波状態がある程度悪くなると、お絵かきトークを継続しつつ通話を終了するため、こちらの会話が相手に届いていないと思わずにコミュニケーションを続けようとするといった状態を防止できる。
【００７８】
また、通話依頼のある毎にアドレスを一時的に割り当て、通話が切断されるとアドレスを解放する構成であるため、ユーザ毎に予めアドレスを割り当てる必要がなく、アドレスの枯渇を防止することができる。また、一時的なアドレスを用いて通話を実現するため、相手の電話番号等を知らなくても通話できる。従って、例えば２人でお絵かきトークと通話を行っていて、一人は知っているがもう一人は知らない人をコミュニケーションに追加するときに、電話番号を知らせたりせずとも追加したい人を招待して３者通話を行うことができる。
【００７９】
また、メインサーバ１０と通話サーバ３０を別のサーバとしたため、パケット量の集中を回避してリアルタイム処理が遅くなることを防止できる。
【００８０】
このようにして、リアルタイム性が高くコミュニケーション手段の幅が広いコミュニケーションシステム１を提供できる。特に、コミュニケーションシステム１は、触覚と視覚、および聴覚によるコミュニケーションを同時に処理でき、しかも、これを手のひらで持つ携帯型の情報端末で実現することができる。
【００８１】
また、コミュニケーションシステム１は、作成し終えたメッセージや写真等を送受信するメッセージのやり取りをしている途中からリアルタイムのお絵かきトークに移行できるため、ユーザ感覚としての応答速度を速めて緊密なコミュニケーションに移行できる。さらに、お絵かきトークを継続しながら通話も同時に開始できるため、描画によるリアルタイムのコミュニケーションと話すこと（音声）によるリアルタイムのコミュニケーションを同時並行にとることができ、幅広い手段を用いて相手のレスポンスがリアルタイムに得られる非常に緊密なコミュニケーションをとることができる。
【００８２】
この発明におけるサーバは、実施形態のメインサーバ１０に対応し、以下同様に、
メッセージ送受信プログラムは、管理プログラム１５ａとお絵かき管理プログラム１５ｂに対応し、
メッセージ管理機能部は、メッセージ転送部１７に対応し、
通信手段は、通信部３２に対応し、
入力手段は、操作入力部３３に対応し、
表示手段は、表示部３４に対応し、
コミュニケーションプログラムは、コミュニケーションアプリ５７ａに対応し、
相手選択部は、接続相手選択部６５に対応し、
手書き入力開始指示部は、手書き描画画像作成部１２３および複合画像作成部１２４に対応し、
送受信メッセージ表示部は、タイムライン表示部１３４に対応し、
メッセージ入力部は、入力受付部入力内容し、
手書き描画入力部は、手書き描画画面１７０および複合画像作成画面２３０に対応し、
消去操作部は、ゴミ箱ボタン１７２に対応し、
背景画像選択部は、背景合成ボタン１７３に対応し、
描画領域部は、手書き描画部１７５に対応し、
ツール選択部は、イラスト追加ボタン１７６、ペン形状変更ボタン１７７、ペン色変更ボタン１７８、消しゴムボタン１７９、グリーティング用フレーム選択部２３１、写真選択部２３２、およびグリーティング用イラスト選択部２３３に対応し、
ユーザ選択画像は、写真画像２２５に対応するが、
この発明は本実施形態に限られず他の様々な実施形態とすることができる。
【産業上の利用可能性】
【００８３】
この発明は、温かみのあるコミュニケーションが自然に繰り広げられることが望まれるようなコミュニケーション産業に利用することができる。
【符号の説明】
【００８４】
１…コミュニケーションシステム
１０メインサーバ
１５ａ…管理プログラム
１５ｂ…お絵かき管理プログラム
１７…メッセージ転送部
３２…通信部
３３…操作入力部
３４…表示部
５０…ユーザ端末
５７ａ…コミュニケーションアプリ
６５…接続相手選択部
１２３…手書き描画画像作成部
１２４…複合画像作成部
１３４…タイムライン表示部
１３８…入力内容受付部
１７０…手書き描画画面
１７２…ゴミ箱ボタン
１７３…背景合成ボタン
１７５…手書き描画部
１７６…イラスト追加ボタン
１７７…ペン形状変更ボタン
１７８…ペン色変更ボタン
１７９…消しゴムボタン
２２２…背景画像
２３０…複合画像作成画面
２３１…グリーティング用フレーム選択部
２３２…写真選択部
２３３…グリーティング用イラスト選択部