(57)【要約】      （修正有）【課題】メッセージを受信した時のユーザの状態と、受信メッセージを関連付けて管理して、ユーザが所望のコンテンツを適切に抽出する表示制御方法、端末、プログラム及び情報処理装置を提供する。【解決手段】端末は、受信したコンテンツを、端末の画面に表示しＳ１３０１と、コンテンツが表示されたことに応じて、端末のユーザの状態を取得しＳ１３０２、コンテンツと、取得されたユーザの状態を示す情報とを対応付けＳ１３０６、コンテンツが再び画面に表示された時に、コンテンツと共に、ユーザの状態を示す情報を、画面に表示する。【選択図】図１３
2017146743.tif 000002
【特許請求の範囲】
【請求項１】
端末が、受信したコンテンツを、該端末の画面に表示する第１のステップと、
前記コンテンツが表示されたことに応じて、前記端末が、該端末のユーザの状態を取得する第２のステップと、
前記端末が、前記コンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記コンテンツが再び前記画面に表示される場合、前記端末は、前記コンテンツと共に、前記ユーザの状態を示す情報を、前記画面に表示する第４のステップとを、有する、表示制御方法。
【請求項２】
前記第１のステップにおいて、複数の前記コンテンツが同時に表示された場合、前記第２のステップにおいて、前記端末は、所定の期間の前記ユーザの状態を取得し、
前記第３のステップにおいて、前記端末は、前記所定の期間に取得された前記ユーザの状態を基に、前記ユーザの状態を示す情報を決定し、前記画面に表示された複数の前記コンテンツの各々と、決定された前記ユーザの状態を示す情報とを対応付ける、ことを特徴とする、請求項１に記載の表示制御方法。
【請求項３】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記端末が、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項１又は２に記載の表示制御方法。
【請求項４】
表示される前記コンテンツが、前記第１のコンテンツから前記第２のコンテンツに変更される場合、前記端末は、前記第１のコンテンツに対応付けられた前記ユーザの状態を示す情報から、前記第２のコンテンツに対応付けられた前記ユーザの状態を示す状態への推移を前記画面に表示する、ことを特徴とする、請求項３に記載の表示制御方法。
【請求項５】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に受信したコンテンツから、第２の期間に受信したコンテンツに変更されると、前記端末が、前記第２の期間に受信したコンテンツに対応付けられた前記ユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項１又は２に記載の表示制御方法。
【請求項６】
受信した前記コンテンツは、該コンテンツが他の端末に入力されたときの前記他の端末のユーザの状態を示す情報を含み、
前記第４のステップにおいて、前記端末は、前記他の端末のユーザの状態を示す情報を前記画面に表示する、ことを特徴とする、請求項１又は２に記載の表示制御方法。
【請求項７】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記端末が、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報、及び前記他の端末のユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項６に記載の表示制御方法。
【請求項８】
前記端末が、該端末の送信したコンテンツが、他の端末に表示された時の該他の端末のユーザの状態を示す情報を取得するステップと、
前記端末が、受信した前記コンテンツと、受信した該コンテンツに対応付けられた前記ユーザの状態を示す情報と、送信した前記コンテンツと、送信した該コンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記画面に表示するステップと、有する、請求項１又は２に記載の表示制御方法。
【請求項９】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に送受信したコンテンツから、第２の期間に送受信したコンテンツに変更されると、前記端末が、前記第２の期間に送受信したコンテンツに対応付けられた前記ユーザの状態を示す情報、及び前記他の端末のユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項８に記載の表示制御方法。
【請求項１０】
前記ユーザの状態は、前記ユーザの外観の画像、生体情報、滞在する場所、又はこれらの組み合わせである、ことを特徴とする、請求項１乃至９のいずれか一項に記載の表示制御方法。
【請求項１１】
前記ユーザの状態を示す情報は、マーク、スタンプ、アニメーション、グラフ、地図、又はこれらの組み合わせにより、前記画面に表示される、ことを特徴とする、請求項１乃至１０のいずれか一項に記載の表示制御方法。
【請求項１２】
受信したコンテンツを、画面に表示させる表示制御部と、
前記コンテンツが表示されたことに応じて、端末のユーザの状態を取得する取得部と、
前記コンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける対応付け部と、を有し、
前記表示制御部は、前記コンテンツが再び前記画面に表示される場合、前記コンテンツと共に、前記ユーザの状態を示す情報を、前記画面に表示する、ことを特徴とする、端末。
【請求項１３】
情報処理装置から受信したコンテンツを、端末の画面に表示する第１のステップと、
前記コンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、
前記コンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記コンテンツが再び前記画面に表示される場合、前記コンテンツと共に、前記ユーザの状態を示す情報を、前記画面に表示する第４のステップとを、端末に実行させる、プログラム。
【請求項１４】
端末に、他の端末からのコンテンツが、前記端末の画面に表示された時の前記端末のユーザの状態を受信する受信部と、
前記コンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける対応付け部と、
前記ユーザの状態を示す情報と、前記コンテンツとの対応付けを示す情報とを送信する送信部と、
前記コンテンツが再び前記端末の前記画面に表示される場合、前記端末に、前記コンテンツと共に、前記ユーザの状態を示す情報を、表示させる表示制御部とを、有する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御方法、端末、プログラム、及び情報処理装置に関する。
【背景技術】
【０００２】
電子メールや、ソーシャルネットワークサービス（ＳＮＳ）のチャットサービスのメッセージに所定の情報を対応付けて、送信することが提案されている。
【０００３】
例えば、端末Ａにおいて、メッセージ作成時の端末Ａのユーザの表情を認識し、作成されたメッセージと、認識された表情を表す情報とを、通信相手のユーザの端末Ｂに送信し、端末Ｂの画面にメッセージを、該メッセージに対応付けられた表情を示す情報と共に表示させることが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１６９９７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、提案されている方法では、メッセージを作成したユーザの表情を通信相手の端末Ｂに表示させることができるものの、端末Ｂのユーザのメッセージを受信したときの表情等の反応を、利用することは行われていなかった。
【０００６】
ＳＮＳのチャットサービスでは、多数のメッセージが送受信される場合が多く、多数のメッセージの中から、ユーザが所望のメッセージを抽出することが難しいケースがある。このため、受信メッセージを、受信側のユーザに関する情報と対応付け、対応付けられた情報を基に、ユーザがメッセージを抽出できるようにすることが好ましい場合がある。
【０００７】
本発明は、上記の課題に鑑みてされたものであって、ユーザに、所望のメッセージ等のコンテンツを適切に抽出させることを目的とする。
【課題を解決するための手段】
【０００８】
一つの態様では、受信したコンテンツを、端末の画面に表示する第１のステップと、前記コンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、前記コンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、前記コンテンツが再び前記画面に表示された時に、前記コンテンツと共に、前記ユーザの状態を示す情報を、前記画面に表示する第４のステップとを、端末に実行させる、プログラムが提供される。
【発明の効果】
【０００９】
ユーザに、所望のコンテンツを適切に抽出させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る情報処理システムの構成の一例を示す図である。
【図２】第１の実施形態に係る端末がユーザの状態を取得する様子を示す図である。
【図３】第１の実施形態に係る端末の画面の表示の一例を示す図（その１）である。
【図４】第１の実施形態に係る端末の画面の表示の一例を示す図（その２）である。
【図５】第１の実施形態に係る端末の画面の表示の一例を示す図（その３）である。
【図６】第１の実施形態に係るユーザ状態管理テーブルの一例を示す図である。
【図７】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図８】第１の実施形態に係る端末のハードウェア構成の一例を示す図である。
【図９】第１の実施形態に係る端末の機能構成の一例を示す図である。
【図１０】第１の実施形態に係る表情サンプル記憶テーブルの一例を示す図である。
【図１１】第１の実施形態に係る表情マーク記憶テーブルの一例を示す図である。
【図１２】第１の実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図１３】第１の実施形態に係る動作フローの一例を示す図（その１）である。
【図１４】第１の実施形態に係る動作フローの一例を示す図（その２）である。
【図１５】第２の実施形態に係る動作シーケンスの一例を示す図（その１）である。
【図１６】第２の実施形態に係る動作シーケンスの一例を示す図（その２）である。
【図１７】第２の実施形態に係る端末の画面の表示の一例を示す図である。
【図１８】第２の実施形態に係るユーザ状態管理テーブルの一例を示す図である。
【図１９】第３の実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図２０】第３の実施形態に係る端末の機能構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
＜システム構成＞
図１は、第１の実施形態に係る情報処理システム１のシステム構成を示す図である。情報処理システム１は、情報処理装置１０と、端末２０とを有する。情報処理装置１０と端末２０とはネットワーク２を介して接続される。ネットワーク２は、有線のネットワークと、無線のネットワークとを含む。
【００１２】
情報処理装置１０は、例えばサーバにより実現される。端末２０は、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、携帯電話機、ゲーム用コンソール、タッチパッド、電子書籍リーダ、又はウェアラブル端末等である。
【００１３】
情報処理装置１０は、端末２０のユーザに、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ、ソーシャルネットワークサービス）を提供する。情報処理装置１０は、ＳＮＳのひとつのサービスとして、端末２０間でメッセージ、スタンプ、静止画、及び動画等のコンテンツの送受信を行うチャットサービスを提供する。
【００１４】
また、情報処理装置１０は、端末２０のユーザや、該ユーザと友達関係を有するユーザがメッセージ等のコンテンツを投稿し、投稿されたコンテンツを閲覧可能とするタイムラインサービスを提供する。
【００１５】
以下の説明では、チャットサービスにおいてメッセージの送受信がされる場合を中心に説明するが、チャットサービスにおいて、他のコンテンツについても同様の処理が適用できることは勿論である。また、タイムラインサービスにおいても同様の処理が適用できることは勿論である。
【００１６】
端末２０は、ＳＮＳのアプリケーションをインストールし、情報処理装置１０からＳＮＳの提供を受ける。端末２０は、情報処理装置１０を介して、端末２０間でメッセージの送受信を行う。
【００１７】
端末２０は、他の端末２０からのメッセージを、情報処理装置１０を介して受信する。端末２０は、受信したメッセージを端末２０の画面に表示する。端末２０は、メッセージを画面に表示した時のユーザの状態を取得し、ユーザの状態を示す情報を決定する。端末２０は、決定したユーザの状態を示す情報を受信したメッセージと対応付けて記憶する。ユーザの状態の取得、及びユーザの状態を示す情報の決定等の処理については後述する。
【００１８】
端末２０は、ユーザの指示に応じて、受信したメッセージを再度画面に表示する時に、メッセージと共に、メッセージに対応付けられているユーザの状態を示す情報を表示する。
【００１９】
＜ユーザの状態を示す情報の決定＞
端末２０が、他の端末２０から受信したメッセージを表示する時の様子を、図２に示す。
【００２０】
端末２０は、カメラ２１、生体センサ２２、及びＧＰＳ等の自己位置測定装置２３を有する。ユーザＡの端末２０Ａは、ユーザＢの端末２０Ｂからのメッセージを受信し、該メッセージが端末２０Ａに表示される時の端末２０ＡのユーザＡの状態を取得する。具体的には、端末２０Ａは、カメラ２１によりユーザＡの顔写真を取得する、生体センサ２２によりユーザＡの生体情報を取得する、自己位置測定装置２３を用いてユーザＡの滞在場所である端末２０の現在位置を取得する、又はこれらを組み合わせた処理を実行し、ユーザの状態を取得する。
【００２１】
ここで、生体情報とは、例えば、心拍数、血圧、肌温及び／又は発汗状態等である。
【００２２】
端末２０Ａは、取得したユーザＡの状態から、ユーザＡの状態を示す情報を決定する。
【００２３】
ユーザＡの状態を示す情報が、表情を示す情報の場合、端末２０Ａは、カメラ２１により取得したユーザＡの顔写真から、ユーザＡの表情を判断し、表情を示す情報、例えば、怒っている旨、笑っている旨、喜んでいる旨、又は悲しんでいる旨を示す情報を決定する。表情の判断方法については、様々な方法により実現可能である。例えば、端末２０Ａは、ユーザＡの顔写真と、表情とを対応付けて記憶し、撮影された写真と記憶されている顔写真の一致度から、表情を判断してもよい。また、表情を判断するときに生体センサ２２により取得した生体情報を用いてもよい。例えば、通常よりも心拍数が多い場合、端末２０は、ユーザの感情に変化があったことが推測できるため、端末２０は、表情も変化していると判断してもよい。
【００２４】
なお、端末２０Ａは、判断された表情等を画面に表示し、メッセージとの対応付けについてユーザＡの承認を得た後に、メッセージと判断された表情等とを対億付けて記憶してもよい。
【００２５】
ユーザＡの状態を示す情報が、滞在場所の場合、端末２０は取得した自己の現在位置（例えば、緯度経度情報）を、メッセージを表示した時のユーザＡの状態とする。
【００２６】
ユーザＡの状態を示す情報が、生体情報自体の場合、端末２０は、取得した生体情報を、メッセージを表示した時のユーザＡの状態とする。
【００２７】
端末２０は、決定したユーザの状態を示す情報をメッセージと対応付けて記憶する。
【００２８】
なお、カメラ２１、生体センサ２２、及び自己位置測定装置２３は、端末２０と別の装置により実現されてもよい、この場合、カメラ２１等は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線を用いて、端末２０との間でデータの送受信を行う。
【００２９】
上述した実施形態では、メッセージの表示に応じて、ユーザＡの状態を示す情報が決定される場合について説明したが、ユーザＢの端末２０Ｂから送信されたスタンプ、写真、動画、又はニュース等の各種コンテンツが表示されたことに応じて、ユーザＡの状態が取得され、ユーザの状態を示す情報が決定されてもよいことは勿論である。
【００３０】
送信側の端末２０が、メッセージや、スタンプ等の各種コンテンツに予め受信側の端末２０にメッセージや、スタンプ等が表示されたときにユーザＡの状態を取得する指示を含むメタデータを設定してもよい。この場合、メッセージや、スタンプ等が受信側の端末２０で表示されたときに、受信側の端末２０のユーザの状態が取得される。
【００３１】
以下では、カメラ２１が用いられる場合、カメラ２１でユーザの顔写真を取得する例を中心に説明するが、ユーザＡの状態として、メッセージが表示されてから所定期間のユーザ顔等の外観の画像（動画）を取得してもよいことは勿論である。
【００３２】
＜表示制御例１＞
図３を用いて、表示制御例１に係る端末２０の画面の表示について説明する。図３の（１）には、ユーザＡの端末２０Ａにおける、チャットメッセージの送受信メニューの画面を示している。図３の（１）では、端末２０の画面の表示領域５０に、ユーザＡの端末２０ＡとユーザＢの端末２０Ｂとの間で、所定の期間に送受信されたメッセージ４０が表示される。また、ユーザＢからのメッセージ（４０Ａ、４０Ｃ）は、ユーザＢを示すアイコン３０Ｂと共に表示される。
【００３３】
表示領域５０内の所定の領域に副表示領域６０が設けられる。副表示領域６０には、表示されているユーザＢから受信したメッセージ（４０Ａ、４０Ｃ）と対応付けられて記憶されているユーザＡの状態を示す情報が表示される。副表示領域６０は、端末２０がユーザからの指示を受けたことに応じて、設けられてもよいし、端末２０が、所定の動作（例えば、表示するメッセージを変更するスクロール操作）を検知したことに応じて、設けられてもよい。
【００３４】
ユーザＡの状態を示す情報は、メッセージが以前表示された時、例えば、受信したメッセージが最初に表示された時に、決定される。
【００３５】
図３の（２）乃至（４）に、副表示領域６０に表示されるユーザの状態を示す情報を示す。
【００３６】
図３の（２）は、ユーザＡの状態を示す情報として、表情が記憶されている場合の副表示領域６０の表示の一例を示す図である。表情を示すマーク６１が副表示領域６０に表示される。
【００３７】
図３の（３）は、ユーザＡの状態を示す情報として、メッセージを表示した時のユーザＡの位置が記憶されている場合の副表示領域６０の表示の一例を示す図である。図３の（３）では、メッセージを表示した時の位置６２Ａが、地図６２Ｂ上に示される様子を示している。
【００３８】
図３の（４）は、ユーザＡの状態を示す情報として、心拍数が記憶されている場合の副表示領域６０の表示の一例を示す図である。図３の（４）では、心拍数の値を示す点６３Ａが表示される。心拍数の値を示す点６３Ａは、心拍数の推移を示すグラフ６３Ｂと共に表示されてもよい。
【００３９】
＜表示制御例２＞
図４を用いて、表示制御例２に係る端末２０の画面の表示について説明する。図４の（１）には、ユーザＡのチャットメッセージの送受信メニューの画面を示している。図４の（１）では、端末２０がユーザＡからの指示を受け付け、画面に表示されるメッセージが変更される様子を示している。ユーザＡの指５１のスクロール操作５２により、画面に表示されるメッセージが送受信された期間が変更される。
【００４０】
図４の（２）乃至（４）に、メッセージの表示期間が変更されたときの副表示領域６０の表示の遷移を示す。図４の（２）は、ユーザＡの状態を示す情報として、表情が記憶されている場合の副表示領域６０の表示を示しており、図４の（３）は、ユーザＡの状態を示す情報として、メッセージを表示した時のユーザＡの位置が記憶されている場合の副表示領域６０の表示を示しており。図４の（４）は、ユーザＡの状態を示す情報として、心拍数が記憶されている場合の副表示領域６０の表示を示している。
【００４１】
図４の（２Ａ）乃至（２Ｃ）は、メッセージの表示期間が第１の期間、第２の期間、及び第３の期間に変更されたときの、其々の期間における副表示領域６０の画面の変化を示している。第１の期間のメッセージが表示された時の表情を示す情報が「笑顔（Ｓｍｉｌｅ）」で、第２の期間のメッセージが表示された時の表情を示す情報が「普通の顔（Ｎｏｒｍａｌ）」で、第３の期間のメッセージが表示された時の表情を示す情報が「怒っている顔（Ａｎｇｒｙ）」であることを示している。
【００４２】
図４の（３）は、メッセージの表示期間が第１の期間、第２の期間、及び第３の期間に変更されたときに、各メッセージに対応付けられて記憶されているメッセージを表示した時の位置の変化の様子、つまり、ユーザＡの移動の軌跡６２Ｃを、地図６２Ｂ上に示している。
【００４３】
図４の（４）は、メッセージの表示期間が第１の期間、第２の期間、及び第３の期間に変更されたときに、各メッセージに対応付けられて記憶されている心拍数の値を示す点６３Ａの変化をグラフ６３Ｂで示したものである。
【００４４】
上述したように、端末２０のユーザは、端末２０の画面のスクロール等により表示されるメッセージの期間を変更させることに応じて、副表示領域６０に、ユーザがメッセージを表示した時のユーザの状態の推移を表示させることができる。
【００４５】
これにより、端末２０のユーザは、副表示領域６０に表示されるユーザの状態の推移から、所望の他のユーザとのメッセージのやり取りを特定できる。例えば、副表示領域６０に「笑顔」が表示されていることに基づいて、ユーザが面白いと感じた他のユーザとのメッセージのやり取りを特定することが可能である。例えば、メッセージを表示した位置の変化に基づいて、他のユーザとのメッセージのやり取りを確認した位置を特定することが可能である。例えば、心拍数等の生体情報の変化したことに基づいて、ユーザの感情の起伏が生じた他のユーザとのメッセージのやり取りを特定することが可能である。
【００４６】
なお、図４の例では、メッセージの表示期間の変更に伴い、副表示領域６０が変更される例について説明したが、副表示領域６０に対する操作に応じて、表示領域５０に表示されるメッセージを変更してもよい。例えば、地図６２Ｂ上に示された位置が選択された場合、端末２０は、選択された位置と対応付けられたメッセージを表示領域５０に表示してもよい。また、グラフ６３Ｂ上に示された点が選択された場合、端末２０は、選択された点と対応付けられたメッセージを表示領域５０に表示してもよい。
【００４７】
＜メッセージとユーザの状態との対応付け＞
図５を用いて、メッセージの表示とユーザの状態との対応付けの方法について説明する。
【００４８】
図５の（Ａ）は、チャットメニュー起動中に、ユーザＢからのメッセージ４０Ｆが、表示領域５０に表示された様子を示している。この場合、端末２０Ａが表示された時のユーザＡの状態を判断し、ユーザＡの状態を示す情報を決定する。ここで、端末２０Ａは、メッセージ４０Ｆが画面に表示されたタイミングから所定の期間におけるユーザＡの状態を取得してもよい。例えば、端末２０Ａは、表示されるメッセージのテキストの長さに応じて、所定の期間を調整してもよい。テキストが長い程、ユーザがテキストの全体を理解するのに時間を要し、表情や生体情報に変化をもたらすのに時間がかかるためである。
【００４９】
図５の（Ｂ）は、チャットメニューの起動画面を示す図であり、図５の（Ｃ）は、チャットメニューの起動後に、ユーザＢからのメッセージ（４０Ｇ、４０Ｈ）と、スタンプ４１Ａとが同時に、表示領域５０に表示される様子を示している。
【００５０】
この場合、端末２０Ａは、メッセージ（４０Ｇ、４０Ｈ）及びスタンプ４１Ａが表示されてから所定の期間におけるユーザＡの状態を取得する。そして、端末２０Ａは、所定の期間に取得したユーザＡの状態からユーザＡの状態を判断し、ユーザＡの状態を示す情報と、メッセージ等とを対応付ける。判断されたユーザＡの状態が複数ある場合、いずれかの状態を選択し、選択された状態を示す情報を全てのメッセージ等と対応付けてもよいし、判断されたユーザＡの状態を示す情報の各々とメッセージ等とを対応付けてもよい。いずれか１つの状態を選択する場合、端末は、最も多い状態を示す情報を、全てのメッセージ等と対応付けてもよい。
【００５１】
例えば、３つの状態「笑顔（Ｓｍｉｌｅ）」、「怒った顔（Ａｎｇｒｙ）」、及び「普通の顔（Ｎｏｒｍａｌ）」が判断された場合、「笑顔（Ｓｍｉｌｅ）」を示す情報をメッセージ（４０Ｇ、４０Ｈ）、及びスタンプ４１Ａに対応付けてもよい。
【００５２】
また、「笑顔（Ｓｍｉｌｅ）」を示す情報をメッセージ４０Ｇに対応付け、「怒った顔（Ａｎｇｒｙ）」を示す情報をメッセージ４０Ｈに対応付け、「普通の顔（Ｎｏｒｍａｌ）」を示す情報をスタンプ４１Ａに対応付けてもよい。ユーザが時系列に沿って上から順番に表示されるメッセージ等を確認する場合が多いと推測されるため、表情の変化もメッセージの表示順と対応する可能性が高いためである。
【００５３】
脈拍等の数値で表される生体情報とメッセージとを対応付ける場合には、メッセージ等が表示されてから所定の期間の数値の最大値、最小値、又は平均値等のいずれかをメッセージ等と対応付けてもよい。
【００５４】
上記のように、端末２０が動作することにより、複数のメッセージが表示されたときでも、メッセージとユーザの状態を示す情報とを対応付けることができる。
【００５５】
＜ユーザの状態の表示＞
次に、複数のメッセージ等が端末２０の表示領域５０に表示された場合の、副表示領域６０の表示について説明する。
【００５６】
端末２０は、メッセージ等とメッセージ等に対応するユーザの状態を示す情報とを対応付けて管理するユーザ状態管理テーブルを保持する。
【００５７】
図６は、ユーザ状態管理テーブルの一例を示す図である。図６では、ユーザの状態を示す情報が「表情」の場合について示している。図６のユーザ状態管理テーブルでは、メッセージやスタンプ等の受信情報と、ユーザの状態を示す情報である「表情」と、メッセージ等が表示された日時（例えば、最初に表示された日時）と、表示中フラグとが記憶される。ここで、表示中フラグは、端末２０の表示領域５０にメッセージ４０等が表示されているときに設定される。
【００５８】
なお、ユーザの状態を示す情報が「生体情報」、又は「ユーザの位置」の場合、対応する数値や、位置を示す情報が設定される。
【００５９】
図６では、「メッセージ＃２／＃３／＃４／＃５」、及び「スタンプ＃１」に表示中フラグが設定されている。つまり、これらのメッセージ等が端末２０の表示領域５０に設定されている。
【００６０】
端末２０は、副表示領域６０に表示するユーザの状態を示す情報を、ユーザ状態管理テーブルを用いて決定する。
【００６１】
例えば、端末２０は、表示されているメッセージ等に対応付けられているユーザの状態を示す情報のうち、最も多い情報を副表示領域６０に表示してもよい。図６の場合、「笑顔（Ｓｍｉｌｅ）」が最も多いため、端末２０は、副表示領域６０に表情「笑顔（Ｓｍｉｌｅ）」を示す情報を表示する。
【００６２】
例えば、端末２０は、ユーザの状態を示す情報に重み付けを行い、副表示領域６０に表示するユーザの状態を示す情報を決定してもよい。具体的には、表示領域５０の上下位置中央付近に表示さているメッセージ等に対応するユーザの状態を示す情報の重み付けを重く、表示領域５０の中央付近から離れて表示されているメッセージ等に対応するユーザの状態を示す情報の重み付けを軽くする。例えば、メッセージ＃２／＃５の重み付けを１、メッセージ＃３／＃４の重み付けを２、スタンプ＃１の重み付けを３とすると、「普通（Ｎｏｒｍａｌ）」の点数は１点、「怒った顔（Ａｎｇｒｙ）」の点数は１点、「笑顔（Ｓｍｉｌｅ）」の点数は７点となるため、端末２０は、副表示領域６０に「笑顔（Ｓｍｉｌｅ）」を示す情報を表示する。
【００６３】
例えば、端末２０は、ユーザの状態を示す情報の変化から、副表示領域６０に表示する情報を生成してもよい。例えば、表示されているメッセージ等に対応するユーザの状態を示す情報（表情）が、時系列に沿って「普通（Ｎｏｒｍａｌ）」、「普通（Ｎｏｒｍａｌ）」、「普通（Ｎｏｒｍａｌ）」、「笑顔（Ｓｍｉｌｅ）」、「笑顔（Ｓｍｉｌｅ）」に変化している場合、端末２０は、「普通（Ｎｏｒｍａｌ）」から「笑顔（Ｓｍｉｌｅ）」に変化し始める表情を示すマークを生成し、生成されたイラストを副表示領域６０に表示する。
【００６４】
脈拍等の数値で表される生体情報が副表示領域６０に表示される場合、表示されているメッセージ４０等に対応付けられて記憶されている数値のうちの最大値、最小値、又は平均値等のいずれかをメッセージ等と対応付けてもよい。
【００６５】
メッセージ等が表示されたときのユーザの位置が副表示領域６０に表示される場合、表示領域５０の上下位置の中央付近に表示されているメッセージ等に対応付けられている位置を地図上に表示してもよいし、表示領域５０に表示されている最も新しいメッセージに対応付けられている第１の位置と、最も古いメッセージに対応付けられている第２の位置と、第１の位置と第２の位置を結んだ区間を地図上に表示してもよい。ここで、第１の位置と第２の位置とを結んだ区間は、道路や路線等のユーザの移動の動線を考慮して表示される。
【００６６】
上記のように、端末２０が動作することにより、副表示領域６０に適切なユーザの状態を示す情報を表示させることが可能となる。
【００６７】
なお、表示領域５０に表示されるメッセージ送受信時刻が、所定の期間以上、例えば、1日以上、離れている場合、各々のメッセージに対応付けられたユーザの状態を示す情報の間に、相関関係を有さない場合がある。この場合には、副表示領域６０に、ユーザの状態を示す情報を表示しないでもよいし、複数のユーザの状態を示す情報を表示してもよいし、表示領域５０の上下位置の中央付近に表示されているメッセージに対応するユーザの状態を副表示領域６０に表示してもよい。また、複数の種類のユーザの状態を示す情報が、副表示領域６０に表示されてもよいことは勿論である。
【００６８】
＜ハードウェア構成＞
次に、情報処理システム１に含まれる各装置のハードウェア構成について説明する。
【００６９】
（１）情報処理装置
情報処理装置１０は、一般的なコンピュータの構成有している。
図７は、第１の実施形態に係るコンピュータのハードウェア構成の一例を示す図である。図７において、コンピュータ３００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０３、ストレージ装置３０４、入力装置３０５、表示装置３０６、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０７、外部Ｉ／Ｆ３０８、及びバス３０９等を有する。
【００７０】
ＣＰＵ３０１は、ＲＯＭ３０３やストレージ装置３０４等のメモリからプログラムやデータをＲＡＭ３０２上に読み出し、処理を実行することで、コンピュータ３００の制御や機能を実現する演算装置である。ＲＯＭ３０３は、コンピュータ３００の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）の設定、及び各種設定等のプログラムやデータが格納されている。ＲＡＭ３０２は、プログラムやデータを一時保持する揮発性のメモリである。ストレージ装置３０４は、プログラムやデータを格納している大容量の記憶装置である。
【００７１】
入力装置３０５は、例えばキーボードやマウス等であり、ユーザが各種操作信号を入力するのに用いられる。表示装置３０６は、例えばディスプレイ等であり、コンピュータ３００による処理結果を表示する。なお、入力装置３０５又は／及び表示装置３０６は、必要なときに接続して利用する形態であってもよい。
【００７２】
通信Ｉ／Ｆ３０７は、コンピュータ３００をネットワーク２に接続するためのインタフェースである。外部Ｉ／Ｆ３０８は、外部装置とのインタフェースである。外部装置には、外部記憶媒体３０８ａ等がある。これにより、コンピュータ３００は外部Ｉ／Ｆ３０８を介して外部記憶媒体３０８ａの読み取り及び／又は書き込みを行うことができる。外部記憶媒体３０８ａには例えば、各種の光学ディスクや、各種のメモリカード等が含まれる。
【００７３】
ＣＰＵ３０１が、ＲＯＭ３０３等に格納されているプログラムを実行することにより、情報処理装置１０の各機能を実現することができる。
【００７４】
（２）端末
図８は、第１の実施形態における端末２０のハードウェア構成の一例を示す図である。
【００７５】
端末２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、入出力装置２０５、通信Ｉ／Ｆ２０６及びディスプレイ２０７（表示装置）、カメラ２１、生体センサ２２、及び自己位置測定装置２３を備える。なお、端末２０のハードウェアの各構成要素は、バス２０８を介して相互に接続される。
【００７６】
記憶装置２０４は各種プログラムを記憶する。ＣＰＵ２０１は、記憶装置２０４に記憶された各種プログラムを実行するコンピュータである。
【００７７】
ＲＯＭ２０２は不揮発性メモリである。ＲＯＭ２０２は、記憶装置２０４に記憶された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を記憶する。
【００７８】
ＲＡＭ２０３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の主記憶装置である。ＲＡＭ２０３は、各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域として機能する。
【００７９】
入出力装置２０５は、端末２０に対する各種指示を入力する入力装置、及び端末２０で処理された処理結果を出力する出力装置の機能を含む。入出力装置２０５は、ディスプレイ２０７に接続される。本実施形態において、ディスプレイ２０７は、タッチ反応型ディスプレイ（タッチパネル）とすることができる。通信Ｉ／Ｆ２０６は、ネットワーク２を介して端末２０と情報処理装置１０との通信を行う。
【００８０】
カメラ２１は、ＣＰＵ２０１からの指示を受けて、静止画又は動画の撮影を行う。
【００８１】
生体センサ２２は、ＣＰＵ２０１からの指示を受けて、生体センサ２２とユーザとが接触している部分から、心拍数、体温、及び発汗量等を取得する。
【００８２】
自己位置測定装置２３は、例えば、ＧＰＳ装置により実現され、端末２０の位置を特定する。自己位置測定装置２３は、通信Ｉ／Ｆからネットワーク２の基地局等の情報を取得し、取得した基地局等の情報と、ＧＰＳで取得した情報とから端末２０の位置を特定してもよい。
【００８３】
ＣＰＵ２０１が、記憶装置２０４等に格納されているプログラムを実行することにより、端末２０の各機能を実現することができる。
【００８４】
＜機能構成＞
（１）端末の機能構成
図９を用いて、端末２０の機能構成について説明する。端末２０は、送受信部２１０、状態取得部２２０、状態情報決定部２３０、表示制御部２４０、情報管理部２５０、及び入力部２６０を有する。
【００８５】
情報管理部２５０は、表情サンプル記憶テーブル２５１、表情マーク記憶テーブル２５２、ユーザ状態管理テーブル２５３を有する。
【００８６】
送受信部２１０は、情報処理装置１０とデータの送受信を行う。送受信部２１０は、情報処理装置１０を介して、他のユーザの端末２０からのメッセージを受信する。
【００８７】
状態取得部２２０は、カメラ２１、生体センサ２２、及び自己位置測定装置２３を制御し、受信したメッセージが端末２０の表示領域５０に表示した時のユーザの状態を取得する。
【００８８】
状態取得部２２０は、カメラ２１を制御し、メッセージが表示された時のユーザの顔写真を取得する。状態取得部２２０は、生体センサ２２を制御し、メッセージが表示された時のユーザの生体情報を取得する。状態取得部２２０は、自己位置測定装置２３を制御し、メッセージが表示された時のユーザの生体情報を取得する。
【００８９】
状態情報決定部２３０は、状態取得部２２０が取得したユーザの状態を基に、ユーザの状態を判断し、ユーザの状態を示す情報を決定する。
【００９０】
また、状態情報決定部２３０は、複数のメッセージが同時に表示領域５０に表示されたときのメッセージとユーザの状態を示す情報の対応付けを行う。
【００９１】
ユーザの状態を示す情報が表情の場合、状態情報決定部２３０は、状態取得部２２０が取得したユーザの顔写真を基に、表情を判断し、表情を示す情報を決定し、決定した表情を示す情報を、ユーザ状態管理テーブル２５３に、メッセージと対応付けて記憶させる。状態情報決定部２３０は、表情を判断する際に、表情サンプル記憶テーブル２５１に記憶されているユーザの顔写真のサンプル画像から、表情を判断してもよい。状態情報決定部２３０は、表情を示す情報を決定するときに、表情マーク記憶テーブル２５２を参照し、ユーザの状態を示す情報を決定する。
【００９２】
ユーザの状態を示す情報が生体情報の場合、状態情報決定部２３０は、状態取得部２２０が取得したユーザの生体情報を、ユーザ状態管理テーブル２５３に、メッセージと対応付けて記憶させる。
【００９３】
ユーザの状態を示す情報が生体情報の場合、状態情報決定部２３０は、状態取得部２２０が取得したユーザの生体情報を、ユーザ状態管理テーブル２５３に、メッセージと対応付けて記憶させる。
【００９４】
状態情報決定部２３０は、決定したユーザの状態をメッセージと対応付けて、情報処理装置１０に通知してもよい。
【００９５】
表示制御部２４０は、受信したメッセージを表示領域５０に表示させる。表示制御部２４０は、メッセージと対応付けられたユーザの状態を示す情報を副表示領域６０に表示させる。複数のメッセージが表示領域５０に表示されている場合、表示制御部２４０は、上述した手順により、副表示領域６０に表示する情報を決定する。
【００９６】
表示制御部２４０は、入力部２６０がユーザからの指示を受けたことに応じて、メッセージに対応付けられているユーザの状態を示す情報を表示する。
【００９７】
ユーザの状態を示す情報が表情のときに、表示領域５０に表示されているメッセージに対応付けられた表情が変化する場合、表示制御部２４０は、表情の変化に応じた表情を生成し、副表示領域６０に表示してもよい。
【００９８】
情報管理部２５０は、端末２０がチャットメッセージの送受信及び表示制御を行うために必要な情報を表示する。表情サンプル記憶テーブル２５１を図１０に示す。表情サンプル記憶テーブル２５１には、端末２０のユーザの表情と、表情に対応するサンプル画像が記憶される。表情マーク記憶テーブル２５２を図１１に示す。表情マーク記憶テーブル２５２には、表情と表情に対応するマーク６１とが対応付けられて記憶される。ユーザ状態管理テーブル２５３には、図６に示す情報要素が記憶される。
【００９９】
入力部２６０は、ユーザからの入力を受け付ける。メッセージに対応付けられているユーザの状態を示す情報の表示、変更、及び削除等の処理を実行する。
【０１００】
（２）情報処理装置の機能構成
図１２を用いて情報処理装置１０の機能構成について説明する。情報処理装置１０は、送受信部１１０、メッセージ制御部１２０、情報管理部１３０を有する。また、情報管理部１３０は、メッセージ管理テーブル１３１、及びユーザ状態管理テーブル１３２を有する。
【０１０１】
送受信部１１０は、端末２０との間でメッセージのデータの送受信を行う。
【０１０２】
メッセージ制御部１２０は、受信したメッセージをメッセージ管理テーブル１３１に記憶させる。また、メッセージ制御部１２０は、端末２０から受信したメッセージを、宛先のユーザの端末２０に送信することを送受信部１１０に指示する。
【０１０３】
メッセージ管理テーブル１３１は端末２０から受信したメッセージを記憶する。メッセージ管理テーブル１３１には、ユーザの識別子と、該ユーザが宛先となっているメッセージとが対応付けられて記憶されている。送受信部１１０が、メッセージと共にメッセージに対応付けられた情報を受信した場合には、かかる情報もメッセージ管理テーブル１３１に記憶される。
【０１０４】
ユーザ状態管理テーブル１３２は、端末２０のユーザ状態管理テーブル２５３と同じ内容が記憶される。
【０１０５】
＜動作フロー＞
（１）ユーザの状態の対応付け処理
図１３を用いて、端末２０のメッセージとユーザの状態を示す情報との対応付け処理について説明する。
【０１０６】
ステップＳ１３０１で、入力部２６０が端末２０のユーザからＳＮＳアプリケーションのチャットメニューの起動を受け付けたことに応じて、表示制御部２４０は、表示領域５０に、情報処理装置１０から受信したメッセージを表示する。
【０１０７】
ステップＳ１３０２で、状態取得部２２０は、カメラ２１、生体センサ２２、又は自己位置測定装置２３等を制御し、メッセージが表示された時のユーザの状態を取得する。
【０１０８】
ステップＳ１３０３で、状態情報決定部２３０は、表示領域５０に同時に表示されたメッセージが複数か否かを判断する。複数のメッセージが表示された場合（ステップＳ１３０３  Ｙｅｓ）、ステップＳ１３０４に進む。複数のメッセージが表示されなかった場合、つまり、ひとつのメッセージが表示された場合（ステップＳ１３０３  Ｎｏ）、ステップＳ１３０５に進む。
【０１０９】
ステップＳ１３０４で、状態情報決定部２３０は、状態取得部２２０が取得したユーザの状態から、複数のメッセージの各々に対応付けるユーザの状態を示す情報を決定する。複数のメッセージとユーザの状態を示す情報とを対応付ける処理については、上述した通りである。
【０１１０】
ステップＳ１３０５で、状態情報決定部２３０は、状態取得部２２０が取得したユーザの状態から、メッセージに対応付けるユーザの状態を示す情報を決定する。
【０１１１】
ステップＳ１３０６で、状態情報決定部２３０は、ユーザ状態管理テーブル２５３に、決定されたユーザの状態を示す情報を、メッセージと対応付けて記憶する。
【０１１２】
（２）副表示領域の表示処理
図１４を用いて、端末２０による副表示領域６０の表示制御の処理について説明する。
【０１１３】
ステップＳ１４０１で、表示制御部２４０は、ユーザ状態管理テーブル２５３のフラグ欄を参照し、表示領域５０に表示されるメッセージを特定する。
【０１１４】
ステップＳ１４０２で、表示制御部２４０は、表示領域５０に複数のメッセージが表示されるか否かを判断する。複数のメッセージが表示される場合（ステップＳ１４０２  Ｙｅｓ）、ステップＳ１４０３に進む。複数のメッセージが表示されない場合、つまり、ひとつのメッセージが表示される場合、ステップＳ１４０４に進む。
【０１１５】
ステップＳ１４０３で、表示制御部２４０は、複数のメッセージの各々に対応付けられているユーザの状態を示す情報を、ユーザ状態管理テーブル２５３から取得する。表示制御部２４０は、副表示領域６０に表示するユーザの状態を示す情報を決定する。決定方法については、上述した通りである。表示制御部２４０は、必要に応じて、副表示領域６０に表示するユーザの状態を示す情報、例えば、表情の推移を示す情報を生成してもよい。
【０１１６】
上述した実施形態では、副表示領域６０に、表情マークが表示される場合について説明したが、副表示領域６０に、端末２０の表情サンプル記憶テーブル２５１に記憶されている写真を表示させてもよいし、メッセージを表示した時にカメラ２１により撮影された写真を表示させてもよい。
【０１１７】
ステップＳ１４０４で、表示制御部２４０は、メッセージに対応付けられているユーザの状態を示す情報を、ユーザ状態管理テーブル２５３から取得し、取得したユーザの状態を示す情報を副表示領域６０に表示することを決定する。
【０１１８】
ステップＳ１４０５で、表示制御部２４０は、副表示領域６０にユーザの状態を示す情報を表示する。
【０１１９】
［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。
【０１２０】
第１の実施形態では、端末２０ＡにユーザＢからのメッセージを表示した時の端末２０ＡのユーザＡの状態を示す情報を副表示領域６０に表示することを特徴としていた。第２の実施形態では、副表示領域６０に、ユーザＡの状態を示す情報に加えて、ユーザＢの状態を示す情報を示すことを特徴としている。ここで、ユーザＢの状態を示す情報とは、ユーザＢがメッセージを作成する時のユーザＢの状態を示す情報、又はユーザＢの端末２０Ｂに、ユーザＡからのメッセージが表示された時のユーザＢの状態を示す情報である。
【０１２１】
＜動作シーケンス＞
（１）動作シーケンス１：メッセージ入力時の他のユーザの状態を示す情報の表示
図１５を用いて第２の実施形態に係る動作シーケンスの一例について説明する。図１５は、ユーザＢからのメッセージが表示領域５０に表示される時に、副表示領域６０にユーザＢの該メッセージの入力中の状態が表示される場合の動作シーケンスを示している。
【０１２２】
ステップＳ１５０１で、端末２０Ｂの入力部２６０は、ユーザＢからメッセージ＃１の入力を受け付ける。
【０１２３】
ステップＳ１５０２で、端末２０Ｂの状態取得部２２０は、ユーザＢがメッセージ＃１を入力している時のユーザＢの状態を取得し、ユーザＢの状態を示す情報を決定する。ユーザの状態の取得方法、及びユーザの状態を示す情報の決定方法については、第１の実施形態と同様である。
【０１２４】
ステップＳ１５０３で、端末２０Ｂは、ユーザＡ宛てのメッセージ＃１を情報処理装置１０に送信する。メッセージ＃１はユーザＢの状態を示す情報を含む。ここで、端末２０Ｂは決定されたユーザＢの状態を示す情報の送信可否の判断を、端末２０Ｂのユーザに促すメッセージを画面に表示し、ユーザから送信可である旨の指示を受け付けたことに応じてステップＳ１５０３の処理を実行してもよい。
【０１２５】
ステップＳ５０４で、情報処理装置１０は、メッセージ管理テーブル１３１に受信したメッセージ＃１と、ユーザＢの状態を示す情報とを記憶する。また、情報処理装置１０は、端末２０Ａにメッセージ＃１を、ユーザＢの状態を示す情報と共に送信する。
【０１２６】
ステップＳ１５０５で、端末２０Ａはメッセージ＃１を受信し、表示領域５０にメッセージ＃１を表示する。
【０１２７】
ステップＳ１５０６で、端末２０ＡはユーザＡのメッセージ＃１を表示した時のユーザＡの状態を取得し、ユーザＡの状態を示す情報を決定する。
【０１２８】
なお、ステップＳ１５０６において、端末２０Ａは、決定されたユーザＡの状態を示す情報を画面に表示し、ユーザＡの承認を求めてもよい。
【０１２９】
例えば、ユーザＡの状態を示す情報が、表情の場合、表情に対応するスタンプを端末２０Ａの画面に表示させてもよい。この場合、端末２０Ａは、表情に対応するスタンプの候補を表示し、ユーザＡの指示に基づいて表情に対応するスタンプを決定してもよい。
【０１３０】
ステップＳ１５０７で、端末２０Ａの状態情報決定部２３０は、ユーザ状態管理テーブル２５３Ａに、受信したメッセージ＃１と、ユーザＢの状態を示す情報と、ユーザＡの状態を示す情報とが対応付けられて記憶される。
【０１３１】
ステップＳ１５０８で、端末２０は、表示領域５０にメッセージ＃１を再度表示する。この時に、端末２０は、副表示領域６０に、ユーザＡの状態を示す情報と、ユーザＢの状態を示す情報とを表示する。ここで、ユーザＢの状態を示す情報は、ユーザＢが端末２０Ｂにメッセージ＃１を入力した時のユーザＢの状態を示す情報である。
【０１３２】
（２）動作シーケンス２：メッセージ受信時の他のユーザの状態を示す情報の表示
図１６を用いて第２の実施形態に係る動作シーケンスの一例について説明する。図１６は、ユーザＢの端末２０ＢにユーザＡからのメッセージが表示された時のユーザＢの状態を示す情報が副表示領域６０に表示される場合の動作シーケンスを示している。
【０１３３】
ステップＳ１６０１で、端末２０ＡはユーザＢ宛のメッセージ＃２を情報処理装置１０に送信する。
【０１３４】
ステップＳ１６０２で、情報処理装置１０は、メッセージ管理テーブル１３１に受信したメッセージ＃２を記憶する。また、情報処理装置１０は、端末２０Ｂにメッセージ＃２を送信する。
【０１３５】
ステップＳ１６０３で、端末２０Ｂは、受信したメッセージ＃２を表示領域５０に表示する。
【０１３６】
ステップＳ１６０４で、端末２０Ｂは、メッセージ＃２が表示された時のユーザＢの状態を取得し、ユーザＢの状態を示す情報を決定する。
【０１３７】
なお、ステップＳ１６０４において、端末２０Ｂは、決定されたユーザＢの状態を示す情報を画面に表示し、ユーザＢの承認を求めてもよい。
【０１３８】
例えば、ユーザＢの状態を示す情報が、表情の場合、表情に対応するスタンプを端末２０Ｂの画面に表示させてもよい。この場合、端末２０Ｂは、表情に対応するスタンプの候補を表示し、ユーザＢの指示に基づいて表情に対応するスタンプを決定してもよい。
【０１３９】
ステップＳ１６０５で、端末２０Ｂは、決定されたユーザＢの状態を示す情報を、情報処理装置１０に送信する。ここで、端末２０Ｂは決定されたユーザＢの状態を示す情報の送信可否の判断を、促すメッセージを画面に表示してもよい。この場合、端末２０Ｂが、ユーザＢから送信可である旨の指示を受け付けたことに応じてステップＳ１６０５の処理が実行される。
【０１４０】
ステップＳ１６０６で、情報処理装置１０は、ユーザＢの状態を示す情報を、端末２０Ａに送信する。
【０１４１】
ステップＳ１６０７で、端末２０Ａは、ユーザ状態管理テーブル２５３Ａに、メッセージ＃２とユーザＢの状態を示す情報とを対応付けて記憶する。
【０１４２】
ステップＳ１６０８で、端末２０ＢはユーザＢからメッセージ＃３の入力を受け付ける。
【０１４３】
ステップＳ１６０９で、端末２０Ｂは、メッセージ＃３を情報処理装置１０に送信する。
【０１４４】
ステップＳ１６１０で、情報処理装置１０は、メッセージ＃３を端末２０Ａに送信する。
【０１４５】
ステップＳ１６１１とステップＳ１６１２については、ステップＳ１５０５とステップＳ１５０６と同じであるため、説明を省略する。
【０１４６】
ステップＳ１６１３で、端末２０Ａは、ユーザ状態管理テーブル２５３Ａに、メッセージ＃３とユーザＡの状態を示す情報とを対応付けて記憶する。
【０１４７】
ステップＳ１６１４で、端末２０は、表示領域５０にメッセージ＃２及びメッセージ＃３を再度表示する。この時に、端末２０は、副表示領域６０に、ユーザＡの状態を示す情報と、ユーザＢの状態を示す情報とを表示する。ここで、ユーザＢの状態を示す情報は、端末２０Ｂがメッセージ＃２を表示した時のユーザＢの状態を示す情報であり、ユーザＡの状態を示す情報は、端末２０Ａがメッセージ＃３を表示した時のユーザＡの状態を示す情報である。
【０１４８】
なお、図１５及び図１６と同様の手順を用いることにより、副表示領域６０に、ユーザＡがメッセージを入力した時のユーザＡの状態を示す情報と、ユーザＢがメッセージを入力した時のユーザＢの状態を示す情報とが表示させることもできる。
【０１４９】
＜表示制御例＞
図１７を用いて、第２の実施形態に係る表示制御例を説明する。上述したように、第２の実施形態では、端末２０のユーザの状態を示す情報と、チャットの相手のユーザの状態を示す情報とが、副表示領域６０に表示される。
【０１５０】
図１７では、端末２０Ａの表示領域５０Ａに、端末２０ＡのユーザＡの送信したメッセージ４０Ｍ／４０Ｎが表示される。表示領域５０Ｂに、受信したユーザＢからユーザＡ宛てのメッセージ４０Ｊ／４０Ｋが表示される。
【０１５１】
副表示領域６０Ａには、ユーザＡの状態を示す情報６１Ｄが表示される。ここで、ユーザＡの状態を示す情報６１Ｄは、メッセージ４０Ｊ／４０Ｋが表示された時のユーザＡの状態を示す情報、又はメッセージ４０Ｍ／４０ＮがユーザＡに入力された時のユーザＡの状態を示す情報である。
【０１５２】
副表示領域６０Ｂには、ユーザＢの状態を示す情報６１Ｆが表示される。ここで、ユーザＢの状態を示す情報６１Ｆは、メッセージ４０Ｍ／４０ＮがユーザＢの端末２０Ｂに表示された時にユーザＢの状態を示す情報、又はメッセージ４０Ｊ／４０ＫがユーザＢに入力された時のユーザＢの状態を示す情報である。
【０１５３】
なお、Ｎ人（Ｎは自然数）のチャットを行う場合、Ｎ個の副表示領域６０を設け、各々の副表示領域６０に、チャットに参加しているユーザの状態を示す情報が表示される。
【０１５４】
また、第１の実施形態と同様に、端末２０がユーザのスクロール等の操作を受けて表示領域５０に表示されるメッセージが変更されることに応じて、副表示領域６０に示されるユーザの状態を示す情報も、表示されるメッセージに対応するように変更される。
【０１５５】
なお、図１７では、ユーザ毎にひとつの副表示領域６０が表示される例を示しているが、ユーザ毎に複数の副表示領域が設定されてもよい。例えば、メッセージ等のコンテンツの近傍にコンテンツの各々に対応付けられたユーザの状態を示す副表示領域６０が設けられてもよい。
【０１５６】
＜機能構成＞
第２の実施形態の端末２０の機能構成について説明する。
【０１５７】
第２の実施形態では、状態情報決定部２３０が、チャット相手のユーザＢの状態を示す情報を取得し、ユーザ状態管理テーブル２５３Ａに記憶する。また、表示制御部２４０は、ユーザ状態管理テーブル２５３Ａを参照し、表示されているメッセージに対応する端末２０ＡのユーザＡの状態を示す情報と、チャット相手のユーザＢの状態を示す情報とを特定し、複数の副表示領域６０に表示する。
【０１５８】
図１８を用いて、第２の実施形態に係るユーザ状態管理テーブル２５３Ａについて説明する。
【０１５９】
副表示領域６０に、ユーザＢからユーザＡ宛てのメッセージが表示された時のユーザＡの状態を示す情報と、ユーザＢがユーザＡ宛てのメッセージを入力した時のユーザＢの状態を示す情報とが表示される場合、図１８（Ａ）のユーザ状態管理テーブル２５３Ａが用いられる。ユーザＡの端末２０ＡがユーザＢから受信したメッセージ毎に、送信ユーザ（ユーザＢ）の状態を示す情報と、受信ユーザ（ユーザＡ）の状態を示す情報とが対応付けられて記憶される。「送信日時」には、ユーザＢの端末２０Ｂからメッセージが送信された日時が記憶され、「表示日時」には、ユーザＡの端末２０Ａにメッセージが表示された日時が記憶される。
【０１６０】
例えば、受信したメッセージ＃２が表示領域５０に表示されている場合、表示制御部２４０は、副表示領域６０ＡにユーザＡの状態を示す情報「笑顔（Ｓｍｉｌｅ）」を表示し、副表示領域６０ＢにユーザＢの状態を示す情報「笑顔（Ｓｍｉｌｅ）」を表示する。
【０１６１】
副表示領域６０に、メッセージを受信したユーザの状態を示す情報が受信される場合、図１８（Ｂ）のユーザ状態管理テーブル２５３Ａが用いられる。ユーザＡの端末２０Ａが、ユーザＢからのメッセージが表示領域５０に表示された時のユーザＡの状態を示す情報が、受信したメッセージと対応付けられて記憶される。また、ユーザＢの端末２０Ｂに、ユーザＡからのメッセージが表示された時のユーザＢの状態を示す情報が、送信したメッセージと対応付けられて記憶される。「表示日時」には、メッセージが宛先の端末２０に表示された日時が記憶される。
【０１６２】
例えば、受信したメッセージ＃２及び送信したメッセージ＃３が表示領域５０に表示されている場合、表示制御部２４０は、副表示領域６０ＡにユーザＡの状態を示す情報「怒り（Ａｎｇｒｙ）」を表示し、副表示領域６０ＢにユーザＢの状態を示す情報「普通（Ｎｏｒｍａｌ）」を表示する。
【０１６３】
第２の実施形態によれば、端末２０のユーザの状態を示す情報のみならず、チャット相手のユーザの状態を示す情報が、メッセージ等と対応付けられて表示されるため、端末２０のユーザは自分とチャット相手の状態から所望のメッセージ、例えば両方とも笑った話題に関するメッセージ等を、抽出し易くなる。
【０１６４】
［第３の実施形態］
上述した実施形態では、端末２０が、ユーザの状態を取得し、取得した状態を判断していたが、ユーザの状態の判断及びユーザの状態を示す状態の決定については、情報処理装置１０で実行されてもよい。第３の実施形態では、ユーザの状態の判断等を情報処理装置１０で実行することを特徴としている。
【０１６５】
図１９に、第３の実施形態に係る情報処理装置１０の機能構成を示す。
【０１６６】
第３の実施形態に係る情報処理装置１０は、第１及び第２の実施形態の情報処理装置１０が有する機能に加えて、情報処理装置１０が、状態情報決定部１４０を有し、情報管理部１３０が、表情サンプル記憶テーブル１３３及び表情マーク記憶テーブル１３４を有することを特徴としている。
【０１６７】
状態情報決定部１４０は、第１及び第２の実施形態の状態情報決定部２３０と同様の処理を実行する。状態情報決定部１４０は、送受信部１１０を介して、端末２０が取得した端末２０の状態を取得し、ユーザの状態の判断と、ユーザの状態を示す情報を決定し、決定したユーザの状態を示す情報を、ユーザ状態管理テーブル１３２に記憶する。
【０１６８】
表示制御部１５０は、決定したユーザの状態を示す情報と、メッセージとの対応付けを示す情報とを、送受信部１１０を介して、端末２０に通知する。また、表示制御部１５０は、メッセージが再び端末２０の画面に表示された時に、対応付けを示す情報に従って表示することを指示する。
【０１６９】
表情サンプル記憶テーブル１３３は、表情サンプル記憶テーブル２５１と同じ情報を記憶する。また、表情マーク記憶テーブル１３４は、表情マーク記憶テーブル２５２と同じ情報を記憶する。
【０１７０】
次に、図２０を用いて、第３の実施形態に係る端末２０の機能構成を説明する。
【０１７１】
第３の実施形態に係る端末２０は、情報処理装置１０で、ユーザの状態の判断等を行うため、状態情報決定部２３０、表情サンプル記憶テーブル２５１、及び表情マーク記憶テーブル２５２を有さない。
【０１７２】
送受信部２１０は、情報処理装置１０から、ユーザの状態を示す情報と、メッセージとの対応付けを示す情報とを受信する。受信した情報は、ユーザ状態管理テーブル２５３に記憶される。表示制御部２４０は、情報処理装置１０の指示に従って、メッセージが再び端末２０の画面に表示された時に、メッセージと、メッセージに対応付けられたユーザの状態を示す情報とを表示領域５０及び副表示領域６０に表示する。
【０１７３】
上述したように、端末２０と情報処理装置１０の機能分担を変更しても、第１の実施形態及び第２の実施形態に記載したのと同様の表示制御を実行することができる。また、第１乃至第３の実施形態以外の機能分担であっても、同様の表示制御を実行することができるのは勿論である。
【０１７４】
［その他］
上述した実施形態では、副表示領域６０に表情を示すマークを表示する場合について説明したが、ユーザの状態と対応付けられたユーザの画像、アニメーション、色等によりユーザの状態を示してもよい。また、色を用いる場合、表示領域５０の色をメッセージに対応するユーザの状態に応じて変更してもよい。
【０１７５】
状態取得部２２０は、取得部の一例である。状態情報決定部２３０は、対応付け部の一例である。
【０１７６】
送受信部１１０は、送信部及び受信部の一例である。状態情報決定部１４０は、対応付け部の一例である。
【０１７７】
上述した実施形態では、ユーザの状態を示す情報として、表情等を例示したが、ユーザの状態を示す情報はこれに限定されない。例えば、ユーザがメッセージを確認した時の天気、又は端末のユーザの移動速度等をユーザの状態としてもよい。この場合、端末２０は、温度計、湿度計、及び加速度センサ等を具備する。
【０１７８】
上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、情報処理装置１０及び端末２０に供給してもよい。そして、情報処理装置１０及び端末２０が、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が、達成されることは言うまでもない。この場合、記憶媒体には、上述した表示制御方法を、情報処理装置１０及び端末２０に実行させるプログラムが記憶される。
【０１７９】
具体的には、受信したメッセージを、端末の画面に表示する第１のステップと、前記メッセージが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、前記メッセージと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、前記メッセージが再び前記画面に表示された時に、前記メッセージと共に、前記ユーザの状態を示す情報を、前記画面に表示する第４のステップとを、端末に実行させる、プログラムが、記憶媒体に記憶される。
【０１８０】
また、端末に、他の端末からのメッセージが、前記端末の画面に表示された時の前記端末のユーザの状態を受信するステップと、前記メッセージと、取得された前記ユーザの状態を示す情報とを対応付けるステップと、前記ユーザの状態を示す情報と、前記メッセージとの対応付けを示す情報とを送信するステップと、前記メッセージが再び前記端末の前記画面に表示された時に、前記端末に、前記メッセージと共に、前記ユーザの状態を示す情報を、表示させるステップとを、情報処理装置に実行させる、プログラムが、記憶媒体に記憶される。
【０１８１】
そして、これらの記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。
【０１８２】
また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で動作しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。
【０１８３】
以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１８４】
１  情報処理システム
２  ネットワーク
１０  情報処理装置
２０  端末
２０Ａ  端末
２０Ｂ  端末
２１  カメラ
２２  生体センサ
２３  自己位置測定装置
１１０  送受信部
１２０  メッセージ制御部
１３０  情報管理部
１３１  メッセージ管理テーブル
１３２  ユーザ状態管理テーブル  （情報処理装置）
１３３  表情サンプル記憶テーブル  （情報処理装置）
１３４  表情マーク記憶テーブル  （情報処理装置）
１４０  状態情報決定部
１５０  表示制御部
２１０  送受信部
２２０  状態取得部
２３０  状態情報決定部
２４０  表示制御部
２５０  情報管理部
２５１  表情サンプル記憶テーブル  （端末）
２５２  表情マーク記憶テーブル  （端末）
２５３  ユーザ状態管理テーブル  （端末）
２６０  入力部
【図１】
2017146743.tif 000003
【図２】
2017146743.tif 000004
【図３】
2017146743.tif 000005
【図４】
2017146743.tif 000006
【図５】
2017146743.tif 000007
【図６】
2017146743.tif 000008
【図７】
2017146743.tif 000009
【図８】
2017146743.tif 000010
【図９】
2017146743.tif 000011
【図１０】
2017146743.tif 000012
【図１１】
2017146743.tif 000013
【図１２】
2017146743.tif 000014
【図１３】
2017146743.tif 000015
【図１４】
2017146743.tif 000016
【図１５】
2017146743.tif 000017
【図１６】
2017146743.tif 000018
【図１７】
2017146743.tif 000019
【図１８】
2017146743.tif 000020
【図１９】
2017146743.tif 000021
【図２０】
2017146743.tif 000022
【手続補正書】
【提出日】平成28年9月20日(2016.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末が、
前記端末の送信したコンテンツが、他の端末に表示された時の前記他の端末のユーザの状態を示す情報を取得するステップと、
受信したコンテンツを、前記端末の画面に表示する第１のステップと、
前記受信したコンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記受信したコンテンツが再び前記画面に表示される場合、前記受信したコンテンツと、前記受信したコンテンツに対応付けられたユーザの状態を示す情報と、前記送信したコンテンツと、前記送信したコンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記画面に表示する第４のステップとを、有する、表示制御方法。
【請求項２】
前記第１のステップにおいて、複数の前記受信したコンテンツが同時に表示された場合、前記第２のステップにおいて、前記端末は、所定の期間の前記ユーザの状態を取得し、
前記第３のステップにおいて、前記端末は、前記所定の期間に取得された前記ユーザの状態を基に、前記ユーザの状態を示す情報を決定し、前記画面に表示された複数の前記受信したコンテンツの各々と、決定された前記ユーザの状態を示す情報とを対応付ける、ことを特徴とする、請求項１に記載の表示制御方法。
【請求項３】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記端末が、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項１又は２に記載の表示制御方法。
【請求項４】
前記画面に表示されるコンテンツが、前記第１のコンテンツから前記第２のコンテンツに変更される場合、前記端末は、前記第１のコンテンツに対応付けられた前記ユーザの状態を示す情報から、前記第２のコンテンツに対応付けられた前記ユーザの状態を示す状態への推移を前記画面に表示する、ことを特徴とする、請求項３に記載の表示制御方法。
【請求項５】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に受信したコンテンツから、第２の期間に受信したコンテンツに変更されると、前記端末が、前記第２の期間に受信したコンテンツに対応付けられた前記ユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項１又は２に記載の表示制御方法。
【請求項６】
前記受信したコンテンツは、該コンテンツが他の端末に入力されたときの前記他の端末のユーザの状態を示す情報を含み、
前記第４のステップにおいて、前記端末は、前記他の端末のユーザの状態を示す情報を前記画面に表示する、ことを特徴とする、請求項１又は２に記載の表示制御方法。
【請求項７】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記端末が、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報、及び前記他の端末のユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項６に記載の表示制御方法。
【請求項８】
前記端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に送受信したコンテンツから、第２の期間に送受信したコンテンツに変更されると、前記端末が、前記第２の期間に送受信したコンテンツに対応付けられた前記ユーザの状態を示す情報、及び前記他の端末のユーザの状態を示す情報を、前記画面に表示するステップと、を有する、請求項７に記載の表示制御方法。
【請求項９】
前記ユーザの状態は、前記ユーザの外観の画像、生体情報、滞在する場所、又はこれらの組み合わせである、ことを特徴とする、請求項１乃至８のいずれか一項に記載の表示制御方法。
【請求項１０】
前記ユーザの状態を示す情報は、マーク、スタンプ、アニメーション、グラフ、地図、又はこれらの組み合わせにより、前記画面に表示される、ことを特徴とする、請求項１乃至９のいずれか一項に記載の表示制御方法。
【請求項１１】
端末であって、
受信したコンテンツを、画面に表示させる表示制御部と、
前記受信したコンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する取得部と、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける対応付け部と、を有し、
前記取得部は、前記端末の送信したコンテンツが、他の端末に表示された時の前記他の端末のユーザの状態を示す情報を取得し、
前記表示制御部は、前記受信したコンテンツが再び前記画面に表示される場合、前記受信したコンテンツと、前記受信したコンテンツに対応付けられたユーザの状態を示す情報と、前記送信したコンテンツと、前記送信したコンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記画面に表示する、ことを特徴とする、端末。
【請求項１２】
端末に、
前記端末の送信したコンテンツが、他の端末に表示された時の前記他の端末のユーザの状態を示す情報を取得するステップと、
受信したコンテンツを、端末の画面に表示する第１のステップと、
前記受信したコンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記受信したコンテンツが再び前記画面に表示される場合、前記受信したコンテンツと、前記受信したコンテンツに対応付けられたユーザの状態を示す情報と、前記送信したコンテンツと、前記送信したコンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記画面に表示する第４のステップとを、実行させる、プログラム。
【請求項１３】
端末に、他の端末からのコンテンツが、前記端末の画面に表示された時の前記端末のユーザの状態を受信する受信部と、
前記他の端末からのコンテンツと、前記受信されたユーザの状態を示す情報とを対応付ける対応付け部と、
前記受信されたユーザの状態を示す情報と、前記他の端末からのコンテンツとの対応付けを示す情報とを送信する送信部と、
前記他の端末からのコンテンツが再び前記画面に表示される場合、前記他の端末からのコンテンツと、前記他の端末からのコンテンツに対応付けられた前記端末のユーザの状態を示す情報と、前記端末からのコンテンツと、前記端末からのコンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記端末の画面に表示させる表示制御部とを、有する、情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
一つの態様では、端末が、前記端末の送信したコンテンツが、他の端末に表示された時の前記他の端末のユーザの状態を示す情報を取得するステップと、受信したコンテンツを、前記端末の画面に表示する第１のステップと、前記受信したコンテンツが表示されたことに応じて、前記端末のユーザの状態を取得する第２のステップと、前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、前記受信したコンテンツが再び前記画面に表示される場合、前記受信したコンテンツと、前記受信したコンテンツに対応付けられたユーザの状態を示す情報と、前記送信したコンテンツと、前記送信したコンテンツに対応付けられた前記他の端末のユーザの状態を示す情報とを共に、前記画面に表示する第４のステップとを、有する、表示制御方法が提供される。
【手続補正書】
【提出日】平成28年12月27日(2016.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報処理端末に、
受信したコンテンツを、前記情報処理端末の画面に表示する第１のステップと、
前記受信したコンテンツが表示されたことに応じて、前記情報処理端末のユーザの状態を取得する第２のステップと、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記受信した複数のコンテンツが同時に、再び前記画面に表示される場合、前記複数のコンテンツの各々に対応付けられた前記ユーザの各状態に応じて、所定の表示領域に表示する前記ユーザの一の状態を決定し、前記画面に表示する第４のステップとを、実行させるプログラム。
【請求項２】
前記第１のステップにおいて、複数の前記受信したコンテンツが同時に表示された場合、前記第２のステップにおいて、所定の期間の前記ユーザの状態を取得し、
前記第３のステップにおいて、前記所定の期間に取得された前記ユーザの状態を基に、前記ユーザの状態を示す情報を決定し、前記画面に表示された複数の前記受信したコンテンツの各々と、決定された前記ユーザの状態を示す情報とを対応付ける、請求項１に記載のプログラム。
【請求項３】
前記情報処理端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報を、前記画面に表示するステップと、を実行させる、請求項１又は２に記載のプログラム。
【請求項４】
前記画面に表示されるコンテンツが、前記第１のコンテンツから前記第２のコンテンツに変更される場合、前記第１のコンテンツに対応付けられた前記ユーザの状態を示す情報から、前記第２のコンテンツに対応付けられた前記ユーザの状態を示す状態への推移を前記画面に表示させる、請求項３に記載のプログラム。
【請求項５】
前記情報処理端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に受信したコンテンツから、第２の期間に受信したコンテンツに変更されると、前記第２の期間に受信したコンテンツに対応付けられた前記ユーザの状態を示す情報を、前記画面に表示するステップと、を実行させる、請求項１又は２に記載のプログラム。
【請求項６】
前記受信したコンテンツは、該コンテンツが他の情報処理端末に入力されたときの前記他の情報処理端末のユーザの状態を示す情報を含み、
前記第４のステップにおいて、前記他の情報処理端末のユーザの状態を示す情報を前記画面に表示させる、請求項１又は２に記載のプログラム。
【請求項７】
前記情報処理端末のユーザの指示に応じて、前記画面に表示されるコンテンツが第１のコンテンツから第２のコンテンツに変更されると、前記第２のコンテンツに対応付けられている前記ユーザの状態を示す情報、及び前記他の情報処理端末のユーザの状態を示す情報を、前記画面に表示するステップと、を実行させる、請求項６に記載のプログラム。
【請求項８】
前記情報処理端末のユーザの指示に応じて、前記画面に表示されるコンテンツが、第１の期間に送受信したコンテンツから、第２の期間に送受信したコンテンツに変更されると、前記第２の期間に送受信したコンテンツに対応付けられた前記ユーザの状態を示す情報、及び前記他の情報処理端末のユーザの状態を示す情報を、前記画面に表示するステップと、を実行させる、請求項７に記載のプログラム。
【請求項９】
前記ユーザの状態は、前記ユーザの外観の画像、生体情報、滞在する場所、又はこれらの組み合わせである、請求項１乃至８のいずれか一項に記載のプログラム。
【請求項１０】
前記ユーザの状態を示す情報は、マーク、スタンプ、アニメーション、グラフ、地図、又はこれらの組み合わせにより、前記画面に表示される、請求項１乃至９のいずれか一項に記載のプログラム。
【請求項１１】
情報処理端末であって、
受信したコンテンツを、画面に表示させる表示制御部と、
前記受信したコンテンツが表示されたことに応じて、前記情報処理端末のユーザの状態を取得する取得部と、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける対応付け部と、を有し、
前記表示制御部は、前記受信した複数のコンテンツが同時に、再び前記画面に表示される場合、前記複数のコンテンツの各々に対応付けられた前記ユーザの各状態に応じて、所定の表示領域に表示する前記ユーザの一の状態を決定し、前記画面に表示する、情報処理端末。
【請求項１２】
情報処理端末が、
受信したコンテンツを、前記情報処理端末の画面に表示する第１のステップと、
前記受信したコンテンツが表示されたことに応じて、前記情報処理端末のユーザの状態を取得する第２のステップと、
前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、
前記受信した複数のコンテンツが同時に、再び前記画面に表示される場合、前記複数のコンテンツの各々に対応付けられた前記ユーザの各状態に応じて、所定の表示領域に表示する前記ユーザの一の状態を決定し、前記画面に表示する第４のステップとを、実行する表示制御方法。
【請求項１３】
情報処理端末に、他の情報処理端末からのコンテンツが、前記情報処理端末の画面に表示された時の前記情報処理端末のユーザの状態を受信する受信部と、
前記他の情報処理端末からのコンテンツと、前記受信されたユーザの状態を示す情報とを対応付ける対応付け部と、
前記受信されたユーザの状態を示す情報と、前記他の情報処理端末からのコンテンツとの対応付けを示す情報とを送信する送信部と、
前記他の情報処理端末からの複数のコンテンツが同時に、再び前記画面に表示される場合、前記複数のコンテンツの各々に対応付けられた前記ユーザの各状態に応じて、所定の表示領域に表示する前記ユーザの一の状態を決定し、前記情報処理端末の画面に表示させる表示制御部とを、有する、情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
一つの態様では、情報処理端末に、受信したコンテンツを、前記情報処理端末の画面に表示する第１のステップと、前記受信したコンテンツが表示されたことに応じて、前記情報処理端末のユーザの状態を取得する第２のステップと、前記受信したコンテンツと、取得された前記ユーザの状態を示す情報とを対応付ける第３のステップと、前記受信した複数のコンテンツが同時に、再び前記画面に表示される場合、前記複数のコンテンツの各々に対応付けられた前記ユーザの各状態に応じて、所定の表示領域に表示する前記ユーザの一の状態を決定し、前記画面に表示する第４のステップとを、実行させるプログラムが提供される。