(57)【要約】【課題】  メディアコンテンツを視聴しながらコメントを入力しているときに、入力操作に遅れることなくコメントを表示画面に表示することができ、しかも同時にタイムスタンプ付きのコメントデータを作成することができるコメント入力表示システムを提供する。【解決手段】  コメント表示制御部２３が、新規のコメントを構成する１以上の表示文字について、一つの表示文字のデータが入力装置から入力されるたびに、表示画面１５に一つの表示文字を表示するように構成されている。コメントデータ作成部２７が、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成するように構成されている。【選択図】  図２
2017016535.tif 000002
【特許請求の範囲】
【請求項１】
メディアコンテンツを配信するメディアコンテンツサーバと、
前記メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、
入力装置及び表示装置を備え、通信ネットワークを介して前記メディアコンテンツサーバと前記コメントデータサーバに接続されて、前記メディアコンテンツを実行し且つ前記表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される前記通信端末装置で利用されるコメント入力表示システムが、
前記メディアコンテンツを実行しているときに、前記メディアコンテンツに対応して前記コメントデータサーバに記憶されている前記コメントデータがあれば前記タイムスタンプにより指定された時刻に前記コメントデータに基づくコメントを前記表示画面上に表示し、さらに前記入力装置からユーザが入力した前記メディアコンテンツに対する新規のコメントを前記表示画面上に表示するコメント表示制御部と、
前記新規のコメントのコメントデータに前記タイムスタンプを付けてタイムスタンプ付きコメントデータを作成するコメントデータ作成部と、
前記タイムスタンプ付きコメントデータを前記コメントデータサーバに送信するコメントデータ送信部とを備え、
前記コメント表示制御部が、前記新規のコメントを構成する１以上の表示文字について、一つの前記表示文字のデータが前記入力装置から入力されるたびに、前記表示画面に前記一つの表示文字を表示するように構成され、
前記コメントデータ作成部が、前記一つの表示文字のデータに個別に前記タイムスタンプを付して前記タイムスタンプ付きコメントデータを作成するように構成されていることを特徴とするコメント入力表示システム。
【請求項２】
前記コメント表示制御部は、前記新規のコメントの表示を他のコメントの表示と区別できる態様で表示する請求項１に記載のコメント入力表示システム。
【請求項３】
前記コメント表示制御部は、複数の表示文字からなる前記新規のコメントを前記表示画面に表示するときには、前記一つの表示文字を徐々に拡大しながら表示し、前記新規のコメントの入力が完了したときには前記複数の表示文字を同時に徐々に縮小する表示文字拡大縮小部をさらに備えている請求項２に記載のコメント入力表示システム。
【請求項４】
前記コメントデータ作成部は、前記入力装置から最後に入力された文字からの経過時間間隔が予め定めた時間間隔以上になると、１コメントの入力が終了したと判定する機能を有している請求項１に記載のコメント入力表示システム。
【請求項５】
前記コメントデータ作成部は、前記ユーザが入力したコメントであることを識別できるユーザ識別子を前記新規のコメントの前記タイムスタンプ付きコメントデータに付与する機能を有しており、
前記コメント表示制御部は、前記コメントデータに前記ユーザ識別子が付与されているときには、該コメントデータに基づいて表示する前記コメントを他人が入力したコメントと識別できる表示態様で表示する機能を有している請求項１に記載のコメント入力表示システム。
【請求項６】
前記コメント表示制御部は、前記ユーザが入力した前記コメントの周囲を枠で囲む表示態様、前記コメントを構成する前記表示文字の色を前記ユーザが指定した特定の色で表示する表示態様、または前記コメントを構成する前記表示文字を点滅若しくは揺動させる表示態様で表示する請求項５に記載のコメント入力表示システム。
【請求項７】
前記メディアコンテンツがライブのメディアコンテンツである請求項１乃至６のいずれか１項に記載のコメント入力表示システム。
【請求項８】
前記メディアコンテンツは、複数の動体が写っている動画を含むメディアコンテンツであり、
前記コメント表示制御部は、前記複数の動体の中から前記ユーザが一以上の動体を予め指定すると、前記新規のコメントが指定した前記一以上の動体に対するコメントであることが判る表示態様で前記新規のコメントを前記表示画面に表示する機能をさらに備え、
前記コメントデータ作成部は、前記ユーザが指定した前記一以上の動体に対するコメントであることを識別できる動体識別子を前記新規のコメントの前記タイムスタンプ付きコメントデータに付与する機能をさらに有している請求項１に記載のコメント入力表示システム。
【請求項９】
前記一以上の動体に対するコメントであることが判る表示態様が、前記コメントの周囲の背景色を前記ユーザが予め指定した色または模様にする表示態様である請求項８に記載のコメント入力表示システム。
【請求項１０】
前記動画中にある前記動体の位置を検出する動体位置検出部をさらに備えており、
前記コメント表示制御部は、前記動体位置検出部が検出した前記動画中の前記動体の画像に隣接してまたは重ねて前記コメントを表示する機能を有している請求項８または９に記載のコメント入力表示システム。
【請求項１１】
前記動体が人間であり、前記動体位置検出部は前記人間の顔の特徴に基づいて前記人間の位置を検出することを特徴とする請求項１０に記載のコメント入力表示システム。
【請求項１２】
前記メディアコンテンツが音楽を含むものであり、
前記音楽から前記メディアコンテンツ内の時刻に対応して音楽特徴情報を取得する音楽特徴情報取得部をさらに備え、
前記コメント表示制御部は、前記音楽特徴情報取得部が取得した音楽特徴情報に基づいて前記時刻に対応した前記コメントの表示態様を変化させる機能を有している請求項１に記載のコメント入力表示システム。
【請求項１３】
前記コメント表示制御部は、平仮名を構成する文字列にはない予め定めた文字列と予め定めたキーワードとを対応付けたキーワード記憶部を備えており、前記入力装置から前記平仮名を構成する文字列にはない予め定めた文字列が入力されると前記予め定めたキーワードをコメントとして前記表示画面に表示する機能を有する請求項１に記載のコメント入力表示システム。
【請求項１４】
前記ユーザを特定するユーザＩＤを記憶するユーザＩＤ記憶部をさらに備えており、
前記コメントデータ作成部は、前記コメントデータサーバに記憶されているコメントデータを修正または削除する指令を発生するコメント修正削除指令発生部をさらに備えており、
前記コメントデータ作成部は、前記ユーザＩＤを前記新規のコメントの前記タイムスタンプ付きコメントデータに付与する機能をさらに有しており、
コメント修正削除指令発生部は、前記ユーザによって入力されたユーザＩＤと同じユーザＩＤが付与されたコメントデータに対してのみ該コメントデータを修正または削除する指令を発生することを特徴とする請求項１に記載のコメント入力表示システム。
【請求項１５】
前記通信端末装置は、前記入力装置に前記ユーザが加える振動衝撃等の外部入力を検出するセンサ入力検出部をさらに備え、
前記コメント表示制御部は、前記センサ入力検出部の出力に基づいて前記新規のコメントの表示態様を変える機能を有している請求項１に記載のコメント入力表示システム。
【請求項１６】
前記コメントデータ作成部は、前記メディアコンテンツが実行されているときの実時間を前記一つの表示文字のデータに個別に付与する実時間付与部をさらに備えている請求項１に記載のコメント入力表示システム。
【請求項１７】
前記コメントデータサーバから入力されたコメントデータに基づいてコメントのヒストグラムを作成するヒストグラム作成部をさらに備え、
前記コメント表示制御部は、前記ヒストグラム作成部が作成したヒストグラムを前記表示画面に表示する機能をさらに備えている請求項１に記載のコメント入力表示システム。
【請求項１８】
メディアコンテンツを配信するメディアコンテンツサーバと、
前記メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、
入力装置及び表示装置を備え、通信ネットワークを介して前記メディアコンテンツサーバと前記コメントデータサーバに接続されて、前記メディアコンテンツを実行し且つ前記表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される前記通信端末装置で利用されるコメント入力表示方法であって、
前記メディアコンテンツを実行しているときに、前記メディアコンテンツに対応して前記コメントデータサーバに記憶されている前記コメントデータがあれば前記タイムスタンプにより指定された時刻に前記コメントデータに基づくコメントを前記表示画面上に表示し、さらに前記入力装置からユーザが入力した前記メディアコンテンツに対する新規のコメントを前記表示画面上に表示するコメント表示ステップと、
前記新規のコメントのコメントデータに前記タイムスタンプを付けてタイムスタンプ付きコメントデータを作成するコメントデータ作成ステップと、
前記タイムスタンプ付きコメントデータを前記コメントデータサーバに送信するコメントデータ送信ステップとを備え、
前記コメント表示ステップでは、前記新規のコメントを構成する１以上の表示文字について、一つの前記表示文字のデータが前記入力装置から入力されるたびに、前記表示画面に前記一つの表示文字を表示し、
前記コメントデータ作成ステップでは、前記一つの表示文字のデータに個別に前記タイムスタンプを付して前記タイムスタンプ付きコメントデータを作成することを特徴とするコメント入力表示方法。
【請求項１９】
メディアコンテンツを配信するメディアコンテンツサーバと、
前記メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、
入力装置及び表示装置を備え、通信ネットワークを介して前記メディアコンテンツサーバと前記コメントデータサーバに接続されて、前記メディアコンテンツを実行し且つ前記表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される前記通信端末装置内のコンピュータで読み取り可能な記憶媒体に記憶されて前記コンピュータで実行されるコメント入力表示用プログラムであって、
前記メディアコンテンツを実行しているときに、前記メディアコンテンツに対応して前記コメントデータサーバに記憶されている前記コメントデータがあれば前記タイムスタンプにより指定された時刻に前記コメントデータに基づくコメントを前記表示画面上に表示し、さらに前記入力装置からユーザが入力した前記メディアコンテンツに対する新規のコメントを前記表示画面上に表示するコメント表示機能と、
前記新規のコメントのコメントデータに前記タイムスタンプを付けてタイムスタンプ付きコメントデータを作成するコメントデータ作成機能と、
前記タイムスタンプ付きコメントデータを前記コメントデータサーバに送信するコメントデータ送信機能とを実現するように構成され、
前記コメント表示機能により、前記新規のコメントを構成する１以上の表示文字について、一つの前記表示文字のデータが前記入力装置から入力されるたびに、前記表示画面に前記一つの表示文字を表示し、
前記コメントデータ作成機能により、前記一つの表示文字のデータに個別に前記タイムスタンプを付して前記タイムスタンプ付きコメントデータを作成することを特徴とするコメント入力表示用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアコンテンツにコメントを入力するコメント入力表示システム及び方法並びにコメント入力表示用プログラムに関するものである。
【背景技術】
【０００２】
特許第４７３４４０１号公報（特許文献１）には、入力されたコメント情報のうち、再生する動画の動画再生時間に対応するコメント付与時間（タイムスタンプ）が対応づけられたコメントをコメント情報から読み出し、読み出したコメント内容を動画とともに表示するコメント配信システムについて提案がなされている。コメント付与時間とは、コメント内容が入力された時点の動画再生時間のことである。
【０００３】
また特開２０１４−３０１５３号公報（特許文献２）には、ユーザが動画などのコンテンツを視聴し、コメントを入力し始めると、その入力開始時刻を記憶しておくことで、ユーザが本当にコメントを入力したいコンテンツの再生位置にコメントを付与する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７３４４０１号公報
【特許文献２】特開２０１４−３０１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では、コメント付与時間とは、コメント内容が入力され確定ボタンを押した時点の動画再生時間のことであるため、対応するシーンにコメントを付けるには、ユーザは素早く短いコメントを入力する必要があり、コメントを書き直したり、長めのコメントを打ったりするとタイミングを逃してしまう問題が生じる。
【０００６】
これに対して特許文献２に記載の発明では、ユーザが動画などのメディアコンテンツを視聴し、コメントを入力し始めると、その入力開始時刻を記憶しておくため、ユーザが長いコメントを作成したり、入力を間違えてコメントを打ち直したりしたとしても、ユーザが入力したい再生位置にコメントを付与することができる。そして入力したかった再生位置にコメントが付与されることから、ユーザは、コメントを作成した後に、入力したかった再生位置にコンテンツを巻き戻すなどの作業を行う必要がなくなる。
【０００７】
しかしながら特許文献１及び２に記載の発明では、いずれもコメントの全文が入力されて入力を確定した後でなければ、コメントを表示画面に表示することはできない。そのためメディアコンテンツを視聴するユーザまたは動画を再生しながらコメントを入力するユーザは、入力の過程を共有することができない。
【０００８】
また実ライブ空間には演奏や歌声などの音に加えて、聴衆による声援がある。声援は聴衆に対して多くの効果を生み出し、より高い満足感を与えることができる。声援には大きく分けて２つの働きがあると考える。一つは言葉を発声することである。従来、声援とはパフォーマーに対して声を発することで応援する意味合いが強かったが、バーチャルアイドルやライブビューイングのように相手に声が届かない環境でも行われている。これは相手に呼びかける以外にも、楽曲のリズムに合わせて発声したり、聴衆間で同期させ演奏に参加している感覚を得たり、自己表現を行うことで、聴衆はライブに対する没入感を高められるからであると考えられる。声援がもつ働きの２つ目に、聴衆間での声援の共有が挙げられる。実ライブ空間では、一人の聴衆の声援に呼応するように他の聴衆が声援をしたり、複数人が同時に声援をすることがある。これには声援を聴衆間で共有しコミュニケーションをとることで、会場全体の一体感や高揚感を高める効果がある。
【０００９】
しかしながら、インターネット上の動画視聴環境では声援を共有することはできず、上記の効果は得られなかった。一方で、動画共有サイトではコメントを共有することによって他のユーザの存在を認識することが可能である。例えば、特許文献１に示された発明が実施されているニコニコ動画（商標）では、時刻同期コメントを画面上に重畳表示し、擬似的に他のユーザの存在や一体感を感じることができた。しかし、既存システムでは声援が持つ２つの働きを再現できなかった。まずニコニコ動画のようなコメントシステムでは、コメント入力後に確定キーを押した時点で時刻が付与され共有されるため、遷移する動画に対して入力すると遅延して表示される。従って、動画を見ながら言葉を発声するようにコメントを入力・共有することが不可能で、没入感や参加しているという感覚を得にくかった。またコメントを動画再生時刻と同期させることで共有できたが、画面上の右左から流す重畳表示方法では、声援のようにリズムに合った発声タイミングを共有することは難しい。以上のことから、既存のコメント共有システムではライブ映像のような音楽動画を視聴しながら実ライブ空間のように声援を行うことは難しい。
【００１０】
本発明の目的は、メディアコンテンツを視聴していながらコメントを入力しているときに、入力操作に遅れることなくコメントを表示画面に表示することができ、しかも同時にタイムスタンプ付きのコメントデータを作成することができるコメント入力表示システム及び方法並びにコメント入力表示システム用プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、メディアコンテンツを配信するメディアコンテンツサーバと、メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、入力装置及び表示装置を備え、通信ネットワークを介してメディアコンテンツサーバとコメントデータサーバに接続されて、メディアコンテンツを実行し且つ表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される通信端末装置に実装されるコメント入力表示システムを対象とする。本願明細書において、「メディアコンテンツ内の時刻に対応するタイムスタンプ」とは、メディアコンテンツに付与されている時刻を用いて、コメントが入力された時刻を示す時刻情報である。本発明のコメント入力表示システムでは、メディアコンテンツを実行しているときに、メディアコンテンツに対応してコメントデータサーバに記憶されているコメントデータがあればタイムスタンプにより指定された時刻にコメントデータに基づくコメントを表示画面上に表示し、さらに入力装置からユーザが入力したメディアコンテンツに対する新規のコメントを表示画面上に表示するコメント表示制御部と、新規のコメントのコメントデータに前記タイムスタンプを付けてタイムスタンプ付きコメントデータを作成するコメントデータ作成部と、タイムスタンプ付きコメントデータをコメントデータサーバに送信するコメントデータ送信部とを備えている。そしてコメント表示制御部が、新規のコメントを構成する１以上の表示文字について、一つの表示文字のデータが入力装置から入力されるたびに、表示画面に一つの表示文字を表示するように構成され、コメントデータ作成部が、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成するように構成されている。
【００１２】
本願明細書において「メディアコンテンツ」とは、ライブコンテンツでもまた記録済みコンテンツのいずれでもよく、その内容は、音楽動画、音楽のみ、スポーツの映像、車や馬等のレースの映像、演劇の映像、演説等、種々のコンテンツが含まれる。また本願明細書における「一つの表示文字」の定義であるが、例えば入力装置から日本語のコメント「きたー」をローマ字ひらがな変換入力で入力する場合、最初の「ｋ」は、「一つの表示文字」とはならず、「ｋｉ」と入力されて表示される「き」が「一つの表示文字」である。
【００１３】
本発明によれば、一つの表示文字のデータが入力装置から入力されるたびに、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成することができるので、メディアコンテンツの実行（ライブ放送と記録済みのコンテンツの再生を含む）中にメディアコンテンツの時刻に遅れることなく、コメントを表示画面に表示することができる。そのため本発明を利用すれば、ライブ映像のような音楽動画を視聴しながら実ライブ空間のようにコメントで声援を行うことが可能になった。
【００１４】
コメント表示制御部は、新規のコメントの表示を他のコメントの表示と区別できる態様で表示する機能を有しているのが好ましい。このような機能があれば、ユーザが自分で入力したコメントを直ちに確認できるので、ユーザの参加意識を高めることができる。
【００１５】
またコメント表示制御部は、複数の表示文字からなる新規のコメントを表示画面に表示するときには、一つの表示文字を徐々に拡大しながら表示し、新規のコメントの入力が完了したときには複数の表示文字を同時に徐々に縮小する表示文字拡大縮小部をさらに備えている。一つの表示文字が徐々に拡大されまたコメントが徐々に縮小すると、コメント入力中であることと入力が終了したことを、コンテンツの実行と一緒にユーザに認知させることができる。
【００１６】
またコメントデータ作成部は、入力装置から入力される最後に入力された文字からの経過時間間隔が予め定めた時間間隔以上になると、１コメントの入力が終了したときと判定する機能を有しているのが好ましい。このようにすると１コメント入力完了を別途に操作をすることなく、１コメントの終了を判定することができる。
【００１７】
さらにコメントデータ作成部は、ユーザが入力したコメントであることを識別できるユーザ識別子を新規のコメントのタイムスタンプ付きコメントデータに付与する機能を有しているのが好ましい。この場合には、コメント表示制御部が、コメントデータにユーザ識別子が付与されているときには、該コメントデータに基づいて表示するコメントを他人が入力したコメントと識別できる表示態様で表示する機能を有しているのが好ましい。このようにするとユーザが自分で入力したコメントであることを入力時に識別できるようにすることができる。表示態様は任意であるが、具体的には、コメント表示制御部は、ユーザが入力したコメントの周囲を枠で囲む表示態様、コメントを構成する表示文字の色をユーザが指定した特定の色で表示する表示態様、またはコメントを構成する表示文字を点滅若しくは揺動させる表示態様等で表示することできる。
【００１８】
メディアコンテンツが、複数の動体が写っている動画を含むメディアコンテンツである場合、コメント表示制御部は、複数の動体の中からユーザが一以上の動体を予め指定すると、新規のコメントが指定した一以上の動体に対するコメントであることが判る表示態様で新規のコメントを表示画面に表示する機能をさらに備えているのが好ましい。そしてこの場合、コメントデータ作成部は、ユーザが指定した一以上の動体に対するコメントであることを識別できる動体識別子を新規のコメントのタイムスタンプ付きコメントデータに付与する機能をさらに有しているのが好ましい。このような機能を設けると、例えば、ユーザがコメントを付与したいまたは応援したい動体（パフォーマー、役者、動物等、競走車）に対するコメントであることを明確にできるので、コメントが特定の動体に対する声援であることをユーザに強く感じさせることができる。このときの表示態様も任意であるが、例えば一以上の動体に対するコメントであることが判る表示態様が、コメントの周囲の背景色をユーザが予め指定した色または模様にする表示態様とすることができる。このようにすると、視覚により直ちにどの動体に対するコメントであるかを認識することが可能になる。
【００１９】
システムが、動画中にある動体の位置を検出する動体位置検出部をさらに備えている場合、コメント表示制御部は、動体位置検出部が検出した動画中の動体の画像に隣接してまたは重ねてコメントを表示する機能を有しているのが好ましい。このようにすると動体の移動に伴ってコメントも移動するため、画像中の動体の位置の確認が容易である上、ユーザの興味をさらに高めることができる。
【００２０】
動体が人間であれば、動体位置検出部は人間の顔の特徴に基づいて人間の位置を検出することが好ましい。近年の認識技術では、人間の顔の特徴に基づいて、特定の人間の位置を検出することが容易であり、新たに認識技術を開発する必要はない。
【００２１】
メディアコンテンツが音楽を含むものである場合には、音楽からメディアコンテンツ内の時刻に対応して音楽特徴情報を取得する音楽特徴情報取得部をさらに備えているのが好ましい。この場合、コメント表示制御部は、音楽特徴情報取得部が取得した音楽特徴情報に基づいて時刻に対応したコメントの表示態様を変化させる機能を有しているのが好ましい。このようにすると音楽に連動してコメントの表示態様が変わるため、リズム感を感じながらコメントを入力することができ、没入感や高揚感をさらに増すことができる。
【００２２】
コメント表示制御部は、平仮名を構成する文字列には無い予め定めた文字列と予め定めたキーワードとを対応付けたキーワード記憶部を備えていてもよい。そして入力装置から予め定めた平仮名を構成する文字列に無い文字列が入力されると、コメント表示制御部は、予め定めたキーワードをコメントとして表示画面に表示する機能を有しているのが好ましい。このようにすると長いコメントや通常入力できない漢字を短い時間で入力することが可能になる。
【００２３】
さらにユーザを特定するユーザＩＤを記憶するユーザＩＤ記憶部をさらに備えており、コメントデータ作成部が、コメントデータサーバに記憶されているコメントデータを修正または削除する指令を発生するコメント修正削除指令発生部をさらに備えていてもよい。この場合、コメントデータ作成部には、ユーザＩＤを新規のコメントのタイムスタンプ付きコメントデータに付与する機能をさらに持たせる。そしてコメント修正削除指令発生部は、ユーザによって入力されたユーザＩＤと同じユーザＩＤが付与されたコメントデータに対してのみ該コメントデータを修正または削除する指令を発生するようにする。このようにするとユーザが気になる誤ったコメントを削除・修正できるので、ユーザによって気楽にコメントを入力できるようになる。
【００２４】
通信端末装置は、前記入力装置に前記ユーザが加える振動衝撃等の外部入力を検出するセンサ入力検出部をさらに備えている場合、コメント表示制御部は、センサ入力検出部の出力に基づいて新規のコメントの表示態様を変える機能を有していればよい。このようにするとユーザは感情の強弱や変化を振動衝撃等によってコメントに反映させることが可能になり、ユーザに一体感と表現の幅を与えることができる。
【００２５】
コメントデータ作成部は、メディアコンテンツが実行されているときの実時間を一つの表示文字のデータに個別に付与する実時間付与部をさらに備えているのが好ましい。実時間も付与されると、実時間に基づいて表示するコメントの数を調整したり、特定の期間のコメントのみを表示したりすることが可能になる。
【００２６】
またコメントデータサーバから入力されたコメントデータに基づいてコメントのヒストグラムを作成するヒストグラム作成部をさらに備えていてもよい。この場合、コメント表示制御部は、ヒストグラム作成部が作成したコメントに関するヒストグラムを表示画面に表示する機能をさらに備えていればよい。例えば、このヒストグラムは動画再生時刻を一定の時間区分で区切り、一時間区分あたりのコメント数や複数のユーザによって多く入力されたコメントを表示する。このようにすると、複数のユーザが多く入力した同一のコメントが判る上、コメントの数が多い時刻を含む時間帯から例えば、歓声が盛り上がりやすい区間を検知することができる。
【００２７】
本発明のコメント入力表示方法は、メディアコンテンツを配信するメディアコンテンツサーバと、メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、入力装置及び表示装置を備え、通信ネットワークを介してメディアコンテンツサーバとコメントデータサーバに接続されて、メディアコンテンツを実行し且つ表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される通信端末装置で利用されるコメント入力表示方法である。そして本発明では、メディアコンテンツを実行しているときに、メディアコンテンツに対応してコメントデータサーバに記憶されているコメントデータがあればタイムスタンプにより指定された時刻にコメントデータに基づくコメントを表示画面上に表示し、さらに入力装置からユーザが入力したメディアコンテンツに対する新規のコメントを前記画面上に表示する（コメント表示ステップ）。そして新規のコメントのコメントデータにタイムスタンプを付けてタイムスタンプ付きコメントデータを作成する（コメントデータ作成ステップ）。そしてタイムスタンプ付きコメントデータをコメントデータサーバに送信する（コメントデータ送信ステップ）。特に本発明の方法では、コメント表示ステップでは、新規のコメントを構成する１以上の表示文字について、一つの表示文字のデータが入力装置から入力されるたびに、表示画面に一つの表示文字を表示する。そしてコメントデータ作成ステップでは、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成する。
【００２８】
本発明のコメント入力表示用プログラムは、メディアコンテンツを配信するメディアコンテンツサーバと、メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されるコメントデータサーバと、入力装置及び表示装置を備え、通信ネットワークを介してメディアコンテンツサーバとコメントデータサーバに接続されて、メディアコンテンツを実行し且つ表示装置の表示画面にコメントを表示する複数の通信端末装置とからなるコメント配信システムにおいて使用される通信端末装置内のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータで実行される。本発明のコメント入力表示用プログラムは、メディアコンテンツを実行しているときに、メディアコンテンツに対応してコメントデータサーバに記憶されているコメントデータがあればタイムスタンプにより指定された時刻にコメントデータに基づくコメントを表示画面上に表示し、さらに入力装置からユーザが入力したメディアコンテンツに対する新規のコメントを前記表示画面上に表示するコメント表示機能と、新規のコメントのコメントデータにタイムスタンプを付けてタイムスタンプ付きコメントデータを作成するコメントデータ作成機能と、タイムスタンプ付きコメントデータをコメントデータサーバに送信するコメントデータ送信機能とを実現するように構成され、コメント表示機能により、新規のコメントを構成する１以上の表示文字について、一つの表示文字のデータが入力装置から入力されるたびに、表示画面に一つの表示文字を表示し、コメントデータ作成機能により、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成する。
【図面の簡単な説明】
【００２９】
【図１】配信システムの概要を示す図である。
【図２】本発明の実施の形態で用いるコメント入力表示システム用プログラムを通信端末装置で利用して構成される本発明の実施の形態のコメント入力表示システムの構成を示す図である
【図３】コメント入力表示システムを実現するためのコメント入力表示システム用プログラムの一例の主要アルゴリズムを示すフローチャートである。
【図４】表示画面に表示されるインタフェースの待機状態（待機画面）の一例を模式的に示す図である。
【図５】ステップＳＴ９におけるコメント実行開始処理の具体的なアルゴリズムを示すフローチャートである。
【図６】インタフェースにおいて動画再生時で且つコメント表示が実行されている状態を示す図である。
【図７】図５のステップＳＴ１４の表示コメント決定処理開始ステップの詳細なアルゴリズムを示すフローチャートである。
【図８】図７のステップＳＴ２５の入力処理開始ステップの詳細なアルゴリズムを示すフローチャートである。
【図９】図５の入力処理開始ステップＳＴ１５のアルゴリズムを示すフロ−チャートである。
【図１０】コメント表示中のインタフェースの画面を示す図である。
【図１１】新規のコメントが指定した動体に対するコメントであることが判る表示態様で新規のコメントを表示画面に表示する機能を実現するために用いるプログラムのアルゴリズムを示すフローチャートである。
【図１２】色リストの一例を示す図である。
【図１３】コメントヒストグラムの一例を示す図である。
【図１４】ヒストグラム作成部を実現するために用いるプログラムのアルゴリズムの一例を示すフローチャートである。
【図１５】認識技術を用いたコメントの表示をプログラムで実施する場合のアルゴリズムのフローチャートの一例を示す図である。
【図１６】音楽特徴情報に応じた表示処理をする場合に用いるプログラムのアルゴリズムのフローチャートの一例を示す図である。
【図１７】センサ入力検出部の出力に基づいて新規のコメントの表示態様を変える機能を実現するためのプログラムのアルゴリズムの一例を示すフローチャートである。
【図１８】コメント修正削除指令発生部をプログラムで実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下図面を参照して、本発明の実施の形態について詳細に説明する。
【００３１】
＜主要構成の説明＞
図１は本発明のコメント入力表示システムを実装した複数の通信端末装置１が、インターネット等のネットワーク３を介して、メディアコンテンツを配信するメディアコンテンツサーバ５と、メディアコンテンツ内の時刻に対応するタイムスタンプと一緒にコメントデータが記憶されているコメントデータサーバ７と接続されて構成されたコメント配信システム９の概要を示している。メディアコンテンツサーバ５としては、最も有名なものとしてはＹｏｕＴｕｂｅ（登録商標）［https://www.youtube.com］がある。本実施の形態では、メディアコンテンツサーバ５としては、ＹｏｕＴｕｂｅ（登録商標）を利用する。またコメントデータサーバ７の代表例としては、ニコニコ動画（登録商標）［http://www.nicovideo.jp］のコメントデータサーバがあるが、本実施の形態では、コメントデータサーバ７として、ニコニコ動画のコメントデータサーバとは別の専用コメントデータサーバを用意する。
【００３２】
通信端末装置１は、パーソナルコンピュータである。なお通信端末装置１としては、スマートフォン等の携帯型の通知端末装置であってもよいのは勿論である。本発明の実施の形態で説明するコメント入力表示システム用プログラムは、コメントデータサーバ７に通信端末装置１を接続することによりこのプログラムが実行される。なおコメントデータサーバ７等の別のサーバに通信端末装置１を接続することにより、そのサーバ内のプログラムを通信端末装置１において利用可能にしてもよいのは勿論である。
【００３３】
図２は、本実施の形態で用いるコメント入力表示システム用プログラムを通信端末装置１で利用して構成されるコメント入力表示システム１１の構成を示す図である。通信端末装置１は、入力装置１３と表示画面１５を備えた表示装置１７を備えている。表示装置１７には、音楽、音声等を出力するスピーカを含む音響発生装置が内蔵されている。なお図２には示していないが、コメント入力表示システム１１に必要な手段であって、パーソナルコンピュータの動作に当然にして必要な通信手段、画像データ処理装置、音響データ処理装置等はパーソナルコンピュータのプロセッサ、ＲＡＭ及びＲＯＭを含むハードウエア及び各種のアプリケーションプログラムを用いて実現されている。
【００３４】
通信端末装置１は、メディアコンテンツサーバ５から送信されるメディアコンテンツを実行して表示装置の表示画面に画像を表示し図示しない音響発生装置から音響を出力する。ここで「メディアコンテンツの実行」とは、メディアコンテンツサーバから配信されるライブコンテンツのライブ映像及び登録済みコメディアコンテンツの再生の両方を含む。このコメント入力表示システム１１では、表示文字拡大縮小部１９及びキーワード記憶部２１を含むコメント表示制御部２３と、コメント修正削除指令発生部２４、実時間付与部２５及びタイムスタンプ付与部２６を含むコメントデータ作成部２７と、コメントデータ送信部２９と、センサ入力検出部３１と、動体位置検出部３３と、音楽特徴情報取得部３５と、ヒストグラム作成部３７と、ユーザＩＤ記憶部３９を備えている。
【００３５】
コメント表示作成部２７は、メディアコンテンツサーバ５から送信されたメディアコンテンツを実行しているときに、メディアコンテンツに対応してコメントデータサーバ７に記憶されているコメントデータがあれば、タイムスタンプにより指定された時刻にコメントデータに基づくコメントを表示画面１５上に表示し、さらに入力装置１３からユーザが入力したそのメディアコンテンツに対する新規のコメントを表示画面１５上に表示する。本実施の形態では、コメント表示制御部２３が、新規のコメントを構成する１以上の表示文字について、一つの表示文字のデータが入力装置１３から入力されるたびに、表示画面１５に一つの表示文字を表示するように構成されている。
【００３６】
コメントデータ作成部２７は、新規のコメントのコメントデータにタイムスタンプをタイムスタンプ付与部２６によって付与してタイムスタンプ付きコメントデータを作成する。タイムスタンプ付与部２６は、メディアコンテンツサーバ５から入力されるメディアコンテンツ内の時刻に対応してタイムスタンプを生成して、新規のコメントに付与する。本実施の形態のコメントデータ作成部２７は、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成するように構成されている。表示画面１５に表示されている画像を見ながらユーザが入力装置からコメントを入力するとメディアコンテンツ内の時刻と一致するタイムスタンプを一つの表示文字のデータに個別に付与する。したがって後に、タイムスタンプ付きのコメントが表示される場合には、メディアコンテンツの時刻でコメントが表示画面上に表示されることになり、画像の時刻とコメントの時刻は一致することになる。本実施の形態では、コメントデータ作成部２７の実時間付与部２５が、実際に新規なコメントを入力した時刻（実時間）の情報をコメントデータに付与する機能を有している。このようにすると実時間に基づいて表示するコメントの数の調整や指定した期間のコメントのみを表示することが可能になる。
【００３７】
ここで「一つの表示文字」とは、例えば入力装置１３から日本語のコメント「きたー」をローマ字ひらがな変換入力で入力する場合、最初の「ｋ」は、「１つの表示文字」とはならず、「ｋｉ」と入力されて表示される「き」が「一つの表示文字」になる。本実施の形態では、「きたー」のアルファベット入力「ｋｉｔａ−」の「ｋ」の入力時、「ｔ」の入力時、「−」の入力時に、それぞれメディアコンテンツ内の時刻に対応するタイムスタンプを付与する。ただし、入力装置１３から英語のコメントとして「ｋｉｔａ−」と表示されるように入力する場合には、「ｋ」や「ｉ」のそれぞれが「一つの表示文字」となり、タイムスタンプ付与部２６によってタイムスタンプが付与される。
【００３８】
本実施の形態のコメント表示制御部２３は、新規のコメントの表示を他のコメントの表示と区別できる態様で表示する機能を有している。新規のコメントの表示を他のコメントの表示と区別できる態様で表示する表示手法は任意であるが、このような機能があれば、ユーザが自分で入力したコメントを直ちに確認できるので、ユーザの参加意識を高めることができる。本実施の形態では、コメント表示制御部２３は、複数の表示文字からなる新規のコメントを表示画面に表示するときに、一つの表示文字を徐々に拡大しながら表示し、新規のコメントの入力が完了したときには複数の表示文字を同時に徐々に縮小する表示文字拡大縮小部１９を備えている。一つの表示文字が徐々に拡大されまたコメントが徐々に縮小すると、コメント入力中であることと入力が終了したことを、コンテンツの実行と一緒に臨場感を与えながらユーザに認知させることができる。また本実施の形態では、コメント表示制御部２３は、平仮名を構成する文字列には無い予め定めた文字列（例えば「ＸＹＺ」等）と、予め定めたキーワード（例えば「ファイト、ファイト、ファイト」等）とを対応付けて記憶するキーワード記憶部２１を備えている。入力装置１３から平仮名を構成する文字列には無い予め定めた文字列（例えば「ＸＹＺ」）が入力されると、コメント表示制御部２３は、予め定めたキーワード（「ファイト、ファイト、ファイト」）をコメントとして表示画面１５に表示する機能を有している。このようにすると長いコメントを短い時間で入力して表示することが可能になる。
【００３９】
また本実施の形態のコメントデータ作成部２７は、入力装置１３から入力される最後に入力された文字からの経過時間が予め定めた時間間隔以上になると、１コメントの入力が終了したときと判定する機能を有している。そのため１コメント入力完了を別途操作をすることなく、１コメントの終了を判定することができる。
【００４０】
さらにコメントデータ作成部２７は、ユーザが入力したコメントであることを識別できるユーザ識別子（ユーザＩＤ）を新規のコメントのタイムスタンプ付きコメントデータに付与する機能を有している。ユーザ識別子（ユーザＩＤ）はユーザＩＤ記憶部３９に記憶されている。コメント修正削除指令発生部２４は、コメントデータサーバ７に記憶されているコメントデータを修正または削除する指令を発生する。この場合、コメントデータ作成部２７は、ユーザＩＤを新規のコメントのタイムスタンプ付きコメントデータに付与する機能をさらに持たせる。そしてコメント修正削除指令発生部２４は、ユーザによって入力されたユーザＩＤと同じユーザＩＤが付与されたコメントデータに対してのみ該コメントデータを修正または削除する指令を発生する。このようにするとユーザが気になる誤ったコメントを削除・修正できるので、ユーザによって気楽にコメントを入力できるようになる。
【００４１】
この場合、コメント表示制御部２３は、コメントデータにユーザ識別子が付与されているときには、該コメントデータに基づいて表示するコメントを他人が入力したコメントと識別できる表示態様で表示する機能を有しているのが好ましい。このようにするとユーザが自分で入力したコメントであることを入力時に識別できるようにすることができる。具体的には、コメント表示制御部２３は、ユーザが入力したコメントの周囲を枠で囲む表示態様、コメントを構成する表示文字の色をユーザが指定した特定の色で表示する表示態様、またはコメントを構成する表示文字を点滅若しくは揺動させる表示態様等で表示することもできる。
【００４２】
コメントデータ送信部２９は、タイムスタンプ付きコメントデータをコメントデータサーバ７に送信する。送信を受けたコメントデータサーバ７は、対応するメディアコンテンツのコメントデータに新たなコメントのデータをタイムスタンプ付き及び実時間付きで保存する。保存のタイミングは、一つの表示文字が入力された後、一つのコメントが完了した後、または一つのメディアコンテンツの実行が終了した後のいずれでもよい。
【００４３】
本実施の形態では、一つの表示文字のデータが入力装置１３から入力されるたびに、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成することできるので、メディアコンテンツの実行（ライブ放送と記録済みのコンテンツの再生を含む）中にメディアコンテンツの時刻に遅れることなく、コメントを表示画面に表示することができる。そのため、ライブ映像のような音楽動画を視聴しながら実ライブ空間のようにコメントで声援を行うことが可能になった。
【００４４】
なお図２に示したセンサ入力検出部３１、動体位置検出部３３、音楽特徴情報取得部３５及びヒストグラム作成部３７は、本実施の形態の追加機能の実施に使用するものであるが、以下に説明する本実施の形態のコメント入力表示システム１１を実現するためのコメント入力表示システム用プログラムのアルゴリズムの説明と使用するインタフェースの一例の説明と一緒にこれらの要素を用いた追加機能についても説明する。
【００４５】
＜プログラムのアルゴリズム＞
図３は、コメント入力表示システム１１を実現するためのコメント入力表示システム用プログラムの一例の主要アルゴリズムを示している。なお図３以下の説明においては、メディアコンテンツの一例として動画を例にして各アルゴリズムを説明する。図４は表示画面１５に表示されるインタフェースの待機状態（待機画面）の一例を模式的に示す図である。このアルゴリズム及びインタフェースは、動画視聴環境下で実ライブ空間を疑似体験して楽しむことができるようにするものである。したがってこの具体例では、声援をコメントで入力して共有できるライブ疑似体験インタフェースを実現する。声援における２つの働き「言葉の発声」と「声援の共有」を（１）入力、（２）表現、（３）共有という３つの機能で表現することができる。すなわち以下に説明するプログラムを用いると、以下のことが可能になる。
【００４６】
（１）入力されたコメントを自動的に表示用データに変換し、即座に表示機能によって表示画面１５上に拡大表示し、コメントの文字の最後の入力からの経過時間で自動で入力を確定し表示機能によって表示画面１５上に縮小表示し、そのコメントをコメントデータサーバで共有できるようにする。これによって、コメントの入力が動画に対して遅れて表示されるという問題を解決し、言葉の発声と同じ感覚でコメントを入力することができる。
【００４７】
（２）画面上のランダムな位置に一表示文字単位で拡大縮小させてコメントを重畳する表示方法を提供する。現在の実装では、動画プレイヤーの高さを、ウィンドウサイズによって決定される最大文字サイズで分割し、複数の行を作成しランダムに行を選択することで縦の位置を決定する。横の位置は動画プレイヤーの幅の範囲内でランダムに決定する。これにより、コメントを入力した時刻を短い時間区分で判別できる。
【００４８】
（３）コメントを一表示文字単位でメディアコンテンツ内の時刻と同期させるタイムスタンプを与えることで、コメントの入力時刻をコメントデータサーバで共有する。コメントの時刻（タイムスタンプ）として、メディアコンテンツ内の時刻を文字単位で記録する。これにより他のユーザのコメントデータサーバに保存されているコメントをメディアコンテンツ再生時に再生時刻に同期させて表示することが可能になる。
【００４９】
まず通信端末装置１には、コメント入力表示用プログラムを実装しておくものとする。ステップＳＴ１では、動画共有サイトの再生ページにアクセスする。このときＵＲＬをパーセントエンコーディングして動画を一意に識別するための固有のキーとしてＵＲＬキーを得る。そしてステップＳＴ２で、動画共有サイトの再生ページか否かの判定を行う。ＹｅｓであればステップＳＴ３へ進み、Ｎｏであれば終了する。ステップＳＴ３において、ＵＲＬを元にコメントデータサーバ７にコメントの有無を確認する。そしてコメントデータサーバ７に当該動画に付与されたコメントがある場合（Ｙｅｓの場合）には、ステップＳＴ４で及びＳＴ５でコメントデータサーバ７からＵＲＬキーをもとに該当する動画のコメントを取得し、次にステップＳＴ６へと進んで図４に示す待機画面を構築する。コメントが無い場合（Ｎｏの場合）には、ステップＳＴ６へと進んで待機画面を構築する。その後ステップＳＴ７で待機状態を維持する。図４に示すインタフェースには、実行開始を指示する実行ボタンやコメント数を表示する。ステップＳＴ８で、実行ボタンが押されたか否かで実行開始指示があったか否かの判定を行う。実行ボタンが押された場合には、コメント入力実行処理を開始する（ステップＳＴ９）。実行ボタンが押されない場合には、ステップＳＴ７で待機状態を維持する。
【００５０】
図５は、ステップＳＴ９におけるコメント実行開始処理の具体的なアルゴリズムを示すフローチャートである。実行ボタンが押されると、ステップＳＴ１１において、システムの実行画面を表示画面１５に構築する。そしてステップＳＴ１２において動画再生指示の有無を判定する。動画再生指示があればステップＳＴ１３で動画（メディアコンテンツ）の再生を開始する。図６は、インタフェースにおいて動画再生時で且つコメント表示が実行されている状態を示している。動画の再生が開始されると、ステップＳＴ１４で表示コメント決定処理が開始され、ステップＳＴ１５で入力処理が同時に開始される。以後実行終了ボタン即ち図６中の「離脱」ボタンが押されたか否かによる「実行終了指示」の有無の判定（ステップＳＴ１６）までが、繰り返される。
【００５１】
図６が、音楽動画（メディアコンテンツ）を見ながらコメントを閲覧・入力するためのインタフェースである。このインタフェースは、ブラウザＧｏｏｇｌｅ  Ｃｈｒｏｍｅ（登録商標）の拡張機能として動画共有サイトＹｏｕＴｕｂｅ（登録商標）によって音楽動画を視聴する環境下を想定して実装した。前述のように、まず本拡張機能を導入した状態でＹｏｕＴｕｂｅ上の動画の再生ページにアクセスするとシステムが実行される。そして、共有部に対してコメント有無を問い合わせ、コメントがあった場合はローディング画面を提示する。図４の実行ボタンを押すと実行状態に遷移し、動画画面を拡張したコメント描画領域，コメント入力欄，実行終了ボタン「離脱」を持つ実行画面が構築される（図６）。コメント描画領域はブラウザのウィンドウの検索領域を除いた全体に作成され、取得したコメントが画面上に重畳表示される。またコメント入力欄（声援すると記載されている欄）にユーザがテキストを入力するとコメントデータ作成部２７にコメントのテキストデータが渡される。そして、右上の実行終了ボタン（離脱）を押すことで元の待機画面に戻ることができる。
【００５２】
図７は、図５のステップＳＴ１４の表示コメント決定処理開始ステップの詳細なアルゴリズムを示すフローチャートであり、図８は図７のステップＳＴ２５の入力処理開始ステップの詳細なアルゴリズムを示すフローチャートである。図７の表示コメント決定処理は、コメントデータサーバ７内にコメントがあるか否かにより、そのコメントの表示を決定する処理である。ステップＳＴ２１で現在の動画再生時刻（メディアコンテンツ内の時刻）を取得する。そしてステップＳＴ２２でコメントデータサーバ７に表示するコメントがあるか否かを判定する。あればステップＳＴ２３へと進み、コメントの先頭の文字の入力時刻（タイムスタンプ）を取得する。そしてステップＳＴ２４で、入力時刻（タイムスタンプ）が再生時刻（メディアコンテンツ内の時刻）に対応するコメントがあるか否かの判定がなされる。そしてコメントがあることがステップＳＴ２４で判定されると（ＹＥＳの場合）、ステップＳＴ２５でコメントの文字の拡大縮小表示処理を開始する。ステップＳＴ２４で、対応するコメントがないことを判定すると（ＮＯの場合）、ステップＳＴ２１へ戻る。
【００５３】
ステップＳＴ２５の拡大縮小表示処理ステップは図８に示す通りである。ステップＳＴ２５の拡大縮小表示処理では、まずステップＳＴ２５Ａにおいて、初期化処理ｎ＝１を行った後に、コメントの描画位置を決定する。このコメントの描画位置は、ランダムでも、また一定の規則に従って決定してもよいが、なるべくコメントが重ならないよう描画位置を決定するのが好ましい。そして表示するコメントを構成するすべての文字サイズを最小サイズに設定する。次にステップＳＴ２５Ｂで、現在の動画再生時刻（メディアコンテンツ内の時刻）とｎ文字目の入力時刻（タイムスタンプ）を取得する。そしてステップＳＴ２５Ｃで、コメントを構成する文字のｎ文字目の入力時刻（タイムスタンプ）が動画再生時刻（メディアコンテンツ内の時刻）になったか否かが判定される。Ｙｅｓの場合には、ステップＳＴ２５Ｄでｎをｎ＋１に加算し、ステップＳＴ２５Ｅでｎ−１文字目までの文字をそれぞれの文字サイズで表示する。そしてステップＳＴ２５Ｆで、ｎー１文字目までの文字ごとのサイズをそれぞれ最大サイズまで拡大する。ステップＳＴ２５Ｇで、コメントを構成する文字の最後の文字が最大サイズになったか否かが判定され、Ｎｏの場合にはステップＳＴ２５Ｂに戻り、Ｙｅｓの場合にはステップＳＴ２５Ｈへと進んで縮小表示処理を開始する。ステップＳＴ２５Ｈでは、表示した全ての文字を一斉に縮小する。そしてステップＳＴ２５Ｉにより文字が最小サイズになったか否かの判定を行ってＹｅｓの場合には終了し、Ｎｏの場合にはステップＳＴ２５Ｈに戻る。
【００５４】
コメント文字の拡大表示の例は、図６に示したコメントの表示ＣＤ１及びＣＤ２に示す通りである。表示ＣＤ１及びＣＤ２では、コメントの先頭（左端）の文字になるほど寸法が大きく、後方（右端）の文字になるほど寸法が小さい。この表示状態は、一つのコメントの表示が、まだ終了していない状態を示している。そしてコメント文字の表示の終了状態の例は、図６に示したコメントの表示ＣＤ３に示す通りである。表示ＣＤ３では、コメントの全ての文字が同じ大きさになっているので、新たな文字でないことを示している。文字の縮小表示では、この状態から一斉に全ての文字が縮小を開始して、最小サイズになると表示を終了する。本実施の形態における新規なコメントの表示形態は一例であって、本発明は本実施の形態の表示形態に限定されるものでないことは勿論である。
【００５５】
図９は、図５の入力処理開始ステップＳＴ１５のアルゴリズムを示すフロ−チャートである。まずステップＳＴ３１で、一キーが入力されてから次の一キーが入力されるまでの時間を計測するタイマの初期化、入力バッファ（図１０右下の「すごい！」）の初期化及びコメントの初期化をした後、ステップＳＴ３２で入力受付状態となる。その後タイマが閾値以上になったか否かの判定を行う（ステップＳＴ３３）。この閾値が、コメントの入力が終了したか否かの判定基準に用いる閾値である。タイマの計数値が閾値以上ない場合（Ｎｏの場合）にはステップＳＴ３４へ進んで入力装置から「キー」入力があったか否かが判定される。「キー」入力があった場合には、ステップＳ３５でタイマがリセットされ、ステップＳＴ３６でタイムスタンプを記憶する。本実施の形態ではメディアコンテンツ内の時刻（動画再生時刻）と実時間時刻を取得する。次に、図１０の画面の右下にある入力バッファ（「すごい！」の文字が入力されている欄）にキーを表示し、内部メモリにキーを記録する。次に、ステップＳＴ３８で入力確定キーが押されたか否かの判定がなされる。なお本実施の形態では、入力確定キーとしてスペースキー（日本語入力時のみ）を使用する。ユーザが、コメント入力中にスペースキーを入力するとＹＥＳとなりステップＳＴ４３へ進み、スペースキーが押されない場合には、ＮＯとなってステップＳＴ３９へと進む。ステップＳＴ３９では、入力キーが辞書により変換可能かの判定がなされる（日本語入力のみ）。この判定でＹＥＳの場合には、ステップＳＴ４０へと進み変換後文字（一表示文字）の先頭のキーのタイプスタンプを記録する。そして次にステップＳＴ４１で変換後文字（一表示文字）をコメントの末尾に追加する。その後拡大表示処理を開始する（ステップＳＴ４２）。この拡大表示文字の処理は、図８のステップＳＴ２５ＡからＳＴ２５Ｇと同じである。拡大表示処理が終了するとステップＳＴ３２に戻る。図１０の表示ＣＤ４では、新規のコメントの文字「すごい！」が先頭の文字から順に拡大されて表示されている。
【００５６】
そしてステップＳＴ３９での判定結果がＮＯの場合には，ステップＳＴ３２に戻る。ステップＳＴ３３でタイマの計数値が閾値以上になった場合及びステップＳＴ３８で、入力確定キーが押された場合には、ステップＳＴ４３へと進み、変換後文字があるか否かが判定される。そしてＹＥＳの場合には、入力バッファに記録されたコメントとしての文字を確定し、次にステップＳＴ４５でコメントデータサーバ７へコメントと文字ごとのタイムスタンプを送信し、ステップＳＴ４６で表示文字「すごい！」の縮小表示処理を開始する。ステップＳＴ４６の縮小表示処理は、図８のステップＳＴ２５ＨからＳＴ２５Ｉと同様である。本実施の形態では、図９のアルゴリズムにより図２のコメントデータ作成部２７が構成される。
【００５７】
図１０に示す例では、「すごい！」のコメントの表示ＣＤ４の周囲に長方形の枠が表示されている。本実施の形態では、コメント表示制御部２３がこのような表示態様を採用することにより、新規のコメントの表示を他のコメントの表示と区別できる態様で表示する機能を有している。このような機能があれば、ユーザが自分で入力したコメントを直ちに確認できるので、ユーザの参加意識を高めることができる。なおこの機能は、図９のステップＳＴ４２の拡大表示処理の開始ステップに付加されている。
【００５８】
本実施の形態では、さらにコメントデータ作成部２７は、ユーザが入力したコメントであることを識別できるユーザ識別子を新規のコメントのタイムスタンプ付きコメントデータに付与する機能を有している。ユーザ識別子はユーザＩＤ記憶部３９に記憶されている。この場合には、コメント表示制御部２３が、コメントデータにユーザ識別子が付与されているときには、該コメントデータに基づいて表示するコメントを他人が入力したコメントと識別できる表示態様で表示する機能を有しているのが好ましい。このときの表示態様は任意であるが、例えば、コメント表示制御部２３は、ユーザが入力したコメントを構成する表示文字の背景色をユーザが指定した特定の色で表示する表示態様（図１０の表示ＣＤ５参照）、またはコメントを構成する表示文字を点滅若しくは揺動させる表示態様等で表示するようにする。
【００５９】
本実施の形態では、メディアコンテンツが、複数の動体が写っている動画を含むメディアコンテンツである場合、コメント表示制御部２３は、複数の動体の中からユーザが１以上の動体を予め指定すると、新規のコメントが指定した１以上の動体に対するコメントであることが判る表示態様で新規のコメントを表示画面に表示する機能をさらに備えている。この場合、コメントデータ作成部２７は、ユーザが指定した１以上の動体に対するコメントであることを識別できる動体識別子を新規のコメントのタイムスタンプ付きコメントデータに付与する機能をさらに有している。この機能を実現するためのプログラムのアルゴリズムの一例は図１１に示す通りである。この例では、図１０のインタフェースの右下に表示した「メンバー名」のボタンを押すことにより、ステップＳＴ５１がスタートする。ステップＳＴ５１では、事前に作成した、対象者名（動体の名前）とそれに応じた色を記録した色リストを取得する。図１２は色リストの一例を示している。この色リストでは、特定のメディアコンテンツに登場する複数の対象者（複数の動体）の名前と、個々の対象者に予めまたはユーザが設定した色の組み合わせ（色１〜色Ｘ）が記録されている。なお組み合わせる色が多くなると、識別が難しくなるため、コメントの文字そのものの色を色１とし、文字の背景の色を色２とする程度の色の組み合わせでも、十分に指定した動体をユーザが識別することは可能である。ステップＳＴ５２では、ユーザによる対象者（動体）の選択またはユーザが事前に設定した対象者名を取得する。例えば色リストの対象者の名称欄の名称（Ａ、Ｂ・・）を選択することにより、対象者の選択または対象者名を取得する。そしてコメント表示制御部２３は、ステップＳＴ５３で、選択した対象者の色を色リストから取得し、ステップＳＴ５４でコメントの文字色として取得した色１を反映し、さらに他の色を表す要素（文字の回りの円図形の内部の色すなわち文字の背景色である色２）をコメントと共に表示する。このような機能を設けると、例えば、ユーザがコメントを付与したいまたは応援したい動体（パフォーマー、役者、動物等、競走車）を識別するための特定の色の組み合わせがあった場合に、対象の動体を識別するための色と同じ色を持つコメントはその動体に対するコメントであることを明確にできるので、コメントが特定の動体に対する声援であることをユーザに強く感じさせることができる。このようにすると、視覚により直ちにどの動体に対するコメントであるかを認識することが可能になる。
【００６０】
＜付加機能＞
図２に示すように、本実施の形態では、ヒストグラム作成部３７を備えている。ヒストグラム作成部３７は、コメントデータサーバ７から入力されたコメントデータに基づいてコメントのヒストグラムを作成する。図１３は、コメントヒストグラムの一例を示している。そして図１４には、ヒストグラム作成部３７を実現するために用いるプログラムのアルゴリズムの一例が示されている。ステップＳＴ６１では、インタフェースに開いているページのＵＲＬを取得し、ステップＳＴ６２において、動画共有サイトの再生ページか否かの判定を行う。動画共有サイトの再生ページであれば、ステップＳＴ６３においてＵＲＬを元にコメントデータサーバ７にコメントの有無を確認する。そしてステップＳＴ６４で、当該動画に付与されたコメントあるか否かを判定し、コメントが無い場合（ＮＯの場合）には、ステップ３１へと進み、入力処理を開始して新しいコメントの入力が実行される。コメントがある場合（ＹＥＳの場合にはステッＳＴ６５へと進み、コメントデータサーバ７からコメントデータを取得する。次にステップＳＴ６６で、ヒストグラム作成処理を開始する。具体的なヒストグラム作成処理では、一定の時間区分で動画再生軸を区切った区間ごとにコメントをカウントする。また区間ごとに重複するコメントをカウントし、コメントの出現率の高いコメントを抽出する。続いて、ステップＳＴ６７で、図１３に示すように、動画再生画面下のヒストグラム表示領域に区間中のコメントの数に応じて高さが異なるバー表示をヒストグラムとして表示する。またステップＳＴ６８で、ある区間を選択するとその区間のコメント数や頻出単語をヒストグラム表示領域上に重ねて表示する。図１３においては、選択した区間から吹き出し表示で「コメント数３０；頻出単語：すごい，最高」が表示されている。なおコメント表示制御部２３は、ヒストグラム作成部３７が作成したヒストグラムを表示画面に表示する機能をさらに備えている。このようにすると、他のユーザのコメント入力状況が判る上、コメントの数が多い時刻を含む時間帯から例えば、歓声が盛り上がりやすい区間を検知することができる。
【００６１】
本実施の形態では、図２に示すように、動画中にある動体の位置を検出する動体位置検出部３３を備えている。動体が人間であれば、動体位置検出部３３は人間の顔の特徴に基づいて人間の位置を検出することが好ましい。近年の認識技術では、人間の顔の特徴に基づいて、特定の人間の位置を検出することが容易であり、新たに認識技術を開発する必要はない。図１５には、この認識技術を用いたコメントの表示をプログラムで実施する場合のアルゴリズムのフローチャートの一例を示している。この例では、ステップＳＴ７１において、コメントデータベースとは別に用意した図示しないデータベースに人物とその位置情報を動画（メディアコンテンツ）ごとに記録する。そしてステップＳＴ７２において、動画再生中に人物の顔の位置を取得する処理を実行する。この処理は、公知の認識技術を利用することにより達成される。そしてステップＳＴ７３で、指定した人物名を取得する。この指定は、例えば、図１０のメンバー名のボタンを押して出す色リストの対象者から指定するようにしてもよい。次にステップＳＴ７４で、コメント入力時に指定した人物が動画画面中に現れていたら人物の近くにコメントの表示位置を決定する。図１０の表示ＣＤ６は、このようにして決定された表示位置にコメントを表示する場合の一例を示している。図１０の例では、人物の顔が見えるように人物の胴体付近にコメントが重なるように表示している。なおこのような表示をする場合、人物の大きさに応じてコメントの表示文字の最大寸法を定めるのが好ましい。このようにすると動体の移動に伴ってコメントも移動するため、画像中の動体の位置の確認が容易である上、ユーザの興味をさらに高めることができる。本実施の形態では、コメント表示制御部２３は、動体位置検出部３３が検出した動画中の動体の画像に隣接してまたは重ねてコメントを表示する機能を有している。
【００６２】
本実施の形態では、図２に示すように、音楽特徴情報取得部３５をさらに備えている。メディアコンテンツが音楽を含むものである場合には、音楽からメディアコンテンツ内の時刻に対応して音楽特徴情報を音楽特徴情報取得部３５により取得する。コメント表示制御部２３は、音楽特徴情報取得部３５が取得した音楽特徴情報に基づいて時刻に対応したコメントの表示態様を変化させる機能を有している。図１６には、音楽特徴情報に応じた表示処理をする場合に用いるプログラムのアルゴリズムのフローチャートの一例が示されている。この例では、ステップＳＴ８１で、当該動画（メディアコンテンツ）の楽曲の音楽特徴情報を公知の技術により予め取得して保存した図示しない別のデータベースから取得する。次にステップＳＴ８２で現在の動画再生時刻（メディアコンテンツ内の時刻）を取得する。そしてステップＳＴ８３で、再生時刻に対応した楽曲の音楽特徴情報を元にして、視覚的なビジュアルエフェクトを表示する。視覚的なビジュアルエフェクトとしては、楽曲のビートに連動してコメントの表示態様が変える態様がある。例えば、ビートに応じてコメントの表示文字を振動させてもよく、また表示文字を短い周期で膨張・収縮させても良い。このようにすると、リズム感を感じながらコメントを入力することができ、没入感や高揚感をさらに増すことができる。
【００６３】
本実施の形態では、図２に示すように、通信端末装置１が、センサ入力検出部３１をさらに備えている。センサ入力検出部３１は、入力装置にユーザが加える振動衝撃等の外部入力を検出する。そしてコメント表示制御部２３は、センサ入力検出部３１の出力に基づいて新規のコメントの表示態様を変える機能を有している。図１７は、この機能を実現するためのプログラムのアルゴリズムの一例を示している。ステップＳＴ９１では入力装置１３が備えるキーの入力を検知し、ステップＳＴ９２でキーの打鍵の強さをセンサ入力検出部３１から取得する。この場合のセンサ入力検出部３１は、入力装置１３の上に加速度センサを取り付けることにより実現できる。加速度センサのＺ軸方向の加速度検出信号の振幅は打鍵の強さと比例する。ステップＳＴ９３では、打鍵の強さを元に文字サイズ等の表示エフェクト情報を設定する。例えば、打鍵の強さに応じてコメントの表示文字を振動させても良く、また表示文字を短い周期で膨張・収縮させても良い。このようにするとユーザの感情の変化を振動衝撃等によって検知することが可能になり、ユーザに一体感と表現の幅を与えることができる。
【００６４】
本実施の形態では、図２に示すように、コメントデータ作成部２７にコメント修正削除指令発生部２４を備えている。コメント修正削除指令発生部２４は、コメントデータサーバ７に記憶されているコメントデータを修正または削除する指令を発生する。またコメントデータ作成部２７には、ユーザＩＤ記憶部３９から取得したユーザＩＤを新規のコメントのタイムスタンプ付きコメントデータに付与する機能を有している。コメント修正削除指令発生部２４は、ユーザによって入力されたユーザＩＤと同じユーザＩＤが付与されたコメントデータに対してのみ該コメントデータを修正または削除する指令を発生するように構成されている。図１８には、コメント修正削除指令発生部２４をプログラムで実現する場合に用いるプログラムのアルゴリズムのフローチャートの一例が示されている。この例では、ステップＳＴ１０１でユーザＩＤを取得し、ステップＳＴ１０２でコメントデータサーバ７から現在の動画（メディアコンテンツ）に付与されたコメントの内、ユーザＩＤが一致するものを取得する。そしてステップＳＴ１０３で、ユーザＩＤが一致するために取得したコメントを編集、削除処理するためのコメント修正削除指令を作成する。そしてコメントデータサーバ７にコメント修正削除指令を送信してコメント更新処理を実行する。このようにするとユーザが気になる誤ったコメントを削除できるので、ユーザによって気楽にコメントを入力できるようになる。
【００６５】
その他に図２に示したコメントデータ作成部２７は、メディアコンテンツが実行されているときの実時間を一つの表示文字の文字データに個別に付与する実時間付与部２５をさらに備えている。コメントデータに実時間も付与されると、実時間に基づいて表示するコメントの数を調整したり、指定した期間のコメントのみを表示したりすることが可能になる。
【産業上の利用可能性】
【００６６】
本発明によれば、一つの表示文字のデータが入力装置から入力されるたびに、一つの表示文字のデータに個別にタイムスタンプを付してタイムスタンプ付きコメントデータを作成することができるので、メディアコンテンツの実行中にメディアコンテンツの時刻に遅れることなく、コメントを表示画面に表示することができる。
【符号の説明】
【００６７】
１  通信端末装置
３  ネットワーク
５  メディアコンテンツサーバ
７  コメントデータサーバ
９  コメント配信システム
１１  コメント入力表示システム
１３  入力装置
１５  表示画面
１７  表示装置
１９  表示文字拡大縮小部
２１  キーワード記憶部
２３  コメント表示制御部
２４  コメント修正削除指令発生部
２５  実時間付与部
２６  タイムスタンプ付与部
２７  コメントデータ作成部
２９  コメントデータ送信部
３１  センサ入力検出部
３３  動体位置検出部
３５  音楽特徴情報取得部
３７  ヒストグラム作成部
３９  ユーザＩＤ記憶部
【図１】
2017016535.tif 000003
【図２】
2017016535.tif 000004
【図３】
2017016535.tif 000005
【図５】
2017016535.tif 000006
【図７】
2017016535.tif 000007
【図８】
2017016535.tif 000008
【図９】
2017016535.tif 000009
【図１１】
2017016535.tif 000010
【図１２】
2017016535.tif 000011
【図１３】
2017016535.tif 000012
【図１４】
2017016535.tif 000013
【図１５】
2017016535.tif 000014
【図１６】
2017016535.tif 000015
【図１７】
2017016535.tif 000016
【図１８】
2017016535.tif 000017
【図４】
2017016535.tif 000018
【図６】
2017016535.tif 000019
【図１０】
2017016535.tif 000020