(57)【特許請求の範囲】
【請求項１】
映像に連動する連動コンテンツの表示画面を更新する更新手段、を有し、
前記更新手段は、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している前回更新した連動コンテンツが前記表示画面に表示されているか否かと、表示予定の連動コンテンツの第１表示位置と、前記表示画面に表示中の連動コンテンツの第２表示位置と、に基づき、
前記表示画面に表示中の連動コンテンツが選択されてなく、前記前回更新した連動コンテンツが前記表示画面に表示されていない場合に、前記第１表示位置と前記第２表示位置との間の距離が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記距離が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御装置。
【請求項２】
映像に連動する連動コンテンツの表示画面を更新する更新手段、を有し、
前記連動コンテンツは、メタデータとして前記映像のタイムコードを有し、
前記更新手段は、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している前回更新した連動コンテンツが前記表示画面に表示されているか否かと、表示予定の連動コンテンツの第１タイムコードと、前記表示画面に表示中の連動コンテンツの第２タイムコードと、に基づき、
前記表示画面に表示中の連動コンテンツが選択されてなく、前記前回更新した連動コンテンツが前記表示画面に表示されていない場合に、前記第１タイムコードと前記第２タイムコードとの時間差が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記時間差が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御装置。
【請求項３】
映像に連動する連動コンテンツの表示画面を更新する更新手段、を有し、
前記更新手段は、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している表示予定の連動コンテンツの第１表示位置と、前記表示画面に表示中の連動コンテンツの第２表示位置と、に基づき、前記表示画面に表示中の連動コンテンツが選択されていない場合に、前記第１表示位置と前記第２表示位置との間の距離が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記距離が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御装置。
【請求項４】
映像に連動する連動コンテンツの表示画面を更新する更新手段、を有し、
前記連動コンテンツは、メタデータとして前記映像のタイムコードを有し、
前記更新手段は、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している表示予定の連動コンテンツの第１タイムコードと、前記表示画面に表示中の連動コンテンツの第２タイムコードと、に基づき、前記表示画面に表示中の連動コンテンツが選択されていない場合に、前記第１タイムコードと前記第２タイムコードとの時間差が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記時間差が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御装置。
【請求項５】
画面制御装置で行う画面制御方法において、
映像に連動する連動コンテンツの表示画面を更新する更新ステップ、を有し、
前記更新ステップでは、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している前回更新した連動コンテンツが前記表示画面に表示されているか否かと、表示予定の連動コンテンツの第１表示位置と、前記表示画面に表示中の連動コンテンツの第２表示位置と、に基づき、
前記表示画面に表示中の連動コンテンツが選択されてなく、前記前回更新した連動コンテンツが前記表示画面に表示されていない場合に、前記第１表示位置と前記第２表示位置との間の距離が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記距離が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御方法。
【請求項６】
画面制御装置で行う画面制御方法において、
映像に連動する連動コンテンツの表示画面を更新する更新ステップ、を有し、
前記連動コンテンツは、メタデータとして前記映像のタイムコードを有し、
前記更新ステップでは、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している前回更新した連動コンテンツが前記表示画面に表示されているか否かと、表示予定の連動コンテンツの第１タイムコードと、前記表示画面に表示中の連動コンテンツの第２タイムコードと、に基づき、
前記表示画面に表示中の連動コンテンツが選択されてなく、前記前回更新した連動コンテンツが前記表示画面に表示されていない場合に、前記第１タイムコードと前記第２タイムコードとの時間差が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記時間差が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御方法。
【請求項７】
画面制御装置で行う画面制御方法において、
映像に連動する連動コンテンツの表示画面を更新する更新ステップ、を有し、
前記更新ステップでは、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している表示予定の連動コンテンツの第１表示位置と、前記表示画面に表示中の連動コンテンツの第２表示位置と、に基づき、前記表示画面に表示中の連動コンテンツが選択されていない場合に、前記第１表示位置と前記第２表示位置との間の距離が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記距離が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御方法。
【請求項８】
画面制御装置で行う画面制御方法において、
映像に連動する連動コンテンツの表示画面を更新する更新ステップ、を有し、
前記連動コンテンツは、メタデータとして前記映像のタイムコードを有し、
前記更新ステップでは、
前記映像に同期して前記表示画面を更新する際、前記表示画面に表示中の連動コンテンツをユーザが選択しているか否かと、前記映像に同期している表示予定の連動コンテンツの第１タイムコードと、前記表示画面に表示中の連動コンテンツの第２タイムコードと、に基づき、前記表示画面に表示中の連動コンテンツが選択されていない場合に、前記第１タイムコードと前記第２タイムコードとの時間差が閾値以内の場合、前記表示予定の連動コンテンツを表示することにより前記表示画面を更新し、前記時間差が前記閾値を超える場合、前記表示画面を更新しないことを特徴とする画面制御方法。
【請求項９】
請求項１乃至４のいずれかに記載の画面制御装置としてコンピュータを機能させることを特徴とする画面制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツの表示画面を制御する技術に関する。
【背景技術】
【０００２】
映像コンテンツと該映像コンテンツに連動する連動コンテンツとを同期させて画面に表示する技術がある。例えば、映像に関連した関連情報を同期して表示することが考えられる。その際、画面に表示されている関連情報に対してユーザがインタラクティブに操作を行うことがある。例えば、特許文献１には、映像と同期して表示される関連情報から任意の情報（以下、情報アイテム）を選択して拡大する操作が記載されている。このインタラクティブな操作とは、情報アイテムを拡大するなど表示サイズを変更したり、マーキングするなど文字を装飾したり、ブックマークなど選択した情報アイテムを保存したり、情報アイテムに関してコメントを付与したりするなど、画面に表示・提示されている関連情報に対して何らかの操作を行うこと指す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９９７８号公報
【非特許文献】
【０００４】
【非特許文献１】大塚、外５名、“IPDCを用いたマルチスクリーン型放送で番組連動コンテンツの制作支援を行うコンテンツ制作システムの開発”、2013年映像情報メディア学会年次大会、2013年、18-7
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この時、関連情報の表示・提示形態によっては、映像の進行に合わせて関連情報の同期が頻繁に行われ、画面上の描画の更新も頻繁に行われることがある。例えば、非特許文献１や図１のようなセカンドスクリーン上のタイムライン型のコンテンツでは、映像に関連した新しい説明文１ａが入るたびに上に追加され、過去の説明文が繰り下がるアニメーションが発生する。また、オンライン講義などのコンテンツでは、図２に示すように、映像中の講師の説明に同期して、講師が述べている字幕２ａが常に上部に表示されるように字幕領域が下へスクロールするアニメーションが発生する。
【０００６】
図１又は図２のコンテンツに対して、背景技術で説明したように、ユーザが過去の情報アイテムを参照したり、提示された情報アイテムを保存したり、情報アイテムに対してコメントを付与するなど、関連情報に対して何らかのインタラクティブな操作を行うことがある。例えば、図３に示すように、オンライン講義に同期する字幕原稿の一文を選択し、メモとして保存する操作が考えられる。
【０００７】
しかし、このような操作の最中にも映像は進行しているため、ユーザが行う情報アイテムへの操作と映像を表示する画面領域の更新とが同時に発生し、その際の画面制御が操作上の使い勝手に大きく影響を与えてしまう。例えば、情報アイテムへの操作を無視して映像画面の更新を優先させると、ユーザの操作中に関連情報の画面も更新されてしまい使い勝手が悪い。
【０００８】
そこで、ユーザが操作中であることを判別し、操作中であれば関連情報の画面の更新を無視するなどの解決方法が考えられる。しかし、一連の操作の最中であることを判別することは容易ではない。例えば、画面は触っていないけど過去の情報を見ている場合や、連続して情報を操作している場合（例えば、Ａの情報を保存した後にＢの情報を保存する場合）など、一概に「操作中である」という状況を定義することができない。
【０００９】
本発明は、上記事情を鑑みてなされたものであり、映像に連動する連動コンテンツに対するインタラクティブ操作の利便性を改善することを目的とする。
【課題を解決するための手段】
【００１０】
以上の課題を解決するため、請求項１に記載の画面制御装置は、映像に連動する連動コンテンツの表示画面を更新する更新手段、を有し、前記更新手段は、前記映像に同期して前記表示画面を更新する際、前記連動コンテンツに対するユーザの操作状況と前記連動コンテンツの表示状況との関係に基づき、前記表示画面の更新の有無を制御することを要旨とする。
【００１１】
請求項２に記載の画面制御装置は、請求項１に記載の画面制御装置において、前記更新手段は、前記映像に同期している連動コンテンツの表示位置と、前記表示画面に表示されている連動コンテンツの表示位置との関係に基づき、前記表示画面の更新の有無を制御することを要旨とする。
【００１２】
請求項３に記載の画面制御装置は、請求項１に記載の画面制御装置において、前記連動コンテンツは、メタデータとして前記映像のタイムコードを有し、前記更新手段は、前記映像に同期している連動コンテンツのタイムコードと、前記表示画面に表示されている連動コンテンツのタイムコードとの関係に基づき、前記表示画面の更新の有無を制御することを要旨とする。
【００１３】
請求項４に記載の画面制御方法は、画面制御装置で行う画面制御方法において、映像に連動する連動コンテンツの表示画面を更新する更新ステップ、を有し、前記更新ステップでは、前記映像に同期して前記表示画面を更新する際、前記連動コンテンツに対するユーザの操作状況と前記連動コンテンツの表示状況との関係に基づき、前記表示画面の更新の有無を制御することを要旨とする。
【００１４】
請求項５に記載の画面制御プログラムは、請求項１乃至３のいずれかに記載の画面制御装置としてコンピュータを機能させることを要旨とする。
【発明の効果】
【００１５】
本発明によれば、映像に連動する連動コンテンツに対するインタラクティブ操作の利便性を向上できる。
【図面の簡単な説明】
【００１６】
【図１】コンテンツの表示例（分離型）を示す図である。
【図２】コンテンツの表示例（共存型）を示す図である。
【図３】インタラクティブ操作の例を示す図である。
【図４】真理値表の例を示す図である。
【図５】画面の更新・非更新の例を示す図である。
【図６】コンテンツ提供システムの構成・動作例を示す図である。
【図７】論理変数Ｓの真偽に応じた各状態例を示す図である。
【図８】論理変数Ｐの真偽に応じた各状態例を示す図である。
【図９】論理変数Ｄの真偽に応じた各状態例を示す図である。
【図１０】真理値表の例を示す図である。
【図１１】真理値表の例を示す図である。
【図１２】画面の更新・非更新の例を示す図である。
【図１３】コンテンツ提供装置の構成・動作例を示す図である。
【図１４】論理変数Ｓの真偽に応じた各状態例を示す図である。
【図１５】論理変数Ｐの真偽に応じた各状態例を示す図である。
【図１６】論理変数Ｄの真偽に応じた各状態例を示す図である。
【発明を実施するための形態】
【００１７】
上述した課題を解決するため、本発明では、映像に同期して連動コンテンツの表示画面を更新する際、連動コンテンツに対するユーザの操作状況と、連動コンテンツの表示状況との関係に基づき、連動コンテンツの表示画面の更新の有無を制御する。
【００１８】
本実施の形態では、連動コンテンツの一例として映像に関連した関連情報を用いて説明するため、具体的には、関連情報に対するユーザの操作状況と共に、ユーザが現在参照している情報アイテムの状況を加味して、映像と同期して関連情報の画面を更新するべきか、映像と同期せずに関連情報の画面の更新をやめるべきかを判断する。すなわち、現在参照している情報アイテムが、映像と現在同期している情報アイテムに時間的又は表示位置的に近ければ関連情報の画面の更新を優先し、遠ければユーザの操作を優先する。
【００１９】
具体的には、関連情報の画面を更新する際に、以下の論理関数に従うプログラムを実行することで画面更新の可・不可を判断する。画面を更新する場合を１、画面を更新しない場合を０とした論理関数をＺとして、次の命題において真を１、偽を０とした論理変数Ｓ、Ｐ、Ｄを定義する。
【００２０】
Ｓ：情報の操作のため、所定の情報アイテムが選択状態にある。
【００２１】
Ｐ：前回更新した情報アイテムが、ユーザが現在参照している画面内に表示されている。
【００２２】
Ｄ：今回更新する情報アイテムのタイムコードとユーザが現在参照している情報アイテムのタイムコードとの時間差が一定の閾値以内である。
【００２３】
論理関数Ｚを出力とした真理値表を図４に示す。Ｓ＝０、Ｐ＝０、Ｄ＝０の場合、ユーザは情報アイテムを選択していないが、古い情報アイテムを熟読中の可能性があるため、Ｚ＝０とする。一方、Ｓ＝０、Ｐ＝０、Ｄ＝１の場合は、少し古い情報アイテムの参照程度であり、画面を更新しても影響は小さいと考えられるため、Ｚ＝１とする。その他、Ｓ＝０、Ｐ＝１の場合は、映像に同期した情報アイテムを参照している通常の状態と考えられるため、Ｚ＝１とする。また、Ｓ＝１の場合、ユーザは情報アイテムを選択しているため、Ｚ＝０とする。
【００２４】
この論理関数Ｚを例えば映像のタイムコードに合わせた同期信号が発生した際に評価し、Ｚの値に応じて関連情報の画面を更新するか否かを決定する。
【００２５】
以下、本発明の実施例について図面を用いて説明する。なお、各実施例では連動コンテンツの一例として関連情報を用いて説明するが、映像に連動する連動コンテンツであればよく、例えば映像に関連性の低い非関連情報でもよい。
【実施例１】
【００２６】
実施例１では、図１に示したようなセカンドスクリーン型のコンテンツに本発明を適用した場合について説明する。本実施例では、図１の説明文１ａのように、ユーザが操作可能な関連情報のひとまとまりを「情報アイテム」と呼ぶ。本実施例では、映像に同期して関連する情報アイテムが上に追加されていく。情報アイテムは、関連情報の内容の他に、「同期信号を送信した時点の映像のタイムコード」といったメタデータを保持している。情報アイテムはタイムコードの時系列順に端末のメモリ上に保持され、画面上にはその一部のみが表示されている。
【００２７】
まず、本実施例で述べる「画面を更新する」、「画面を更新しない」際に想定している画面の動きについて説明する。「画面を更新する」とは、図５（ａ）に示すように、新たに追加された情報アイテム１ａを端末の画面上部に表示し、過去の情報アイテムを繰り下げて移動するアニメーションを発生させることを指す。一方、「画面を更新しない」とは、図５（ｂ）に示すように、新たに追加された情報アイテム１ａは端末のメモリ上に追加されているが、上述したアニメーションは発生せず、画面の表示領域外に仮想的に表示されている状態を指す。この場合、ユーザはスクロール操作等によって手動で参照することができる。
【００２８】
次に、実施例１のシステム構成例について説明する。図６は、実施例１に係るコンテンツ提供システム５の構成を示す図である。本実施例では、映像を提供する機能と関連情報を表示する機能とを異なる装置で実施する。具体的には、映像コンテンツを提供する映像提供装置１００と、該映像コンテンツに関連する関連情報を表示する連動コンテンツ表示装置３００と、を備えて構成される。それら２つの装置は互いに通信可能に接続されている。
【００２９】
映像提供装置１００は、所定の映像コンテンツを再生する再生部、再生中の映像を画面に表示する表示部、表示中の映像のタイムコードを含む同期信号を出力する出力部と、を備えて構成される。例えば、テレビ受像機、パソコンなどを用いて実現できる。
【００３０】
連動コンテンツ表示装置３００は、同期信号処理部３１と、操作状況判定部３２と、画面更新判定部３３と、情報アイテム更新部３４と、画面更新部３５と、連動コンテンツ表示部３６と、を備えて構成される。例えば、スマートフォンなど、通信機能を備えた情報処理端末を用いて実現できる。
【００３１】
同期信号処理部３１は、映像提供装置１００から送信された同期信号を基に、更新対象の情報アイテムと映像のタイムコードとを取得するように構成されている。
【００３２】
操作状況判定部３２は、関連情報に対するユーザの操作状況と、ユーザが現在参照している情報アイテムの状況とを判定するように構成されている。具体的には、情報アイテムが選択されているか、前回追加した情報アイテムが現在参照中の画面内に表示されているか、今回追加する情報アイテムのタイムコードと現在参照中の情報アイテムのタイムコードとの時間差が一定の閾値以内であるか、をそれぞれ判定する。
【００３３】
画面更新判定部３３は、操作状況判定部３２での判定結果に基づき、連動コンテンツ表示部３６で表示されている関連情報の画面を更新するかを判定するように構成されている。
【００３４】
情報アイテム更新部３４は、同期信号処理部３１で取得した更新対象の情報アイテムをタイムコードの時系列順に連動コンテンツ表示部３６のメモリ上に追加するように構成されている。また、画面更新判定部３３での判定結果に基づき、連動コンテンツ表示部３６で表示されている関連情報の画面の更新の有無を制御するように構成されている。具体的には、関連情報の画面を更新する場合にのみ画面更新要求を画面更新部３５に送信する。
【００３５】
画面更新部３５は、情報アイテム更新部３４からの画面更新要求に基づき、連動コンテンツ表示部３６で表示されている関連情報の画面を更新するように構成されている。具体的には、メモリ上に追加されていた情報アイテムを画面上部に表示し、過去の情報アイテムを繰り下げる。一方、画面を更新しない場合には何もしない。メモリ上に追加したままとなる。
【００３６】
連動コンテンツ表示部３６は、映像に関連する関連情報を画面に表示するように構成されている。
【００３７】
続いて、引き続き図６を参照しながら、関連情報の画面の制御処理動作について説明する。
【００３８】
まず、映像提供装置１００は、自装置で再生している映像のタイムコードを監視し、所定のタイムコードの時刻になったタイミングで同期信号を連動コンテンツ表示装置３００に送信する（ステップＳ１０１）。
【００３９】
この同期信号には、「同期信号を送信した時点の映像のタイムコード」が含まれる。なお、同期信号を送信する手段としては、例えば、ネットワーク上でパケットによる同期や音響信号を利用した同期手段、画像上の電子透かしによる同期手段など、複数の手段が考えられる。
【００４０】
次に、連動コンテンツ表示装置３００において、同期信号処理部３１は、映像提供装置１００から同期信号を受信した後、追加する情報アイテムを生成するために該同期信号を「情報オブジェクト」の形式に変換し、画面更新判定部３３に送信する（ステップＳ１０２）。
【００４１】
この情報オブジェクトには、メモリに追加する情報アイテムを生成するため、「追加する情報アイテムの内容」と「同期信号を送信した時点の映像のタイムコード」が含まれる。なお、「追加する情報アイテムの内容」は、連動コンテンツ表示装置３００がタイムコードに関連付けて予め保持しておいたものを用いてもよいし、同期信号に含めるようにしてもよい。
【００４２】
次に、画面更新判定部３３は、同期信号処理部３１から情報オブジェクトを受信すると、関連情報に対するユーザの操作状況と、ユーザが現在参照している情報アイテムの状況とを判定するための判定要求を操作状況判定部３２に送信する（ステップＳ１０３）。
【００４３】
この判定要求には、操作状況判定部３２での判定処理に用いるため、同期信号処理部３１から受け取った情報オブジェクトが持つ「同期信号を送信した時点の映像のタイムコード」が含まれる。
【００４４】
次に、操作状況判定部３２は、画面更新判定部３３から判定要求を受信すると、情報アイテムが選択されているか、前回追加した情報アイテムが現在参照中の画面内に表示されているか、今回追加する情報アイテムのタイムコードと現在参照中の情報アイテムのタイムコードとの時間差が一定の閾値以内であるかをそれぞれ判定し、０又は１の値を持つ論理変数Ｓ、Ｐ、Ｄを画面更新判定部３３に返却する（ステップＳ１０４）。以下、論理変数Ｓ、Ｐ、Ｄが表す操作状況について説明する。
【００４５】
論理変数Ｓを表す「情報の操作のため、所定の情報アイテムが選択状態にある」状態について、図７を例に説明する。Ｓ＝１は、情報の操作のため、所定の情報アイテムが選択状態にある場合を示し、操作を行う情報アイテムに対してタッチ動作やクリック動作を行い、表示の変更、文字の装飾、情報の保存、コメントの付与などの何らかの操作を反映するための準備状態にあることを示す。図７では、確認のためのダイアログが表示されているが、ダイアログを表示せずに選択が終わり次第、目的の操作が反映されてもよい。本実施例では、ユーザは選択した情報アイテムに対して、ユーザコメントを付与できるものとする。一方、Ｓ＝０は、所定の情報アイテムが選択状態ではない場合を示し、ユーザは何も操作を行わずに表示された情報アイテムを閲覧している状況を示す。
【００４６】
論理変数Ｐを表す「前回更新した情報アイテムが、ユーザが現在参照している画面内に表示されている」状態について、図８に例を示す。前回更新した情報アイテムとは、前回の同期信号によって更新された情報アイテムを指し、本実施例においては直近で最後に追加された情報アイテムである。この情報アイテムが画面内に存在する場合をＰ＝１とし、存在しない場合をＰ＝０とする。情報アイテムはメタデータとして「同期信号を送信した時点の映像のタイムコード」を持つため、最新のタイムコードを持つ情報アイテムを抽出することで、直近で最後に追加された情報アイテムを判別できる。
【００４７】
論理変数Ｄを表す「今回更新する情報アイテムのタイムコードとユーザが現在参照している情報アイテムのタイムコードとの時間差が一定の閾値以内である」状態について、図９に例を示す。操作状況判定部３２は、画面更新判定部３３から「同期信号を送信した時点の映像のタイムコード」を受け取る。このタイムコードは、今回の情報アイテムを更新する際に、情報アイテムに付与されるメタデータとなる。ユーザが画面内で現在参照している情報アイテムのタイムコードを取得し、今回更新する情報アイテムのメタデータと比較する。それら２つのタイムコードの時間差が一定の閾値ｔ（ｔ：任意の実数値）以内であればＤ＝１とし、そうでなければＤ＝０とする。
【００４８】
次に、画面更新判定部３３は、操作状況判定部３２から返却された論理変数Ｓ、Ｐ、Ｄの値を参照し、図４の真理値表を用いて論理関数Ｚを評価して、０又は１の値を持つ論理関数Ｚの評価結果を情報オブジェクトと共に情報アイテム更新部３４に送信する（ステップＳ１０５）。
【００４９】
なお、論理関数Ｚは、ブール代数で簡単化して論理関数を表すと式（１）のように表される。また、論理変数Ｐ、Ｄは、図１０、図１１に示すようにどちらか一方を用いて評価されてもよい。
【００５０】
【数１】
0006367733.tif 000002
次に、情報アイテム更新部３４は、画面更新判定部３３から論理関数Ｚの評価結果及び情報オブジェクトを受信すると、その情報オブジェクトに含まれる「同期信号を送信した時点の映像のタイムコード」をメタデータに含む情報アイテムを連動コンテンツ表示部３６のメモリ上に追加し、更に、論理関数Ｚの評価結果が１であれば画面更新要求を画面更新部３５に送信し、０であれば要求しない（ステップＳ１０６）。
【００５１】
最後に、画面更新部３５は、情報アイテム更新部３４から画面更新要求を受信した場合、連動コンテンツ表示部３６のメモリ上に追加されていた情報アイテムを画面上部に表示し、過去の情報アイテムを繰り下げて移動するアニメーションを発生させる（ステップＳ１０７）。
【実施例２】
【００５２】
次に、実施例２について説明する。実施例１では、映像と関連情報とを異なる装置で表示し、同期信号に基づいて情報アイテムを追加する例について説明した。一方、実施例２では、映像と関連情報とを同じ装置で表示し、同期信号に基づき情報アイテムの表示スタイルを変更する例について説明する。
【００５３】
実施例２では、図２に示したような字幕が連動するコンテンツに本発明を適用した場合について説明する。本実施例では、オンライン講義の映像を用いており、また、関連情報を映像と同じ画面内に配置しているが、映像の種類や配置方法はこの限りではない。本実施例では、関連情報のうち字幕２ａのような一文をユーザが操作可能であるとし、このひとまとまりを「情報アイテム」と呼ぶ。情報アイテムは、連動コンテンツの内容の他に、「同期信号を送信する時点の映像のタイムコード」といったメタデータを保持している。情報アイテムは時系列順に端末のメモリ上に保持されており、画面上にはその一部のみが表示されている。情報アイテムは、タッチイベントの発生など、画面上のユーザインタフェースから操作可能である。
【００５４】
本実施例では、映像中の話者が述べた内容に該当する情報アイテムの文字に下線の装飾が施されるものとする。実施例１と異なり、全ての情報アイテムが事前にコンテンツ表示部のメモリ上に保持されており、同期信号によって下線の装飾のみが行われる。ユーザは、講師が過去に述べた情報アイテムだけでなく、未来に述べる情報アイテムも参照できる。
【００５５】
まず、本実施例で述べる「画面を更新する」、「画面を更新しない」際に想定している画面の動きについて説明する。「画面を更新する」とは、図１２（ａ）に示すように、同期信号に基づき下線の装飾がされた情報アイテム２ａを字幕領域上部に表示し、字幕領域がスクロールするアニメーションを発生させることを指す。一方、「画面を更新しない」とは、図１２（ｂ）に示すように、情報アイテムは装飾されているが、アニメーションは発生せず、画面の表示領域外に仮想的に表示されている状態を指す。この場合、ユーザはスクロール操作等によって手動で参照することができる。
【００５６】
次に、実施例２の装置構成例について説明する。図１３は、実施例２に係るコンテンツ提供装置５’の構成を示す図である。本実施例では、映像を提供する機能と関連情報を表示する機能とを同一装置の画面上に表示する。具体的には、映像提供装置１００に相当する映像提供部１００’と、連動コンテンツ表示装置３００に相当する連動コンテンツ表示部３００’と、連動コンテンツ表示部３６に相当し、映像と関連情報とを共に表示するコンテンツ表示部５００と、を備えて構成される。
【００５７】
続いて、引き続き図１３を参照しながら、関連情報の画面の制御処理動作について説明する。
【００５８】
まず、映像提供部１００’が、コンテンツ表示部５００で再生している映像のタイムコードを監視し、所定のタイムコードの時刻になったタイミングで同期信号を連動コンテンツ表示部３００’に送信する（ステップＳ２０１）。
【００５９】
この同期信号には、「同期信号を送信した時点の映像のタイムコード」が含まれる。なお、実施例１と異なり、全ての情報アイテムがコンテンツ表示部５００のメモリ上に保持されており、全ての字幕が参照できるようになっているため、タイムコードは下線を装飾する情報アイテムを特定するための識別子として用いられる。
【００６０】
次に、連動コンテンツ表示部３００’において、同期信号処理部３１は、映像提供部１００’から同期信号を受信した後、下線を装飾する情報アイテムを特定するために該同期信号を「情報オブジェクト」の形式に変換し、画面更新判定部３３に送信する（ステップＳ２０２）。この情報オブジェクトには、下線を装飾する情報アイテムを特定するため、「同期信号を送信した時点の映像のタイムコード」が含まれる。
【００６１】
次に、画面更新判定部３３は、同期信号処理部３１から情報オブジェクトを受信すると、関連情報に対するユーザの操作状況と、ユーザが現在参照している情報アイテムの状況とを判定するための判定要求を操作状況判定部３２に送信する（ステップＳ２０３）。この判定要求には、操作状況判定部３２での判定処理に用いるため、情報オブジェクトが持つ「同期信号を送信した時点の映像のタイムコード」が含まれる。
【００６２】
次に、操作状況判定部３２は、画面更新判定部３３から判定要求を受信すると、情報アイテムが選択されているか、前回下線を装飾した情報アイテムが現在参照中の画面内に表示されているか、今回下線を装飾する情報アイテムのタイムコードと現在参照中の情報アイテムのタイムコードとの時間差が一定の閾値以内であるかをそれぞれ判定して、０又は１の値を持つ論理変数Ｓ、Ｐ、Ｄを画面更新判定部３３に返却する（ステップＳ２０４）。以下、論理変数Ｓ、Ｐ、Ｄが表す操作状況について説明する。
【００６３】
論理変数Ｓを表す「情報の操作のため、所定の情報アイテムが選択状態にある」状態について、図１４に例を示す説明する。Ｓ＝１は、情報の操作のため、所定の情報アイテムが選択状態にある場合を示し、操作を行う情報アイテムに対してタッチ動作やクリック動作を行い、表示の変更、文字の装飾、情報の保存、コメントの付与などの何らかの操作を反映するための準備状態にあることを示す。本実施例では、選択した情報アイテムをメモとして保存することができる。図１４では、確認のためのダイアログが表示されているが、ダイアログを表示せずに選択が終わり次第、目的の操作が反映されてもよい。一方、Ｓ＝０は、所定の情報アイテムが選択状態ではない場合を示し、ユーザは何も操作を行わずに表示された情報を閲覧している状況を示す。
【００６４】
論理変数Ｐを表す「前回更新した情報アイテムが、ユーザが現在参照している画面内に表示されている」状態について、図１５に例を示す。前回更新した情報アイテムとは、前回の同期信号によって更新された情報アイテムについて指し、本実施例においては直近で最後に下線の装飾がされた情報アイテムである。この情報アイテムが画面内に存在する場合をＰ＝１とし、存在しない場合をＰ＝０とする。装飾された情報アイテムの判別方法としては、情報アイテムの表示スタイルを比較して抽出してもよい。また、情報アイテムはメタデータとして「同期信号を送信した時点の映像のタイムコード」を持つため、受け取った情報オブジェクトに含まれるタイムコードを参照して、そのタイムコードをもとに直近で最後に装飾された情報アイテムを特定してもよい。
【００６５】
論理変数Ｄを表す「今回更新する情報アイテムのタイムコードとユーザが現在参照している情報アイテムのタイムコードとの時間差が一定の閾値以内である」状態について、図１６に例を示す。操作状況判定部３２は、画面更新判定部３３から「同期信号を送信した時点の映像のタイムコード」を受け取る。このタイムコードは、今回の情報アイテムに下線を装飾する際に、情報アイテムを特定するための識別子となる。ユーザが画面内で現在参照している情報アイテムのタイムコードを取得し、今回更新する情報アイテムのメタデータと比較する。それら２つのタイムコードの時間差が一定の閾値ｔ以内であればＤ＝１とし、そうでなければＤ＝０とする。
【００６６】
次に、画面更新判定部３３は、操作状況判定部３２から返却された論理変数Ｓ、Ｐ、Ｄの値を参照し、図４の真理値表を用いて論理関数Ｚを評価して、０又は１の値を持つ論理関数Ｚの評価結果を情報オブジェクトと共に情報アイテム更新部３４に送信する（ステップＳ２０５）。
【００６７】
次に、情報アイテム更新部３４は、画面更新判定部３３から情報オブジェクトを受信すると、その情報オブジェクトに含まれる「同期信号を送信した時点の映像のタイムコード」を識別子として対象の情報アイテムを特定し、特定した情報アイテムの文字に下線を装飾する（ステップＳ２０６）。その後、Ｚの評価結果が１であれば画面を更新することを画面更新部３５に要求し、０であれば要求しない（ステップＳ２０７）。
【００６８】
最後に、画面更新部３５は、情報アイテム更新部３４から画面更新要求を受信した場合、下線を装飾した情報アイテムを連動コンテンツ表示部３６の画面上部（字幕領域上部）に表示し、過去の情報アイテム（字幕領域）をスクロールするアニメーションを発生させる（ステップＳ２０８）。
【００６９】
以上より、実施例１，２によれば、操作状況判定部３２が、情報アイテムが選択されているか、前回更新した情報アイテムが現在参照中の画面内に表示されているか、今回更新する情報アイテムのタイムコードと現在参照中の情報アイテムのタイムコードとの時間差が一定の閾値以内であるか、をそれぞれ判定し、画面更新判定部３３が、それら判定結果に基づき連動コンテンツ表示部３６に表示されている関連情報の画面を更新するかを判定し、情報アイテム更新部３４が、その判定結果に基づき該関連情報の画面の更新の有無を制御するため、情報アイテムに対するユーザ操作と画面の更新イベントとの衝突を防止でき、ユーザに煩わしさを感じさせることなく関連情報の画面の更新を制御できる。
【００７０】
なお、実施例１，２では、論理変数Ｄの値をタイムコードの時間差に基づいて判定したが、今回更新する情報アイテムとユーザが現在参照している情報アイテムとの表示位置が異なることを利用し、それら２つの情報アイテムの表示位置間の距離が一定の閾値以内であるかに基づき論理変数Ｄを判定してもよい。
【００７１】
また、実施例１，２では、論理変数Ｄの値をユーザが参照している情報アイテムを用いて判定したが、今回更新する情報アイテムのタイムコードとユーザが選択した情報アイテム（Ｓ＝１の状態にある情報アイテム）のタイムコードとの時間差に基づいて判定してもよい。
【００７２】
最後に、上述したコンテンツ提供システム５及びコンテンツ提供装置５’は、ＣＰＵ等の演算機能やメモリ等の記憶機能を備えたコンピュータで実現できる。また、コンテンツ提供システム５又はコンテンツ提供装置５’としてとしてコンピュータを機能させるためのプログラムや該プログラムの記憶媒体を作成することも可能である。
【符号の説明】
【００７３】
５…コンテンツ提供システム
５’…コンテンツ提供装置
１００…映像提供装置
１００’…映像提供部
３００…連動コンテンツ表示装置
３００’…連動コンテンツ表示部
５００…コンテンツ表示部（画面）
３１…同期信号処理部
３２…操作状況判定部
３３…画面更新判定部
３４…情報アイテム更新部
３５…画面更新部
３６…連動コンテンツ表示部（画面）
Ｓ１０１〜Ｓ１０７，Ｓ２０１〜Ｓ２０８…ステップ
【図１】
0006367733.tif 000003
【図２】
0006367733.tif 000004
【図３】
0006367733.tif 000005
【図４】
0006367733.tif 000006
【図５】
0006367733.tif 000007
【図６】
0006367733.tif 000008
【図７】
0006367733.tif 000009
【図８】
0006367733.tif 000010
【図９】
0006367733.tif 000011
【図１０】
0006367733.tif 000012
【図１１】
0006367733.tif 000013
【図１２】
0006367733.tif 000014
【図１３】
0006367733.tif 000015
【図１４】
0006367733.tif 000016
【図１５】
0006367733.tif 000017
【図１６】
0006367733.tif 000018