(57)【特許請求の範囲】
【請求項１】
再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定手段と、
前記対応関係を蓄積する適応度蓄積手段と、
該適応度蓄積手段に蓄積された適応度の値が閾値を超えたタイミングを、前記特定のサービスを提供するタイミングとして決定するタイミング決定手段と、
前記タイミング決定手段により決定された前記タイミングにおいて、所定のトリガを送信するトリガ送信部と
を備え、
前記特定のサービスは、メディア送信装置から送信された符号化データを再生している第１メディア受信装置から、前記符号化データを第２メディア受信装置に移動させるサービス移動であり、
前記トリガ送信部は、前記第１メディア受信装置に対して、前記メディア送信装置とのコネクションを切断するためのトリガを送信し、前記第２メディア受信装置に対して、前記メディア送信装置とのコネクションを接続するためのトリガを送信することを特徴とするタイミング決定装置。
【請求項２】
再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定手段と、
前記対応関係を蓄積する適応度蓄積手段と、
該適応度蓄積手段に蓄積された適応度の値が閾値を超えたタイミングを、前記特定のサービスを提供するタイミングとして決定するタイミング決定手段と、
前記タイミング決定手段により決定された前記タイミングにおいて、所定のトリガを送信するトリガ送信部と
を備え、
前記特定のサービスは、メディア送信装置から送信され、メディア受信装置で再生されている前記符号化データに対して広告を挿入する広告挿入サービスであり、
前記トリガ送信部は、第１トリガおよび第２トリガを前記メディア受信装置に送信し、
前記第１トリガは、前記符号化データの送信の中止を、前記メディア送信装置に送信するためのトリガであり、
前記第２トリガは、前記メディア受信装置への広告データの送信を、前記メディア送信装置に要求するためのトリガであることを特徴とするタイミング決定装置。
【請求項３】
適応度蓄積手段に蓄積された過去における適応度と、前記メディアの特徴量から将来の適応度を予測する適応度予測手段を更に備えることを特徴とする請求項１または２に記載のタイミング決定装置。
【請求項４】
前記適応度決定手段は、
前記メディアの特徴量を抽出する特徴量抽出手段と、
前記メディアの再生を行うメディア再生手段と、
前記メディアに対する前記特定のサービスを提供するタイミングにおける評価結果を取得する適応度取得手段と、
前記メディア再生手段から再生されたメディアの特徴量と、前記適応度取得手段から取得した評価結果とを対応付ける対応関係作成部と
を備えることを特徴とする請求項１または２に記載のタイミング決定装置。
【請求項５】
再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定するステップと、
前記対応関係を蓄積するステップと、
蓄積された適応度の値が閾値を超えたタイミングを、前記特定のサービスを提供するタイミングとして決定するステップと、
決定された前記タイミングにおいて、所定のトリガを送信するステップと
を備え、
前記特定のサービスは、メディア送信装置から送信された符号化データを再生している第１メディア受信装置から、前記符号化データを第２メディア受信装置に移動させるサービス移動であり、
前記トリガを送信するステップでは、前記第１メディア受信装置に対して、前記メディア送信装置とのコネクションを切断するためのトリガを送信し、前記第２メディア受信装置に対して、前記メディア送信装置とのコネクションを接続するためのトリガを送信することを特徴とするタイミング決定方法。
【請求項６】
再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定するステップと、
前記対応関係を蓄積するステップと、
蓄積された適応度の値が閾値を超えたタイミングを、前記特定のサービスを提供するタイミングとして決定するステップと、
決定された前記タイミングにおいて、所定のトリガを送信するステップと
を備え、
前記特定のサービスは、メディア送信装置から送信され、メディア受信装置で再生されている前記符号化データに対して広告を挿入する広告挿入サービスであり、
前記トリガを送信するステップでは、第１トリガおよび第２トリガを前記メディア受信装置に送信し、
前記第１トリガは、前記符号化データの送信の中止を、前記メディア送信装置に送信するためのトリガであり、
前記第２トリガは、前記メディア受信装置への広告データの送信を、前記メディア送信装置に要求するためのトリガであることを特徴とするタイミング決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サービスを提供するタイミングを決定するタイミング決定装置及びタイミング決定方法に関する。
【背景技術】
【０００２】
特定のサービスをユーザに提供する際に、ユーザの嗜好や利便性に合わせて、適切なタイミングでサービスを提供することが必要となる。このため、例えばユーザが時間と共に移動する場合、ユーザの位置情報に基づいて、通信サービスを提供するタイミングを調整する技術は開示されている（例えば、特許文献１参照。）。
【特許文献１】特開２００３−８５３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように、位置情報に基づいてサービスを提供する技術はあったが、ユーザが映像や音楽といったものを受信し、再生している場合、ユーザは、映像や音楽の内容に応じて、適切なサービスを享受することを希望する場合がある。
【０００４】
そこで、本発明は、上記の課題に鑑み、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定するタイミング決定装置及びタイミング決定方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の第１の特徴は、（イ）再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定手段と、（ロ）対応関係を蓄積する適応度蓄積手段と、（ハ）適応度蓄積手段に蓄積された適応度の値に応じて、特定のサービスを提供するタイミングを決定するタイミング決定手段とを備えるタイミング決定装置であることを要旨とする。
【０００６】
第１の特徴に係るタイミング決定装置によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。
【０００７】
又、第１の特徴に係るタイミング決定装置は、適応度蓄積手段に蓄積された過去における適応度と、メディアの特徴量から将来の適応度を予測する適応度予測手段を更に備えてもよい。このタイミング決定装置によると、予め適応度を算出することができなかったメディアに対しても、サービスを提供するタイミングを適切に決定することができる。
【０００８】
又、第１の特徴に係るタイミング決定装置における適応度決定手段は、メディアの特徴量を抽出する特徴量抽出手段と、メディアの再生を行うメディア再生手段と、メディアに対する特定のサービスを提供するタイミングにおける評価結果を取得する適応度取得手段と、メディア再生手段から再生されたメディアの特徴量と、適応度取得手段から取得した評価結果とを対応付ける対応関係作成部とを備えてもよい。このタイミング決定装置によると、メディアの特徴量と適応度とを精度良く対応付けることができる。
【０００９】
本発明の第２の特徴は、（イ）再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定するステップと、（ロ）対応関係を蓄積するステップと、（ハ）適応度蓄積手段に蓄積された適応度の値に応じて、特定のサービスを提供するタイミングを決定するステップとを含むタイミング決定方法であることを要旨とする。
【００１０】
第２の特徴に係るタイミング決定方法によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。
【発明の効果】
【００１１】
本発明によると、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定するタイミング決定装置及びタイミング決定方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
【００１３】
（第１の実施の形態）
第１の実施の形態では、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるサービスにおいて、サービス移動のタイミングを決定する。第１の実施の形態では、再生中のメディアに対する特徴量が、既にタイミング決定装置に蓄積されている場合（静的タイミング決定方法）について説明する。
【００１４】
第１の実施の形態に係るタイミング決定システムは、図１に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０、３１とを備える。ここでは、現在、メディア受信装置３０で再生されているメディアを、適切なタイミングでメディア受信装置３１へ移動させるサービスを行うこととする。又、メディア受信装置３０、３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
【００１５】
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０、３１へメディアを送信するメディア送信部２０１とを備える。ここで、「メディア」とは、映像データや音響データなどの再生可能な符号化されたデータをいう。
【００１６】
メディア受信装置３０、３１は、メディア送信装置２０からメディアを受信するメディア受信部３０１、３１１と、メディアを再生するメディア再生部３０２、３１２と、タイミング決定装置１０からメディア送信装置２０とのコネクションの接続・切断を行うトリガ（命令）を受信するトリガ受信部３０３、３１３とを備える。ここで、「コネクション」とは、装置間で張られる論理的通信路のことである。例えば、コネクションは、送信元ＩＰアドレスと送信元ポート番号、送信先ＩＰアドレスと送信先ポート番号によって識別される。
【００１７】
タイミング決定装置１０は、図１に示すように、特徴量抽出部１０３と、適応度決定部１０７と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
【００１８】
特徴量抽出部１０３は、メディア送信装置２０から受信した、現在、メディア受信装置３０において再生されているメディアの特徴量を抽出する。特徴量は、メディアの測定値から算出される低レベル特徴量と、メディアの意味的側面を捉えた高レベル特徴量とに分けられる。低レベル特徴量としては、例えば、メディアが映像データである場合、フレーム全体又は被写体の色、テクスチャ、形、動き（例えば、動きベクトル）、領域などがあり、メディアが音楽データの場合、音の大きさ、ピッチ、スペクトル分析信号（例えば、短時間振幅スペクトルの対数を逆フーリエ変換したもの）などがある。又、高レベル特徴量としては、例えば、ＭＰＥＧ−７の意味的側面を利用することが可能である（ISO/IEC 15938-5 “Part5-Multimedia Description Scheme”参照）。意味的側面は、メディアの関連情報に関わるもので、映像中に登場する人物や物の関係を記述でき、低レベル特徴量では検索が困難なものでも、意味レベルでの抽象的な検索を可能とする。例えば、「綺麗な教会で式を挙げている幸せそうなカップルの映像」という抽象的な検索が可能となる。特徴量については、後に詳述する。
【００１９】
適応度決定部１０７は、メディア蓄積部２５１に蓄積されているメディアの特徴量と適応度との対応関係を決定し、この対応関係を適応度蓄積部１５１へ蓄積する。ここで、「適応度」とは、特定のサービスを提供するために適した度合いを示す。又、特定のサービスとしては、端末間サービス移動、広告挿入サービス、アクチュエータ連動サービスなどが挙げられる。具体的な適応度を決定する方法については、後に詳述する。尚、第１の実施の形態では、適応度決定処理は、メディア受信装置３０へメディアが送信される前に、予め行われているものとする。
【００２０】
適応度蓄積部１５１は、メディアの特徴量と適応度との関係を対応付けて蓄積する。
【００２１】
タイミング決定部１０１は、適応度蓄積部１５１に蓄積された適応度の値と、特徴量抽出部１０３から抽出された、現在メディア受信装置３０において再生中のメディアの特徴量とを比較することにより、特定のサービスを提供するタイミングを決定する。具体的には、タイミング決定部１０１は、適応度蓄積部１５１に蓄積された適応度がある値（閾値）を超えているか否か判断することによりタイミングを決定してもよい。例えば、適応度が０から１までの数値で表される場合は、０．８を超えた値を、サービスを提供するために適したタイミングであると判定し、それ以外の場合はサービスを提供するためには不適切であると判定する。
【００２２】
又、タイミング決定部１０１は、適切であると判定したタイミングにおいて、トリガ送信部１０２を介して、メディア受信装置３０、３１のトリガ受信部３０３、３１３へトリガを送信する。ここで、サービスを提供するためのタイミングは、トリガを以前に送信した時刻を考慮して判定される必要がある。例えば、適応度が閾値付近で上下するたびに、トリガが送信されては、メディア受信装置３０、３１間でサービスが行ったり来たり（チャタリング）することとになる。これを防ぐため、閾値を超えても一定時間はサービス提供に適しているとみなさない、あるいは閾値を下回っても一定時間はサービス提供に不適切であるとみなすことが必要である。この一定時間は対象サービスによってことなるが、サービス移動に関しては、２〜５秒程度にするとよい。
【００２３】
トリガ送信部１０２は、タイミング決定部１０１の判定に従って、メディア受信装置３０のトリガ受信部３０３にメディア送信装置２０とのコネクションを切断する命令を送信し、メディア受信装置３１のトリガ受信部３１１３にメディア送信装置２０とのコネクションを接続する命令を送信する。トリガ送信部１０２とトリガ受信部３０３、３１３との間のプロトコルは、インターネット第７層（例えば、ＨＴＴＰ、ＳＩＰ、ＦＴＰ）を利用することができる。例えば、タイミング決定装置１０からメディア受信装置３０、３１に送信される「接続命令」や「切断命令」をペイロードに含めて送信するとよい。
【００２４】
又、第１の形態に係るタイミング決定装置１０は、処理制御装置（ＣＰＵ）を有し、適応度決定部１０７、特徴量抽出部１０３、タイミング決定部１０１などをモジュールとして備える構成とすることができる。これらのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。
【００２５】
又、適応度蓄積部１５１は、特徴量と適応度の対応関係を保存する記録媒体である。記録媒体は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。このような記録媒体によれば、適応度データの保存、運搬、販売などを容易に行うことができる。
【００２６】
又、図示していないが、タイミング決定装置１０は、適応度決定処理、特徴量抽出処理、タイミング決定処理などを処理制御装置（ＣＰＵ）に実行させるためのプログラムを保存するプログラム保持部を備えてもよい。プログラム保持部は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどの記録媒体である。このような記録媒体によれば、認識プログラムの保存、運搬、販売などを容易に行うことができる。
【００２７】
次に、第１の実施の形態に係るタイミング決定方法について、図２を用いて説明する。
【００２８】
（イ）まず、ステップＳ１０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ１０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。ここで、コネクションとは、メディア送信装置２０におけるＩＰアドレスとポート番号、及びメディア受信装置３０におけるＩＰアドレスとポート番号によって識別される論理的な通信路のことである。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
【００２９】
（ロ）次に、ステップＳ１０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ１０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、サービス移動を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
【００３０】
（ハ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ１０５において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ１０６において、メディア送信装置２０に対して、コネクション切断要求を送信する。その後、ステップＳ１０７において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。
【００３１】
（ニ）次に、ステップＳ１０８において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３１に対して、コネクション接続命令を送信する。メディア受信装置３１は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ１０９において、メディア送信装置２０に対して、コネクション接続要求を送信する。その後、ステップＳ１１０において、メディア送信装置２０とメディア受信装置３１間のコネクションは接続される。コネクション確立後は、メディア送信装置２０からメディア受信装置３１へメディアが送信され、メディア受信装置３１において、メディアが再生される。
【００３２】
このように、第１の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、図３に示すように、再生中のメディアを別の端末装置へ移動させる際に、適応度の高いタイミングでサービスを移動させることができる。
【００３３】
次に、上述した特徴量について、より詳細に説明する。
【００３４】
まず、映像データの特徴量として、動きベクトルを利用する場合について説明する。動きベクトルを求める方法には、ブロックマッチング法と勾配法がある（今村弘樹、剣持雪子、小谷一孔、“３次元投票空間を用いた照明条件の変化を考慮したオプティカルフロー推定”、電子情報通信学会論文誌、Vol.J85-D-II No.1 pp.12-22 2002参照）。ブロックマッチング法は、精度良く動きを検出できるが処理量が多く、勾配法は処理量が比較的少ないが動きを検出できる精度が低い。但し、動きベクトルが予め計算済みであるコーデックを利用する場合（例えば、ＭＰＥＧ）は、特徴量をメディアの内部から取得する処理が行われる。
【００３５】
ブロックマッチング法を用いる場合は、各ブロックにおける動きベクトルの絶対値の総和を映像特徴量として扱うことができる。具体的には、図４（ａ）に示すように、映像（フレーム）を複数のブロックに分割する。そして、あるフレームにおけるそれぞれのブロックが次のフレームにおいてどの方向に移動したか、具体的には、図４（ｂ）に示すように、各ブロックにおいて、ある時間間隔（例えば、１００ｍｓ）の上下の動き量と左右の動き量を算出する。このとき、特徴量は、すべてのブロックに関する特徴量の集合とする。
【００３６】
又、音響データの特徴量として、パルス列を利用する場合について説明する。パルス列の特徴量を算出するには、図５に示すように、ある時間間隔（例えば、１００ｍｓ）をフレームとして切り出す。そして、そのフレーム内の振幅の大きさと波の数から、特徴量を算出する。
【００３７】
上述した動きベクトルやパルス列を利用した特徴量の算出は、一例であり、他のデータを用いて特徴量を算出してもよいことは勿論である。
【００３８】
次に、適応度決定部１０７において説明した適応度を決定する方法について、より詳細に説明する。適応度決定方法としては、例えば、関数近似を利用する方法と主観評価を利用する方法が挙げられる。
【００３９】
まず、関数近似を利用する方法について説明する。サービスを提供する際の適応度は、例えばサービス移動の際には、映像の動きベクトルが大きく、音の大きさが大きい方が、適応度が高い場合を考える。ここで、ある時刻tにおける映像の動きベクトルmv(moving vector)の特徴量をCmv、音響の大きさsv(sound vector)の特徴量をCsvとすると、時刻tにおける適応度F(t)は、
F(t) = Cmv(t) + Csv(t)             ……式（１）
となる。ここで、ある特性ｘに関する特徴量Cxは、最小0から最大1の範囲に正規化してもよい。又、時刻は、映像の各フレーム、音響の各サンプルに対応する。又、音の大きさが大きい方が適応度が低い場合には、以下のように逆数を用いてもよい。
【００４０】
F(t) = Cmv(t) + 1/Csv(t)                   ……式（２）
又、先の適応度F(t)と特性ｘに関する特徴量Cx(t)との関係は、ある時刻tに関する情報しか関与していないが、過去の特徴量（例えば、１時刻前の特徴量Cx(t-1)）と、過去の適応度（例えば、１時刻前の適応度F(t-1)）とを用いて定式化することも考えられる。例えば、１時刻前の特徴量Cx(t-1)を用いる場合は、以下のようになる。
【数１】
0004776179.tif 000002
【００４１】
ここで、＊はすべての特徴量を表す。
【００４２】
式（３）は、一例であり、過去の適応度F(t-1)とは無関係に現在の適応度F(t)を算出する場合には、F(t-1)を使わない式を用い、過去の特徴量Cx(t-1)とは無関係に現在の適応度F(t)を算出する場合には、Cx(t-1)を使わない式を用いてもよい。又、複数の定義式による結果を組み合わせてもよい。例えば、以下のように相加平均を用いてもよい。
【００４３】
F(t) = {F1(t) + F2(t)}/2                 ……式（４）
ここで、例えば、F1(t)は式（３）を利用できる。
【００４４】
又、特徴量と適応度の関係を求める際に利用したメディアと、タイミング決定に用いるメディアが等しい場合には、未来の特徴量（例えば、１時刻先の特徴量Cx(t+1)）、未来の適応度（例えば、１時刻先の適応度F(t+1)）を用いて定式化することも可能である。例えば、１時刻前の特徴量Cx(t+1)を用いる場合は以下のようになる。
【数２】
0004776179.tif 000003
【００４５】
次に、適応度を決定する方法として、主観評価を利用する方法について説明する。主観評価に用いる主観評価装置５０（適応度決定部１０７）は、図６に示すように、特徴量抽出部５０１と、メディア再生部５０２と、適応度取得部５０３と、対応関係作成部５０４とを備える。特徴量抽出部５０１は、メディア蓄積部２５１から取得したメディアの特徴量を抽出する。メディア再生部５０２は、メディアを再生し、ユーザ４０に対して提示する。適応度取得部５０３は、再生されたメディアに対する特定のサービスを提供するタイミングについて、ユーザ４０の評価結果を取得する。例えば、通信端末で再生中のメディアを別の通信端末に移動させるサービスを行う際は、メディアを再生する途中でサービスを移動させるときに適したタイミングをユーザ４０が評価する。このとき、例えば、ユーザ４０は指定されたタイミングを５段階評価し、１から５までの数字を評価値として、適応度取得部５０３に入力する。対応関係作成部５０４は、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得したユーザの評価値とを対応付け、適応度蓄積部１５１に蓄積する。
【００４６】
ここで、ユーザの評価方法には、ＩＴＵ−Ｒ勧告で標準化されている方法として、単一刺激法と二重刺激法がある（ITU-R Recommendation BT.500-7, “Methodology for the subjective assessment of the quality of television pictures,” p.582-604, 1995.参照）。単一刺激法とは、各試行（例えば、サービスを移動させるタイミング）について１つずつ刺激を与えて評価を促す方法である。二重刺激法とは、各試行について基準となる刺激と比較となる刺激とを比較して評価を促す方法である。二重刺激法は、単一刺激法と比較すると、精度は高いが、試験時間が長いためユーザへの負担が大きくなるという問題がある。
【００４７】
又、評価値には、ＩＴＵ−Ｒ勧告で標準化されている品質値と劣化値がある（ITU-R Recommendation BT.500-7, “Methodology for the subjective assessment of the quality of television pictures,” p.582-604, 1995.参照）。品質値は、良さの度合いを表す５段階尺度（５：良い、４：やや良い、３：同じ、２：やや悪い、１：悪い）である。劣化値は、劣化の度合いを表す５段階尺度（５：検知できない、４：検知できるが気にならない、３：少し気になる、２：気になる、１：とても気になる）である。これらの評価値は、適応度蓄積部１５１に蓄積する際、０から１までの値などに正規化してもよい。
【００４８】
又、あらゆる映像や音響に対する特徴量を求めることが困難である場合、映像の種類や音響の種類を考慮して、特徴量と適応度の対応関係を求めても構わない。例えば、映像データをスポーツ映像、ニュース映像、ドラマ映像等に分類し、新たなメディアに対して適応度を求める際、同じ種類のデータに対する適応度をベースに適応度を求めてもよい。
【００４９】
例えば、あるドラマ映像に関して、ある特徴量ａと適応度ｂとの対応関係が自明である映像があるとする。この特徴量ａと類似する特徴量ａ’を示す映像について適応度ｂを求める場合は、適応度ｂから求めることができる。例えば、特徴量が大きくなると適応度を大きくすることが望ましい場合、適応度ｂ’＝ｂ（ａ’／ａ）とし、特徴量が大きくなると適応度を小さくすることが望ましい場合、適応度ｂ’＝ｂ（ａ／ａ’）とする。
【００５０】
次に、第１の実施の形態に係る主観評価方法（適応度決定方法）について、図７を用いて説明する。ここでは、例として単一刺激品質尺度法を用いて説明する。
【００５１】
（イ）まず、ステップＳ２０１において、特徴量抽出部５０１は、メディア蓄積部２５１からメディアを取得し、特徴量を抽出する。次に、ステップＳ２０２において、メディア再生部５０２は、ユーザ４０に対してメディアに関する評価刺激を提示する。ユーザ４０は、評価刺激がどのくらい良いと感じるかを５段階の品質値を用いて評価する。例えば、サービス移動タイミングについてユーザに評価を依頼する場合は、複数のメディア内再生時刻（例：１０秒、２０秒、３０秒）において端末間でサービスを０秒で移動するサービス移動を評価刺激とする。
【００５２】
（ロ）次に、ステップＳ２０３において、適応度取得部５０３は、ユーザの評価結果を適応度として取得する。対応関係作成部５０４は、適応度取得部５０３によって得られた適応度と、特徴量抽出部５０１によって抽出された特徴量を取得し（ステップＳ２０４）、ステップＳ２０５において、特徴量と適応度の対応関係を作成する。
【００５３】
（ハ）次に、ステップＳ２０６において、試行を必要回数繰り返したか否か判断する。必要回数繰り返していない場合は、ステップＳ２０２の処理へ戻る。一方、必要回数繰り返した場合は、ステップＳ２０７へ進み、適応度蓄積部１５１は、メディアの特徴量と、ユーザの評価値（適応度）とを対応付け、蓄積する。
【００５４】
尚、与える評価刺激の順番をユーザに推測されてしまうと、先入観念の影響から正しく感覚が評価できないため、各試行における評価刺激はランダムに選択し、ユーザに提示するとよい。
【００５５】
又、図６に示す適応度決定部１０７は、主観評価を利用する方法に用いる装置（主観評価装置５０）として説明したが、関数近似を利用する方法に用いる装置として使用しても構わない。この場合、適応度取得部５０３は、再生されたメディアに対する特定のサービスを提供するタイミングについて、関数近似による評価結果を取得する。そして、対応関係作成部５０４は、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得した関数近似による評価値とを対応付け、適応度蓄積部１５１に蓄積する。
【００５６】
第１の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。具体的には、通信端末で再生中のメディアを、適切なタイミングで別の通信端末装置に移動させることができる。
【００５７】
又、適応度決定部１０７は、関数近似を利用する方法や主観評価を利用する方法を用いることにより、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得した評価結果とを対応付けることができる。このため、メディアの特徴量と適応度とを精度良く対応付けることができる。
【００５８】
（第２の実施の形態）
第１の実施の形態では、再生中のメディアに対する特徴量が既に蓄積されていたが（静的タイミング決定方法）、第２の実施の形態では、特徴量が蓄積されておらず、メディアの再生と同時に特徴量を予測する必要がある（動的タイミング決定方法）場合について説明する。尚、第２の実施の形態においても、第１の実施の形態と同様に、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるサービスにおいて、サービス移動のタイミングを決定する。
【００５９】
第２の実施の形態に係るタイミング決定システムは、図８に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０、３１とを備える。ここでは、現在、メディア受信装置３０で再生されているメディアを、適切なタイミングでメディア受信装置３１へ移動させるサービスを行うこととする。又、メディア受信装置３０、３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
【００６０】
メディア送信装置２０は、メディア送信部２０１がタイミング決定装置１０にのみメディアを送信すること以外は第１の実施の形態と同様であるので、ここでは説明を省略する。
【００６１】
メディア受信装置３０、３１は、メディア受信部３０１、３１１がメディアをタイミング決定装置１０から受信し、トリガ受信部３０３、３１３がタイミング決定装置１０とのコネクションの接続・切断を行うトリガ（命令）をタイミング決定装置１０から受信すること以外は、第１の実施の形態と同様であるので、ここでは説明を省略する。
【００６２】
タイミング決定装置１０は、図８に示すように、特徴量抽出部１０３と、適応度決定部１０７と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２と、メディア受信部１０５と、メディア送信部１０６と、適応度予測部１０４とを備える。
【００６３】
メディア受信部１０５は、メディア送信装置２０からメディアを受信する。メディア送信部１０６は、メディア受信装置３０、３１へメディアを送信する。
【００６４】
適応度予測部１０４は、適応度蓄積部１５１に蓄積された過去の適応度と特徴量から将来の適応度を予測する。例えば、１時刻前の適応度と２時刻前の適応度の直線上に現在の適応度があると仮定して、線分比によって予測することができる。適応度予測方法については、後に詳述する。
【００６５】
その他、特徴量抽出部１０３、適応度決定部１０７、適応度蓄積部１５１、タイミング決定部１０１、トリガ送信部１０２については、第１の実施の形態と同様であるので、ここでは説明を省略する。
【００６６】
次に、第２の実施の形態に係るタイミング決定方法について、図９を用いて説明する。
【００６７】
（イ）まず、ステップＳ３０１において、タイミング決定装置１０は、メディア送信装置２０へ接続要求を送信する。そして、ステップＳ３０２において、タイミング決定装置１０とメディア送信装置２０間のコネクションが確立される。
【００６８】
（ロ）次に、ステップＳ３０３において、メディア受信装置３０はタイミング決定装置１０へ接続要求を送信する。そして、ステップＳ３０４において、タイミング決定装置１０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、タイミング決定装置１０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
【００６９】
（ハ）次に、ステップＳ３０５において、タイミング決定装置１０の特徴量抽出部１０３は、メディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ３０６において、タイミング決定装置１０の適応度予測部１０４は、適応度蓄積部１５１に蓄積された過去の適応度から将来の適応度を予測する。適応度予測方法としては、図１０（ａ）に示すように、１時刻前の適応度と２時刻前の適応度の直線上に現在の適応度があると仮定して、線分比によって予測する方法がある。時刻t-1の適応度F(t-1)と、時刻t-2の適応度F(T-2)から、時刻tにおける適応度F(t)は、
F(t) = 2F(t-1) - F(t-2)                       ……式（６）
と算出できる。又、図１０（ｂ）に示すように、最小二乗法、指数関数を用いて予測する方法もある（大村平、“実験と評価のはなし−データ解析  虎の巻！”、日科技連、２００３参照）。線分比や最小二乗法では、適応度が上昇したり減少したりする現象を正確に表現することが困難な場合は、図１０（ｃ）に示すように、多項式を用いて予測することもできる。
【００７０】
（ニ）次に、ステップＳ３０７において、タイミング決定装置１０のタイミング決定部１０１は、適応度予測部１０４によって予測された適応度と特徴量との対応関係を用いてサービス提供の適応度を取得し、サービス移動を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
【００７１】
（ホ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ３０８において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ３０９において、タイミング決定装置１０に対して、コネクション切断要求を送信する。その後、ステップＳ３１０において、タイミング決定装置１０とメディア受信装置３０間のコネクションは切断される。又、メディア送信装置２０は、タイミング決定装置１０からコネクション切断命令を受けると、ステップＳ３１１において、タイミング決定装置１０に対して、コネクション切断要求を送信する。その後、ステップＳ３１２において、タイミング決定装置１０とメディア送信装置２０間のコネクションは切断される。
【００７２】
（へ）次に、メディア送信装置２０は、タイミング決定装置１０からコネクション接続命令を受けると、ステップＳ３１４において、タイミング決定装置１０に対して、コネクション接続要求を送信する。その後、ステップＳ３１５において、タイミング決定装置１０とメディア送信装置２０間のコネクションは接続される。又、ステップＳ３１３において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３１に対して、コネクション接続命令を送信する。メディア受信装置３１は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ３１６において、タイミング決定装置１０に対して、コネクション接続要求を送信する。その後、ステップＳ３１７において、タイミング決定装置１０とメディア受信装置３１間のコネクションは接続される。コネクション確立後は、メディア送信装置２０からメディア受信装置３１へメディアが送信され、メディア受信装置３１において、メディアが再生される。
【００７３】
第２の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、適応度蓄積部１５１に蓄積された過去における適応度と、メディアの特徴量から将来の適応度を予測することができる。このため、予め適応度を算出することができなかったメディアに対しても、サービスを提供するタイミングを適切に決定することができる。具体的には、通信端末で再生中のメディアを、適切なタイミングで別の通信端末装置に移動させることができる。
【００７４】
（第３の実施の形態）
第１及び第２の実施の形態では、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるタイミングを決定したが、第３の実施の形態では、通信端末（メディア受信装置）で再生中のメディアに対して広告を挿入するタイミングを決定する。
【００７５】
ストリーミング映像の途中には、コンテンツプロバイダの情報としてスポンサー情報を挿入することが考えられる。ユーザは、通常、ストリーミング情報を見続けたく、スポンサーに関する情報を閲覧したいという要求はない。このとき、ストリーミング映像の途中で、不適切な部分に広告が挿入されると、ユーザの集中力がそがれ、不快感を与える可能性がある（長田典子、和気早苗、大須賀美恵子、井口征二、“ＴＶコマーシャル挿入タイミングが注意集中に与える影響”、信学技報、ＨＣＳ２００３−１０、２００３参照）。
【００７６】
第３の実施の形態に係るタイミング決定システムは、図１１に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングで広告を挿入するサービスを行うこととする。又、メディア受信装置３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
【００７７】
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１と、広告を蓄積する広告蓄積部２５２とを備える。
【００７８】
メディア送信部２０１は、メディア受信装置３０からの接続命令に応じて、メディア蓄積部２５１に蓄積されたメディアあるいは広告蓄積部２５２に蓄積された広告を送信する。
【００７９】
メディア受信装置３０は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２と、タイミング決定装置１０からメディア送信装置２０とのコネクションの接続・切断を行うトリガ（命令）を受信するトリガ受信部３０３とを備える。メディア受信部３１１は、トリガに応じて、メディアあるいは広告を受信する。
【００８０】
タイミング決定装置１０は、図１１に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
【００８１】
タイミング決定装置１０は、トリガ送信部１０２が広告を挿入するタイミングでトリガ（命令）を送信すること以外は、第１の実施の形態と同様であるのでここでは説明を省略する。
【００８２】
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第３の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
【００８３】
次に、第３の実施の形態に係るタイミング決定方法について、図１２を用いて説明する。
【００８４】
（イ）まず、ステップＳ４０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ４０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
【００８５】
（ロ）次に、ステップＳ４０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ４０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、広告挿入を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
【００８６】
（ハ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ４０５において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ４０６において、メディア送信装置２０に対して、コネクション切断要求を送信する。その後、ステップＳ４０７において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。
【００８７】
（ニ）次に、ステップＳ４０８において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３０に対して、広告接続命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ４０９において、メディア送信装置２０に対して、広告接続要求を送信する。その後、ステップＳ４１０において、メディア送信装置２０とメディア受信装置３０間のコネクションは接続される。そして、メディア受信装置３０では、広告が再生される。
【００８８】
（ホ）次に、タイミング決定装置１０は、広告が再生されてから一定時間（例えば、３０秒）が経過すると、ステップＳ４１１において、広告切断命令をメディア受信装置３０に対して送信する。メディア受信装置３０は、タイミング決定装置１０から広告切断命令を受け取ると、ステップＳ４１２において、メディア送信装置２０に対して、広告切断要求を送信する。その後、ステップＳ４１３において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。ここでは、タイミング決定装置１０が切断命令を送信しているが、メディア受信装置３０がタイミング決定装置１０から命令を待たずに、例えば、一定時間が経過した場合に、メディア送信装置２０とのコネクションを切断することとしてもよい。
【００８９】
このように、第３の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、図１３に示すように、広告を挿入する際に、適応度の高いタイミングで広告を挿入することができる。
【００９０】
（第４の実施の形態）
第４の実施の形態では、メディア受信装置におけるメディアの再生に合わせて、アクチュエータ装置を連動させるタイミングを決定するシステムについて説明する。
【００９１】
将来のユビキタス社会においては、複数の装置が連携してサービスを提供することが想定される。例えば、テレビなど映像や音響を再生する際に、映像や音響の特徴量に応じて部屋のアクチュエータ機器（例えば、ライト、エアーコンディショナー）を連動させることで、臨場感をより高いものにすることができる。このようなサービスに、タイミング決定装置１０を使用する例について説明する。
【００９２】
第４の実施の形態に係るタイミング決定システムは、図１４に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０と、アクチュエータ装置３３とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングでアクチュエータ装置を動作させるサービスを行うこととする。
【００９３】
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１とを備える。
【００９４】
メディア受信装置３０は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２とを備える。
【００９５】
タイミング決定装置１０は、図１４に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
【００９６】
トリガ送信部１０２は、アクチュエータ装置３３へ、照明の点灯・消灯や室温の上昇・下降を行うタイミングでトリガ（命令）を送信する。
【００９７】
又、適応度蓄積部１５１は、特徴量とアクチュエータ装置３３の動作適応度との対応関係を蓄積する。
【００９８】
特徴量抽出部１０３、タイミング決定部１０１については、第１の実施の形態と同様であるので、ここでは説明を省略する。
【００９９】
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第４の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
【０１００】
アクチュエータ装置３３は、タイミング決定装置１０から照明の点灯・消灯、室温の上昇・下降を行うトリガ（命令）を受信するトリガ受信部３３１と、照明の点灯・消灯を制御する照明調整部３３２と、室温の上昇・下降を制御する室温調整部３３３とを備える。
【０１０１】
次に、第４の実施の形態に係るタイミング決定方法について、図１５を用いて説明する。
【０１０２】
（イ）まず、ステップＳ５０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ５０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
【０１０３】
（ロ）次に、ステップＳ５０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ５０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、照明を点灯するタイミングを決定する。
【０１０４】
（ハ）タイミング決定装置１０は、適応度が照明を点灯するための条件を満たした際に、ステップＳ５０５において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、照明点灯命令を送信する。アクチュエータ装置３３は、タイミング決定装置１０から照明点灯命令を受け取ると、ステップＳ５０６において、照明を点灯し、ステップＳ５０７において、タイミング決定装置１０に対して、照明点灯完了信号を送信する。
【０１０５】
（ニ）次に、タイミング決定装置１０は、適応度が照明を消灯するための条件を満たした際に、ステップＳ５０８において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、照明消灯命令を送信する。アクチュエータ装置３３は、タイミング決定装置１０から照明消灯命令を受け取ると、ステップＳ５０９において、照明を消灯し、ステップＳ５１０において、タイミング決定装置１０に対して、照明消灯完了信号を送信する。
【０１０６】
（ホ）次に、タイミング決定装置１０は、適応度が室温を上昇するための条件を満たした際に、ステップＳ５１１において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、室温上昇命令を送信する。次に、アクチュエータ装置３３は、タイミング決定装置１０から室温上昇命令を受け取ると、ステップＳ５１２において、室温を上昇し、ステップＳ５１３において、タイミング決定装置１０に対して、室温上昇完了信号を送信する。
【０１０７】
（へ）次に、タイミング決定装置１０は、適応度が室温を下降するための条件を満たした際に、ステップＳ５１４において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、室温下降命令を送信する。次に、アクチュエータ装置３３は、タイミング決定装置１０から室温下降命令を受け取ると、ステップＳ５１５において、室温を下降し、ステップＳ５１６において、タイミング決定装置１０に対して、室温下降完了信号を送信する。
【０１０８】
又、上述した適応度が各条件を満たすか否かは、例えば、図１６に示す適応パターン表を参照することにより決定する。図１６では、温度調整に対する特徴量が対応付けられている。パターン１は、メタデータ（高レベル特徴量）として、メディアにクライマックスであると記述されているときには、温度を高め（ここでは、２７度）に制御することを示している。パターン２は、映像の動きベクトルが閾値以下であるときには、動きが少ないと判定して、温度をやや低め（ここでは、２５度）に制御することを示している。パターン３は、映像の動きベクトルが閾値以上であるときには（あるいは無音であるときには）、動きが激しいと判定して、温度をやや高め（ここでは、２６度）に制御することを示している。このような適応パターン表は適応度蓄積部１５１に蓄積されており、このパターンに基づいて、アクチュエータ装置３３の制御が行われる。
【０１０９】
第４の特徴に係るタイミング決定装置１０及びタイミング決定方法によると、例えば、映像の画面が山場にさしかかったときに、ライトを激しく変化させ、場面が山場でないときには、ライトを緩やかに変化させることができる。又、例えば、恐ろしい映像が再生されている場合には、部屋の空気を低下させ、穏やかな映像が再生されている場合には、部屋の空気を上昇させることができる。
【０１１０】
このように映像に合わせて、アクチュエータ装置３３を連動させることにより、より臨場感を高めることができる。
【０１１１】
（第５の実施の形態）
第４の実施の形態では、メディア受信装置とは別にアクチュエータ装置があり、適応度に応じてアクチュエータ装置を動作させたが、第５の実施の形態では、メディア受信装置内にアクチュエータ機能を備える場合について説明する。
【０１１２】
現在、ノートＰＣやＰＤＡ、携帯電話などの携帯端末には、複数のアクチュエータ機器が搭載されている。例えば、ディスプレイ、スピーカ、バイブレータなどが挙げられ、これらのアクチュエータ機器を連動させることで、通信サービスの臨場感をより高めることができる。通信サービスとしては、例えば、ストリーミング映像配信、音声電話、ＴＶ電話などが挙げられる。このようなサービスに、タイミング決定装置１０を利用する例について説明する。
【０１１３】
第５の実施の形態に係るタイミング決定システムは、図１７に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３４とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングでメディア受信装置３４内のアクチュエータ機能を動作させるサービスを行うこととする。
【０１１４】
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１とを備える。
【０１１５】
メディア受信装置３４は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２と、振動を行うトリガ（命令）を受信するトリガ受信部３３１と、メディア受信装置３４を振動させる振動調整部３３２とを備える。
【０１１６】
タイミング決定装置１０は、図１７に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
【０１１７】
トリガ送信部１０２は、メディア受信装置３４へ振動を開始・停止するタイミングでトリガ（命令）を送信する。
【０１１８】
又、適応度蓄積部１５１は、特徴量とメディア受信装置３４の動作適応度との対応関係を蓄積する。
【０１１９】
特徴量抽出部１０３、タイミング決定部１０１については、第１の実施の形態と同様であるので、ここでは説明を省略する。
【０１２０】
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第５の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
【０１２１】
次に、第５の実施の形態に係るタイミング決定方法について、図１８を用いて説明する。
【０１２２】
（イ）まず、ステップＳ６０１において、メディア受信装置３４はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ６０２において、メディア送信装置２０とメディア受信装置３４間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３４へメディアが送信され、メディア受信装置３４において、メディアが再生される。
【０１２３】
（ロ）次に、ステップＳ６０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３４へ送信されているメディアの特徴量を抽出する。そして、ステップＳ６０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、振動するタイミングを決定する。
【０１２４】
（ハ）タイミング決定装置１０は、適応度が振動を開始するための条件を満たした際に、ステップＳ６０５において、トリガ送信部１０２を介して、メディア受信装置３４に対して、振動開始命令を送信する。メディア受信装置３４は、タイミング決定装置１０から振動開始命令を受け取ると、ステップＳ６０６において、振動を開始し、ステップＳ６０７において、タイミング決定装置１０に対して、振動開始完了信号を送信する。
【０１２５】
（ニ）次に、タイミング決定装置１０は、適応度が振動を停止するための条件を満たした際に、ステップＳ６０８において、トリガ送信部１０２を介して、メディア受信装置３４に対して、振動停止命令を送信する。メディア受信装置３４は、タイミング決定装置１０から振動停止命令を受け取ると、ステップＳ６０９において、振動を停止し、ステップＳ６１０において、タイミング決定装置１０に対して、振動停止完了信号を送信する。
【０１２６】
又、上述した適応度が振動開始あるいは停止条件を満たすか否かは、例えば、図１９に示す適応パターン表を参照することにより決定する。図１９では、振動調整に対する特徴量が対応付けられている。パターン１は、音響特徴量として、音量が閾値以下であったら、バイブレータを発動させないことを示している。パターン２は、映像特徴量として、動きベクトルが閾値以上（例：動きが激しい画面）である、あるいは、音響特徴量として、音量が閾値以上（例：盛り上がる場面）であるときはバイブレータを発動させることを示している。パターン３は、音響特徴量として、閾値以上の周波数が含まれている場合には、バイブレータを発動させることを示している。このような適応パターン表は適応度蓄積部１５１に蓄積されており、このパターンに基づいて、メディア受信装置３４の制御が行われる。
【０１２７】
第５の特徴に係るタイミング決定装置１０及びタイミング決定方法によると、例えば、場面の動きがある一定以上の動きを示したら、バイブレータを発動させることができる。又、声量に応じて、バイブレータを発動させることができる。
【０１２８】
このように映像に合わせて、メディア受信装置３４を連動させることにより、より臨場感を高めることができる。
【０１２９】
（その他の実施形態）
本発明は上記の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１３０】
例えば、第１〜第５の実施の形態において、メディア受信装置３０、３１、３４からメディア送信装置２０へ接続要求、切断要求を送信すると説明したが、メディア送信装置２０からメディア受信装置３０、３１、３４へ接続要求、切断要求を送信しても構わない。
【０１３１】
又、図２において、タイミング決定装置１０は、切断命令を送信した後、接続命令を送信すると説明したが（ステップＳ１０５、Ｓ１０８）、接続命令を送信した後、切断命令を送信してもよい。図９においても同様である。
【０１３２】
又、一つのＣＰＵに、適応度決定部１０７、特徴量抽出部１０３、タイミング決定部１０１をモジュールとして備えてもよいと説明したが、それぞれ異なるＣＰＵに備えられ、異なる装置としてもよい。その場合、複数の装置間をバスなどで接続するものとする。
【０１３３】
このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【０１３４】
【図１】第１の実施の形態に係るタイミング決定装置の構成ブロック図である。
【図２】第１の実施の形態に係るタイミング決定方法を示すフローチャートである。
【図３】第１の実施の形態に係るサービス移動タイミングを説明する図である。
【図４】第１〜第５の実施の形態に係る映像データの特徴量を説明する図である。
【図５】第１〜第５の実施の形態に係る音響データの特徴量を説明する図である。
【図６】第１〜第５の実施の形態に係る主観評価装置（適応度決定部）の構成ブロック図である。
【図７】第１〜第５の実施の形態に係る主観評価方法（適応度決定方法）を示すフローチャートである。
【図８】第２の実施の形態に係るタイミング決定装置の構成ブロック図である。
【図９】第２の実施の形態に係るタイミング決定方法を示すフローチャートである。
【図１０】第２の実施の形態に係る適応度予測方法を説明する図である。
【図１１】第３の実施の形態に係るタイミング決定装置の構成ブロック図である。
【図１２】第３の実施の形態に係るタイミング決定方法を示すフローチャートである。
【図１３】第３の実施の形態に係る広告挿入タイミングを説明する図である。
【図１４】第４の実施の形態に係るタイミング決定装置の構成ブロック図である。
【図１５】第４の実施の形態に係るタイミング決定方法を示すフローチャートである。
【図１６】第４の実施の形態に係る適応度蓄積部が蓄積する適応度パターン表の一例である。
【図１７】第５の実施の形態に係るタイミング決定装置の構成ブロック図である。
【図１８】第５の実施の形態に係るタイミング決定方法を示すフローチャートである。
【図１９】第５の実施の形態に係る適応度蓄積部が蓄積する適応度パターン表の一例である。
【符号の説明】
【０１３５】
１０…タイミング決定装置
２０…メディア送信装置
３０、３１、３４…メディア受信装置
３３…アクチュエータ装置
４０…ユーザ
５０…主観評価装置
１０１…タイミング決定部
１０２…トリガ送信部
１０３…特徴量抽出部
１０４…適応度予測部
１０５…メディア受信部
１０６…メディア送信部
１０７…適応度決定部
１５１…適応度蓄積部
２０１…メディア送信部
２５１…メディア蓄積部
２５２…広告蓄積部
３０１、３１１…メディア受信部
３０２、３１２…メディア再生部
３０３、３１３…トリガ受信部
３３１…トリガ受信部
３３２…振動調整部
３３２…照明調整部
３３３…室温調整部
５０１…特徴量抽出部
５０２…メディア再生部
５０３…適応度取得部
５０４…対応関係作成部
【図１】
0004776179.tif 000004
【図２】
0004776179.tif 000005
【図３】
0004776179.tif 000006
【図４】
0004776179.tif 000007
【図５】
0004776179.tif 000008
【図６】
0004776179.tif 000009
【図７】
0004776179.tif 000010
【図８】
0004776179.tif 000011
【図９】
0004776179.tif 000012
【図１０】
0004776179.tif 000013
【図１１】
0004776179.tif 000014
【図１２】
0004776179.tif 000015
【図１３】
0004776179.tif 000016
【図１４】
0004776179.tif 000017
【図１５】
0004776179.tif 000018
【図１６】
0004776179.tif 000019
【図１７】
0004776179.tif 000020
【図１８】
0004776179.tif 000021
【図１９】
0004776179.tif 000022