(57)【要約】【課題】端末システムに含まれる端末装置において、ユーザにとって有益な情報を提示する。【解決手段】情報処理システムは、端末装置を含む端末システムと、サーバシステムとを含む。端末システムにおいては、端末装置に設けられるマイクが、周囲の音声を検知する。マイクによって検知された音または当該音の特徴を表す音情報は、サーバシステムへ送信される。サーバシステムにおいては、音情報に基づいて、端末装置の周囲の音が特定される。さらに、端末装置において提示すべき提示情報が、特定された音に基づいて特定され、当該提示情報が情報処理装置へ送信される。端末システムは、サーバシステムから送信されてくる提示情報を受信し、端末装置の表示部に提示情報が表示される。【選択図】図１８
2013110736.tif 000002
【特許請求の範囲】
【請求項１】
端末装置を含む端末システムと、サーバシステムとを含む情報処理システムであって、
前記端末システムは、
前記端末装置に設けられ、周囲の音を検知するマイクと、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信部と、
前記端末装置に設けられる表示部とを備え、
前記サーバシステムは、
前記音情報に基づいて、前記端末装置の周囲で再生されている映像コンテンツを特定するコンテンツ特定部と、
特定された映像コンテンツとともに提示されるべき提示情報を当該映像コンテンツに応じて特定し、当該提示情報を前記端末システムへ送信する提示情報特定部とを備え、
前記端末システムは、前記サーバシステムから送信されてくる提示情報を前記表示部に表示する、情報処理システム。
【請求項２】
端末装置および情報処理装置を含む端末システムと、サーバシステムとを含む情報処理システムであって、
前記端末装置は、
周囲の音声を検知するマイクと、
表示部とを備え、
前記情報処理装置は、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信部を備え、
前記サーバシステムは、
前記音情報に基づいて、前記端末装置の周囲の音を特定する音特定部と、
前記端末装置において提示されるべき提示情報を前記特定された音に応じて特定し、当該提示情報を前記情報処理装置へ送信する提示情報特定部とを備え、
前記情報処理装置は、前記サーバシステムから送信されてくる提示情報を受信し、前記端末装置の前記表示部に表示させる、情報処理システム。
【請求項３】
前記音特定部は、前記端末装置の周囲で再生されている映像コンテンツを特定する、請求項２に記載の情報処理システム。
【請求項４】
前記提示情報特定部は、前記映像コンテンツに関する、および／または、映像コンテンツに登場する商品もしくはサービスに関する広告情報を前記提示情報として特定する、請求項１または請求項３に記載の情報処理システム。
【請求項５】
前記サーバシステムは、前記特定された映像コンテンツに基づいて、前記提示情報を提示すべきタイミングを決定するタイミング決定部をさらに備え、
前記端末システムは、前記決定されたタイミングで前記提示情報を前記表示部に表示する、請求項１、請求項３および請求項４のいずれか１項に記載の情報処理システム。
【請求項６】
前記タイミング決定部は、前記特定された映像コンテンツの時間軸上における、前記マイクによって検知された音の時点を前記音情報に基づいて特定し、前記時点と、前記特定された映像コンテンツのタイムテーブルとに基づいて、前記提示情報を提示すべきタイミングを決定する、請求項５に記載の情報処理システム。
【請求項７】
前記端末システムは、前記映像コンテンツを再生可能な所定の表示装置に対して、当該映像コンテンツの再生および／または表示に関する制御を行う装置制御部をさらに備える、請求項１、および、請求項３から請求項６のいずれか１項に記載の情報処理システム。
【請求項８】
前記装置制御部は前記端末装置に設けられる、請求項７に記載の情報処理システム。
【請求項９】
前記サーバシステムは、前記特定された映像コンテンツに基づいて前記映像コンテンツの再生および／または表示に関する制御指令を特定し、制御指令を送信する指示送信部をさらに備え、
前記装置制御部は、前記サーバシステムから受信した前記制御指令に基づいて前記所定の表示装置を制御する、請求項７に記載の情報処理システム。
【請求項１０】
前記サーバシステムは、前記端末システムに関して、前記特定された映像コンテンツの統計情報を生成し、統計情報を前記端末システムへ送信する統計生成部をさらに備える、請求項１、および、請求項３から請求項９のいずれか１項に記載の情報処理システム。
【請求項１１】
前記サーバシステムは、前記特定された映像コンテンツに基づいて当該映像コンテンツの続きの映像コンテンツを特定し、当該続きの映像コンテンツを前記端末システムへ送信するコンテンツ送信部をさらに備え、
前記端末システムは、前記端末装置の表示部、および／または、前記端末装置とは別体の所定の表示装置に前記続きの映像コンテンツを表示させる、請求項１、および、請求項３から請求項１０のいずれか１項に記載の情報処理システム。
【請求項１２】
端末装置を含む端末システムと、サーバシステムとを含む情報処理システムであって、
前記端末システムは、
前記端末装置に設けられ、周囲の音声を検知するマイクと、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信部と、
前記端末装置に設けられる表示部とを備え、
前記サーバシステムは、
前記音情報に基づいて、前記端末装置の周囲の音を特定する音特定部と、
前記端末装置において提示すべき提示情報を前記特定された音に基づいて特定し、当該提示情報を前記情報処理装置へ送信する提示情報特定部とを備え、
前記端末システムは、前記サーバシステムから送信されてくる提示情報を受信し、前記端末装置の前記表示部に表示させる、情報処理システム。
【請求項１３】
端末装置を含む端末システムであって、
前記端末装置に設けられ、周囲の音声を検知するマイクと、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信部と、
前記サーバシステムにおいて前記音情報に基づいて特定される映像コンテンツに応じて特定される提示情報を前記サーバシステムから受信する受信部と、
前記端末装置に設けられ、前記サーバシステムから送信されてくる提示情報を表示する表示部とを備える、端末システム。
【請求項１４】
端末装置を含む端末システムと通信可能なサーバシステムであって、
マイクによって検知された前記端末装置の周囲の音または当該音の特徴を表す音情報を前記端末システムから受信する受信部と、
前記音情報に基づいて、前記端末装置の周囲で再生されている映像コンテンツを特定するコンテンツ特定部と、
特定された映像コンテンツとともに提示されるべき提示情報を当該映像コンテンツに応じて特定し、当該提示情報を前記端末システムへ送信する提示情報特定部とを備える、サーバシステム。
【請求項１５】
端末装置を含む端末システムのコンピュータにおいて実行される情報処理プログラムであって、
前記端末装置に設けられるマイクによって検知される、前記端末装置の周囲の音を取得する取得手段と、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信手段と、
前記サーバシステムにおいて前記音情報に基づいて特定される映像コンテンツに応じて特定される提示情報を前記サーバシステムから受信する受信手段と、
前記端末装置に設けられる表示部に、前記サーバシステムから送信されてくる提示情報を表示させる表示制御手段として前記コンピュータを機能させる、情報処理プログラム。
【請求項１６】
端末装置を含む端末システムと、サーバシステムとを含む情報処理システムにおいて実行される情報提示方法であって、
前記端末システムは、
前記端末装置に設けられるマイクによって周囲の音を検知するステップと、
前記マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信するステップとを実行し、
前記サーバシステムは、
前記音情報に基づいて、前記端末装置の周囲で再生されている映像コンテンツを特定するステップと、
特定された映像コンテンツとともに提示されるべき提示情報を当該映像コンテンツに応じて特定し、当該提示情報を前記端末システムへ送信する提示情報特定ステップとを実行し、
前記端末システムは、前記サーバシステムから送信されてくる提示情報を前記表示部に表示するステップを実行する、情報提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介してサーバ等から情報を送信して端末側で情報を提示する情報処理システム等（情報処理システム、ならびに、それにおいて用いられるサーバシステム、端末システム、情報処理プログラム、および情報提示方法）に関する。
【背景技術】
【０００２】
従来、サーバからインターネットを介して映像を端末側で取得し、端末側で映像を表示するシステムがある。このようなシステムにおいては、例えば、家庭内のゲーム装置がインターネットを介してサーバから映像コンテンツを取得し、家庭内のテレビに映像コンテンツを表示させることが考えられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、映像コンテンツとともに、他の情報（例えば、広告情報や付加的な情報）をユーザに提示することを考える。従来においては、映像コンテンツを表示する表示装置が１つであるので、映像コンテンツとともに上記他の情報を表示する場合には、他の情報を映像コンテンツの間や再生後に表示する等、映像コンテンツと他の情報とを時分割で表示する方法が考えられる。しかし、この方法では、他の情報を表示できる時間は少なく、当該他の情報をユーザ（視聴者）に対して効果的に提示することができない。
【０００５】
それ故、本発明の目的は、映像コンテンツとともにユーザに提示すべき他の情報をより効果的に提示することができる情報処理システム等を提供することである。あるいは、本発明の他の目的は、ユーザに有益な情報を提示することができる情報処理システム等を提供することである。
【課題を解決するための手段】
【０００６】
（１）
本発明の一例は、端末装置を含む端末システムと、サーバシステムとを含む情報処理システムである。
端末システムは、マイクと、送信部と、表示部とを備える。マイクは、端末装置に設けられ、周囲の音を検知する。送信部は、マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する。表示部は、端末装置に設けられる。
サーバシステムは、コンテンツ特定部と、提示情報特定部とを備える。コンテンツ特定部は、音情報に基づいて、端末装置の周囲で再生されている映像コンテンツを特定する。提示情報特定部は、特定された映像コンテンツとともに提示されるべき提示情報を当該映像コンテンツに応じて特定し、当該提示情報を端末システムへ送信する。
端末システムは、サーバシステムから送信されてくる提示情報を表示部に表示する。
【０００７】
上記（１）の構成によれば、端末側で映像コンテンツが再生される場合、映像コンテンツの再生音がマイクで検知され、再生音の音情報がサーバシステムへ送信される。そして、サーバシステムにおいて再生音に基づいて映像コンテンツが特定され、特定された映像コンテンツに応じた提示情報が端末側へ送信される。これによれば、端末側で再生される映像コンテンツに適した提示情報をユーザに提示することができる。すなわち、上記（１）の構成によれば、ユーザに有益な情報を提示することができるとともに、映像コンテンツとともに他の情報をユーザに対して効果的に提示することができる。
【０００８】
（２）
また、本発明の他の一例は、端末装置および情報処理装置を含む端末システムと、サーバシステムとを含む情報処理システムである。
端末装置は、周囲の音声を検知するマイクと、表示部とを備える。情報処理装置は、マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する送信部を備える。
サーバシステムは、音特定部と、提示情報特定部とを備える。音特定部は、音情報に基づいて、端末装置の周囲の音を特定する。提示情報特定部は、端末装置において提示されるべき提示情報を特定された音に応じて特定し、当該提示情報を情報処理装置へ送信する。
情報処理装置は、サーバシステムから送信されてくる提示情報を受信し、端末装置の表示部に表示させる。
【０００９】
上記（２）の構成によれば、端末側の音がマイクで検知され、検知された音の音情報がサーバシステムへ送信される。そして、サーバシステムにおいては当該音情報に基づいて、検知された音に応じた提示情報が特定されて端末側へ送信される。これによれば、端末側の音（映像コンテンツの再生音やユーザの会話の音等）に応じた提示情報をユーザに提示することができる。したがって、上記（２）の構成によれば、ユーザに有益な情報を提示することができる。
【００１０】
（３）
音特定部は、端末装置の周囲で再生されている映像コンテンツを特定してもよい。
【００１１】
上記（３）の構成によれば、上記（１）の構成と同様、映像コンテンツとともに他の情報をユーザに対して効果的に提示することができる。
【００１２】
（４）
提示情報特定部は、映像コンテンツに関する、および／または、映像コンテンツに登場する商品もしくはサービスに関する広告情報を提示情報として特定してもよい。
【００１３】
上記（４）の構成によれば、映像コンテンツおよび／またはその内容に応じた広告情報をユーザに提示することができる。したがって、広告情報を効果的にユーザに提示することができ、広告効果を向上することができる。また、映像コンテンツを表示する表示装置には広告情報が表示されないので、広告情報が、表示装置に表示される映像コンテンツの邪魔になることはなく、映像コンテンツを見やすくユーザに提示することができる。
【００１４】
（５）
サーバシステムは、特定された映像コンテンツに基づいて、提示情報を提示すべきタイミングを決定するタイミング決定部をさらに備えていてもよい。このとき、端末システムは、決定されたタイミングで提示情報を表示部に表示する。
【００１５】
上記（５）の構成によれば、サーバシステムは、提示情報を提示するタイミングを制御することができる。これによって、提示情報を適切なタイミングで提示することができるので、提示情報をユーザに対してより効果的に提示することができる。
【００１６】
（６）
タイミング決定部は、特定された映像コンテンツの時間軸上における、マイクによって検知された音の時点を音情報に基づいて特定し、時点と、特定された映像コンテンツのタイムテーブルとに基づいて、提示情報を提示すべきタイミングを決定してもよい。
【００１７】
上記（６）の構成によれば、提示情報を提示すべきタイミングを、映像コンテンツの内容に合わせた適切なタイミングに容易に設定することができる。
【００１８】
（７）
端末システムは、映像コンテンツを再生可能な所定の表示装置に対して、当該映像コンテンツの再生および／または表示に関する制御を行う装置制御部をさらに備えていてもよい。
【００１９】
上記（７）の構成によれば、端末システムが所定の表示装置の動作を変更することが可能となる。これによって、映像コンテンツと提示情報とをより効果的にユーザに提示することができる。
【００２０】
（８）
装置制御部は端末装置に設けられてもよい。
【００２１】
上記（８）の構成によれば、ユーザは、端末装置を用いて所定の表示装置を操作することができるので、映像コンテンツに対する操作の操作性を向上することができる。
【００２２】
（９）
サーバシステムは、特定された映像コンテンツに基づいて映像コンテンツの再生および／または表示に関する制御指令を特定し、制御指令を送信する指示送信部をさらに備えていてもよい。このとき、装置制御部は、サーバシステムから受信した制御指令に基づいて所定の表示装置を制御する。
【００２３】
上記（９）の構成によれば、サーバ側で所定の表示装置の動作を制御することができる。例えば、サーバシステムは、映像コンテンツと提示情報とをより効果的にユーザに提示することができるように、所定の表示装置の動作を制御することができる。
【００２４】
（１０）
サーバシステムは、端末システムに関して、特定された映像コンテンツの統計情報を生成し、統計情報を端末システムへ送信する統計生成部をさらに備えていてもよい。
【００２５】
上記（１０）の構成によれば、例えば過去の映像コンテンツの視聴履歴等の統計情報をユーザに提示することができるので、ユーザに有益な情報を提供することができる。
【００２６】
（１１）
サーバシステムは、特定された映像コンテンツに基づいて当該映像コンテンツの続きの映像コンテンツを特定し、当該続きの映像コンテンツを端末システムへ送信するコンテンツ送信部をさらに備えていてもよい。端末システムは、端末装置の表示部、および／または、端末装置とは別体の所定の表示装置に続きの映像コンテンツを表示させる。
【００２７】
上記（１１）の構成によれば、情報処理システムは、映像コンテンツの終了後において、その映像コンテンツの続きの映像コンテンツをユーザに提供することができる。これによって、ユーザに有益な情報を提示することができる。
【００２８】
（１２）
また、本発明の他の一例は、端末装置を含む端末システムと、サーバシステムとを含む情報処理システムである。
端末システムは、マイクと、送信部と、表示部とを備える。マイクは、端末装置に設けられ、周囲の音声を検知する。送信部は、マイクによって検知された音または当該音の特徴を表す音情報をサーバシステムへ送信する。表示部は、端末装置に設けられる。
サーバシステムは、音特定部と、提示情報特定部とを備える。音特定部は、音情報に基づいて、端末装置の周囲の音を特定する。提示情報特定部は、端末装置において提示すべき提示情報を特定された音に基づいて特定し、当該提示情報を情報処理装置へ送信する。
端末システムは、サーバシステムから送信されてくる提示情報を受信し、端末装置の表示部に表示させる。
【００２９】
上記（１２）の構成によれば、上記（２）の構成と同様、ユーザに有益な情報を提示することができる。
【００３０】
なお、本発明の別の一例は、上記（１）〜（１２）の情報処理システムに含まれるサーバシステムと同機能を有するサーバシステム（サーバ装置）であってもよいし、当該情報処理システムに含まれる端末システムと同機能を有する端末システム（端末装置）であってもよい。また、上記サーバシステムまたは端末システムにおける各部と同等の手段としてコンピュータを機能させる情報処理プログラムであってもよい。さらに、本発明の別の一例は、上記の情報処理システムにおいて行われる情報提示方法の形態であってもよい。
【発明の効果】
【００３１】
本発明によれば、端末システムの端末装置において、ユーザにとって有益な情報を提示することができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施形態における映像表示システムの一例を示すブロック図
【図２】第１の実施形態における送信サーバの構成の一例を示すブロック図
【図３】第１の実施形態におけるゲームシステムの一例の外観図
【図４】一例であるゲーム装置の内部構成を示すブロック図
【図５】一例であるコントローラの外観構成を示す斜視図
【図６】一例であるコントローラの外観構成を示す斜視図
【図７】一例であるコントローラの構成を示すブロック図
【図８】一例である端末装置の外観構成を示す図
【図９】一例である端末装置の外観構成を示す図
【図１０】端末装置の内部構成の一例を示すブロック図
【図１１】ゲーム装置３の記憶部（外部メインメモリ１２、内部メインメモリ１１ｅ、およびフラッシュメモリ１７を含む）に記憶されるデータの一例を示す図
【図１２】第１の実施形態においてゲーム装置３で実行される処理の流れの一例を示すメインフローチャート
【図１３】第１の実施形態において送信サーバ９１で実行される処理の流れの一例を示すメインフローチャート
【図１４】図１２に示す再生制御処理（ステップＳ５）の詳細な流れの一例を示すフローチャート
【図１５】テレビおよび端末装置において再生される内容の一例を示す図
【図１６】再生操作画像の一例を示す図
【図１７】テレビ操作画像の一例を示す図
【図１８】第２の実施形態に係る情報処理システムの一例を示すブロック図
【図１９】サーバ２０１の構成の一例を示すブロック図
【図２０】情報処理システム２００における動作の流れの一例を示す図
【図２１】提示情報の提示タイミングの一例を示す図
【図２２】サーバ側から制御指令を送信する場合における情報処理システムの動作の流れの一例を示す図
【図２３】ゲーム装置３の記憶部（外部メインメモリ１２、内部メインメモリ１１ｅ、およびフラッシュメモリ１７を含む）に記憶されるデータの一例を示す図
【図２４】第２の実施形態においてゲーム装置３で実行される情報提示処理の流れの一例を示すフローチャート
【図２５】第２の実施形態においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャート
【図２６】第２の実施形態の変形例においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャート
【図２７】第２の実施形態の変形例においてゲーム装置３で実行される情報提示処理の流れの一例を示すフローチャート
【図２８】第２の実施形態の他の変形例においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャート
【発明を実施するための形態】
【００３３】
［１．第１の実施形態］
［１−１．映像表示システムの全体構成］
以下、図面を参照して、本発明の一実施形態に係る映像表示システムの一例について説明する。図１は、第１の実施形態に係る映像表示システムの一例を示すブロック図である。図１において、映像表示システム９０は、サーバ側の送信サーバ９１と、端末側のゲームシステム１とを含む。送信サーバ９１とゲームシステム１とは、例えばインターネット等のネットワーク９２を介して互いに通信可能である。第１の実施形態においては、映像表示システム９０は、送信サーバ９１から送信されてくる映像コンテンツと広告情報とを、ゲームシステム１における２つの表示装置に別個にそれぞれ表示する。これによって、映像コンテンツと広告情報とをユーザ（視聴者）に対して効果的に提示することができる。
【００３４】
送信サーバ９１は、映像情報をネットワーク９２を介してゲーム装置３へ送信する。第１の実施形態において、映像情報は、映像コンテンツと広告情報との組み合わせを少なくとも含む情報である。映像コンテンツは、ユーザに提示すべき動画であって、ゲームシステム１内の所定の表示装置（第１の実施形態においてはテレビ２）に表示される。映像コンテンツはどのようなものであってもよく、例えばテレビ番組や、映画等であってもよい。また、映像コンテンツとして送信されるテレビ番組は、放送予定の番組であってもよいし、放送中の番組であってもよいし、放送済の番組であってもよい。第１の実施形態においては、ゲームシステム１からの選択指示によって選択された（ユーザが選択した）映像コンテンツが送信サーバ９１からゲームシステム１へ送信される。なお、図１では送信サーバを１つとするが、ゲームシステム１は複数の送信サーバにアクセス可能であってもよい。また、ゲームシステム１を複数含むシステムであってもよい。
【００３５】
広告情報は、映像コンテンツとともにユーザに提示すべき画像を含む情報である。広告情報は、ゲームシステム１内の可搬型の表示装置（第１の実施形態においては端末装置７）に表示される。広告情報は、具体的な内容はどのようなものであってもよいが、典型的には商品やサービスを宣伝する画像である。広告情報は、例えばテレビ番組に含まれるＣＭのような動画であってもよいし、静止画であってもよい。また、広告情報は、単なる動画や静止画に限らず、ウェブページの画像やゲーム画像等、ユーザの操作によって表示内容が操作される（変化する）画像であってもよい。また、広告情報は、映像コンテンツとは無関係の商品やサービスに関するものであってもよいし、映像コンテンツ自体に関するものであってもよい。例えば、広告情報は、（典型的には映像コンテンツが有料である場合）映像コンテンツの試聴版であってもよい。
【００３６】
一方、ゲームシステム１は、ネットワークを介して上記映像情報を受信する。そして、受信された映像情報に含まれる映像コンテンツを一方の表示装置（テレビ２）へ出力して表示させるとともに、当該映像情報に含まれる広告情報を可搬型である他方の表示装置（端末装置７）へ出力して表示させる。
【００３７】
ゲームシステム１を構成する装置はどのようなものであってもよいが、第１の実施形態においては、図１に示すように、ゲームシステム１は、情報処理装置の一例であるゲーム装置３と、表示装置の一例であるテレビ２と、可搬型の表示装置の一例である端末装置７とを含む。なお、他の実施形態においては、ゲーム装置３とテレビ２とが一体として構成されてもよい。つまり、ゲームシステム１は、上記映像情報を受信する機能と、映像コンテンツを表示する機能とを有する情報処理装置を含んでいてもよい。また、他の実施形態においては、ゲーム装置３と端末装置７とが一体として構成されてもよい。つまり、ゲームシステム１は、上記映像情報を受信する機能と、広告情報を表示する機能とを有する情報処理装置（可搬型であってもよいし、可搬型でなくてもよい）を含んでいてもよい。
【００３８】
第１の実施形態においては、ゲーム装置３は送信サーバ９１からの上記映像情報を受信する。映像情報に含まれる映像コンテンツはテレビ２へ出力される。テレビ２は、ゲーム装置３から入力される映像コンテンツを表示する。また、映像情報に含まれる広告情報は、端末装置７へ出力される。端末装置７は、ゲーム装置３から受信した広告情報を表示する。なお、第１の実施形態においては、ゲーム装置３とテレビ２との通信は有線通信であるとするが、他の実施形態においては無線通信であってもよい。また、第１の実施形態においては、ゲーム装置３と端末装置７との通信は無線通信であるとするが、他の実施形態においては有線通信であってもよい。
【００３９】
以上のように、第１の実施形態の映像表示システム９０においては、映像コンテンツおよび広告情報が送信サーバ９１から送信され、ゲームシステム１は、２つの表示装置を用いて、一方の表示装置（テレビ２）に映像コンテンツを表示し、他方の表示装置（端末装置７）に広告情報を表示する。したがって、第１の実施形態によれば、テレビ２において映像コンテンツが再生される間、広告情報を端末装置７において再生することができる。端末装置７を持つユーザは、テレビ２で映像コンテンツを視聴しながら、手元の端末装置７で広告情報を見ることができる。第１の実施形態によれば、映像コンテンツの再生時間と同じ時間、広告情報を表示することができるので、広告情報を効果的にユーザに提示することができ、広告効果を向上することができる。また、第１の実施形態によれば、端末装置７に表示される広告情報はテレビ２には表示されないので、広告情報が、テレビ２に表示される映像コンテンツの邪魔になることはなく、映像コンテンツを見やすくユーザに提示することができる。
【００４０】
［１−２．送信サーバの構成］
以下、送信サーバの構成について説明する。図２は、送信サーバの構成の一例を示すブロック図である。図２において、送信サーバ９１は、通信部１０１、処理部１０２、映像格納部１０３、および広告格納部１０４を備えている。なお、送信サーバ９１は、ネットワーク９２を介して外部装置（ゲームシステム１等）と通信可能であり、外部装置からの取得要求に応じて映像情報を送信する機能を有していれば、どのような構成であってもよい。例えば、送信サーバ９１は、１台以上の情報処理装置によって構成される。例えば、映像格納部１０３と広告格納部１０４が別々のサーバに含まれている構成であってもよく、そのような場合はサーバ群全体を送信サーバと呼ぶこととする。
【００４１】
通信部１０１は、ネットワーク９２と通信可能であり、外部装置との間でネットワーク９２を介してデータを送受信する。外部装置から受信したデータは通信部１０１によって処理部１０２に出力される。また、処理部１０２から通信部１０１に入力されたデータは通信部１０１によってネットワーク９２を介して外部装置へ送信される。
【００４２】
処理部１０２は、送信サーバ９１における情報処理を実行する情報処理部である。処理部１０２は、情報処理を実行するためのＣＰＵおよびメモリ等によって構成される。第１の実施形態においては、処理部１０２は、外部装置（ゲームシステム１）からの取得要求に応じて上記映像情報を生成し、通信部１０１を介して当該外部装置へ映像情報を送信する。処理部１０２における処理の詳細については後述する。
【００４３】
映像格納部１０３は、上記映像コンテンツのデータを格納（記憶）する記憶部である。映像格納部１０３に格納される映像コンテンツは、処理部１０２によって適宜読み出され、映像情報として外部装置へ送信される。また、広告格納部１０４は、上記広告情報を格納（記憶）する記憶部である。広告格納部１０４に格納される広告情報は、処理部１０２によって適宜読み出され、映像情報として外部装置へ送信される。
【００４４】
［１−３．ゲームシステムの全体構成］
以下、ゲームシステムの構成について説明する。図３は、ゲームシステムの一例の外観図である。図３において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。なお、他の実施形態においては、ゲームシステム１は、ゲーム装置３に代えて、ゲーム処理を実行する機能を有していない情報処理装置を含む構成であってもよい。また、ゲームシステム１は、光ディスク４、コントローラ５、およびマーカ装置６を含まない構成であってもよい。
【００４５】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００４６】
ゲーム装置３には、所定の表示装置の一例であるテレビ２が接続コードを介して接続される。テレビ２は、据置型であり、端末装置７の表示部（ＬＣＤ５１）よりも大きい画面を有する表示装置である。テレビ２は、ゲーム装置３から出力される画像を表示する。また、テレビ２は、ゲーム装置３から出力される音声を出力するスピーカ２ａ（図４）を有している。
【００４７】
テレビ２の画面の周辺（図３では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６は有線で（無線であってもよい）ゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図３ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４８】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、図３では、ゲームシステム１に含まれるコントローラ５を１つのみ表すが、ゲームシステム１は複数のコントローラ５を含んでいてもよい。
【００４９】
端末装置７は、可搬型であり、ユーザが把持可能な程度の大きさである。ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示部であるＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力部（後述するタッチパネル５２やジャイロセンサ７４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３から送信される画像（例えば広告の画像）のデータを受信し、画像をＬＣＤ５１に表示する。なお、第１の実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００５０】
［１−４．ゲーム装置３の内部構成］
次に、図４を参照して、ゲーム装置３の内部構成について説明する。図４は、一例であるゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００５１】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００５２】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００５３】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、第１の実施形態においては、ゲーム装置３は、テレビ２に表示する画像と、端末装置７に表示する画像との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００５４】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、第１の実施形態においては、音声（ゲーム音声）についてもゲーム画像と同様、テレビ２のスピーカから出力する音声と、端末装置７のスピーカから出力する音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００５５】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２へ出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａへ出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００５６】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００５７】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５８】
ゲーム装置３は、インターネット等のネットワーク９２に接続して外部の情報処理装置（例えば送信サーバ９１等の各種サーバ）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の情報処理装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５９】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６０】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へ画像（端末用画像）を送信する場合、ＧＰＵ１１ｂが生成した画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにしてもよい。したがって、第１の実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ  Ｉｎｐｕｔ  Ｍｕｌｔｉｐｌｅ  Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００６１】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００６２】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データ（端末制御データと呼ぶ）を端末装置７へ送信する。端末制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて端末制御データを端末装置７へ送信する。なお、この端末制御データに関して、第１の実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００６３】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、第１の実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａへ出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａへ出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６４】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００６５】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００６６】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００６７】
［１−５．コントローラ５の構成］
次に、図５〜図７を参照して、コントローラ５について説明する。図５は、一例であるコントローラ５の外観構成を示す斜視図である。図６は、コントローラ５の外観構成を示す斜視図である。図５は、コントローラ５の上側後方から見た斜視図であり、図６は、コントローラ５を下側前方から見た斜視図である。なお、コントローラ５は、プレイヤが操作可能な操作装置であればどのようなものであってもよい。第１の実施形態においては、コントローラ５はボタンやセンサを備えており、プレイヤは、ボタン操作および操作装置自体を動かす操作を行うことが可能である。また、第１の実施形態においては、コントローラ５は表示部を有していないが、他の実施形態においてはコントローラ５は表示部を有していてもよい。
【００６８】
図５および図６において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図５に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによって操作を行うことができる。
【００６９】
ハウジング３１には、複数の操作ボタンが設けられる。図５に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図６に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。
【００７０】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００７１】
ハウジング３１上面の後方には複数（図５では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いて操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００７２】
また、コントローラ５は撮像情報演算部３５（図７）を有しており、図６に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００７３】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ（図示せず）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００７４】
また、ハウジング３１の内部には基板が固設されており、当該基板に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、スピーカ、無線モジュール４４、アンテナ４５等が設けられる。これらは、基板等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ  Ｃｏｍｐｕｔｅｒ：マイコン）４２（図７）に接続される。
【００７５】
また、上記基板の前端縁には撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１（図７）を備えている。これらの部材３８〜４１はそれぞれ基板の下主面に取り付けられる。
【００７６】
さらに、基板には、上記マイコン４２およびバイブレータが設けられている。バイブレータは、例えば振動モータやソレノイドであり、基板等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータが作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【００７７】
なお、上記の他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子や、スピーカに音声信号を出力するアンプ等を備えている。
【００７８】
なお、図５および図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、第１の実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７９】
図７は、一例であるコントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００８０】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００８１】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００８２】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００８３】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。加速度センサ３７は、１軸以上のセンシング軸に関する加速度を検出するものであればよいが、第１の実施形態では、コントローラ５を基準とした上下方向（図５に示すＹ軸方向）、左右方向（図５に示すＸ軸方向）および前後方向（図５に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や移動に対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや移動を算出することができる。第１の実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００８４】
ジャイロセンサ４８は、３軸（第１の実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８５】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。通信部３６（無線モジュール４４およびアンテナ４５）によって、コントローラ５がワイヤレスコントローラとして機能する。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８６】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いてゲーム装置３へ操作データを送信する。ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行ってもよい。
【００８７】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００８８】
［１−６．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、一例である端末装置７の外観構成を示す平面図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。図９は、一例である端末装置７の背面図である。なお、端末装置７は、表示部を有する構成であればどのような構成であってもよい。
【００８９】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。端末装置７は、タブレット型の情報処理装置であるということもできる。なお、ハウジング５０は全体として板状形状であれば、曲面を有していてもよいし、一部に突起等を有していてもよい。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。詳細は後述するが、端末装置７は、上記のような比較的大型の端末装置（操作装置）であっても、ユーザが持ちやすく操作しやすい構成となっている。
【００９０】
端末装置７は、ハウジング５０の表面（表側）にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、ＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置７を持って動かすことができる。なお、ユーザは、ＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つことも可能であるし、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００９１】
図８の（ａ）図に示すように、端末装置７は、操作部として、ＬＣＤ５１の画面上にタッチパネル５２を有する。タッチパネル５２は、抵抗膜方式や、静電容量方式等、任意の方式のものでよい。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。タッチパネル５２に対する入力は、タッチペン６０あるいはユーザの指等によって行うことができる。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペン６０を収納する収納穴６０ａが設けられている（図８（ｂ）参照）。なお、ここでは、タッチペン６０が落ちないように、収納穴６０ａはハウジング５０の上面に設けられるが、側面や下面に設けられてもよい。
【００９２】
図８に示すように、端末装置７は、操作部として、２つのアナログスティック（スライドパッド）５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｍとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。
【００９３】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作部であり、押下可能なキーである。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作部を容易に操作することができる。
【００９４】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈおよび５４Ｍとが設けられる。これらのボタン５４Ａ〜５４Ｈおよび５４Ｍは、ユーザの親指で操作可能な位置に配置されている。十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。十字ボタン５４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能なボタンである。
【００９５】
また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、端末装置７は、端末装置７の電源をオン／オフするための電源ボタン５４Ｍを有している。電源ボタン５４Ｍの操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄと同様、ＬＣＤ５１の下側に設けられる。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄの右側に設けられる。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００９６】
また、第１の実施形態では、ハウジング５０の裏側（ＬＣＤ５１が設けられる表面の反対側）には、突起部（庇部５９）が設けられる（図８（ｃ）および図９参照）。図８（ｃ）に示すように、庇部５９は、略板状のハウジング５０の裏面から突起して設けられる、山状の部材である。突起部は、ハウジング５０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。ユーザは、指を庇部５９に掛けて（指の上に庇部５９を乗せて）把持することによって、端末装置７が比較的大きなサイズであっても、疲れることなく安定した状態で端末装置７を把持することができる。すなわち、庇部５９は、指でハウジング５０を支えるための支持部材であるということができ、また、指掛部ということもできる。
【００９７】
また、庇部５９は、ハウジング５０の上下方向に関しては中央よりも上側に設けられる。庇部５９は、ハウジング５０の表面に設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の概ね反対側の位置に設けられる。つまり、突起部は、表示部の左右にそれぞれ設けられる操作部の反対側の位置を含む領域に設けられる。したがって、上記操作部を操作する場合、ユーザは、中指あるいは薬指で庇部５９を支えるようにして端末装置７を把持することができる。これによって、端末装置７がより持ちやすくなり、上記操作部もより操作しやすくなる。また、第１の実施形態では、突起部は、（突起した部分が）左右に延びる庇状の形状を有するので、ユーザは、中指あるいは薬指を突起部の下面に沿わせて端末装置７を把持することができ、端末装置７がより持ちやすくなる。なお、他の実施形態においては、庇部５９の位置、大きさ、および形状はどのようなものであってもよいし、庇部５９が形成されなくてもよい。
【００９８】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の上側の面における左右の両側にそれぞれ設けられる。なお、他の実施形態においては、ハウジング５０の上側の面における左右にそれぞれ設けられる操作部は、左右の端部に設けられる必要はなく、端部以外の位置に設けられてもよい。また、ハウジング５０の左右の側面に操作部がそれぞれ設けられてもよい。また、図８の（ｃ）図および図９に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上記突起部（庇部５９）の上面に配置される。第２Ｌボタン５４Ｋは、庇部５９の左端付近に設けられる。第２Ｒボタン５４Ｌは、庇部５９の右端付近に設けられる。
【００９９】
第１の実施形態においては、突起部（庇部５９）の下面に指を当てた状態で端末装置７を把持することによって、ユーザは楽に端末装置７を把持することができる。また、ハウジング５０の上側の面に第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊが設けられ、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。なお、ユーザは、薬指を庇部５９の下面に当てて（薬指で庇部５９を支えるように）端末装置７を把持することも可能であるし、中指を庇部５９の下面に当てて端末装置７を把持することも可能である。
【０１００】
なお、第１の実施形態における端末装置７に関しては、突起部（庇部５９）が裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面がやや傾いた状態となる。これによって、端末装置７を載置した状態において画面がより見やすくなる。また、端末装置７を載置した状態においてタッチパネル５２に対する入力操作が行いやすくなる。また、他の実施形態においては、上記庇部５９と同程度の高さを有する追加の突起部がハウジング５０の裏面に形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では、各突起部が床面に接することで、画面が水平になるように端末装置７を載置することができる。また、追加の突起部を着脱可能（または折り畳み可能）にしてもよい。これによれば、画面がやや傾いた状態と、画面が水平になる状態との両方で端末装置を載置することができる。すなわち、端末装置７を置いて使う場合には、庇部５９は、脚部として使うことができる。
【０１０１】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンを有していてもよい。
【０１０２】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部５５をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ５５Ａおよび５５Ｂを構成する赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１０３】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、第１の実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。第１の実施形態においては、カメラ５６は、２つのマーカ５５Ａおよび５５Ｂの間に配置される。
【０１０４】
なお、端末装置７は、音声入力手段であるマイク７９を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク７９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイク７９は、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１０５】
端末装置７は、音声出力手段であるスピーカ７７を備えている。図８の（ｄ）図に示すように、ハウジング５０の表面の下側にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。第１の実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。なお、端末装置７は、スピーカ７７の音量を調節するためのつまみ６４を備える。また、端末装置７は、イヤホン等の音声出力部を接続するための音声出力端子６２を備える。ここでは、ハウジングの下側の側面に付加装置が接続されることを考慮して、上記音声出力端子６２およびつまみ６４はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
【０１０６】
また、ハウジング５０には、赤外線通信モジュール８２からの赤外線信号を端末装置７の外部に出射するための窓６３が設けられる。ここでは、ＬＣＤ５１の両側を把持した場合にユーザの前方へ赤外線信号が発射されるように、窓６３はハウジング５０の上側の側面に設けられる。ただし、他の実施形態においては、窓６３は、例えばハウジング５０の裏面等、どの位置に設けられてもよい。
【０１０７】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。拡張コネクタ５８は、端末装置７に接続される他の装置との間でデータ（情報）を送受信するための通信端子である。なお、拡張コネクタ５８に接続される他の付加装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。付加装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。拡張コネクタ５８には、付加装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
【０１０８】
また、端末装置７は、拡張コネクタ５８とは別に、付加装置から電力を取得するための充電端子６６を有する。図示しない充電スタンドに充電端子６６が接続された場合、充電スタンドから端末装置７へ電力が供給される。
【０１０９】
また、端末装置７は充電コネクタを有し、ハウジング５０は充電コネクタを保護するためのカバー部６１を有する。充電コネクタは、後述する充電器８６に接続可能であり、充電器に充電コネクタが接続された場合、充電器８６から端末装置７へ電力が供給される。
【０１１０】
図８（ｄ）および図９に示すように、突起部（庇部５９）の下面には、付加装置が有する爪部が係止可能な係止穴５９ａおよび５９ｂが設けられる。また、ハウジング５０の下面に係止穴５０ａおよび５０ｂが設けられる。端末装置７に付加装置を接続する場合には、付加装置の４つの爪部が上記４つの各係止穴にそれぞれ係止することによって端末装置７と付加装置とが固定される。
【０１１１】
また、端末装置７は、ハウジング５０に対して着脱可能な電池蓋６７を有している。電池蓋６７の内側には電池（図１０に示す電池８５）が配置される。第１の実施形態においては、電池蓋６７はハウジング５０の裏側に設けられ、突起部（庇部５９）の下側に設けられる。
【０１１２】
また、端末装置７のハウジング５０には、ストラップの紐を結びつけるための孔６５ａおよび６５ｂが設けられる。ユーザは、孔６５ａおよび６５ｂのいずれかにストラップを結びつけ、ストラップを自身の手首に結びつけてもよい。これによって、万一ユーザが端末装置７を落としたり、端末装置７が手から離れたりした場合でも、端末装置７が落下したり他の物に衝突したりすることを防止することができる。
【０１１３】
なお、図８および図９に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１１４】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、一例である端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ７１、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、ユーザインタフェースコントローラ（ＵＩコントローラ）７５、コーデックＬＳＩ７６、スピーカ７７、サウンドＩＣ７８、マイク７９、無線モジュール８０、アンテナ８１、赤外線通信モジュール８２、フラッシュメモリ８３、電源ＩＣ８４、電池８５、およびバイブレータ８９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１１５】
ＵＩコントローラ７５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ７５は、タッチパネルコントローラ７１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、およびバイブレータ８９に接続される。また、ＵＩコントローラ７５は、コーデックＬＳＩ７６と拡張コネクタ５８に接続される。また、ＵＩコントローラ７５には電源ＩＣ８４が接続され、ＵＩコントローラ７５を介して各部に電力が供給される。電源ＩＣ８４には内蔵の電池８５が接続され、電力が供給される。また、電源ＩＣ８４には、外部電源から電力を取得可能な充電器８６またはケーブルを、充電コネクタを介して接続することが可能であり、端末装置７は、当該充電器８６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うことも可能である。
【０１１６】
タッチパネルコントローラ７１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ７１は、タッチパネル５２からの信号に基づいて所定の形式の入力位置データを生成してＵＩコントローラ７５へ出力する。入力位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ７１は、タッチパネル５２からの信号の読み込み、および、入力位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ７５からタッチパネルコントローラ７１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１１７】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ７５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ７５へ出力する。
【０１１８】
磁気センサ７２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から磁気センサ７２へは、磁気センサ７２に対する制御指示が出力される。磁気センサ７２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１１９】
加速度センサ７３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ７３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の表面に対して垂直な方向をｙ軸、ハウジング５０の短辺方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から加速度センサ７３へは、加速度センサ７３に対する制御指示が出力される。加速度センサ７３は、第１の実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ７３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１２０】
ジャイロセンサ７４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５からジャイロセンサ７４へは、ジャイロセンサ７４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ７４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ７４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１２１】
バイブレータ８９は、例えば振動モータやソレノイドであり、ＵＩコントローラ７５に接続される。ＵＩコントローラ７５の指示によりバイブレータ８９が作動することによって端末装置７に振動が発生する。これによって、端末装置７を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【０１２２】
ＵＩコントローラ７５は、上記の各構成要素から受け取った入力位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ７６へ出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１２３】
コーデックＬＳＩ７６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ７６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ７８、無線モジュール８０、フラッシュメモリ８３、および赤外線通信モジュール８２が接続される。また、コーデックＬＳＩ７６はＣＰＵ８７と内部メモリ８８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行してもよい。電源投入時にフラッシュメモリ８３に格納されたプログラムを内部メモリ８８に読み出してＣＰＵ８７が実行することで、端末装置７が起動する。また、内部メモリ８８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１２４】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ７６へ出力する。また、コーデックＬＳＩ７６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ７６へ繰り返し出力することも可能である。
【０１２５】
サウンドＩＣ７８は、スピーカ７７およびマイク７９に接続され、スピーカ７７およびマイク７９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ７６から音声データを受け取った場合、サウンドＩＣ７８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ７７へ出力し、スピーカ７７から音を出力させる。また、マイク７９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ７８へ出力する。サウンドＩＣ７８は、マイク７９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ７６へ出力する。
【０１２６】
赤外線通信モジュール８２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール８２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号（制御信号）を出力する機能とを備える。
【０１２７】
コーデックＬＳＩ７６は、カメラ５６からの画像データ、マイク７９からの音声データ、および、ＵＩコントローラ７５からの操作データを、端末操作データとして無線モジュール８０を介してゲーム装置３へ送信する。第１の実施形態では、コーデックＬＳＩ７６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール８０へ出力される。無線モジュール８０にはアンテナ８１が接続されており、無線モジュール８０はアンテナ８１を介してゲーム装置３へ上記送信データを送信する。無線モジュール８０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール８０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１２８】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ７６は、赤外線通信モジュール８２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１２９】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ８１（受信部）で受信され、無線モジュール８０を介してコーデックＬＳＩ７６に送られる。コーデックＬＳＩ７６は、受信された画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。つまり、コーデックＬＳＩ７６（ＣＰＵ８７）は、受信された画像データを表示部に表示させる。また、伸張された音声データはサウンドＩＣ７８へ出力され、サウンドＩＣ７８はスピーカ７７から音を出力させる。
【０１３０】
また、ゲーム装置３から受信されるデータに端末制御データが含まれる場合、コーデックＬＳＩ７６およびＵＩコントローラ７５は、端末制御データに従った制御指示を各部に行う。上述のように、端末制御データは、端末装置７が備える各構成要素（第１の実施形態では、カメラ５６、タッチパネルコントローラ７１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール８２）に対する制御指示を表すデータである。第１の実施形態では、端末制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１３１】
また、ゲーム装置３は、上記赤外線通信モジュール８２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させるための指示（上記端末制御データ）を端末装置７へ出力する。この指示に応じて、コーデックＬＳＩ７６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール８２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号自体を示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１３２】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作部を備えるが、他の実施形態においては、これらの操作部に代えて、または、これらの操作部とともに、他の操作部を備える構成であってもよい。
【０１３３】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよいし、これらのセンサを備えていない構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１３４】
また、端末装置７は、カメラ５６およびマイク７９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク７９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１３５】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１３６】
［１−７．映像表示システムの動作］
次に、映像表示システム９０の動作について説明する。以下では、ゲームシステム１が送信サーバ９１に対して映像情報を取得する要求（選択指示）を行い、当該要求に応じて送信サーバ９１が映像情報を送信し、ゲームシステム１が映像情報を受信して２つの表示装置に映像コンテンツおよび広告情報をそれぞれ表示する場合について説明する。また、以下では、映像コンテンツとして放送済のテレビ番組（いわゆる見逃し番組）が提供され、テレビ番組の制作者（放送事業者）が送信サーバ９１を用いてテレビ番組をゲームシステム１に提供する場合を例として説明する。
【０１３７】
まず、映像表示システム９０の動作に用いられる各種データについて説明する。図１１は、ゲーム装置３の記憶部（外部メインメモリ１２、内部メインメモリ１１ｅ、およびフラッシュメモリ１７を含む）に記憶されるデータの一例を示す図である。図１１に示すように、ゲーム装置３の記憶部には、制御プログラム１１０、操作データ１１１、映像情報データ１１２、および処理用データ１１６が記憶される。なお、記憶部には、図１１に示すデータの他、ゲーム装置３における処理に用いられる各種データ（画像データや音声データ等）が記憶される。また、図１１に示すデータは、ゲーム装置３内の記憶部の他、ゲーム装置３がアクセス可能な他の記憶装置に記憶されてもよい。
【０１３８】
制御プログラム１１０は、ゲーム装置３（ゲームシステム１）における処理をＣＰＵ１０に実行させるためのプログラムである。第１の実施形態では、ＣＰＵ１０が制御プログラム１１０を実行することによって、図１２に示すフローチャートの各ステップが実行される。制御プログラム１１０は、ゲーム装置３に電源が投入された後の適宜のタイミングでフラッシュメモリ１７からその一部または全部が読み込まれて記憶部に記憶される。なお、制御プログラム１１０は、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０１３９】
操作データ１１１は、端末装置７に対するプレイヤの操作を表すデータ（端末操作データ）である。操作データ１１１は、端末装置７から送信されてゲーム装置３において取得され、記憶部に記憶される。なお、ゲーム装置３は、複数の端末装置と通信可能であり、各端末装置から操作データをそれぞれ取得することが可能である。端末装置が複数である場合、各端末装置からそれぞれ送信されてくる各端末操作データが記憶部にそれぞれ記憶される。記憶部には、端末装置毎に最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１４０】
第１の実施形態においては、操作データ１１１は、角速度データ、加速度データ、操作ボタンデータ、スティックデータ、タッチ位置データ、および方位データを含む。角速度データは、ジャイロセンサ７４によって検出された角速度を表すデータである。加速度データは、加速度センサ７３によって検出された加速度（加速度ベクトル）を表すデータである。操作ボタンデータは、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、操作ボタンデータは、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。スティックデータは、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。第１の実施形態では、タッチ位置データは、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データは複数のタッチ位置を表すこともある。方位データは、磁気センサ７２によって検出された方位を表すデータである。
【０１４１】
なお、操作データ１１１は、第１の実施形態において操作データ１１１が含む上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、操作データ１１１は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。
【０１４２】
映像情報データ１１２は、ゲーム装置３において取得された映像情報を表すデータである。第１の実施形態においては、映像情報データ１１２は、コンテンツデータ１１３、広告データ１１４、再生制御データ１１５を含む。コンテンツデータ１１３は、映像情報に含まれる映像コンテンツを表すデータである。広告データ１１４は、映像情報に含まれる広告情報を表すデータである。再生制御データ１１５は、端末装置７における広告情報の再生を制御する指示（再生制御指示）を表すデータである。
【０１４３】
処理用データ１１６は、後述する映像表示処理（図１２）において用いられるデータである。処理用データ１１６は、送信データ１１７および制御指令データ１１８を含む。なお、図１１に示すデータの他、処理用データ１１６は、制御プログラム１１０において用いられる各種のデータを含む。
【０１４４】
送信データ１１７は、ゲームシステム１（ゲーム装置３）から送信サーバ９１へ送信すべき送信情報を表す。送信データ１１７は、ユーザの属性情報および／または現在情報を表す。属性情報は、ユーザの年齢、住所（住んでいる地域）、および、家族構成等、ゲームシステム１のユーザに関する情報である。現在情報は、現在状況（例えば、現在時刻や、現在の天気等）を表す。第１の実施形態においては、送信データ１１７は、属性情報を表すデータと、現在情報を表すデータとの両方を含む。
【０１４５】
制御指令データ１１８は、テレビ２を制御するための制御指令を表すデータである。第１の実施形態においては、テレビ２に対して各種の動作を行わせるための各種の制御指令を表すデータが、ゲーム装置３内の記憶部に予め記憶されている。制御指令データ１１８は、上記各種の制御指令のうち、テレビ２へ送信すべき制御指令を表す。
【０１４６】
次に、図１２〜図１７を参照して、第１の実施形態においてゲーム装置３で実行される処理の詳細を説明する。図１２は、第１の実施形態においてゲーム装置３で実行される処理の流れの一例を示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）等の各ユニットが初期化される。その後、フラッシュメモリ１７に記憶された制御プログラム１１０がメインメモリに読み込まれ、ＣＰＵ１０によって当該制御プログラム１１０の実行が開始される。図１２に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。なお、ゲーム装置３においては、電源投入後に制御プログラム１１０がすぐに実行される構成であってもよい。また、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後例えばメニュー画面に対する選択操作によって制御プログラム１１０の起動が指示されたことに応じて制御プログラム１１０が実行される構成であってもよい。
【０１４７】
なお、図面に示す各フローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい（第２の実施形態も同様）。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値が採用されてもよい。また、本明細書では、各フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、各フローチャートにおける一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。
【０１４８】
まず、ステップＳ１において、ＣＰＵ１０は送信サーバ９１にアクセスする。すなわち、ＣＰＵ１０は、映像コンテンツを選択するための選択画像を送信サーバ９１に対して要求し、当該選択画像を取得して表示する。選択画像は、例えば、映像コンテンツを紹介するウェブページである。なお、アクセス可能な送信サーバが複数である場合（例えば複数の放送事業者毎に送信サーバが設置される場合）、ＣＰＵ１０は、所定の条件に従って、アクセスする送信サーバを特定してもよい。例えば、ユーザの指示に従って送信サーバが特定されてもよいし、後述するユーザの属性情報に基づいて送信サーバが特定されてもよい。また、送信サーバを特定する具体的な方法はどのような方法であってもよい。例えば、ＣＰＵ１０は、各送信サーバへのリンクが張られたウェブページを提供するサーバにアクセスし、当該ウェブページにおいてユーザが送信サーバを指定するようにしてもよい。
【０１４９】
上記ステップＳ１において、ＣＰＵ１０は、上記選択画像を取得する取得要求を送信サーバ９１へ送信する。具体的には、ＣＰＵ１０は、ネットワーク９２へ送信すべきデータとして取得要求のデータをフラッシュメモリ１７の所定領域に記憶する。入出力プロセッサ１１ａは、フラッシュメモリ１７に記憶された取得要求のデータを所定のタイミングでネットワーク９２へ送信する。これによって、当該取得要求のデータが送信サーバ９１へ送信される。取得要求が送信サーバ９１において受信されると、送信サーバ９１からゲーム装置３へ選択画像が送信される。以下、送信サーバ９１における処理を図１３を参照して説明する。
【０１５０】
図１３は、第１の実施形態において送信サーバ９１で実行される処理の流れの一例を示すメインフローチャートである。図１３に示す一連の処理は、所定の制御プログラムを実行する送信サーバ９１の処理部１０２によって実行される。なお、図１３に示す処理は、ゲームシステム１からアクセスがあったことに応じて開始される。ゲームシステム１からのアクセスが中止されると、処理部１０２は図１３に示す処理を終了する。なお、複数のゲームシステムからアクセスがあった場合、処理部１０２は、図１３に示す処理をゲームシステム毎に並列的に実行する。
【０１５１】
まずステップＳ１１において、処理部１０２は、ゲーム装置３からの取得要求に応じて選択画像を送信する。ここで、選択画像のウェブページのデータは送信サーバ９１内の所定の記憶部に記憶されている。処理部１０２は、当該データを読み出し、通信部１０１を介してゲーム装置３へ送信する。送信サーバ９１においては、ステップＳ１１の次に、後述するステップＳ１２の処理が実行される。
【０１５２】
上記ステップＳ１１によって、ゲーム装置３において選択画像が受信される。ＣＰＵ１０は、受信された選択画像を２つの表示装置（テレビ２および端末装置７）の少なくとも一方に出力して表示する。なお、ステップＳ１においてゲームシステム１側で表示される画像（選択画像等）は、テレビ２に表示されてもよいし、端末装置７に表示されてもよい。画像が端末装置７に表示される場合には、タッチパネル５２等を用いてユーザが容易に操作を行うことができるとともに、テレビ２を他の用途で用いることができるので、便利である。また、上記ステップＳ１におけるユーザによる操作は、どのような方法で行われてもよいが、第１の実施形態においては端末装置７を用いて行われる。以上のステップＳ１の処理の次にステップＳ２の処理が実行される。
【０１５３】
図１２に示すステップＳ２において、ＣＰＵ１０は、再生すべき映像コンテンツを指定する。すなわち、ＣＰＵ１０は、上記選択画像に含まれる映像コンテンツのうちから１つを選択する選択操作をユーザから受け付け、選択操作によって選択された映像コンテンツを指定する。選択操作は、どのような方法で行われてもよいが、第１の実施形態においては端末装置７を用いて行われる。例えば、各映像コンテンツを表す画像を含む選択画像が端末装置７に表示され、映像コンテンツを表す画像をタッチする操作に応じて当該映像コンテンツが指定される。ＣＰＵ１０は、映像コンテンツが指定されると、指定された映像コンテンツを特定する情報（特定情報と呼ぶ。例えば、映像コンテンツに付されたＩＤ）のデータをメインメモリに記憶する。ステップＳ２の処理の次に、ステップＳ３の処理が実行される。
【０１５４】
ステップＳ３において、ＣＰＵ１０は、送信サーバ９１へ送信すべき上記送信情報を取得する。第１の実施形態においては、送信情報として、ユーザの属性を表す属性情報と、現在の状況を表す現在情報とが取得される。なお、送信情報を取得する方法はどのような方法であっても良い。例えば、ＣＰＵ１０は、ゲーム装置３（ゲームシステム１）に予め記憶されている情報を取得してもよい。例えば、ユーザの年齢や、住む地域や、家族構成等の属性情報がゲームシステム１に予め登録されている場合には、当該これらの属性情報が送信情報として取得されても良い。なお、複数人のユーザに関する属性情報が登録されている場合には、ＣＰＵ１０は、例えば端末装置７のカメラ５６で撮像されたユーザの画像に基づいて、端末装置７を現在使用しているユーザを特定し、当該ユーザの属性情報を取得するようにしてもよい。また、ＣＰＵ１０は、例えば現在の天気等の現在情報については、ネットワーク９２を介して外部装置から送信情報を取得してもよい。以上のようにして取得された送信情報を表すデータは、送信データ１１７としてメインメモリに記憶される。ステップＳ３の処理の次にステップＳ４の処理が実行される。
【０１５５】
ステップＳ４において、ＣＰＵ１０は、送信サーバに対して映像情報の選択指示（取得要求）を行う。この選択指示には、上記特定情報と送信情報とが含まれる。具体的には、ＣＰＵ１０は、特定情報のデータと、送信データ１１７とをメインメモリから読み出し、読み出したデータを含む選択指示データを生成する。選択指示データは、上記ステップＳ１における取得要求と同様の方法で送信サーバ９１へ送信される。ゲーム装置３においては、ステップＳ４の処理の次に、後述するステップＳ５の処理が実行される。
【０１５６】
ゲームシステム１における上記ステップＳ４の処理によって映像情報の選択指示が送信サーバ９１へ送信されたことに応じて、送信サーバ９１から映像情報が送信される。すなわち、送信サーバ９１においては、ステップＳ１１の次のステップＳ１２において、処理部１０２は、映像情報の選択指示を受信したか否かを判定する。ステップＳ１２の判定結果が肯定である場合、ステップＳ１３の処理が実行される。一方、ステップＳ１２の判定結果が否定である場合、ステップＳ１２の処理が再度実行される。つまり、処理部１０２は、ゲーム装置３から上記選択指示が受信されるまで待機し、受信した場合、ステップＳ１３の処理を実行する。
【０１５７】
ステップＳ１３において、処理部１０２は、映像情報の選択指示に基づいて、送信すべき映像コンテンツ（テレビ２に表示するための映像コンテンツ）を選択する。すなわち、映像格納部１０３に記憶されている映像コンテンツのうち、選択指示に含まれるＩＤにより特定される映像コンテンツが、送信すべき映像コンテンツとして選択される。ステップＳ１３の処理の次にステップＳ１４の処理が実行される。
【０１５８】
ステップＳ１４において、処理部１０２は、映像情報の選択指示に含まれる送信情報に基づいて、送信すべき広告情報を選択する。ここで選択される広告情報は、ステップＳ１３で選択された映像コンテンツがテレビ２において表示される場合に端末装置７に表示するための広告情報である。具体的には、広告格納部１０４に記憶されている広告情報のうち、送信情報に応じた内容の広告情報が、送信すべき広告情報として選択される。送信情報に基づく広告情報の選択の具体的な方法はどのような方法であってもよい。例えば、送信サーバ９１は、送信情報に含まれる所定の項目に関する条件（例えばユーザの年齢が３０歳から４０歳の間であることや、ユーザが住む地域が所定の地域内であること）と、その条件を満たす場合に選択する広告情報との対応を表す対応情報を用意しておく。そして、ステップＳ１４において、ＣＰＵ１０は、当該対応情報を用いて、送信情報に対応する広告情報を選択する。なお、ステップＳ１３で選択された映像コンテンツの再生時間よりも１つの広告情報の再生時間が短い場合、広告情報は複数選択されてもよい。また、選択される広告情報が映像コンテンツに応じて異なるようにしてもよい。すなわち、映像コンテンツと、その映像コンテンツが再生される場合に再生すべき広告情報との対応を表す情報を用意しておき、ステップＳ１４においてＣＰＵ１０は、ステップＳ１３で選択された映像コンテンツに対応する広告情報のうちから、送信すべき広告情報を選択するようにしてもよい。ステップＳ１４の処理の次にステップＳ１５の処理が実行される。
【０１５９】
以上のように、第１の実施形態においては、ゲーム装置３は、ユーザの属性および／または現在の状態を表す送信情報を取得し（ステップＳ３）、送信情報を送信サーバ９１へ送信する（ステップＳ４）。そして、送信サーバ９１は、受信した送信情報の送信先であるゲーム装置３へ送信すべき広告情報を当該送信情報に基づいて決定する（ステップＳ１４）。第１の実施形態によれば、送信サーバ９１は、映像コンテンツの視聴者の属性や、現在の状況に応じた広告情報を視聴者に提示することができる。これによれば、視聴者の年齢や住む地域等に応じた適切な広告情報を提示したり、映像コンテンツが視聴される時刻等に応じた適切な広告情報を提示したりすることによって、広告効果を向上することができる。
【０１６０】
ステップＳ１５において、処理部１０２は映像情報をゲーム装置３へ送信する。映像情報には、ステップＳ１３およびＳ１４で選択された映像コンテンツおよび広告情報が含まれる。なお、映像情報の送信方法はどのようなものであってもよいが、第１の実施形態においては、処理部１０２は映像情報についてストリーミング送信を行う。すなわち、処理部１０２は、映像格納部１０３に記憶される映像コンテンツと、広告格納部１０４に記憶される広告情報とを読み出し、映像コンテンツと広告情報の動画とを逐次送信する。なお、映像コンテンツと同じ時間分だけ広告情報を送信しなくてもよい場合（例えば、広告情報が端末装置７において繰り返し再生される場合）等には、一時的に映像コンテンツのみが送信されてもよい。また、他の実施形態においては、ゲーム装置３は、映像情報の全体をダウンロードしてから再生するようにしてもよい。また、送信サーバ９１は映像情報に対して暗号化等の処理を行い、ゲームシステム１側で映像情報を復号するようにしてもよい。このとき、映像コンテンツと広告情報とは別個に暗号化されてもよいし、映像コンテンツと広告情報とを含む映像情報に対して暗号化が行われてもよい。
【０１６１】
このように、第１の実施形態においては、送信サーバ９１は、映像コンテンツと広告情報との組み合わせを含む映像情報をゲームシステム１へ送信する。これによれば、映像コンテンツと、その映像コンテンツとともに提示したい広告情報とをセットにして送信することができるので、送信サーバ側（放送事業者側）が広告内容を容易に調整することができる。
【０１６２】
また、第１の実施形態においては、送信サーバ９１は、映像コンテンツと、動画を含む広告情報とをゲーム装置３へストリーミング送信する。このとき、ゲーム装置３は、逐次受信される映像コンテンツをテレビ２へ逐次出力するとともに、逐次受信される広告情報を端末装置７へ逐次送信する（後述するステップＳ６，Ｓ７）。これによって、映像コンテンツの内容に応じた適切なタイミングで所定の広告情報を再生させることが可能である。例えば、映像コンテンツが所定の内容となったタイミング（例えば、映像コンテンツが野球中継の番組である場合において、攻守が交代するタイミング）で所定の広告情報を再生させることで、当該広告情報の広告効果を高めることも可能である。第１の実施形態によれば、映像コンテンツに適した広告情報をサーバ側から容易に送信することができるので、映像コンテンツに適した広告情報をユーザ（視聴者）に提示することができ、広告効果をより高めることができる。
【０１６３】
さらに、第１の実施形態においては、映像情報には、再生制御指示が含まれてもよい。再生制御指示とは、端末装置７における広告情報の再生を制御する指示である。例えば、再生制御指示は、対象となる広告情報を繰り返し再生する旨の指示であってもよい。また、再生制御指示は、映像コンテンツの再生内容が所定の状態となったこと（例えば、所定の内容が再生されたことや、再生開始から所定時間が経過したこと）に応じて、対象となる広告情報を再生する旨の指示であってもよい。なお、再生制御指示は、再生する条件を表すデータの形式であってもよいし、ゲーム装置３において実行可能なプログラムの形式であってもよい。ステップＳ１５において、ＣＰＵ１０は、映像情報をストリーミング送信する間における適宜のタイミングで、映像情報に再生制御指示を含めて送信する。例えば、再生制御指示は、制御の対象となる広告情報が送信される前に送信されてもよい。
【０１６４】
上記ステップＳ１５における映像情報の送信は、映像情報の全部を送信し終わるまで続けられる。映像情報の送信が完了すると、ステップＳ１２の処理が再度実行される。以降、処理部１０２は、送信サーバ９１に対するゲームシステム１によるアクセスが中止されるまで、ステップＳ１２〜Ｓ１５の処理を繰り返し実行する。
【０１６５】
図１２の説明に戻り、ステップＳ５において、ＣＰＵ１０は再生制御処理を実行する。再生制御処理は、送信サーバ９１からの映像情報に含まれる映像コンテンツおよび広告情報を２つの表示装置に表示させる処理である。なお、第１の実施形態においては、再生制御処理は、所定時間（１フレーム時間）に１回の割合で繰り返し実行される。以下、図１４を参照して、再生制御処理の詳細について説明する。
【０１６６】
図１４は、図１２に示す再生制御処理（ステップＳ５）の詳細な流れの一例を示すフローチャートである。再生制御処理においてはまずステップＳ２１において、ＣＰＵ１０は、端末装置７から送信されてくる操作データ（端末操作データ）を取得する。端末装置７は、端末操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３は端末操作データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が端末操作データを逐次受信し、入出力プロセッサ１１ａが端末操作データをメインメモリに逐次記憶する。ステップＳ２１においては、ＣＰＵ１０は、最新の操作データ１１１をメインメモリから読み出す。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０１６７】
ステップＳ２２において、ＣＰＵ１０は、送信サーバ９１から送信されてくる映像情報を受信（取得）する。すなわち、送信サーバ９１から受信したデータはフラッシュメモリ１７に記憶される。すなわち、映像情報に含まれる映像コンテンツを表すデータはコンテンツデータ１１３としてフラッシュメモリ１７に記憶され、映像情報に含まれる広告情報を表すデータは広告データ１１４としてフラッシュメモリ１７に記憶され、再生制御指示を表すデータは再生制御データ１１５としてフラッシュメモリ１７に記憶される。なお、送信サーバ９１はストリーミング送信によって映像情報を逐次送信してくるので、フラッシュメモリ１７には映像情報に含まれる各データが逐次記憶される。なお、フラッシュメモリ１７に記憶される各データのうち、再生が終了した画像（動画あるいは静止画）に関するデータは適宜削除されてもよい。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０１６８】
ステップＳ２３において、ＣＰＵ１０は、映像コンテンツの再生に関する操作（再生操作）が行われたか否かを判定する。再生操作は、映像コンテンツの再生を制御する指示を行うための操作であればどのようなものであってもよい。第１の実施形態においては、再生操作は、映像コンテンツに対する再生、停止、および一時停止の操作である。なお、他の実施形態においては、再生操作は、映像コンテンツの早送り、巻き戻し等の操作や、映像コンテンツとともに出力される音声の音量調整等の操作であってもよい。また、再生操作は、どのような方法で行われてもよいが、第１の実施形態においては端末装置７を用いて行われる。また、詳細はステップＳ２９の説明において後述するが、第１の実施形態においてはユーザはタッチパネル５２を用いて再生操作を行うことができる。上記ステップＳ２３における具体的な処理としては、ＣＰＵ１０は、ステップＳ２１で読み出した操作データに基づいて、再生操作が行われたか否かを判定する。ステップＳ２３の判定結果が否定である場合、ステップＳ２４の処理が実行される。一方、ステップＳ２３の判定結果が否定である場合、ステップＳ２５の処理が実行される。
【０１６９】
ステップＳ２４において、ＣＰＵ１０は、映像コンテンツの再生制御を行う。すなわち、フラッシュメモリ１７に記憶されている映像コンテンツの画像のうち、テレビ２に出力すべき映像コンテンツの画像を指定する。ステップＳ２４では、通常の再生が行われるように、時系列に映像コンテンツが指定される。ステップＳ２４の処理の次に、後述するステップＳ２６の処理が実行される。
【０１７０】
ステップＳ２５において、ＣＰＵ１０は、上記再生操作に応じた映像コンテンツの再生制御を行う。すなわち、テレビ２に出力される映像コンテンツの画像が再生操作（早送り、巻き戻し、一時停止等）に応じたものとなるように、フラッシュメモリ１７に記憶されている映像コンテンツの画像のうちから画像を指定する。ステップＳ２５の処理の次にステップＳ２６の処理が実行される。
【０１７１】
ここで、第１の実施形態においては、ユーザは、端末装置７を用いてテレビ２に対する操作を行うことが可能である。つまり、テレビ２は、端末装置７に対するユーザの操作に応じて生成される制御信号を端末装置７またはゲーム装置３から受信し、当該制御信号に応じた動作を行う。以下、テレビ２の動作を制御するためのステップＳ２６およびＳ２７の処理の詳細を説明する。
【０１７２】
ステップＳ２６において、ＣＰＵ１０は、テレビ２を制御するための操作（テレビ操作）が行われたか否かを判定する。テレビ操作は、テレビ２の動作を制御する指示を行うための操作であればどのようなものであってもよい。第１の実施形態においては、テレビ操作は、テレビ２の電源のオン／オフ、音量の増減、表示モードの変更等の操作である。なお、他の実施形態において、テレビ２において映像コンテンツの再生の制御が可能である場合には、テレビ操作は、例えば映像コンテンツの再生や早送りや巻き戻しの操作等、映像コンテンツの再生に関する（テレビ２に対する）操作であってもよい。また、テレビ操作は、どのような方法で行われてもよいが、第１の実施形態においては端末装置７を用いて行われる。また、詳細は後述するが、第１の実施形態においては、テレビ操作も再生操作と同様、ユーザはタッチパネル５２を用いて行うことができる。上記ステップＳ２３における具体的な処理としては、ＣＰＵ１０は、ステップＳ２１で読み出した操作データに基づいて、テレビ操作が行われたか否かを判定する。ステップＳ２６の判定結果が否定である場合、ステップＳ２７の処理が実行される。一方、ステップＳ２６の判定結果が否定である場合、ステップＳ２７の処理がスキップされてステップＳ２８の処理が実行される。
【０１７３】
ステップＳ２７において、ＣＰＵ１０は、ユーザによるテレビ操作に応じてテレビ２に対する制御を行う。すなわち、テレビ操作に応じた動作をテレビ２に行わせるための制御指令が生成され、テレビ２へ出力される。ＣＰＵ１０は、上記制御指令を表す制御指令データ１１８を記憶部に記憶する。なお、制御指令によってテレビ２を制御する方法はどのような方法であってもよい。第１の実施形態におけるゲームシステム１においては、以下に示す第１および／または第２の方法によってテレビ２を制御することが可能である。
【０１７４】
第１の方法においては、端末装置７は、端末装置７に対するユーザの操作に応じて、映像コンテンツの再生および／または表示に関する制御信号をテレビ２へ送信し、テレビ２は、端末装置７からの制御信号に応じた動作を行う。第１の実施形態においては、ＣＰＵ１０は、制御指令データ１１８が表す制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させるための指示を端末装置７に送信する。この指示に応じて、端末装置７のコーデックＬＳＩ７６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させる。この赤外線信号がテレビ２の赤外線受光部によって受光されることで、テレビ２が制御指令に応じた動作を行う。第１の実施形態においては、一般的なテレビが有する赤外線受信機能を用いた赤外線通信によって端末装置７がテレビ２を制御するので、一般的なテレビを表示装置として容易に用いることができ、汎用性が高いシステムを提供することができる。
【０１７５】
一方、第２の方法においては、ゲーム装置３が上記制御信号をテレビ２へ出力し、テレビ２は制御信号に応じた動作を行う。すなわち、第１の実施形態においては、ＣＰＵ１０は、制御指令データ１１８が表す制御指令に対応する制御信号をＡＶコネクタ１６を介してテレビ２に出力する。ゲームシステム１は、上記第１および第２の方法の少なくともいずれかによってテレビ２の動作を制御する。ステップＳ２７の次にステップＳ２８の処理が実行される。
【０１７６】
以上のように、第１の実施形態においては、端末装置は、ユーザの操作を受け付ける操作部を備え、操作部に対する操作を表す操作データをゲーム装置３へ送信する。そして、ゲーム装置３は、操作データを取得し（ステップＳ２１）、テレビ２における映像コンテンツの再生および／または表示に関する制御を操作データに基づいて行う（ステップＳ２５，Ｓ２８）。なお、「映像コンテンツの再生に関する制御」とは、第１の実施形態においてはステップＳ２５の処理における制御である。また、「映像コンテンツの表示に関する制御」とは、第１の実施形態においては、ステップＳ２８の処理におけるテレビ２をオン／オフする制御である。このように、第１の実施形態においては、ユーザは、端末装置７を用いて映像コンテンツに対する操作を行うことができる。第１の実施形態によれば、映像コンテンツに対する操作を行う際にユーザは端末装置７を見るので、この際、端末装置７に表示される広告情報にもユーザの目を向けさせることができる。つまり、第１の実施形態においては、映像コンテンツに対する操作を（広告情報を表示する）端末装置７を用いて可能とすることによって、映像コンテンツの再生中において端末装置７に表示される広告情報にもユーザの目を向けさせることができ、広告情報の広告効果を向上することができる。
【０１７７】
ステップＳ２８において、ＣＰＵ１０は広告情報の再生制御を行う。すなわち、フラッシュメモリ１７に記憶されている広告情報の画像のうち、端末装置７へ出力すべき画像を指定する。ステップＳ２８における画像の指定は、どのような方法で行われてもよい。第１の実施形態においては、送信サーバ９１からの再生制御指示がある場合には、再生制御指示に従って画像が指定される。一方、再生制御指示がない場合には、通常の再生が行われるように、時系列に画像が指定される。具体的には、ＣＰＵ１０は、フラッシュメモリ１７に再生制御データ１１５が記憶されているか否かを判定する。そして、再生制御データ１１５が記憶されている場合には当該再生制御データ１１５を読み出し、再生制御指示に従って広告情報が再生されるように画像を指定する。一方、再生制御データ１１５が記憶されていない場合には時系列に再生されるように画像を指定する。
【０１７８】
以上のように、第１の実施形態においては、送信サーバ９１は、広告情報の再生に関する再生制御指示を含む映像情報を送信し（ステップＳ１５）、ＣＰＵ１０は、端末装置７における広告情報の再生を、当該再生制御指示に従って制御する（ステップＳ２８）。これによれば、端末装置７における広告情報の再生を送信サーバ９１側でより容易に制御することができる。例えば、以下に示すような態様で広告情報を再生することも可能である。
【０１７９】
図１５は、テレビおよび端末装置において再生される内容の一例を示す図である。第１の実施形態においては、ＣＰＵ１０は、例えば図１５に示すように、所定の広告Ａを再生制御指示に従って繰り返し再生するように制御してもよい（このとき、所定の広告Ａは、テレビ２において再生される映像コンテンツよりも再生時間が短い）。広告Ａは、例えば１つの広告情報として提供される１つのＣＭである。これによれば、広告情報の動画を繰り返し再生することで、広告効果を向上することができる。また、再生制御指示を用いることによって、送信サーバ９１から送信する映像情報のデータ量を低減することができる。
【０１８０】
また、ＣＰＵ１０は、映像コンテンツの内容が所定の状態となったタイミングで、所定の広告情報が端末装置７において再生されるように、端末装置７における広告情報の再生を制御してもよい。すなわち、図１５に示すように、テレビ２において再生される映像コンテンツが所定の状態となったタイミングＴ１に、端末装置７において所定の広告Ｂが再生されるようにしてもよい。
【０１８１】
なお、上記所定の状態はどのような状態であってもよいし、上記タイミングはどのようなタイミングでもよい。上記タイミングＴ１は、例えば、映像コンテンツに対する視聴（注目）をユーザが解除すると想定されるタイミングや、映像コンテンツに対する注意がそれると想定されるタイミングである。具体的には、上記タイミングＴ１としては、映像コンテンツが野球中継の番組である場合において攻守が交代するタイミングや、映像コンテンツにＣＭが含まれている場合において映像コンテンツがテレビ番組からＣＭに切り替わったタイミングが考えられる。このように、テレビ２に表示される映像コンテンツからユーザが目を離すと想定されるタイミングで、所定の広告Ｂを端末装置７において再生させることで、ユーザが広告Ｂに気付きやすくすることができ、これによって広告Ｂの広告効果を向上することができる。
【０１８２】
また、上記所定の広告情報は、上記映像コンテンツの内容に関連する内容であってもよい。このとき、上記タイミングＴ１としては、例えば、広告Ｂに関連する内容が映像コンテンツとして再生されるタイミングが考えられる。具体的には、映像コンテンツ中にも広告動画（ＣＭ）が含まれている場合において、ＣＰＵ１０は、映像コンテンツ中の所定の広告動画が再生されるタイミング（再生中または再生直後）で、当該所定の広告動画に関連する広告Ｂを端末装置７において再生してもよい。また、ＣＰＵ１０は、映像コンテンツ中においてある商品が表示されたタイミングで、当該商品に関する広告Ｂを端末装置７において再生してもよい。以上のように、ＣＰＵ１０は、テレビ２において再生される映像コンテンツの内容に応じた内容の広告情報が端末装置７において再生されるように、広告情報を端末装置７へ出力してもよい。これによれば、テレビ２における映像コンテンツにおいて紹介された商品等に関して、より詳細な情報を端末装置７によってユーザにすぐに提供することができる。これによれば、ユーザが見たい（より詳しい情報を知りたい）と思ったタイミングですぐに詳細情報を提供することができるので、広告Ｂの広告効果を向上することができる。また、上記によれば、例えば、映像コンテンツに含まれる広告（ＣＭ）の続きを、端末装置７に表示される広告情報で提示することも可能である。これによって、広告をユーザがより興味を抱くものにすることができ、広告情報の広告効果を向上することができる。
【０１８３】
なお、広告Ｂとしては、動画や静止画の他、ウェブページが表示されてもよい。例えば、テレビ２における映像コンテンツ中にＵＲＬが含まれる場合に、当該ＵＲＬのウェブページが端末装置７に表示されてもよい。より具体的には、映像表示コンテンツ中のＣＭにおいてスポンサーのウェブサイトのＵＲＬが表示された場合、端末装置７に当該ウェブサイトのページが表示されるようにしてもよい。これによれば、ユーザがＵＲＬを入力する手間を省くことができるとともに、ウェブページの広告効果を向上することができる。さらに、ウェブを利用して商品の購入操作をすることができるようにしてもよい。この場合、映像コンテンツの内容と購入画面を連動させることでテレビショッピングに近いことが実現でき、高い広告効果が得られる。購入操作には、タッチ操作で情報を入力するようにしてもよい。また、端末装置７にＲＦＩＤリーダを内蔵したり接続したりすることで、カード読み取りによる支払い処理を行なうようにしてもよい。
【０１８４】
また、映像コンテンツの内容が所定の状態となったかどうかの判定は、映像コンテンツに付されたタイミング情報を用いて行われてもよい。タイミング情報とは、上記判定を行うことができるものであればどのようなものであってもよいが、例えば、所定の状態となったことを表すフラグや、映像コンテンツを構成する各画像に付されたタイムスタンプである。ＣＰＵ１０は、タイミング情報を参照することによって上記判定を行う。上記の判定方法によれば、再生制御指示を用いることによって送信サーバ９１側で広告情報の表示タイミングを容易に制御・管理することができる。なお、他の実施形態においては、上記の判定は、ゲーム装置３が映像コンテンツの画像を解析することによって行われてもよい。
【０１８５】
なお、第１の実施形態においては、送信サーバ９１が再生制御指示を用いることで、図１５に示すような、ゲームシステム１における広告情報の表示タイミングの制御処理を行った。ここで、他の実施形態においては、送信サーバ９１は、図１５に示すような広告情報の表示タイミングの制御処理を、再生制御指示を用いずに（例えばストリーミング送信等によって）行うようにしてもよい。
【０１８６】
図１４の説明に戻り、ステップＳ２８の次のステップＳ２９において、ＣＰＵ１０は、広告情報に操作画像を含めた画像を生成する。第１の実施形態においては、ステップＳ２９で生成された画像が端末装置７に表示される。ここで、操作画像とは、端末装置７における操作部（タッチパネル５２や各ボタン５４Ａ〜５４Ｍ等）に対する操作に関する画像である。具体的には、操作画像は、タッチパネル５２に対する操作のために端末装置７に表示されるボタンの画像であってもよいし、端末装置７の各ボタンを用いた操作を表す画像（例えば、「Ａボタンで決定」や「Ｂボタンでキャンセル」を表す画像）であってもよい。
【０１８７】
第１の実施形態においては、操作画像として、テレビ２における映像コンテンツの再生に関する操作のための画像（再生操作画像）、および／または、テレビ２に対する操作のための画像（テレビ操作画像）が端末装置７に表示される。図１６は、再生操作画像の一例を示す図である。図１６において、端末装置７には、広告情報１２４に加えて、再生操作画像１２０が表示される。再生操作画像１２０は、停止ボタン１２１、再生ボタン１２２、および、一時停止ボタン１２３を含む。停止ボタン１２１は、映像コンテンツの再生を停止する指示を表す画像である。再生ボタン１２２は、映像コンテンツの再生の指示を表す画像である。一時停止ボタン１２３は、映像コンテンツの再生を一時停止する指示を表す画像である。なお、他の実施形態においては、再生操作画像として、映像コンテンツの早送りまたは巻き戻しの指示を表す画像や、映像コンテンツの再生位置を指定する指示を行うためのバーを表す画像等が表示されてもよい。
【０１８８】
図１７は、テレビ操作画像の一例を示す図である。図１７において、端末装置７には、テレビ操作画像１３０が表示される。なお、図面を見やすくする目的で、図１７においては示していないが、第１の実施形態においては、テレビ操作画像１３０の下に広告情報１２４が表示される。なお、他の実施形態においては、広告情報１２４が表示されなくてもよいし、テレビ操作画像１３０が広告情報１２４の上に半透明で表示されてもよい。図１７に示すように、テレビ操作画像１３０は、電源ボタン１３１、入力切替ボタン１３２、音量増加ボタン１３３、音量減少ボタン１３４、チャンネル増加ボタン１３５、チャンネル減少ボタン１３６、および、戻るボタン１３７を含む。上記ボタン１３１〜１３６は、テレビ２に対する制御指示を表す画像である。電源ボタン１３１は、テレビ２の電源のオン／オフを切り替える指示を表す画像である。入力切替ボタン１３２は、テレビ２における入力を切り替える（例えば、テレビ番組の映像を入力して表示するモードと、ゲーム装置３からの画像を入力して表示するモードとの間の切り替え）指示を表す画像である。音量増加ボタン１３３は、テレビ２の音量を上げる指示を表す画像である。音量減少ボタン１３４は、テレビ２の音量を上げる指示を表す画像である。チャンネル増加ボタン１３５は、テレビ２の選局を昇順に１つずつ変更する指示を表す画像である。チャンネル減少ボタン１３６は、テレビ２の選局を降順に１つずつ変更する指示を表す画像である。上記各ボタン１３１〜１３６によって、ユーザはテレビ２の電源、入力切替、音量、および選局を操作することができる。また、戻るボタン１３７は、テレビ操作画像１３０の表示を停止する指示を表す画像である。なお、他の実施形態においては、上記各ボタンの他、例えば、各チャンネルを表すボタンや、番組表を表示する指示を表すボタンや、（ゲーム装置３またはテレビ２が録画機能を有する場合）録画の指示を表すボタン等、一般的なテレビのリモコンが有するボタンが端末装置７に表示されてもよい。
【０１８９】
また、第１の実施形態においては、上記ステップＳ２３における再生操作は、上記再生操作画像１２０の各ボタン１２１〜１２３をタッチする操作である。また、上記ステップＳ２７におけるテレビ操作は、上記テレビ操作画像１３０の各ボタン１３１〜１３６をタッチする操作である。つまり、第１の実施形態においては、ユーザは、再生操作およびテレビ操作を端末装置７のタッチパネル５２を用いて行うことができる。これらの操作は、映像コンテンツを再生している間、タイミングに応じて入力が制御されてもよい。つまり、ＣＰＵ１０は、テレビ２において映像コンテンツが表示される場合における所定のタイミングにおいて、これらの操作の一部または全部を制限するようにしてもよい。たとえば、所定の映像を表示しているタイミングにおいては、表示の停止や早送り等の操作を受け付けないようにしたり、ボタンが表示されないようにしたりしてもよい。そのようにすることで、映像コンテンツの提供者側（送信サーバ側）が見せたい映像をユーザに必ず見てもらえる構成となる。例えば、映像コンテンツ内にもＣＭを含む場合において、ＣＭを飛ばさずに見てもらえるように構成することもできる。なお、再生操作およびテレビ操作を制限する指示は、送信サーバ９１によって行われてもよい。つまり、当該指示が映像情報とともに送信サーバ９１からゲームシステム１へ送信され、ＣＰＵ１０は、受信した指示に基づいて上記の操作を制限するようにしてもよい。
【０１９０】
第１の実施形態においては、ＣＰＵ１０は、テレビ操作画像１３０を表示させる所定の操作が行われた場合、広告情報１２４にテレビ操作画像１３０を重ねた画像（図１７参照）を生成する。一方、上記所定の操作が行われていない場合、ＣＰＵ１０は、広告情報１２４および再生操作画像１２０を含む画像（図１６）を生成する。なお、上記所定の操作はどのような操作であってもよいが、例えば、端末装置７に設けられる所定のボタンを押下する操作であってもよい。これによれば、ユーザは１回の操作でテレビ操作画像１３０を容易に表示させることができ、便利である。
【０１９１】
ステップＳ２９の具体的な処理としては、ＣＰＵ１０は、表示すべき広告情報の画像をフラッシュメモリ１７から読み出し、当該画像に再生操作画像１２０（および、必要に応じてテレビ操作画像１３０）を追加した画像を生成する。なお、操作画像を生成するための具体的な方法はどのような方法であってもよいが、第１の実施形態においては、再生操作画像１２０およびテレビ操作画像１３０を生成するための画像データは、メインメモリ等に予め記憶されているものとする。なお、他の実施形態においては、上記画像データは、後述するように映像情報とともに送信サーバ９１から取得されてもよい。ＣＰＵ１０は、生成した画像をゲーム装置３の記憶部（フラッシュメモリ１７でもよいし、メインメモリでもよいし、ＶＲＡＭ１１ｄでもよい）に記憶する。ステップＳ２９の後、ＣＰＵ１０は再生制御処理を終了する。
【０１９２】
上記ステップＳ２９のように、第１の実施形態においては、端末装置７は、テレビ２に映像コンテンツが表示される場合において、広告情報とともに操作画像を表示する（図１６および図１７）。これによれば、ユーザは、映像コンテンツに対する操作を行う際に操作画像を見るので、操作画像とともに端末装置７に表示される広告情報にもユーザの目を向けさせることができる。したがって、上記ステップＳ２９の処理によれば、操作画像を端末装置７に表示することによって、広告情報の広告効果をより向上することができる。
【０１９３】
さらに、第１の実施形態においては、端末装置７はタッチパネル５２を含み、テレビ２における映像コンテンツの再生および／または表示に関する制御を行うための操作は、タッチパネル５２を用いて行われる。したがって、ユーザは、タッチパネル５２を用いて直感的かつ容易な操作を行うことができる。また、タッチパネル５２を用いて操作を行う場合には、ユーザは操作画像を見て操作を行うので、操作画像とともに表示される広告情報にユーザの目をより確実に向けさせることができる。これによって、広告情報の広告効果をより向上することができる。
【０１９４】
なお、他の実施形態においては、上記再生操作の一部および全部は、映像コンテンツの送信元の送信サーバ９１に応じて、および／または、送信される映像コンテンツに応じて異なるように設定されてもよい。例えば、送信サーバ９１が、再生操作に関する情報（操作の内容と、その操作に応じてゲーム装置３が行うべき動作との対応を表す情報）と、再生操作画像のデータとを映像情報とともに送信し、ゲーム装置３は、当該再生操作に関する情報に基づいてステップＳ２５の処理を実行する。また、ゲーム装置３は、受信した再生操作画像のデータを用いてステップＳ２９の処理を実行する。これによって、再生操作の操作方法を送信サーバ９１側で管理することができ、映像コンテンツに適した操作方法を提供することができる。
【０１９５】
図１２の説明に戻り、ステップＳ５の次のステップＳ６において、ＣＰＵ１０は、映像コンテンツをテレビ２へ出力する。まず、ＣＰＵ１０は、フラッシュメモリ１７に記憶されているコンテンツデータ１１３を読み出し、映像コンテンツの動画を構成する１つの画像をＶＲＡＭ１１ｄに記憶する。このとき、ＣＰＵ１０およびＧＰＵ１１ｂは、必要に応じて、フラッシュメモリ１７に記憶されているデータから画像を生成する処理を行う。例えば、フラッシュメモリ１７に記憶されているコンテンツデータ１１３が所定の方式で圧縮されている場合には、動画のデータに対して伸張処理が行われて画像が生成される。また、上記動画のデータがパケット単位で記憶されている場合には、パケット単位のデータから画像が生成される。ＶＲＡＭ１１ｄに記憶された上記画像はＡＶ−ＩＣ１５へ送られ、ＡＶ−ＩＣ１５は画像を、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、動画を構成する画像がテレビ２に表示される。また、映像コンテンツの動画と共に音声が送信サーバ９１から取得されてもよく、ステップＳ５においては、動画とともに音声がテレビ２へ出力され、テレビ２のスピーカ２ａから音声が出力されてもよい。以上のステップＳ６の処理の次に、ステップＳ７の処理が実行される。
【０１９６】
ステップＳ７において、ＣＰＵ１０は、広告情報の画像を端末装置７へ出力（送信）する。具体的には、上記ステップＳ２９によって記憶部に記憶された端末用画像のデータは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。圧縮処理が施された画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像データを無線モジュール８０によって受信し、受信された画像データに対してコーデックＬＳＩ７６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、端末用画像がＬＣＤ５１に表示される。ステップＳ７の次にステップＳ８の処理が実行される。
【０１９７】
なお、画像と共に音声が含まれた広告情報が送信サーバ９１から取得されてもよく、このとき、上記ステップＳ７においては、画像とともに音声が端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。また、映像コンテンツとともに再生される音声情報が映像情報に含まれ、テレビ２において映像コンテンツとともに音声が再生される場合には、テレビ２における再生の邪魔にならないように、端末装置７からは音声を出力しないようにしてもよい。つまり、この場合には広告情報には音声情報が含まれないようにしてもよい。また、他の実施形態においては、上述した「テレビ２において再生される映像コンテンツが所定の状態となったタイミング（図１５に示すタイミングＴ１）」において、ＣＰＵ１０は端末装置７を用いて当該タイミングをユーザに通知するようにしてもよい。なお、ユーザに通知を行う方法としては、例えば、端末装置７から音を出力したり、端末装置７のバイブレータ８９を振動させたりする方法が考えられる。
【０１９８】
ステップＳ８において、ＣＰＵ１０は、テレビ２における映像コンテンツの再生が終了するか否かを判定する。ステップＳ８の判定は、例えば、映像コンテンツが最後まで再生されたか否か、あるいは、映像コンテンツの再生を停止する指示が行われたか否か等によって行われる。ステップＳ８の判定結果が肯定である場合、ステップＳ２の処理が再度実行される。つまり、映像コンテンツの再生が終了した場合、処理部１０２は、次に再生すべき映像コンテンツをユーザの指示に従って再度指定する。一方、ステップＳ８の判定結果が否定である場合、ステップＳ９の処理が実行される。
【０１９９】
ステップＳ９において、ＣＰＵ１０は、映像コンテンツ（および広告情報）の視聴を終了するか否かを判定する。ステップＳ９の判定は、例えば、視聴を終了する旨の指示がユーザによって行われたか否かによって行われる。ステップＳ９の判定結果が否定である場合、ステップＳ５の処理が再度実行される。以降、映像コンテンツの再生が継続される間（ステップＳ８およびＳ９の判定結果が否定である場合）、ＣＰＵ１０は、ステップＳ５〜Ｓ９の一連の処理を繰り返し実行する。一方、ステップＳ９の判定結果が肯定である場合、ＣＰＵ１０は、図１２に示す処理を終了する。
【０２００】
以上のように、第１の実施形態においては、送信サーバ９１から送信される映像情報に含まれる映像コンテンツがテレビ２に表示されるとともに、当該映像情報に含まれる広告情報が端末装置７に表示される。これによって、広告情報を効果的にユーザに提示することができ、広告効果を向上することができる。
【０２０１】
また、第１の実施形態のように、映像コンテンツとして見逃し番組を提供する場合には、見逃し番組を見たユーザに対して、当該見逃し番組に関連するテレビ放送を見る動機付けを与えることができる。また、広告情報として映像コンテンツの試聴版を提供する場合には、映像コンテンツを見る動機付けをユーザに対して与えることができる。このように、第１の実施形態によれば、映像コンテンツとしてテレビ番組を（無料で）提供する場合においても、有料の映像コンテンツを提供する場合においても、映像コンテンツの提供者（放送事業者等）にとってメリットのある映像配信システムを構築することができる。
【０２０２】
［１−８．第１の実施形態の変形例］
（関連情報を送信する変形例）
上記実施形態においては、映像コンテンツとともに送信される情報として広告情報を送信する場合を例にとって説明した。ここで、他の実施形態においては、広告情報に代えて、映像コンテンツに関連する関連情報が当該映像コンテンツとともに送信されてもよい。関連情報は、例えば、映像コンテンツにおいて紹介される情報に関連する情報や、映像コンテンツに関する付加情報等である。具体的には、映像コンテンツが料理番組である場合において、料理のレシピの情報が関連情報として端末装置７に表示されてもよい。また、映像コンテンツが映画やドラマである場合において、出演者の情報が関連情報として端末装置７に表示されてもよい。また、関連情報には、映像コンテンツにおいて紹介される商品の広告情報や、映像コンテンツ自体の広告情報が含まれる。さらに、映像コンテンツに広告が含まれる場合、当該広告に関連する広告情報も関連情報であると言うことができる。つまり、これらの広告情報が関連情報として端末装置７に表示されてもよい。上記のように関連情報を端末装置７に表示する場合、映像コンテンツの再生時間と同じ時間、関連情報を表示することができるので、映像コンテンツに関する情報をより多くユーザに提示することができる。また、関連情報を端末装置７に表示する場合も広告情報の場合と同様、端末装置７に表示される関連情報はテレビ２には表示されないので、関連情報が、テレビ２に表示される映像コンテンツの邪魔になることはなく、映像コンテンツを見やすくユーザに提示することができる。
【０２０３】
（テレビ放送中に広告情報を送信する変形例）
なお、上記実施形態においては、送信サーバ９１から送信される映像コンテンツがテレビ２に表示される場合に広告情報を端末装置７に表示する場合を説明した。ここで、他の実施形態においては、テレビ放送によって受信されたテレビ番組がテレビ２に表示される場合に、広告情報（あるいは関連情報）を端末装置７に表示するようにしてもよい。このとき、映像表示システムの動作としては例えば以下の動作を行うことが考えられる。
【０２０４】
すなわち、ゲーム装置３はまず、テレビ番組を選択するための番組選択情報（例えば電子番組表の情報）を所定のサーバから取得する。サーバは、ゲーム装置３からの取得要求に応じて、番組選択情報をゲーム装置３へ送信する。ゲーム装置３は、番組選択情報を受信すると、端末装置７および／またはテレビ２に番組選択情報の画像を表示させる。そして、例えば端末装置７に対するユーザの操作に従って、番組選択情報の画像に含まれる複数のテレビ番組から視聴するテレビ番組を指定する。さらに、ゲーム装置３は、指定されたテレビ番組の情報を送信情報としてサーバへ送信する。なお、送信情報には、上記実施形態と同様、属性情報や現在情報が含まれていてもよい。サーバは、送信情報を受信すると、広告情報をゲーム装置３へ送信する。なお、送信される広告情報は、上記実施形態と同様に、送信情報に含まれる属性情報および／または現在情報に応じて選択されてもよいし、指定されたテレビ番組に応じて選択されてもよい。また、サーバは、ゲーム装置３において指定されたテレビ番組に応じた内容の広告情報を送信することも可能である。一方、ゲーム装置３は、テレビ番組を指定した後、当該番組が受信して表示されるようにテレビ２を制御する。さらに、ゲーム装置３は、サーバから送信されてくる広告情報を端末装置７に表示させる。以上によって、ゲームシステム１は、テレビ放送によるテレビ番組をテレビ２に表示するとともに、広告情報を端末装置７に表示することができる。
【０２０５】
（複数の端末装置を含む変形例）
上記実施形態においては、映像表示システム９０は１つの端末装置７を含む構成であった。ここで、他の実施形態においては、映像表示システムは複数の端末装置７を含んでいても良い。端末装置が複数である場合、各端末装置には、互いに異なる広告情報および／または関連情報が表示されてもよいし、同じ広告情報および／または関連情報が表示されてもよい。例えば、ある端末装置には広告情報が表示され、別の端末装置には関連情報が表示されるようにしてもよい。このように、端末装置が複数である場合には、より多様な情報をユーザに対して提供することができる。
【０２０６】
なお、他の実施形態においては、ゲームシステム１を用いない例であっても、映像コンテンツと広告の組み合わせを同様の形態で提示することができる。例えば、テレビに接続されたセットトップボックス（受信装置）と、タブレット端末（端末装置）のような情報機器を用いることもできる。セットトップボックスとタブレット端末とを用いる構成の場合、映像情報の中の映像コンテンツと広告情報を、ルータ等によってそれぞれセットトップボックスとタブレット端末に振り分け、それぞれの機器において表示処理をするようにしてもよい。また、同期の処理を行なうようにすれば、セットトップボックスとタブレット端末に、映像コンテンツと広告情報がそれぞれ受信され、連動して再生される構成であってもよい。つまり、送信サーバ９１は、映像コンテンツと広告情報とを含む映像情報をネットワーク９２を介してセットトップボックス（テレビ２）およびタブレット端末へ送信してもよい。なお、送信サーバ９１は、映像コンテンツと広告情報とを個別に各表示装置へ送信してもよい。すなわち、送信サーバ９１はセットトップボックスへ映像コンテンツを送信し、広告情報をタブレット端末へ送信するようにしてもよい。テレビ２は、受信した映像コンテンツを表示し、タブレット端末は、受信した広告情報を、テレビ２における映像コンテンツの表示に連動して（テレビ２において映像コンテンツが表示される場合に）表示してもよい。
【０２０７】
［２．第２の実施形態］
［２−１．情報処理システムの構成］
以下、第２の実施形態に係る情報処理システムの一例について説明する。第２の実施形態においては、テレビ２で再生される映像コンテンツは、例えばテレビ放送による映像コンテンツやテレビ２の記憶媒体に記憶される映像コンテンツ等、送信サーバ９１から提供されるものではない場合を想定する。第２の実施形態においては、テレビ２で再生される映像コンテンツの音を端末装置７によって検知し、検知した音に関する音情報がサーバへ送信される。サーバは、受信した音情報に基づいて、テレビ２で再生される映像コンテンツを特定し、映像コンテンツに応じた提示情報を端末側へ送信する。端末装置７では、サーバから送信された提示情報が表示される。これによって、第２の実施形態においては、テレビ２で再生される映像コンテンツとともに、映像コンテンツに適した情報をユーザに提供することができる。
【０２０８】
第２の実施形態においては、提示情報は、第１の実施形態で説明した広告情報であるとする。ただし、提示情報は、広告情報に限らず、どのような情報であってもよい。例えば、提示情報は、映像コンテンツに関連する上記関連情報であってもよい。提示情報は、映像コンテンツに対する付加的な情報であるといえる。そのため、提示情報は、映像コンテンツ自体に含まれる情報とは異なる情報を含むことが好ましい。提示情報は、典型的には、映像コンテンツの識別情報（映像コンテンツのタイトル等の情報）とは異なる情報である。また、提示情報は、表示装置に表示可能な情報であり、動画であってもよいし、静止画であってもよいし、ウェブページであってもよい。また、提示情報は、音情報を含んでいてもよい。
【０２０９】
図１８は、第２の実施形態に係る情報処理システムの一例を示すブロック図である。図１８において、第２の実施形態に係る情報処理システム２００は、サーバ２０１と、ゲームシステム１とを含む。サーバ２０１とゲームシステム１とは、ネットワーク９２を介して互いに通信可能である。なお、第２の実施形態の説明においては、第１の実施形態と同じ構成については第１の実施形態と同じ参照符号を付し、詳細な説明を省略する。
【０２１０】
第２の実施形態において、端末側のシステム（端末システム）の一例であるゲームシステム１は、第１の実施形態と同様の構成である。ただし、ゲームシステム１において実行される処理は第１の実施形態とは異なる（詳細は後述する）。なお、他の実施形態においては、端末システムは１つの装置によって構成されてもよい。例えば、端末システムは、スマートフォン、携帯電話、タブレット端末、または携帯型ゲーム装置等として構成されてもよい。
【０２１１】
また、サーバ側のシステム（サーバシステム）の一例であるサーバ２０１は、ゲームシステム１からの情報に基づいて、ゲームシステム１側で再生されている映像コンテンツを特定し、上記提示情報を送信する。図１９は、サーバ２０１の構成の一例を示すブロック図である。図１９において、サーバ２０１は、第１の実施形態と同様の通信部１０１、処理部１０２、および広告格納部１０４を備える。なお、詳細は後述するが、第２の実施形態における処理部１０２による処理は第１の実施形態とは異なる。
【０２１２】
また、サーバ２０１は、データベース格納部２０２を備える。データベース格納部２０２は、端末側において再生される映像コンテンツを特定するための映像データベースを記憶する。映像データベースは、例えば、上記の音情報と、その音情報に対応する音を含む映像コンテンツの識別情報とを関連づけたデータを含む。識別情報は、例えば、映像コンテンツのタイトル（テレビ番組の番組名や、映画のタイトル等）であってもよい。
【０２１３】
また、データベース格納部２０２は、端末側へ送信すべき提示情報を特定するための提示情報データベースを記憶する。提示情報データベースは、例えば、映像コンテンツの識別情報と、その映像コンテンツとともに提示されるべき１以上の提示情報とを関連づけたデータを含む。第２の実施形態においては、提示情報データベースは、提示情報毎に、提示情報を提示すべきタイミングを表す情報を含む。詳細は後述するが、これらのデータベースは、予め用意されてもよいし、データベースの内容が逐次（リアルタイムに）追加・更新されてもよい。
【０２１４】
サーバ２０１は、ネットワーク９２を介して外部装置（ゲームシステム１等）と通信可能であり、外部装置からの要求に応じて提示情報を送信する機能を有する任意の構成であってもよい。サーバ２０１（サーバシステム）は、１台以上の情報処理装置によって構成されてもよい。例えば、サーバ２０１は、広告格納部１０４とデータベース格納部２０２とが別々のサーバに含まれている構成であってもよい。本明細書では、サーバシステムが複数の装置によって構成される場合にはサーバ装置群全体をサーバと呼ぶこととする。
【０２１５】
［２−２．情報処理システムの動作概要］
次に、図１８、図２０および図２１を参照して、情報処理システム２００における動作の概要を説明する。図２０は、情報処理システム２００における動作の流れの一例を示す図である。
【０２１６】
（情報処理システムにおける処理全体の流れ）
図２０に示すように、第２の実施形態においては、テレビ２で映像コンテンツが再生される。この映像コンテンツは、どのようなものであってもよい。映像コンテンツは、例えば、テレビ放送の番組であってもよいし、テレビ２がアクセス可能な記憶媒体（ハードディスクあるいはＤＶＤ等）に記憶される映像コンテンツであってもよい。第２の実施形態においては、現在放送中のテレビ番組がテレビ２において再生される場合を例として説明する。第２の実施形態においては、映像コンテンツはサーバから供給されるものでなくてもよいので、端末システムはテレビ２を含まない構成であってもよいし、テレビ２とは接続されない（通信可能でない）構成であってもよい。
【０２１７】
図１８および図２０に示すように、テレビ２において映像コンテンツが再生される場合、端末装置７は、映像コンテンツの再生音をマイク７９によって検知する。端末装置７は、マイク７９によって検知された音（マイク音）をゲーム装置３へ送信する。ゲーム装置３は、マイク音に基づいて音情報を生成する。ここで、音情報は、マイク音またはマイク音の特徴を表す情報である。例えば、音情報は、音声指紋の情報である。なお、音情報は、マイク音の音声信号自体であってもよい。端末システム（ゲームシステム１）は、生成された音情報をサーバ２０１へ送信する。
【０２１８】
図２０に示すように、サーバ２０１は、受信した音情報に基づいて、端末装置７の周囲で再生されている映像コンテンツを特定する。映像コンテンツの特定は、上記映像データベースを用いて行われる。第２の実施形態においては、サーバ２０１は、テレビ２で再生中のテレビ番組を特定する。
【０２１９】
端末側で再生されている映像コンテンツを特定した後、サーバ２０１は、特定された映像コンテンツとともに提示されるべき提示情報を特定する。提示情報の特定は、上記提示情報データベースを用いて行われる。第２の実施形態においては、サーバ２０１は、映像コンテンツとともに提示すべき広告情報を特定する。サーバ２０１は、特定された提示情報（広告情報）を端末システムへ送信する。
【０２２０】
端末システムは、サーバ２０１から送信されてくる提示情報を表示部（ＬＣＤ５１）に表示する。すなわち、図１８に示すように、ゲーム装置３は、サーバ２０１から送信されてくる提示情報を受信し、受信した提示情報を端末装置７へ送信する。端末装置７は、受信した提示情報をＬＣＤ５１に表示する。以上のように、第２の実施形態においては、テレビ２における映像コンテンツの再生とともに、端末装置７において提示情報が表示される。これによって、ユーザに有益な情報を提示することができるとともに、映像コンテンツとともに他の情報をユーザに対してより効果的に提示することができる。
【０２２１】
（提示タイミングの決定）
なお、第２の実施形態においては、情報処理システム２００は、提示情報が提示されるタイミングを決定してもよい。サーバ２０１は、音情報に基づいて映像コンテンツを特定する際、特定された映像コンテンツ（テレビ番組）の内容が予めわかっていれば、所望の内容が再生されるタイミングを特定（または推定）することが可能である。そして、サーバ２０１は、所望の内容が再生されるタイミングで端末側において提示情報を提示することが可能である。例えば、情報処理システム２００は、テレビ番組内においてある商品が紹介される時間帯において、その商品の広告情報を端末装置７において提示することが可能である。また例えば、テレビ番組内においてある国が紹介される時間帯において、その国の旅行に関する広告情報を提示することが可能である。
【０２２２】
図２１は、提示情報の提示タイミングの一例を示す図である。第２の実施形態においては、提示タイミングは、サーバ２０１において特定された映像コンテンツに基づいて決定される。具体的には、サーバ２０１はまず、特定された映像コンテンツの時間軸上における現時点の位置を音情報に基づいて特定する（図２１参照）。なお、現時点の位置とは、端末側のマイク７９によって検知された音が再生される時点（あるいは時間帯）の位置である。次に、サーバ２０１は、現時点と、特定された映像コンテンツのタイムテーブルとに基づいて、提示情報を提示すべきタイミングを決定する。タイムテーブルは、例えば、映像コンテンツに含まれるいくつかのシーンに対して、開始からの経過時間を関連づけた情報である。例えば映像コンテンツ中のあるシーンＡが再生されるタイミングで提示情報を表示する場合を考える。この場合において、映像コンテンツの開始から現時点までの時間がＴ２であり、映像コンテンツの開始からシーンＡの開始までの時間がＴ３であれば、サーバ２０１は、現時点から時間Ｔ４（＝Ｔ３−Ｔ２）の経過後のタイミングを提示タイミングとして決定する。なお、上記時間Ｔ２は、上記現時点の位置として音情報から特定可能である。上記時間Ｔ３は、上記タイミングテーブルから特定可能である。以上のようにして、サーバ２０１は、提示タイミングを決定することが可能である。
【０２２３】
端末システムは、上記のようにして決定された提示タイミングで提示情報を表示部に表示する。これによって、提示情報を適切なタイミングで提示することができるので、提示情報をユーザに対してより効果的に提示することができる。ここで、提示情報を提示タイミングで再生する制御は、サーバ側で行われてもよいし、端末側で行われてもよい。すなわち、上記制御がサーバ側で行われる場合、サーバ２０１は、提示タイミングで提示情報が表示部に表示されるように、提示情報の送信タイミングを制御してもよい。このとき、サーバ２０１は、通信による遅延等を考慮して送信タイミングを決定してもよい。また、上記制御が端末側で行われる場合、サーバ２０１は、提示情報と提示タイミングを示す情報とを端末システムへ送信する。この情報は、例えば第１の実施形態において説明した再生制御指示の情報であってもよい。端末システムは、提示タイミングを示す情報に基づいて、提示情報を提示するタイミングを制御する。
【０２２４】
（テレビに対する制御）
上記第１の実施形態において説明したように、端末システムは、テレビ２の動作を制御することが可能である。つまり、端末システムは、映像コンテンツを再生可能な所定の表示装置（テレビ２）に対して、当該映像コンテンツの再生および／または表示に関する制御を行うことが可能である。これによれば、端末システムが所定の表示装置の動作（例えば、受信チャンネルの変更や、再生の停止および早送り等）を変更することが可能となる。これによって、映像コンテンツと提示情報とをより効果的にユーザに提示することができる。例えば、端末システムは、提示情報の再生に合わせて映像コンテンツの再生を変更することができる。そのため、例えば映像コンテンツの再生音量を小さくすることによって、提示情報が表示される端末装置７の方へユーザを注目させることも可能である。なお、テレビ２の動作を制御するための方法は、第２の実施形態においても第１の実施形態と同様である。
【０２２５】
また、上記第１の実施形態において説明したように、端末装置７は、テレビ２の動作を制御する機能を有する。したがって、ユーザは、端末装置７を用いてテレビ２の動作を変更することができるので、映像コンテンツに対する操作の操作性を向上することができる。また、映像コンテンツに対する操作を行う際にユーザは端末装置７を見るので、この際、端末装置７に表示される提示情報にもユーザの目を向けさせることができる。したがって、提示情報が広告情報である場合には、広告情報の広告効果を向上することができる。
【０２２６】
また、第２の実施形態においては、テレビ２を制御するための制御指令は、サーバ２０１から送信されてもよい。具体的には、サーバ２０１は、特定された映像コンテンツに基づいて、映像コンテンツの再生および／または表示に関する制御指令を特定し、制御指令を端末システムへ送信する。端末システムは、サーバ２０１から受信した制御指令に基づいてテレビ２を制御する。これによれば、サーバ側でテレビ２の動作を制御することができる。例えば、サーバ２０１は、映像コンテンツと提示情報とをより効果的にユーザに提示することができるように、テレビ２の動作を制御することができる。制御指令を送信することによって、例えば以下の動作が可能となる。
【０２２７】
図２２は、サーバ側から制御指令を送信する場合における情報処理システムの動作の流れの一例を示す図である。図２２に示す例においては、テレビ２において再生される映像コンテンツは、テレビ番組であるものとする。さらに、このテレビ番組は、ある放送局（チャンネル）による放送終了に続けて別の放送局でその続きが放送されるものとする。このとき、サーバ２０１は、上記ある放送局での番組の終了時に上記別の放送局へとチャンネル（選局）を変更する旨の制御指令を生成し、端末側へ送信する。なお、図２２においては、この制御指令は、番組の終了時に送信されるが、番組の終了前に送信されてもよい。上記制御指令を受信したゲーム装置３は、制御指令を端末装置７へ送信する。端末装置７は、制御指令（例えば、制御指令に対応する赤外線信号あるいは無線信号）をテレビ２へ出力する。これによって、テレビ２のチャンネルは、続きの映像コンテンツが放送される上記別の放送局へとユーザによる操作なしに変更される。なお、制御指令は、映像コンテンツの終了時にチャンネルを変更する指令に限らず、映像コンテンツの再生および／表示に関する任意の指令でよい。
【０２２８】
［２−３．情報処理システムの動作］
次に、情報処理システム２００の動作について詳細に説明する。まず、情報処理システム２００の動作に用いられる各種データについて説明する。図２３は、ゲーム装置３の記憶部（外部メインメモリ１２、内部メインメモリ１１ｅ、およびフラッシュメモリ１７を含む）に記憶されるデータの一例を示す図である。図２３に示すように、ゲーム装置３の記憶部には、制御プログラム２１１、操作データ１１１、マイク音データ２１２、および処理用データ２１３が記憶される。なお、記憶部には、図２３に示すデータの他、ゲーム装置３における処理に用いられる各種データ（画像データや音声データ等）が記憶される。また、図２３に示すデータは、ゲーム装置３内の記憶部の他、ゲーム装置３がアクセス可能な他の記憶装置に記憶されてもよい。
【０２２９】
制御プログラム２１１は、ゲーム装置３（ゲームシステム１）における処理をＣＰＵ１０に実行させるためのプログラムである。第２の実施形態では、ＣＰＵ１０が制御プログラム２１１を実行することによって、図２４に示すフローチャートの各ステップの処理（情報提示処理）が実行される。制御プログラム２１１は、ゲーム装置３に電源が投入された後の適宜のタイミングでフラッシュメモリ１７からその一部または全部が読み込まれて記憶部に記憶される。なお、制御指示プログラム２１１は、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０２３０】
操作データ１１１は、第１の実施形態と同様である。マイク音データ２１２は、マイク７９によって検知された音（マイク音）を表すデータである。マイク音は、端末装置７から送信されてゲーム装置３において取得され、マイク音データ２１２として記憶部に記憶される。
【０２３１】
処理用データ２１３は、後述する情報提示処理（図２４）において用いられるデータである。処理用データ２１３は、音情報データ２１４、提示情報データ２１５、および、第１の実施例と同様の制御指令データ１１８を含む。
【０２３２】
音情報データ２１４は、上述の音情報を表すデータである。第２の実施形態においては、音情報データ２１４はマイク音の音声指紋を表す。また、提示情報データ２１５は、上述の提示情報を表すデータである。サーバ２０１から送信されてきた提示情報のデータは、提示情報データ２１５として記憶部に記憶される。
【０２３３】
次に、図２４および図２５を参照して、第２の実施形態において情報処理システム２００で実行される情報提示処理の詳細を説明する。図２４は、第２の実施形態においてゲーム装置３で実行される情報提示処理の流れの一例を示すフローチャートである。第２の実施形態においては、ＣＰＵ１０が制御プログラム２１１を実行することによって、図２４に示す情報提示処理が実行される。
【０２３４】
なお、端末システムが情報提示処理の実行を開始する条件は任意である。情報提示処理の実行は、例えば、端末システムの電源投入に応じて開始されてもよい。また、端末装置７および／またはテレビ２に表示されるメニュー画面に対する選択操作によって上記制御プログラム２１１の起動が指示されたことに応じて情報提示処理の実行が開始されてもよい。また例えば、情報提示処理の実行は、ユーザがテレビを見ていると推定される場合に開始されてもよい。具体的には、例えば第１の実施形態において説明した方法で端末システムがサーバから電子番組表の情報を取得したことに応じて情報提示処理が実行されてもよい。また、テレビ２に対する制御を行うための操作が端末装置７を用いて行われたことに応じて情報提示処理が実行されてもよい。
【０２３５】
図２４に示す情報提示処理が開始されると、まずステップＳ３１において、ＣＰＵ１０はマイク音を取得する。すなわち、端末装置７は、マイク７９で周囲の音を検知し、検知した音（マイク音）のデータをゲーム装置３へ送信する。マイク音のデータは、例えば所定時間間隔に１回の割合で繰り返し送信され、ゲーム装置３はマイク音のデータを繰り返し取得する。ゲーム装置３は、取得したデータをマイク音データ２１２として記憶部に記憶する。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０２３６】
ステップＳ３２において、ＣＰＵ１０は、マイク音に基づいて音情報を生成し、サーバ２０１へ送信する。音情報は、マイク音に基づいて生成される。第２の実施形態においては、ＣＰＵ１０は、記憶部から読み出したマイク音データ２１２から音情報（音声指紋）を生成する。生成された音情報のデータは音情報データ２１４として記憶部に記憶される。記憶部に記憶された音情報データ２１４がサーバ２０１へ送信される。なお、データをサーバ２０１へ送信する具体的な動作は、第１の実施形態と同様である。ステップＳ３２の次に、後述するステップＳ３３の処理が実行される。
【０２３７】
以上のようにして音情報がサーバ２０１へ送信されると、サーバ２０１から提示情報が端末システムへ送信される。以下、サーバ２０１における処理を図２５を参照して説明する。
【０２３８】
図２５は、第２の実施形態においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャートである。提示情報送信処理は、サーバ２０１の処理部１０２が所定の制御プログラムを実行することによって実行される。なお、図２５に示す処理は、例えば端末システム（ゲームシステム１）からアクセスがあったことに応じて開始される。なお、複数の端末システムからアクセスがあった場合、処理部１０２は、提示情報送信処理を端末システム毎に並列的に実行してもよい。
【０２３９】
図２５に示す提示情報送信処理が開始されると、まずステップＳ４１において、処理部１０２は音情報を受信する。続くステップＳ４２において、処理部１０２は、受信した音情報に基づいて映像コンテンツを特定する。処理部１０２は、上述の映像データベースをデータベース格納部２０２から読み出し、映像データベースを参照して、受信した音情報に関連づけられる映像コンテンツを特定する。より具体的には、受信した音情報が映像データベースに含まれる音情報の一部と一致する場合、処理部１０２は、映像データベースにおいて当該音情報に関連づけられる映像コンテンツに特定する。ステップＳ４２の次にステップＳ４３の処理が実行される。
【０２４０】
なお、映像データベースは、リアルタイムに生成・更新されてもよい。例えば、サーバ２０１でテレビ放送の番組を受信し、番組中の音声を解析して音情報（音声指紋）を生成することで、データベースを動的に更新することができる。
【０２４１】
ステップＳ４３において、処理部１０２は、特定された映像コンテンツに基づいて提示情報を特定する。処理部１０２は、上述の提示情報データベースをデータベース格納部２０２から読み出し、提示情報データベースにおいて特定された映像コンテンツに関連づけられる提示情報を特定する。なお、特定される提示情報が複数である場合、処理部１０２は、提示情報の提示順を設定してもよい。提示順は、ランダムに設定されてもよいし、提示情報データベースにおいて予め設定された順であってもよい。ステップＳ４３の次にステップＳ４４の処理が実行される。
【０２４２】
ステップＳ４４において、処理部１０２は、特定された提示情報について、提示タイミングを決定する。提示タイミングの決定は、例えば、上述の“（提示タイミングの決定）”で述べた方法で行われる。なお、サーバ２０１は提示タイミングを決定しなくてもよく、その場合、ステップＳ４４の処理は実行されなくてもよい。ステップＳ４４の次にステップＳ４５の処理が実行される。
【０２４３】
ステップＳ４５において、処理部１０２は、制御指令を生成する。制御指令は、特定された映像コンテンツに基づいて生成される。例えば、映像コンテンツと制御指令とを関連づけたデータベースを用意しておき、当該データベースを参照することによって制御指令が生成されてもよい。なお、サーバ２０１は制御指令を送信しなくてもよく、その場合、ステップＳ４５の処理は実行されなくてもよい。ステップＳ４５の次にステップＳ４６の処理が実行される。
【０２４４】
ステップＳ４６において、処理部１０２は、提示情報等を端末システムへ送信する。第２の実施形態においては、提示情報および制御指令が送信される。すなわち、処理部１０２は、ステップＳ４３で特定された提示情報（広告情報）を広告格納部１０４から読み出して端末システムへ送信する。なお、第１の実施形態で述べた再生制御指示が提示情報とともに送信されてもよい。第２の実施形態においては、処理部１０２は、ステップＳ４４で決定された提示タイミングに基づく送信タイミングで提示情報を送信する。なお、提示タイミングが決定されない場合には、特定された提示情報が順次送信されてもよい。提示情報の送信方法はどのようなものであってもよいが、第２の実施形態においては第１の実施形態と同様、サーバ２０１はストリーミング送信を行う。
【０２４５】
また、処理部１０２は、ステップＳ４５で生成された制御指令を端末システムへ送信する。制御指令は、提示情報とともに送信されてもよいし、提示情報とは異なるタイミングで送信されてもよい。
【０２４６】
上記ステップＳ４６における提示情報等の送信は、提示情報等の全部を送信し終わるまで続けられる。送信が完了すると、処理部１０２は、図２５に示す提示情報送信処理を終了する。
【０２４７】
図２４の説明に戻り、ステップＳ３３において、ゲーム装置３は、提示情報等を受信する。受信された提示情報は、提示情報データ２１５として記憶部に記憶される。また、制御指令が受信される場合には、制御指令データ１１８が記憶部に記憶される。なお、サーバから提示情報（広告情報）を受信して記憶部に記憶する処理は第１の実施形態と同様である。ステップＳ３３の次にステップＳ３４の処理が実行される。
【０２４８】
ステップＳ３４において、ＣＰＵ１０は、提示情報（広告情報）の再生制御を行う。ステップＳ３４の処理は、例えば第１の実施形態におけるステップＳ２８の処理（さらにステップＳ２９の処理を含んでいてもよい）と同様に行われる。ステップＳ３４の処理によって、端末装置７の表示部に提示情報の画像が表示されることとなる。ステップＳ３４の次にステップＳ３５の処理が実行される。
【０２４９】
ステップＳ３５において、ＣＰＵ１０は、制御指令に基づいてテレビ２を制御する。すなわち、ＣＰＵ１０は、記憶部に記憶されている制御指令データ１１８のうちで、現時点で実行すべき制御指令があるか否かを判定する。例えば、制御指令が実行されるべきタイミングでサーバ２０１から制御指令が送信される場合には、ＣＰＵ１０は、制御指令が受信された時点で当該制御指令を実行すべきと判定する。また、制御指令が実行されるべきタイミングを示す情報が制御指令とともにサーバ２０１から送信される場合には、ＣＰＵ１０は、当該情報に基づいて判定を行う。ステップＳ３５の判定において、現時点で実行すべき制御指令がある場合、ＣＰＵ１０は、その制御指令に基づいてテレビ２の動作を制御する。テレビ２に対する制御の具体的な方法は第１の実施形態と同様である。なお、現時点で実行すべき制御指令がない場合、ＣＰＵ１０はステップＳ３５の処理を終了する。ステップＳ３５の次にステップＳ３６の処理が実行される。
【０２５０】
ステップＳ３６において、ＣＰＵ１０は、テレビ２における映像コンテンツの再生が終了したか否かを判定する。ステップＳ３６の判定はどのように行われてもよい。例えば、ＣＰＵ１０は、映像コンテンツの終了時刻をサーバ２０１から予め受信しておくことによって上記判定を行ってもよい。また例えば、サーバ２０１が映像コンテンツの終了まで提示情報をストリーミング送信する場合には、ＣＰＵ１０は、所定時間の間、サーバ２０１から提示情報が受信されなければ映像コンテンツの再生が終了したと判定してもよい。ステップＳ３６の判定結果が否定である場合、ステップＳ３３の処理が再度実行される。以降、テレビ２における映像コンテンツの再生が継続される間（ステップＳ３６の判定結果が否定である場合）、ＣＰＵ１０は、ステップＳ３３〜Ｓ３６の一連の処理を繰り返し実行する。一方、ステップＳ３６の判定結果が肯定である場合、ＣＰＵ１０は、図２４に示す情報提示処理を終了する。
【０２５１】
なお、他の実施形態においては、上記ステップＳ３１およびＳ３２の処理もステップＳ３３〜Ｓ３５の処理と同様に、映像コンテンツの終了まで繰り返し実行されてもよい。つまり、端末システムは、マイク音の取得と音情報の送信とを繰り返し実行してもよい。サーバ２０１は、端末システムから音情報を再度受信した場合、映像コンテンツの特定処理を再度実行する（ステップＳ４２）。そして、特定された映像コンテンツが変化すれば、サーバ２０１は、提示情報を再度特定し（ステップＳ４３）、提示情報を再度送信する（ステップＳ４６）。これによって、テレビ２で再生される映像コンテンツが途中で変更される（例えば、チャンネルが変更される）場合であっても、変更された映像コンテンツに適した提示情報をユーザに提供することができる。
【０２５２】
以上のように、第２の実施形態においては、テレビ２による映像コンテンツの視聴中に、サーバ２０１から送信される提示情報（広告情報）が端末装置７に表示される。これによって、ユーザに有益な情報を提示することができるとともに、映像コンテンツに情報を付加してユーザに対して効果的に提示することができる。
【０２５３】
［２−４．第２の実施形態の変形例］
（サーバから映像コンテンツを送信する変形例）
上記第２の実施形態においては、テレビ２において再生される映像コンテンツはサーバ２０１から供給されるものではなかった。ここで、第２の実施形態の変形例としては、サーバ２０１から供給される映像コンテンツがテレビ２において再生されてもよい。すなわち、サーバ２０１は、テレビ２において再生されていると特定された映像コンテンツに基づいて、当該映像コンテンツの続きの映像コンテンツを特定し、そして、当該続きの映像コンテンツを端末システムへ送信するようにしてもよい。なお、「（特定された映像コンテンツの）続きの映像コンテンツ」とは、例えば、特定された映像コンテンツが連続ドラマである場合における次の回の映像コンテンツや、あるいは、特定された映像コンテンツが映画である場合における続編の映画のコンテンツである。
【０２５４】
図２６は、第２の実施形態の変形例においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャートである。なお、図２６において、図２５と同様の処理ステップについては図２５と同じステップ番号を付し、詳細な説明を省略する。
【０２５５】
図２６に示すように、本変形例においては、ステップＳ４２の次にステップＳ５１の処理が実行される。ステップＳ５１において、処理部１０２は、特定された映像コンテンツに基づいて続きの映像コンテンツを特定する。例えば、サーバ２０１は、映像コンテンツとそれに対する続きの映像コンテンツとを関連づけた映像データベースを用意しておく。そして、処理部１０２は、当該映像データベースを参照することによって続きの映像コンテンツの特定を行うようにしてもよい。ステップＳ５１の処理の次に上記ステップＳ４３の処理が実行される。
【０２５６】
また、本変形例においては、ステップＳ４６の次にステップＳ５２の処理が実行される。ステップＳ５２において、処理部１０２は、上記続きの映像コンテンツを端末システムへ送信する。ステップＳ５２における具体的な送信処理は、上記ステップＳ１５あるいはＳ４３の処理と同様であってもよい。ステップＳ５２の処理の終了後、処理部１０２は提示情報送信処理を終了する。
【０２５７】
図２７は、第２の実施形態の変形例においてゲーム装置３で実行される情報提示処理の流れの一例を示すフローチャートである。なお、図２７において、図２４と同様の処理ステップについては図２５と同じステップ番号を付し、詳細な説明を省略する。
【０２５８】
本変形例においては、上記ステップＳ３６の判定結果が肯定である場合、ステップＳ５５の処理が実行される。ステップＳ５５において、ＣＰＵ１０は、サーバ２０１から続きの映像コンテンツを受信する。ステップＳ５５における具体的な受信処理は、上記ステップＳ２２あるいはＳ３３の処理と同様であってもよい。また、図２７においては、ステップＳ５５の処理は、最初の映像コンテンツの再生が終了した後（ステップＳ３６の処理後）で実行されるものとするが、最初の映像コンテンツの再生中（ステップＳ３３〜Ｓ３５の処理ループの実行中）に実行されてもよい。ステップＳ５５の次にステップＳ５６の処理が実行される。
【０２５９】
ステップＳ５６において、ＣＰＵ１０は、例えば上記ステップＳ６および／またはＳ７の処理と同様の方法で、続きの映像コンテンツを再生する。続きの映像コンテンツは、テレビ２において再生されてもよいし、端末装置７において再生されてもよいし、両方において再生されてもよい。また、続きの映像コンテンツがテレビ２において再生される場合、端末装置７においては提示情報が再生されてもよい。
【０２６０】
上記の変形例によれば、情報処理システムは、テレビ２において映像コンテンツの終了後において、その映像コンテンツの続きの映像コンテンツをユーザに提供することができる。これによって、ユーザに有益な情報を提示することができる。
【０２６１】
（映像コンテンツの統計情報を生成する変形例）
また、第２の実施形態の他の変形例においては、サーバ２０１は、特定された映像コンテンツの統計情報を生成してもよい。ここで、統計情報は、過去の所定期間において特定された映像コンテンツの履歴から得られる統計情報である。統計情報の具体例としては、映像コンテンツのジャンル毎に視聴頻度を表した情報や、放送局毎に視聴頻度を表した情報等が考えられる。
【０２６２】
図２８は、第２の実施形態の他の変形例においてサーバ２０１で実行される提示情報送信処理の流れの一例を示すフローチャートである。なお、図２８において、図２５と同様の処理ステップについては図２５と同じステップ番号を付し、詳細な説明を省略する。
【０２６３】
図２８に示すように、本変形例においては、ステップＳ４２の次にステップＳ６１の処理が実行される。ステップＳ６１において、処理部１０２は、特定された映像コンテンツの履歴に基づいて統計情報を生成する。なお、本変形例においては、ステップＳ４２において処理部１０２は、特定した映像コンテンツの情報を履歴として保存しておく。この履歴に基づいて統計情報が生成される。ステップＳ６１の次にステップＳ４３の処理が実行される。
【０２６４】
本変形例においては、ステップＳ４６において、処理部１０２は、上記統計情報が提示情報に含めて端末システムに送信してもよい。これによって、ユーザに統計情報を提示することができる。また、ステップＳ４３において、処理部１０２は、上記統計情報に基づいて提示情報を特定するようにしてもよい。これによって、過去の映像コンテンツの視聴履歴を反映して提示情報を特定することができ、ユーザにとってより適切な提示情報を特定することができる。
【０２６５】
（映像コンテンツ以外の音を検知する変形例）
上記第２の実施形態においては、端末システム（端末装置７）の周囲で再生される映像コンテンツの音を検知することを目的として、サーバ２０１は映像コンテンツを特定する処理を実行した。ここで、他の実施形態においては、端末システムは、映像コンテンツ以外の音を検知することを目的としてもよい。例えば、端末システムは、ユーザの会話の音声を検知し、音情報をサーバ２０１へ送信してもよい。このとき、サーバ２０１は、音情報からユーザの会話内容を特定してもよい。例えば、サーバ２０１は、会話中のいくつかの単語を認識してもよい。そして、サーバ２０１は、特定した内容に応じた提示情報を特定し、提示情報を端末システムに送信してもよい。これによれば、映像コンテンツに付加される情報に限らず、ユーザの会話に応じた有益な情報をユーザに対して提示することができる。
【０２６６】
（映像コンテンツを特定する変形例）
上記第２の実施形態においては、サーバ２０１は、端末側の所定の表示装置（テレビ２）で再生されている映像コンテンツを、マイク音の音情報を用いて特定した。ここで、他の実施形態においては、映像コンテンツの特定は、他の方法で行われてもよい。例えば、端末システムは、端末装置７を用いた所定の表示装置（テレビ２）に対する操作を表す操作情報をサーバ２０１に送信してもよく、このとき、サーバ２０１は、操作情報に基づいて映像コンテンツを特定してもよい。具体的には、端末装置７を用いてテレビ２のチャンネルを変更する操作が行われた場合、端末システムは、チャンネル変更操作を表す操作情報をサーバ２０１へ送信する。サーバ２０１は、チャンネル変更操作から変更先のチャンネルのテレビ番組を特定し、特定されたテレビ番組に応じた提示情報を端末システムへ送信する。これによっても上記第２の実施形態と同様、映像コンテンツに適した提示情報をユーザに提供することができる。
【０２６７】
（端末システムの構成に関する変形例）
上記第２の実施形態においては、音情報から映像コンテンツを特定する処理をサーバが行った。ここで、他の実施形態においては、上記処理は端末側で行われてもよい。例えば、端末システムは、映像データベース（の一部）をサーバから取得し、取得した映像データベースを用いて映像コンテンツを特定してもよい。なお、このとき、提示情報を特定する処理は、サーバ側で行われてもよいし、端末側で行われてもよい。提示情報を特定する処理がサーバ側で行われる場合、端末システムは映像コンテンツの識別情報をサーバへ送信し、サーバは当該識別情報に基づいて提示情報を特定してもよい。提示情報を特定する処理が端末側で行われる場合、端末システムは、提示情報データベース（の一部）をサーバから取得し、取得した提示情報データベースを用いて提示情報を特定してもよい。
【０２６８】
（端末システムの構成に関する変形例）
上記第１および第２の実施形態においては、端末システム（ゲームシステム１）において実行される一連の情報処理（図１２または図２４）をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、当該情報処理の一部（例えば、端末用画像の生成処理）または全部を端末装置７が実行するようにしてもよい。なお、上記情報処理の全部を端末装置７が実行する場合には、端末装置７が送信サーバ９１と通信を行い、ゲームシステム１がゲーム装置３を有していない構成としてもよい。また、他の実施形態では、ネットワーク（広域ネットワークおよび／またはローカルネットワーク）によって互いに通信可能な複数の情報処理装置を有するシステムにおいて、当該複数の情報処理装置が上記情報処理を分担して実行するようにしてもよい。例えば、クラウド型あるいは分散型の情報処理システムによって上記情報処理が実行されてもよい。
【０２６９】
なお、複数の情報処理装置において上記の情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、情報処理が複雑になってしまう。これに対して、第１および第２の実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する処理を行う場合（つまり、端末装置７がシンクライアント端末として機能する場合）には、複数の情報処理装置間で情報処理の同期をとる必要がなく、情報処理を簡易化することができる。また、テレビ２と端末装置７を使うゲームシステム１があれば、第１の実施形態によって当該ゲームシステム１を映像コンテンツと広告の視聴に適用することができ、システムの提供が容易である。
【０２７０】
また、第２の実施形態においても第１の実施形態と同様、端末システムは複数の端末装置７を含んでいてもよい。端末装置が複数である場合、各端末装置には、互いに異なる提示情報が表示されてもよいし、同じ提示情報が表示されてもよい。端末装置が複数である場合には、より多様な情報をユーザに対して提供することができる。
【産業上の利用可能性】
【０２７１】
以上のように、上記実施形態は、ユーザに対して有益な情報を提供すること等を目的として、例えばサーバ側から端末側に映像コンテンツとともに提示されるべき情報を提供する情報処理システム等として利用することが可能である。
【符号の説明】
【０２７２】
１  ゲームシステム
２  テレビ
３  ゲーム装置
７  端末装置
１０  ＣＰＵ
１１ｅ  内部メインメモリ
１２  外部メインメモリ
５１  ＬＣＤ
５２  タッチパネル
９１  送信サーバ
９２  ネットワーク
１０１  通信部
１０２  処理部
１０３  映像格納部
１０４  広告格納部
１１０  制御プログラム
１１１  操作データ
１１２  映像情報データ
２００  情報処理システム
２０１  サーバ
２０２  データベース格納部
２１１  制御プログラム
２１２  マイク音データ
【図１】
2013110736.tif 000003
【図２】
2013110736.tif 000004
【図３】
2013110736.tif 000005
【図４】
2013110736.tif 000006
【図５】
2013110736.tif 000007
【図６】
2013110736.tif 000008
【図７】
2013110736.tif 000009
【図８】
2013110736.tif 000010
【図９】
2013110736.tif 000011
【図１０】
2013110736.tif 000012
【図１１】
2013110736.tif 000013
【図１２】
2013110736.tif 000014
【図１３】
2013110736.tif 000015
【図１４】
2013110736.tif 000016
【図１５】
2013110736.tif 000017
【図１６】
2013110736.tif 000018
【図１７】
2013110736.tif 000019
【図１８】
2013110736.tif 000020
【図１９】
2013110736.tif 000021
【図２０】
2013110736.tif 000022
【図２１】
2013110736.tif 000023
【図２２】
2013110736.tif 000024
【図２３】
2013110736.tif 000025
【図２４】
2013110736.tif 000026
【図２５】
2013110736.tif 000027
【図２６】
2013110736.tif 000028
【図２７】
2013110736.tif 000029
【図２８】
2013110736.tif 000030