(57)【特許請求の範囲】
【請求項１】
据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムであって、
前記情報処理装置は、
ネットワークに接続可能であり、当該ネットワークを介して所定の外部装置と通信を行う通信部と、
前記通信部によって受信された受信データに含まれる画像を、前記可搬型表示装置とは異なる所定の表示装置へ出力する第１画像出力部と、
前記画像に関する操作を行うための操作画像を前記可搬型表示装置へ出力する第２画像出力部と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得部と、
前記所定の表示装置に表示される画像に関する情報処理を前記操作データに基づいて実行する情報処理部とを備え、
前記可搬型表示装置は、
前記可搬型表示装置が有する操作部から出力されるデータを前記操作データとして送信する操作データ送信部と、
前記情報処理装置から前記操作画像を受信する第２画像受信部と、
受信された前記操作画像を表示する表示部とを備え、
前記通信部は、前記受信データとして、ユーザが選択可能な画像の表示領域を含む端末用画像を表示するためのデータを受信し、
前記第１画像出力部は、前記ネットワークを介して受信される、ユーザによって選択された画像を前記所定の表示装置へ出力し、
前記第２画像出力部は、前記端末用画像を前記可搬型表示装置へ出力し、
前記第１画像出力部は、前記所定の表示装置への動画の出力中に、ユーザによって選択された他の動画のデータが前記通信部によって受信された場合、出力中の動画が終了した後で、当該他の動画の出力を開始する、情報処理システム。
【請求項２】
前記通信部は、複数種類の画像を表すデータを受信し、
前記第２画像出力部は、前記複数種類の画像を表す操作画像を前記可搬型表示装置へ出力し、
前記情報処理部は、前記複数種類の画像から前記所定の表示装置に表示すべき画像を前記操作データに基づいて選択する処理を前記情報処理として実行し、
前記通信部は、前記情報処理部によって選択された画像を取得する要求を前記外部装置へ送信するとともに、当該要求に応じて前記外部装置から送信されてくる当該画像のデータを受信し、
前記第１画像出力部は、選択された画像を前記所定の表示装置へ出力する、請求項１に記載の情報処理システム。
【請求項３】
前記情報処理部は、前記操作データに基づいて、ユーザによって入力された検索キーワードを取得し、
前記通信部は、取得された検索キーワードを前記外部装置へ送信するとともに、当該検索キーワードによる検索結果データとして、前記複数種類の画像を表すデータを当該外部装置から受信し、
前記第２画像出力部は、前記検索結果データが受信された場合、検索結果を表す画像として、前記複数種類の画像を表す操作画像を出力する、請求項２に記載の情報処理システム。
【請求項４】
前記通信部は、複数の動画を記憶するサーバから、複数種類の動画を表すデータを取得し、
前記第２画像出力部は、前記複数種類の動画を表すデータが取得された場合、前記複数種類の動画を表す操作画像を前記可搬型表示装置へ出力し、
前記通信部は、前記情報処理によって選択された動画を取得する要求を前記サーバに対して行うとともに、当該動画のデータを前記サーバから受信し、
前記第１画像出力部は、受信された動画を前記所定の表示装置へ出力し、
前記第２画像出力部は、前記受信された動画が前記所定の表示装置に出力される場合、当該動画の再生に関する操作を少なくとも表す操作画像を前記可搬型表示装置へ出力する、請求項２または請求項３のいずれか１項に記載の情報処理システム。
【請求項５】
前記情報処理部は、前記第１画像出力部によって動画が前記所定の表示装置へ出力されているか否かにかかわらず、前記所定の表示装置に表示すべき動画を選択する処理を実行し、
前記通信部は、前記情報処理部によって選択された動画を取得する要求を前記外部装置へ送信するとともに、当該要求に応じて前記外部装置から送信されてくる当該動画のデータを受信する、請求項４に記載の情報処理システム。
【請求項６】
前記通信部は、複数の商品に関する情報を記憶するサーバから、複数種類の商品の画像を示すデータを受信し、
前記第２画像出力部は、前記複数種類の商品の画像を表す操作画像を前記可搬型表示装置へ出力し、
前記情報処理部は、前記複数種類の商品の画像から前記所定の表示装置に表示すべき商品の画像を選択し、
前記第１画像出力部は、選択された商品の画像を前記所定の表示装置へ出力する、請求項２または請求項３に記載の情報処理システム。
【請求項７】
前記情報処理部は、商品を購入するための所定の情報の入力を受け付け、
前記第２画像出力部は、入力された情報を含む画像を前記可搬型表示装置へ出力する、請求項６に記載の情報処理システム。
【請求項８】
前記可搬型表示装置は、カメラを備えており、
前記通信部は、カメラを備える外部装置から当該カメラによって撮像された動画を受信するとともに、前記可搬型表示装置のカメラによって撮像された動画を当該外部装置へ送信する、請求項１に記載の情報処理システム。
【請求項９】
前記通信部は、前記ネットワークを介して複数の外部装置と通信を行い、それぞれの外部装置から動画を受信し、
前記第１画像出力部は、前記複数の外部装置から受信されるそれぞれの動画を含む画像を出力する、請求項８記載の情報処理システム。
【請求項１０】
前記通信部は、所定の画像および当該所定の画像に関連付けられる文字情報のデータを受信し、
前記第１画像出力部は、前記所定の画像を前記所定の表示装置へ出力し、
前記第２画像出力部は、前記文字情報を含む操作画像を前記可搬型表示装置へ出力する、請求項１に記載の情報処理システム。
【請求項１１】
前記情報処理部は、前記第１画像出力部が画像を前記所定の表示装置へ出力する場合、画像が出力される前に、画像が表示可能な状態となるように前記所定の表示装置を制御する、請求項１から請求項１０のいずれか１項に記載の情報処理システム。
【請求項１２】
前記所定の表示装置は、テレビ放送を受信してテレビ放送の映像を表示可能であり、
前記通信部は、所定の外部装置からテレビ放送の番組表のデータを受信し、
前記第２画像出力部は、受信された番組表を含む操作画像を前記可搬型表示装置へ出力し、
前記情報処理部は、前記操作画像に含まれる番組表のうちから前記操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように前記所定の表示装置に対する制御を行う、請求項１から請求項１１のいずれか１項に記載の情報処理システム。
【請求項１３】
前記可搬型表示装置は、赤外線信号を発光する赤外線発光部を備え、
前記所定の表示装置は、赤外線信号を受光する赤外線受光部を備え、
前記情報処理部は、前記所定の表示装置を制御するための制御指令を前記赤外線発光部に出力させるための指示を前記可搬型表示装置に出力する、請求項１１または請求項１２に記載の情報処理システム。
【請求項１４】
前記情報処理装置は、前記所定の表示装置を制御する制御指令を有線または無線で前記所定の表示装置へ送信する、請求項１１または請求項１２に記載の情報処理システム。
【請求項１５】
前記第２画像出力部は、ユーザによって所定の操作が行われたことに応じて、文字を入力可能なキー画像を含む文字入力画像を前記可搬型表示装置へ出力する、請求項１から請求項１４のいずれか１項に記載の情報処理システム。
【請求項１６】
据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムであって、
前記情報処理装置は、
所定の外部装置からネットワークを介してテレビ放送の番組表のデータを受信する番組表受信部と、
前記番組表を含む操作画像を前記可搬型表示装置へ出力する操作画像出力部と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得部と、
前記操作画像に含まれる番組表のうちから前記操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように、テレビ放送を表示する所定の表示装置に対する制御を行う制御部とを備え、
前記可搬型表示装置は、
前記可搬型表示装置が有する操作部から出力されるデータを前記操作データとして送信する操作データ送信部と、
前記情報処理装置から前記操作画像を受信する第２画像受信部と、
受信された前記操作画像を表示する表示部とを備え、
前記情報処理装置は、
前記選択された番組が所定の条件を満たす場合、当該番組を取得する要求を所定の外部装置へ行うとともに、ネットワーク経由で当該番組を取得する番組取得部と、
前記選択された番組がネットワークを介して取得された場合、当該番組の画像および音声を前記所定の表示装置へ出力する番組出力部とをさらに備える、情報処理システム。
【請求項１７】
ユーザによる操作入力が可能な可搬型表示装置と通信可能な情報処理装置であって、
ネットワークに接続可能であり、当該ネットワークを介して所定の外部装置と通信を行う通信部と、
前記通信部によって受信された受信データに含まれる画像を、前記可搬型表示装置とは異なる所定の表示装置へ出力する第１画像出力部と、
前記画像に関する操作を行うための操作画像を前記可搬型表示装置へ出力する第２画像出力部と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得部と、
前記所定の表示装置に表示される画像に関する情報処理を前記操作データに基づいて実行する情報処理部とを備え、
前記通信部は、前記受信データとして、ユーザが選択可能な画像の表示領域を含む端末用画像を表示するためのデータを受信し、
前記第１画像出力部は、前記ネットワークを介して受信される、ユーザによって選択された画像を前記所定の表示装置へ出力し、
前記第２画像出力部は、前記端末用画像を前記可搬型表示装置へ出力し、
前記第１画像出力部は、前記所定の表示装置への動画の出力中に、ユーザによって選択された他の動画のデータが前記通信部によって受信された場合、出力中の動画が終了した後で、当該他の動画の出力を開始する、情報処理装置。
【請求項１８】
ユーザによる操作入力が可能な可搬型表示装置と通信可能な情報処理装置であって、
所定の外部装置からネットワークを介してテレビ放送の番組表のデータを受信する番組表受信部と、
前記番組表を含む操作画像を前記可搬型表示装置へ出力して表示させる操作画像出力部と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得部と、
前記操作画像に含まれる番組表のうちから前記操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように、テレビ放送を表示する所定の表示装置に対する制御を行う制御部とを備え、
前記選択された番組が所定の条件を満たす場合、当該番組を取得する要求を所定の外部装置へ行うとともに、ネットワーク経由で当該番組を取得する番組取得部と、
前記選択された番組がネットワークを介して取得された場合、当該番組の画像および音声を前記所定の表示装置へ出力する番組出力部とをさらに備える、情報処理装置。
【請求項１９】
ユーザによる操作入力が可能な可搬型表示装置と通信可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
前記情報処理装置が接続可能なネットワークを介して所定の外部装置と通信を行うネットワーク通信手段と、
前記ネットワーク通信手段によって前記情報処理装置で受信された受信データに含まれる画像を、前記可搬型表示装置とは異なる所定の表示装置へ出力する第１画像出力手段と、
前記画像に関する操作を行うための操作画像を前記可搬型表示装置へ出力する第２画像出力手段と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得手段と、
前記所定の表示装置に表示される画像に関する情報処理を前記操作データに基づいて実行する情報処理手段として前記コンピュータを機能させ、
前記ネットワーク通信手段は、前記受信データとして、ユーザが選択可能な画像の表示領域を含む端末用画像を表示するためのデータを受信し、
前記第１画像出力手段は、前記ネットワークを介して受信される、ユーザによって選択された画像を前記所定の表示装置へ出力し、
前記第２画像出力手段は、前記端末用画像を前記可搬型表示装置へ出力し、
前記第１画像出力手段は、前記所定の表示装置への動画の出力中に、ユーザによって選択された他の動画のデータが前記通信部によって受信された場合、出力中の動画が終了した後で、当該他の動画の出力を開始する、情報処理プログラム。
【請求項２０】
ユーザによる操作入力が可能な可搬型表示装置と通信可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の外部装置からネットワークを介してテレビ放送の番組表のデータを取得する番組表取得手段と、
前記番組表を含む操作画像を前記可搬型表示装置へ出力する操作画像出力手段と、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得手段と、
前記操作画像に含まれる番組表のうちから前記操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように、テレビ放送を表示する所定の表示装置に対する制御を行う制御手段として前記コンピュータを機能させ、
前記選択された番組が所定の条件を満たす場合、当該番組を取得する要求を所定の外部装置へ行うとともに、ネットワーク経由で当該番組を取得する番組取得手段と、
前記選択された番組がネットワークを介して取得された場合、当該番組の画像および音声を前記所定の表示装置へ出力する番組出力手段として前記コンピュータをさらに機能させる、情報処理プログラム。
【請求項２１】
据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムにおいて実行される画像表示方法であって、
前記情報処理装置は、
前記情報処理装置が接続可能なネットワークを介して所定の外部装置から受信された受信データに含まれる画像を、前記可搬型表示装置とは異なる所定の表示装置へ出力する第１画像出力ステップと、
前記画像に関する操作を行うための操作画像を前記可搬型表示装置へ出力する第２画像出力ステップと、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得ステップと、
前記所定の表示装置に表示される画像に関する情報処理を前記操作データに基づいて実行する情報処理ステップとを実行し、
前記可搬型表示装置は、
前記可搬型表示装置が有する操作部から出力されるデータを前記操作データとして送信する操作データ送信ステップと、
前記情報処理装置から前記操作画像を受信する第２画像受信ステップと、
受信された前記操作画像を表示する表示ステップとを実行し、
前記情報処理装置は、前記受信データとして、ユーザが選択可能な画像の表示領域を含む端末用画像を表示するためのデータを受信し、
前記第１画像出力ステップにおいて、前記ネットワークを介して受信される、ユーザによって選択された画像が前記所定の表示装置へ出力され、
前記第２画像出力ステップにおいて、前記端末用画像が前記可搬型表示装置へ出力され、
前記第１画像出力ステップにおいては、前記所定の表示装置への動画の出力中に、ユーザによって選択された他の動画のデータが前記通信部によって受信された場合、出力中の動画が終了した後で、当該他の動画の出力が開始される、画像表示方法。
【請求項２２】
据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムにおいて実行される画像表示方法であって、
前記情報処理装置は、
所定の外部装置からネットワークを介してテレビ放送の番組表のデータを受信する番組表受信ステップと、
前記番組表を含む操作画像を前記可搬型表示装置へ出力する操作画像出力ステップと、
前記操作画像に対する操作を表す操作データを前記可搬型表示装置から取得する操作データ取得ステップと、
前記操作画像に含まれる番組表のうちから前記操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように、テレビ放送を表示する所定の表示装置に対する制御を行う制御ステップとを実行し、
前記可搬型表示装置は、
前記可搬型表示装置が有する操作部から出力されるデータを前記操作データとして送信する操作データ送信ステップと、
前記情報処理装置から前記操作画像を受信する第２画像受信ステップと、
受信された前記操作画像を表示する表示ステップとを実行し、
前記情報処理装置は、
前記選択された番組が所定の条件を満たす場合、当該番組を取得する要求を所定の外部装置へ行うとともに、ネットワーク経由で当該番組を取得する番組取得ステップと、
前記選択された番組がネットワークを介して取得された場合、当該番組の画像および音声を前記所定の表示装置へ出力する番組出力ステップとをさらに実行する、画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの表示装置に画像を出力するための情報処理システム、情報処理装置、情報処理プログラム、および画像表示方法に関する。
【背景技術】
【０００２】
従来、インターネットから取得したウェブページ等をテレビを用いて閲覧する技術がある。例えば、非特許文献１に記載の技術では、ゲーム装置によってインターネットにアクセスし、インターネット上のウェブページをテレビに表示することが可能である。これによって、ユーザは、一般的なパーソナルコンピュータに用いられるモニタに比べて画面が大きなテレビでウェブページを閲覧することができる。例えば、動画や静止画といった画像を含むウェブページをテレビに表示することによって、複数人でも画像を見やすくなり、また、迫力のある画像を提供することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Ｗｉｉチャンネル  インターネットチャンネル”、［ｏｎｌｉｎｅ］、任天堂、［２０１１年２月２３日検索］、インターネット＜ＵＲＬ：http://www.nintendo.co.jp/wii/features/internet/＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１に記載の技術は、ウェブページをテレビに単に表示するものであるので、見やすく操作性の良い適切な画像を提供することができない場合があった。例えば動画閲覧サイトで提供される動画をテレビで閲覧する場合、テレビには、閲覧する動画以外にも、動画の再生等を操作するための画像や、他の動画のサムネイル画像が配置されたウェブページが表示される。この場合、テレビの画面に動画を大きく表示することができないので、ユーザは動画に対する没入感を得にくく、迫力のある動画を提供することができない。特に、複数人で視聴する場合における操作者以外のユーザにとっては、動画以外の画像は邪魔であり、見やすい動画を提供することができない。また、動画をテレビの画面いっぱいに表示する方法も考えられるが、この方法では、動画の再生中においては操作を行うことができなくなり、操作が行いにくくなる。なお、上記の問題は、動画閲覧サイトに限らず、画像とそれに付随する他の画像（操作用の画像等）とをインターネット等のネットワークから取得して表示装置（テレビ）に表示する場合には生じ得る問題である。
【０００５】
それ故、本発明の目的は、画像をより見やすく提供するとともに、画像に関する操作をユーザが容易に行うことができる情報処理システム、情報処理装置、情報処理プログラム、および画像表示方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の（１）〜（１７）の構成を採用した。
【０００７】
（１）
本発明の一例は、据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムである。
情報処理装置は、通信部と、第１画像出力部と、第２画像出力部と、操作データ取得部と、情報処理部とを備える。通信部は、ネットワークに接続可能であり、当該ネットワークを介して所定の外部装置と通信を行う。第１画像出力部は、通信部によって受信された受信データに含まれる画像を、可搬型表示装置とは異なる所定の表示装置へ出力する。第２画像出力部は、画像に関する操作を行うための操作画像を可搬型表示装置へ出力する。操作データ取得部は、操作画像に対する操作を表す操作データを可搬型表示装置から取得する。情報処理部は、所定の表示装置に表示される画像に関する情報処理を操作データに基づいて実行する。
可搬型表示装置は、操作データ送信部と、第２画像受信部と、表示部とを備える。操作データ送信部は、可搬型表示装置が有する操作部から出力されるデータを操作データとして送信する。第２画像受信部は、情報処理装置から操作画像を受信する。表示部は、受信された操作画像を表示する。
通信部は、前記受信データとして、ユーザが選択可能な画像の表示領域を含む端末用画像を表示するためのデータを受信する。第１画像出力部は、ネットワークを介して受信される、ユーザによって選択された画像を所定の表示装置へ出力する。第２画像出力部は、端末用画像を可搬型表示装置へ出力する。
【０００８】
上記「情報処理装置」は、後述する実施形態におけるゲーム装置の他、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「可搬型表示装置」は、操作データを情報処理装置へ出力し、情報処理装置からの画像を受信して表示する機能を有していればよい。なお、「可搬型」とは、ユーザが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「所定の外部装置」は、ネットワークを介して情報処理装置と通信可能であり、ゲーム装置３に対して画像を提供する装置であればよく、例えば、Ｗｅｂサーバや、情報処理装置と通信を行うパーソナルコンピュータ等であってもよい。
上記「所定の表示装置」は、後述する実施形態のようなテレビの他、任意の表示装置を含む概念である。
上記「画像に関する操作」とは、所定の表示装置に表示される画像に関する操作である。「画像に関する操作」には、例えば、所定の表示装置に表示すべき画像を選択する操作、画像を拡大／縮小する操作、（画像が動画である場合に）動画を再生したり一時停止したりする操作、画像を保存する操作等が含まれる。
上記「操作画像」は、上記「画像に関する操作」を行うために用いられる画像を含むものであればよい。例えば、「操作画像」は、所定の表示装置に表示される画像に対する何らかの操作を行うためのボタン画像や、所定の表示装置に表示される画像のサムネイル画像を含むものであってもよい。
上記「操作画像に対する操作」とは、操作画像が表示される画面にタッチする操作（画面にタッチパネルが設けられる場合）や、操作画像内の位置をカーソルで指定する操作等を含む概念である。
上記「画像に関する情報処理」には、例えば、所定の表示装置に表示すべき画像を選択する処理や、動画を再生したり一時停止したりする処理や、画像を拡大・縮小する処理が含まれる。
【０００９】
上記（１）の構成によれば、所定の表示装置に画像が表示されるとともに、当該画像に関する操作画像が可搬型表示装置に表示される。したがって、所定の表示装置として比較的画面の大きいものを用いることによって、ユーザは、所定の表示装置に表示される画像を、より見やすく、複数人での視聴に適した形で見ることができる。また、操作に関する画像は可搬型表示装置に表示されるので、所定の表示装置に表示される画像に対する没入感を損ねることなく、ユーザに画像を提供することができる。また、所定の表示装置に表示される画像に関する操作は可搬型表示装置によって行われるので、ユーザは、手元の可搬型表示装置を用いて容易に操作を行うことができる。
【００１０】
また、上記（１）の構成によれば、可搬型表示装置は画像を受信して表示する機能を有していればよいので、可搬型表示装置はいわゆるシンクライアント端末として機能すればよい。これによれば、情報処理装置と可搬型表示装置との両方で情報処理を実行する場合に比べて、処理の同期をとる必要がないので、情報処理を簡易化することができる。そのため、情報処理装置で実行されるアプリケーション（プログラム）の作成も容易になる。また、情報処理が複雑なものになったとしても、可搬型表示装置側の処理負荷は変わらず、可搬型表示装置には高い情報処理能力が要求されない。そのため、ユーザが手に持って使用する可搬型表示装置の小型化・軽量化が容易になり、ひいては製造も容易になり、低コスト化を図ることもできる。
【００１１】
（２）
通信部は、複数種類の画像を表すデータを受信してもよい。このとき、第２画像出力部は、複数種類の画像を表す操作画像を可搬型表示装置へ出力する。情報処理部は、複数種類の画像から所定の表示装置に表示すべき画像を操作データに基づいて選択する処理を情報処理として実行する。通信部は、情報処理部によって選択された画像を取得する要求を外部装置へ送信するとともに、当該要求に応じて外部装置から送信されてくる当該画像のデータを受信する。第１画像出力部は、選択された画像を所定の表示装置へ出力する。
【００１２】
上記「複数種類の画像を表す操作画像」とは、複数種類の各画像を表す何らかの情報を含む画像であればよい。例えば、上記「複数種類の画像を表す操作画像」は、当該各画像自体を含む操作画像であってもよいし、当該各画像のサムネイル画像を含む操作画像であってもよいし、当該各画像を識別する情報（タイトルや識別番号等）を含む操作画像であってもよい。
【００１３】
上記（２）の構成によれば、可搬型表示装置には、複数種類の画像を表す操作画像が表示され、ユーザは、操作画像が表す複数種類の画像から、所定の表示装置に表示する画像を指定する操作を行うことができる。これによれば、ユーザは、所定の表示装置に表示する画像を選択する操作を、端末装置７を用いて容易に行うことができる。
【００１４】
（３）
情報処理部は、操作データに基づいて、ユーザによって入力された検索キーワードを取得してもよい。このとき、通信部は、取得された検索キーワードを外部装置へ送信するとともに、当該検索キーワードによる検索結果データとして、複数種類の画像を表すデータを当該外部装置から受信する。第２画像出力部は、検索結果データが受信された場合、検索結果を表す画像として、複数種類の画像を表す操作画像を出力する。
【００１５】
上記（３）の構成によれば、ユーザは、所定の表示装置に表示する画像に関する検索結果を可搬型表示装置によって確認することができる。さらに、検索結果に含まれる画像をユーザが選択する操作を行うことによって、選択された画像が所定の表示装置に表示される。これによって、検索結果から、表示したい画像を選択する操作の操作性を向上することができる。
【００１６】
（４）
通信部は、複数の動画を記憶するサーバから、複数種類の動画を表すデータを取得してもよい。このとき、第２画像出力部は、複数種類の動画を表すデータが取得された場合、複数種類の動画を表す操作画像を可搬型表示装置へ出力する。通信部は、情報処理によって選択された動画を取得する要求をサーバに対して行うとともに、当該動画のデータをサーバから受信する。第１画像出力部は、受信された動画を所定の表示装置へ出力する。第２画像出力部は、受信された動画が所定の表示装置に出力される場合、当該動画の再生に関する操作を少なくとも表す操作画像を可搬型表示装置へ出力する。
【００１７】
上記「動画の再生に関する操作」とは、動画の再生、一時停止、停止、早送り、または巻き戻し等に関する操作である。
【００１８】
上記（４）の構成によれば、動画を提供するサーバから取得される動画を所定の表示装置を用いて再生することができる。また、動画が再生される際には、ユーザは、動画の再生に関する操作を可搬型表示装置を用いて行うことができるので、当該操作を容易に行うことができる。
【００１９】
（５）
情報処理部は、第１画像出力部によって動画が所定の表示装置へ出力されているか否かにかかわらず、所定の表示装置に表示すべき動画を選択する処理を実行してもよい。このとき、通信部は、情報処理部によって選択された動画を取得する要求を外部装置へ送信するとともに、当該要求に応じて外部装置から送信されてくる当該動画のデータを受信する。第１画像出力部は、所定の表示装置への動画の出力中に、通信部によって他の動画のデータが受信された場合、出力中の動画が終了した後で、当該他の動画の出力を開始する。
【００２０】
上記（５）の構成によれば、所定の表示装置における動画の再生中において、新たな動画を取得する要求が生成されることが可能である。そして、当該新たな動画のデータが受信されると、当該新たな動画は、現在再生中の動画が終了した後で再生される。したがって、上記（５）の構成によれば、ユーザは、ある動画の再生中に、その後に再生する動画を選択し、動画の再生を予約することができる。これによって、動画再生の操作性をより向上することができる。
【００２１】
（６）
通信部は、複数の商品に関する情報を記憶するサーバから、複数種類の商品の画像を示すデータを受信してもよい。このとき、第２画像出力部は、複数種類の商品の画像を表す操作画像を可搬型表示装置へ出力する。情報処理部は、複数種類の商品の画像から所定の表示装置に表示すべき商品の画像を選択する。第１画像出力部は、選択された商品の画像を所定の表示装置へ出力する。
【００２２】
上記（６）の構成によれば、複数種類の商品の画像から所定の表示装置に表示すべき商品の画像が選択され、選択された商品の画像が所定の表示装置に表示される。したがって、上記（６）の構成によれば、例えばショッピングサイト等のサーバから取得された商品の画像を所定の表示装置によってより見やすくユーザに提供することができるとともに、ユーザは当該画像に関する操作を可搬型表示装置によって容易に行うことができる。
【００２３】
（７）
情報処理部は、商品を購入するための所定の情報の入力を受け付けてもよい。このとき、第２画像出力部は、入力された情報を含む画像を可搬型表示装置へ出力する。
【００２４】
上記「商品を購入するための所定の情報」とは、商品を購入する際にユーザが入力する必要のある各種の情報であり、例えば、ユーザのＩＤ、パスワード、カード番号等を含む概念である。
【００２５】
上記（７）の構成によれば、例えばショッピングサイトで商品を購入する場合において、商品を購入するために入力される所定の情報は、可搬型表示装置に表示される。ここで、所定の情報は他人に見られてはいけない情報であるところ、上記（７）の構成によれば、当該所定の情報は購入者であるユーザのみが見ることができる可搬型表示装置に表示される。これによって、ユーザは、上記所定の情報を他人に見られることなく、ショッピングサイトで安全に買い物を行うことができる。
【００２６】
（８）
可搬型表示装置は、カメラを備えていてもよい。このとき、通信部は、カメラを備える外部装置から当該カメラによって撮像された動画を受信するとともに、可搬型表示装置のカメラによって撮像された動画を当該外部装置へ送信する。
【００２７】
上記（８）の構成によれば、情報処理装置は、外部装置との間で動画を送受信することができる。つまり、上記（８）の構成によれば、例えばテレビ電話システム等、他の装置との間で画像を送受信するシステムにおいて、上記（１）の構成を適用することが可能であり、他の装置からの動画をより見やすく提供するとともに、動画に関する操作が容易になる。
【００２８】
（９）
通信部は、ネットワークを介して複数の外部装置と通信を行い、それぞれの外部装置から動画を受信してもよい。このとき、第１画像出力部は、複数の外部装置から受信されるそれぞれの動画を含む画像を出力する。
【００２９】
上記（９）の構成によれば、複数の外部装置と同時に動画の送受信を行うことができる。また、所定の表示装置として大画面のものを用いることによって、各外部装置からの動画を見やすく提供することができる。
【００３０】
（１０）
通信部は、所定の画像および当該所定の画像に関連付けられる文字情報のデータを受信してもよい。このとき、第１画像出力部は、所定の画像を所定の表示装置へ出力する。第２画像出力部は、文字情報を含む操作画像を可搬型表示装置へ出力する。
【００３１】
上記（１０）の構成によれば、所定の表示装置には所定の画像が表示されるとともに、可搬型表示装置には、当該所定の画像に関連付けられる文字情報が表示される。これによれば、可搬型表示装置を持つユーザは、所定の表示装置に表示される画像に関する説明や話をスムーズに行うことができる。また、所定の表示装置に表示される所定の画像（および可搬型表示装置に表示される文字情報）に関する操作を、可搬型表示装置を用いて容易に行うことができる。
【００３２】
（１１）
情報処理部は、第１画像出力部が画像を所定の表示装置へ出力する場合、画像が出力される前に、画像が表示可能な状態となるように所定の表示装置を制御してもよい。
【００３３】
上記（１１）の構成によれば、所定の表示装置は、画像が所定の表示装置へ出力される前に、当該画像が表示可能な状態となるように制御される。したがって、ユーザは、所定の表示装置に対する操作を行わなくてもよいので、画像を所定の表示装置に表示する操作がより容易になる。
【００３４】
（１２）
所定の表示装置は、テレビ放送を受信してテレビ放送の映像を表示可能であってもよい。このとき、通信部は、所定の外部装置からテレビ放送の番組表のデータを受信する。第２画像出力部は、受信された番組表を含む操作画像を可搬型表示装置へ出力する。情報処理部は、操作画像に含まれる番組表のうちから操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように所定の表示装置に対する制御を行う。
【００３５】
上記（１２）の構成によれば、テレビ放送の番組表が可搬型表示装置に表示され、ユーザは、当該番組表から番組を選択する操作によって、選択された番組を所定の表示装置に表示させることができる。つまり、ユーザは、番組表が表示される端末装置７を用いて所定の表示装置の選局操作を行うことができる。
【００３６】
（１３）
可搬型表示装置は、赤外線信号を発光する赤外線発光部を備えていてもよく、所定の表示装置は、赤外線信号を受光する赤外線受光部を備えていてもよい。このとき、情報処理部は、所定の表示装置を制御するための制御指令を赤外線発光部に出力させるための指示を可搬型表示装置に出力する。
【００３７】
上記（１３）の構成によれば、赤外線信号によって、可搬型表示装置によって所定の表示装置を容易に制御することができる。
【００３８】
（１４）
情報処理装置は、所定の表示装置を制御する制御指令を有線または無線で所定の表示装置へ送信してもよい。
【００３９】
上記（１４）の構成によれば、情報処理装置は、制御指令を送信することによって所定の表示装置を容易に制御することができる。
【００４０】
（１５）
第２画像出力部は、ユーザによって所定の操作が行われたことに応じて、文字を入力可能なキー画像を含む文字入力画像を可搬型表示装置へ出力してもよい。
【００４１】
上記（１５）の構成によれば、可搬型表示装置に文字入力画像が表示されることによって、ユーザは、可搬型表示装置によって文字入力を容易に行うことができる。
【００４２】
（１６）
本発明の他の一例は、据置型の情報処理装置と、ユーザによる操作入力が可能な可搬型表示装置とを含む情報処理システムである。
情報処理装置は、番組表受信部と、操作画像出力部と、操作データ取得部と、制御部とを備える。番組表受信部は、所定の外部装置からネットワークを介してテレビ放送の番組表のデータを受信する。操作画像出力部は、番組表を含む操作画像を可搬型表示装置へ出力する。操作データ取得部は、操作画像に対する操作を表す操作データを可搬型表示装置から取得する。制御部は、操作画像に含まれる番組表のうちから操作データに基づいて番組を選択し、選択された番組のチャンネルを選局するように、テレビ放送を表示する表示装置に対する制御を行う。
可搬型表示装置は、操作データ送信部と、第２画像受信部と、表示部とを備える。操作データ送信部は、可搬型表示装置が有する操作部から出力されるデータを操作データとして送信する。第２画像受信部は、情報処理装置から操作画像を受信する。表示部は、受信された操作画像を表示する。
【００４３】
上記（１６）の構成によれば、外部装置から取得されるテレビ放送の番組表が可搬型表示装置に表示され、表示される番組表から番組を選択する操作が行われると、選択された番組を表示するように、所定の表示装置の選局が制御される。これによれば、ユーザは、番組表が表示される端末装置７を用いて所定の表示装置の選局操作を行うことができる。
【００４４】
（１７）
また、情報処理装置は、番組取得部と、番組出力部とをさらに備えていてもよい。番組取得部は、選択された番組が所定の条件を満たす場合、当該番組を取得する要求を所定の外部装置へ行うとともに、ネットワーク経由で当該番組を取得する。番組出力部は、選択された番組がネットワークを介して取得された場合、当該番組の画像および音声を所定の表示装置へ出力する。
【００４５】
なお、本発明の別の一例は、上記（１）〜（１７）の情報処理システムにおける情報処理装置の形態であってもよい。また、本発明の別の一例は、情報装置のコンピュータを上記（１）〜（１７）における各部と同等の手段として機能させる情報処理プログラムの形態であってもよい。さらに、本発明の別の一例は、上記（１）〜（１７）の情報処理システムにおいて行われる画像表示方法の形態であってもよい。
【発明の効果】
【００４６】
以上のように、本発明によれば、外部から取得される画像を所定の表示装置に表示し、当該画像を操作するための操作画像を可搬型表示装置に表示することによって、画像をより見やすく提供するとともに、画像に関する操作をユーザが容易に行うことができる。
【図面の簡単な説明】
【００４７】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】ゲームシステム１と外部装置との接続関係と示すブロック図
【図１２】ゲーム装置３の基本的な処理動作を示すフローチャート
【図１３】第１実施例において端末装置７に表示される、動画検索サイトから取得されるウェブページの一例を示す図
【図１４】端末装置７に表示される、検索結果を表す画像の一例を示す図
【図１５】動画が再生される場合において端末装置７に表示される画像の一例を示す図
【図１６】動画が再生される場合においてテレビ２に表示される画像の一例を示す図
【図１７】ゲーム装置３の処理において用いられる各種データを示す図
【図１８】第１実施例においてゲーム装置３で実行される処理の流れを示すメインフローチャート
【図１９】図１８に示す送信処理（ステップＳ１７）の詳細な流れを示すフローチャート
【図２０】図１８に示す表示処理（ステップＳ１８）の詳細な流れを示すフローチャート
【図２１】文字入力画像が追加された端末用画像の一例を示す図
【図２２】第２実施例において端末装置７に表示される、ショッピングサイトから取得されるウェブページの一例を示す図
【図２３】第２実施例における表示処理（ステップＳ１８）の詳細な流れを示すフローチャート
【図２４】第３実施例においてテレビ２に表示される画像の一例を示す図
【図２５】第３実施例において端末装置７に表示される画像の一例を示す図
【図２６】第３実施例におけるゲーム装置３の処理において用いられる各種データを示す図
【図２７】第３実施例においてゲーム装置３で実行される処理の流れを示すフローチャート
【図２８】第４実施例におけるゲーム装置３の処理において用いられる各種データを示す図
【図２９】第４実施例においてゲーム装置３が実行する処理の流れを示すフローチャート
【図３０】第４実施例において端末装置７に表示されるＥＰＧの画像の一例を示す図
【発明を実施するための形態】
【００４８】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００４９】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００５０】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００５１】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００５２】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００５３】
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００５４】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００５５】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００５６】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００５７】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、ゲーム装置３は、テレビ２に表示する画像と、端末装置７に表示する画像との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００５８】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００５９】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００６０】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００６１】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００６２】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００６３】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６４】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ  Ｉｎｐｕｔ  Ｍｕｌｔｉｐｌｅ  Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００６５】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００６６】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００６７】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６８】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００６９】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００７０】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００７１】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００７２】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００７３】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００７４】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００７５】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００７６】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００７７】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００７８】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００７９】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ  Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００８０】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００８１】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００８２】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００８３】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００８４】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００８５】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００８６】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００８７】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００８８】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００８９】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００９０】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００９１】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００９２】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００９３】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００９４】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００９５】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００９６】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００９７】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００９８】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００９９】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【０１００】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【０１０１】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【０１０２】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【０１０３】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【０１０４】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【０１０５】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【０１０６】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【０１０７】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【０１０８】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【０１０９】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
【０１１０】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【０１１１】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１１２】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
【０１１３】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１１４】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【０１１５】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【０１１６】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１１７】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、電池７５、および、バイブレータ７９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１１８】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、およびバイブレータ７９に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１１９】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１２０】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１２１】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１２２】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１２３】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１２４】
バイブレータ７９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６５に接続される。ＵＩコントローラ６５の指示によりバイブレータ７９が作動することによって端末装置７に振動が発生する。これによって、端末装置７を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【０１２５】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１２６】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１２７】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１２８】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１２９】
赤外線通信モジュール７２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール７２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号を出力する機能とを備える。
【０１３０】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１３１】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ６６は、赤外線通信モジュール７２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１３２】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１３３】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、赤外線通信モジュール７２、およびバイブレータ７９）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１３４】
また、ゲーム装置３は、上記赤外線通信モジュール７２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させるための指示（上記制御データ）を端末装置７に出力する。この指示に応じて、コーデックＬＳＩ６６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール７２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１３５】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１３６】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１３７】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１３８】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１３９】
［５．ゲームシステム１における基本処理］
次に、ゲームシステム１において実行される基本的な処理動作について説明する。ゲームシステム１は、テレビ２と端末装置７という２つの表示装置を用いることによって、インターネット等のネットワークから取得される画像等を、見やすく、操作しやすいようにユーザに提供するものである。
【０１４０】
図１１は、ゲームシステム１と外部装置との接続関係と示すブロック図である。図１１に示すように、ゲームシステム１におけるゲーム装置３は、ネットワーク９０を介して外部装置９１と通信可能である。ネットワーク９０は、インターネット等の任意の通信ネットワークである。外部装置９１は、Ｗｅｂサーバや、ゲーム装置３と通信を行う他の端末装置（例えば、ゲームシステム１をテレビ電話として用いる場合における相手先のパソコン）等である。なお、外部装置９１は１つである必要はなく、ゲーム装置３は、複数の外部装置と通信を行ってもよい。ゲーム装置３は、ネットワーク９０を介して外部装置９１からウェブページや画像（動画あるいは静止画）等の情報を取得し、取得した情報や、当該情報に基づいて生成される画像等をテレビ２および端末装置７に出力する。テレビ２には、外部装置９１から取得された動画や静止画といった画像が表示される。端末装置７には、テレビ２に表示される画像に関する操作を行うための画像（「操作画像」と呼ぶ）が表示される。したがって、ユーザは、テレビ２の大きな画面に表示される画像を見ながら、操作画像が表示される手元の端末装置７を用いて、各種の操作を行うことができる。
【０１４１】
図１２は、ゲーム装置３の基本的な処理動作を示すフローチャートである。なお、後述する各動作例に示すように、ゲーム装置３は、図１２に示す処理以外にも各種の情報処理を実行してもよい。
【０１４２】
まず、ステップＳ１において、ゲーム装置３は、ネットワーク９０を介して所定の外部装置９１と通信を行う。これによって、ゲーム装置３は、外部装置９１から各種のデータを取得したり、データを送信したりすることができる。なお、外部装置９１から取得するデータとしては、外部装置９１がＷｅｂサーバである場合におけるウェブページあるいはそれに含まれる動画のデータや、外部装置９１がテレビ電話の端末である場合における画像（カメラによって撮像された画像）のデータ等が考えられる。なお、必要なデータが全てダウンロード済みの場合等、通信を行う必要が無い場合には、特に通信は行われずに次の処理が行われるようにしてもよい。
【０１４３】
ステップＳ２において、ゲーム装置３は、ステップＳ１の処理によって受信された受信データに含まれる画像をテレビ２へ出力する。テレビ２に表示される画像（テレビ用画像）は、動画であってもよいし静止画であってもよい。テレビ２に表示される画像としては、例えば、動画検索サイトで取得される動画、テレビ電話の端末装置から送信されてくる動画、ショッピングサイトで取得される（商品の）静止画等が考えられる。
【０１４４】
ステップＳ３において、ゲーム装置３は、テレビ２に表示される画像に関する操作を行うための操作画像を端末装置７へ出力する。操作画像は、それを見てユーザがテレビ２に表示される画像に関する操作を行うことができるものであればどのような画像であってもよい。例えば、操作画像は、画像検索サイトやショッピングサイトにおける検索結果のウェブページのような、テレビ２に表示され得る画像を含むウェブページであってもよい。このとき、ユーザは、例えば操作画像内に含まれる画像を指定する操作によって、指定された画像をテレビ２に表示させることができる。また、操作画像は、動画の再生、一時停止、早送り、巻き戻し、および停止等の操作を行うためのボタン画像を含むものであってもよい。
【０１４５】
ステップＳ４において、ゲーム装置３は、上記操作画像に対する操作を表す操作データを端末装置７から取得する。本実施形態では、上述の端末操作データが端末装置７から取得されるが、端末操作データのうちで操作に用いられるデータはどれであってもよい。例えば、タッチパネル５２に対する入力データ（タッチ位置データ）が上記操作に用いられてもよいし、各アナログスティック５３Ａおよび５３Ｂや各操作ボタン５４Ａ〜５４Ｌに対する入力データが上記操作に用いられてもよい。
【０１４６】
ステップＳ５において、ゲーム装置３は、テレビ２に表示される画像に関する情報処理を操作データに基づいて実行する。上記情報処理とは、例えば、画像をテレビ２に表示させる処理、動画を再生あるいは停止等する処理、テレビ２に表示する画像を他の画像に切り替える処理等が考えられる。ステップＳ４およびＳ５の処理によって、ユーザは、テレビ２に表示される画像に対して、端末装置７を用いて各種の操作を行うことができる。なお、後述する各実施例に示すように、ゲーム装置３は、上記Ｓ１〜Ｓ５の一連の処理を必要に応じて繰り返し実行してもよい。
【０１４７】
以上のように、ゲームシステム１によれば、テレビ２に画像（動画または静止画）が表示されるとともに、当該画像に関する操作画像が端末装置７に表示される。したがって、ユーザは、端末装置７よりも画面が大きいテレビ２に見たい画像を表示させることができるので、より見やすく、複数人での視聴に適した形で画像を見ることができる。操作に関する画像は端末装置７に表示されるので、テレビ２に表示される画像に対する没入感を損ねることなく、ユーザに画像を提供することができる。また、テレビ２に表示される画像に関する操作は端末装置７によって行われるので、ユーザは、手元の端末装置７を用いて容易に操作を行うことができる。
【０１４８】
［６．実施例］
以下、ゲームシステム１を用いた実施例について説明する。なお、以下に示す第１〜第４実施例は、ゲームシステム１によって動作可能な処理の一例であり、ゲームシステム１は、第１〜第４実施例の動作のうちの複数の動作が可能であってもよいし、第１〜第４実施例以外の動作が可能であってもよい。
【０１４９】
（第１実施例）
まず、ゲームシステム１を用いて、動画検索（閲覧）サイトで提供される動画を視聴する第１実施例について説明する。第１実施例においては、ゲーム装置３がウェブブラウザの機能を有しており、インターネット（ネットワーク９０）を介して動画検索サイトのサーバ（外部装置９１）と通信を行う。ゲーム装置３は、上記サーバに記憶されている動画を検索したり、サーバから動画を取得したりする。以下、図１３〜図１６を参照して、第１実施例におけるゲームシステム１の動作概要を説明する。
【０１５０】
図１３は、第１実施例において端末装置７に表示される、動画検索サイトから取得されるウェブページの一例を示す図である。図１３に示す画像は、動画検索サイトにおいて動画の検索を実行する前に表示される画像であり、例えば動画検索サイトのトップページである。図１３に示す検索実行前の画像には、検索入力欄１０１、検索ボタン１０２、および、おすすめ領域１０３が含まれる。検索入力欄１０１は、検索に用いられるキーワードを入力するための領域である。検索ボタン１０２は、検索入力欄１０１に入力されたキーワードで検索を実行する指示を行うためのボタンを示す画像である。おすすめ領域１０３は、おすすめの動画（例えば、閲覧回数が多い動画等）が表示される領域である。図１３に示すように、おすすめ領域１０３には、おすすめの動画のサムネイル画像やタイトルが表示される。なお、サムネイル画像は、動画検索サイトによって提供される動画を表す画像であり、サムネイル画像自体は動画であっても静止画であってもよい。なお、図１３に示す他に、端末装置７には、ブラウザを終了するためのボタンや、画面をスクロールさせるためのスクロールバーや、一般的なブラウザにおける各種の操作を行うためのメニューバー等が表示されてもよい。
【０１５１】
ユーザは、端末装置７に表示される検索実行前の画像を見ながら、動画の検索操作を行うことができる。すなわち、検索実行前の画像が表示される場合において、ユーザは、検索に用いるキーワードを検索入力欄１０１に入力し、検索ボタン１０２を指定する。これによって、入力されたキーワードの情報等がゲーム装置３から動画検索サイトのサーバへ送信され、検索結果を表すウェブページがサーバからゲーム装置３へ送信される。なお、詳細は後述するが、ユーザが文字を入力する際には、所定の文字入力画像（図２１）が表示される。また、端末装置７に表示される画像に対する操作は、タッチパネル５２や各アナログスティック５３Ａおよび５３Ｂ等を用いて行われる。
【０１５２】
図１４は、端末装置７に表示される、検索結果を表す画像の一例を示す図である。上記のように、検索結果を表すウェブページがゲーム装置３において取得されると、例えば図１４に示す画像が端末装置７に表示される。図１４に示す検索結果の画像においては、図１３に示す検索実行前の画像に比べて、おすすめ領域１０３に代えて検索結果領域１０６が含まれる。検索結果領域１０６には、検索された動画を表すサムネイル画像や動画のタイトルが含まれる。また、検索結果領域１０６には、検索結果領域１０６を右にスクロールさせるための右スクロールボタン１０４と、検索結果領域１０６を左にスクロールさせるための左スクロールボタン１０５とが含まれる。
【０１５３】
検索結果の画像が表示された場合、ユーザは、検索結果領域１０６内に表示される画像から、閲覧（再生）したい動画を選択する。例えば、ユーザが検索結果領域１０６内やおすすめ領域１０３内のサムネイル画像を指定する（例えばタッチする）ことによってサムネイル画像が選択される。ゲーム装置３は、選択されたサムネイル画像が表す動画の取得要求をサーバに対して行う。サーバは、この取得要求に応じて当該動画をゲーム装置３へ送信する。これによって、ゲーム装置３に動画が取得される。
【０１５４】
図１５は、動画が再生される場合において端末装置７に表示される画像の一例を示す図である。図１５に示す動画再生時の画像においては、図１４に示す検索結果の画像に比べて、検索結果領域１０６が小さくなり、動画再生領域１１１がさらに含まれている。動画再生領域１１１には、動画１１２、バー１１３、停止ボタン１１４、再生ボタン１１５、および一時停止ボタン１１６が含まれる。動画１１２は、テレビ２において再生される動画である。バー１１３は、動画１１２における再生位置（再生時点）を示す。また、停止ボタン１１４は、動画１１２の再生を停止する指示を行うためのボタンを示す画像である。再生ボタン１１５は、動画１１２の再生する指示を行うためのボタンを示す画像である。一時停止ボタン１１６は、動画１１２の再生を一時停止する指示を行うためのボタンを示す画像である。なお、動画再生領域１１１には、再生中の動画をお気に入りとして登録する指示を行うためのボタンや、再生中の動画に関連する動画を検索する指示を行うためのボタンが含まれてもよい。なお、他の実施形態においては、検索結果領域１０６のサイズを変えずに、検索結果の画像に含まれるサムネイルを動画に変え、バー１１３、停止ボタン１１４、再生ボタン１１５、および一時停止ボタン１１６を配置するようにしてもよい。
【０１５５】
一方、図１６は、動画が再生される場合においてテレビ２に表示される画像の一例を示す図である。図１６に示すように、テレビ２には、再生される動画１１２が表示される。テレビ２には、端末装置７とは異なり、検索入力欄１０１および検索ボタン１０２や検索結果領域１０６は表示されず、動画１１２がテレビ２の全面に表示される。なお、他の実施形態においては、テレビ２には動画１１２以外の画像（例えばバー１１３）が含まれていてもよい。このように、テレビ２のほぼ全面に動画を表示することによって、端末装置７や一般的なパソコンのモニタで動画を見る場合に比べて、複数人でも動画が見やすくなる。また、ゲームシステム１によれば、大きなテレビの画面によって迫力ある動画を再生することができ、ユーザは動画に対する没入感を得ることができるので、例えば映画やスポーツやドラマ等のコンテンツを視聴する場合に特に好適である。
【０１５６】
なお、図１３〜図１５に示す端末用画像は、サーバから取得されたウェブページの画像であってもよいし、ウェブページのデータに基づいてゲーム装置３において生成されたものであってもよい。例えば、端末装置７のタッチパネル５２を用いて操作が行われる場合には、タッチパネル５２による操作が行いやすいように、各種のボタンが大きくなるように変更されてもよい。例えば、検索ボタン１０２や、停止ボタン１１４、再生ボタン１１５、および一時停止ボタン１１６が、ウェブページのそれよりも大きくなった画像をゲーム装置３が生成してもよい。また、第１実施例では、テレビ２に動画１１２が大きく表示されることを考慮し、端末装置７においては、動画再生領域１１１がウェブページのそれよりも小さくなるように（検索結果領域１０６が大きくなるように）変更されてもよいし、動画１１２が表示されなくてもよい。
【０１５７】
なお、図１４に示す検索結果の画像は、サムネイル画像を指定する操作によって動画を再生することができるので、上述の操作画像に該当する。また、図１５に示す動画再生時の画像は、動画の再生、停止、および一時停止といった操作を行うことができるので、上述の操作画像に該当する。また、図１３に示す検索実行前の画像においては、ユーザは、検索結果の画像と同様に、おすすめ動画を選択する操作によって、選択した動画を再生することが可能である。したがって、検索実行前の画像も上述の操作画像に該当する。
【０１５８】
以上のように、第１実施例によれば、動画検索サイトにおいて動画を検索したり再生したりする操作に関する操作画像が端末装置７に表示される（図１３〜図１６）とともに、再生すべき動画がテレビ２に表示される（図１６）。これによって、動画検索サイトで提供される動画を、より見やすく、複数人での視聴に適した形でユーザに提供することができる。また、ユーザは、テレビ２に表示される画像に関する操作を手元の端末装置７を用いて容易に行うことができる。
【０１５９】
また、第１実施例においては、テレビ２には動画１１２以外は表示されず、動画１１２が再生される間以外はテレビ２は使用されない。つまり、動画１１２を再生するまでの間は、テレビ番組を見たり、ＤＶＤを見たりする等、他の用途でテレビ２を使用することも可能である。例えば、あるユーザが動画を検索し、面白そうな動画を見つけた場合には、テレビ２でテレビ番組を見ていた他のユーザと一緒に当該動画をテレビ２で見る、といったことも可能である。なお、このとき、ゲーム装置３は、テレビ２の入力を切り替える（テレビ番組を表示するモードからゲーム装置３からの画像を表示するモードへ切り替える）等、テレビ２を制御するようにしてもよい。
【０１６０】
次に、図１７〜図２１を参照して、第１実施例におけるゲーム装置３の処理の詳細について説明する。まず、ゲーム装置３の処理において用いられる各種データについて説明する。図１７は、ゲーム装置３の処理において用いられる各種データを示す図である。図１７は、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１７に示すように、ゲーム装置３のメインメモリには、ブラウザプログラム１２０、端末操作データ１２１、および処理用データ１２７が記憶される。なお、メインメモリには、図１７に示すデータの他、ブラウザプログラム１２０において用いられる画像データや音声データ等、必要なデータが記憶される。
【０１６１】
ブラウザプログラム１２０は、いわゆるブラウザの機能をゲーム装置３のＣＰＵ１０に実行させるためのプログラムである。第１実施例では、ＣＰＵ１０がブラウザプログラム１２０を実行することによって、図１８に示すフローチャートの各ステップが実行される。ブラウザプログラム１２０は、ゲーム装置３に電源が投入された後の適宜のタイミングでフラッシュメモリ１７からその一部または全部が読み込まれてメインメモリに記憶される。なお、ブラウザプログラム１２０は、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０１６２】
端末操作データ１２１は、端末装置７に対するプレイヤの操作を表すデータである。端末操作データ１２１は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。端末操作データ１２１は、角速度データ１２２、加速度データ１２３、タッチ位置データ１２４、操作ボタンデータ１２５、および、スティックデータ１２６を含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１６３】
角速度データ１２２は、ジャイロセンサ６４によって検出された角速度を表すデータである。本実施形態では、角速度データ１２２は、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回りの角速度を表すものであればよい。
【０１６４】
加速度データ１２３は、加速度センサ６３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、加速度データ１２３は、図８に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
【０１６５】
タッチ位置データ１２４は、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データ１２４は、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データ１２４は複数のタッチ位置を表すこともある。
【０１６６】
操作ボタンデータ１２５は、端末装置７に設けられる、押圧可能なキー操作部（各操作ボタン５４Ａ〜５４Ｌ）に対する入力状態を表すデータである。具体的には、操作ボタンデータ１２５は、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。
【０１６７】
スティックデータ１２６は、各アナログスティック５３Ａおよび５３Ｂのスティック部がスライドした（または傾倒した）方向および量を表すデータである。アナログスティック５３は、２次元の任意の方向に移動可能な操作部材（スティック部）を移動することによる入力操作が可能な入力装置であり、スティックデータ１２６は、当該操作部材が操作された方向（操作方向）および量（操作量）を表すものである。本実施形態においては、アナログスティック５３に対する操作量および操作方向は、左右方向に関する操作量をｘ成分とし、上下方向に関する操作量をｙ成分とする２次元座標によって表されるものとする。
【０１６８】
なお、端末操作データ１２１には、上記データ９２〜９５の他、磁気センサ６２によって検出された方位を表す方位データが含まれていてもよい。また、本実施形態においては、端末操作データ１２１の他、カメラ画像データおよび／またはマイク音データが端末装置７からゲーム装置３へ送信されてもよい。カメラ画像データは、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。マイク音データは、端末装置７のマイク６９によって検出された音声（マイク音）を表すデータである。なお、これらカメラ画像データおよびマイク音データは、コーデックＬＳＩ６６によって圧縮されてゲーム装置３へ送信され、ゲーム装置３においてコーデックＬＳＩ２７によって伸張されてメインメモリに記憶されてもよい。
【０１６９】
また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ１２１は、当該他の入力手段から出力されるデータを含んでいてもよい。
【０１７０】
また、本実施形態ではコントローラ５が操作装置として用いられないので図示しないが、メインメモリには、コントローラ５に対するユーザ（プレイヤ）の操作を表すコントローラ操作データが記憶されてもよい。
【０１７１】
処理用データ１２７は、後述するブラウザ処理（図１８）において用いられるデータである。処理用データ１２７は、動画管理データ１２８、ページ画像データ１２９、入力文字データ１３０、取得要求データ１３１、および制御指令データ１３２を含む。なお、図１７に示すデータの他、処理用データ１２７は、ブラウザプログラム１２０において用いられる各種のデータを含む。
【０１７２】
動画管理データ１２８は、テレビ２で再生（表示）すべき動画を管理するためのデータである。テレビ２で再生される動画のデータは、外部装置９１（動画検索サイトのサーバ）からネットワーク９０を介してゲーム装置３に受信され、フラッシュメモリ１７に記憶される。動画管理データ１２８は、フラッシュメモリ１７に記憶された動画を識別する情報、動画の受信状況情報、および、再生状況情報等を表す。なお、動画の受信状況情報とは、受信中または受信済を示し、再生状況情報とは、未再生、再生中、または再生済を示す。
【０１７３】
ページ画像データ１２９は、外部装置９１から取得されるウェブページの画像、あるいは、ウェブページの画像に所定の変更を加えた画像を表す。ページ画像データ１２９が表す画像のうちで、画面に表示すべき部分の画像が端末用画像として端末装置７に表示される。なお、ページ画像データ１２９は、ＶＲＡＭ１１ｄに記憶されてもよい。
【０１７４】
入力文字データ１３０は、端末装置７を用いて入力された文字（文字列）を表すデータである。詳細は後述するが、ユーザが文字入力を行う際には文字入力画像（図２１）が端末装置７に表示され、当該文字入力画像に対して文字入力操作を行うことで文字が入力される。
【０１７５】
取得要求データ１３１は、外部装置９１に対してウェブページや動画の取得要求を表すデータである。具体的には、取得要求データ１３１は、取得するウェブページのＵＲＬや動画の識別情報を表す。メインメモリに記憶された取得要求データ１３１は、適宜のタイミングでフラッシュメモリ１７に送られて記憶され、入出力プロセッサ１１ａによって外部装置９１へ送信される。なお、複数の取得要求が生成された場合、メインメモリには取得要求データ１３１が取得要求毎に記憶される。
【０１７６】
制御指令データ１３２は、テレビ２を制御するための制御指令を表すデータである。第１実施例では、テレビ２に対して各種の動作を行わせるための各種の制御指令を表すデータが、ゲーム装置３内の記憶装置（フラッシュメモリ１７あるいはメインメモリ）に予め記憶されている。制御指令データ１３２は、上記各種の制御指令のうち、テレビ２へ送信すべき制御指令を表す。
【０１７７】
次に、第１実施例においてゲーム装置３で実行される処理の詳細を、図１８〜図２１を用いて説明する。図１８は、第１実施例においてゲーム装置３で実行される処理の流れを示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。その後、フラッシュメモリ１７に記憶されたブラウザプログラム１２０がメインメモリに読み込まれ、ＣＰＵ１０によって当該ブラウザプログラム１２０の実行が開始される。図１８に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。なお、ゲーム装置３においては、電源投入後にブラウザプログラム１２０がすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後例えばユーザによるメニュー画面に対する選択操作によってブラウザプログラム１２０の起動が指示されたことに応じてブラウザプログラム１２０が実行される構成であってもよい。
【０１７８】
なお、図面に示す各フローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値が採用されてもよい。また、本明細書では、各フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、各フローチャートにおける一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。
【０１７９】
なお、ゲーム装置３は、ブラウザプログラム１２０によって任意のウェブサーバにアクセスしてウェブページを取得することが可能であるが、第１実施例では、ユーザがゲーム装置３から上記動画検索サイトのサーバにアクセスし、動画検索サイト内のウェブページがゲーム装置３に取得される場合を想定して処理の流れを説明する。
【０１８０】
まずステップＳ１１において、ＣＰＵ１０は、外部装置９１からネットワーク９０を介してデータを受信する。すなわち、外部装置９１から受信したデータはフラッシュメモリ１７に記憶されるので、ＣＰＵ１０は、受信されたデータの有無、および、受信されたデータの種類（ウェブページのデータであるか動画のデータであるか等）を確認する。なお、図１８に示すフローチャートの処理が開始される場合の初めに、ゲーム装置３は予め登録された所定のウェブサーバ（ホームページ）にアクセスし、当該ウェブサーバからウェブページのデータを受信する。ステップＳ１１の次にステップＳ１２の処理が実行される。なお、第１実施例においては、ステップＳ１１〜Ｓ１９の処理ループは、所定時間（１フレーム時間。例えば１／６０秒）に１回の割合で繰り返し実行される。
【０１８１】
なお、第１実施例においては、上記ステップＳ１１において取得要求に応じた動画のデータが受信された場合、受信した動画に関する情報（識別情報および状態情報を含む）を表すデータが動画管理データ１２８としてメインメモリに記憶される。
【０１８２】
ステップＳ１２において、ＣＰＵ１０は、端末操作データを取得する。端末装置７は、端末操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３は端末操作データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が端末操作データを逐次受信し、入出力プロセッサ１１ａが端末操作データをメインメモリに逐次記憶する。ステップＳ１においては、ＣＰＵ１０は、最新の端末操作データ１２１をメインメモリから読み出す。なお、端末操作データ１２１は、端末装置７に表示される操作画像に対する操作を表す。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１８３】
ステップＳ１３において、ＣＰＵ１０は、ウェブページに関する操作が行われたか否かを判定する。ウェブページに関する操作とは、ウェブページを取得する操作や、ウェブページに対する操作である。ウェブページに関する操作は、ウェブページに依存するものもあり、どのような操作であってもよいが、第１実施例では、少なくとも以下の（ａ）〜（ｃ）操作が可能であるものとする。
（ａ）端末装置７に表示中のウェブページ上のリンク先を指定する操作
（ｂ）端末装置７に表示中のウェブページ上の各種のボタン（例えば、上記検索ボタン１０２や再生ボタン１１５等）を指定する操作
（ｃ）端末装置７に表示中のウェブページに含まれるサムネイル画像を指定する操作
上記の他、ウェブページに関する操作としては、１つ前に表示されていたウェブページに戻る操作や、予め登録されたウェブページ（例えばお気に入りに登録されたウェブページ）を指定して表示させる操作等、一般的なブラウザプログラムにおいて可能な操作が含まれてもよい。
【０１８４】
また、上記ウェブページに関する操作は、端末装置７を用いて行われればどのような方法で行われてもよい。例えば、上記操作は、タッチパネル５２を用いて行われてもよいし、アナログスティック５３や各ボタン５４Ａ〜５４Ｌを用いて行われてもよいし、各センサ６２〜６４の少なくとも１つの検知結果から算出される端末装置７の姿勢を用いて行われてもよい。より具体的には、上記操作は、端末装置７に表示されているウェブページ上のリンク先、ボタン、またはサムネイル画像をタッチする操作でもよいし、端末装置７に表示されるカーソルをアナログスティック５３によって所望の位置に合わせて、所定のボタンを押下する操作でもよい。また、タッチパネル５２と、アナログスティック５３および各ボタン５４Ａ〜５４Ｌとの両方が操作に用いられてもよい。例えば、ウェブページ上の位置の指定をタッチパネル５２に対する操作で行い、ウェブページのスクロールをアナログスティック５３あるいは十字ボタン５４Ａで行うようにすれば、タッチパネル５２を用いる場合に比べて操作性を向上することができる。
【０１８５】
また、上記ステップＳ１３の判定は、ステップＳ１２で取得した操作データに基づいて行われる。ステップＳ１３の判定結果が肯定である場合、ステップＳ１４の処理が実行される。一方、ステップＳ１３の判定結果が否定である場合、ステップＳ１４の処理がスキップされてステップＳ１５の処理が実行される。
【０１８６】
ステップＳ１４において、ＣＰＵ１０は、上記ウェブページに関する操作に応じた処理を実行する。例えば、上記（ａ）の操作が行われた場合には、リンク先のウェブページの取得要求が生成される。上記（ｂ）の操作が行われた場合には、指定されたボタンに割り当てられた処理が実行される。例えば検索ボタンが指定された場合には、入力されたキーワードに基づく検索結果の取得要求が生成される。また、動画の再生に関するボタン（再生ボタン、停止ボタン、一時停止ボタン等）が指定された場合には、指定されたボタンに応じた再生処理が実行される。上記（ｃ）の操作が行われた場合には、指定されたサムネイル画像に対応する動画の取得要求が生成される。
【０１８７】
ステップＳ１４の具体的な処理としては、上記取得要求が生成される場合、生成される取得要求を表すデータが取得要求データ１３１として生成される。なお、ここでは、すでに取得要求データ１３１がメインメモリに記憶されている場合には、新たに生成された取得要求を表す取得要求データ１３１がメインメモリに追加して記憶される。また、検索結果の取得要求が生成される場合には、ＣＰＵ１０は、入力文字データをメインメモリから読み出し、入力文字データが表す文字（文字列）を含む取得要求データ１３１を生成する。一方、動画の再生に関するボタンが指定された場合には、指定されたボタンが表す状態（再生、停止、または一時停止）を表すデータがメインメモリに記憶される。上記ステップＳ１４の次にステップＳ１５の処理が実行される。
【０１８８】
ステップＳ１５において、ＣＰＵ１０は、文字入力操作が行われたか否かを判定する。文字入力操作は、端末装置７を用いたどのような操作であってもよいが、ここでは、文字入力画像（図２１）に含まれる各キー画像に対する入力操作である。すなわち、ＣＰＵ１０は、文字入力画像が表示されている場合において、各キー画像にタッチする操作が行われたか否かを、ステップＳ１２で取得した端末操作データ１２１に基づいて判定する。ステップＳ１５の判定結果が肯定である場合、ステップＳ１６の処理が実行される。一方、ステップＳ１５の判定結果が否定である場合、ステップＳ１６の処理がスキップされてステップＳ１７の処理が実行される。
【０１８９】
ステップＳ１６において、ＣＰＵ１０は、文字入力処理を実行する。文字入力処理は、ユーザの操作に応じて文字を入力する処理であればどのような処理であってもよい。第１実施例では、ＣＰＵ１０は、入力が行われたキー画像が示す文字あるいは記号を、すでに入力された文字列に加えた新たな文字列を生成したり、入力が行われたキー画像が示す処理（文字の削除処理や、文字列の変換処理等）によって新たな文字列を生成したりする。具体的には、ＣＰＵ１０は、入力済の文字列を表す入力文字データ１３０をメインメモリから読み出し、当該入力文字データ１３０と、ステップＳ１２で取得した端末操作データ１２１とに基づいて新たな文字列を生成する。生成された文字列を表すデータが、新たな入力文字データ１３０としてメインメモリに記憶される。ステップＳ１６の次にステップＳ１７の処理が実行される。
【０１９０】
ステップＳ１７において、ＣＰＵ１０は送信処理を実行する。送信処理は、ウェブページ等を取得するための取得要求を外部装置（動画検索サイトのサーバ）９１に送信するための処理である。以下、図１９を参照して、送信処理の詳細について説明する。
【０１９１】
図１９は、図１８に示す送信処理（ステップＳ１７）の詳細な流れを示すフローチャートである。送信処理においてはまずステップＳ２１において、ＣＰＵ１０は、動画の取得要求があるか否かを判定する。すなわち、ＣＰＵ１０は、取得要求データ１３１をメインメモリから読み出し、動画の取得要求を表す取得要求データ１３１が記憶されているか否かを判定する。ステップＳ２１の判定結果が肯定である場合、ステップＳ２２の処理が実行される。一方、ステップＳ２１の判定結果が否定である場合、ステップＳ２２およびＳ２３の処理がスキップされて後述するステップＳ２４の処理が実行される。
【０１９２】
ステップＳ２２において、ＣＰＵ１０は、受信中の動画があるか否かを判定する。すなわち、ＣＰＵ１０は、動画管理データ１２８をメインメモリから読み出し、上記受信状況情報が受信中を示す動画があるか否かを判定する。ステップＳ２２の判定結果が否定である場合、ステップＳ２３の処理が実行される。一方、ステップＳ２２の判定結果が肯定である場合、ステップＳ２３の処理がスキップされて後述するステップＳ２４の処理が実行される。
【０１９３】
なお、第１実施例では、サーバから動画を１つずつ取得する目的でステップＳ２２の判定処理を行った。ここで、他の実施例においては、ＣＰＵ１０は、サーバから複数の動画を同時に（並行して）取得するようにしてもよい。このとき、ステップＳ２２の判定処理は実行されなくてもよく、ＣＰＵ１０は、動画の取得要求が生成された場合、データを受信中の他の動画があっても待機せずに当該取得要求を送信するようにしてもよい。
【０１９４】
ステップＳ２３において、ＣＰＵ１０は、動画の取得要求を外部装置９１へ送信する。すなわち、ＣＰＵ１０は、メインメモリに記憶されている取得要求データ１３１のうちで、動画の取得要求を表すものの１つ（例えば、最も古い取得要求を表す取得要求データ１３１）を選択する。そして、選択された取得要求データ１３１を、ネットワーク９０へ送信すべきデータとしてフラッシュメモリ１７の所定領域に記憶する。なお、選択された取得要求データ１３１はメインメモリからは削除される。入出力プロセッサ１１ａは、フラッシュメモリ１７に記憶された取得要求データを所定のタイミングでネットワーク９０へ送信する。これによって、当該取得要求データが外部装置９１へ送信される。ステップＳ２３の処理の次にステップＳ２４の処理が実行される。
【０１９５】
ステップＳ２４において、ＣＰＵ１０は、動画の取得要求以外の他の取得要求があるか否かを判定する。すなわち、ＣＰＵ１０は、取得要求データ１３１をメインメモリから読み出し、上記他の取得要求を表す取得要求データ１３１が記憶されているか否かを判定する。ステップＳ２４の判定結果が肯定である場合、ステップＳ２５の処理が実行される。一方、ステップＳ２４の判定結果が否定である場合、ステップＳ２５の処理がスキップされ、ＣＰＵ１０は送信処理を終了する。
【０１９６】
ステップＳ２５において、ＣＰＵ１０は、上記他の取得要求を外部装置９１へ送信する。すなわち、ＣＰＵ１０は、メインメモリに記憶されている取得要求データ１３１のうちで、上記他の取得要求を表す取得要求データ１３１を、ネットワーク９０へ送信すべきデータとしてフラッシュメモリ１７の所定領域に記憶する。なお、この取得要求データ１３１はメインメモリからは削除される。入出力プロセッサ１１ａは、フラッシュメモリ１７に記憶された取得要求データを所定のタイミングでネットワーク９０へ送信する。これによって、当該取得要求データが外部装置９１へ送信される。ステップＳ２５の処理の後、ＣＰＵ１０は送信処理を終了する。
【０１９７】
図１８の説明に戻り、ステップＳ１７の送信処理の次にステップＳ１８の処理が実行される。ステップＳ１８において、ＣＰＵ１０は表示処理を実行する。表示処理は、端末装置７およびテレビ２に表示すべき画像を生成し、生成した画像を各表示装置に表示させる処理である。以下、図２０を参照して、表示処理の詳細について説明する。
【０１９８】
図２０は、図１８に示す表示処理（ステップＳ１８）の詳細な流れを示すフローチャートである。表示処理においてはまずステップＳ３１において、ＣＰＵ１０は、上記ステップＳ１１でウェブページのデータが受信されたか否かを判定する。なお、ステップＳ３１の判定は、１ページ分全部のデータが受信されたか否かによって行われてもよいし、一部のデータが受信されたか否かによって行われてもよい。後者の場合には、後述するステップＳ３３またはＳ３４の処理においては、受信されたデータに基づいて画像が順次生成される。ステップＳ３１の判定結果が肯定である場合、ステップＳ３２の処理が実行される。一方、ステップＳ３１の判定結果が否定である場合、後述するステップＳ３５の処理が実行される。
【０１９９】
ステップＳ３２において、ＣＰＵ１０は、ステップＳ１１で受信されたデータが、動画再生時のウェブページであるか否かを判定する。動画再生時のウェブページとは、再生される動画のため表示領域を含むウェブページであり、例えば図１５に示すような動画再生領域１１１を含むウェブページである。ステップＳ３２の判定結果が否定である場合、ステップＳ３３の処理が実行される。一方、ステップＳ３２の判定結果が肯定である場合、ステップＳ３４の処理が実行される。
【０２００】
ステップＳ３３において、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、ステップＳ１１で受信されたウェブページの画像を生成する。ここで、第１実施例においては、上記動画再生時のウェブページ以外の他のウェブページについては、ウェブページに含まれるテキストや画像等がそのままの配置で表示される。すなわち、ステップＳ３３においては、ステップＳ１１で受信されたウェブページのデータに従ってウェブページの画像が生成される。なお、他の実施形態においては、上記他のウェブページについて、例えば各種のボタンが大きくなるように変更される等、サーバから提供されるウェブページに対して変更が加えられた画像が生成されてもよい。
【０２０１】
ステップＳ３３における具体的な処理としては、ＣＰＵ１０は、フラッシュメモリ１７に記憶されているウェブページのデータを読み出し、当該データに基づいてウェブページの画像を生成する。生成された画像のデータは、ページ画像データ１２９としてメインメモリに記憶される。ステップＳ３３の次にステップＳ３５の処理が実行される。
【０２０２】
一方、ステップＳ３４において、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、ウェブページのデータに基づいて動画再生時の画像を生成する。ここで、第１実施例では、再生される動画はテレビ２に表示される。また、第１実施例では、テレビ２において動画が再生されている間に、ユーザは、端末装置７を用いて別の動画の検索を行ったり、次に再生すべき動画を選択したりする操作が可能である。そのため、ここでは、ＣＰＵ１０は、ウェブページで定められる大きさよりも動画再生領域１１１が小さくなるように（検索結果領域１０６が大きくなるように）、動画再生時の画像を生成する。これによって、動画再生中における上記の操作がより行いやすくなる。
【０２０３】
ステップＳ３４における具体的な処理としては、ＣＰＵ１０は、フラッシュメモリ１７に記憶されている（動画再生時の）ウェブページのデータを読み出し、当該データに基づいて動画再生時の画像を生成する。生成された画像のデータは、ページ画像データ１２９としてメインメモリに記憶される。ステップＳ３４の次にステップＳ３５の処理が実行される。
【０２０４】
なお、第１実施例では、ＣＰＵ１０は、動画再生時の画像については、サーバから取得されるウェブページに対して変更を行い、検索実行前の画像や検索結果の画像といった他のウェブページについてはそのまま（変更を行わずに）端末装置７に表示した。ここで、他の実施例においては、ＣＰＵ１０は、上記他のウェブページについても変更を行い、変更が加えられた画像を端末装置７に表示させてもよい。なお、サーバから取得されるウェブページに変更を加える必要があるか否かは、ウェブページ毎、あるいは、サーバ毎に異なる。そのため、ＣＰＵ１０は、ウェブページを変更するか否かを当該ウェブページが提供されるサーバに応じて変化させるようにしてもよいし、ウェブページを変更するか否かを当該ウェブページの内容に応じて変化させるようにしてもよい。例えば、所定のサーバから取得されるウェブページについてのみ変更が行われてもよいし、所定の大きさよりも小さい画像（例えば各種ボタンの画像）がウェブページに含まれる場合には、当該画像を拡大する変更が行われてもよい。
【０２０５】
ステップＳ３５において、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、端末装置７に表示される端末用画像を生成する。具体的には、ＣＰＵ１０は、ページ画像データ１２９をメインメモリから読み出し、ページ画像データ１２９が表す画像から、端末装置７に表示すべき１画面分の領域の画像を端末用画像として抽出する。抽出した端末用画像のデータは、ＶＲＡＭ１１ｄに記憶される。なお、端末用画像として抽出される領域は、画面をスクロールさせる操作に基づいて変化する。ステップＳ３５の次にステップＳ３６の処理が実行される。
【０２０６】
ステップＳ３６において、ＣＰＵ１０は、文字入力画像を表示するか否かを判定する。具体的には、ＣＰＵ１０は、ステップＳ１２で取得した端末操作データに基づいて、文字入力画像を表示するための所定の操作が行われたか否かを判定する。所定の操作は、どのような操作であってもよく、例えば、端末装置７の所定のボタンを押下する操作であってもよいし、端末装置７に表示される検索入力欄１０１を指定する操作であってもよい。ステップＳ３６の判定結果が肯定である場合、ステップＳ３７の処理が実行される。一方、ステップＳ３６の判定結果が否定である場合、ステップＳ３７の処理がスキップされてステップＳ３８の処理が実行される。
【０２０７】
ステップＳ３７において、ＣＰＵ１０は、端末用画像に文字入力画像を追加する。図２１は、文字入力画像が追加された端末用画像の一例を示す図である。図２１に示すように、ＣＰＵ１０は、ウェブページの画像１１７に文字入力画像１１８が追加された画像を生成する。文字入力画像１１８は、文字入力を行うための画像であり、文字あるいは記号を表すキーの画像を含む。図２１では、文字入力画像１１８は、いわゆるソフトウェアキーボードの画像である。文字入力画像１１８は、ブラウザプログラム１２０とともに予め用意されており、適宜のタイミングでＶＲＡＭ１１ｄ（またはメインメモリ）に記憶される。なお、第１実施例においては、ＣＰＵ１０は、ウェブページの画像１１７に文字入力画像１１８が追加された画像を生成するが、他の実施形態においては、文字入力画像のみを端末用画像として生成してもよい。ステップＳ３６の具体的な処理としては、ＣＰＵ１０は、ステップＳ３６で記憶された端末用画像のデータと文字入力画像のデータとをＶＲＡＭ１１ｄから読み出し、ページ画像データ１２９に記憶されているウェブページの画像に文字入力画像を追加した画像を生成する。生成された画像のデータは、新たな端末用画像のデータとしてＶＲＡＭ１１ｄに記憶される。ステップＳ３７の次にステップＳ３８の処理が実行される。
【０２０８】
以上のように、第１実施例では、ＣＰＵ１０は、ユーザによって所定の操作が行われたことに応じて（ステップＳ３６でＹｅｓ）、文字を入力可能なキー画像を含む文字入力画像（図２１）を端末装置７へ出力する（ステップＳ３７）。これによって、ユーザは、端末装置７を用いて文字入力を容易に行うことができる。第１実施例のように検索キーワードを入力する場合や、後述する第２実施例において商品の購入に必要となる所定の情報を入力する場合等には、文字入力画像を表示することが特に有用である。
【０２０９】
ステップＳ３８において、ＣＰＵ１０は、端末用画像を端末装置７へ出力（送信）する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用画像のデータは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。圧縮処理が施された画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像データを無線モジュール７０によって受信し、受信された画像データに対してコーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、端末用画像がＬＣＤ５１に表示される。また、ステップＳ７においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ６７から音声が出力されてもよい。ステップＳ３８の次にステップＳ３９の処理が実行される。
【０２１０】
ステップＳ３９において、ＣＰＵ１０は、テレビ２で再生される動画の受信が開始されたか否かを判定する。すなわち、上記ステップＳ２３によって送信された取得要求に応じて外部装置９１から送信されてくる動画が受信されたか否かを判定する。ステップＳ３９の判定結果が肯定である場合、ステップＳ４０の処理が実行される。一方、ステップＳ４０の判定結果が否定である場合、後述するステップＳ４１の処理が実行される。
【０２１１】
ステップＳ４０において、ＣＰＵ１０は、テレビ２の入力を切り替える制御を行う。具体的には、ＣＰＵ１０は、ゲーム装置３から出力される画像を表示可能な状態とする制御指令をテレビ２へ出力する。ここでは、テレビ２の入力をゲーム装置３に切り替える（ゲーム装置３から出力される画像が画面に表示されるモードに切り替える）所定の制御指令が出力される。なお、第１実施例においては、テレビ２に対して各種の動作を行わせるための各種の制御指令を表すデータがフラッシュメモリ１７あるいはメインメモリに記憶されている。ＣＰＵ１０は、上記各種の制御指令のうちから、上記所定の制御指令を表すデータを選出し、制御指令データ１３２としてメインメモリに記憶する。なお、他の実施形態においては、ＣＰＵ１０は、テレビ２の電源をオンにする制御指令を出力した後、上記所定の制御指令を出力するようにしてもよい。
【０２１２】
上記ステップＳ４０の処理によって、テレビ２は、画像（動画）がテレビ２に出力される前に、当該画像が表示可能な状態となるように制御される。これによって、ユーザは、テレビ２に対する操作を行わなくても画像をテレビ２に表示させることができ、操作がより容易になる。
【０２１３】
ここで、ゲーム装置３で生成された上記制御指令によってテレビ２を制御する方法はどのような方法であってもよい。ゲームシステム１においては、端末装置７の赤外線通信モジュール７２から制御指令に対応する赤外線信号を出力する第１の方法、および／または、ゲーム装置３のＡＶコネクタ１６を介して制御指令を出力する第２の方法でテレビ２を制御することが可能である。第１の方法においては、ＣＰＵ１０は、制御指令データ１３２が表す制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させるための指示を端末装置７に送信する。この指示に応じて、端末装置７のコーデックＬＳＩ６６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させる。この赤外線信号がテレビ２の赤外線受光部によって受光されることで、テレビ２の電源がオンにされるとともに、テレビ２の入力がゲーム装置３に切り替えられる。一方、第２の方法においては、ＣＰＵ１０は、制御指令データ１３２が表す制御指令をＡＶコネクタ１６を介してテレビ２に出力する。以上のステップＳ４０の次にステップＳ４１の処理が実行される。
【０２１４】
なお、テレビ２を制御するための上記赤外線信号や制御指令の形式は、テレビ２の機種によって異なる場合がある。したがって、ゲーム装置３は、複数の機種に対応する各形式の赤外線信号あるいは制御指令を予め記憶しておくようにしてもよい。このとき、ゲーム装置３は、所定のタイミングで（例えば初期設定時に）テレビ２に応じた形式を選択し、以降は、選択された形式の赤外線信号あるいは制御指令を用いるようにしてもよい。これによって、ゲーム装置３は、複数種類の機種のテレビに対応することができる。
【０２１５】
ステップＳ４１において、ＣＰＵ１０は、テレビ２で再生すべき動画があるか否かを判定する。すなわち、ＣＰＵ１０は、動画管理データ１２８をメインメモリから読み出し、再生状況情報が「再生中」を示す動画のデータがフラッシュメモリ１７に記憶されているか否かを判定する。ステップＳ４１の判定結果が肯定である場合、ステップＳ４２の処理が実行される。一方、ステップＳ４１の判定結果が否定である場合、ステップＳ４２の処理がスキップされ、ＣＰＵ１０は表示処理を終了する。
【０２１６】
ステップＳ４２において、ＣＰＵ１０はテレビ２に動画を出力する。まず、ＣＰＵ１０は、フラッシュメモリ１７に記憶されている動画のデータを読み出し、動画を構成する１つの画像をＶＲＡＭ１１ｄに記憶する。このとき、ＣＰＵ１０およびＧＰＵ１１ｂは、必要に応じて、フラッシュメモリ１７に記憶されているデータから画像を生成する処理を行う。例えば、フラッシュメモリ１７に記憶されている動画のデータが所定の方式で圧縮されている場合には、動画のデータに対して伸張処理が行われて画像が生成される。また、上記動画のデータがパケット単位で記憶されている場合には、パケット単位のデータから画像が生成される。ＶＲＡＭ１１ｄに記憶された上記画像はＡＶ−ＩＣ１５へ送られ、ＡＶ−ＩＣ１５は画像を、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、動画を構成する画像がテレビ２に表示される。また、他の実施形態においては、動画データと共に音声データが外部装置９１から取得され、ステップＳ４２においては、動画データと共に音声データがテレビ２へ出力され、テレビ２のスピーカ２ａから音声が出力されてもよい。
【０２１７】
なお、上記ステップＳ４２においてテレビ２に出力される動画は、動画管理データ１２８が表す再生状況情報が「再生中」を示す動画である。なお、動画の再生が終了した場合、ＣＰＵ１０は、動画管理データ１２８をメインメモリから読み出し、再生が終了した動画に関する再生状況情報を「再生中」から「再生済」に変更する。さらに、再生状況情報が「未再生」を示す動画のうちで、次に再生すべき動画に関する再生状況情報を「再生中」に変更する。これによって、次回に実行されるステップＳ４２によって当該動画の再生が開始される。なお、上記「次に再生すべき動画」は、最も早く取得要求が行われた動画であってもよいし、受信されたデータ量が最も大きい動画であってもよい。また、再生を開始することが可能なデータ量が受信されている動画がない場合には、ＣＰＵ１０は、十分な量のデータが受信されるまで待機した後、動画の再生を開始するようにしてもよい。第１実施例では、いわゆるストリーミング方式やプログレッシブダウンロード方式のように、動画のデータの受信中に再生を開始するが、他の実施例においては、動画の全てのデータがサーバから受信されたことを条件にして、再生を開始するようにしてもよい。また、状態情報が「再生済」である動画のデータは、フラッシュメモリ１７から削除されてもよい。
【０２１８】
また、上記ステップＳ１４において動画の再生に関するボタンが指定された場合には、ステップＳ４２の処理においては、指定されたボタンに応じた再生処理が実行される。すなわち、再生ボタンが指定された場合には、動画を構成する画像が、ステップＳ４２の処理が実行される度に順次生成されてＶＲＡＭ１１ｄに記憶される。一方、一時停止ボタンが指定された場合には、ＶＲＡＭ１１ｄに記憶される画像が変更されず、その結果、前回に出力した画像と同じ画像が出力される。また、停止ボタンが指定された場合には、ＶＲＡＭ１１ｄに記憶された画像が消去され、テレビ２への画像の出力が停止される。以上のステップＳ４２の後、ＣＰＵ１０は表示処理を終了する。
【０２１９】
図１８の説明に戻り、ステップＳ１８の表示処理の次にステップＳ１９の処理が実行される。ステップＳ１９において、ＣＰＵ１０は、ブラウザプログラム１２０の実行を終了する旨の指示があったか否かを判定する。ステップＳ１９の判定結果が否定の場合、ステップＳ１１の処理が再度実行される。一方、ステップＳ１９の判定結果が肯定の場合、ＣＰＵ１０は図１８に示す処理を終了する。以降、ステップＳ１１〜Ｓ１９の一連の処理は、ステップＳ１９で上記指示があったと判定されるまで繰り返し実行される。
【０２２０】
以上のように、第１実施例においては、ゲーム装置３において受信された受信データに含まれる画像（動画）がテレビ２に出力され（ステップＳ４２）、当該画像に関する操作を行うための操作画像（図１３〜図１５）が端末装置７へ出力される（ステップＳ３８）。また、ゲーム装置３は、操作画像に対する操作を表す操作データを端末装置７から取得し（ステップＳ１２）、テレビ２に表示される画像に関する情報処理を操作データに基づいて実行する（ステップＳ１４）。
【０２２１】
より具体的には、第１実施例における処理によれば、ゲーム装置３は、例えば次のような動作を行うことが可能である。すなわち、ゲーム装置３はまず、動画検索サイトのサーバにアクセスしてウェブページのデータを受信して（ステップＳ１１）、当該ウェブページを端末装置７へ出力する（ステップＳ３３，Ｓ３５，Ｓ３８）。これによって、上述した検索実行前の画像（図１３）が端末装置７に表示される。次に、ユーザの所定の操作に応じて文字入力画像（図２１）が表示され（ステップＳ３７）、文字入力画像に対してユーザが文字入力操作を行うことによって、検索キーワードの文字列が入力される（ステップＳ１６）。さらに、ユーザが検索ボタン１０２を指定することによって、入力された文字列を検索キーワードとした検索結果の取得要求がサーバへ送信される（ステップＳ２５）。これに応じて、複数種類の動画を表すデータとして、検索結果のウェブページのデータがサーバから取得される（ステップＳ１１）。このデータが取得された場合、ＣＰＵ１０は、検索結果を表すウェブページを端末装置７へ出力する（ステップＳ３３）。これによって、複数種類の動画を表す操作画像（図１４）が端末装置７に表示される。
【０２２２】
上記検索結果のウェブページに含まれるサムネイル画像をユーザが指定した場合（ステップＳ１４）、動画の取得要求がサーバへ送信される（ステップＳ２３）。これに応じてサーバから動画がゲーム装置３へ送信され、ゲーム装置３において動画が受信される。つまり、ゲーム装置３は、ステップＳ１４の処理によって選択された動画を取得する要求をサーバに対して行うとともに、当該動画のデータをサーバから受信する。受信された動画はテレビ２へ出力される（ステップＳ４２。図１６）。一方、端末装置７には動画再生時の画像（図１５）が出力される（ステップＳ３４）。このように、受信された動画がテレビ２に出力される場合、当該動画の再生に関する操作を少なくとも表す操作画像が端末装置７へ出力される。したがって、第１実施例によれば、動画検索サイトで取得された動画をテレビ２によってより見やすくユーザに提供することができるとともに、ユーザは当該動画に関する操作を端末装置７によって容易に行うことができる。
【０２２３】
また、第１実施例においては、テレビ２において動画が再生される間においても再生されていない場合と同様、端末装置７を用いて別のウェブページを取得・表示することができる。そのため、動画の再生中においても、ユーザは新たな検索を行って検索結果を表示させることができる。このように、第１実施例によれば、ユーザは動画の視聴中においても端末装置７を用いて別のウェブページを見ることができ、ウェブページをよりスムーズに閲覧することができる。
【０２２４】
また、第１実施例においては、テレビ２において動画が再生される間において、ユーザは、端末装置７を用いて当該動画の次に再生したい動画を取得することが可能である。
すなわち、ＣＰＵ１０は、動画がテレビ２へ出力されているか否かにかかわらず、テレビ２に表示すべき動画を選択する処理（ステップＳ１４）を実行する。これに応じて、選択された動画の取得要求がサーバへ送信され（ステップＳ２３）、当該取得要求に応じてサーバから当該動画のデータが受信される（ステップＳ１１）。ここで、ＣＰＵ１０は、テレビ２への動画の出力中に他の動画のデータが受信された場合、出力中の動画（の再生）が終了した後で、当該他の動画の出力を開始する（ステップＳ４２）。このように、第１実施例においては、動画の再生中において新たな動画の取得要求が生成され、当該新たな動画のデータが受信され、当該新たな動画は、現在再生中の動画が終了した後で再生される。したがって、第１実施例によれば、動画を再生中である場合には、次に再生する動画を端末装置７を用いて予約することも可能である。
【０２２５】
なお、第１実施例においては、ゲーム装置３が動画検索サイトのサーバから動画を受信する場合を例として説明したが、ゲーム装置３は、動画検索サイトの他、映画やテレビ番組の動画を配信するサーバ等、動画を配信する任意のサーバから動画を受信する場合も第１実施例と同様に動作を行うことができる。なお、テレビ番組を配信するサーバから動画を受信する場合には、ゲーム装置３は、後述する第４実施形態におけるＥＰＧ（電子番組表）の画像を当該サーバから受信し、ＥＰＧの画像を操作画像として端末装置７に出力・表示するようにしてもよい。例えば、端末装置７に表示されるＥＰＧの画像からユーザが所望の番組を選択することによって、当該所望の番組の動画データがサーバから送信されてテレビ２に表示されてもよい。
【０２２６】
（第２実施例）
以下、ゲームシステム１を用いて、ショッピングサイトで提供される商品の画像をテレビ２に表示する第２実施例について説明する。第２実施例においても第１実施例と同様、ゲーム装置３がウェブブラウザの機能を有しており、インターネット（ネットワーク９０）を介してショッピングサイトのサーバ（外部装置９１）と通信を行う。ゲーム装置３は、商品を紹介するウェブページを上記サイトから取得したり、商品の画像を取得したりする。以下、第２実施例におけるゲームシステム１の動作を説明する。
【０２２７】
図２２は、第２実施例において端末装置７に表示される、ショッピングサイトから取得されるウェブページの一例を示す図である。図２２に示す画像は、ショッピングサイトにおいて商品を紹介する画像であり、商品画像１４１および購入ボタン１４２を含む。商品画像１４１は商品を表す画像である。第２実施例においては、商品画像１４１は静止画であるとするが、他の実施例においては動画であってもよい。購入ボタン１４２は、ユーザが商品を購入するためのボタンである。また、図２２では、画面を上下にスクロールさせるためのスクロールバー１４３およびつまみ１４４が表示される。なお、第１実施例と同様、端末装置７には、一般的なブラウザにおける各種の操作を行うためのボタンやメニューバー等が表示されてもよい。
【０２２８】
第２実施例においては、ゲーム装置３は、端末装置７に表示される商品画像１４１のうちから、ユーザによって選択されたものをテレビ２に表示させる。すなわち、端末装置７に１以上の商品画像１４１が表示されている場合において、ユーザが商品画像１４１を選択する操作（例えば、商品画像１４１をタッチする操作や、カーソルを商品画像１４１の位置に合わせて所定のボタンを押下する操作）を行うと、ゲーム装置３は、商品画像１４１をテレビ２に出力する。画面の大きなテレビ２に商品画像１４１を表示させることによって、複数人のユーザに商品画像を見やすく提示することができる。また、テレビ２に表示される商品画像に関する操作は端末装置７によって行われるので、ユーザは、手元の端末装置７を用いて容易に操作を行うことができる。例えば、第２実施例によれば、端末装置７を用いてショッピングサイトでの商品の購入を行うユーザが、購入を検討する商品の画像をテレビ２に表示させることで他のユーザ（家族や友人）に商品を見せ、商品の感想や意見を聞く、といった利用方法が可能である。
【０２２９】
以下、第２実施例におけるゲーム装置３の処理の詳細を説明する。第２実施例においても第１実施例と同様、ＣＰＵ１０がブラウザプログラムを実行することによって処理が行われる。以下、第１実施例との相違点を中心に、第２実施例における処理を説明する。
【０２３０】
第２実施例においても第１実施例と同様、図１８に示すフローチャートに沿って処理が実行される。なお、ステップＳ１３およびＳ１４の処理に関しては、第２実施例においても第１実施例と同様、上述の（ａ）〜（ｃ）の操作に応じて、当該操作に応じた処理が実行される他、次の処理も実行される。すなわち、ステップＳ１３において購入ボタン１４２を指定する操作が行われた場合には、ステップＳ１４の処理において、商品購入用の入力ページの取得要求が生成される。商品購入用の入力ページとは、商品の購入に必要となる所定の情報（購入者のＩＤ、パスワード、カード番号等）を入力するためのウェブページである。また、ステップＳ１３において、端末装置７に表示中のウェブページに含まれる商品画像１４１を指定する操作が行われた場合には、テレビ２に表示すべき商品画像を取得するための取得要求が生成される。
【０２３１】
また、ステップＳ１７の送信処理に関しては、第２実施例においてはショッピングサイトのサーバから動画は取得されないので、ステップＳ２１〜Ｓ２３の処理は実行されなくてもよい。なお、ステップＳ１４の処理において、商品画像を取得するための取得要求が生成された場合には、ステップＳ２５の処理によって当該取得要求がサーバへ送信される。
【０２３２】
また、第２実施例においては、ステップＳ１８の表示処理が第１実施例とは異なる。図２３は、第２実施例における表示処理（ステップＳ１８）の詳細な流れを示すフローチャートである。第２実施例における表示処理においてはまず、ステップＳ５０において、ＣＰＵ１０は、ステップＳ１１の処理でウェブページのデータが受信されたか否かを判定する。ステップＳ５０の処理は、第１実施例におけるステップＳ３１の処理と同じである。ステップＳ５０の判定結果が肯定である場合、ステップＳ５１の処理が実行される。一方、ステップＳ５０の判定結果が否定である場合、ステップＳ５１の処理がスキップされてステップＳ５２の処理が実行される。
【０２３３】
ステップＳ５１において、ＣＰＵ１０は、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、ステップＳ１１で受信されたウェブページの画像を生成する。ステップＳ５１の処理は、第１実施例におけるステップＳ３２の処理と同じである。なお、第２実施例では、サーバから取得されるウェブページに含まれるテキストや画像等がそのままの配置で表示されるが、第１実施例のステップＳ３４の処理のように、ウェブページに対して変更が加えられた画像が生成されてもよい。ステップＳ５１の次にステップＳ５２の処理が実行される。
【０２３４】
ステップＳ５２において、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、端末装置７に表示される端末用画像を生成する。ステップＳ５２の処理は、第１実施例におけるステップＳ３５の処理と同じである。ステップＳ５２の次にステップＳ５３の処理が実行される。
【０２３５】
ステップＳ５３において、ＣＰＵ１０は、文字入力画像を表示するか否かを判定する。ステップＳ５３の判定結果が肯定である場合、ステップＳ５４の処理が実行される。一方、ステップＳ５３の判定結果が否定である場合、ステップＳ５４の処理がスキップされてステップＳ５５の処理が実行される。上記ステップＳ５３およびＳ５４の処理は、第１実施例におけるステップＳ３６およびＳ３７の処理と同じである。なお、第２実施例においては、例えば商品を検索する際の検索キーワードを入力する場合や、上記の商品購入用の入力ページが端末装置７に表示されて、商品の購入に必要となる情報（購入者のＩＤ、パスワード、カード番号等）を入力する場合等に、文字入力画像が表示される。
【０２３６】
ステップＳ５５において、ＣＰＵ１０は、端末用画像を端末装置７へ出力（送信）する。ステップＳ５５の処理は、第１実施例におけるステップＳ３８の処理と同じである。ステップＳ５５の次にステップＳ５７の処理が実行される。
【０２３７】
ステップＳ５６において、ＣＰＵ１０は、テレビ２に表示すべき商品画像のデータがステップＳ１１の処理で受信されたか否かを判定する。なお、第２実施例においては、テレビ２で再生（表示）すべき画像を管理するための画像管理データがメインメモリに記憶される。また、ステップＳ１１の処理において、商品画像のデータが受信された場合には、商品画像を識別する情報と、商品画像の受信状況情報とを表す画像管理データがメインメモリに記憶される。したがって、ステップＳ５６の判定は、メインメモリから画像管理データを読み出して参照することによって行うことができる。ステップＳ５６の判定結果が肯定である場合、ステップＳ５７の処理が実行される。一方、ステップＳ５６の判定結果が否定である場合、ステップＳ５７およびＳ５８の処理がスキップされ、ＣＰＵ１０は表示処理を終了する。
【０２３８】
ステップＳ５７において、ＣＰＵ１０は、テレビ２の入力を切り替える制御を行う。ステップＳ５７の処理は、第１実施例におけるステップＳ４０の処理と同じである。ステップＳ５７の処理によって、テレビ２は、商品画像が表示可能な状態（ゲーム装置３から出力される画像を表示する状態）となるように制御される。ステップＳ５７の次にステップＳ５８の処理が実行される。
【０２３９】
ステップＳ５８において、ＣＰＵ１０はテレビ２に商品画像を出力する。まず、ＣＰＵ１０は、フラッシュメモリ１７に記憶されている商品画像のデータを読み出し、ＶＲＡＭ１１ｄに記憶する。このとき、第１実施例におけるステップＳ４２の処理と同様、ＣＰＵ１０およびＧＰＵ１１ｂは、必要に応じて、フラッシュメモリ１７に記憶されているデータから画像を生成する処理を行ってもよい。ＶＲＡＭ１１ｄに記憶された上記画像はＡＶ−ＩＣ１５へ送られ、ＡＶ−ＩＣ１５は画像を、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、商品画像がテレビ２に表示される。なお、この後、ユーザが端末装置７を用いて新たな商品画像を選択する操作を行った場合、新たな商品画像のデータが取得されたことに応じて、テレビ２に表示される画像が新たな商品画像に切り替わる。また、ＣＰＵ１０は、ユーザが端末装置７を用いて所定の表示停止指示を行うことに応じて、テレビ２への画像の出力を停止してもよい。ステップＳ５８の後、ＣＰＵ１０は表示処理を終了する。以上で、第２実施例におけるゲーム装置３の処理の説明を終了する。
【０２４０】
なお、上記第２実施例では、商品画像をテレビ２に表示する場合、表示すべき商品画像のデータをサーバから新たに取得するものとした。ここで、他の実施例においては、ＣＰＵ１０は、テレビ２に表示する商品画像として、既に取得されているウェブページ（端末装置に表示される操作画像）に含まれる商品画像を用いてもよい。すなわち、ＣＰＵ１０は、ステップＳ１３において、端末装置７に表示中のウェブページに含まれる商品画像を指定する操作が行われた場合には、当該商品画像をテレビ２に出力するようにしてもよい。
【０２４１】
以上のように、第２実施例においては、ゲーム装置３において受信された受信データに含まれる画像（商品画像）がテレビ２に出力され（ステップＳ５８）、当該画像に関する操作を行うための操作画像（図２２）が端末装置７へ出力される（ステップＳ５５）。また、ゲーム装置３は、操作画像に対する操作を表す操作データを端末装置７から取得し（ステップＳ１２）、テレビ２に表示される画像に関する情報処理を操作データに基づいて実行する（ステップＳ１４）。
【０２４２】
より具体的には、第２実施例における処理によれば、ゲーム装置３は、例えば次のような動作を行うことが可能である。すなわち、ゲーム装置３はまず、ショッピングサイトのサーバにアクセスして商品を紹介するウェブページのデータを受信して（ステップＳ１１）、当該ウェブページを端末装置７へ出力する（ステップＳ５５）。つまり、ゲーム装置３は、複数の商品に関する情報を記憶するサーバから、複数種類の商品の画像を示すデータを受信し、当該複数種類の商品の画像を表す操作画像を端末装置７へ出力する。また、上記ウェブページに含まれる商品画像をユーザが指定した場合（ステップＳ１４）、商品画像の取得要求がサーバへ送信される（ステップＳ２５）。これに応じてサーバから商品画像がゲーム装置３へ送信され、ゲーム装置３において受信された商品画像はテレビ２へ出力される（ステップＳ５９）。つまり、ＣＰＵ１０は、複数種類の商品の画像からテレビ２に表示すべき商品の画像を選択し、選択された商品の画像をテレビ２へ出力する。したがって、第２実施例によれば、ショッピングサイトで取得された商品の画像をテレビ２によってより見やすくユーザに提供することができるとともに、ユーザは当該画像に関する操作を端末装置７によって容易に行うことができる。
【０２４３】
また、第２実施例においては、ＣＰＵ１０は、商品を購入するための所定の情報の入力を受け付け（ステップＳ１６）、入力された情報を含む画像を端末装置７へ出力する（ステップＳ５５）。ここで、第２実施例においては、上記所定の情報はテレビ２ではなく端末装置７に表示されるので、端末装置７を使用する購入者のユーザ以外のユーザは当該所定の情報をみることができない。したがって、第２実施例においては、購入者は例えばＩＤ、パスワード、カード番号等、他人に知られてはいけない情報である上記所定の情報を、他人に見られることなく、ショッピングサイトで買い物を行うことができる。
【０２４４】
以上のように、上記第１および第２実施例によれば、ゲーム装置３は、複数種類の画像を表すデータを受信し（ステップＳ１１）、当該複数種類の画像を表す操作画像（図１３〜図１５，図２２）を端末装置７へ出力する（ステップＳ３８，Ｓ５５）。また、ＣＰＵ１０は、複数種類の画像からテレビ２に表示すべき画像を端末操作データに基づいて選択する処理を実行する（ステップＳ１４）。ゲーム装置３は、選択された画像を取得する要求をサーバへ送信するとともに（ステップＳ２３）、当該要求に応じてサーバから送信されてくる当該画像のデータを受信する（ステップＳ１１）。そして、選択された画像がテレビ２へ出力される。したがって、上記第１および第２実施例によれば、ユーザは、端末装置７に表示される操作画像によって表される複数種類の画像から、画像を選択する操作によって、テレビ２に表示される画像を指定することができる。これによって、テレビ２に表示すべき画像を端末装置７によって容易に選択することができる。
【０２４５】
また、上記第１および第２実施例によれば、ＣＰＵ１０は、端末操作データに基づいて、ユーザによって入力された検索キーワードを取得する（ステップＳ１６）。これに応じて、ゲーム装置３は、取得された検索キーワードをサーバへ送信する（ステップＳ２５）とともに、当該検索キーワードによる検索結果データとして、複数種類の画像を表すデータをサーバから受信する（ステップＳ１１）。また、検索結果データが受信された場合、ＣＰＵ１０は、検索結果を表す画像として、複数種類の画像を表す操作画像（図１４）を端末装置７へ出力する（ステップＳ３８，Ｓ５５）。したがって、上記第１および第２実施例によれば、テレビ２に表示する画像に関する検索を端末装置７によって行うことができ、検索結果を端末装置７によって確認することができる。さらに、検索結果に含まれる画像を選択することによって、選択された画像をテレビ２に表示させることができる。
【０２４６】
（第３実施例）
以下、ゲームシステム１を用いて、テレビ電話における通話相手の画像をテレビ２に表示する第３実施例について説明する。第３実施例においては、ゲーム装置３はテレビ電話の機能を有しており、所定のネットワークを介して通話先の装置との間で映像および音声を送受信する。第３実施例においては、図１１に示す外部装置９１は通話先の装置（相手装置）である。相手装置は、ゲーム装置３と通信可能なテレビ電話の機能を有していればよく、ゲームシステム１と同様の構成であってもよいし、異なる構成であってもよい。また、ゲーム装置３と外部装置９１とを接続するネットワークは、インターネットでもよいし、他の専用のネットワークでもよい。
【０２４７】
図２４は、第３実施例においてテレビ２に表示される画像の一例を示す図である。図２４に示すように、テレビ２には、テレビ電話における通話相手の画像（動画）が表示される。なお、テレビ２には、通話相手の画像の他に、通話相手の名前等が表示されてもよい。また、ネットワーク経由で複数の相手と通話を行う場合は、画面を分割して、それぞれの通話相手の画像を表示するようにしてもよい。
【０２４８】
図２５は、第３実施例において端末装置７に表示される画像の一例を示す図である。端末装置７に表示される画像は、テレビ２に表示される画像に関する操作を行うための操作画像である。図２５に示すように、端末装置７に表示される操作画像は、通話先リスト１５１、通話ボタン１５２、録画ボタン１５３、終了ボタン１５４、メッセージボタン１５５、通話時間画像１５６、およびユーザ画像１５７を含む。通話先リスト１５１は、通話可能なユーザを示すリストである。ここでは、通話先リスト１５１により示される名前から、通話したい相手の名前を選択する操作によって通話先の端末が指定される。通話ボタン１５２は、通話を開始したり、終了したりするためのボタンである。録画ボタン１５３は、テレビ２に表示される動画の録画を開始したり、終了したりするためのボタンである。終了ボタン１５４は、テレビ電話のアプリケーションを終了するためのボタンである。メッセージボタン１５５は、相手装置にメッセージを送信するためのボタンである。通話時間画像１５６は、通話時間を示す画像である。ユーザ画像１５７は、端末装置７のカメラ５６で撮像されたユーザ自身の画像である。図２５に示す他、端末装置７には、音量を調整するためのボタンや、相手装置からのメッセージを表示する領域等が表示されてもよい。
【０２４９】
第３実施例においては、ゲーム装置３は、相手装置との間で画像および音声の送受信を行う。すなわち、端末装置７のカメラ５６で撮像された画像およびマイク６９で検出された音声は、ゲーム装置３から相手装置へ送信される。また、相手装置から送信されてくる、通話相手の画像および音声がゲーム装置３によって受信され、テレビ２に出力される。ここで、第３実施例においては、通話相手の画像はテレビ２に表示され、端末装置７にはテレビ２に表示される画像を操作するための操作画像が表示される。これによって、テレビ電話における画像を、より見やすく、複数人での視聴に適した形でユーザに提供することができる。また、ユーザは、テレビ２に表示される画像に関する操作を手元の端末装置７を用いて容易に行うことができる。
【０２５０】
以下、第３実施例におけるゲーム装置３の処理の詳細を説明する。まず、ゲーム装置３の処理において用いられる各種データについて説明する。図２６は、第３実施例におけるゲーム装置３の処理において用いられる各種データを示す図である。図２６は、ゲーム装置３のメインメモリに記憶される主なデータを示す図である。図２６に示すように、ゲーム装置３のメインメモリには、テレビ電話プログラム１６１、端末操作データ１２１、カメラ画像データ１６２、マイク音声データ１６３、および処理用データ１６４が記憶される。なお、図２６において、図１７と同じデータには図１７と同じ番号を付し、詳細な説明を省略する。また、メインメモリには、図２６に示すデータの他、テレビ電話プログラム１６１において用いられる画像データ等、必要なデータが記憶される。
【０２５１】
テレビ電話プログラム１６１は、テレビ電話の機能をゲーム装置３のＣＰＵ１０に実行させるためのプログラムである。第３実施例では、ＣＰＵ１０がテレビ電話プログラム１６１を実行することによって、図２７に示すフローチャートの各ステップが実行される。テレビ電話プログラム１６１は、ゲーム装置３に電源が投入された後の適宜のタイミングでフラッシュメモリ１７からその一部または全部が読み込まれてメインメモリに記憶される。なお、テレビ電話プログラム１６１は、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０２５２】
カメラ画像データ１６２は、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。カメラ画像データ１６２は、端末装置７から送信されてくる圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
【０２５３】
マイク音データ１６３は、端末装置７のマイク６９によって検出された音声（マイク音）を表すデータである。マイク音データ１６３は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０２５４】
処理用データ１６４は、後述するテレビ電話処理（図２７）において用いられるデータである。第３実施例では、処理用データ１６４は、図２７に示すテレビ電話処理において生成される各種のデータを含む。処理用データ１６４としてメインメモリに記憶されるデータの詳細については後述する。
【０２５５】
次に、第３実施例においてゲーム装置３で実行される処理の詳細を、図２７を用いて説明する。図２７は、第３実施例においてゲーム装置３で実行される処理の流れを示すフローチャートである。なお、ゲーム装置３は、第１実施例におけるブラウザプログラム１２０と同様の方法で、テレビ電話プログラム１６１の実行を開始する。図２７に示すフローチャートは、テレビ電話プログラム１６１の実行開始に応じて実行される処理の流れを示すフローチャートである。
【０２５６】
まずステップＳ６０において、ＣＰＵ１０は相手装置との接続処理を行う。具体的には、ＣＰＵ１０は、例えば図２５に示すような操作画像を端末装置７に出力し、ユーザによる接続操作を受け付ける。接続操作は、ここでは、端末装置７に表示される通話先リスト１５１から、通話相手を選択する操作と、通話相手が選択された状態で通話ボタン１５２を指定する操作とによって行われる。接続操作が行われた場合、ＣＰＵ１０は、選択された通話相手に対応する相手装置との通信を確立する処理を行う。装置間の通信を確立する処理は、どのような方法で行われてもよく、例えば装置間の接続を管理する装置（サーバ）を介して通信が確立されてもよいし、ゲーム装置３が相手装置に対して直接通信を行うことによって確立されてもよい。ゲーム装置３と相手装置との通信が可能な状態になると、ステップＳ６０の次にステップＳ６１の処理が実行される。
【０２５７】
ステップＳ６１において、ＣＰＵ１０は、テレビ２の入力を切り替える制御を行う。ステップＳ６１の処理は、第１実施例におけるステップＳ４０の処理と同じである。また、他の実施例においては、ＣＰＵ１０は、テレビ２の電源をオンにする制御指令を出力した後、テレビ２の入力をゲーム装置３に切り替える制御指令を出力するようにしてもよい。ステップＳ６１の次にステップＳ６２の処理が実行される。
【０２５８】
ステップＳ６２において、ＣＰＵ１０は、相手装置から送信されてくるデータを受信する。第３実施例においては、このデータには、相手装置側に設けられるカメラで撮像された画像（通話相手の画像）と、相手装置側に設けられるマイクで検出された音声（通話相手の音声）とのデータが含まれる。相手装置から送信されてくるデータは、ゲーム装置３で受信されるとフラッシュメモリ１７に記憶される。ＣＰＵ１０は、受信されたデータの有無、および、受信されたデータの内容を確認する。ステップＳ６２の次にステップＳ６３の処理が実行される。
【０２５９】
ステップＳ６３において、ＣＰＵ１０は、相手装置から送信された画像および音声をテレビ２に出力する。すなわち、ＣＰＵ１０は、フラッシュメモリ１７に記憶されている画像（動画）のデータを読み出し、画像をＶＲＡＭ１１ｄに記憶する。ＶＲＡＭ１１ｄに記憶された上記画像はＡＶ−ＩＣ１５へ送られる。また、ＣＰＵ１０は、フラッシュメモリ１７に記憶されている音声のデータを読み出し、音声をＡＶ−ＩＣ１５へ送る。ＡＶ−ＩＣ１５は上記の画像および音声を、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、画像がテレビ２に表示されるとともに、音声がテレビ２のスピーカ２ａから出力される。ステップＳ６３の次にステップＳ６４の処理が実行される。
【０２６０】
ステップＳ６４において、ＣＰＵ１０は、端末装置７からデータを取得する。第３実施例においては、端末操作データ、カメラ画像データ、およびマイク音声データが取得される。端末装置７は、上記各データ（端末操作データ、カメラ画像データ、およびマイク音声データ）をゲーム装置３へ繰り返し送信するので、ゲーム装置３は各データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が各データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ＣＰＵ１０は、最新の端末操作データ１２１をメインメモリから読み出す。ステップＳ６４の次にステップＳ６５の処理が実行される。
【０２６１】
ステップＳ６５において、ＣＰＵ１０は、端末装置７から取得されたカメラ画像およびマイク音声を相手装置へ送信する。すなわち、ＣＰＵ１０は、ステップＳ６４でメインメモリに記憶されたカメラ画像データおよびマイク音データを読み出し、ネットワーク９０へ送信すべきデータとしてフラッシュメモリ１７の所定領域に記憶する。なお、他の実施例においては、端末装置７から取得されたカメラ画像データおよびマイク音データがフラッシュメモリ１７に直接記憶されてもよい。また、これら各データ（カメラ画像データおよびマイク音データ）をフラッシュメモリ１７に記憶する際、ＣＰＵ１０は、相手装置との通信に適した形式となるように各データを必要に応じて修正してもよい。入出力プロセッサ１１ａは、フラッシュメモリ１７に記憶された上記各データを所定のタイミングでネットワーク９０へ送信する。これによって、当該各データが相手装置へ送信される。ステップＳ６５の処理の次にステップＳ６６の処理が実行される。
【０２６２】
ステップＳ６６において、ＣＰＵ１０は、端末装置７を用いたユーザの操作に応じた処理を実行する。この処理はどのような処理であってもよく、従来のテレビ電話アプリケーションにおいて実行される処理であってもよい。なお、ユーザの操作は、ステップＳ６４で取得した端末操作データ１２１に基づいて判断される。第３実施例では、例えば、図２５に示す録画ボタン１５３またはメッセージボタン１５５が指定されたことに応じて、各ボタン１５３または１５５に関連付けられた処理が実行される。すなわち、上記録画ボタン１５３が指定された場合には、テレビ２に表示される動画をメインメモリ等に記憶する処理が実行される。また、上記メッセージボタン１５５が指定された場合には、ＣＰＵ１０は、ユーザから文字入力を受け付け、入力された文字を相手装置へ送信する。なお、文字入力を受け付ける場合には、ＣＰＵ１０は、第１実施例における文字入力画像（図２１）を端末装置７に表示させるようにしてもよい。なお、通話ボタン１５２が指定された場合には、ＣＰＵ１０は、現在接続されている相手装置との通信を終了する。このとき、図示しないが、ステップＳ６０の処理が再度実行される。ステップＳ６６の次にステップＳ６７の処理が実行される。
【０２６３】
ステップＳ６７において、ＣＰＵ１０は端末用画像を生成する。第３実施例においては、図２５に示すような操作画像が生成される。ここで、第３実施例では、操作画像の生成方法が上記第１および第２実施例とは異なる。すなわち、操作画像は、外部装置９１から取得されるデータ（ウェブページのデータ）に基づいて生成されるのではなく、ゲーム装置３において予め用意されたデータや、カメラ画像データに基づいて生成される。ＣＰＵ１０およびＧＰＵ１１ｂは、テレビ電話プログラム１６１とともに用意される画像データとカメラ画像データを用いて操作画像を生成し、生成した操作画像のデータをＶＲＡＭ１１ｄに記憶する。ステップＳ６７の次にステップＳ６８の処理が実行される。
【０２６４】
ステップＳ６８において、端末用画像を端末装置７へ出力（送信）する。ステップＳ６８の処理は第１実施例におけるステップＳ３５の処理と同様である。この処理によって、端末用画像がＬＣＤ５１に表示される。なお、ステップＳ６８においてもステップＳ３５と同様、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ６７から音声が出力されてもよい。例えば、テレビ２のスピーカ２ａから出力する音声と同じ音声が端末装置７から出力されてもよい。ステップＳ６８の次にステップＳ６９の処理が実行される。
【０２６５】
ステップＳ６９において、ＣＰＵ１０は、テレビ電話プログラムを終了するか否かを判定する。具体的には、ステップＳ６４で取得した端末操作データ１２１に基づいて、終了ボタン１５４が指定されたか否かを判定する。ステップＳ６９の判定結果が否定の場合、ステップＳ６２の処理が再度実行される。一方、ステップＳ６９の判定結果が肯定の場合、ＣＰＵ１０は図２７に示すテレビ電話処理を終了する。以降、ステップＳ６２〜Ｓ６９の一連の処理は、ステップＳ６９で上記指示があったと判定されるまで繰り返し実行される。
【０２６６】
なお、上述のように、ゲーム装置３は、複数の相手装置との間で通信を行うようにしてもよい。このとき、ステップＳ６２においては、ネットワークを介して複数の相手装置と通信を行い、それぞれの相手装置から動画および音声のデータを受信する。ステップＳ６３においては、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、上記複数の相手装置から受信されるそれぞれの動画を含むテレビ用画像を生成して、テレビ２へ出力する。例えば、テレビ用画像は、画面を相手装置の数に分割した各領域に各相手装置からの画像がそれぞれ表示されるように生成される。また、各相手装置から送信されてくる各音声については、各音声がテレビ２のスピーカ２ａへそれぞれ出力されてもよいし、各音声のうちいずれか１つの音声のみがスピーカ２ａへ出力されてもよい。また、ステップＳ６５においては、端末装置７から取得されたカメラ画像およびマイク音声が、各相手装置へそれぞれ送信される。
【０２６７】
以上のように、第３実施例においても第１および第２実施例と同様、ゲーム装置３において受信された受信データに含まれる画像（通話相手の画像）がテレビ２に出力され（ステップＳ６３）、当該画像に関する操作を行うための操作画像（図２５）が端末装置７へ出力される（ステップＳ６８）。また、ゲーム装置３は、操作画像に対する操作を表す操作データを端末装置７から取得し（ステップＳ６４）、テレビ２に表示される画像に関する情報処理を操作データに基づいて実行する（ステップＳ６６）。
【０２６８】
また、第３実施例においては、ゲーム装置３は、カメラを備える外部装置（相手装置）から当該カメラによって撮像された動画を受信するとともに、端末装置７のカメラ５６によって撮像された動画を当該外部装置へ送信する。このように、ゲームシステム１は、外部装置９１と画像を送受信するシステムに対して適用することも可能であり、第３実施例のように、テレビ電話システムに対して適用することも可能である。第３実施例によれば、通話相手の画像がテレビ２に表示されるので、端末装置７を用いて通話を行うユーザ以外の者も通話相手の顔を見ることができ、テレビ電話の画像がより見やすくなる。
【０２６９】
また、上記第１および第３実施例によれば、ゲーム装置３は、外部装置から動画のデータを受信し（ステップＳ１１，Ｓ６２）、受信された動画の再生に関する操作を少なくとも表す操作画像（図１５、図２５）を端末装置７へ出力する。したがって、上記第１および第３実施例によれば、テレビ２を用いて動画を見やすく表示することができるとともに、端末装置７の操作画像によって動画に関する操作を容易に行うことができる。
【０２７０】
（他の実施例）
上記第１〜第３実施例の他、ゲームシステム１は、ネットワークを介して画像を取得して表示する任意のシステムに適用することが可能である。他の実施例においては、テレビ２に表示する画像と、端末装置７に表示する画像とを外部装置９１に用意しておき、ゲーム装置３がこれらの画像を外部装置９１から取得し、取得した各画像をテレビ２および端末装置７にそれぞれ表示するようにしてもよい。例えば紙芝居のコンテンツとして、紙芝居の絵をテレビ用画像として用意するとともに、紙芝居の文章を端末用画像として用意することが考えられる。このとき、ゲーム装置３は、各画像を外部装置９１から取得すると、テレビ２に紙芝居の絵を表示させ、端末装置７に紙芝居の文章を表示させる。また、端末装置７には、端末用画像およびテレビ用画像のページを変更する（次のページの各画像を取得する）指示を行うためのボタン等の画像が表示されてもよい。これによって、端末用画像を用いて各画像に対する操作を行うことが可能となる。上記によれば、親が端末装置７を用いて紙芝居の話を読み、テレビ２によって子供に紙芝居の絵を見せることができ、ゲームシステム１を用いて紙芝居を子供に読み聞かせることができる。
【０２７１】
上記紙芝居のコンテンツを各表示装置に表示させる例の他、例えば、会議やプレゼン用の資料を表示する用途にゲームシステム１を用いることも可能である。すなわち、会議やプレゼンの参加者に見せるための資料の画像をテレビ用画像とし、テレビ２に表示される資料について説明（発表）を行うユーザが見るための資料を端末用画像として各表示装置に画像を表示するようにしてもよい。
【０２７２】
以上のように、ゲーム装置３は、所定の画像および当該所定の画像に関連付けられる文字情報のデータを受信してもよく、このとき、ＣＰＵ１０は、所定の画像をテレビ２へ出力し、文字情報を含む操作画像を端末装置７へ出力してもよい。これによれば、ユーザは、端末装置７を用いることで、テレビ２に表示される画像に関する説明や話をスムーズに行うことができる。また、テレビ２に表示される所定の画像（および端末装置７に表示される文字情報）に関する操作を、端末装置７によって容易に行うことができる。
【０２７３】
（第４実施例）
上記第１〜第３実施例においては、ゲームシステム１は、外部装置９１から取得される画像をテレビ２に表示するものであった。ここで、ゲームシステム１は、テレビ２によって受信されるテレビ放送の番組が表示される場合において、外部装置９１から取得されるＥＰＧ（電子番組表）を用いてテレビ２の選局を制御することも可能である。以下、第４実施例として、ゲーム装置３がテレビ２の選局を制御する処理動作を説明する。
【０２７４】
図２８は、第４実施例におけるゲーム装置３の処理において用いられる各種データを示す図である。図２８は、ゲーム装置３のメインメモリに記憶される主なデータを示す図である。図２８に示すように、ゲーム装置３のメインメモリには、テレビ制御プログラム１７１、端末操作データ１２１、および処理用データ１７２が記憶される。なお、図２８において、図１７と同じデータには図１７と同じ番号を付し、詳細な説明を省略する。また、メインメモリには、図２８に示すデータの他、テレビ制御プログラム１７１において用いられる画像データ等、必要なデータが記憶される。
【０２７５】
テレビ制御プログラム１７１は、外部装置９１から取得されるＥＰＧを用いてテレビ２を制御する処理をゲーム装置３のＣＰＵ１０に実行させるためのプログラムである。第４実施例では、ＣＰＵ１０がテレビ制御プログラム１７１を実行することによって、図２９に示すフローチャートの各ステップが実行される。テレビ制御プログラム１７１は、ゲーム装置３に電源が投入された後の適宜のタイミングでフラッシュメモリ１７からその一部または全部が読み込まれてメインメモリに記憶される。なお、テレビ制御プログラム１７１は、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０２７６】
処理用データ１７２は、後述するテレビ制御処理（図２９）において用いられるデータである。第４実施例では、処理用データ１７２は、番組情報データ１７３、番組予約データ１７４、および制御指令データ１３２を含む。番組情報データ１７３は、外部装置９１から取得されるＥＰＧに含まれる番組に関する情報を表す。具体的には、番組情報データ１７３は、番組を識別する識別情報（番組のタイトル等）と、番組の放送時刻と、番組のチャンネルとを少なくとも表す。番組予約データ１７４は、ユーザによって視聴が予約された番組を表すデータである。具体的には、番組予約データ１７４は、当該番組の開始時刻とチャンネルとを少なくとも表す。制御指令データ１３２は、上記実施例と同様のデータである。図２８に示す他、処理用データ１７２は、テレビ制御処理において生成される各種のデータを含む。
【０２７７】
図２９は、第４実施例においてゲーム装置３が実行する処理の流れを示すフローチャートである。なお、ゲーム装置３は、第１実施例におけるブラウザプログラム１２０と同様の方法で、テレビ制御プログラム１７１の実行を開始する。図２９に示すフローチャートは、テレビ制御プログラム１７１の実行開始に応じて実行される処理の流れを示すフローチャートである。
【０２７８】
まずステップＳ７１において、ＣＰＵ１０は、外部装置９１からＥＰＧのデータを受信する。すなわち、ＣＰＵ１０はまず、ＥＰＧの取得要求を生成し、ネットワーク９０を介して所定の外部装置９１へ取得要求を送信する。所定の外部装置９１は、ＥＰＧのデータを記憶するウェブサーバ等、ＥＰＧのデータを提供することが可能なものであればどのようなものであってもよい。上記取得要求に応じて、外部装置９１はネットワーク９０を介してＥＰＧのデータをゲーム装置３へ送信する。外部装置９１から送信されてくるＥＰＧのデータはフラッシュメモリ１７に記憶される。ＣＰＵ１０は、受信されたデータをフラッシュメモリ１７から読み出し、読み出したデータに基づいて番組情報データ１７３を生成してメインメモリに記憶する。ステップＳ７１の次にステップＳ７２の処理が実行される。
【０２７９】
ステップＳ７２において、ＣＰＵ１０は、テレビ２の電源をオンにする制御を行う。すなわち、ＣＰＵ１０は、テレビ２の電源をオンにする制御指令を表す制御指令データ１３２を生成してメインメモリに記憶する。そして、上記第１実施例と同様の方法で、上記制御指令によってテレビ２の電源をオンにする制御が行われる。ステップＳ７２の次にステップＳ７３の処理が実行される。なお、第４実施例においては、ステップＳ７２の処理が終了した以降、ステップＳ７３〜Ｓ８１の処理ループは所定時間に１回の割合で繰り返し実行される。
【０２８０】
上記ステップＳ７２の処理によって、第４実施例では、テレビ２の電源がオフにされている場合であっても、ユーザが操作を行うことなく自動的にテレビ２の電源をオンにすることができる。なお、他の実施形態において、テレビ制御プログラム１７１の実行開始時にテレビ２の電源がすでにオンになっていることを想定する場合や、ユーザに操作を行わせる場合には、ステップＳ７２の処理は実行されなくてもよい。
【０２８１】
ステップＳ７３において、ＣＰＵ１０は、端末用画像を生成し、端末装置７へ出力する。すなわち、ＣＰＵ１０は、フラッシュメモリ１７に記憶されているＥＰＧのデータを読み出し、当該データに基づいてＥＰＧの画像を生成する。生成された画像のデータはＶＲＡＭ１１ｄに記憶される。ＶＲＡＭ１１ｄに記憶された端末用画像のデータは、第１実施例と同様の方法で端末装置７へ出力される。これによって、ＥＰＧの画像が端末装置７に表示される。ステップＳ７３の次にステップＳ７４の処理が実行される。
【０２８２】
図３０は、端末装置７に表示されるＥＰＧの画像の一例を示す図である。図３０のように、端末装置７には、外部装置９１から取得されたＥＰＧの一部（全部でもよい）が表示される。なお、ＥＰＧの一部のみが端末装置７に表示される場合には、端末装置７に対する操作によって画面をスクロールすることができるようにしてもよい。図３０に示すようなＥＰＧの画像が端末装置７に表示されることによって、ユーザは、端末装置７を用いて（例えば見たい番組の欄をタッチすることによって）見たい番組を選択することができる。また、端末用画像は、ＥＰＧの画像の他、番組を選択するためのカーソルの画像や、画面をスクロールさせたり、テレビ制御プログラム１７１を終了させたりする等の各種指示を行うためのボタンあるいはメニューバーの画像等を含むものであってもよい。
【０２８３】
ステップＳ７４において、ＣＰＵ１０は端末操作データを取得する。ステップＳ７４の処理は上記第１実施例のステップＳ１２と同じである。ステップＳ７４の次にステップＳ７５の処理が実行される。
【０２８４】
ステップＳ７５において、ＣＰＵ１０は、番組を選択する操作が行われたか否かを判定する。ここで、番組の選択操作は、端末装置７を用いたどのような操作であってもよいが、例えば、端末装置７に表示されるＥＰＧのうちで見たい番組の欄をタッチする操作であってもよいし、見たい番組の欄にカーソルを合わせて所定のボタンを押下する操作であってもよい。ＣＰＵ１０は、ステップＳ７３で取得された端末操作データに基づいて、上記の操作が行われたか否かを判定する。また、上記の操作が行われた場合には、選択された番組に関する情報（識別情報、放送時刻、および、チャンネル等）を表すデータ（選択番組データ）をメインメモリに記憶する。ステップＳ７５の判定結果が肯定である場合、ステップＳ７６の処理が実行される。一方、ステップＳ７５の判定結果が否定である場合、後述するステップＳ７９の処理が実行される。
【０２８５】
ステップＳ７６において、ＣＰＵ１０は、ユーザによって選択された番組が放送中であるか否かを判定する。すなわち、ＣＰＵ１０はまず、上記ステップＳ７５で記憶された選択番組データをメインメモリから読み出し、上記番組の放送時刻を特定することで、当該番組が現在放送中であるか否かを判定する。ステップＳ７６の判定結果が肯定である場合、ステップＳ７７の処理が実行される。一方、ステップＳ７６の判定結果が否定である場合、ステップＳ７８の処理が実行される。
【０２８６】
ステップＳ７７において、ＣＰＵ１０は、ユーザによって選択された番組のチャンネルを選局するようにテレビ２に制御する。すなわち、ＣＰＵ１０はまず、上記選択番組データをメインメモリから読み出し、上記番組のチャンネルを特定する。次に、ＣＰＵ１０は、特定されたチャンネルを選局する制御指令を表す制御指令データ１３２を生成してメインメモリに記憶する。制御指令データ１３２がメインメモリに記憶された後は、上記第１実施例と同様の方法で、上記制御指令に応じてテレビ２の動作が制御される。これによって、テレビ２のチャンネルが、上記選択された番組のチャンネルへと切り替えられる。ステップＳ７７の次にステップＳ７９の処理が実行される。
【０２８７】
一方、ステップＳ７８において、ＣＰＵ１０は、ユーザによって選択された番組の予約を行う。具体的には、ＣＰＵ１０は、ステップＳ７５で選択された番組を表すデータと、番組情報データ１７３とをメインメモリから読み出し、当該番組の開始時刻とチャンネルとを特定する。特定された開始時刻およびチャンネルを表すデータは、番組予約データ１７４としてメインメモリに記憶される。なお、ＣＰＵ１０は、開始時刻が互いに同一のものでなければ、複数の番組予約データ１７４をメインメモリに記憶し、また、開始時刻が互いに同一のものについては、いずれか一方（例えば、後で予約された方）の番組予約データ１７４のみをメインメモリに記憶するようにしてもよい。ステップＳ７８の次にステップＳ７９の処理が実行される。
【０２８８】
ステップＳ７９において、ＣＰＵ１０は、予約された番組が開始されるか否かを判定する。この判定は、ステップＳ７８で予約された番組の開始時刻が到来したか否かによって行われる。具体的には、ＣＰＵ１０は、番組予約データ１７４を読み出し、開始時刻が到来した番組があるか否かを判定する。ステップＳ７９の判定結果が肯定である場合、ステップＳ８０の処理が実行される。一方、ステップＳ７９の判定結果が否定である場合、ステップＳ８０の処理がスキップされてステップＳ８１の処理が実行される。
【０２８９】
ステップＳ８０において、ＣＰＵ１０は、開始時刻が到来した予約番組のチャンネルを選局するようにテレビ２に制御する。具体的には、ＣＰＵ１０はまず、上記ステップＳ７９において開始時刻が到来したと判定された予約番組の番組予約データ１７４に基づいて、当該予約番組のチャンネルを特定する。次に、ＣＰＵ１０は、特定されたチャンネルを選局する制御指令を表す制御指令データ１３２を生成してメインメモリに記憶する。制御指令データ１３２がメインメモリに記憶された後は、上記第１実施例と同様の方法で、上記制御指令に応じてテレビ２の動作が制御される。これによって、テレビ２のチャンネルが、上記予約番組のチャンネルへと切り替えられる。ステップＳ８０の次にステップＳ８１の処理が実行される。
【０２９０】
ステップＳ８１において、ＣＰＵ１０は、テレビ制御プログラムを終了するか否かを判定する。具体的には、ステップＳ７４で取得した端末操作データ１２１に基づいて、所定の終了操作が行われたか否かを判定する。ステップＳ８１の判定結果が否定の場合、上記ステップＳ７３の処理が再度実行される。一方、ステップＳ８１の判定結果が肯定の場合、ＣＰＵ１０は図２９に示すテレビ制御処理を終了する。以降、ステップＳ７３〜Ｓ８１の一連の処理は、ステップＳ８１で上記終了操作が行われたと判定されるまで繰り返し実行される。
【０２９１】
以上のように、上記第４実施例によれば、ゲーム装置３は、所定の外部装置からネットワークを介してテレビ放送の番組表のデータを受信する（ステップＳ７１）。そして、番組表を含む操作画像（図３０）が端末装置７へ出力される（ステップＳ７３）。ＣＰＵ１０は、操作画像に対する操作を表す操作データを端末装置７から取得する（ステップＳ７４）。さらに、ＣＰＵ１０は、操作画像に含まれる番組表のうちから上記操作データに基づいて番組を選択し（ステップＳ７５）、選択された番組のチャンネルを選局するようにテレビ２に対する制御を行う（ステップＳ７７，Ｓ８０）。このように、上記第４実施例によれば、外部装置から取得されるＥＰＧの画像を端末装置７に表示させ、端末装置７を用いてテレビ２の選局等を制御することができる。したがって、ユーザは、ＥＰＧの画像が表示される端末装置７を用いてテレビ２の選局操作を行うことができる。
【０２９２】
ここで、従来のテレビにおいてＥＰＧを画面に表示する場合には、テレビ番組の画像が画面に表示されないので、ユーザは、番組を見ながらＥＰＧを確認することができなかった。そのため、従来のテレビでは、ＥＰＧを見る場合には番組の画像が見にくくなってしまうとともに、番組の選局操作が行いにくいという課題があった。これに対して、上記第４実施例によれば、ユーザは、番組の画像をテレビ２に表示させたまま、端末装置７によってＥＰＧを見ることができ、さらに、端末装置７を用いてテレビ２の選局を制御することができる。したがって、上記第４実施例によれば、番組の画像を見やすく提供することができるとともに、ＥＰＧを用いた選局操作を容易に行うことができる。
【０２９３】
また、上記第４実施例では、現在放送中でない番組を選択することも可能であり、現在放送中でない番組が選択された場合には、当該番組の視聴が予約され（ステップＳ７８）、当該番組の開始時刻になると当該番組のチャンネルとなるように選局動作が行われる（ステップＳ８０）。したがって、ユーザは、テレビ２の番組を見ながら、後で見る別の番組を端末装置７によって選択して予約しておくことも可能である。
【０２９４】
なお、上記第４実施例においては、ユーザによって番組が選択された場合、ＣＰＵ１０は、当該番組のチャンネルを選局する動作をテレビに２行わせた。ここで、他の実施形態において、テレビ２が番組の画像を記録する機能を有する場合、あるいはテレビ２が当該機能を有する録画装置に接続されている場合には、ＣＰＵ１０は、選局動作に代えて（または、選局動作と共に）選択された番組を録画するようにテレビ２を制御してもよい。これによれば、ＥＰＧの画像が表示される端末装置７を用いてテレビ番組の録画操作を行うことができる。
【０２９５】
また、上記第４実施例において、放送済みの番組を放送局等がネットワーク経由で再度配信するサービスを行っているような場合には、番組表において放送済みの番組が指定されたときに、ゲーム装置３はネットワーク経由で番組を取得して、テレビ２のチャンネル（入力）を自動的に切り替え、番組の画像（動画）および音声をテレビ２に出力するようにしてもよい。そのようにすることで、時間帯を気にせずに好きな番組を視聴することが可能となる。具体的には、番組表から選択された番組が所定の条件を満たす場合、ゲーム装置３は、当該番組を取得する取得要求を所定の外部装置（番組表を配信する外部装置と同じであってもよいし、別であってもよい）へ行う。なお、所定の条件とは、例えば放送済（または放送が開始された後）の番組であること等である。また、番組表のデータには、番組の動画および音声の取得先を示すリンク情報を当該番組に関連付けた情報が含まれていてもよい。上記の取得要求に応じて、上記外部装置は、番組の画像および音声のデータをネットワークを介してゲーム装置３へ送信する。ゲーム装置３は、ネットワーク経由で当該番組のデータを取得する。選択された番組がネットワークを介してゲーム装置３で取得された場合、ＣＰＵ１０は、当該番組の画像および音声をテレビ２へ出力する。なお、動画の取得要求を外部装置に対して送信して動画を取得し、動画をテレビ２に出力する方法は、上記第１実施例と同様であってもよい。また、番組の画像および音声をテレビ２へ出力する前に、ＣＰＵ１０は、ゲーム装置３からの画像および音声を表示・出力するようにテレビ２の入力を切り替えてもよい。
【０２９６】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２９７】
（操作装置に関する変形例）
上記実施形態においては、端末装置７が操作装置として用いられ、コントローラ５は用いられない。したがって、ゲームシステム１はコントローラ５を含まない構成であってもよい。ただし、他の実施形態においては、端末装置７とともにコントローラ５が操作装置として用いられてもよい。すなわち、ＣＰＵ１０は、コントローラ５に対する操作を表す操作データ（コントローラ操作データ）を取得し、当該操作データに基づいて、テレビ２に表示される動画に関する情報処理を実行してもよい。例えば、テレビ２に動画が表示される場合において、コントローラ５を用いて動画の再生や一時停止の操作を行うことができるようにしてもよい。これによれば、端末装置７を把持するユーザだけでなく、他のユーザもコントローラ５を用いて、テレビ２に表示される動画に関する操作を行うことができ、操作性を向上することができる。
【０２９８】
（複数の端末装置を有する変形例）
上記実施形態においては、ゲームシステム１は端末装置７を１つのみ有する構成であったが、ゲームシステム１は複数の端末装置を有する構成であってもよい。すなわち、ゲーム装置３は、複数の端末装置とそれぞれ無線通信可能であり、画像のデータを各端末装置へ送信し、操作データとカメラ画像データとマイク音データとを各端末装置から受信するものであってもよい。また、各端末装置に表示される操作画像はそれぞれ異なっていてもよく、テレビ２に画像を表示させる操作も各端末装置で個別に行われてもよい。なお、ゲーム装置３は、複数の端末装置のそれぞれと無線通信を行うが、このとき、ゲーム装置３は、各端末装置との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
【０２９９】
また、端末装置は、操作データをゲーム装置へ出力し、ゲーム装置からの画像を受信して表示する機能を有していればよい。つまり、他の実施形態においては、端末装置は、例えば携帯ゲーム機のように、所定のプログラム（ゲームプログラム）によって所定の情報処理（ゲーム処理）を実行する機能を有する装置であってもよい。
【０３００】
（音声をテレビ２に出力する変形例）
上記実施形態においては、テレビ２に画像（動画および／または静止画）を出力する実施例を説明したが、ゲームシステム１は、画像に代えて、テレビ２（テレビ２のスピーカ２ａ）に音声を出力するために用いることも可能である。すなわち、ゲーム装置３は、外部装置９１からネットワーク９０を介して音声（音楽等）のデータを受信し、当該音声をスピーカ２ａに出力してもよい。このとき、端末装置７には、上記音声に関する操作を行うための操作画像が表示される。また、ＣＰＵ１０は、上記音声に関する情報処理を端末操作データに基づいて実行する。なお、一般的には、可搬型である端末装置７よりも大きいテレビ２の方がより高音質の音声を出力することができるので、上記によれば、ユーザは、外部装置９１から取得した音声を、テレビ２によってより良い音質で聴くことができる。
【０３０１】
（処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、情報処理の一部（例えば、端末用画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有するゲームシステムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。なお、複数の情報処理装置において情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する場合（つまり、端末装置７がシンクライアント端末である場合）には、複数の情報処理装置間で処理の同期をとる必要がなく、処理を簡易化することができる。
【０３０２】
また、上記実施形態においては、ゲーム処理を実行することが可能なゲーム装置３を含むゲームシステム１を例として説明したが、上記実施形態で記載した各処理動作は、ゲームシステムおよびゲーム装置に限らず、任意の情報処理システムおよび情報処理装置によって実行可能である。情報処理システムは、情報処理装置と、ユーザによる操作入力が可能な可搬型の表示装置（例えば端末装置７）とを含むものであればよく、情報処理装置は、可搬型の表示装置と、当該可搬型の表示装置とは異なる表示装置（例えばテレビ２）とにそれぞれ画像を出力して表示させることができるものであればよい。
【０３０３】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０３０４】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０３０５】
以上のように、本発明は、画像をより見やすく提供するとともに、画像に関する操作をユーザが容易に行うこと等を目的として、例えば、ゲームシステムおよびゲーム装置等に利用することができる。
【符号の説明】
【０３０６】
１  ゲームシステム
２  テレビ
３  ゲーム装置
４  光ディスク
７  端末装置
１０  ＣＰＵ
１１ｅ  内部メインメモリ
１２  外部メインメモリ
５１  ＬＣＤ
５２  タッチパネル
５３  アナログスティック
５４  操作ボタン
５６  カメラ
６９  マイク
７２  赤外線通信モジュール
９０  ネットワーク
９１  外部装置
１２０  ブラウザプログラム
１６１  テレビ電話プログラム
１７１  テレビ制御プログラム
【図１】
0006034551.tif 000002
【図２】
0006034551.tif 000003
【図３】
0006034551.tif 000004
【図４】
0006034551.tif 000005
【図５】
0006034551.tif 000006
【図６】
0006034551.tif 000007
【図７】
0006034551.tif 000008
【図８】
0006034551.tif 000009
【図９】
0006034551.tif 000010
【図１０】
0006034551.tif 000011
【図１１】
0006034551.tif 000012
【図１２】
0006034551.tif 000013
【図１３】
0006034551.tif 000014
【図１４】
0006034551.tif 000015
【図１５】
0006034551.tif 000016
【図１６】
0006034551.tif 000017
【図１７】
0006034551.tif 000018
【図１８】
0006034551.tif 000019
【図１９】
0006034551.tif 000020
【図２０】
0006034551.tif 000021
【図２１】
0006034551.tif 000022
【図２２】
0006034551.tif 000023
【図２３】
0006034551.tif 000024
【図２４】
0006034551.tif 000025
【図２５】
0006034551.tif 000026
【図２６】
0006034551.tif 000027
【図２７】
0006034551.tif 000028
【図２８】
0006034551.tif 000029
【図２９】
0006034551.tif 000030
【図３０】
0006034551.tif 000031