(57)【要約】【課題】複数のディスプレイ装置が並んで構成される環境下で、あるディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができるようにする。【解決手段】ディスプレイ装置は、視線検出装置からの視聴画面番号に基づく、ユーザの視聴画面の画面G2から自己の画面G3への変化があった時刻T1に、時刻T1おける画面G3の情報を、メモリにメモリ画像＃１として保存しておく。また、ディスプレイ装置は、ユーザにより実際にメモボタンが押下された時刻T2に、時刻T2における画面G3の情報をメモリ６２にメモリ画像＃２として保存するとともに、画面G3の出力画像に示されるように、チューナからの画像の出力であった画面G3を、メモリ画像＃１の出力に切り替える。本発明は、アレイ状に配置される複数のディスプレイ装置からなるマルチディスプレイシステムに適用できる。【選択図】図９
2008070696.tif 000002
【特許請求の範囲】
【請求項１】
アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムにおいて、
前記複数の表示制御装置それぞれは、
注目されている情報が表示されているか否かを判定する判定手段と、
前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段と、
ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段と、
前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段と
を備える表示制御システム。
【請求項２】
ユーザの視線を検出する視線検出装置をさらに有し、
前記複数の表示制御装置それぞれの前記判定手段は、
前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定する
請求項１に記載の表示制御システム。
【請求項３】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、
前記判定手段により前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御する
請求項２に記載の表示制御システム。
【請求項４】
前記複数の表示制御装置を制御するリモートコントローラをさらに有し、
前記リモートコントローラは、
ユーザの特定の音声を検出する音声検出手段を備え、
前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定する
請求項１に記載の表示制御システム。
【請求項５】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、
前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御する
請求項４に記載の表示制御システム。
【請求項６】
前記複数の表示制御装置を制御するリモートコントローラをさらに有し、
前記リモートコントローラは、
ユーザの把持による加速度を検出する加速度検出手段を備え、
前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定する
請求項１に記載の表示制御システム。
【請求項７】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、
前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御する
請求項６に記載の表示制御システム。
【請求項８】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、
前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像を始点とした動画像の記録開始を制御し、
前記第２の記録制御手段は、
ユーザの記録操作に対応して、前記表示手段に表示されている前記第２の画像を終点として前記動画像の記録終了を制御し、
前記表示制御手段は、
前記表示手段への前記第１の画像を始点とし、前記第２の画像を終点とした前記動画像の表示を制御する
請求項１に記載の表示制御システム。
【請求項９】
アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、
前記複数の表示制御装置それぞれの表示制御方法は、
注目されている情報が表示されているか否かを判定し、
前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、
ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、
前記表示手段への前記第１または第２の画像の表示を制御する
ステップを含む表示制御方法。
【請求項１０】
複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置において、
入力される画像信号に対応する画像を表示する前記表示手段と、
注目されている情報が表示されているか否かを判定する判定手段と、
前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段と、
ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段と、
前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段と
を備える表示制御装置。
【請求項１１】
複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法において、
注目されている情報が表示されているか否かを判定し、
前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、
ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、
前記表示手段への前記第１または第２の画像の表示を制御する
ステップを含む表示制御方法。
【請求項１２】
複数の表示制御装置からなる表示制御システムを構成する表示制御装置に、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する処理を行わせるプログラムであって、
注目されている情報が表示されているか否かを判定し、
前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、
ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、
前記表示手段への前記第１または第２の画像の表示を制御する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御システムおよび方法、表示制御装置および方法、並びにプログラムに関し、特に、複数のディスプレイいずれかに表示されるユーザが興味を引く情報を容易に記録し、表示することができるようにした表示制御システムおよび方法、表示制御装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、個々のディスプレイ装置を同じ向きに左右または上下に並べて、これらのディスプレイ装置に、それぞれ個別の画像を表示させるだけでなく、全体として、１つの画像を拡大して表示させたり、所望の大きさで画像を分割して表示させたりするマルチディスプレイ装置の技術が利用されるようになってきた（特許文献１参照）。
【０００３】
このようなマルチディスプレイ装置において番組視聴を行う場合、ユーザは、視線を動かすことでザッピングを行う。すなわち、視線を動かすだけで多くの番組を見ることができるので、興味を引く情報が見つかりやすい。
【０００４】
なお、特許文献２には、ユーザの視線を検出し、表示手段に表示される複数の画像のうち、検出された視線に応じた画像に関する処理を制御する画像処理装置が提案されている。
【０００５】
ところで、通常のディスプレイ装置においては、メモ機能が付加されており、興味を引く情報が表示されたときに、リモートコントローラなどに設けられたメモボタンを押すことで、その情報をメモリに保存しておくことができる。特にズーム表示機能が付加されている場合には、小さくてよく見えなかった部分をメモ機能で保存しておき、後からズーム表示機能により拡大してじっくり見ることができるので、メモ機能の需要は高いと考えられる。
【０００６】
【特許文献１】特開２００４−２８９８６６号公報
【特許文献２】特開２００４−２１３４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したように、マルチディスプレイ装置においては、視線を動かすことでザッピングを行うので、図１に示されるように、ユーザは、視線を動かした瞬間に興味を引く情報を見つけることがある。
【０００８】
図１の例においては、マルチディスプレイ装置を構成するディスプレイ装置に画像が表示されている例が示されている。図１のマルチディスプレイ装置は、９個のディスプレイ装置１−１乃至１−９の表示面がアレイ状に配置されて構成されている。なお、図１の例においては、説明の便宜上、ディスプレイ装置１−３のみにしか画像が表示されていないが、他のディスプレイ装置１−１，１−２，１−４乃至１−９にもそれぞれ異なる番組の画像が表示されている。
【０００９】
例えば、ディスプレイ装置１−２に表示される画像から、ディスプレイ装置１−３に表示される画像に視線を移動させたユーザＡは、ディスプレイ装置１−３に表示される画像に、興味を引く情報を見つける。すなわち、図１の例においては、ディスプレイ装置１−３には、野球の試合を行っているピッチャーが表示されており、ユーザＡは、ピッチャーの手のボールの握り方に興味を持ったとする。
【００１０】
そこで、ユーザＡは、メモ機能を利用するため、リモートコントローラ２を操作しようとする。しかしながら、マルチディスプレイ装置においては、どのディスプレイ装置の画像に対してメモをするのかを選択してからではないとメモ機能を使えないなど、リモートコントローラ２の操作の手間が増えてしまったという理由や、ユーザＡの動揺によりすぐに反応できないなどの理由で、ユーザＡは、所望のタイミングで、メモ機能を利用することができず、欲しい情報を取り逃がしてしまうことがあった。
【００１１】
なお、このような場合に、ハードディスクなどに過去何フレーム分かの画像を常に録画しておく方法も考えられるが、ハードディスクを操作して所望の情報を検索するには、多くの手間がかかり、また、常に多くの画像を録画することから、処理の負荷がかかるとともに、メモ機能によるメモリのコストよりも、録画するのに必要なハードディスクのコストがかかってしまっていた。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、複数のディスプレイ装置が並んで構成されるマルチディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の第１の側面の表示制御システムは、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムにおいて、前記複数の表示制御装置それぞれは、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段と、前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段とを備える。
【００１４】
ユーザの視線を検出する視線検出装置をさらに有し、前記複数の表示制御装置それぞれの前記判定手段は、前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定することができる。
【００１５】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、前記判定手段により前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御することができる。
【００１６】
前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの特定の音声を検出する音声検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。
【００１７】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御することができる。
【００１８】
前記複数の表示制御装置を制御するリモートコントローラをさらに有し、前記リモートコントローラは、ユーザの把持による加速度を検出する加速度検出手段を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。
【００１９】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、前記判定手段により前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像の記録を制御することができる。
【００２０】
前記複数の表示制御装置それぞれの前記第１の記録制御手段は、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている前記第１の画像を始点とした動画像の記録開始を制御し、前記第２の記録制御手段は、ユーザの記録操作に対応して、前記表示手段に表示されている前記第２の画像を終点として前記動画像の記録終了を制御し、前記表示制御手段は、前記表示手段への前記第１の画像を始点とし、前記第２の画像を終点とした前記動画像の表示を制御することができる。
【００２１】
本発明の第１の側面の表示制御方法は、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、前記複数の表示制御装置それぞれの表示制御方法は、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、前記表示手段への前記第１または第２の画像の表示を制御するステップを含む。
【００２２】
本発明の第２の側面の表示制御装置は、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置において、注目されている情報が表示されているか否かを判定する判定手段と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段と、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段と、前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段とを備える。
【００２３】
本発明の第２の側面の表示制御方法は、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法において、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、前記表示手段への前記第１または第２の画像の表示を制御するステップを含む。
【００２４】
本発明の第２の側面のプログラムは、複数の表示制御装置からなる表示制御システムを構成する表示制御装置に、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する処理を行わせるプログラムであって、注目されている情報が表示されているか否かを判定し、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し、前記表示手段への前記第１または第２の画像の表示を制御するステップを含む。
【００２５】
本発明の第１の側面においては、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置により、それぞれ、注目されている情報が表示されているか否かが判定され、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録が制御される。また、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録が制御される。そして、前記表示手段への前記第１または第２の画像の表示が制御される。
【００２６】
本発明の第２の側面においては、注目されている情報が表示されているか否かが判定され、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録が制御される。また、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録が制御される。そして、前記表示手段への前記第１または第２の画像の表示が制御される。
【発明の効果】
【００２７】
本発明の第１の側面によれば、複数のディスプレイ装置が並んで構成される環境下であっても、そのうちのディスプレイ装置に表示される興味を引く情報を見つけたときに、取り逃がすことなく、容易に記録することができる。
【００２８】
本発明の第２の側面によれば、複数のディスプレイ装置が並んで構成される環境下であっても、そのうちのディスプレイ装置に表示される興味を引く情報を見つけたときに、少ないメモリ容量で、その情報の取り逃がしを抑制することができる。
【発明を実施するための最良の形態】
【００２９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３０】
本発明の第１の側面の表示制御システムは、アレイ状に配置されている複数の表示手段のうち、対象の表示手段（例えば、図４のディスプレイ６５）への画像の表示をそれぞれ制御する複数の表示制御装置（例えば、図２のディスプレイ装置３１−１乃至３１−９）からなる表示制御システム（例えば、図２のマルチディスプレイシステム）において、前記複数の表示制御装置それぞれは、注目されている情報が表示されているか否かを判定する判定手段（例えば、図９のステップＳ３１の処理を実行する図４の制御部６６）と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段（例えば、図９のステップＳ３４の処理を実行する図４の制御部６６）と、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段（例えば、図１０のステップＳ４２の処理を実行する図４の制御部６６）と、前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段（例えば、図４の出力選択部６３）とを備える。
【００３１】
ユーザの視線を検出する視線検出装置（例えば、図２の視線検出装置２３）をさらに有し、前記複数の表示制御装置それぞれの前記判定手段は、前記視線検出装置からの検出結果に基づいて、前記表示手段に前記注目されている情報が表示されているか否かを判定することができる。
【００３２】
前記複数の表示制御装置を制御するリモートコントローラ（例えば、図２０のリモートコントローラ１１２）をさらに有し、前記リモートコントローラは、ユーザの特定の音声を検出する音声検出手段（例えば、図２９のイベント判定部１５２）を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記音声検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。
【００３３】
前記複数の表示制御装置を制御するリモートコントローラ（例えば、図２０のリモートコントローラ１１２）をさらに有し、前記リモートコントローラは、ユーザの把持による加速度を検出する加速度検出手段（例えば、図２２のイベント判定部１２３）を備え、前記複数の表示制御装置それぞれの前記判定手段は、前記加速度検出手段からの検出結果に基づいて、前記複数の表示手段のいずれかに前記注目されている情報が表示されているか否かを判定することができる。
【００３４】
本発明の第１の側面の表示制御方法は、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示をそれぞれ制御する複数の表示制御装置からなる表示制御システムの表示制御方法において、前記複数の表示制御装置それぞれの表示制御方法は、注目されている情報が表示されているか否かを判定し（例えば、図９のステップＳ３１）、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し（例えば、図９のステップＳ３４）、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し（例えば、図１０のステップＳ４２）、前記表示手段への前記第１または第２の画像の表示を制御する（例えば、図１０のステップＳ４４）ステップを含む。
【００３５】
本発明の第２の側面の表示制御装置は、複数の表示制御装置（例えば、図２のディスプレイ装置３１−１乃至３１−９）からなる表示制御システム（例えば、図２のマルチディスプレイシステム）を構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段（例えば、図４のディスプレイ６５）への画像の表示を制御する表示制御装置（例えば、図２のディスプレイ装置３１−１）において、注目されている情報が表示されているか否かを判定する判定手段（例えば、図９のステップＳ３１の処理を実行する図４の制御部６６）と、前記判定手段により前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御する第１の記録制御手段（例えば、図９のステップＳ３４の処理を実行する図４の制御部６６）と、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御する第２の記録制御手段（例えば、図１０のステップＳ４２の処理を実行する図４の制御部６６）と、前記表示手段への前記第１または第２の画像の表示を制御する表示制御手段（例えば、図４の出力選択部６３）とを備える。
【００３６】
本発明の第２の側面の表示制御方法またはプログラムは、複数の表示制御装置からなる表示制御システムを構成し、アレイ状に配置されている複数の表示手段のうち、対象の表示手段への画像の表示を制御する表示制御装置の表示制御方法またはプログラムにおいて、注目されている情報が表示されているか否かを判定し（例えば、図９のステップＳ３１）、前記注目されている情報が表示されていると判定されたときに、前記表示手段に表示されている第１の画像の記録を制御し（例えば、図９のステップＳ３４）、ユーザの記録操作に対応して、前記表示手段に表示されている第２の画像の記録を制御し（例えば、図１０のステップＳ４２）、前記表示手段への前記第１または第２の画像の表示を制御する（例えば、図１０のステップＳ４４）ステップを含む。
【００３７】
以下、図を参照して本発明の実施の形態について説明する。
【００３８】
図２は、本発明を適用したマルチディスプレイシステム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の実施の形態の構成を示す図である。
【００３９】
図２において、マルチディスプレイシステムは、複数のディスプレイ装置３１−１乃至３１−９からなるマルチディスプレイ装置２１、リモートコントローラ２２、および視線検出装置２３により構成されており、必要に応じて複数のディスプレイ装置を連携して動作させ、１枚の画像や複数の画像を様々な方法で表示させるシステムである。
【００４０】
マルチディスプレイ装置２１は、リモートコントローラ２２からのコマンドに基づいて、例えば、それらの表示面が３行×３列のアレイ状（行列状）に配置される各ディスプレイ装置３１−１乃至３１−９にそれぞれ異なる番組の画像を表示したり、９台のディスプレイ装置３１−１乃至３１−９や、そのうち、少なくとも２台のディスプレイ装置で１つの拡大画像として番組を表示したりする。なお、ディスプレイ装置３１−１乃至３１−９について、それぞれ区別する必要がない場合、単にディスプレイ装置３１と称するものとする。また、マルチディスプレイ装置２１を構成するディスプレイ装置の台数は、何台であってもよく、ディスプレイ装置を、横方向に何列、縦方向に何段で配置するようにしてもよい。
【００４１】
マルチディスプレイ装置２１は、さらに、リモートコントローラ２２より発せられるコマンドが光信号に変換された光を受光する受光部３２を備えている。受光部３２により受光された光に対応するコマンドは、各ディスプレイ装置３１に供給される。
【００４２】
ディスプレイ装置３１は、個別にチューナおよびディスプレイを備えており、複数個集まってマルチディスプレイ装置２１としての役割を果たすが、個々に、一般に使用される単独のテレビジョン受像機として機能することもできる。なお、図示は省略するが、ディスプレイ装置３１−１乃至３１−９は、有線または無線により、互いに（電気的に）接続されており、単独で動作することも、他のディスプレイ装置３１と連携して動作することもできる。
【００４３】
ディスプレイ装置３１は、受光部３２により受光されるリモートコントローラ２２からのコマンドに対応して、ユーザ所望の番組の画像を個々に表示したり、複数のディスプレイ装置３１で連携して、１つの番組の画像を１つの拡大画像として表示する。また、ディスプレイ装置３１は、ズーム機能およびメモ機能を有しており、リモートコントローラ２２からのズーム機能のコマンド（以下、ズームコマンドと称する）に対応して、表示されている画像をズーム表示したり、あるいは、リモートコントローラ２２からのメモ機能のコマンド（以下、メモコマンドと称する）に対応して、表示されている画像を保存しておき、後で保存された画像を表示する。
【００４４】
さらに、ディスプレイ装置３１は、視線検出装置２３からの視線検出結果データに基づいて、マルチディスプレイ装置２１に表示される画像を見ているユーザの視線の切り替わりの有無を判定し、ユーザの視線の切り替わり先が自分に表示される画像であった場合に、現在表示されている画像を保存しておき、後で保存された画像を表示する。
【００４５】
すなわち、ディスプレイ装置３１においては、リモートコントローラ２２からのコマンド、または、ユーザの視線の切り替わりに対応して、表示されている画像が一時保存される。
【００４６】
リモートコントローラ２２は、ユーザが操作する操作部を有しており、ユーザによる操作部の操作に対応したコマンドを生成し、生成したコマンドを所定の光信号として発光する。
【００４７】
視線検出装置２３は、マルチディスプレイ装置２１に表示される画像を見るユーザの目や顔を撮像するカメラと、画像処理用のコンピュータなどで構成され、カメラにより撮像されたユーザの目の画像信号を画像処理することで、ユーザの視線がどのディスプレイ装置３１に向いているのか、すなわち、ユーザがどのディスプレイ装置３１に表示されている画像を見ているのかを推定する。そして、視線検出装置２３は、ユーザが見ていると推定したディスプレイ装置３１のID（Identification）番号を視聴画面番号に決定し、決定した視聴画面番号を、視線検出結果データとして、各ディスプレイ装置３１に供給する。
【００４８】
この視線検出装置２３による視線の検出方法としては、特に限定されないが、例えば、赤外線の反射画像を用いる方法や可視光の画像を用いる方法などが用いられる。また、視線検結果データは、視聴画面番号に限らず、検出された視線の座標値などを視線検結果データとして、各ディスプレイ装置３１に供給してもよい。この場合、各ディスプレイ装置３１において、その座標値を基に、視線の切り替わり判定などが行われる。
【００４９】
なお、図２の例においては、ディスプレイ装置３１がそれぞれチューナおよびディスプレイを有する例を記載したが、チューナおよびディスプレイは、それぞれ、ディスプレイ装置３１の内部に備えられる必要はなく、マルチディスプレイ装置２１内にまとめて９個のチューナを設けたり、ディスプレイ装置３１とは別にディスプレイを設ける（すなわち、この場合、ディスプレイ装置は、表示制御装置として機能する）ように構成することもできる。
【００５０】
図３は、図２のリモートコントローラの外観の構成例を示す図である。
【００５１】
図３の例においては、リモートコントローラ２２の前面には、メモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、画面選択ボタン５５−１乃至５５−９、および操作スティック５６が配置されている。
【００５２】
メモボタン５１は、画面選択ボタン５５−１乃至５５−９により選択されたディスプレイ装置３１に表示される画像を、ディスプレイ装置３１に記憶させるためのメモ機能に対応するボタンである。
【００５３】
ズームボタン５２は、画面選択ボタン５５−１乃至５５−９により選択されたディスプレイ装置３１に表示される画像を、ズーム表示させるためのズーム機能に対応するボタンである。
【００５４】
Fn1ボタン５３は、画面選択ボタン５５−１乃至５５−９により選択されたディスプレイ装置３１に、視線検出装置２３の視線検出結果データに対応して記憶された画像を表示させるためのボタンである。Fn2ボタン５４は、画面選択ボタン５５−１乃至５５−９により選択されたディスプレイ装置３１に、メモコマンドに対応して記憶された画像を選択して、表示させるためのボタンである。
【００５５】
画面選択ボタン５５−１乃至５５−９は、それぞれ、ディスプレイ装置３１−１乃至３１−９に表示される画像（画面）を選択するためのボタンである。なお、以下、画面選択ボタン５５−１乃至５５−９を特に区別する必要がない場合、単に画面選択ボタン５５とも称する。例えば、複数のディスプレイ装置３１で１つの拡大画像を表示している場合には、その拡大画像を表示している、いずれかのディスプレイ装置３１を示す画面選択ボタン５５を押下することで、その拡大画像が選択される。
【００５６】
操作スティック５６は、リモートコントローラ２２の前面に突出するように設けられ、３６０度の各方向において、リモートコントローラ２２の前面に対して傾斜させることができるように構成されており、画面選択ボタン５５−１乃至５５−９により選択されたディスプレイ装置３１に対して、あるいは、マルチディスプレイ装置２１に対して、操作スティック５６の傾斜角度と方向に応じた指示を行うことができる。
【００５７】
したがって、例えば、リモートコントローラ２２においては、ユーザにより画面選択ボタン５５のいずれかが押下されると、画面選択コマンドが生成され、各ディスプレイ装置３１に対して送信される。これにより、押下された画面選択ボタン５５に対応するディスプレイ装置３１は、自分の画面を選択状態に設定し、他のディスプレイ装置３１は、それまで選択状態であった場合には、その選択状態の設定を解除する。
【００５８】
また、画面選択ボタン５５の選択後、ユーザによりメモボタン５１が押下されると、メモコマンドが生成され、送信される。画面選択ボタン５５の選択後、ユーザによりズームボタン５２が押下されると、ズームコマンドが生成され、送信される。画面選択ボタン５５の選択後、ユーザによりFn1ボタン５３またはFn2ボタン５４が押下されると、メモリ画像選択コマンドが生成され、送信される。これらのコマンドは、ユーザの画面選択ボタン５５の押下により、自分の画面が選択状態であることを認識しているディスプレイ装置３１により受信され、実行される。
【００５９】
なお、図３の例においては、図２のリモートコントローラ２２における必要最低限なツールが示されており、電源ボタンや選局、あるいは音量を操作するツールの図示は省略されている。
【００６０】
図４は、図２のディスプレイ装置の電気的な構成例を示す図である。なお、図４の例においては、音声信号の処理部についての図示は省略されている。
【００６１】
図４のディスプレイ装置３１は、チューナ６１、メモリ６２、出力選択部６３、画像処理部６４、ディスプレイ６５、制御部６６、および判定部６７により構成されている。
【００６２】
チューナ６１は、図示せぬアンテナより受信される放送局からの放送信号を所定の方式で復調し、復調された信号のうちの画像信号をメモリ６２および出力選択部６３に出力する。すなわち、メモリ６２には、出力選択部６３および画像処理部６４を介して、ディスプレイ５１に出力される画像信号の画像が記憶される。なお、メモリ６２および出力選択部６３には、チューナ６１からの画像信号だけでなく、例えば、外部の録画装置や再生装置からの画像信号も入力される。
【００６３】
メモリ６２は、例えば、不揮発性メモリまたは揮発性メモリで構成され、制御部６６の制御のもと、チューナ６１から入力されて、ディスプレイ６５に出力されている画像信号の画像を一時記憶する。例えば、メモリ６２には、ユーザの視線の切り替わりタイミングに入力されて、ディスプレイ６５に出力されている画像信号の画像が、メモリ画像＃１として記憶され、メモコマンドの受信タイミングに入力されて、ディスプレイ６５に出力されている画像信号の画像が、メモリ画像＃２として記憶される。
【００６４】
出力選択部６３は、制御部６６の制御のもと、チューナ６１から入力される画像信号と、メモリ６２に記憶されているメモリ画像の画像信号のいずれかを選択し、選択した画像信号を、画像処理部６４に出力する。また、出力選択部６３は、制御部６６の制御のもと、メモリ６２に記憶されているメモリ画像＃１またはメモリ画像＃２のいずれかを選択し、選択したメモリ画像の画像信号を読み出して、画像処理部６４に出力する。
【００６５】
画像処理部６４は、出力選択部６３からの画像信号に対して所定の画像処理を行う。なお、このとき、画像処理部６４は、制御部６６からの制御に応じて、画像ズーム処理も行う。画像処理が行われた画像信号は、ディスプレイ６５に出力される。ディスプレイ６５は、画像処理部６４からの画像信号に対応する画像を表示する。すなわち、ディスプレイ６５には、チューナ６１からの画像信号またはメモリ６２から読み出される画像信号に対応する画像を拡大して表示することも可能である。
【００６６】
制御部６６は、受光部３２から、リモートコントローラ２２のコマンドを受けると、コマンドに対応して、自己の画面の選択状態の変更、メモリ６２に記憶されるメモリ画像＃２の更新、出力画像の選択、またはズームパラメータ等を制御する。
【００６７】
すなわち、コマンドが自己の画面を選択する画面選択コマンドであった場合、制御部６６は、自己の画面を選択状態に変更する。また、コマンドが他の画面を選択する画面選択コマンドであり、それまで自己の画面が選択状態であった場合、制御部６６は、自己の画面の選択状態を解除する。
【００６８】
コマンドがメモコマンドであった場合、制御部６６は、メモコマンドの受信タイミングに、メモリ６２に入力されて、ディスプレイ６５に出力されている画像信号の画像で、メモリ６２に記憶されるメモリ画像＃２を更新し、さらに、メモリ６２に記憶されているメモリ画像（メモリ画像＃１またはメモリ画像＃２）の画像信号を読み出すように、出力選択部６３を制御する。また、コマンドがメモリ画像選択コマンドであった場合、制御部６６は、コマンドに応じたメモリ画像の画像信号を読み出すように、出力選択部６３を制御する。さらに、コマンドがズームコマンドであった場合、制御部６６は、画像処理部６４に、ズームパラメータを供給し、画像信号に対して、画像ズーム処理を行うように、画像処理部６４を制御する。
【００６９】
また、制御部６６は、判定部６７からのユーザの視線の切り替わりタイミングの通知に対応して、メモリ６２に記憶されるメモリ画像＃１の更新を制御する。すなわち、制御部６６は、ユーザの視線の切り替わりタイミングに、メモリ６２に入力されて、ディスプレイ６５に出力されている画像信号の画像で、メモリ６２に記憶されるメモリ画像＃１を更新する。
【００７０】
判定部６７は、視線検出装置２３からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部６６に通知する。
【００７１】
図５は、図２のリモートコントローラの電気的な構成例を示す図である。
【００７２】
図５の例において、リモートコントローラ２２は、操作部７１、制御部７２、フレーム生成部７３、送信処理部７４、および発光部７５により構成されている。
【００７３】
操作部７１は、図３のメモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、画面選択ボタン５５、および操作スティック５６などにより構成され、ユーザの操作に対応する操作信号を制御部７２に入力する。制御部７２は、操作部７１を介して入力される操作信号に基づいて、ディスプレイ装置３１により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部７３に出力する。
【００７４】
フレーム生成部７３は、制御部７２からのコマンドを送信フレームとして生成し、送信処理部７４に送信する。送信処理部７４は、フレーム生成部７３により生成された送信フレームを発光信号に変換し、発光部７５を発光させる。
【００７５】
次に、図６および図７を参照して、視線情報を用いて画像を記録する処理について説明する。
【００７６】
図６の図中上には、時刻T1および時刻T2（時刻T1＜時刻T2）におけるディスプレイ装置３１−３に表示される画像（以下、単にディスプレイ装置３１−３の画面とも称する）G3が示されている。
【００７７】
図６の図中下に示されるように、ユーザＡは、時刻T0（時刻T0＜時刻T1）に、ディスプレイ装置３１−１乃至３１−９の画面G1乃至G9のうち、ディスプレイ装置３１−２の画面G2を見ていたが、時刻T1において、ディスプレイ装置３１−３の画面G3に視線を動かす。この画面G2から画面G3にユーザＡの視線が切り替わった時刻T1の瞬間に、ユーザＡは、画面G3に興味がある情報（以下、オブジェクトとも称する）が存在することに気づく。
【００７８】
ユーザＡは、画面G3のオブジェクト（例えば、図６の場合、ピッチング中の投手が振りかぶっているときのボールを握る手）を記録させるため、例えば、リモートコントローラ２２の画面選択ボタン５５−３を押下し、ディスプレイ装置３１−３の画面G3を選択した上で、時刻T2において、メモボタン５１を押下する。しかしながら、メモボタン５１を押下した瞬間の時刻T2には、すでに、画面G3の情報は変化してしまっており、時刻T1の瞬間の画面G3のオブジェクトを記録できないことが多い。図６の例の場合、時刻T2の画面G3は、ピッチング中の投手がボールを投げる瞬間の画像となっている。
【００７９】
そこで、ディスプレイ装置３１−３は、図６に示されるように、ユーザＡの視線が画面G3に切り替わった瞬間を、ユーザＡがその画面G3をメモ（記録）したい瞬間であると予測して、ユーザの視線が切り替わった瞬間の画面G3（すなわち、時刻T1の画面G3）の画像を予め先にメモリ６２に記録しておき、そして、そのメモリ６２に記録した画像を、ユーザＡにより実際にメモボタン５１が押下された時刻T2に、画面G3として用いるようにする。
【００８０】
図７を参照して具体的に説明する。図７の例においては、ディスプレイ装置３１−１乃至３１−９の画面G1乃至G9のうち、時刻T0におけるディスプレイ装置３１−２の画面G2から、時刻T1におけるディスプレイ装置３１−３の画面G3へのユーザＡの視線の変化、時間の経過に沿ったユーザＡの視聴画面、および、時間の経過に沿った画面G3の出力画像が示されている。
【００８１】
すなわち、ディスプレイ装置３１−３は、視線検出装置２３からの視聴画面番号に基づく、ユーザＡの視聴画面の画面G2から自己の画面G3への変化、すなわち、ユーザＡの視線の画面G2から画面G3への変化があった時刻T1に、時刻T1おける画面G3の情報を、メモリ６２にメモリ画像＃１として保存しておき、ユーザＡにより実際にメモボタン５１が押下された時刻T2に、時刻T2における画面G3の情報をメモリ６２にメモリ画像＃２として保存する。
【００８２】
また、時刻T2において、ディスプレイ装置３１−３は、画面G3の出力画像に示されるように、チューナ６１からの画像の出力であった画面G3を、メモリ画像＃１の出力に切り替える。なお、このとき、予め設定しておくことで、画面G3を、メモリ画像＃１の代わりにメモリ画像＃２の出力に切り替えることも可能である。
【００８３】
以上のように、ユーザＡの視線を動かした瞬間を、ユーザＡがメモしたい瞬間であると予測して、ユーザＡの視線の切り替わりが検出されたときに表示される画像を記録するようにしたので、例えば、ユーザＡがリモートコントローラ２２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【００８４】
次に、図８のフローチャートを参照して、ディスプレイ装置３１による視線情報を用いて、画像を記録する処理を詳しく説明する。
【００８５】
例えば、マルチディスプレイ装置２１に電源が投入され、ディスプレイ装置３１のチューナ６１は、図示せぬアンテナより受信される放送局からの放送信号を所定の方式で復調し、復調された信号のうちの画像信号をメモリ６２および出力選択部６３に出力し、出力選択部６３は、制御部６６の制御のもと、チューナ６１から入力される画像信号を選択し、選択した画像信号を、画像処理部６４に出力している。画像処理部６４は、出力選択部６３からの画像信号に対して所定の画像処理を行い、画像信号をディスプレイ６５に出力している。これに対応して、ディスプレイ６５は、画像処理部６４からの画像信号に対応する画像を表示している。
【００８６】
ステップＳ１１において、制御部６６は、予め設定されているDIP(dual in-line package )スイッチなどを確認することで、自己のディスプレイ装置３１のID番号を取得する。なお、ID番号の取得は、DIPスイッチに限らず、他のディスプレイ装置３１と相互に通信し合うことで取得することも可能である。
【００８７】
ユーザは、ディスプレイ装置３１−１乃至３１−９のいずれかのディスプレイ６５に表示される画像（例えば、ディスプレイ装置３１−３に表示される画像、すなわち、ディスプレイ装置３１−３の画面G3）を見ている。
【００８８】
視線検出装置２３は、マルチディスプレイ装置２１に表示される画像を見るユーザの目や顔を撮像し、撮像されたユーザの目の画像を画像処理することで、ユーザの視線がどのディスプレイ装置３１に向いているのか、すなわち、ユーザがどのディスプレイ装置３１の画面を見ているのかを推定し、ユーザが見ていると推定したディスプレイ装置３１のID番号を視聴画面番号に決定し、決定した視聴画面番号を視線検出結果データとして、各ディスプレイ装置３１に供給してくる。
【００８９】
なお、視線は不安定であるので、何サンプルか連続して同じ画面を見ていたと判定されたときに、視聴画面番号が決定される。また、ユーザがどのディスプレイ装置３１の画面も見ていないと推定された場合には、視聴画面番号（−１）が、視線検出結果データとして、各ディスプレイ装置３１に供給される。例えば、視聴画面番号がいずれかのディスプレイ装置３１のID番号から、−１に切り替わった場合には、どのディスプレイ装置３１のメモリ６２にも画像は保存されない。
【００９０】
ステップＳ１２において、判定部６７は、視線検出装置２３からの視線検出結果データを取得し、視線検出装置２３からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部６６に通知する。このとき、切り替わり先のID番号も制御部６６に通知される。
【００９１】
ステップＳ１３において、制御部６６は、メモリ制御処理を実行する。このメモリ制御処理を、図９のフローチャートを参照して説明する。
【００９２】
ステップＳ３１において、制御部６６は、視線の切り替わりがあったか否かを判定する。判定部６７から、ユーザの視線の切り替わりタイミングの通知があった場合、ステップＳ３１において、視線の切り替わりがあったと判定され、処理は、ステップＳ３２に進む。
【００９３】
ステップＳ３２において、制御部６６は、判定部６７からの切り替わり先のID番号の通知に基づいて、視線の切り替わり先は自分の画面であるか否かを判定する。判定部６７からの切り替わり先のID番号と、図８のステップＳ１１で取得されたディスプレイ装置３１のID番号が一致する場合、ステップＳ３２において、視線の切り替わりが自分の画面であると判定され、処理は、ステップＳ３３に進む。
【００９４】
ステップＳ３３において、制御部６６は、メモリ６２がプロテクト状態であるか否かを判定し、メモリ６２がプロテクト状態ではない、すなわち、メモリ６２のプロテクト状態が解除されていると判定した場合、処理は、ステップＳ３４に進む。
【００９５】
例えば、ユーザＡの視線を動かした瞬間を、ユーザＡがメモしたい瞬間であると予測してメモリ６２に記録された画像が、例えば、その画像のズーム操作時などに、ユーザＡの視線が動くなど、ユーザＡの意図しない反応によりその時の画像が再度メモリ６２に記録されることで、上書きされてしまう恐れがある。
【００９６】
ここで、ユーザによるメモボタン５１を押下する操作は、その画像に対してメモを行いたいという明確な意思であると考えることができる。したがって、ディスプレイ装置３１においては、ユーザのメモボタン５１の操作があったら（すなわち、リモートコントローラ２２よりメモコマンドが受信されたら）、メモリ６２に保存された画像をプロテクト（上書き禁止）状態に設定し（後述する図１０のステップＳ４３）、ユーザのリモートコントローラ２２の操作が一定時間以上なかったら、メモリ６２のプロテクト状態を解除する（図８のステップＳ２２）ようにしている。
【００９７】
したがって、メモリ６２がプロテクト状態ではない場合、ステップＳ３４において、制御部６６は、メモリ６２に入力されている画像信号の画像を、メモリ画像＃１として保存する。すなわち、制御部６６は、ユーザの視線の切り替わりタイミングに、メモリ６２に入力されて、ディスプレイ６５に出力されている画像信号の画像で、メモリ６２に記憶されるメモリ画像＃１を更新する。その後、処理は、図８のステップＳ１３に戻り、ステップＳ１４に進む。
【００９８】
一方、ステップＳ３１において視線の切り替わりがなかったと判定された場合、ステップＳ３２において切り替わり先が自分の画面ではないと判定された場合、または、ステップＳ３３においてメモリ６２がプロテクト状態であると判定された場合も、処理は、図８のステップＳ１３に戻り、ステップＳ１４に進む。
【００９９】
図８のステップＳ１４において、制御部６６は、リモートコントローラ２２からのコマンドを受信したか否かを判定し、リモートコントローラ２２からのコマンドを受信したと判定した場合、ステップＳ１５において、コマンドが画面選択コマンドであるか否かを判定する。
【０１００】
ステップＳ１５において、コマンドが画面選択コマンドであると判定された場合、制御部６６は、ステップＳ１６において、画面選択コマンドに応じて、自分の画面の選択状態を変更する。例えば、制御部６６は、自分のディスプレイ装置３１の画面を選択する画面選択コマンドの場合、自分の画面の選択状態に変更し、他のディスプレイ装置３１の画面を選択する画面選択コマンドの場合に、自分の画面が選択状態であったとき、その選択状態を解除する。その後、処理は、ステップＳ１４に戻り、それ以降の処理を繰り返す。
【０１０１】
また、ステップＳ１５において、コマンドが画面選択コマンドではないと判定された場合、処理は、ステップＳ１６をスキップし、制御部６６は、ステップＳ１７において、自分の画面が選択状態であるか否かを判定する。ステップＳ１７において、自分の画面が選択状態であると判定された場合、制御部６６は、ステップＳ１８において、カウンタの値をリセットする。
【０１０２】
ここで、制御部６６は、自分のディスプレイ装置３１に対して、ユーザからのコマンドが受信されないことを計測するための図示せぬカウンタを内蔵している。ステップＳ１７において、自分の画面が選択状態である、すなわち、リモートコントローラ２２からのコマンドが自分のディスプレイ装置３１に対してのコマンドであると判定されたため、ステップＳ１８においては、カウンタの値がリセットされる。
【０１０３】
ステップＳ１９において、制御部６６は、コマンドに応じた処理を実行する。このコマンドに応じた処理を、図１０のフローチャートを参照して説明する。
【０１０４】
制御部６６は、ステップＳ４１において、コマンドがメモコマンドであるか否かを判定し、コマンドがメモコマンドであると判定した場合、ステップＳ４２において、メモリ６２に入力されている画像信号の画像を、メモリ画像＃２として保存する。すなわち、制御部６６は、メモコマンドの受信タイミングに、メモリ６２に入力されて、ディスプレイ６５に出力されている画像信号の画像で、メモリ６２に記憶されるメモリ画像＃２を更新する。その後、処理は、ステップＳ４３に進む。
【０１０５】
ステップＳ４３において、制御部６６は、メモリ６２をプロテクト状態に設定する。これにより、ユーザのリモートコントローラ２２の操作が一定時間以上ないと判定されるまで、メモリ６２に記憶されているメモリ画像＃１およびメモリ画像＃２の上書きが禁止される。
【０１０６】
ステップＳ４４において、制御部６６は、メモリ６２に記憶されているメモリ画像＃１の画像信号を読み出すように、出力選択部６３の選択を制御する。すなわち、出力選択部６３は、メモリ６２に記憶されているメモリ画像＃１を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部６４に出力する。画像処理部６４により、画像処理が行われた画像信号は、ディスプレイ６５に出力される。ディスプレイ６５には、画像処理部６４からの画像信号に対応するメモリ画像＃１が表示される。
【０１０７】
なお、予め設定しておくことで、ステップＳ４４においては、メモリ画像＃２を表示させることもできる。
【０１０８】
一方、ステップＳ４１において、コマンドがメモコマンドではないと判定された場合、処理は、ステップＳ４２乃至Ｓ４４をスキップし、ステップＳ４５に進む。ステップＳ４５において、制御部６６は、コマンドがメモリ画像選択コマンドであるか否かを判定し、コマンドがメモリ画像選択コマンドであると判定した場合、ステップＳ４６において、コマンドに応じたメモリ画像（メモリ画像＃１またはメモリ画像＃２）の画像信号を読み出すように、出力選択部６３を制御する。
【０１０９】
すなわち、出力選択部６３は、コマンドがFn1ボタン５３の押下によるメモリ画像選択コマンドであった場合、メモリ６２に記憶されているメモリ画像＃１を選択し、選択したメモリ画像＃１の画像信号を読み出して、画像処理部６４に出力する。また、出力選択部６３は、コマンドがFn2ボタン５４の押下によるメモリ画像選択コマンドであった場合、メモリ６２に記憶されているメモリ画像＃２を選択し、選択したメモリ画像＃２の画像信号を読み出して、画像処理部６４に出力する。
【０１１０】
画像処理部６４により、画像処理が行われた画像信号は、ディスプレイ６５に出力される。ディスプレイ６５には、画像処理部６４からの画像信号に対応するメモリ画像＃１またはメモリ画像＃２が表示される。
【０１１１】
ステップＳ４５において、コマンドがメモリ画像選択コマンドではないと判定された場合、処理は、ステップＳ４６をスキップし、ステップＳ４７に進む。ステップＳ４７において、制御部６６は、コマンドがズームコマンドであるか否かを判定し、コマンドがズームコマンドであると判定した場合、処理は、ステップＳ４８に進む。
【０１１２】
ステップＳ４８において、制御部６６は、画像処理部６４に、コマンドに応じたズームパラメータ（ズーム倍率とズーム範囲など）を送り、画像信号に対して、画像ズーム処理を行うように、画像処理部６４を制御する。すなわち、画像処理部６４は、出力選択部６３からの画像信号に対して所定の画像処理を行うとともに、制御部６６からのズームパラメータに基づいて、画像信号に対して、画像ズーム処理を行う。画像処理が行われた画像信号は、ディスプレイ６５に出力され、ディスプレイ６５には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像を表示する。
【０１１３】
ステップＳ４７において、コマンドがズームコマンドではないと判定された場合、処理は、ステップＳ４８をスキップし、図８のステップＳ１９に戻り、その後、さらに、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１１４】
図８のステップＳ１４において、リモートコントローラ２２からのコマンドを受信していないと判定された場合、または、ステップＳ１７において、自分の画面が選択状態ではないと判定された場合、処理は、ステップＳ２０に進む。すなわち、自分のディスプレイ装置３１に対してのコマンドが受信されていないので、制御部６６は、ステップＳ２０において、内蔵するカウンタの値をインクリメントする。
【０１１５】
ステップＳ２１において、制御部６６は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、自分のディスプレイ装置３１に対して最後に受信されたコマンドから閾値以上時間が経過したので、ステップＳ２２に進み、メモリ６２のプロテクト状態を解除する。これにより、視線検出結果データまたはメモコマンドに対応してのメモリ６２の書き込みが可能になる。
【０１１６】
ステップＳ２１において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップＳ２２をスキップし、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１１７】
以上のように、ユーザの視線を動かした瞬間を、ユーザがメモしたい瞬間であると予測して、ユーザの視線の変化があったときに、視線の移動先に表示される画像を、メモリ６２に記録するようにしたので、例えば、ユーザがリモートコントローラ２２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【０１１８】
また、メモコマンドを操作したときの操作対象（選択状態）のディスプレイ装置３１に表示される画像も、視線の移動先に表示される画像とは別にメモリ６２に記録するようにしたので、ユーザによるリモートコントローラ２２の操作が確実だった場合の画像も取得することができる。
【０１１９】
さらに、メモコマンドによりメモリ６２に記憶されたメモリ画像がある場合には、メモリ６２をプロテクト状態とし、上書きされないようにしたので、リモートコントローラ２２の操作時などに視線を移動させるなどユーザの意図しない反応によって、メモリ６２に記憶されたメモリ画像が削除されることを抑制することができる。
【０１２０】
次に、図１１のフローチャートを参照して、図８の処理に対応するリモートコントローラ２２の処理について詳しく説明する。
【０１２１】
例えば、ユーザは、操作部７１を構成する、図３のメモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、画面選択ボタン５５、または操作スティック５６などを操作する。制御部７２は、操作部７１を介して入力される操作信号に基づいて、ディスプレイ装置３１により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部７３に出力する。
【０１２２】
フレーム生成部７３は、ステップＳ５１において、コマンドが入力されるまで待機しており、コマンドが入力されたと判定した場合、ステップＳ５２において、制御部７２からのコマンドを送信フレームとして生成し、送信処理部７４に送信する。送信処理部７４は、ステップＳ５３において、フレーム生成部７３により生成された送信フレームを発光信号に変換し、発光部７５を発光させる。これにより、ディスプレイ装置３１の受光部３２には、リモートコントローラ２２からの光が受光され、受光部３２からは、受光された光に対応するコマンドが各ディスプレイ装置３１に送信される。
【０１２３】
図１２は、図２のリモートコントローラの外観の他の構成例を示す図である。なお、図１２においては、リモートコントローラ２２の前面に、画面選択ボタン５５−１乃至５５−９が配置されていない点が図３のリモートコントローラ２２と異なっており、メモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、および操作スティック５６が配置されている点が共通している。
【０１２４】
すなわち、図１２のリモートコントローラ２２の場合、画面選択ボタン５５−１乃至５５−９の代わりに、ユーザは、操作スティック５６を縦方向、横方向、あるいは斜め方向に操作し、ディスプレイ装置３１−１乃至３１−９の各画面G1乃至画面G9に表示される画面選択を表すカーソルＫを所望の画面に移動させることで、画面G1乃至G9のうちの１つの画面を選択することができる。
【０１２５】
図１２の例においては、操作スティック５６が図中右側に傾斜されることで、画面G4に表示されていたカーソルＫが、画面G5（図中右側）に移動する例が示されている。
【０１２６】
以上のように、画面を選択するツールは、図３の画面選択ボタン５５−１乃至５５−９に限らず、図１２の操作スティック５６で構成するようにしてもよい。
【０１２７】
次に、図１３を参照して、視線情報を用いて、静止画像ではなく、動画像を記録する処理について説明する。
【０１２８】
上記説明においては、ある画面から別の画面に視線を動かした瞬間にメモしたいオブジェクトを発見してしまうことが多いことに対応して、ユーザの視線を動かしたときと、メモボタンが操作されたときの２枚の画像を記録する場合を説明してきたが、ある画面から別の画面に視線を動かしたときではなく、視線を動かして画面を見ているうちにメモしたいオブジェクトが出現する場合もある。この場合、２枚の画像では、そのオブジェクトの記録を取り逃がしてしまうこともある。
【０１２９】
このような場合、メモリの容量が十分にあれば、ユーザの視線が切り替わったときではなく、切り替わったとき以降のメモボタンを操作する前までの区間を動画像として記録しておくことで、メモしたいオブジェクトを含む画像を取りこんでおくことができる。すなわち、この場合、ユーザの視線が切り替わった瞬間ではなく、切り替わった瞬間以降の所定の区間が、注目する情報が存在すると推定される区間であると予測して、その間の画像信号を動画像としてメモリに記録しておき、後から、リモートコントローラの操作で所望のフレームを選択するようにしている。
【０１３０】
図１３の例においては、図７の例と同様に、ディスプレイ装置３１−１乃至３１−９の画面G1乃至G9のうち、時刻T0におけるディスプレイ装置３１−２の画面G2から、時刻T1におけるディスプレイ装置３１−３の画面G3へのユーザＡの視線の変化、および時間の経過に沿ったユーザＡの視聴画面が示されている。
【０１３１】
すなわち、ディスプレイ装置３１−３は、視線検出装置２３からの視聴画面番号に基づく、ユーザＡの視聴画面の画面G2から自己の画面G3への変化、すなわち、ユーザＡの視線の画面G2から画面G3への変化があった場合に、ユーザＡの視線が画面G2から画面G3に変化した時刻T1を開始として、例えば、ユーザＡにより実際にメモボタン５１が押下された時刻T2までのＷの時間の画面G3の情報を、動画像としてメモリ６２に保存する。
【０１３２】
これにより、例えば、ユーザＡの視線が画面G2から画面G3に変化した時刻T1からしばらくした時刻T12（時刻T1＜時刻T12＜時刻T2）における画面G3に、興味がある情報が存在することに気づいた場合にも、その動画像を後から見ることで、所望の情報を確認することができる。
【０１３３】
以上のように、ユーザＡの視線を動かした瞬間から所定の区間を、ユーザＡがメモしたい情報が存在する区間であると予測して、その区間に表示される動画像を記録するようにしたので、例えば、ユーザＡがリモートコントローラ２２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。なお、この所定の区間は、設定することも可能であるが、メモリ残容量に応じた時間となる。
【０１３４】
次に、図１４のフローチャートを参照して、図１３の例の場合のディスプレイ装置３１による視線情報を用いて、動画像を記録する処理を詳しく説明する。なお、図１４の例においては、ステップＳ７３およびステップＳ７４の処理が異なるだけであり、その他のステップＳ７１，Ｓ７２，およびＳ７５乃至Ｓ８３の処理は、図８のステップＳ１１，Ｓ１２，およびＳ１４乃至Ｓ２２の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。
【０１３５】
ステップＳ７１において、制御部６６は、予め設定されているDIPスイッチなどを確認することで、自己のディスプレイ装置３１のID番号を取得する。
【０１３６】
視線検出装置２３は、マルチディスプレイ装置２１に表示される画像を見るユーザの目や顔を撮像し、撮像されたユーザの目の画像を画像処理することで、ユーザの視線がどのディスプレイ装置３１に向いているのか、すなわち、ユーザがどのディスプレイ装置３１の画面を見ているのかを推定し、ユーザが見ていると推定したディスプレイ装置３１のID番号を視聴画面番号に決定し、決定した視聴画面番号を視線検出結果データとして、各ディスプレイ装置３１に供給してくる。
【０１３７】
ステップＳ７２において、判定部６７は、視線検出装置２３からの視線検出結果データを取得し、視線検出装置２３からの視線検出結果データに基づいて、ユーザの視線の切り替わりを検出し、ユーザの視線の切り替わりタイミングの通知を制御部６６に通知する。このとき、切り替わり先のID番号も制御部６６に通知される。
【０１３８】
ステップＳ７３において、制御部６６は、メモリ制御処理を実行する。このメモリ制御処理を、図１５のフローチャートを参照して説明する。なお、図１５の例においては、ステップＳ９４の処理が異なるだけであり、その他のステップＳ９１乃至Ｓ９３の処理は、図９のステップＳ３１乃至Ｓ３３の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。
【０１３９】
ステップＳ９１において、制御部６６は、視線の切り替わりがあったか否かを判定する。判定部６７から、ユーザの視線の切り替わりタイミングの通知があった場合、ステップＳ９１において、視線の切り替わりがあったと判定され、処理は、ステップＳ９２に進む。
【０１４０】
ステップＳ９２において、制御部６６は、判定部６７からの切り替わり先のID番号の通知に基づいて、視線の切り替わり先は自分の画面であるか否かを判定する。判定部６７からの切り替わり先のID番号と、図１４のステップＳ７１で取得されたディスプレイ装置３１のID番号が一致する場合、ステップＳ９２において、視線の切り替わりが自分の画面であると判定され、処理は、ステップＳ９３に進む。
【０１４１】
ステップＳ９３において、制御部６６は、メモリ６２がプロテクト状態であるか否かを判定し、メモリ６２がプロテクト状態ではない、すなわち、メモリ６２のプロテクト状態が解除されていると判定した場合、処理は、ステップＳ９４に進む。
【０１４２】
ステップＳ９４において、制御部６６は、メモリ６２に対するメモリ書き込みフラグをオンに設定する。すなわち、制御部６６は、書き込み先ポインタを、メモリ６２の画像記録用の先頭アドレスに設定し、入力されている画像信号の記録を開始させる。その後、処理は、図１４のステップＳ７３に戻り、ステップＳ７４に進む。
【０１４３】
一方、ステップＳ９１において視線の切り替わりがなかったと判定された場合、ステップＳ９２において切り替わり先が自分の画面ではないと判定された場合、または、ステップＳ９３においてメモリ６２のプロテクト状態であると判定された場合も、処理は、図１４のステップＳ７３に戻り、ステップＳ７４に進む。
【０１４４】
図１４のステップＳ７４において、メモリ６２は、ステップＳ７３におけるメモリ制御に基づいて、メモリ書き込み処理を実行する。このメモリ書き込み処理を、図１６のフローチャートを参照して説明する。
【０１４５】
ステップＳ１０１において、メモリ６２は、メモリ書き込みフラグがオンであるか否かを判定し、メモリ書き込みフラグがオンであると判定した場合、処理は、ステップＳ１０２に進む。ステップＳ１０２において、メモリ６２は、書き込む容量が残っているか否かを判定する。
【０１４６】
ステップＳ１０２において、書き込む容量が残っていると判定された場合、ステップＳ１０３において、メモリ６２は、入力されている画像信号の記録を行う。これにより、図１５のステップＳ９４において記録開始が指示されてから、後述する図１７のステップＳ１１２において記録終了が指示されるまでの画像信号がメモリ動画像として記録される。
【０１４７】
なお、メモリ書き込みフラグがオンである場合は、メモリがプロテクト状態ではない場合であるので、基本的に以前の動画像に上書きされるが、記録終了が指示されるまでの時間があまりにも長いとき、あるいは、メモコマンドが受信されず、記録終了が指示されないときなどには、書き込む容量がなくなってしまったところで動画像の記録は終了される。
【０１４８】
一方、ステップＳ１０１において、メモリ書き込みフラグがオフであると判定された場合、または、ステップＳ１０２において、書き込む容量が残っていないと判定された場合、処理は、ステップＳ１０３をスキップし、図１４のステップＳ７４に戻り、ステップＳ７５に進む。すなわち、この場合、画像信号は記録されない。
【０１４９】
図１４のステップＳ７５において、制御部６６は、リモートコントローラ２２からのコマンドを受信したか否かを判定し、リモートコントローラ２２からのコマンドを受信したか否かを判定した場合、ステップＳ７６において、コマンドが画面選択コマンドであるか否かを判定する。
【０１５０】
ステップＳ７６において、コマンドが画面選択コマンドであると判定された場合、制御部６６は、ステップＳ７７において、画面選択コマンドに応じて、自分の画面の選択状態を変更する。すなわち、自分のディスプレイ装置３１の画面を選択する画面選択コマンドの場合、自分の画面の選択状態に変更し、他のディスプレイ装置３１の画面を選択する画面選択コマンドの場合、自分の画面が選択状態であったとき、その選択状態を解除する。その後、処理は、ステップＳ７５に戻り、それ以降の処理を繰り返す。
【０１５１】
また、ステップＳ７６において、コマンドが画面選択コマンドではないと判定された場合、制御部６６は、ステップＳ７８において、自分の画面が選択状態であるか否かを判定する。ステップＳ７８において、自分の画面が選択状態であると判定された場合、制御部６６は、ステップＳ７９において、カウンタの値をリセットする。
【０１５２】
ステップＳ８０において、制御部６６は、コマンドに応じた処理を実行する。このコマンドに応じた処理を、図１７のフローチャートを参照して説明する。なお、図１７ののステップＳ１１１，Ｓ１１３，Ｓ１１４，Ｓ１１６，およびＳ１１７の処理は、図１０のステップＳ４１，Ｓ４３，Ｓ４５，Ｓ４７，およびＳ４８の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。
【０１５３】
制御部６６は、ステップＳ１１１において、コマンドがメモコマンドであるか否かを判定し、コマンドがメモコマンドであると判定した場合、ステップＳ１１２において、メモリ書き込みフラグをオフにする。すなわち、制御部６６は、図１５のステップＳ９４において開始が指示されたメモリ６２への記録を終了させる。
【０１５４】
ステップＳ１１３において、制御部６６は、メモリ６２をプロテクト状態に設定する。これにより、ユーザのリモートコントローラ２２の操作が一定時間以上ないと判定されるまで、メモリ６２の動画像の上書きが禁止される。なお、メモコマンドが受信されない場合に記録された動画像は、上書きが禁止されないので、次に視線の切り替えがあったときに上書きされる。
【０１５５】
一方、ステップＳ１１１において、コマンドがメモコマンドではないと判定された場合、処理は、ステップＳ１１２およびＳ１１３をスキップし、ステップＳ１１４に進む。ステップＳ１１４において、制御部６６は、コマンドがメモリ画像選択コマンドであるか否かを判定し、コマンドがメモリ画像選択コマンドであると判定した場合、ステップＳ１１５において、メモリ動画像から、コマンドに応じたメモリ画像の画像信号を読み出すように、出力選択部６３を制御する。
【０１５６】
すなわち、動画像を記録する場合のリモートコントローラ２２の前面には、図１８に示されるように、図３のメモボタン５１、ズームボタン５２、画面選択ボタン５５−１乃至５５−９、および操作スティック５６が配置され、さらに、図３のFn1ボタン５３およびFn2ボタン５４の代わりに、メモリ動画像から所望のメモリ画像（フレーム）を選ぶための画像選択スライダ８１が配置されている。
【０１５７】
すなわち、図１８のリモートコントローラ２２においては、画面選択ボタン５５の選択後、ユーザにより画像選択スライダ８１に設けられているつまみが左右どちらかに移動されると、画像選択スライダ８１におけるそのつまみの位置に応じたメモリ動画像における位置のメモリ画像を選択するための画像選択コマンドが生成され、送信されている。
【０１５８】
したがって、出力選択部６３は、画像選択スライダ８１の移動によるメモリ画像選択コマンドであった場合、メモリ６２に記憶されているメモリ動画像におけるコマンドに応じた位置のメモリ画像の画像信号を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部６４に出力する。
【０１５９】
画像処理部６４により、画像処理が行われた画像信号は、ディスプレイ６５に出力される。ディスプレイ６５には、画像処理部６４からの画像信号に対応するメモリ画像が表示される。
【０１６０】
ステップＳ１１４において、コマンドがメモリ画像選択コマンドではないと判定された場合、処理は、ステップＳ１１５をスキップし、ステップＳ１１６に進む。ステップＳ１１６において、制御部６６は、コマンドがズームコマンドであるか否かを判定し、コマンドがズームコマンドであると判定した場合、処理は、ステップＳ１１７に進む。
【０１６１】
ステップＳ１１７において、制御部６６は、画像処理部６４に、コマンドに対応するズームパラメータ（ズーム倍率とズーム範囲など）を送り、画像信号に対して、画像ズーム処理を行うように、画像処理部６４を制御する。すなわち、画像処理部６４は、出力選択部６３からの画像信号に対して所定の画像処理を行うとともに、制御部６６からのズームパラメータに基づいて、画像信号に対して、画像ズーム処理を行う。画像処理が行われた画像信号は、ディスプレイ６５に出力され、ディスプレイ６５には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像を表示する。
【０１６２】
ステップＳ１１６において、コマンドがズームコマンドではないと判定された場合、処理は、ステップＳ１１７をスキップし、図１４のステップＳ８０に戻り、その後、さらに、ステップＳ７２に戻り、それ以降の処理が繰り返される。
【０１６３】
図１４のステップＳ７５において、リモートコントローラ２２からのコマンドを受信していないと判定された場合、または、ステップＳ７８において、自分の画面が選択状態ではないと判定された場合、処理は、ステップＳ８１に進む。すなわち、自分のディスプレイ装置３１に対してのコマンドが受信されていないので、制御部６６は、ステップＳ８１において、内蔵するカウンタの値をインクリメントする。
【０１６４】
ステップＳ８２において、制御部６６は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、自分のディスプレイ装置３１に対して最後に受信されたコマンドから閾値以上時間が経過したので、ステップＳ８３に進み、メモリ６２のプロテクト状態を解除する。これにより、視線検出結果データまたはメモコマンドに対応してのメモリ６２の書き込みが可能になる。
【０１６５】
ステップＳ８２において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップＳ８３をスキップし、ステップＳ７２に戻り、それ以降の処理が繰り返される。
【０１６６】
以上のように、ユーザの視線を動かした瞬間から所定の区間を、ユーザがメモしたい情報が存在する区間であると予測して、ユーザの視線の変化があったときに、視線の移動先に表示される動画像を、メモリに記録するようにしたので、例えば、ユーザがリモートコントローラ２２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしをさらに抑制することができる。
【０１６７】
図１９は、図１８のリモートコントローラの外観の他の構成例を示す図である。なお、図１９においては、リモートコントローラ２２の前面に、画像選択スライダ８１の代わりに、最初のフレームへのジャンプボタン９１、１つ前のフレームに戻るボタン９２、次のフレームに進むボタン９３、および最後のフレームへのジャンプボタン９４が配置されている点が、図１８のリモートコントローラ２２と異なっており、メモボタン５１、ズームボタン５２、および画面選択ボタン５５−１乃至５５−９が配置されている点が共通している。
【０１６８】
すなわち、図１９のリモートコントローラ２２においては、画面選択ボタン５５の選択後、ユーザにより、最初のフレームへのジャンプボタン９１、１つ前のフレームに戻るボタン９２、次のフレームに進むボタン９３、または最後のフレームへのジャンプボタン９４を押下されると、メモリ動画像の所定のメモリ画像から、各ボタンに対応するメモリ画像（フレーム）を選択するための画像選択コマンドが生成され、送信される。
【０１６９】
例えば、ユーザにより次のフレームに進むボタン９３が押下されると、出力選択部６３は、メモリ６２に記憶されているメモリ動画像の所定のメモリ画像の次のメモリ画像（フレーム）の画像信号を選択し、選択したメモリ画像の画像信号を読み出して、画像処理部６４に出力する。これにより、ディスプレイ６５には、画像処理部６４からの画像信号に対応するメモリ画像が表示される。
【０１７０】
図２０は、マルチディスプレイシステムの第２の実施の形態の構成を示す図である。なお、図２０の例において、リモートコントローラ２２がリモートコントローラ１１２に入れ替わっている点と、視線検出装置２３が除かれている点が、図２のマルチディスプレイシステムと異なっており、複数のディスプレイ装置３１−１乃至３１−９からなるマルチディスプレイ装置２１が備えられている点は、共通している。
【０１７１】
すなわち、図２０のマルチディスプレイシステムにおいては、ディスプレイ装置３１−１乃至３１−９は、視線検出装置２３からの視線検出結果データに基づくユーザの視線の切り替わりの代わりに、ユーザの操作によるリモートコントローラ１１２の動き（加速度の変化）があった場合に、それぞれ、現在表示されている画像を保存しておく。このリモートコントローラ１１２の動きの有無は、リモートコントローラ１１２からのイベント判定結果フラグが受光部３２に受信され、各ディスプレイ装置３１に供給されることにより判定される。
【０１７２】
リモートコントローラ１１２は、図３のリモートコントローラ２２と同様に、図３のメモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、画面選択ボタン５５、および操作スティック５６からなる操作部７１の他、加速度センサ１２１（後述する図２２）を有しており、図３を参照して上述したコマンドの他、加速度センサ１２１の出力値をAD （Analog to Digital)変換した結果から加速度の急激な変化を検出した場合、イベント判定結果フラグを生成し、生成したイベント判定結果フラグを所定の光信号として発光する。
【０１７３】
なお、リモートコントローラ１１２におけるイベント判定結果フラグの送信は、通常のコマンド送信に用いる赤外線で行われるが、無線LAN(Local Area Network)やBluetooth（登録商標）などを用いることもできる。ただし、指向性のある赤外線を用いて送信するほうがリモートコントローラ１１２をマルチディスプレイ置２１の正面を向けていない状態での操作など、ノイズ要素となるイベント判定結果が受信されにくく、ロバストである。
【０１７４】
図２１は、図２０のディスプレイ装置の電気的な構成例を示す図である。なお、図２１の例においては、判定部６７が除かれた点が図４のディスプレイ装置と異なるだけであり、チューナ６１、メモリ６２、出力選択部６３、画像処理部６４、ディスプレイ６５、および制御部６６を備えている点は、共通している。
【０１７５】
すなわち、図２１の制御部６６は、受光部３２を介して、リモートコントローラ１１２からのデータを受けると、そのデータがイベント判定結果フラグであるか否かを判定し、イベント判定結果フラグである場合、すなわち、リモートコントローラ１１２が加速度の急激な変化を検出した場合、メモリ６２に記憶されるメモリ画像＃１の更新を制御する。リモートコントローラ１１２からのデータがコマンドである場合、制御部６６は、図４の場合と同様に、コマンドに対応して、メモリ６２に記憶されるメモリ画像＃２の更新や、出力画像の選択、またはズームパラメータ等を制御する。
【０１７６】
図２２は、図２１のリモートコントローラの電気的な構成例を示す図である。なお、図２２のリモートコントローラ１１２においては、加速度センサ１２１、AD変換部１２２、およびイベント判定部１２３が追加された点が図５のリモートコントローラ２２と異なるだけであり、操作部７１、制御部７２、フレーム生成部７３、送信処理部７４、および発光部７５を備えている点は、共通している。すなわち、図２０のマルチディスプレイシステムの場合、図２のマルチディスプレイシステムにおいてディスプレイ装置３１側にあった判定部６７が、イベント判定部１２３として、リモートコントローラ１１２に備えられている。
【０１７７】
図２２の制御部７２は、生成したコマンドをフレーム生成部７３に出力するだけでなく、イベント判定部１２３からのイベント検出フラグの設定がオンである場合に、イベント判定結果フラグを生成し、それをフレーム生成部７３に出力する。
【０１７８】
加速度センサ１２１は、例えば、ユーザのリモートコントローラ１１２の把持により生じるリモートコントローラ１１２の加速度を検知し、その加速度センサデータをAD変換部１２２に出力する。AD変換部１２２は、加速度センサ１２１からの出力値（加速度センサデータ）をAD変換し、AD変換された加速度センサデータを、イベント判定部１２３に出力する。
【０１７９】
イベント判定部１２３は、AD変換された加速度センサデータから加速度の急激な変化を検出した場合、イベント検出フラグをオンに設定し、オンに設定されたイベント検出フラグを制御部７２に出力する。また、加速度の急激な変化が検出されない場合、イベント検出フラグはオフに設定され、オフに設定されたイベント検出フラグが制御部７２に出力される。
【０１８０】
次に、図２３および図２４を参照して、イベント判定結果フラグを用いて、画像を記録する処理について説明する。
【０１８１】
図２３の図中上には、時刻T1および時刻T2（時刻T1＜時刻T2）におけるディスプレイ装置３１−３に表示される画像（以下、単にディスプレイ装置３１−３の画面とも称する）G3が示されている。
【０１８２】
図２３の図中下に示されるように、ユーザＡは、時刻T0（時刻T0＜時刻T1）に、ディスプレイ装置３１−１乃至３１−９の画面G1乃至G9のうち、ディスプレイ装置３１−２の画面G2を見ていたが、時刻T1において、ディスプレイ装置３１−３の画面G3に視線を動かす。この画面G2から画面G3にユーザＡの視線が切り替わった時刻T1の瞬間に、ユーザＡは、画面G3に興味があるオブジェクト（例えば、図２３の例の場合も、ピッチング中の投手が振りかぶっているときのボールを握る手）が存在することに気づく。
【０１８３】
興味があり、メモしたいオブジェクトに気づいたとき、ユーザＡは、リモートコントローラ１１２を把持し、握っているリモートコントローラ１１２に対して何らかのアクション（指を動かそうとするなど）を起こそうとすることが多い。例えば、ユーザＡは、ここで、画面G3のオブジェクトを記録させるため、例えば、画面G3に興味があるオブジェクトに気づいた時刻T1でリモートコントローラ１１２を把持し、前面に備えられた画面選択ボタン５５−３を押下し、ディスプレイ装置３１−３の画面G3を選択した上で、時刻T2でメモボタン５１を押下する。しかしながら、図６を参照して上述したように、メモボタン５１を押下した瞬間の時刻T2には、すでに、画面G3の情報は変化してしまっており、時刻T1の瞬間の画面G3のオブジェクトを記録できないことが多い。図２３の例の場合も、時刻T2の画面G3は、ピッチング中の投手がボールを投げる瞬間の画像となっている。
【０１８４】
そこで、リモートコントローラ１１２の加速度センサ１２１でリモートコントローラ１１２本体の動きやユーザの指の動きを検出して、動きが検出された瞬間の画面G3（すなわち、時刻T1の画面G3）の画像を予め先にメモリ６２に記録しておき、そして、ユーザＡにより実際にメモボタン５１が押下された時刻T2に、メモリ６２に記録した画像を画面G3として用いるようにする。
【０１８５】
図２４を参照して具体的に説明する。図２４の例においては、リモートコントローラ１１２における時間の経過に沿った加速度センサデータ、および、時間の経過に沿った画面G3の出力画像が示されている。
【０１８６】
すなわち、ディスプレイ装置３１−１乃至３１−９は、リモートコントローラ１１２からのイベント検出フラグを監視しており、それに基づいて、リモートコントローラ１１２に加速度の急激な変化があった時刻T1における画面G1乃至G9の情報を、メモリ６２にメモリ画像＃１として保存しておく。なお、この場合、視線の切り替わりの場合と異なり、リモートコントローラ１１２における加速度の変化だけでは、ユーザＡがどの画面を見ているかが分からないので、すべての画面G1乃至G9におけるそのときの画像が、各ディスプレイ装置３１のメモリ６２にメモリ画像＃１として保存される。
【０１８７】
そして、ディスプレイ装置３１−１は、ユーザＡにより実際に画面G3に対して、メモボタン５１が押下された時刻T2に、時刻T2における画面G3の情報をメモリ６２にメモリ画像＃２として保存し、さらに、画面G3の出力画像に示されるように、チューナ６１からの画像の出力であった画面G3を、メモリ画像＃１の出力に切り替える。なお、このときも、予め設定しておくことで、画面G3を、メモリ画像＃１の代わりにメモリ画像＃２の出力に切り替えることも可能である。
【０１８８】
以上のように、ユーザＡがリモートコントローラ１１２を動かした瞬間を、ユーザＡがメモしたい瞬間であると予測して、リモートコントローラ１１２に加速度の急激な変化があったときに表示される画像を記録するようにしたので、例えば、ユーザＡがリモートコントローラ１１２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【０１８９】
次に、図２５のフローチャートを参照して、図２０のリモートコントローラ１１２の処理について詳しく説明する。なお、図２５のステップＳ１５４乃至Ｓ１５６の処理については、図１１のステップＳ５１乃至Ｓ５３の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。
【０１９０】
加速度センサ１２１は、常にリモートコントローラ１１２の加速度を検知しており、その加速度センサデータをAD変換部１２２に出力している。
【０１９１】
ステップＳ１５１において、AD変換部１２２は、加速度センサ１２１からの加速度センサデータをAD変換し、AD変換された加速度センサデータを、イベント判定部１２３に出力する。
【０１９２】
ステップＳ１５２において、イベント判定部１２３は、イベント検出フラグ出力処理を実行する。このイベント検出フラグ出力処理を、図２６のフローチャートを参照して説明する。
【０１９３】
ステップＳ１７１において、イベント判定部１２３は、AD変換部１２２からの加速度センサデータに基づいて、加速度の急激な変化を検出したか否かを判定し、加速度の急激な変化を検出したと判定した場合、処理は、ステップＳ１７２に進み、イベント判定部１２３は、イベント検出フラグをオンに設定する。
【０１９４】
また、ステップＳ１７１において、加速度の急激な変化を検出していないと判定された場合、処理は、ステップＳ１７３に進み、イベント判定部１２３は、イベント検出フラグをオフに設定する。
【０１９５】
ステップＳ１７４において、イベント判定部１２３は、オンまたはオフに設定されたイベント検出フラグを制御部７２に出力し、処理は、図２５のステップＳ１５２に戻り、ステップＳ１５３に進む。
【０１９６】
図２５のステップＳ１５３において、制御部７２は、イベント検出フラグがオンに設定されているか否かを判定し、オンに設定されていると判定した場合、処理は、ステップＳ１５４をスキップし、ステップＳ１５５に進む。なお、この場合、制御部７２は、イベント検出フラグに基づいて、イベント判定結果フラグ（オンに設定されている）を生成し、生成したイベント判定結果フラグを、フレーム生成部７３に出力する。ステップＳ１５３において、オンに設定されていないと判定した場合、処理は、ステップＳ１５４に進む。
【０１９７】
例えば、ユーザにより、図３のメモボタン５１、ズームボタン５２、Fn1ボタン５３、Fn2ボタン５４、画面選択ボタン５５、および操作スティック５６などで構成される操作部７１が操作された場合、制御部７２は、操作部７１の操作に応じて、操作部７１を介して入力される操作信号に基づいて、ディスプレイ装置３１により認識可能なコマンドを生成し、生成したコマンドをフレーム生成部７３に出力している。
【０１９８】
ステップＳ１５４において、フレーム生成部７３は、コマンドが入力されたと判定した場合、処理は、ステップＳ１５５に進む。ステップＳ１５４において、コマンドが入力されていないと判定された場合、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返される。
【０１９９】
ステップＳ１５５において、フレーム生成部７３は、制御部７２からのイベント判定結果フラグまたはコマンドなどのデータを送信フレームとして生成し、送信処理部７４に送信する。送信処理部７４は、ステップＳ１５６において、フレーム生成部７３により生成された送信フレームを発光信号に変換し、発光部７５を発光させる。
【０２００】
これにより、ディスプレイ装置３１の受光部３２には、リモートコントローラ１１２からの光が受光され、受光部３２からは、受光された光に対応するデータ（すなわち、コマンドまたはイベント判定結果フラグ）が各ディスプレイ装置３１に送信される。
【０２０１】
次に、図２７のフローチャートを参照して、図２５の処理に対応する、ディスプレイ装置３１によるイベント判定結果フラグを用いて、画像を記録する処理を詳しく説明する。なお、図２７のステップＳ２０１，Ｓ２０４乃至Ｓ２１０の処理は、図８のステップＳ１１，Ｓ１５乃至Ｓ１７，およびＳ１９乃至Ｓ２２の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明は適宜省略する。
【０２０２】
ステップＳ２０１において、制御部６６は、予め設定されているDIPスイッチなどを確認することで、自己のディスプレイ装置３１のID番号を取得する。ステップＳ２０２において、制御部６６は、リモートコントローラ１１２からのデータを受信したか否かを判定し、リモートコントローラ１１２からのデータを受信したと判定した場合、処理は、ステップＳ２０３に進む。
【０２０３】
ステップＳ２０３において、制御部６６は、メモリ制御処理を実行する。このメモリ制御処理を、図２８のフローチャートを参照して説明する。
【０２０４】
ステップＳ２３１において、制御部６６は、イベント判定結果フラグを受信したか否かを判定する。図２７のステップＳ２０２において受信されたリモートコントローラ１１２からのデータがイベント判定結果フラグであった場合、ステップＳ２３１において、イベント判定結果フラグを受信したと判定され、処理は、ステップＳ２３２に進む。ステップＳ２３２において、制御部６６は、メモリ６２がプロテクト状態であるか否かを判定し、メモリ６２がプロテクト状態ではない、すなわち、メモリ６２のプロテクト状態が解除されていると判定した場合、処理は、ステップＳ２３３に進む。
【０２０５】
ステップＳ２３３において、制御部６６は、メモリ６２に入力されている画像信号の画像を、メモリ画像＃１として保存する。すなわち、制御部６６は、イベント判定結果フラグが受信されたタイミング（換言するに、加速度の急激な変化が検出されたタイミング）に、メモリ６２に入力されて、ディスプレイ６５に出力されている画像信号の画像で、メモリ６２に記憶されるメモリ画像＃１を更新する。その後、処理は、図２７のステップＳ２０３に戻り、ステップＳ２０４に進む。
【０２０６】
一方、ステップＳ２３１において、イベント判定結果フラグを受信していないと判定された場合、処理は、ステップＳ２３４に進む。すなわちコマンドが受信されたので、ステップＳ２３４において、制御部６６は、内蔵するカウンタの値をリセットし、処理は、図２７のステップＳ２０３に戻り、ステップＳ２０４に進む。また、ステップＳ２３２において、メモリ６２がプロテクト状態ではないと判定された場合も、処理は、図２７のステップＳ２０３に戻り、ステップＳ２０４に進む。
【０２０７】
図２７のステップＳ２０４において、制御部６６は、コマンドが画面選択コマンドであるか否かを判定する。ステップＳ２０４において、コマンドが画面選択コマンドであると判定された場合、制御部６６は、ステップＳ２０５において、画面選択コマンドに応じて、自分の画面の選択状態を変更し、その後、処理は、ステップＳ２０２に戻り、それ以降の処理を繰り返す。
【０２０８】
また、ステップＳ２０４において、コマンドが画面選択コマンドではないと判定された場合、制御部６６は、ステップＳ２０６において、自分の画面が選択状態であるか否かを判定する。ステップＳ２０６において、自分の画面が選択状態であると判定された場合、制御部６６は、ステップＳ２０７において、コマンドに応じた処理を実行する。このコマンドに応じた処理は、図１０を参照して上述したコマンドに応じた処理と同様の処理を行うので、その詳細な説明は繰り返しになるので省略する。
【０２０９】
すなわち、ステップＳ２０７においては、コマンドがメモコマンドである場合、メモリ６２に入力されている画像信号の画像が、メモリ画像＃２として保存され、メモリ６２がプロテクト状態に設定され、メモリ６２に記憶されているメモリ画像＃１の画像信号を読み出すように、出力選択部６３の選択が制御される。これにより、ディスプレイ６５には、加速度の急激な変化が検出されたタイミングで記録されたメモリ画像＃１が表示される。
【０２１０】
また、コマンドがメモリ画像選択コマンドである場合、コマンドに応じたメモリ画像（メモリ画像＃１またはメモリ画像＃２）の画像信号を読み出すように、出力選択部６３が制御される。これにより、ディスプレイ６５には、加速度の急激な変化が検出されたタイミングで記録されたメモリ画像＃１またはメモコマンドが受信されたタイミングで記録されたメモリ画像＃２が表示される。
【０２１１】
さらに、コマンドがズームコマンドである場合、ズームパラメータ（ズーム倍率とズーム範囲など）が送信され、画像信号に対して、画像ズーム処理を行うように、画像処理部６４が制御される。これにより、ディスプレイ６５には、ズームパラメータに基づいてズーム処理が行われた画像信号に対応する画像が表示される。
【０２１２】
そして、ステップＳ２０７の後、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返される。また、ステップＳ２０６において、自分の画面が選択状態ではないと判定された場合も、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０２１３】
図２７のステップＳ２０２において、リモートコントローラ１１２からのデータを受信していないと判定された場合、処理は、ステップＳ２０８に進む。リモートコントローラ１１２からのデータが受信されていないので、制御部６６は、ステップＳ２０８において、内蔵するカウンタの値をインクリメントする。すなわち、図２７の例の場合、イベント判定結果フラグが受信されたときにも、カウンタの値はインクリメントされないが、コマンドが受信されていないので、リセットもされない。
【０２１４】
ステップＳ２０９において、制御部６６は、カウンタの値が予め設定されている閾値以上であるか否かを判定し、カウンタの値が予め設定されている閾値以上であると判定した場合、すなわち、最後に受信されたコマンドから閾値以上時間が経過したので、ステップＳ２１０に進み、メモリ６２のプロテクト状態を解除する。これにより、イベント判定結果フラグまたはメモコマンドに対応してのメモリ６２の書き込みが可能になる。
【０２１５】
ステップＳ２０９において、カウンタの値が閾値より少ないと判定された場合、処理は、ステップＳ２１０をスキップし、ステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０２１６】
以上のように、リモートコントローラ１１２の加速度が急激に変化した瞬間を、ユーザがメモしたい瞬間であると予測して、リモートコントローラ１１２の加速度の急激な変化があったときに、すべてのディスプレイ装置３１の画面を、メモリ６２に記録するようにしたので、例えば、ユーザがリモートコントローラ１１２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【０２１７】
また、メモコマンドを操作したときの操作対象（選択状態）のディスプレイ装置３１に表示される画像も、加速度の急激な変化があったときに記録される画像とは別にメモリ６２に記録するようにしたので、ユーザによるリモートコントローラ１１２の操作が確実だった場合の画像も取得することができる。
【０２１８】
さらに、メモコマンドによりメモリに記憶されたメモリ画像がある場合には、メモリ６２をプロテクト状態とし、上書きされないようにしたので、リモートコントローラ１１２の操作時などにし視線を移動させるなどユーザの意図しない反応によって、メモリに記憶されたメモリ画像が削除されることを抑制することができる。
【０２１９】
なお、上記説明においてはリモートコントローラ１１２の加速度の検知に基づいて、イベント判定結果フラグが送出される場合を説明したが、例えば、人の発話から驚きのイベントを拾って人の声からイベントを判定して、イベント判定結果フラグが送出されるように、マルチディスプレイシステムを構成することもできる。
【０２２０】
図２９は、図２１のリモートコントローラ１１２の電気的な他の構成例を示す図である。なお、図２９の例においては、加速度センサ１２１に代わって、マイクロフォン１５１が備えられている点、およびイベント判定部１２３に代わって、イベント判定部１５２が備えられている点が図２２のリモートコントローラ１１２と異なるだけであり、AD変換部１２２、操作部７１、制御部７２、フレーム生成部７３、送信処理部７４、および発光部７５を備えている点は、共通している。
【０２２１】
すなわち、マイクロフォン１５１は、人の発話などの音声を集音し、集音した音声信号を、AD変換部１２２に出力する。AD変換部１２２はマイクロフォン１５１からの出力値（音声信号）をAD変換し、AD変換された音声データを、イベント判定部１５２に出力する。
【０２２２】
図２９のイベント判定部１５２は、図３０に示されるように、バッファ１６１、FFT（Fast Fourier Transform）１６２、音圧計算部１６３、バッファ１６４、差分計算部１６５、および判定部１６６により構成される。
【０２２３】
バッファ１６１は、AD変換部１２２から入力される音声データから、音声サンプルを取得し、蓄積する。FFT１６２は、判定部１６６の制御のもと、１サンプル前との差分が大きい場合、バッファ１６１に蓄積されたデータにFFT（高速フーリエ変換）をかけ、FFTの結果を判定部１６６に出力する。
【０２２４】
音圧計算部１６３は、バッファ１６１に蓄積された数サンプルのデータを用いて音圧を計算し、計算した音圧のデータをバッファ１６４および差分計算部１６５に出力する。バッファ１６４には、音圧計算部１６３により計算された１サンプル前の音圧のデータが蓄積されている。
【０２２５】
差分計算部１６５は、音圧計算部１６３からの音圧と、バッファ１６４に蓄積されている１サンプル前の音圧との差分を計算し、その差分を判定部１６６に出力する。
【０２２６】
判定部１６６は、差分計算部１６５からの差分の大きさを判定し、大きい場合、FFT１６２を制御し、バッファ１６１に蓄積されたデータに対して、FFTをかけさせ、その結果に応じて、イベント検出フラグのオンオフを設定する。すなわち、イベント検出フラグは、FFTの結果、低域にパワーが集中している場合にはオンに設定され、低域にパワーが集中していない場合には、オフに設定され、制御部７２に出力される。
【０２２７】
なお、図２９のリモートコントローラ１１２の処理は、図２５を参照して上述した処理と、ステップＳ１５２のイベント検出フラグ出力処理（すなわち、図２６の処理）を除いて、基本的に同様の処理を行うので、異なる処理であるステップＳ１５２のイベント検出フラグ出力処理のみを、図３１のフローチャートを参照して説明する。
【０２２８】
ステップＳ２５１において、バッファ１６１は、AD変換部１２２から入力される音声データから、音声サンプルを取得し、ステップＳ２５２において、バッファ１６１に蓄積する。ステップＳ２５３において、音圧計算部１６３は、バッファ１６１に蓄積された数サンプルのデータを用いて音圧を計算し、計算した音圧のデータをバッファ１６４および差分計算部１６５に出力する。
【０２２９】
ステップＳ２５４において、差分計算部１６５は、音圧計算部１６３からの音圧と、バッファ１６４に蓄積されている１サンプル前の音圧との差分を計算し、その差分を判定部１６６に出力する。ステップＳ２５５において、判定部１６６は、差分計算部１６５からの差分の大きさが等分大であるか否かを判定し、差分計算部１６５からの差分の大きさが等分大である、すなわち、大きいと判定した場合、ステップＳ２５６に進み、FFT１６２を制御し、バッファ１６１に蓄積されたデータに対して、FFTを行わせる。
【０２３０】
ステップＳ２５７において、判定部１６６は、FFT１６２によるFFTの結果、低域にパワーが集中しているか否かを判定し、低域にパワーが集中していると判定した場合、ステップＳ２５８において、イベント検出フラグをオンに設定する。
【０２３１】
一方、ステップＳ２５５において、差分計算部１６５からの差分の大きさが等分大ではない、すなわち、大きくないと判定された場合、または、ステップＳ２５７において、低域にパワーが集中していないと判定された場合、処理は、ステップＳ２５９に進み、判定部１６６は、イベント検出フラグをオフに設定する。
【０２３２】
ステップＳ２６０において、判定部１６６は、オンまたはオフに設定されたイベント検出フラグを制御部７２に出力し、処理は、図２５のステップＳ１５２に戻る。
【０２３３】
以上のように、リモートコントローラ１１２にマイクロフォン１５１を備えて、ユーザの驚きの声が発生された瞬間を、ユーザがメモしたい瞬間であると予測して、ユーザの声の低域にパワーが集中したときに、すべての画面を、メモリ６２に記録するようにしたので、例えば、ユーザがリモートコントローラ１１２の操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【０２３４】
なお、上記説明においては、ユーザの声の低域にパワーが集中したときに、ユーザの驚きの声が発生されたときであるとして、それを検出するようにしたが、ある大きさの声や、ある特定の声を検出することもできる。
【０２３５】
以上のように、ユーザの視線が切り替わった瞬間、リモートコントローラが動かされた瞬間、またはユーザの声が発生された瞬間を、ユーザがメモしたい瞬間であると予測して、それらのいずれかが検出されたときに、表示されている画面をメモリに記録するようにしたので、例えば、ユーザがリモートコントローラの操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしを抑制することができる。
【０２３６】
また、ハードディスクを用いる必要がないので、コストの増大も抑制することができる。
【０２３７】
なお、図１３乃至図１９を参照して上述した動画像を記録する場合の例は、図２のマルチディスプレイシステムを用いて説明したが、図２０のマルチディスプレイシステムにも適用することができる。すなわち、図２０のマルチディスプレイシステムの場合も、加速度の急激な変化や、声の低域にパワーが集中した場合をトリガとして、静止画像に限らず、動画像を記録することができる。
【０２３８】
すなわち、図２または図２０のマルチディスプレイシステムにおいては、ユーザの視線が切り替わった瞬間、リモートコントローラが動かされた瞬間、またはユーザの声が発生された瞬間からの区間を、ユーザがメモしたい情報が存在する区間であると予測して、それらのいずれかが検出されたときに、表示されている動画像をメモリに記録するようにしたので、例えば、ユーザがリモートコントローラの操作を戸惑った場合などであっても、興味を引くオブジェクトの取り逃がしをさらに抑制することができる。
【０２３９】
なお、上記説明においては、視線検出データまたはリモートコントローラにおいて検出される加速度や音声の変化のいずれかの情報を用いて、興味を引くオブジェクトを発見した瞬間を予測することにより画像を記録し、取り逃がしを抑制する例を説明したが、視線検出データと加速度の変化を両方用いたり、視線検出データと音声の変化を両方用いたり、加速度と音声の変化を両方用いたり、あるいは、３つの情報をすべて用いるようにしてもよい。
【０２４０】
また、上記説明においては、ディスプレイ装置にそれぞれ異なる番組の画像を表示する場合を説明したが、本発明は、マルチディスプレイ装置に複数の画像が表示される場合であれば、少なくとも２台のディスプレイ装置で１つの拡大画像を表示させ、他のディスプレイ装置では異なる番組の画像を表示させる場合などにも適用することができる。
【０２４１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０２４２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４３】
図３２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３０１の構成の例を示すブロック図である。CPU（Central Processing Unit）３１１は、ROM（Read Only Memory）３１２、または記憶部３１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。
【０２４４】
CPU３１１にはまた、バス３１４を介して入出力インタフェース３１５が接続されている。入出力インタフェース３１５には、上述したセンサ２１、キーボード、マウス、マイクロフォンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。
【０２４５】
入出力インタフェース３１５に接続されている記憶部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記憶する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２４６】
また、通信部３１９を介してプログラムを取得し、記憶部３１８に記憶してもよい。
【０２４７】
入出力インタフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア３２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３１８に転送され、記憶される。
【０２４８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory)，DVD（Digital Versatile Disc）を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３２１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記憶部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２４９】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２５２】
【図１】従来のマルチディスプレイ装置におけるメモ機能について説明する図である。
【図２】本発明を適用したマルチディスプレイシステムの第１の実施の形態の構成例を示すブロック図である。
【図３】図２のリモートコントローラの外観の構成例を示す図である。
【図４】図２のディスプレイ装置の構成例を示すブロック図である。
【図５】図２のリモートコントローラの電気的な構成例を示すブロック図である。
【図６】視線情報を用いて画像を記録する処理を説明する図である。
【図７】視線情報を用いて画像を記録する処理を説明する図である。
【図８】図２のディスプレイ装置の処理を説明するフローチャートである。
【図９】図８のステップＳ１３のメモリ制御処理を説明するフローチャートである。
【図１０】図８のステップＳ１９のコマンドに応じた処理について説明するフローチャートである。
【図１１】図２のリモートコントローラの処理について説明するフローチャートである。
【図１２】図２のリモートコントローラの外観の他の構成例を示す図である。
【図１３】視線情報を用いて動画像を記録する処理を説明する図である。
【図１４】図１３の例の場合の図２のディスプレイ装置の処理を説明するフローチャートである。
【図１５】図１４のステップＳ７３のメモリ制御処理を説明するフローチャートである。
【図１６】図１４のステップＳ７４のメモリ書き込み処理を説明するフローチャートである。
【図１７】図１４のステップＳ８０のコマンドに応じた処理を説明するフローチャートである。
【図１８】図１３の例の場合の図２のリモートコントローラの外観の構成例を示す図である。
【図１９】図１３の例の場合の図２のリモートコントローラの外観の他の構成例を示す図である。
【図２０】本発明を適用したマルチディスプレイシステムの第２の実施の形態の構成例を示すブロック図である。
【図２１】図２０のディスプレイ装置の構成例を示すブロック図である。
【図２２】図２０のリモートコントローラの電気的な構成例を示すブロック図である。
【図２３】イベント判定結果フラグを用いて画像を記録する処理を説明する図である。
【図２４】イベント判定結果フラグを用いて画像を記録する処理を説明する図である。
【図２５】図２０のリモートコントローラの処理について説明するフローチャートである。
【図２６】図２５のステップＳ１２５のイベント検出フラグ出力処理を説明するフローチャートである。
【図２７】図２０のディスプレイ装置の処理を説明するフローチャートである。
【図２８】図２７のステップＳ２０３のメモリ制御処理を説明するフローチャートである。
【図２９】図２０のディスプレイ装置の他の構成例を示すブロック図である。
【図３０】図２９のイベント判定部の構成例を示すブロック図である。
【図３１】図２５のステップＳ１２５のイベント検出フラグ出力処理の他の例を説明するフローチャートである。
【図３２】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２５３】
２１  マルチディスプレイ装置，  ２２  リモートコントローラ，  ２３  視線検出装置，  ３１−１乃至３１−９  ディスプレイ装置，  ３２  受光部， ６１  チューナ，  ６２  メモリ，  ６３  出力選択部，  ６４  画像処理部，  ６５  ディスプレイ，  ６６  制御部，  ６７  判定部，  ７１  操作部，  ７２  制御部，  ７３  フレーム生成部，  ７４  送信処理部，  ７５  発光部，  １１２  リモートコントローラ，  １２１  加速度センサ，  １２２  AD変換部，  １２３  イベント判定部，  １５１  マイクロフォン，  １５２  イベント判定部
【図１】
2008070696.tif 000003
【図２】
2008070696.tif 000004
【図３】
2008070696.tif 000005
【図４】
2008070696.tif 000006
【図５】
2008070696.tif 000007
【図６】
2008070696.tif 000008
【図７】
2008070696.tif 000009
【図８】
2008070696.tif 000010
【図９】
2008070696.tif 000011
【図１０】
2008070696.tif 000012
【図１１】
2008070696.tif 000013
【図１２】
2008070696.tif 000014
【図１３】
2008070696.tif 000015
【図１４】
2008070696.tif 000016
【図１５】
2008070696.tif 000017
【図１６】
2008070696.tif 000018
【図１７】
2008070696.tif 000019
【図１８】
2008070696.tif 000020
【図１９】
2008070696.tif 000021
【図２０】
2008070696.tif 000022
【図２１】
2008070696.tif 000023
【図２２】
2008070696.tif 000024
【図２３】
2008070696.tif 000025
【図２４】
2008070696.tif 000026
【図２５】
2008070696.tif 000027
【図２６】
2008070696.tif 000028
【図２７】
2008070696.tif 000029
【図２８】
2008070696.tif 000030
【図２９】
2008070696.tif 000031
【図３０】
2008070696.tif 000032
【図３１】
2008070696.tif 000033
【図３２】
2008070696.tif 000034