(57)【要約】【課題】リモコン操作を前提として記述されたコンテンツをポインティングデバイスで操作する場合に、利用者の利便性がよくなかった。【解決手段】ポインティングデバイス４１１による操作の情報をＩ／Ｏドライバ４１２を介して入力されたポインタ移動部４１３が、コンテンツ管理部４０１を介して取得した、リモコンによる操作を前提としたコンテンツの画面上でポインタの移動を制御する。ポインタ移動方向判定部４１４は、ポインタ座標管理部４１６がメモリ４１５に記憶したポインタの移動軌跡に関する情報を分析してキーイベントに関する情報に変換し、この変換したキーイベントを、キーイベント発生部４３１を介して発生する。【選択図】  図４
2010287169.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングデバイスによる操作に応じて画面上のポインタを移動させるポインタ移動手段と、
リモコンによる操作により制御されるコマンド形式の操作画面上の、前記ポインタ移動手段が移動させるポインタが指し示した軌跡情報を、ポインタが移動した時系列と関連づけて記憶する軌跡情報記憶手段と、
前記軌跡情報記憶手段が記憶した前記軌跡情報に基づいて、リモコンの方向キーに対応するコマンドに変換して発生する情報変換手段と、
前記情報変換手段が変換した前記コマンドに対応する操作を実行する操作実行手段と、
を具備することを特徴とするイベント変換装置。
【請求項２】
前記点指示部品移動手段は、前記操作実行手段が操作を実行した後に、前記操作画面の中央部に前記点指示部品を移動することを特徴とする請求項１記載のイベント変換装置。
【請求項３】
前記点指示部品移動手段は、前記操作画面外から前記操作画面上に前記点指示部品を移動すると、前記操作画面の中央部に前記点指示部品を移動することを特徴とする請求項２記載のイベント変換装置。
【請求項４】
現在表示している画面を画像として捕獲する画像捕獲手段と、
前記画像捕獲手段が、前記操作実行手段が操作を実行する前に捕獲した画像と、前記操作実行手段が操作を実行した後に捕獲した画像とに基づいて特定される領域に関する情報を、前記操作画面を操作するボタンに関するボタン領域情報として登録する領域登録手段と、
を具備することを特徴とする請求項２または請求項３記載のイベント変換装置。
【請求項５】
前記領域登録手段は、複数のボタンに関する前記ボタン領域情報と、前記複数のボタンそれぞれに対する前記操作実行手段が実行して移動する移動先ボタンに関するボタン移動情報とを関連付けて登録することを特徴とする請求項４記載のイベント変換装置。
【請求項６】
前記領域登録手段は、前記情報変換手段が決定した移動方向と、前記操作実行手段が実行した操作による操作画面上のボタンの移動方向とが異なる場合には、該当する前記ボタン移動情報を登録から除外することを特徴とする請求項５記載のイベント変換装置。
【請求項７】
ポインティングデバイスによる操作に応じて画面上のポインタを移動させ、
リモコンによる操作により制御されるコマンド形式の操作画面上の、前記移動させるポインタが指し示した軌跡情報を、ポインタが移動した時系列と関連づけて記憶し、
前記記憶した前記軌跡情報に基づいて、リモコンの方向キーに対応するコマンドに変換して発生し、
前記変換した前記コマンドに対応する操作を実行する、
ことを特徴とするイベント変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングデバイスによる操作に係るイベントを変換するイベント変換装置およびイベント変換方法に関する。
【背景技術】
【０００２】
近年、放送と通信との融合を目指した様々な機器やサービスなどが広く普及している。例えば、インターネットを介して提供されるコンテンツを取得する通信部や、取得したコンテンツを表示するＷｅｂブラウザなどを備えて、インターネットから提供されるコンテンツを表示するテレビジョン受像機、デジタル放送で提供されるデータ放送のコンテンツを、パーソナルコンピュータによって実行されるプログラムによって扱える形態にして、インターネットを介して提供するサービスなど、である。
【０００３】
ところで、デジタルテレビ放送におけるデータ放送のコンテンツは、ＢＭＬ(Broadcast  Markup  Language；以下ＢＭＬと称する)によって記述されることが、社団法人電波産業会発行の「デジタル放送におけるデータ放送符号化方式と伝送方式」ＡＲＩＢ  ＳＴＤ−Ｂ２４  ５．２版で規定されている。ＢＭＬは、インターネットから提供されるコンテンツと同様にＨＴＭＬやＪａｖａ（登録商標）Ｓｃｒｉｐｔをベースにした記述言語である。
【０００４】
なおデータ放送は、テレビジョン受像機によって表示されることを前提としているため、データ放送のコンテンツの記述に利用されるＢＭＬでは、テレビジョン受像機の操作に一般的に利用されるリモコンによる操作を前提としている。
【０００５】
すなわちＢＭＬでは、リモコンに備えられた上下左右キーなどの押下に基づくイベントは定義されているが、マウス等のポインティングデバイスによる操作に基づくイベントは定義されていない。
【０００６】
そこで、ＢＭＬで記述されたコンテンツの操作を、ポインティングデバイスによっても操作できるようにする手法が期待されている。
例えば、特許文献１によれば、ポインティングデバイスの操作に応じたカーソル移動イベントの発生の時間間隔を計測して、イベントの発生が一定時間以上なかったときに、現在のカーソルの位置座標に基づいて移動方向を抽出し、この抽出した移動方向に基づいて、リモコン操作による方向キーイベントに変換するする手法が公開されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−０１１２２２号公報（図１  段落００２２−００２５）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし特許文献１では、カーソル移動イベントが所定時間間隔以内に発生している状態、すなわちカーソルが停止せずに移動し続けている状態では、方向キーイベント変換することができない可能性があった。つまり、ポインティングデバイスを連続的に移動しながら、適宜、方向キーイベント変換を実行することができなかった。例えば、リモコンの上方向キーに相当する方向キーイベントを連続して複数回発生する場合には、ポインティングデバイスの移動と停止の操作を複数回繰り返して行う必要があり、操作が煩雑であった。
【０００９】
また、ポインティングデバイスの誤操作などにより、カーソルが不本意な方向に移動した後に停止したことが検出された場合には、この不本意な方向への方向キーイベント変換が実行されてしまうので、利用者が意図しない方向へキーイベント変換される可能性があった。
【００１０】
そこで、本発明は上述した課題を解決するために、利用者にとって利便性がよく、ポインティングデバイスの操作によってキーイベントの操作を実行することができるイベント変換装置およびイベント変換方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上述した課題を解決するため、ポインティングデバイスによる操作に応じて画面上のポインタを移動させるポインタ移動手段と、リモコンによる操作により制御されるコマンド形式の操作画面上の、前記ポインタ移動手段が移動させるポインタが指し示した軌跡情報を、ポインタが移動した時系列と関連づけて記憶する軌跡情報記憶手段と、前記軌跡情報記憶手段が記憶した前記軌跡情報に基づいて、リモコンの方向キーに対応するコマンドに変換して発生する情報変換手段と、前記情報変換手段が変換した前記コマンドに対応する操作を実行する操作実行手段と、を具備することを特徴とするものである。
【００１２】
また本発明は上述した課題を解決するため、ポインティングデバイスによる操作に応じて画面上のポインタを移動させるポインタ移動手段と、リモコンによる操作により制御されるコマンド形式の操作画面上の、前記移動させるポインタが指し示した軌跡情報を、ポインタが移動した時系列と関連づけて記憶し、前記記憶した前記軌跡情報に基づいて、リモコンの方向キーに対応するコマンドに変換して発生し、前記変換した前記コマンドに対応する操作を実行する、ことを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、利用者にとって利便性がよく、ポインティングデバイスの操作によってキーイベントの操作を実行することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るイベント発行装置であるパーソナルコンピュータの構成を示すブロック図。
【図２】本実施形態に係るパーソナルコンピュータが表示するデータ放送コンテンツの画面の一例を示す図。
【図３】本実施形態に係るフォーカス移動テーブルの一例を示す図。
【図４】リモコンによる操作を前提として記述されたデータ放送コンテンツを、ポインティングデバイスによって操作することを可能にするプログラムの構造を示す図。
【図５】本実施形態に係るデータ放送コンテンツをマウスによって操作する処理のフローチャート。
【図６】イベント変換処理の詳細なフローチャート。
【図７】ポインタ軌跡情報の実座標値と近似直線の座標値との差を視覚的に比較するためのグラフ。
【図８】近似直線式の傾きとキーイベント情報の方向の対応を示す図。
【図９】ボタン領域を特定して登録する処理の詳細なフローチャート。
【図１０】本実施形態に係るフォーカス移動テーブルの一例を示す図。
【図１１】図１０に示したフォーカス移動テーブルを利用したキーイベント発行処理のフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明における実施形態について図面を用いて説明する。
図１は、本発明の実施形態に係るイベント変換装置であるパーソナルコンピュータの構成を示すブロック図である。なお本実施形態ではイベント発行装置をパーソナルコンピュータに適用した例を示すが、本実施形態と同様の構成を備えたＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン受像機、携帯移動端末などであってもよい。
【００１６】
パーソナルコンピュータ１０は、ＣＰＵ２０、ノースブリッジ３０、主メモリ３１、グラフィックスコントローラ３２、表示器３３、サウスブリッジ４０、ＢＩＯＳ−ＲＯＭ４１、ハードディスクドライブ（Hard  Disk  Drive；以下ＨＤＤと称する）４２、光ディスクドライブ（Optical  Disk  Drive；以下ＯＤＤと称する）４３、コントローラ部４４、チューナ部４５、通信部４６、ＵＳＢ＿ＩＦ部４７、および操作部４８などで構成されている。
【００１７】
ＣＰＵ２０はパーソナルコンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ４２から主メモリ３１にロードされるオペレーティングシステム（Operating  System；以下ＯＳと称する）および各種アプリケーションプログラムを実行する。またＣＰＵ２０は、ＢＩＯＳ−ＲＯＭ４１に格納されたＢＩＯＳ（Basic  Input  Output  System；以下ＢＩＯＳと称する）プログラムも実行する。
【００１８】
ノースブリッジ３０は、ＣＰＵ２０とＦＳＢ（Front  Side  Bus；以下ＦＳＢと称する）などのバスを介して接続し、さらにサウスブリッジ４０と接続するブリッジデバイスである。またノースブリッジ３０は、ＡＧＰ（Accelerated  Graphics  Port；以下ＡＧＰと称する）バスなどを介してグラフィックスコントローラ３２との通信を実行し、さらに主メモリ３１とも接続される。
【００１９】
主メモリ３１は、ＨＤＤ４２からロードされ、ＣＰＵ２０によって実行されるＯＳおよび各種アプリケーションプログラムを記憶する。すなわち、ＣＰＵ２０のワークメモリである。
【００２０】
グラフィックスコントローラ３２は、パーソナルコンピュータ１０が備える表示器３３を制御する表示コントローラであり、ノースブリッジ３０から入力された映像信号のデータに所定の処理を施して表示器３３へ出力する。
【００２１】
表示器３３は、グラフィックスコントローラ３２を介して入力された映像信号を表示する表示モジュールであって、例えばＬＣＤ（Liquid  Crystal  Display；以下ＬＣＤと称する）などの薄型ディスプレイである。本実施形態では、デジタル放送におけるデータ放送のコンテンツなどといった、リモコンによる操作を前提とした映像信号に対してマウスによる操作を可能とした映像信号を表示する。なお表示器３３は、パーソナルコンピュータ１０の外部に備えられる形態であってもよい。
【００２２】
サウスブリッジ４０は各種Ｉ／Ｏデバイスを制御するブリッジデバイスである。サウスブリッジ４０には、PCI  Expressのような通信バスを介してチューナ部４５が接続される。またサウスブリッジ４０には、各種バスを介してＢＩＯＳ−ＲＯＭ４１やＨＤＤ４２、ＯＤＤ４３、コントローラ部４４、通信部４６、ＵＳＢ＿ＩＦ部４７と接続される。
【００２３】
ＢＩＯＳ−ＲＯＭ４１は、ＢＩＯＳプログラムを格納する。
ＨＤＤ４２は、主メモリ３１にロードするＯＳや各種アプリケーションプログラムなどを格納し、またＣＰＵ２０が各種プログラムを実行する際のワークメモリとしても使用される。本実施形態ではＨＤＤ４２は、マウスによる操作情報をキー操作によるイベント情報に変換する処理のプログラムを格納し、このプログラムを実行する際のワークメモリとしても使用される。
【００２４】
ＯＤＤ４３は、装着された光ディスクからのデータを読み取る。また、記録可能な光ディスクへのデータ記録を行う。
コントローラ部４４は、操作部４８を制御するためのキーボードコントローラやマウスコントローラなどが集積された１チップマイクロコンピュータである。本実施形態では、コントローラ部４４は、ポインティングデバイスであるマウスを制御する。
【００２５】
チューナ部４５は、アンテナＡＴによって受信されたデジタル放送波に対して、特定チャンネルの選局や復調復号処理を施して、映像音声データの他に字幕データが含まれるデータをサウスブリッジ４０に出力する。本実施形態では、地上デジタル放送波のデータ放送のデータに対して選局や復調復号処理を施して出力する。
【００２６】
通信部４６は、インターネットに接続された情報提供サイトや家庭内ネットワークなどに接続された外部装置と、ＬＡＮなどを介してデータのやりとりを行う。本実施形態では、インターネットから提供され、リモコンによって操作されることを前提として記述されたコンテンツのデータを取得する。
【００２７】
ＵＳＢ＿ＩＦ部４７は、接続されたＵＳＢデバイスＵＤと、ＵＳＢ規格に基づいて通信してデータのやりとりを行う。本実施形態に係るＵＳＢ＿ＩＦ部４７は、接続された地上デジタル放送受信機器や、マウスなどのポインティングデバイスとデータのやりとりを行う。
【００２８】
操作部４８は、キーボードやマウスといったポインティングデバイスであり、これ以降は、マウスを適用した実施形態を説明するが、タッチパッドやペンタブレットなども適用することが可能である。
【００２９】
このような構成によって、本実施形態に係るパーソナルコンピュータ１０は、データ放送コンテンツなどのリモコンによる操作を前提として記述された映像コンテンツに対して、ポインティングデバイスによる操作を可能とした画面を利用して、マウスなどのポインティングデバイスによる操作をリモコンによる操作に変換する処理を実行することが可能となる。
【００３０】
そこでまず図２を用いて、本実施形態に係るパーソナルコンピュータ１０が表示するデータ放送コンテンツの画面２１０を説明する。
図２は、本実施形態に係るパーソナルコンピュータ１０が表示するデータ放送コンテンツの画面の一例を示す図である。
データ放送コンテンツの画面２１０は、パーソナルコンピュータ１０の表示器３３が表示するグラフィック画面２００の一部の領域に表示され、ＣＰＵ２０によって実行されるアプリケーションプログラムが生成するグラフィック画像である。
【００３１】
データ放送コンテンツの画面２１０は、映像表示領域２１１、「天気予報」ボタン２１２、「ニュース」ボタン２１３、「番組案内」ボタン２１４、「お知らせ」ボタン２１５、「写真一覧」ボタン２１６、「ヘルプ」ボタン２１７、情報提示領域２１８、ポインタ２２０などを備える。
【００３２】
映像表示領域２１１は、チューナ部４５や通信部４６、ＵＳＢ＿ＩＦ部４７などを介して取得したデジタル放送の番組の映像を表示する領域である。
「天気予報」ボタン２１２や、「ニュース」ボタン２１３、「番組案内」ボタン２１４、「お知らせ」ボタン２１５、「写真一覧」ボタン２１６、「ヘルプ」ボタン２１７は、それぞれに対応する情報を提示するためのボタンでありフォーカスまたは選択可能に表示される。そして、フォーカスまたは選択されたボタンは、自身の周囲の枠線を太く表示する枠線の太さによる強調表示や、周囲の領域と異なる色で表示する色による強調表示などによってフォーカスまたは選択されている状態を示す。具体的には、図２に示すデータ放送コンテンツの画面２１０では、「天気予報」ボタン２１２が、枠線の太さによる強調表示でフォーカスまたは選択されている状態である。
【００３３】
情報提示領域２１８は、「天気予報」ボタン２１２〜「ヘルプ」ボタン２１７の中から選択されたボタンに対応する情報を提示する領域である。提示される情報は、チューナ部４５や通信部４６、ＵＳＢ＿ＩＦ部４７などを介して取得される。
【００３４】
ポインタ２２０は、コントローラ部４４や、ＵＳＢ＿ＩＦ部４７などを介して接続されたマウスなどのポインティングデバイスの操作に応じて自身の位置が移動し、特定の位置を指示する点指示部品である。具体的には、矢印の先端が指示する位置が特定される。なお本実施形態では、図２に示すデータ放送コンテンツの画面２１０上では、ポインタ２２０は、ポインティングデバイスの操作だけでなく、ポインティングデバイスによる操作をリモコンによる操作に変換するプログラムによっても自身の位置が移動する。
【００３５】
なお、図２に示すデータ放送コンテンツの画面２１０においては、「天気予報」ボタン２１２〜「ヘルプ」ボタン２１７は、リモコンによる操作で選択されるようにＢＭＬで記述されている。そして、リモコンの上下左右方向キーで操作する条件において、フォーカスまたは選択されるボタンの移動は、図３に示すフォーカス移動テーブルのように定義されている。
【００３６】
次に図３により、図２に示すデータ放送コンテンツの画面２１０上のボタンのフォーカス移動方向に関する定義を説明する。
具体的には、領域１である「天気予報」ボタン２１２が現在のフォーカス領域である状態では、フォーカスされるボタンは、上方向キーの押下により領域４である「お知らせ」ボタン２１５に移動する。また、下方向キーの押下では領域２である「ニュース」ボタン２１３に、左方向キーの押下では領域６である「ヘルプ」ボタン２１７に、そして、右方向キーの押下では領域５である「写真一覧」ボタン２１６に、それぞれ移動する。
【００３７】
また「天気予報」ボタン２１２以外の領域２〜６のボタン、すわわち、「ニュース」ボタン２１３、「番組案内」ボタン２１４、「お知らせ」ボタン２１５、「写真一覧」ボタン２１６、「ヘルプ」ボタン２１７それぞれが現在のフォーカス領域である状態でも、図３に示したテーブルのように上下左右方向キーの押下に応じて、それぞれに対応するボタンへとフォーカスが移動する。
【００３８】
ところが、本実施形態に係るパーソナルコンピュータ１０は、図１に示したブロック図のとおり、リモコンによる操作入力の情報を取得するブロックを備えないので、本実施形態においては、データ放送コンテンツの画面２１０上のボタンなどの操作は、コントローラ部４４やＵＳＢ＿ＩＦ部４７などに接続されたマウスによる操作をリモコンによる操作に変換することによって実行される。
【００３９】
次に図４を用いて、本実施形態に係るパーソナルコンピュータ１０によって実行される、リモコンによる操作を前提として記述されたデータ放送コンテンツに対して、ポインティングデバイスによる操作をリモコンによる操作に変換して、ポインティングデバイスによる操作を可能としたデータ放送コンテンツの画面を表示するプログラムの構造を説明する。
【００４０】
図４は、リモコンによる操作を前提として記述されたデータ放送コンテンツを、ポインティングデバイスによって操作することを可能にするプログラムの構造を示す図である。
【００４１】
このプログラムは、コンテンツ管理部４０１、ＵＩエンジン４０２、フレームバッファ管理部４０３、Ｉ／Ｏドライバ４１２、ポインタ移動部４１３、ポインタ移動方向判定部４１４、ポインタ座標管理部４１６、フレーム差分検出部４２１、フォース移動領域管理部４２２、キーイベント発生部４３１、インターバルタイマ４４１などで構成されている。さらに、主メモリ３１またはＨＤＤ４２は、メモリ４０４，４１５，４２３などを備えている。
【００４２】
インターバルタイマ４４１は、ＣＰＵ２０などに入力された所定周波数のクロック信号に基づいてタイマ計測し、フレーム差分検出部４２１や、ポインタ座標管理部４１６、ポインタ移動方向判定部４１４などに対して、所定周期で処理を実行するための割り込み信号を出力する。
【００４３】
コンテンツ管理部４０１は、チューナ部４５や、通信部４６、ＵＳＢ＿ＩＦ部４７などから取得されたデータ放送コンテンツのデータを解析し、このコンテンツの画面上のボタンなどのＧＵＩ部品の座標値や色の情報などを抽出してＵＩエンジン４０２へ出力する。
【００４４】
ＵＩエンジン４０２は、コンテンツ管理部４０１から入力されたＧＵＩ部品の座標値や色などの情報に基づいてレイアウトした画面を画像フレーム単位で表示するための表示画面情報をフレームバッファ管理部４０３へ出力する。また、ＵＩエンジン４０２は、ポインタ移動部４１３から入力されたポインタ２２０を表示するためのポインタ表示情報を表示画面情報に重畳する。
【００４５】
フレームバッファ管理部４０３は、ＵＩエンジン４０２から入力された表示画面情報をフレーム単位で管理してメモリ４０４に格納する。またメモリ４０４に格納された表示画面情報を所定のタイミングで読み出して表示器３３に出力する。
【００４６】
メモリ４０４は、表示画面情報を格納する、コンテンツ管理部４０１が取得したデータ放送コンテンツの画像を表示するためのフレームバッファである。またさらに、メモリ４０４は、複数の表示画面情報において異なる領域に関する情報を示す差分領域情報も格納する。なおメモリ４０４は、主メモリ３１またはＨＤＤ４２などに備えられる。
【００４７】
Ｉ／Ｏドライバ４１２は、コントローラ部４４やＵＳＢ＿ＩＦ部４７などに接続されたマウスなどのポインティングデバイス４１１を制御するためのプログラムであり、ポインティングデバイス４１１から入力された操作情報に応じて、ポインタ２２０の移動を制御するポインタ制御信号をポインタ移動部４１３へ出力する。
【００４８】
ポインタ移動部４１３は、Ｉ／Ｏドライバから入力されたポインタ制御情報に基づいて、ポインタ表示情報をＵＩエンジン４０２へ出力する。また、ポインタ移動方向判定部４１４から入力されたポインタ制御情報に基づくポインタ表示情報もＵＩエンジン４０２へ出力する。
【００４９】
ポインタ座標管理部４１６は、表示器３３に表示される画面の一部に表示されるポインタ２２０の移動軌跡を示すポインタ軌跡情報をインターバルタイマ４４１からの割り込み信号に基づいて所定時間毎に所定期間（時間）取得し、メモリ４１５に時系列で格納する。すなわちポインタ軌跡情報は、ポインタ２２０が指し示す点に関する点情報である、表示器３３の画像表示領域の座標値による、所定時間ごとの点軌跡情報である。
【００５０】
メモリ４１５は、ポインタ座標管理部４１６が取得する時系列のポインタ軌跡情報を格納する。なおメモリ４１５は、主メモリ３１またはＨＤＤ４２などに備えられる。
【００５１】
ポインタ移動方向判定部４１４は、メモリ４１５に格納されたポインタ軌跡情報をインターバルタイマ４４１からの割り込み信号に基づいて所定時間間隔で読み出して解析する。そして、この解析により判定したポインタの移動方向に基づいて、リモコンなどから発せられた情報に応じたキーイベント情報に変換してキーイベント発生部４３１へ出力する。キーイベント情報は、リモコンなどに備えられた方向キーや決定キーなどが押下されたとき、これらのキーの押下に応じて画面操作を行うための情報である。またさらに、ポインタ移動方向判定部４１４は、このキーイベント情報に応じたポインタ制御情報をポインタ移動部４１３へ出力する。なお、キーイベント情報およびポインタ制御情報は、フォーカス移動領域管理部４２２へも併せて出力される。
【００５２】
キーイベント発生部４３１は、リモコンなどに備えられたキーの押下に基づくキーイベント情報を、画面操作を実行する様々な機能ブロックへ出力する。またさらに、キーイベント発生部４３１は、ポインタ移動方向判定部４１４から入力されたキーイベント情報も同様に様々な機能ブロックへ出力する。
【００５３】
フレーム差分検出部４２１は、メモリ４０４に格納された表示画面情報の中の複数の表示画面情報の差分領域情報をメモリ４０４に格納する。
フォーカス移動領域管理部４２２は、ポインタ移動方向判定部４１４からキーイベント情報およびポインタ制御情報が入力されると、フレーム差分検出部４２１に対してメモリ４０４に格納された特定の画像に関する表示画像情報および差分領域情報の出力を要求する。そして、フレーム差分検出部４２１から入力された表示画像情報および差分領域情報に基づいて、画面上のボタンとして特定されるボタン領域情報を抽出してメモリ４２３に記憶する。
【００５４】
メモリ４２３は、フォーカス移動領域管理部４２２が抽出したボタン領域情報を格納する。なおメモリ４１５は、主メモリ３１またはＨＤＤ４２などに備えられる。
すなわち、以上説明したプログラムの構造によって、リモコンによる操作を前提として記述されたデータ放送コンテンツを、ポインティングデバイスであるマウスによって操作する処理が実行される。
【００５５】
次に、図５を用いて、リモコンによる操作を前提として記述されたデータ放送コンテンツを、マウスによって操作する処理の説明をする。
図５は、本実施形態に係るデータ放送コンテンツをマウスによって操作する処理のフローチャートである。
まず、ポインタ２２０が、表示器３３に表示された画面の一部の領域に表示された、データ放送コンテンツの画面上に移動して表示されると、ポインタ移動部４１３は画面上のポインタ２２０を非表示にする（Ｓ５０１）。
【００５６】
次に、ポインタ移動部４１３は、データ放送コンテンツの画面中央にポインタ２２０を移動し（Ｓ５０２）、インターバルタイマ４４１が、入力されたクロック信号に基づいてタイマ計測を開始する（Ｓ５０３）。さらに、ポインタ座標管理部４１６はメモリ４１５に格納されるポインタ軌跡情報をクリアし、フレーム差分検出部４２１はメモリ４０４に格納される差分領域情報をクリアする（Ｓ５０４）。
【００５７】
そして、インターバルタイマ４４１からの割り込み信号に基づいて所定時間が経過したか判断して（Ｓ５０５）、経過していない場合（Ｓ５０５のＮ）は、ポインタ座標管理部４１６が、現在のポインタ座標値と現在の時間情報とを取得してポインタ軌跡情報をメモリ４１５に保存する（Ｓ５０６）。そしてポインタ制御モードが変更されたか判断して（Ｓ５０７）、変更された場合（Ｓ５０７のＹ）、ポインタ制御モードを通常モードに設定して（Ｓ５０８）処理を終了する。
【００５８】
なお、ポインタ制御モードは、通常モードと変換モードの少なくとも２つのモードが定義される。通常モードはマウスによる操作のみに応じてポインタ２２０が連動して移動するモードであり、すなわち一般的なポインタ制御のモードである。変換モードは、マウス操作をリモコン操作などのキーイベントに変換するモードであり、本実施形態におけるデータ放送コンテンツの画面上にポインタ２２０が移動したときには、自動的に変換モードに切り替わる。
【００５９】
一方、ポインタ制御モードが変更されない場合（Ｓ５０７のＮ）、フレーム差分検出部４２１は、メモリ４０４に保存された、現在および一つ前の画像フレームの表示画像情報を取得して、この取得した２つの画像フレームの差分領域情報を検出して特定し、差分領域情報ΔＦＢ１としてメモリ４０４に格納する（Ｓ５０９）。そして再び、所定時間が経過したか判断する処理（Ｓ５０５）が実行されるので、所定時間が経過していな場合で且つ、ポインタ制御モードが変更されない場合には、ポインタ軌跡情報を保存する処理（Ｓ５０６）と差分領域情報を格納する処理（Ｓ５０９）とが繰り返し実行される。
【００６０】
なお、インターバルタイマ４４１からの割り込み信号に基づいて所定時間が経過したか判断して（Ｓ５０５）、経過した場合（Ｓ５０５のＹ）、ポインタ移動方向判定部４１４は、ポインタ軌跡情報に基づいてキーイベント情報に変換して（Ｓ５１０）、キーイベント発生部４３１へキーイベント情報を出力する。そして、キーイベント発生部４３１が、ポインタ移動方向判定部４１４から入力されたキーイベント情報を発行し（Ｓ５１１）、画面上のボタンのフォーカスが移動する。さらに、フォーカス移動領域管理部４２２は、フレーム差分検出部４２１が検出した画像フレームの表示画像情報および差分領域情報に基づいて、画面上のボタン領域として特定されるボタン領域情報を抽出してメモリ４２３に登録する（Ｓ５１２）。そして再び、画面中央にポインタ２２０を移動する処理（Ｓ５０２）に移行し、以上説明した複数の処理が実行される。
【００６１】
すなわち、以上説明したフローチャートに従って、データ放送コンテンツの画面上のポインタを利用して、マウス操作による操作がキーイベント操作に変換される。
次に、図６を用いて、ポインタ移動方向判定部４１４によって実行される、ポインタ軌跡情報に基づいてキーイベント情報に変換するイベント変換処理を詳細に説明する。
【００６２】
図６は、イベント変換処理の詳細なフローチャートである。
まず、ポインタ移動方向判定部４１４は、メモリ４１５に格納された時系列のポインタ軌跡情報を取得する（Ｓ６０１）。なお、ポインタ軌跡情報は、所定時間間隔のタイムスタンプといった時間情報ごとの、表示器３３に表示されるグラフィック画面におけるｘ座標値とｙ座標値からなる２次元の座標情報である。そして、ポインタ移動方向判定部４１４は、ｘ座標値とｙ座標値との関係と、時間情報とｘ座標値との関係、時間情報とｙ座標値との関係、の３つの関係それぞれに関して最小二乗法などにより近似直線式を算出する（Ｓ６０２）。
【００６３】
さらに、メモリ４１５から取得したポインタ軌跡情報の座標値と、これらの座標値から算出したそれぞれの近似直線式上の座標値に関して、特定のｘ座標値に対するｙ座標値の差が所定値よりも小さいかを判定する（Ｓ６０３）。
【００６４】
そして、差が小さくない（大きい）と判定した場合（Ｓ６０３のＮ）、処理は終了する。しかし、差が小さいと判定した場合（Ｓ６０３のＹ）、近似直線式の傾き値に応じてキーイベント情報に変換する（Ｓ６０４）。
【００６５】
すなわち、イベント変換処理は、取得したポインタ軌跡情報に基づいて近似直線式を算出し、これらポインタ軌跡情報と近似直線式との差に応じてキーイベントに変換する処理である。
【００６６】
次に具体的に、図７を用いて、ポインタ軌跡情報である時間情報と座標情報とから導かれる関係と、これらの関係の近似直線とをグラフ化した概念図を説明する。
図７は、ポインタ軌跡情報の実座標値と近似直線の座標値との差を視覚的に比較するためのグラフである。
グラフ（Ａａ）、（Ａｂ）、（Ａｃ）は、任意のポインタ軌跡情報Ａに基づくグラフであり、グラフ（Ｂａ）、（Ｂｂ）、（Ｂｃ）は、任意のポインタ軌跡情報Ｂに基づくグラフである。
【００６７】
なおグラフ（Ａａ）は、任意のポインタ軌跡情報Ａのｘ座標値とｙ座標値との関係と、これらの座標値から算出される近似直線式とを一括表示したグラフである。また、グラフ（Ａｂ）は、ポインタ軌跡情報Ａの時間情報とｘ座標値との関係と、これらの座標値から算出される近似直線式とを一括表示したグラフであり、グラフ（Ａｃ）は、ポインタ軌跡情報Ａの時間情報とｙ座標値との関係と、これらの座標値から算出される近似直線式とを一括表示したグラフである。
【００６８】
また、グラフ（Ｂａ）、（Ｂｂ）、（Ｂｃ）は、ポインタ軌跡情報Ａとは異なる任意のポインタ軌跡情報Ｂに基づいて、グラフ（Ａａ）、（Ａｂ）、（Ａｃ）それぞれと同様の内容を表示したフラグである。
【００６９】
そして、グラフ（Ａａ）、（Ａｂ）、（Ａｃ）、およびグラフ（Ｂｂ）は、座標値のグラフと近似直線式のグラフとで、特定のｘ座標値に対するｙ座標値の差はほとんどない（所定値よりも小さい）と判断される。一方、グラフ（Ｂａ）、（Ｂｃ）は、座標値のグラフと近似直線式のグラフとで、特定のｘ座標値に対するｙ座標値の差は大きい（所定値以上である）と判断される。
【００７０】
すなわち、ポインタ移動方向判定部４１４は、ポインタ軌跡情報Ａを取得したときには、実際のデータと近似直線式との差がないと判断してマウス操作に係る情報をキーイベントに変換せず、ポインタ軌跡情報Ｂを取得したときには、実際のデータと近似直線式との差があると判断してマウス操作に係る情報をキーイベントに変換する。
【００７１】
次に、図８を用いて、近似直線式の傾きに応じてキーイベント情報に変換する処理における判定基準について説明する。
図８は、近似直線式の傾きとキーイベント情報の方向の対応を示す図である。
なお、図８に示すｘ−ｙ座標からなる判定基準グラフには、ポインタ軌跡情報のｘ座標値とｙ座標値とがプロットされるものであり、図７に示したグラフ（Ａａ）、（Ｂａ）と同じ座標系である。
【００７２】
そして、この判定基準グラフの領域は、上方向キーのキーイベントに変換される領域である上方向領域８０１と、左方向キーのキーイベントに変換される領域である左方向領域８０２と、下方向キーのキーイベントに変換される領域である下方向領域８０３と、右方向キーのキーイベントに変換される領域である上方向領域８０４とに区分けされる。なお、これら４つの領域は、ｙ＝ｘの関係式とｙ＝−ｘの関係式との２つの直線を境界線とする。
【００７３】
具体的には、ポインタ軌跡情報のｘ座標値とｙ座標値とから算出される近似直線式が上方向領域８０１に存在する場合には、このポインタ軌跡情報は、上方向キーのキーイベントに変換される。
【００７４】
すなわち、ポインタ軌跡情報は、このポインタ軌跡情報に基づいて算出される近似直線式の傾きに応じて、所定のキーイベントに変換される。
次に、図９を用いて、フォーカス移動領域管理部４２２によって実行される、ボタン領域を特定して登録する処理を詳細に説明する。
図９は、ボタン領域を特定して登録する処理の詳細なフローチャートである。
まず、イベント変換処理によって変換されたキーイベント情報が発行されると、フレーム差分検出部４２１は、メモリ４０４に保存された、現在および一つ前の画像フレームの表示画像情報を取得して、この取得した２つの画像フレームのフレーム差分領域情報を検出して特定し、差分領域情報ΔＦＢ２としてメモリ４０４に格納する（Ｓ９０１）。さらに、フレーム差分検出部４２１は、メモリ４０４に格納された差分領域情報ΔＦＢ１と差分領域情報ΔＦＢ２とを読み出して、差分領域情報ΔＦＢ１と差分領域情報ΔＦＢ２との差分領域を特定して抽出する（Ｓ９０２）。そして、フォーカス移動領域管理部４２２は、フレーム差分検出部４２１が抽出した差分領域をボタン領域として特定して、ボタン領域情報としてメモリ４０４に登録する（Ｓ９０３）。
【００７５】
なお、ボタン領域情報の登録は、図３に示したフォーカス移動テーブルの形態で登録され、且つ、対応するデータ放送コンテンツに関連付けて登録される。また、それぞれのボタン領域の画面上の座標値情報も併せて登録される。
【００７６】
（応用例）
次に、ポインタ軌跡情報に基づく近似直線式により特定される方向とキーイベントによる移動方向とが逆のボタン領域情報を削除して登録されるフォーカス移動テーブルの例を説明する。
【００７７】
一般にデータ放送コンテンツのボタン移動は、操作キーの押下回数を少なくなるように、特定方向のキー操作によって特定のボタン間を循環して移動するように定義されている場合が少なくない。具体的には、図３に示したフォーカス移動テーブルにおいて、領域１である「天気予報」ボタンが現在のフォーカス領域である状態で、ポインタ２２０が上方向に移動して上方向のキーイベントに変換されると、画面上では領域１よりも下方に位置する領域４である「お知らせ」ボタンへとフォーカスが移動する。
【００７８】
しかし、操作方向と画面上のボタン移動方向が逆方向であるという矛盾を避けるためには、図１０に示すフォーカス移動テーブルを利用することが有効である。具体的には、領域１である「天気予報」ボタンが現在のフォーカス領域である状態では、画面上の領域１は複数のボタンの中で最も上部に位置しているので、ポインタ移動方向に基づいて上方向のキーイベントに変換されたときの移動領域は定義されない。
【００７９】
すなわち、図１０に示したフォーカス移動テーブルを利用して、イベント変換処理によって変換されたキーイベントを発行するか否かを決定することができる。
次に、図１１を用いて、図１０に示したフォーカス移動テーブルを利用してキーイベントを発行する処理を説明する。
図１１は、図１０に示したフォーカス移動テーブルを利用したキーイベント発行処理のフローチャートである。
まずは、ポインタ移動方向判定部４１４によってポインタ軌跡情報に基づくイベント変換処理が実行される（Ｓ１１０１）と、フォーカス移動領域管理部４２２は、現在のフォーカス領域から特定されるボタンに関するボタン領域情報と、操作されているコンテンツに関連付けられたフォーカス移動テーブルを取得する（Ｓ１１０２）。これらの情報が取得されない場合（Ｓ１１０３のＮ）は処理が終了し、情報が取得された場合（Ｓ１１０３のＹ）は、取得したボタン領域情報とフォーカス移動テーブルとを照合する（Ｓ１１０４）。
【００８０】
そして照合の結果、イベント変換処理で変換されたキーイベントによって、現在のフォーカス領域に対するフォーカス移動方向が定義されていない場合（Ｓ１１０５のＮ）は、処理が終了し、定義されている場合（Ｓ１１０５のＹ）は、フォーカス移動テーブルと併せて登録された座標値情報に基づいて、現在のフォーカス領域から移動先のフォーカス領域への移動距離を算出する（Ｓ１１０６）。さらに、算出した移動距離と、ポインタ軌跡情報から算出されるポインタ２２０が画面上で移動した距離とを比較して、これらの距離の差が所定値以内でない場合（Ｓ１１０７のＮ）は、処理が終了する。一方、これらの距離の差が、所定値以内である場合（Ｓ１１０７のＹ）は、イベント変換処理で変換されたキーイベントに基づいて所定の方向へ移動するキーイベントを発行する（Ｓ１１０８）。
【００８１】
すなわち、図１０に示したフォーカス移動テーブルを利用することで、操作方向と画面上のボタン移動方向が逆方向であるという矛盾を避けることが可能となる。
なお、これまでの実施形態は、ＢＭＬで記述されたデジタル放送のデータ放送コンテンツの操作に関して説明したが、本発明の適用範囲はＢＭＬまたはデジタル放送のデータ放送コンテンツに限定されるものではなく、例えば、光ディスク再生プログラムのＭＥＮＵ画面または操作画面などのリモコンを利用して操作されるグラフィック画面を、マウスなどのポインティングデバイスを利用して操作する場合にも適用できる。
【００８２】
また、上下左右方向キーに相当するイベントを画面上のポインタの移動に基づいて発行する例を提示したが、例えば、マウスに備えられたホイールボタンを組み合わせる形態も容易に考えられる。
【００８３】
さらに、コンテンツ画面上に明示的に表示されていない、例えば、「戻り」「決定」「再生」「停止」などのリモコンに備えられたボタンを、マウスに備えられた右クリックボタンを利用して現在フォーカスされている領域付近にポップアップ表示して選択可能とする形態であってもよい。
【００８４】
以上説明したように本実施形態によれば、マウスなどのポインティングデバイスによる操作に応じた画面上のポインタの移動軌跡に関する情報を記憶し、この記憶した情報を分析して方向キーに相当するキーイベントに変換するので、利用者にとって利便性がよく、ポインティングデバイスの操作によってキーイベントの操作を実行することができる。
【００８５】
また本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【００８６】
１０…パーソナルコンピュータ、２０…ＣＰＵ、３０…ノースブリッジ、３１…主メモリ、３２…グラフィックスコントローラ、３３…表示器、４０…サウスブリッジ、４１…ＢＩＯＳ−ＲＯＭ、４２…ＨＤＤ、４３…ＯＤＤ、４４…コントローラ部、４５…チューナ部、４６…通信部、４７…ＵＳＢ＿ＩＦ部、４８…操作部、２１０…データ放送コンテンツの画面、２１１…映像表示領域、２１２…「天気予報」ボタン、２１３…「ニュース」ボタン、２１４…「番組案内」ボタン、２１５…「お知らせ」ボタン、２１６…「写真一覧」ボタン、２１７…「ヘルプ」ボタン、２１８…情報提示領域、２２０…ポインタ、４０１…コンテンツ管理部、４０２…ＵＩエンジン、４０３…フレームバッファ管理部、４１２…Ｉ／Ｏドライバ、４１３…ポインタ移動部、４１４…ポインタ移動方向判定部、４１６…ポインタ座標管理部、４２１…フレーム差分検出部、４２２…フォース移動領域管理部、４３１…キーイベント発生部、４４１…インターバルタイマ、４０４，４１５，４２３…メモリ。
【図１】
2010287169.tif 000003
【図２】
2010287169.tif 000004
【図３】
2010287169.tif 000005
【図４】
2010287169.tif 000006
【図５】
2010287169.tif 000007
【図６】
2010287169.tif 000008
【図７】
2010287169.tif 000009
【図８】
2010287169.tif 000010
【図９】
2010287169.tif 000011
【図１０】
2010287169.tif 000012
【図１１】
2010287169.tif 000013