(57)【要約】【課題】画像表示位置や拡大率の変更、キーストーン補正の変更などを行った場合に、ポインティングデバイスのキャリブレーションを自動的に行い、ユーザーによる再調整を不要とする。【解決手段】画像出力装置が出力する画像を画面上に表示する表示装置において、前記画面上を指示された位置を検出する指示位置検出手段、前記指示位置検出手段が検出した指示位置を、前記画像上の座標に変換する関数を実行し、変換結果を前記画像出力装置に対して出力する制御手段を備え、前記演算手段は、前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行う。【選択図】        図１
2004272433.tif 000002
【特許請求の範囲】
【請求項１】
画像出力装置が出力する画像を画面上に表示する表示装置において、
前記画面上を指示された位置を検出する指示位置検出手段、
前記指示位置検出手段が検出した指示位置を、前記画像上の座標に変換する関数を実行し、変換結果を前記画像出力装置に対して出力する制御手段を備え、
前記制御手段は、前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする表示装置。
【請求項２】
前記表示状態の変更は、前記画像の平行移動、拡大率変更、キーストーン補正率変更のうち一つ以上を含むことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄを係数とすると、前記関数は、
ＸＣ＝ａＸＰ＋ｂ
ＹＣ＝ｃＹＰ＋ｄ
で表され、前記制御手段は、前記画像の表示状態の変更が行われたときに、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする請求項１または請求項２に記載の表示装置。
【請求項４】
前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊを係数とすると、前記関数は、
ＸＣ＝（ａＸＰ＋ｂ）／（ｃＹＰ＋ｄ）＋ｅ
ＹＣ＝（ｆＹＰ＋ｇ）／（ｈＸＰ＋ｉ）＋ｊ
で表され、前記制御手段は、前記画像の表示状態の変更が行われたときに、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする請求項１または請求項２に記載の表示装置。
【請求項５】
前記変換結果が、前記画像上の有効な座標範囲から外れる場合には、前記制御手段は前記変換結果を前記画像出力装置に対して出力しないことを特徴とする請求項１乃至請求項４のいずれかに記載の表示装置。
【請求項６】
画像出力装置が出力する画像を表示する表示装置の画面上を指示された位置を検出するステップ、
検出した指示位置を、前記画像上の座標に変換する関数を実行するステップ、
変換結果を前記画像出力装置に対して出力するステップからなり、
前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする座標入力補正方法。
【請求項７】
前記表示状態の変更は、前記画像の平行移動、拡大率変更、キーストーン補正率変更のうち一つ以上を含むことを特徴とする請求項６に記載の座標入力補正方法。
【請求項８】
前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄを係数とすると、前記関数は、
ＸＣ＝ａＸＰ＋ｂ
ＹＣ＝ｃＹＰ＋ｄ
で表され、前記画像の表示状態の変更が行われたとき、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする請求項６または請求項７に記載の座標入力補正方法。
【請求項９】
前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊを係数とすると、前記関数は、
ＸＣ＝（ａＸＰ＋ｂ）／（ｃＹＰ＋ｄ）＋ｅ
ＹＣ＝（ｆＹＰ＋ｇ）／（ｈＸＰ＋ｉ）＋ｊ
で表され、前記画像の表示状態の変更が行われたとき、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする請求項６または請求項７に記載の座標入力補正方法。
【請求項１０】
前記変換結果が、前記画像上の有効な座標範囲から外れる場合には、前記変換結果を前記画像出力装置に対して出力しないことを特徴とする請求項６乃至請求項９のいずれかに記載の座標入力補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された画像の表示を行う表示装置に関し、特に、デジタイザなどによる座標入力を行う表示装置および方法に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピュータの普及が進んでいる。コンピュータ画像を表示する装置としては、ＣＲＴディスプレイ、液晶ディスプレイなどが一般に使用されている。さらに、コンピュータを大画面のプラズマディスプレイ、リアプロジェクションディスプレイ、プロジェクタなどの表示装置に接続して、多人数の会議やプレゼンテーションなどに使用するようなことも行われている。
【０００３】
また、コンピュータに対する入力手段としては、文字入力のためのキーボードおよびポインティングのためのマウスが一般的に普及している。
【０００４】
最近ではマウス以外のポインティング手段として、例えばペン型をしたポインティングデバイスを用いて、表示装置の表示画面上を直接指し示すようにしたシステムが開発されている。
【０００５】
このようなポインティングシステムの例としては、表示装置の画面内部にセンサーを備えてペンなどが触れたときの圧力を検出する方式、磁界を発生するペンを使用してその磁界を表示装置画面内部のセンサーにより検出する電磁誘導方式、超音波発信子と超音波センサーを表示装置画面の枠部分などに配置して画面上の物体の位置を検出する超音波表面弾性波方式、赤外線を発信するペンを使用してその赤外線を表示装置内部のセンサーにより受信する赤外線方式などが発明されており、このうちいくつかはすでに実用化されている。
【０００６】
次に、表示装置に装備されたポインティングシステムを使用して、表示装置に接続されたコンピュータに対してポインティング情報を受け渡すシステムについて構成と動作を説明する。
【０００７】
コンピュータ上ではウィンドウシステムが動作しており、コンピュータが生成する画像上には、例えばワープロや表計算などのアプリケーションを実行する複数のウィンドウや、アプリケーション起動のためのアイコンが生成される。さらにコンピュータ画像上のポインティング位置を示すカーソルと呼ばれる画像が生成されており、カーソルによりウィンドウやアイコンの選択や移動などの操作を行うようになっている。
【０００８】
まず、あらかじめ表示装置とコンピュータの間は、ポインティング情報のやりとりを行うためのインタフェースにより接続しておく。インタフェースの種類としては一般的にはマウス接続に使用されるシリアルインタフェース、ＰＳ／２インタフェースあるいはＵＳＢインタフェースが使用されることが多い。
【０００９】
またコンピュータ側には、ケーブルから入力されたポインティング情報を処理してカーソルの移動などに反映させるためのドライバソフトウェアおよび、キャリブレーション用のソフトウェアをインストールしておく。
【００１０】
ポインティングシステムの使用前に、ポインティングデバイスが表示装置の画面上で指し示した位置と、コンピュータ画像上のカーソル位置とをずれの無いように合わせる必要がある。この位置合わせ作業はキャリブレーションと呼ばれ、ポインティングデバイスを使用する前に行うことが必要である。キャリブレーションの方法は、例えば、特許文献１に開示されており、一般的に以下の手順で行う。
【００１１】
まず初めにコンピュータ画像を表示装置画面に表示させて、表示位置、表示サイズなどの調整を行う。フロントプロジェクタの場合にはさらに、装置とスクリーンの位置関係により発生する台形歪みを補正するキーストーン補正などを行う場合もある。各調整で表示状態を適切にした後、キャリブレーションソフトウェアを起動すると、画面上にキャリブレーション用の画像が表示される。ユーザーはポインティングデバイスによりその画像中の定められた位置をポインティングする。ポインティング位置の情報は表示装置に備えられたセンサーにより検出され、表示装置内部のマイクロコントローラに取り込まれる。マイクロコントローラは、センサーから受け取ったポインティング位置情報と、それに対応するコンピュータ画像上の論理座標から、センサーから取り込むポインティング位置情報をコンピュータ画像上の座標に変換するための補正データを算出する。以上の手順でキャリブレーションを終了する。
【００１２】
いったんキャリブレーションを行った後は、ポインティングデバイスから入力された座標情報は、マイクロコントローラにより補正データを用いて補正演算が行われてコンピュータ画像上の適切な論理座標に変換されたのち、コンピュータに送信される。
【００１３】
以上のような動作により、表示装置画面上のポインティング位置とコンピュータ画像上のカーソル位置とが一致することになる。
【００１４】
【特許文献１】
特開２００１−１２５７３６号公報
【００１５】
【発明が解決しようとする課題】
キャリブレーションを実行した後、システム使用中に何らかの理由で画像表示状態を変更する場合がある。
【００１６】
例えば、画像の一部が画面内に表示されていなかったときなどには、画像の上下左右位置を再調整することが考えられる。
【００１７】
また最近では、画像表示の状態を変更するような機能を持つ製品が増えてきている。
【００１８】
例えば、表示装置が持つ解像度と比べて入力された画像の解像度が小さい場合に、入力された画像を拡大して画面全体に表示するか、入力画像の各画素を表示装置の画素と１対１に対応させて画面中央部分に表示するかを切り換える機能や、入力画像の一部を拡大表示する機能、２系統の入力画像を画面上の左右に分けて同時表示を行ういわゆる２画面表示や片方を小さく表示する子画面表示機能を持つものなどがある。
【００１９】
さらに、フロント型プロジェクタの場合には、プロジェクタあるいはスクリーンの位置を変更したとき、キーストーン補正をやり直すことが考えられる。
【００２０】
キャリブレーションを実行した後のシステム使用中に、前述したような画像表示位置や拡大率の変更、キーストーン補正の変更などを行った場合には、ポインティングデバイスが表示装置画面上で指し示した位置と、コンピュータ画像上の論理座標の対応が変化してしまうため、キャリブレーションを再びやりなおす必要があった。
【００２１】
本発明は、以上の点に着目して成されたもので、画像表示位置や拡大率の変更、キーストーン補正の変更などを行った場合に、ポインティングデバイスのキャリブレーションを自動的に行い、ユーザーによる再調整を不要とする表示装置および座標入力補正方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記の課題を解決するため、請求項１記載の発明によれば、
画像出力装置が出力する画像を画面上に表示する表示装置において、
前記画面上を指示された位置を検出する指示位置検出手段、
前記指示位置検出手段が検出した指示位置を、前記画像上の座標に変換する関数を実行し、変換結果を前記画像出力装置に対して出力する制御手段を備え、
前記演算手段は、前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする。
【００２３】
また請求項６記載の発明によれば、
画像出力装置が出力する画像を表示する表示装置の画面上を指示された位置を検出するステップ、
検出した指示位置を、前記画像上の座標に変換する関数を実行するステップ、
変換結果を前記画像出力装置に対して出力するステップからなり、
前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする。
【００２４】
なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。
【００２５】
（１）画像出力装置が出力する画像を画面上に表示する表示装置において、前記画面上を指示された位置を検出する指示位置検出手段、前記指示位置検出手段が検出した指示位置を、前記画像上の座標に変換する関数を実行し、変換結果を前記画像出力装置に対して出力する制御手段を備え、前記制御手段は、前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする表示装置。
【００２６】
（２）前記表示状態の変更は、前記画像の平行移動、拡大率変更、キーストーン補正率変更のうち一つ以上を含むことを特徴とする前記（１）に記載の表示装置。
【００２７】
（３）前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄを係数とすると、前記関数は、
ＸＣ＝ａＸＰ＋ｂ
ＹＣ＝ｃＹＰ＋ｄ
で表され、前記制御手段は、前記画像の表示状態の変更が行われたときに、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする前記（１）または（２）に記載の表示装置。
【００２８】
（４）前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊを係数とすると、前記関数は、
ＸＣ＝（ａＸＰ＋ｂ）／（ｃＹＰ＋ｄ）＋ｅ
ＹＣ＝（ｆＹＰ＋ｇ）／（ｈＸＰ＋ｉ）＋ｊ
で表され、前記制御手段は、前記画像の表示状態の変更が行われたときに、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする前記（１）または（２）に記載の表示装置。
【００２９】
（５）前記変換結果が、前記画像上の有効な座標範囲から外れる場合には、前記制御手段は前記変換結果を前記画像出力装置に対して出力しないことを特徴とする前記（１）乃至（４）のいずれかに記載の表示装置。
【００３０】
（６）画像出力装置が出力する画像を表示する表示装置の画面上を指示された位置を検出するステップ、検出した指示位置を、前記画像上の座標に変換する関数を実行するステップ、変換結果を前記画像出力装置に対して出力するステップからなり、前記画面上における前記画像の表示状態の変更が行われたときに、前記関数の変更を行うことを特徴とする座標入力補正方法。
【００３１】
（７）前記表示状態の変更は、前記画像の平行移動、拡大率変更、キーストーン補正率変更のうち一つ以上を含むことを特徴とする前記（６）に記載の座標入力補正方法。
【００３２】
（８）前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄを係数とすると、前記関数は、
ＸＣ＝ａＸＰ＋ｂ
ＹＣ＝ｃＹＰ＋ｄ
で表され、前記画像の表示状態の変更が行われたとき、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする前記（６）または（７）に記載の座標入力補正方法。
【００３３】
（９）前記指示位置を（ＸＰ、ＹＰ）、前記画像上の座標を（ＸＣ、ＹＣ）、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊを係数とすると、前記関数は、
ＸＣ＝（ａＸＰ＋ｂ）／（ｃＹＰ＋ｄ）＋ｅ
ＹＣ＝（ｆＹＰ＋ｇ）／（ｈＸＰ＋ｉ）＋ｊ
で表され、前記画像の表示状態の変更が行われたとき、前記係数のうち一つ以上の変更を行うことにより前記関数を変更することを特徴とする前記（６）または（７）に記載の座標入力補正方法。
【００３４】
（１０）前記変換結果が、前記画像上の有効な座標範囲から外れる場合には、前記変換結果を前記画像出力装置に対して出力しないことを特徴とする前記（６）乃至（１０）のいずれかに記載の座標入力補正方法。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００３６】
［第１の実施の形態］
図１は、本発明の第１の実施の形態の構成を表す図である。
【００３７】
リアプロジェクション型ディスプレイ１０１は、例えばコンピュータやセットトップボックス、ＤＶＤプレイヤーなどの画像出力装置の画像を画面上に表示する装置である。画面上の画素数として横方向に１０２４画素、縦方向に７６８画素を持つものとする。
【００３８】
ディスプレイ１０１は、パーソナルコンピュータ１０３と画像信号ケーブル１０５、音声信号ケーブル１０６、シリアルケーブル１０７により接続されており、パーソナルコンピュータ１０３が出力する画像を画面上に表示している。パーソナルコンピュータ１０３は、例えばプレゼンテーションやワープロなどをはじめとした様々なアプリケーションを内蔵しており、パーソナルコンピュータ１０３が生成する画像上には各アプリケーションのウィンドウや、アプリケーション起動のためのアイコンなどが表示される。また、ユーザーによるウィンドウ制御、アイコン選択／実行や、あるいは画像上への書き込みなどを行うために、コンピュータ１０３の画像上にはポインティング位置を示すカーソル１０４が表示される。
【００３９】
ディスプレイ１０１の内部構成の一部を表す図２を用いてポインティングシステムの動作を説明する。画像信号ケーブル１０５、音声信号ケーブル１０６はそれぞれ画像コネクタ２０４、音声コネクタ２１１に接続される。入力された画像および音声は画像／音声処理部２０５に入力され、それぞれ画質や音質の調整が行われたのち、画像はディスプレイ１０１画面上に表示され、また音声はディスプレイ１０１内部のスピーカから出力される。
【００４０】
次に、１０２はペンの形をしたポインティングデバイスであり、ポインティングデバイス１０２により画面上のポインティングを行うと、ポインティングデバイス１０２の先端部から赤外線が発信され、その信号はディスプレイ１０１内部に配置されたデジタイザ受信処理部２０２により受信される。デジタイザ受信処理部２０２は、赤外線信号の受信と、受信信号からポインティング位置データへの変換と、ポインティング位置データのマイクロコントローラ２０１への送信を行う。このときポインティング位置データは、画面上の左上端の画素をポインティングされたときに（０、０）、右上端のときは（１０２３、０）、右下端のときは（１０２３、７６７）と算出されるように、ディスプレイの製造時にデジタイザ受信処理部２０２の調整があらかじめ行われている。
【００４１】
本実施の形態においては、デジタイザ受信処理部２０２においてディスプレイ画面の画素数とポインティング位置データとが１対１に対応するように調整しているが、デジタイザ受信処理部２０２で生成するデータが１対１でない場合には、マイクロコントローラ２０１がデータを受信したのちに１対１への変換を行うようにしてももちろん良い。
【００４２】
デジタイザ受信処理部２０２が生成したポインティング位置データはバス２０６を介してマイクロコントローラ２０１に取り込まれる。マイクロコントローラ２０１では、ポインティング位置データをコンピュータ１０３の画像上のコンピュータ座標データに変換する。シリアルコネクタ２０３にはシリアルケーブル１０７が接続され、コンピュータ座標データはコンピュータ１０３へ送信される。
【００４３】
コンピュータ１０３にはあらかじめポインティングデバイス１０２に対応するためのドライバソフトウェアがインストールされており、コンピュータ１０３はシリアルケーブル１０７から入力されたコンピュータ座標データをカーソル１０４の移動やクリックなどの操作に反映させる。
【００４４】
以上に説明した構成および動作により、ポインティングデバイス１０２の入力をコンピュータ１０３の画像上のカーソル１０４の操作に反映させるポインティングシステムが実現されるが、システムを使用する場合、初めにポインティングデバイス１０２が指し示す画面上の位置と、コンピュータ１０３の画像上のカーソル１０４との位置を一致させるためのキャリブレーションを行う必要がある。
【００４５】
コンピュータ１０３にあらかじめインストールされているキャリブレーションソフトウェアを起動すると、コンピュータ１０３の画像上に図３に示すようなキャリブレーション用画像が生成され、ディスプレイ画面上に表示される。この状態でユーザーはポインティングデバイス１０２により画面の左上部分と右下部分に表示された十字の中央部をポインティングする。
【００４６】
十字中央部のコンピュータ座標データをそれぞれ（ＸＣ１、ＹＣ１）、（ＸＣ２、ＹＣ２）とする。（ＸＣ１、ＹＣ１）、（ＸＣ２、ＹＣ２）はキャリブレーション用画像中の座標であるから、マイクロコントローラ２０１はその値をプログラム中にあらかじめ保存している。ここでは、コンピュータ座標データが、コンピュータ画像の左上端で（０、０）、右下端で（６５５３５、６５５３５）までの値を取るものとし、ＸＣ１＝ＹＣ１＝６５５４、ＸＣ２＝ＹＣ２＝５８９８２となっているものとする。
【００４７】
またマイクロコントローラ２０１は、ユーザーがキャリブレーション画像上でポインティングを行ったとき、デジタイザ受信処理部２０２から画像上の（ＸＣ１、ＹＣ１）、（ＸＣ２、ＹＣ２）に対応するポインティング位置データ（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）を受信し、これをキャリブレーション位置のデータとして保存する。ここでは一例として、ＸＰ１＝１０２、ＹＰ１＝７７、ＸＰ２＝９２１、ＹＰ２＝６９０であったものとする。
【００４８】
いったんキャリブレーション位置データ（ＸＰ１、ＹＰ１）、（ＸＰ２、ＹＰ２）が得られれば、その後は任意のポインティング位置データ（ＸＰ、ＹＰ）から、対応するコンピュータ座標データ（ＸＣ、ＹＣ）は、
ＸＣ＝（（ＸＰ２−ＸＰ）×ＸＣ１＋（ＸＰ−ＸＰ１）×ＸＣ２）／（ＸＰ２−ＸＰ１）
ＹＣ＝（（ＹＰ２−ＹＰ）×ＹＣ１＋（ＹＰ−ＹＰ１）×ＹＣ２）／（ＹＰ２−ＹＰ１）    …  （１）
と算出することができる。
【００４９】
マイクロコントローラ２０１の演算に適するように式（１）を変形すると、
ＸＣ＝（ＸＣ２−ＸＣ１）／（ＸＰ２−ＸＰ１）×ＸＰ＋（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）／（ＸＰ２−ＸＰ１）
ＹＣ＝（ＹＣ２−ＹＣ１）／（ＹＰ２−ＹＰ１）×ＹＰ＋（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）／（ＹＰ２−ＹＰ１）  …  （２）
となる。
【００５０】
マイクロコントローラ２０１は、式（２）によって補正演算を行うために、式（２）の各係数である、
（ＸＣ２−ＸＣ１）／（ＸＰ２−ＸＰ１）
（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）／（ＸＰ２−ＸＰ１）
（ＹＣ２−ＹＣ１）／（ＹＰ２−ＹＰ１）
（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）／（ＹＰ２−ＹＰ１）
を算出する。
【００５１】
ＸＣ１＝ＹＣ１＝６５５４、ＸＣ２＝ＹＣ２＝５８９８２、ＸＰ１＝１０２、ＹＰ１＝７７、ＸＰ２＝９２１、ＹＰ２＝６９０を代入すると、
（ＸＣ２−ＸＣ１）／（ＸＰ２−ＸＰ１）＝６４
（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）／（ＸＰ２−ＸＰ１）＝２４．５
（ＹＣ２−ＹＣ１）／（ＹＰ２−ＹＰ１）＝８５．５
（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）／（ＹＰ２−ＹＰ１）＝−３１．６
となる。マイクロコントローラ２０１は、これらの補正係数を保存しておく。
【００５２】
これらの補正係数を式（２）に代入すると、
ＸＣ＝６４×ＸＰ＋２４．５
ＹＣ＝８５．５×ＹＰ−３１．６  …  （３）
となる。
【００５３】
ここまでの手順でキャリブレーションは終了する。
【００５４】
いったんキャリブレーションを行ったのちは、ポインティングデバイス１０２がポインティングを行った位置（ＸＰ、ＹＰ）は、マイクロコントローラ２０１により、式（３）による補正演算が行われ適切なコンピュータ座標データ（ＸＣ、ＹＣ）に変換されたのちコンピュータ１０３に送信される。従ってポインティングデバイス１０２が指し示す画面上の位置と、カーソル１０４との位置を一致させることができる。
【００５５】
次に、システムの使用中に、ユーザーが画像位置の調整を行う場合を考える。画像位置調整を行う理由としては、例えば初期調整が不十分でありコンピュータ１０３の画像の一部がディスプレイ１０１画面上に表示されていない場合などが考えられる。
【００５６】
ディスプレイ１０１は、備えられたキーやリモコンなどによって、電源のオン／オフ、表示チャンネルの切換え、ボリューム調整を始めとして、画質、音質などの各調整を行う機能を備えている。各調整はマイクロコントローラ２０１により処理される。ここでユーザーが調整機能を使用して、コンピュータ１０３の画像を画面上で右方向に６画素分、および上方向に３画素分移動させたものとする。
【００５７】
このときマイクロコントローラ２０１は、ユーザーにより指示された表示画像の位置調整処理を行うとともに、位置変更データを保存する。位置変更の横方向データをΔＸ、縦方向のデータをΔＹとすると、ΔＸ＝６、ΔＹ＝−３となる（右方向および下方向がプラス方向となる）。
【００５８】
表示位置変更によって、ポインティング位置（ＸＰ、ＹＰ）と、コンピュータ座標（ＸＣ、ＹＣ）との対応関係が変化する。位置変更後のポインティング位置（ＸＰ´、ＹＰ´）の付近の拡大図を図４に示す。
【００５９】
移動後のコンピュータ座標（ＸＣ、ＹＣ）は、移動前の座標（ＸＣ、ＹＣ）から横方向にΔＸ、縦方向にΔＹ移動した位置に来る。
【００６０】
従って、位置移動後にポインティングされる位置（ＸＰ´、ＹＰ´）を、移動後のコンピュータ座標（ＸＣ、ＹＣ）に対応させるためには、（ＸＰ´、ＹＰ´）を移動前の位置（ＸＰ、ＹＰ）に変換したのちに式（２）を適用すればよい。
【００６１】
ＸＰ´＝ＸＰ＋ΔＸ
ＹＰ´＝ＹＰ＋ΔＹ  …  （４）
であるから、式（４）を式（２）に代入すると、
ＸＣ＝（ＸＣ２−ＸＣ１）／（ＸＰ２−ＸＰ１）×ＸＰ´＋（（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）−（ＸＣ２−ＸＣ１）ΔＸ）／（ＸＰ２−ＸＰ１）
ＹＣ＝（ＹＣ２−ＹＣ１）／（ＹＰ２−ＹＰ１）×ＹＰ´＋（（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）−（ＹＣ２−ＹＣ１）ΔＹ）／（ＹＰ２−ＹＰ１）  …  （５）
式（２）と比較して、変更のある係数は、
（（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）−（ＸＣ２−ＸＣ１）ΔＸ）／（ＸＰ２−ＸＰ１）
（（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）−（ＹＣ２−ＹＣ１）ΔＹ）／（ＹＰ２−ＹＰ１）
である。マイクロコントローラ２０１は、これらの値を算出する。
（（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）−（ＸＣ２−ＸＣ１）ΔＸ）／（ＸＰ２−ＸＰ１）＝−３６０
（（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）−（ＹＣ２−ＹＣ１）ΔＹ）／（ＹＰ２−ＹＰ１）＝２２５
となる。マイクロコントローラ２０１は、これらの算出した値を新しい補正係数として更新する。
【００６２】
これらの補正係数を式（５）に代入すると、
ＸＣ＝６４×ＸＰ´−３６０
ＹＣ＝８５．５×ＹＰ´＋２２５  …  （６）
となる。
【００６３】
以後は、式（６）により、ポインティング位置（ＸＰ´、ＹＰ´）から移動後のコンピュータ座標データ（ＸＣ、ＹＣ）を算出することができる。
【００６４】
但し、表示位置調整が不十分である場合などに画面上の一部にコンピュータ画像が表示されない部分がある可能性がある。このようなときにコンピュータ画像が表示されていない部分をポインティングしたときには、算出したコンピュータ座標データ（ＸＣ、ＹＣ）が、コンピュータ画像上の有効な座標範囲である（０、０）から（６５５３５、６５５３５）の範囲から外れることになる。もし、コンピュータ画像上の有効な座標範囲から外れた場合、すなわちＸＣ＜０、ＸＣ＞６５５３５、ＹＣ＜０、ＹＣ＞６５５３５のいづれかが成り立ったときには、マイクロコントローラ２０１は、座標変換結果をコンピュータ１０３へ送信しないようにする。
【００６５】
以上のように、画像位置を変更したとき、座標変換式内のポインティング位置（ＸＰ´、ＹＰ´）と表示状態変更前の位置（ＸＰ、ＹＰ）との関係を利用することで、ポインティングデバイス１０２の座標変換をマイクロコントローラ２０１により自動的に補正することができる。従って、ユーザーによるキャリブレーション再調整を行うことなくポインティングデバイス１０２が指し示す位置とカーソル１０４との位置を一致させることができる。
【００６６】
［第２の実施の形態］
次に、画像表示の拡大率を変更する例について説明する。
【００６７】
ディスプレイ１０１は、画面の画素数として横方向に１０２４画素、縦方向に７６８画素を持ち、パーソナルコンピュータ１０３が出力する画像を画面上に表示している。このときパーソナルコンピュータ１０３が出力する画像の解像度が、横方向に８００画素、縦方向に６００画素からなる解像度を持っているものとする。
【００６８】
コンピュータ１０３から入力された画像信号２０９には、画像そのものの信号の他に画像の水平／垂直位置を示すための水平／垂直同期信号が含まれる。画像／音声処理部２０５においては入力された水平および垂直同期信号の周波数の計測が行われ、その結果はマイクロコントローラ２０１に送信される。マイクロコントローラ２０１では受け取った水平および垂直周波数から画像の解像度を判別する。そしてこの結果が画面の解像度と異なる場合にはマイクロコントローラ２０１は画像／音声処理部２０５に対して適切な拡大／縮小率の指定を行う。本例の場合では、横方向では８００画素を１０２４画素に、縦方向では６００画素を７６８画素にするため、縦横それぞれ１．２８倍の拡大率を指示する。そして画像／音声処理部２０５において画素の補間が行われ、縦横それぞれ１．２８倍に拡大され、全画面に表示されることになる。
【００６９】
まず、この状態でポインティングデバイス１０２のキャリブレーションが行われたものとする。キャリブレーションの手順は第１の実施の形態と同様に行われて、式（３）により座標の変換が行われているものとする。
【００７０】
その後ユーザーにより、全画面表示から入力画像の画素と画面上の画素を１対１に対応させるリアルサイズ表示と呼ばれる表示状態に変更されたとする。マイクロコントローラ２０１はユーザーの指示を受け取ると、画像／音声処理部２０５に対して適切な拡大／縮小率および画像表示原点の変更を指示する。
【００７１】
表示状態変更後の画面状態を図５に示す。全画面表示であった状態から、横方向１０２４画素を８００画素に、縦方向７６８画素を６００画素に縮小された画像が画面中央部分に表示され、周辺部分は画像が表示されない黒色となる。拡大率は、縦横同じであり、８００／１０２４＝６００／７６８＝０．７８１２５倍である。表示状態変更後の画像表示原点の位置は、図５に示す通り（１１２、８４）となる。
【００７２】
表示状態の変更によって、ポインティング位置（ＸＰ、ＹＰ）と、コンピュータ座標（ＸＣ、ＹＣ）との対応関係が変化する。
【００７３】
表示状態変更後にポインティングされる位置（ＸＰ´、ＹＰ´）を、移動後のコンピュータ座標（ＸＣ、ＹＣ）に対応させるためには、（ＸＰ´、ＹＰ´）を表示状態変更前の位置（ＸＰ、ＹＰ）に変換したのちに式（２）を適用すればよい。
【００７４】
このとき、（ＸＰ´、ＹＰ´）と（ＸＰ、ＹＰ）との関係を考えると、原点の移動量をΔＸおよびΔＹ、画像の拡大率をＮとすると、ＸＰをＮ倍したのちΔＸの移動を行った位置がＸＰ´であり、同様にＹＰについてもＮ倍したのちΔＹの移動を行った位置がＹＰ´であるから、
ＸＰ´＝Ｎ×ＸＰ＋ΔＸ
ＹＰ´＝Ｎ×ＹＰ＋ΔＹ  …  （８）
が成り立つ。
【００７５】
式（２）に式（８）を代入すると、
ＸＣ＝（ＸＣ２−ＸＣ１）／（Ｎ×（ＸＰ２−ＸＰ１））×ＸＰ´＋（Ｎ×（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）−（ＸＣ２−ＸＣ１）×ΔＸ）／（Ｎ×（ＸＰ２−ＸＰ１））
ＹＣ＝（ＹＣ２−ＹＣ１）／（Ｎ×（ＹＰ２−ＹＰ１））×ＹＰ´＋（Ｎ×（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）−（ＹＣ２−ＹＣ１）×ΔＹ）／（Ｎ×（ＹＰ２−ＹＰ１））  …  （９）
となる。マイクロコントローラ２０１は、各係数を算出する。ΔＸ＝１１２、ΔＹ＝８４、Ｎ＝０．７８１２５より、
（ＸＣ２−ＸＣ１）／（Ｎ×（ＸＰ２−ＸＰ１））＝８１．９
（Ｎ×（ＸＰ２×ＸＣ１−ＸＰ１×ＸＣ２）−（ＸＣ２−ＸＣ１）×ΔＸ）／（Ｎ×（ＸＰ２−ＸＰ１））＝−９１５０
（ＹＣ２−ＹＣ１）／（Ｎ×（ＹＰ２−ＹＰ１））＝１０９
（Ｎ×（ＹＰ２×ＹＣ１−ＹＰ１×ＹＣ２）−（ＹＣ２−ＹＣ１）×ΔＹ）／（Ｎ×（ＹＰ２−ＹＰ１））＝−９２２６
となる。マイクロコントローラ２０１は、これらの算出した値を新しい補正係数として更新する。
【００７６】
これらの補正係数を式（９）に代入すると、
ＸＣ＝８１．９×ＸＰ´−９１５０
ＹＣ＝１０９×ＹＰ´−９２２６  …  （１０）
以後は、式（１０）により、ポインティング位置（ＸＰ´、ＹＰ´）から適切なコンピュータ座標データ（ＸＣ、ＹＣ）を算出することができる。
【００７７】
以上のように、表示画像の拡大率を変更したときに、座標変換式内のポインティング位置（ＸＰ´、ＹＰ´）と表示状態変更前の位置（ＸＰ、ＹＰ）との関係を利用することで、ポインティングデバイス１０２の座標変換をマイクロコントローラ２０１により自動的に補正することができる。
【００７８】
さらに式（９）によると、任意の移動量および任意の拡大率に対して適切な座標変換式を得ることができる。つまり、画像の移動または拡大／縮小による表示状態の変更に対して全ての場合において式（９）を適用することができる。主な例としては、図６に示すような、画像を縮小して子画面表示を行う場合、図７に示すような画像の一部を拡大表示する場合などが挙げられる。図中にある原点の移動量ΔＸおよびΔＹと拡大率Ｎを設定することにより式（９）をそのまま適用することができる。
【００７９】
以上のように、全画面表示、リアルサイズ表示、子画面、拡大表示などの表示方法を様々に切り換えたときに、ユーザーによるキャリブレーション再調整を行うことなく、ポインティングデバイス１０２が指し示す位置とカーソル１０４との位置を自動的に一致させることができる。
【００８０】
［第３の実施の形態］
次に、フロントプロジェクタを使用したときの、キーストーン補正による画像表示状態の変更を行った場合の例について説明する。
【００８１】
図８は、本発明の第３の実施の形態の構成を表す図である。
【００８２】
フロントプロジェクタ８０１は、コンピュータなどの画像出力装置の画像を投射表示する装置であり、画面上の画素数として横方向に１０２４画素、縦方向に７６８画素を持つものとする。
【００８３】
フロントプロジェクタ８０１は、ノートパソコン８０２と画像信号ケーブル８０６およびポインティング位置データをノートパソコン８０２に送信するためのＵＳＢケーブル８０７により接続されており、ノートパソコン８０２が出力する画像をスクリーン８０３上に投射表示している。ノートパソコン８０２は、プレゼンテーションやワープロなどの様々なアプリケーションを内蔵しており、ノートパソコン８０２が生成する画像上には各アプリケーションのウィンドウや、アプリケーション起動のためのアイコンなどが表示される。また、ユーザーによるウィンドウ制御、アイコン選択／実行や、あるいは画像上への書き込みなどを行うために、ノートパソコン８０２の画像上にはポインティング位置を示すカーソル８０５が表示される。
【００８４】
８０４は棒状のポインティングデバイスであり、ポインティングデバイス８０４によりスクリーン８０３上でポインティングを行うと、ポインティングデバイス８０４の先端部から赤外線が発信される。フロントプロジェクタ８０１の内部構成は第１の実施の形態と同様であり、図２に示す通りである。ポインティングデバイス８０４の先端部から発信された赤外線はデジタイザ受信処理部２０２により受信される。以降の動作は第１の実施の形態と同様であるので詳細な説明は省く。
【００８５】
この状態でポインティングデバイス８０４のキャリブレーションが行われたものとする。キャリブレーションの手順は第１の実施の形態と同様に行われ、式（３）により座標の変換が行われているものとする。
【００８６】
ここでシステムの使用中に、ユーザーによりフロントプロジェクタ８０１またはスクリーン８０３の配置が変更されたため、スクリーン８０３上の投射画像に台形歪みが発生したとする。
【００８７】
このときユーザーは、台形歪みを補正するため、フロントプロジェクタ８０１のキーストーン補正機能を使用して台形歪みの補正を行ったとする。
【００８８】
マイクロコントローラ２０１はユーザーの指示を受け取ると、画像／音声処理部２０５に対して指示されたキーストーン補正の実行を指示する。キーストーン補正方法では、補正方向の違いで４種類のパターンがある。各パターンを図９から図１２に示す。マイクロコントローラ２０１はキーストーン係数としてＭを使用する。Ｍは図９から図１２に示すように、台形の下辺の長さを１としたときに上辺の長さが（１−Ｍ）となるような係数である。キーストーン補正無しのときＭ＝０、キーストーン補正最大のときＭ＝１となる。
【００８９】
キーストーン補正によって、ポインティング位置（ＸＰ、ＹＰ）と、コンピュータ座標（ＸＣ、ＹＣ）との対応関係が変化する。
【００９０】
キーストーン補正後にポインティングされる位置（ＸＰ´、ＹＰ´）を、移動後のコンピュータ座標（ＸＣ、ＹＣ）に対応させるためには、（ＸＰ´、ＹＰ´）をキーストーン補正前の位置（ＸＰ、ＹＰ）に変換したのちに式（２）を適用すればよい。
【００９１】
このときの、（ＸＰ´、ＹＰ´）と（ＸＰ、ＹＰ）との関係を考える。まず、キーストーン補正Ａ（図９）の場合について考えると、まずＹＰとＹＰ´は変化せず等しい。一方でＸＰについては、キーストーン補正により画面中央（点線）からの横方向の距離、すなわち（ＸＰ−１０２３／２）が縮小される。このときの縮小倍率は、（１−Ｍ＋Ｍ×ＹＰ／７６７）である。従って、
ＸＰ´＝（ＸＰ−１０２３／２）×（１−Ｍ＋Ｍ×ＹＰ／７６７）＋１０２３／２
ＹＰ´＝ＹＰ  …  （１１）
が成り立つ。
【００９２】
他の場合についても同様に考えると、キーストーン補正Ｂ（図１０）の場合には、
ＸＰ´＝（ＸＰ−１０２３／２）×（１−Ｍ＋Ｍ×（７６７−ＹＰ）／７６７）＋１０２３／２
ＹＰ´＝ＹＰ  …  （１２）
【００９３】
キーストーン補正Ｃ（図１１）の場合には、
ＸＰ´＝ＸＰ
ＹＰ´＝（ＹＰ−７６７／２）×（１−Ｍ＋Ｍ×ＸＰ／１０２３）＋７６７／２…  （１３）
【００９４】
キーストーン補正Ｄ（図１２）の場合には、
ＸＰ´＝ＸＰ
ＹＰ´＝（ＹＰ−７６７／２）×（１−Ｍ＋Ｍ×（１０２３−ＸＰ）／１０２３）＋７６７／２  …  （１４）
となる。キーストーン補正時の座標変換式は、式（１１）から式（１４）と式（２）から、
ＸＣ＝（ａＸＰ＋ｂ）／（ｃＹＰ＋ｄ）＋ｅ
ＹＣ＝（ｆＹＰ＋ｇ）／（ｈＸＰ＋ｉ）＋ｊ
の形となることがわかる。ここでは一例として、Ｍ＝０．５として、式（１１）から式（１４）を、式（３）に代入すると、キーストーン補正Ａの場合、
ＸＣ＝（９８１７６×ＸＰ´−５０２１７０２４）／（７６７＋ＹＰ´）＋３２７６１
ＹＣ＝８５．５×ＹＰ−３１．６  …  （１５）
【００９５】
キーストーン補正Ｂの場合、
ＸＣ＝（９８１７６×ＸＰ´−５０２１７０２４）／（１５３４−ＹＰ´）＋３２７６１
ＹＣ＝８５．５×ＹＰ−３１．６  …  （１６）
【００９６】
キーストーン補正Ｃの場合、
ＸＣ＝６４×ＸＰ＋２４．５
ＹＣ＝（１７４９３３×ＹＰ´−６７０８６８０６）／（１０２３＋ＸＰ´）＋３２７５８  …  （１７）
【００９７】
キーストーン補正Ｄの場合、
ＸＣ＝６４×ＸＰ＋２４．５
ＹＣ＝（１７４９３３×ＹＰ´−６７０８６８０６）／（２０４６−ＸＰ´）＋３２７５８  …  （１８）
となる。以後は、式（１５）から式（１８）により、ポインティング位置（ＸＰ´、ＹＰ´）から適切なコンピュータ座標データ（ＸＣ、ＹＣ）を算出することができる。
【００９８】
マイクロコントローラ２０１は、キーストーン補正が行われて係数Ｍが変更されたときには、その都度キーストーン補正の種類（ＡからＤ）に応じて式（１１）から式（１４）のうちいづれかを用いて、座標変換式の各係数を算出しなおし更新する。
【００９９】
以上のような動作により、フロントプロジェクタの場合にキーストーン補正が行われたときでも自動的に適切な座標変換式を得ることができる。
【０１００】
【発明の効果】
以上説明したように本発明においては、コンピュータなどの画像を表示する表示装置において、ポインティング位置をコンピュータ画像上の座標に変換して出力するとき、キャリブレーションを行った後に表示画像の位置または拡大率が変更されたときに、マイクロコントローラなどの制御部において座標変換を自動的に補正するようにした。その結果、表示画像の位置または拡大率が変更されたときに、ユーザーによるキャリブレーションの再調整を行うこと無しに、ポインティングデバイスが指し示す位置と画像上のカーソルなどの位置を完全に自動的に一致させることができる。
【０１０１】
さらに、画像の任意の移動量および任意の拡大率に対して適切な座標変換式を得ることができるため、本発明は、例えば画像の全画面表示とリアルサイズ表示の切り換え、子画面表示などの縮小表示、２画面表示、画像の一部分の拡大表示などの、画像の移動または拡大／縮小を行う変更に対してはあらゆる場合において適用することができる。
【０１０２】
さらに、フロントプロジェクタの場合においては、キーストーン補正が行われたときにも同様に座標変換の自動補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１、第２の実施の形態の構成を表す図である。
【図２】ディスプレイ１０１の内部構成の一部を表す図である。
【図３】キャリブレーション用画像を表す図である。
【図４】ポインティング位置付近の拡大図を表す図である。
【図５】表示状態変更後の画面状態を表す図である。
【図６】子画面表示を表す図である。
【図７】画像の一部の拡大表示を表す図である。
【図８】本発明の第３の実施の形態の構成を表す図である。
【図９】キーストーン補正Ａを表す図である。
【図１０】キーストーン補正Ｂを表す図である。
【図１１】キーストーン補正Ｃを表す図である。
【図１２】キーストーン補正Ｄを表す図である。
【符号の説明】
１０１  リアプロジェクション型ディスプレイ
１０２  ポインティングデバイス
１０３  パーソナルコンピュータ
１０４  カーソル
１０５  画像信号ケーブル
１０６  音声信号ケーブル
１０７  シリアルケーブル
２０１  マイクロコントローラ
２０２  デジタイザ受信処理部
２０３  シリアルコネクタ
２０４  画像コネクタ
２０５  画像／音声処理部
２０６  バス
２０７  シリアルバス
２０８  マイコンバス
２０９  画像信号ライン
２１０  音声信号ライン
２１１  音声コネクタ
８０１  フロントプロジェクタ
８０２  ノートパソコン
８０３  スクリーン
８０４  ポインティングデバイス
８０５  カーソル
８０６  画像信号ケーブル
８０７  ＵＳＢケーブル
【図１】
2004272433.tif 000003
【図２】
2004272433.tif 000004
【図３】
2004272433.tif 000005
【図４】
2004272433.tif 000006
【図５】
2004272433.tif 000007
【図６】
2004272433.tif 000008
【図７】
2004272433.tif 000009
【図８】
2004272433.tif 000010
【図９】
2004272433.tif 000011
【図１０】
2004272433.tif 000012
【図１１】
2004272433.tif 000013
【図１２】
2004272433.tif 000014