(57)【要約】【課題】マルチ画面の境界部分における表示ポインタの移動を円滑にする。【解決手段】複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対し、表示ポインタの位置補正を行う補正装置である。この補正装置は、「座標空間において複数の画面が仮想的に隣接する隣接境界域」と「隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域」とを求める判定部と、入力により表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正部とを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。【選択図】図１
2019079450.tif 000002
【特許請求の範囲】
【請求項１】
複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対して、前記表示ポインタの位置補正を行う補正装置であって、
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定部と、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理する補正部とを備え、
前記はみ出し域に前記表示ポインタが停止することを軽減する、
ことを特徴とする補正装置。
【請求項２】
請求項１記載の補正装置において、
前記補正部は、
前記表示ポインタが前記隣接境界域に位置すると、仮想的に隣接する２画面の境界線方向における画素幅の実寸比に応じて、前記表示ポインタの境界線方向の位置を縮尺補正して、前記表示ポインタが画面間を越境する際の段差発生を軽減する
ことを特徴とする補正装置。
【請求項３】
請求項２記載の補正装置において、
前記補正部は、
前記表示ポインタが表示される画面から隣接画面への越境を禁止する禁止部と、
前記表示ポインタが前記隣接境界域に位置すると、前記禁止を解除する越境部とを含み、
前記禁止部および前記越境部による段階的な処理により、前記表示ポインタが前記隣接境界域を飛び越えることを一旦は抑止して、前記隣接境界域における前記表示ポインタの捕捉率を高め、前記縮尺補正の失敗を軽減する
ことを特徴とする補正装置。
【請求項４】
コンピュータを、
請求項１ないし３のいずれか１項に記載の前記判定部、および前記補正部として
機能させるためのプログラム。
【請求項５】
複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対して、前記表示ポインタの位置補正を行う補正方法であって、
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定ステップと、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理する補正ステップとを備え、
前記はみ出し域に前記表示ポインタが停止することを軽減する、
ことを特徴とする補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マルチ画面システムに対して表示ポインタの位置補正を行う補正装置、プログラム、および補正方法に関する。特に、マルチ画面システムにおける表示ポインタの移動を円滑にする技術に関する。
【背景技術】
【０００２】
従来、複数の表示装置の画面を組み合わせて、拡張画面を表示するマルチ画面システムが知られている。
図９は、この種のマルチ画面システムを示す図である。
このマルチ画面システムは、少なくとも２つの表示装置それぞれの画面１，２と、不図示のコンピュータとを備える。この画面１，２には表示ポインタが表示される。表示ポインタは、画面上でのＧＵＩ（グラフィック・ユーザ・インターフェース）や、プレゼンテーション時に注目箇所を指示する用途などに供せられる。コンピュータは、この表示ポインタの位置を、複数の画面を仮想配置した座標空間（例えばデスクトップ座標）の上で管理する。この管理により、ユーザは、複数の画面の間で表示ポインタを行き来させることができる。
【０００３】
また、特許文献１（段落００１８〜００１９および図１）は、マルチ画面の境界にトンネルの図柄のアイコンを対向表示するカーソル制御装置を開示する。ユーザは、表示ポインタ（カーソル）を隣接画面に越境させる場合、ポインティングデバイスを用いて表示ポインタを現画面のトンネル型アイコンの位置まで移動させ、ポインティングデバイスのボタンを押す。このユーザ操作に応じて、カーソル制御装置は、表示ポインタを現画面のトンネル型アイコンから隣接画面のトンネル型アイコンへ移動する。この処理により、ユーザは、トンネル型アイコンを通して、マルチ画面の間で表示ポインタを行き来させることが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２８２６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなマルチ画面システムにおいては、表示ポインタの移動操作が円滑かつ自由に行えないという問題点があった。
例えば、図９に示すマルチ画面システムは、画面１，２の画素数が異なる。そのため、画面１は画面２に対して縦方向にはみ出す。このはみ出した位置の表示ポインタＱ１は、画面２へ通過（越境）することができず、画面１の縁にぶつかって停止する。ユーザは、この表示ポインタＱ１を越境させるために、画面２に通過可能な位置（高さ）まで表示ポインタＱ１を意識的にずらさなければならない。そのため、ユーザは、表示ポインタの移動操作を円滑かつ自由に行えなかった。
【０００６】
また、図９に示す表示ポインタＱ２の位置では、画面１，２の画面サイズや画素数が異なるため、表示ポインタＱ２が画面１，２の境界を通過する際に段差が生じる。このように生じる段差は表示ポインタの円滑な移動軌跡をギクシャクとさせる。そのため、ユーザは、表示ポインタの移動操作を円滑に行えなかった。
【０００７】
なお、特許文献１の先行技術においても、ユーザはトンネル型アイコンまで表示ポインタを逐一移動させなければならない。そのため、ユーザは、表示ポインタの移動操作を円滑かつ自由に行えなかった。
そこで、本開示は、これら課題の少なくとも一部を解決することを目的として、マルチ画面の境界部における表示ポインタの移動を円滑にすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示１は、複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対し、表示ポインタの位置補正を行う補正装置である。この補正装置は、座標空間において複数の画面が仮想的に隣接する隣接境界域と、隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定部と、表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正部とを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。
【０００９】
本開示２は、表示ポインタが隣接境界域に位置すると、隣接する２画面の境界線方向における画素幅の実寸比に応じて、補正部が表示ポインタの境界線方向の位置を縮尺補正する。この縮尺補正により、表示ポインタが画面間を越境する際に生じる段差を軽減する。
【００１０】
本開示３は、補正部が、表示ポインタが表示される画面から隣接画面への越境を禁止する禁止部と、入力により表示ポインタが隣接境界域に位置すると、禁止を解除する越境部とを含む。この禁止部および越境部による段階的な処理により、入力により表示ポインタが隣接境界域を飛び越えることを一旦は抑止して、隣接境界域における表示ポインタの捕捉率を高め、縮尺補正の失敗を軽減する。
【００１１】
本開示４は、コンピュータを本開示１〜３のいずれか記載の判定部、および補正部として機能させるためのプログラムである。
【００１２】
本開示５は、上述したマルチ画面システムに対し、表示ポインタの位置補正を行う補正方法である。この補正方法では、座標空間において複数の画面が仮想的に隣接する隣接境界域と、隣接境界域から画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定ステップと、表示ポインタがはみ出し域に位置すると表示ポインタの位置を隣接境界域または隣接画面に移動処理する補正ステップとを備える。この作用により、はみ出し域に表示ポインタが停止することを軽減する。
【発明の効果】
【００１３】
本開示１の補正装置は、ユーザ入力などによってマルチ画面のはみ出し域に表示ポインタが位置すると、隣接境界域または隣接画面に表示ポインタを自動的に移動する。そのため、表示ポインタがマルチ画面のはみ出し域に停止することが少なくなり、隣接画面への表示ポインタの移動が円滑になる。
【００１４】
さらに、本開示２の補正装置は、ユーザ入力などによって隣接境界域を通過する表示ポインタに対して、「仮想的に隣接する２画面の境界線方向における画素幅の実寸比」に応じた縮尺補正を行う。この縮尺補正により、表示ポインタが画面間を越境する際に生じる段差（図９参照）を軽減することができる。その結果、隣接画面への表示ポインタの移動軌跡が円滑になる。
【００１５】
本開示３の補正装置は、表示ポインタが隣接画面へ越境することを一旦禁止して、隣接境界域に表示ポインタを止める。その結果、隣接境界域において表示ポインタをより確実に捕捉して、縮尺補正の失敗を軽減できる。縮尺補正の失敗による移動軌跡のギクシャクした動き（図６［ｂ］参照）を軽減し、隣接画面への表示ポインタの移動が円滑になる。
【００１６】
本開示４のプログラムは、コンピュータを本開示１〜３のいずれか補正装置として機能させることができる。その結果、上述した本開示１〜３のいずれかと同様に、マルチ画面の境界部分における表示ポインタの移動を円滑にすることができる。
【００１７】
本開示５の補正方法は、ユーザ入力などによってマルチ画面のはみ出し域に表示ポインタが位置すると、隣接境界域または隣接画面に表示ポインタを自動的に移動する。そのため、表示ポインタがマルチ画面のはみ出し域に停止することが少なくなり、隣接画面への表示ポインタの移動が円滑になる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本実施形態のシステム構成を説明するブロック図である。
【図２】図２は、本実施形態の初期設定を説明する流れ図である。
【図３】図３は、本実施形態のイベント処理を説明する流れ図である。
【図４】図４は、高画素数の辺から低画素数の辺への表示ポイントの越境を説明する図である。
【図５】図５は、低画素数の辺から高画素数の辺への表示ポイントの越境を説明する図である。
【図６】図６は、表示ポインタが隣接境界域を飛び越える現象を説明する図である。
【図７】図７は、越境の禁止と解除を説明する図である。
【図８】図８は、越境時の速度補正を説明する図である。
【図９】図９は、マルチ画面システムの背景技術を示す図である。
【発明を実施するための形態】
【００１９】
（１）システム構成の説明
図１は、本実施形態のシステム構成を説明するブロック図である。
マルチ画面システムＭは、複数画面分の映像出力を有するコンピュータなどから構成される。このコンピュータなどは、単独のシステムの場合もあれば、ネットワークを介したシステムの場合もある。
【００２０】
このマルチ画面システムＭの個々の映像出力は、例えばモニタやプロジェクタなどからなる複数の表示装置へそれぞれ出力される。複数の表示装置の各画面はなるべく隣接するように組み合わせて配置される。この組み合わせ配置により、複数画面に拡張されたマルチ画面表示を実現することができる。
【００２１】
このマルチ画面システムＭには、不図示のマウスやトラックボールや視線入力や音声入力やＡＩ入力や自動制御により生成される移動信号などの信号が入力される。この入力によりマルチ画面にまたがる表示ポインタの移動がなされる。
このマルチ画面システムＭには、補正装置１００が付随する。この補正装置１００は、判定部１０および補正部１２を備える。さらに補正部１２は、禁止部１４および越境部１６を含む。
【００２２】
（２）初期設定の説明
図２は、補正装置１００の初期設定を説明する流れ図である。
以下、この図２に示すステップ番号に沿って説明する。
【００２３】
ステップＳ０１：判定部１０は、マルチ画面システムＭからマルチ画面を構成する各画面の情報を取得する。例えば、次のような情報を取得することが好ましい。
・画面の個数
・デスクトップ座標（複数の画面を仮想配置した座標空間）における各画面の原点位置の座標値（Left,Top）
・各画面の縦横画素数（Width,Height）
・各画面の縦横の実寸長（又は各画面の画素幅の実寸長）
・各画面の機種別情報
なお、マルチ画面システムＭから取得できない情報については、ユーザからの設定入力により情報を取得してもよい。また、一般的な情報については予め定められるデフォルト値を設定してもよい。
【００２４】
ステップＳ０２：判定部１０は、隣接する２画面の組ごとに、画面の揃え方基準を情報取得する。この揃え方基準としては、次のような標準的な分類でもよい。
（下端揃え／上端揃え／右端揃え／左端揃え／垂直中央揃え／水平中央揃え）
また、上述したデスクトップ座標（複数の画面を仮想配置した座標空間）における各画面の原点位置の座標値（Left,Top）と各画面の縦横画素数（Width,Height）との関係から、この揃え方基準の位置をデフォルト決定してもよい。
なお、表示装置の現実の画面配置は、モニタ台の高さの違いなどにより、デスクトップ座標上の仮想配置と必ずしも一致しないため、ユーザの設定入力によって揃え方基準の情報を詳細に取得することがより好ましい。
【００２５】
ステップＳ０３：判定部１０は、隣接する２画面の組ごとに、各画面の原点位置の座標値（Left,Top）と各画面の縦横画素数（Width,Height）とに基づいて、上述したデスクトップ座標（複数の画面を仮想配置した座標空間）において隣接境界域Ｎとはみ出し域Ｂとを求める。
【００２６】
この隣接境界域Ｎは、デスクトップ座標の空間上で２画面の隣接境界を含む領域であり、例えば図４〜７に示す短冊状の領域に設定される。この短冊の短尺方向の幅はデスクトップ座標の２画素分（隣接する画面の両側に1画素ずつまたがる）である。また、短冊の長尺方向の幅は、２画面が共有する画素数分である。より具体的には、デスクトップ座標の設計仕様による。
【００２７】
一方、はみ出し域Ｂは、隣接境界域Ｎから画面の一方がはみ出して他の画面と隣接しない領域であり、例えば図４〜６に示す短冊状の領域に設定される。この短冊の短尺方向の幅は実質1画素であるが、後述する検出ウィンドウＤを設定する都合上から隣接境界域Ｎと同じデスクトップ座標の２画素幅とする。また、短冊の長尺方向の幅は、２画面が共有しない画素数差の分である。より具体的には、デスクトップ座標の設計仕様による。このはみ出し域Ｂは、隣接境界域Ｎを中央に挟むことによって２つに分断される場合もある。
【００２８】
ステップＳ０４：判定部１０は、隣接する２画面の組ごとに、隣接境界域Ｎとはみ出し域Ｂとからなる非表示の隠しウィンドウ（以下『検出ウィンドウＤ』という）をマルチ画面システムＭに登録する。この処理は、マルチ画面システムＭのＯＳ（オペレーティング・システム）のウィンドウ登録処理を通して行われる。
【００２９】
この検出ウィンドウＤの登録により、検出ウィンドウＤに表示ポインタが入るイベントメッセージが、マルチ画面システムＭから補正装置１００に送られる（sendまたはpost）ようになる。したがって、補正装置１００としては、表示ポインタの位置を常時監視する必要がなくなり、補正装置１００の処理負荷が軽くなる。
【００３０】
ステップＳ０５：判定部１０は、２画面の隣接する辺の組ごとに、ステップＳ０１で求めた情報（各画面の縦横画素数，各画面の縦横の実寸長）に基づいて境界線方向における画素幅の実寸の比αを算出する。ここでの画素「幅」は、隣接する画素同士の中心間などの間隔幅に相当する。
【００３１】
なお、表示装置独自で入力映像を拡大縮小して表示する場合など、マルチ画面システムＭが管理するデスクトップ座標の仮想的な１画素と、表示装置の現実の１画素とが一対一に対応しない場合がある。その場合、表示装置独自の拡大縮小率を表示装置の画素幅に乗じたものを画素幅（デスクトップ座標の画素の表示幅）とする。
【００３２】
また、カラー表示装置の多くは、１画素をＲＧＢ三色に区切るが、これをまとめて１画素とするか色別の３画素とするかは、デスクトップ座標の設計仕様による。
この実寸比αは、「画面間の縮尺の違いにより生じる表示位置の実寸ずれを抑制する縮尺補正」に使用するために、補正装置１００に記憶される。
【００３３】
ステップＳ０６：禁止部１４は、デスクトップ座標の空間上において、表示ポインタの座標（Ｘ，Ｙ）をマルチ画面システムＭから取得する。
【００３４】
ステップＳ０７：禁止部１４は、表示ポインタの座標（Ｘ，Ｙ）に基づいて、表示ポインタが現時点で位置する画面（「現画面」という）が、マルチ画面の内のどの画面かを判断する。禁止部１４は、マルチ画面システムＭのＯＳ（オペレーティング・システム）が備える“ClipCursor関数”などを用いて、その現画面の範囲内に表示ポインタの移動範囲を制限する。この制限により、表示ポインタは隣接画面への越境が禁止される。
【００３５】
これら一連の動作により補正装置１００は初期設定を完了する。以降、補正装置１００は、「検出ウィンドウＤに表示ポインタが入るイベントメッセージ」がマルチ画面システムＭから送られるまで、休止する。
【００３６】
（３）イベント処理の説明
図３は、補正装置１００のイベント処理を説明する流れ図である。
以下、この図３に示すステップ番号に沿って説明する。
【００３７】
ステップＳ１１：ユーザの操作入力などにより表示ポインタが検出ウィンドウＤ（隣接境界域Ｎ，はみ出し域Ｂ）に入ると、その旨のイベントメッセージがマルチ画面システムＭから発行される。このイベントメッセージを受け取ることにより、補正装置１００は以降のイベント処理（ステップＳ１２〜Ｓ１７）を実施する。
【００３８】
ステップＳ１２：補正部１２は、前回イベントからの経過時間が閾値Ｔthを超える否かを判定する。この閾値Ｔthは、ユーザの意図しない手ぶれによるイベントの短時間繰り返し（いわゆるチャタリング）に反応しないための時間であり、例えば３５０msecに設定される。
【００３９】
経過時間が閾値Ｔthを超えている場合、補正部１２は、手ぶれなどによるイベント発生の繰り返し（いわゆるチャタリング）ではないと判定し、ステップＳ１３に動作を移行する。
一方、経過時間が閾値Ｔthを超えない場合、補正部１２は、チャタリングと判定してイベント処理を行わず、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
【００４０】
ステップＳ１３：越境部１６は、マルチ画面システムＭに“ClipCursor関数”などの指示を出して、隣接画面（移動先）に表示ポインタの移動範囲を制限する。この処理により、表示ポインタは隣接画面への越境が解除される。（この解除と同時に、表示ポインタが元画面へ戻る越境は逆に制限される。）
【００４１】
ステップＳ１４：補正部１２は、マルチ画面システムＭから取得したイベントメッセージの引数などに基づいて、表示ポインタのデスクトップ座標を求める。このデスクトップ座標の隣接境界線方向の座標値に基づいて表示ポインタがはみ出し域Ｂ／隣接境界域Ｎのいずれに位置するかを判定する。表示ポインタがはみ出し域Ｂに位置する場合、補正部１２はステップＳ１５に動作を移行する。一方、表示ポインタが隣接境界域Ｎに位置する場合、補正部１２はステップＳ１６に動作を移行する。
【００４２】
ステップＳ１５：図４［ａ］に示す表示ポインタＳ（Ｘ０，Ｙout）のように、本ステップでは表示ポインタＳがデスクトップ座標上のはみ出し域Ｂに位置する。このはみ出し域Ｂには隣接する画面２が存在しないため、はみ出し域Ｂは越境先の無い画面端部であって、通常であれば表示ポインタＳ（Ｘ０，Ｙout）はその場に停止し滞留する。
【００４３】
補正部１２は、このはみ出し域Ｂの表示ポインタＳ（Ｘ０，Ｙout）を、隣接境界域Ｎの表示ポインタＳ′（Ｘ０＋１，Ｙin）に逐次移動させることで、隣接画面(移動先)の隣接境界域Ｎに表示ポインタを通過させる。
この場合、図４［ｂ］に示す現実空間において画面２の四隅付近に表示ポインタＳ′を出現することで、表示ポインタＳ→Ｓ′の移動距離をなるべく短くすることが好ましい。このように越境時の移動距離が近づくことにより表示ポインタの移動がさらに円滑になる。
補正部１２は、これら一連の処理の後にイベント処理を完了すると、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
【００４４】
ステップＳ１６：本ステップでは、表示ポインタＰ１（Ｘ０，Ｙ）は隣接境界域Ｎに位置する。
デスクトップ座標の仮想空間（画素単位の空間）において、この表示ポインタＰ１（Ｘ０，Ｙ）と最も近い移動先は、１画素隣りでＹ座標の等しい表示ポインタＰ２（Ｘ０＋１，Ｙ）となる（図４［ａ］を参照）。このような関係が現実空間において成り立つには、２つの画面において画素幅の実寸長が等しい必要がある（例えば、同一仕様のモニタを並べるなど）。
【００４５】
しかし、現実の表示装置は同一仕様とは限らず、画素幅の実寸長は装置ごとに異なる。そのため、現実空間上において、２つの表示ポインタＰ１，Ｐ２は画素幅の縮尺ずれに伴う段差が生じる（図４［ｂ］を参照）。
この段差は、画面１，２の位置合わせの基準を意味する揃え方基準（図４の場合はＹ座標値Ｙ０に相当）と、２画面の境界線方向における画素幅の実寸比α（縮尺比）とに応じて生じる。
【００４６】
そこで、この段差を揃え方基準と実寸比αに応じて算出補正することにより、実寸長の空間において、表示ポインタＰ１（Ｘ０，Ｙ）と最も近い移動先は、図４［ｂ］に示す表示ポインタＰ２′となる。この表示ポインタＰ２′の境界線方向の位置Ｙ′は、例えば［１］式で示される。
【００４７】
Ｙ′＝αＹ＋（１−α）Ｙ０      …［１］
【００４８】
ここで、Ｙは越境前の表示ポインタの境界線方向における画素位置、Ｙ０は画面１，２の境界線方向における位置合わせの基準位置である。また、αは画面１，２の境界線方向における画素幅の実寸比であって［２］式となる。
【００４９】
α＝（画面１の境界線方向における画素幅の実寸）／（画面２の境界線方向における画素幅の実寸）      …［２］
【００５０】
補正部１２は、この表示ポインタＰ１（Ｘ０，Ｙ）を表示ポインタＰ２′（Ｘ０＋１，αＹ＋（１−α）Ｙ０）に縮尺補正する。この縮尺補正により、画面１から画面２へ越境する際に生じる段差は視覚的に軽減する（段差ゼロも可能である）。
【００５１】
同様にして、補正部１２は画面２から画面１への縮尺補正も行う（図５参照）。図５［ａ］に示すデスクトップ座標上の隣接画素Ｐ１，Ｐ２は、図５［ｂ］に示す現実空間において段差を生じる。この現実空間において、表示ポインタＰ１（Ｘ０＋１，Ｙ）に最も近い移動先は、図５［ｂ］に示す表示ポインタＰ２′となる。この表示ポインタＰ２′の境界線方向の位置Ｙ′は、例えば［３］式で示される。
【００５２】
Ｙ′＝Ｙ／α＋（１−１／α）Ｙ０      …［３］
【００５３】
補正部１２は、この表示ポインタＰ１の境界線方向の位置Ｙを、［式３］に示す位置Ｙ′に縮尺補正する。この縮尺補正により、画面２から画面１へ越境する際に生じる段差は視覚的に軽減する（段差ゼロも可能である）。
補正部１２は、これら一連の処理の後にイベント処理を完了すると、次のイベントメッセージがマルチ画面システムＭから送られるまで休止する。
【００５４】
（４）本実施形態の作用効果など
本実施形態では、ユーザが表示ポインタをはみ出し域Ｂまで運んでも、従来のように停止することがない。補正装置１００によって、表示ポインタは隣接画面へ自動的に運ばれるため、ユーザは円滑かつ自由に表示ポインタを隣接画面間で往き来させることが可能になる。
【００５５】
また、本実施形態では、補正装置１００によって、表示ポインタは越境時に自動的に縮尺補正される。そのため、画面サイズ（実寸長・画素数）に差があっても、越境時の段差は自動的に軽減され、隣接画面間を往来する表示ポインタの軌跡は円滑になる。
【００５６】
なお、本実施形態では、越境の禁止と解除とを段階的に実行する。
一般に、マルチ画面表示システムは、表示ポインタの位置座標を離散的に管理する。そのため、表示ポインタの移動が速くなるにつれて移動軌跡の出現位置が離散的に開き、隣接境界域Ｎを表示ポインタが飛び越える事態を生じる。
【００５７】
図６は、検出ウィンドウＤ（隣接境界域Ｎ）を表示ポインタが飛び越える現象を説明する図である。
図６［ａ］では、表示ポインタの移動が比較的遅く、移動軌跡の離散間隔が密である。この場合は、隣接境界域Ｎにおいて表示ポインタを捕捉し、縮尺補正による段差解消に成功する。
【００５８】
一方、図６［ｂ］は、表示ポインタの移動が比較的速く、移動軌跡の離散間隔が広くなる。そのため、検出ウィンドウＤ（隣接境界域Ｎ）を表示ポインタが容易に飛び越えてしまい、検出ウィンドウＤは表示ポインタの侵入メッセージを受け取れない。そのため、縮尺補正の機会を失い、縮尺ずれによる段差が生じてしまう（縮尺補正の失敗）。
【００５９】
この失敗に対処するため、本実施形態では、上述したステップＳ０７，Ｓ１３で説明したように、越境の一旦禁止と解除とを段階的に実行する。
図７は、この越境の一旦禁止と解除とによる作用効果を説明する図である。
図７［ａ］では、表示ポインタは画面１側に位置する。このとき、補正装置１００は、マルチ画面システムＭに指示して表示ポインタの移動範囲を現画面内にクリップ（ClipCursor関数など）する。そのため、表示ポインタは、画面１の範囲内を自由に移動できるが、画面１から画面２への越境は禁止される。
【００６０】
この越境禁止の状態では、表示ポインタの移動速度（離散間隔）に拘わらず、表示ポインタは越境禁止ラインＣの手前に強制的に停止する。そのため、図６［ｂ］で説明した表示ポインタの飛び越し現象は起こらず、図７［ａ］に示すように、表示ポインタを隣接境界域Ｎで確実に捕捉することが可能になる。
【００６１】
この捕捉に応じて、補正装置１００は、図７［ｂ］に示すように表示ポインタの越境解除および縮尺補正を瞬時に実施する。これにより飛び越え現象による段差解消の失敗（図６［ｂ］参照）は防止され、隣接画面への表示ポインタの移動は円滑になる。
なお、これら一連の動作をユーザが知覚しない程度の時間内に実施することにより、隣接画面への表示ポインタの移動はより一層円滑に保たれる。
【００６２】
また、本実施形態では、画面１から画面２への越境解除を、表示ポインタの移動範囲を画面１から画面２へ切り替えることにより、越境解除と新たな越境禁止とを一度に実施する。その結果、これら一連の動作をより短時間で完了して、表示ポインタの移動の円滑さをなお一段と高めることが可能になる。
【００６３】
さらに、本実施形態では、図３のステップＳ１２のように、イベント処理の短時間繰り返しに反応しない。ユーザがマルチ画面の境界において表示ポインタを微動させた場合、隣接境界域Ｎへの侵入イベントが短時間に繰り返される。表示ポインタの位置更新と縮尺補正とのタイミング差によっては、縮尺補正が多重にかかり、表示ポインタが境界線の方向に勝手に移動するという現象が発生する。しかしながら、本実施形態は、イベント処理の短時間繰り返しに反応しない対策を行うため、この表示ポインタの勝手な移動現象を改善することができる。
【００６４】
また、本実施形態では、実寸長の現実空間における２画面の揃え方基準に従って、縮尺補正のオフセット調整を行う。一般に、モニタ台の高さの違いやピボット機能（画面回転機能）による高さ変化により、表示装置の画面の揃え方基準は、デスクトップ座標上の設定とずれている場合がある。このズレは縮尺補正のオフセットズレとなる。しかしながら、本実施形態は、実寸長の現実空間における２画面の揃え方基準に従って、縮尺補正のオフセット補正を行い得るため、表示ポインタの移動軌跡をより正確に円滑化することができる。
【００６５】
また、本実施形態では、複数画面の仮想配置の情報をマルチ画面システムＭから収集し、隣接する２画面の組ごとに隣接境界域Ｎとはみ出し域Ｂとを略自動的に初期設定する。そのため、ユーザは多様なマルチ画面の配置関係を詳しく知る必要なく、補正装置１００の初期設定を略自動的に完了できる。
【００６６】
（５）本実施形態の補足など
なお、本実施形態では、説明を簡単にするため、横並びの２画面について特に説明しているが、本開示はこれに限定されない。複数画面の間の隣接辺（縦または横）ごとに本実施形態の処理を行うことにより、３画面以上の画面並びにおいて本実施形態を実施することができる。また、画面の並び方も、縦横斜めのいずれでもよい。また、組み合わせによる平面的、立体的又は曲面的な配列画面でもよい。
【００６７】
さらに、本実施形態では、マルチ画面システムＭからマルチ画面の配置関係を取得したり、ユーザ設定やデフォルト設定によりマルチ画面の配置関係を決定したりしている。しかし、本開示はこれに限定されない。例えば、実寸長の現実空間におけるマルチ画面の配置関係を撮影し、その撮影画像から画面の並び方や、画面サイズの比率（各画面の画素数比で除算すれば画素幅の実寸比が求まる）を自動検出してもよい。その場合に、補正装置１００は、目盛り相当のテストチャートをマルチ画面に表示する（させる）などして、表示装置独自の拡大縮小率を撮影画像から自動的に計測して、拡大縮小率を反映した画素幅の実寸比を求めてもよい。
【００６８】
また、本実施形態では、マルチモニタへの適用について説明しているが、本開示はこれに限定されない。本実施形態は、プロジェクタによりマルチ画面を投影するシステムに適用することもできる。なお、このマルチ画面の投影状況によっては、投影画面の実寸大が投影拡大率により大きく変化し、マルチ画面の揃え方基準も大きく変化する。この投影画面の実寸大については投影レンズの合焦距離と画角に応じて自動検出することができる。また、マルチ画面の揃え方基準については、各プロジェクタの投影軸の検出によって自動検出することができる。また、スクリーン上のマルチ画面の投影状況を検出する検出装置（撮影装置など）を別に設けて、マルチ画面の揃え方基準や辺の実寸長を自動検出してもよい。その場合にテストチャートなどを投影して台形歪みや周辺歪みなどを自動計測し、歪みを反映した画素幅の実寸比を求めてもよい。このような自動検出により、ユーザにおける情報入力の手間を省くことができる。
【００６９】
なお、本実施形態では、検出ウィンドウＤに表示ポインタが入るイベントメッセージのタイミングで処理を行っているが、本開示はこれに限定されるものではない。ＲａｗＩｎｐｕｔなどの物理層に近い仕組みを用いて表示ポインタの位置や移動などの動作情報を取得してもよい。その場合には、より遅滞なく表示ポインタの位置補正が可能となるため、より迅速かつ円滑な位置補正が可能になる。
【００７０】
また、非表示の検出ウィンドウＤに別のウィンドウが重なり、検出ウィンドウＤが背面に後退すると、表示ポインタの侵入がマルチ画面システムＭから検出ウィンドウＤに通知されない場合がある。その場合、検出ウィンドウＤが常時最前面になるようマルチ画面システムＭに指示することが好ましい。また、マルチ画面システムＭがアイドル状態になるなどのタイミングで、非表示の検出ウィンドウＤが最前面にくるよう重ね順（Ｚオーダー）の制御を行うことが好ましい。
【００７１】
なお、図３に示すイベント処理では、表示ポインタの移動先の座標計算を先に済ませることで、越境解除と表示ポインタの強制移動を極力短い時間間隔で連続的に行うことが好ましい。この処理により両動作の時間間隔に別のイベントメッセージが発生するなどの事態を防止し、不測の動作を排することができる。
【００７２】
また、図３に示すイベント処理では、ステップＳ１３の越境解除を先に行い、表示ポインタの強制移動（ステップＳ１４，Ｓ１５）をその直後に行っている。これは、マルチ画面システムＭにおいて処理順による移動軌跡の不具合を減らす上で有効な順番である。しかし、本開示はこの順番に限定されず、順番を入れ替えて実施してもよい。また、ユーザが補正装置１００の実行順を入れ替えて表示ポインタに移動軌跡に不具合がないかを確認し、ユーザ又は補正装置１００がより適切な実行順や実行タイミングを選択設定できるようにしてもよい。
【００７３】
また、本実施形態は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「隣接画面側の隣接境界域Ｎ」に移動する。しかしながら、本開示はこれに限定されない。
例えば、本開示は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「隣接境界域Ｎを越えた隣接画面」に移動させてもよい。このような処理は移動方向に対してヒステリシスを加えることになるため、越境直後のチャタリング発生（手ぶれなどにより表示ポインタが元画面に逆に戻る現象）を一層抑制することが可能になる。
【００７４】
その場合に、隣接境界域Ｎに入る前の表示ポインタの移動変位（離散間隔）の経過を補正部１２が監視し、その移動速度や更には複数次の移動変化分（移動加速度等）に応じて（例えば離散間隔の経過から越境後に出現すると予測される位置の近傍に）表示ポインタを越境させることが好ましい。
例えば、図８に示す表示ポインタの時刻ｔ０〜ｔ２における表示ポインタの移動速度に基づいて、越境後の時刻ｔ３の表示ポインタの出現位置は次式のように予測される。
【００７５】
【数１】
2019079450.tif 000003
上記の式中において、Ｘ（ｔｎ）及びＹ（ｔｎ）は時刻ｔｎ（ｎ＝０〜３）における表示ポインタのデスクトップ座標のＸＹ座標値、αは隣接画面間のＹ軸方向における画素幅の実寸比、βは隣接画面間のＸ軸方向における画素幅の実寸比、Ｙ０は画面１，２の境界線方向における位置合わせの基準位置である。
【００７６】
このようにして表示ポインタの速度補正が可能になる。その結果、越境する瞬間に表示ポインタの移動速度がもたつくことが少なくなり、より円滑な表示ポインタの越境が実現する。なお、この速度補正は、境界線に直交する方向のみで実施してもよい。
また例えば、本開示は、はみ出し域Ｂや隣接境界域Ｎに位置する表示ポインタを「現画面側」に条件的または時間的に「保留」させてもよい。この動作により隣接画面へ表示ポインタが強制移動されることが条件的または時間的に抑制され、現画面の隣接境界付近での細かなＧＵＩ操作など表示ポインタに関する操作性を高めることができる。
【００７７】
なお、この「保留」タイプの処理では、表示ポインタの移動速度を検出し、移動速度の大小に応じて越境か保留かを決定することが好ましい。例えば、補正装置１００は、表示ポインタの境界へ向かう速度成分が比較的遅い場合、ユーザは現画面の隣接境界付近での細かな操作を行うものと判定して表示ポインタを現画面に保留する。逆に、補正装置１００は、表示ポインタの境界へ向かう速度成分が比較的速い場合、ユーザは隣接画面へ表示ポインタを移動させるものと判定して表示ポインタを隣接画面（または隣接画面側の隣接境界域Ｎ）へ移動させる。この越境／保留の判定には、表示ポインタの移動方向や移動軌跡（ユーザが越境を意図している場合は一直線または低曲率の軌道になる）を加味してユーザの意図を判定することが好ましい。さらに、ユーザによる表示ポインタの操作履歴を蓄積してＡＩ処理することにより、越境／保留の判定ルーチンを自動生成してもよい。
【００７８】
また、上述した補正装置１００の少なくとも一部（または全部）を、マルチ画面システムＭを構成するＣＰＵやＧＰＵ（グラフィック・プロセッシング・ユニット）や表示ユニットや周辺回路や周辺装置などの一部としてハードウェア的に実現してもよい。また、上述した補正装置１００の少なくとも一部（または全部）を、コンピュータ（ＣＰＵやＧＰＵ）を補正装置１００として機能させるプログラム（ＯＳ又はアプリケーション）によってソフトウェア的に実現してもよい。さらに、サーバなどからサービスをクライアント側に提供するシステムにおいて、上述したような補正方法の一部処理（または全部）を、単体サービスや、別のアプリケーションに付随するサービスとして提供してもよい。なお、本実施形態は、マルチ画面システムＭを、通信路やネットワークなど介した複数装置からなるシステムとして構成してもよい。
【産業上の利用可能性】
【００７９】
以上説明したように、本開示はマルチ画面システムにおける表示ポインタの移動を円滑化する用途に利用することができる。
【符号の説明】
【００８０】
Ｂ…はみ出し域、Ｄ…検出ウィンドウ、Ｍ…マルチ画面システム、Ｎ…隣接境界域、１０…判定部、１２…補正部、１４…禁止部、１６…越境部、１００…補正装置
【図１】
2019079450.tif 000004
【図２】
2019079450.tif 000005
【図３】
2019079450.tif 000006
【図４】
2019079450.tif 000007
【図５】
2019079450.tif 000008
【図６】
2019079450.tif 000009
【図７】
2019079450.tif 000010
【図８】
2019079450.tif 000011
【図９】
2019079450.tif 000012
【手続補正書】
【提出日】平成30年1月17日(2018.1.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
その場合に、隣接境界域Ｎに入る前の表示ポインタの移動変位（離散間隔）の経過を補正部１２が監視し、その移動速度や更には複数次の移動変化分（移動加速度等）に応じて（例えば離散間隔の経過から越境後に出現すると予測される位置の近傍に）表示ポインタを越境させることが好ましい。
例えば、図８に示す表示ポインタの時刻ｔ０〜ｔ２における表示ポインタの移動速度に基づいて、越境後の時刻ｔ３の表示ポインタの出現位置は図８に示すように予測される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】削除
【補正の内容】
【手続補正書】
【提出日】平成30年10月11日(2018.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対して、前記表示ポインタの位置補正を行う補正装置であって、
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定部と、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理し、前記表示ポインタが前記隣接境界域に位置すると、仮想的に隣接する２画面の境界線方向における画素幅の実寸比に応じて、前記表示ポインタの境界線方向の位置を縮尺補正する補正部とを備え、
前記補正部は、
前記表示ポインタの移動可能な範囲を、表示ポインタが位置する画面域内に制限しておくことで、事前に、前記表示ポインタが位置する画面から隣接画面への越境を禁止する禁止部と、
前記表示ポインタが前記隣接境界域に位置すると、前記表示ポインタの移動可能な範囲を、前記表示ポインタの越境先の画面域内に切り替えて、前記表示ポインタを越境させる越境部とを含み、
前記禁止部および前記越境部による段階的な処理により、前記表示ポインタが前記隣接境界域を飛び越えることを一旦は抑止して、前記隣接境界域における前記表示ポインタの捕捉率を高め、前記縮尺補正の失敗を軽減する
ことを特徴とする補正装置。
【請求項２】
コンピュータを、
請求項１に記載の前記判定部、および前記補正部として
機能させるためのプログラム。
【請求項３】
複数の画面を仮想配置する座標空間上で表示ポインタの移動を管理するマルチ画面システムに対して、前記表示ポインタの位置補正を行う補正サービスをサーバからクライアントに提供するサービス提供方法であって、
前記座標空間において、複数の前記画面が仮想的に隣接する隣接境界域と、前記隣接境界域から前記画面の一方がはみ出して他の画面と隣接しないはみ出し域とを求める判定ステップと、
前記表示ポインタが前記はみ出し域に位置すると、前記表示ポインタの位置を前記隣接境界域または隣接画面に移動処理し、前記表示ポインタが前記隣接境界域に位置すると、仮想的に隣接する２画面の境界線方向における画素幅の実寸比に応じて、前記表示ポインタの境界線方向の位置を縮尺補正する補正ステップとを備え、
前記補正ステップは、
前記表示ポインタの移動可能な範囲を、表示ポインタが位置する画面域内に制限しておくことで、事前に、前記表示ポインタが位置する画面から隣接画面への越境を禁止する禁止ステップと、
前記表示ポインタが前記隣接境界域に位置すると、前記表示ポインタの移動可能な範囲を、前記表示ポインタの越境先の画面域内に切り替えて、前記表示ポインタを越境させる越境ステップとを含み、
前記禁止ステップおよび前記越境ステップによる段階的な処理により、前記表示ポインタが前記隣接境界域を飛び越えることを一旦は抑止して、前記隣接境界域における前記表示ポインタの捕捉率を高め、前記縮尺補正の失敗を軽減する
ことを特徴とするサービス提供方法。