(57)【要約】【課題】本発明は、インタラクティブ機能の利用性を向上させる。【解決手段】画像表示システム１は、プロジェクタ装置ＰＪが、情報処理装置ＪＳから通信回線Ｌを介して表示用画像データと検査用画像データを受信し、表示用画像データに基づいて、投影面ＴＭ上に画像を表示する。投影面ＴＭ上で電子ペンＰｎによって指示操作されると、座標位置取得送信部ＺＰが、指示操作された位置の座標を取得して座標位置情報をプロジェクタ装置ＰＪ及び情報処理装置ＪＳへ出力する。情報処理装置ＪＳは、座標位置にマウスポインタ等の画像加工を行ってプロジェクタ装置ＰＪへ出力し、プロジェクタ装置ＰＪは、座標位置情報を受け取ってから画像加工を検出するまでの経過時間を計測して、経過時間に応じて、情報処理装置ＪＳにおける画像加工の実行制御を行う。【選択図】          図１
2015045730.tif 000002
【特許請求の範囲】
【請求項１】
有線と無線の少なくともいずれかの通信回線で接続されている画像出力装置から該通信回線を介して入力される表示用画像データと検査用画像データを受信する受信手段と、
前記受信手段の受信した前記表示用画像データに基づいて表示面上に画像を表示する表示手段と、
前記表示手段によって前記表示面に表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得手段と、
前記座標情報取得手段の出力する前記指示操作毎の前記座標情報を取得し、前記画像出力装置において表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出手段と、
前記座標情報取得手段の出力する前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出手段が前記加工画像を検出するまでの経過時間を計時する計時手段と、
前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を前記画像出力装置に対して行う画像加工制御手段と、
を備えていることを特徴とする画像表示装置。
【請求項２】
前記画像加工制御手段は、
前記経過時間が予め設定されている閾値時間よりも長いと、前記座標情報に基づく前記表示元画像データから前記表示用画像データを生成する際の前記画像加工の実行制御指示として、該画像加工の停止指示を前記画像出力装置に行うことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記画像加工制御手段は、
前記経過時間が前記閾値時間よりも短いと、前記実行制御指示として、前記座標情報に基づく画像加工の実施指示を前記画像出力装置に行うことを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記画像加工制御手段は、
前記経過時間を、予め設定されている第１閾値時間及び該第１閾値時間よりも短い第２閾値時間と比較し、該経過時間が該第１閾値時間よりも長いと、前記表示元画像データから前記表示用画像データを生成する際の前記画像出力装置に対する前記画像加工の実行制御指示として、前記座標情報に基づく画像加工の停止指示を行ない、該経過時間が該第２閾値時間よりも短いと、該画像加工の実施指示を行ない、該経過時間が該第１閾値時間と該第２閾値時間の間であると、現在実行中の画像処理を継続させることを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記画像変化検出手段は、
前記座標情報に基づく前記表示元画像データから前記表示用画像データを生成する際の画像加工の停止指示を行う際に、該画像加工が停止中であることを示す特定画像を前記表示元画像データに重ね合わせて該表示用画像データとする画像加工を指示することを特徴とする請求項１から請求項４のいずれかに記載の画像表示装置。
【請求項６】
前記画像表示装置は、
プロジェクタ装置、または、電子黒板装置であることを特徴とする請求項１から請求項５のいずれかに記載の画像表示装置。
【請求項７】
画像データを生成して出力する画像出力装置と、前記画像出力装置からの画像データを受信して表示面上に画像を表示する画像表示装置と、が有線と無線の少なくともいずれかの通信回線で接続されている画像表示システムであって、
前記画像表示装置は、
前記画像出力装置から前記通信回線を介して入力される表示用画像データと検査用画像データを受信する受信手段と、
前記受信手段の受信した前記表示用画像データに基づいて表示面上に画像を表示する表示手段と、
前記表示手段によって前記表示面に表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得手段と、
前記座標情報取得手段の出力する前記指示操作毎の前記座標情報を取得し、前記画像出力装置において表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出手段と、
前記座標情報取得手段の出力する前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出手段が前記加工画像を検出するまでの経過時間を計時する計時手段と、
前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を前記画像出力装置に対して行う画像加工制御手段と、
を備え、
前記画像出力装置は、
前記画像表示装置に表示させる表示元画像データを生成する画像データ生成手段と、
前記座標情報取得手段の出力する前記座標情報を取得し、前記画像データ生成手段の生成した表示元画像データのうち、該座標情報の示す座標位置近傍の画像データに画像加工を施す画像加工手段と、
前記画像加工手段の加工した画像データを、前記検査用画像データとして前記画像表示装置へ送信するとともに、前記画像表示装置の前記画像加工制御手段からの前記実行制御指示に応じて前記表示元画像データと前記加工画像データを選択的に前記表示用画像データとして該画像表示装置へ送信する送信制御手段と、
を備えていることを特徴とする画像表示システム。
【請求項８】
有線と無線の少なくともいずれかの通信回線で接続されている画像出力装置から該通信回線を介して入力される表示用画像データと検査用画像データを受信する受信処理ステップと、
前記受信処理ステップで受信された前記表示用画像データに基づいて表示面上に画像を表示する表示処理ステップと、
前記表示処理ステップで前記表示面に表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得処理ステップと、
前記座標情報取得処理ステップで出力される前記指示操作毎の前記座標情報を取得し、前記画像出力装置において表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出処理ステップと、
前記座標情報取得処理ステップで出力される前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出処理ステップで前記加工画像が検出されるまでの経過時間を計時する計時処理ステップと、
前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を前記画像出力装置に対して行う画像加工制御処理ステップと、
を有することを特徴とする画像表示制御方法。
【請求項９】
制御プロセッサに、
有線と無線の少なくともいずれかの通信回線で接続されている画像出力装置から該通信回線を介して入力される表示用画像データと検査用画像データを受信する受信処理と、
前記受信処理で受信された前記表示用画像データに基づいて表示面上に画像を表示する表示処理と、
前記表示処理で前記表示面に表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得処理と、
前記座標情報取得処理で出力される前記指示操作毎の前記座標情報を取得し、前記画像出力装置において表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出処理と、
前記座標情報取得処理で出力される前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出処理で前記加工画像が検出されるまでの経過時間を計時する計時処理と、
前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を前記画像出力装置に対して行う画像加工制御処理と、
を実行させることを特徴とする画像表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示システム、画像表示制御方法及び画像表示制御プログラムに関し、詳細には、インタラクティブ機能を利用性が良好な状態で使用する画像表示装置、画像表示システム、画像表示制御方法及び画像表示制御プログラムに関する。
【背景技術】
【０００２】
プロジェクタ装置や電子ボード等の画像表示装置は、コンピュータ、スマートフォン、タブレット等の外部装置から入力される画像データに基づいて、表示面に画像を表示する画像表示装置がある。
【０００３】
このような画像表示装置は、表示画面に外部装置から画像データを入力して表示画面に画像を表示させ、該表示画面上の画像を、指、ポインティングディバイス等の指示体で指し示して、説明等を行うのに使用される。画像表示装置は、このような指示体による画像の指示操作が行われると、指示された表示画面の座標位置情報を、画像を入力している外部装置へ送信する。外部装置は、指示操作の座標位置情報が送られてくると、指示対象画像に対して、マウスポインタ画像等の指示画像を重畳する等の画像加工を行って、加工画像を画像表示装置に送信し、画像表示装置が該加工画像を表示させるというインタラクティブ表示を行う（特許文献１等参照）。
【０００４】
画像表示装置は、インタラクティブ表示においては、指示操作が行われてから、該指示操作に応じた加工画像が外部装置で加工されて送信されてくるため、加工画像が送信されてきて表示画面に表示するまでに、大きな遅延が発生することがある。
【０００５】
例えば、プロジェクタ装置において、プロジェクタ装置とコンピュータをネットワークを介して接続して画像投影する場合、ネットワーク固有の処理や通信網の混み具合及びコンピュータの性能や実行タスクの状況等によって画像追従性が悪くなることがある。
【０００６】
そこで、従来、プロジェクタ装置等の画像表示装置は、画像の入力経路として、ネットワークが選択されている場合には、インタラクティブ機能自体の使用を禁止するようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術にあっては、ネットワーク環境においてはインタラクティブ機能自体の使用が禁止されるため、実際の使用環境においては使用者が許容できる追従性が確保できる場合であっても、使用者は、インタラクティブ機能を使うことができず、利用性が悪い。一方、何の制限もなくインタラクティブ機能の利用が可能であると、追従性の問題が生じた場合に、使用者が不快な思いをしたり、利用性がかえって悪化するという問題があった。
【０００８】
そこで、本発明は、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１記載の画像表示装置は、有線と無線の少なくともいずれかの通信回線で接続されている画像出力装置から該通信回線を介して入力される画像データに基づいて表示面上に画像を表示する表示手段と、前記表示面において指し示された位置の座標を取得して座標情報を出力する座標情報取得手段と、前記座標情報取得手段の出力する前記座標情報を取得し、前記画像出力装置が該座標情報に基づいて該座標情報の示す座標位置近傍に施した加工画像の有無を検出する画像変化検出手段と、前記座標情報取得手段の出力する前記座標情報を取得し、該座標情報を取得した時点から前記画像変化検出手段が前記加工画像を検出するまでの経過時間を計時する計時手段と、前記経過時間に基づいて、前記座標情報に基づく画像加工の実行制御指示を前記画像出力装置に対して行う画像加工制御手段と、を備えていることを特徴としている。
【発明の効果】
【００１０】
本発明によれば、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例を適用した画像表示システムの概略構成図。
【図２】ディスプレイボードを用いた画像表示システムの概略構成図。
【図３】画像表示システムのブロック構成図。
【図４】画像加工の一例を示す図。
【図５】画像表示制御処理を示すフローチャート。
【図６】時間管理の説明図。
【図７】経過時間と基準時間の関係を示す図。
【図８】経過時間と２つの基準時間の関係を示す図。
【図９】２つの基準時間に基づく画像表示制御処理を示すフローチャート。
【図１０】インタラクティブ停止通知を伴う画像表示制御処理を示すフローチャート。
【図１１】インタラクティブ停止通知の説明図。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるので、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明によって不当に限定されるものではなく、また、本実施の形態で説明される構成の全てが本発明の必須の構成要件ではない。
【実施例１】
【００１３】
図１〜図１１は、本発明の画像表示装置、画像表示システム、画像表示制御方法及び画像表示制御プログラムの一実施例を示す図であり、図１は、本発明の画像表示装置、画像表示システム、画像表示制御方法及び画像表示制御プログラムの一実施例を適用した画像表示システム１の概略構成図である。
【００１４】
図１において、画像表示システム１は、プロジェクタ装置（画像表示装置）ＰＪとコンピュータ、複合装置、スマートフォン、タブレット等の情報処理装置（画像出力装置）ＪＳとが、有線、無線のうち少なくとも一方からなる通信回線Ｌによって接続されている。
【００１５】
情報処理装置ＪＳは、自装置が取得した画像データ、自装置のアプリケーションで作成されたり、他の装置から取得した画像データに必要な画像処理を施して、有線・無線の通信回線Ｌを介して画像データをプロジェクタ装置ＰＪに送信する。
【００１６】
通信回線Ｌは、近距離の有線または無線あるいは有線と無線の双方による専用線、中距離のＬＡＮ（Local Area Network）、遠距離のインターネット等である。
【００１７】
プロジェクタ装置ＰＪは、入力される画像データに対して、画像投影に最適な画像処理を施した上で投影面（表示面）ＴＭへ投影画像の投影を行う。投影面ＴＭとしては、高品質な投影画像が必要な場合には、プロジェクタ投影専用のスクリーンが用いられ、高画質を必要としない場合には、白色あるいは淡いパステルカラーの壁面やホワイトボード等が用いられる。
【００１８】
画像表示システム１は、解説者等のユーザが指示機材、例えば、電子ペンＰｎを使用して投影面ＴＭ上の画像を指示操作すると、指示操作されている投影面ＴＭ上の座標位置を取得する座標位置取得送信部ＺＰを備えている。座標位置取得送信部ＺＰは、取得した座標位置情報を無線や有線でプロジェクタ装置ＰＪ及び情報処理装置ＪＳへ送信する。
【００１９】
座標位置取得送信部ＺＰは、電子ペンＰｎによる投影面ＴＭ上への指示座標位置を、投影面ＴＭ上を撮像素子で撮像する方法、投影面ＴＭに埋め込まれている座標位置情報取得デバイスを用いる方法等の種々の方法を用いることができる。
【００２０】
なお、図１において、画像表示システム１は、画像表示装置としてプロジェクタ装置ＰＪが用いられている場合について示されているが、画像表示装置は、プロジェクタ装置ＰＪに限るものではない。画像表示装置は、例えば、図２に示すように、ディスプレイボード（電子黒板）ＤＢであってもよい。また、以下の説明では、画像表示装置としてプロジェクタ装置ＰＪが用いられているものとして説明するが、ディスプレイボードＤＢであっても同様である。なお、ディスプレイボードＤＢは、ディスプレイボードＤＢ自体が表示面ＴＭを備えている。
【００２１】
そして、画像表示システム１は、プロジェクタ装置ＰＪ及び情報処理装置ＪＳが、図３に示すように構成されている。
【００２２】
すなわち、プロジェクタ装置ＰＪは、基本的には、通常のプロジェクタ装置としてのハードウェア構成に、通常のプロジェクタ装置としてのプログラム及び本発明の画像表示制御プログラムを搭載している。すなわち、プロジェクタ装置ＰＪは、コントローラ、画像処理部及び画像投影部等を備えている。コントローラは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えている。コントローラは、ＲＯＭ内のプログラムに基づいてＲＡＭをワークメモリとして利用しつつプロジェクタ装置ＰＪの各部を制御してプロジェクタ装置ＰＪとしての基本処理を実行するとともに、本発明の画像表示制御処理を実行する。画像処理部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられ、情報処理装置ＪＳから送られてくる画像データを、画像投影部で投影するのに適した画像処理を施す。画像投影部は、例えば、投影光の光源である光源部と光源部からの投影光を画像処理部から渡される画像データに基づいて投影画像光に変換する照明光学系を有する。
【００２３】
プロジェクタ装置ＰＪは、ＲＯＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ（CompacＴｄisc Read Only Memory ）、ＣＤ−ＲＷ（CompacＴｄisc Rewritable ）、ＤＶＤ（Digital Versatile Disk）、ＳＤ（Secure Digital）カード、ＭＯ（Magneto-Optical Disc）等のコンピュータが読み取り可能な記録媒体に記録されている本発明の画像表示制御方法を実行する画像表示制御プログラムを読み込んでＲＯＭ等に導入することで、後述する表示画像に表示画像に対する指示に応じて加工画像を表示する際における加工画像の表示を利用性を向上させつつ制御する画像表示装置であるプロジェクタ装置として構築されている。この画像表示制御プログラムは、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。
【００２４】
そして、プロジェクタ装置ＰＪは、上記画像表示制御プログラムが導入されることで、図３に示すように、画像データ変換部１１、画像出力部１２、画像変化検出部１３、時間計測部１４、画像加工指示部１５、座標位置情報受信部１６及び座標データ変換部１７等が構築されている。
【００２５】
画像データ変換部（受信手段）１１は、情報処理装置ＪＳから通信回線Ｌを介して送られてくる画像データを受信し、情報処理装置ＪＳからは、１画面（フレーム）毎に、適宜のタイミングで表示用画像データと検査用画像データが送信されてくる。画像データ変換部１１は、該両画像データを表示イメージ等の投影部である画像出力部１２が処理可能なデータ形式（以下、表示イメージデータという。）に変換して、表示用画像データを画像出力部１２へ渡し、検査用画像データを画像変化検出部１３へ渡す。
【００２６】
画像出力部（表示手段）１２は、上記投影部等で構築され、表示用画像データから変換された表示用イメージデータに基づいて１フレームの画像を投影面ＴＭ上に投影する。
【００２７】
ユーザは、この投影面ＴＭ上に投影されている画像を、適宜、電子ペンＰｎで指し示しながら説明等を行う。
【００２８】
座標位置取得送信部ＺＰは、指示操作されている投影面ＴＭ上の座標位置を、指示操作される毎に取得し、取得した各指示操作における各座標位置情報を無線や有線でプロジェクタ装置ＰＪ及び情報処理装置ＪＳへ送信する。
【００２９】
座標位置情報受信部（座標情報取得手段）１６は、上記座標位置取得送信部ＺＰから送信されてくる座標位置情報を受信する。座標位置情報受信部１６は、受信した座標位置情報を座標データ変換部１７へ出力するとともに、時間計測部１４へ座標位置情報を受信した旨を時間計測部１４へ出力する。
【００３０】
座標データ変換部１７は、座標位置情報受信部１６から渡される座標位置情報を、プロジェクタ装置ＰＪが投影面ＴＭ上に投影する画像における位置として特定可能な座標位置データ（座標位置情報）に変換する。座標データ変換部１７は、変換した座標位置情報を画像変化検出部１３へ出力する。
【００３１】
画像変化検出部（画像変化検出手段）１３は、画像データ変換部１１から渡される検査用画像データから変換した検査用イメージデータの画像において、座標データ変換部１７から渡された座標位置情報の示している座標位置近傍のイメージデータに変化があるか否かを検出する。すなわち、画像変化検出部１３は、画像データ変換部１１が受信して変換した検査用フレームイメージデータを受け取って、例えば、少なくとも１フレーム前のフレームイメージデータ（以下、単に、前フレームデータという。）と今回受け取ったフレームイメージデータ（以下、現フレームデータという。）を記憶するメモリを備えている。そして、画像変化検出部１３は、前フレームデータと現フレームデータのうち、座標位置情報の示している座標位置近傍の検査用イメージデータ（画素同士）を比較して、変化があるか、例えば、加工画像が存在するか否かの検出を行う。画像変化検出部１３は、画像変化の有無の検出結果（変化有り、変化無し）を時間計測部１４へ出力する。
【００３２】
時間計測部１４は、クロック発振器とカウンタ等を備え、経過時間Ｔｄの計時を行う。すなわち、時間計測部１４は、上記座標位置情報受信部１６から座標位置情報を受信した旨の通知があると、該通知時刻を開始時刻ｔ０として、経過時間Ｔｄの計時を開始し、画像変化検出部１３から変化有りの検出結果が入力されるまでの経過時間Ｔｄを計測する。時間計測部１４は、計測した経過時間Ｔｄを画像加工指示部１５へ出力する。
【００３３】
画像加工指示部（画像加工制御手段）１５は、情報処理装置ＪＳに座標位置情報に基づく画像加工処理（以下、適宜、インタラクティブ処理ともいう。）を行わせるか否かの基準時間（閾値時間）ｔｃを記憶している。画像加工指示部１５は、時間計測部１４から経過時間Ｔｄが入力されると、該経過時間Ｔｄと基準時間ｔｃを比較して、情報処理装置ＪＳによるインタラクティブ処理の実行／実行停止のインタラクティブ指示（実行制御指示）を、通信回線Ｌを介して情報処理装置ＪＳへ送信する。
【００３４】
情報処理装置ＪＳは、通常のハードウェア構成、ソフトウェア構成のコンピュータ、複合装置、スマートフォン、タブレット等の情報処理装置が用いられ、特に、本発明の画像表示制御方法を実行する画像表示制御プログラムのうち、情報処理装置上で実行する部分のプログラムを搭載している。
例えば、情報処理装置ＪＳは、例えば、コンピュータが用いられている場合、一般的に、ハードディスク、ＲＯＭ、ＲＡＭ等のメモリ、ＣＰＵ、ディスプレイ、キーボード、マウス等の入力部等の通常のハードウェア構成を備えていて、該ハードウェアのメモリに、ウィンドウズ（登録商標）等のＯＳ（Operating System）、文書作成ソフトウェア、図形作成ソフトウェア、表計算ソフトウェア、データベースソフトウェア等のアプリケーション及びプリンタドライバ等のソフトウェアが搭載されている。そして、情報処理装置ＪＳは、ＲＯＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ（CompacＴｄisc Read Only Memory ）、ＣＤ−ＲＷ（CompacＴｄisc Rewritable ）、ＤＶＤ（Digital Versatile Disk）、ＳＤ（Secure Digital）カード、ＭＯ（Magneto-Optical Disc）等のコンピュータが読み取り可能な記録媒体に記録されている本発明の画像表示制御方法のうち、情報処理装置ＪＳが実行する部分の画像表示制御方法に応じた画像表示制御プログラムを読み込んでメモリ等に導入することで、画像表示制御方法を実行する情報処理装置として構築されている。このプログラムは、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。
【００３５】
そして、情報処理装置ＪＳは、上記画像表示制御プログラムが導入されることで、図３に示すように、画像データ生成部２１、画像データ加工部２２、加工制御部２３、画像データ変換部２４、座標位置情報受信部２５及び座標データ変換部２６等が構築される。
【００３６】
画像データ生成部（画像データ生成手段）２１は、ユーザによって作成等されプロジェクタ装置ＰＪに表示させる画像の画像データを１フレームずつ生成し、表示元画像データとして画像データ加工部２２及び加工制御部２３へ出力する。
【００３７】
画像データ加工部（画像加工手段）２２は、マウスポインタ画像ＭＧ（図４参照）等の複数の加工画像や画像加工処理内容を内部メモリ等に予め保管しており、後述する座標データ変換部２６から座標位置情報が入力される。画像データ加工部２２は、画像データ生成部２１から渡される１フレームの表示元画像データのうち、座標データ変換部２６から渡される座標位置情報に対応する画像データ領域に対して、内部メモリ内の画像加工処理のうち、選択された画像加工処理を実行する。画像データ加工部２２は、画像加工として、例えば、選択された加工画像で座標位置を中心とした周囲の表示元画像データを書き換える画像加工、表示元画像データの座標位置を中心とする所定領域の画像データの論理を反転させる画像加工、該領域の画像データの明度／彩度が変化するようなデータ変換を行う画像加工等を加工処理を行う。画像データ加工部２２は、内部メモリに格納している複数の画像加工処理内容のうち、適宜の画像加工処理を、表示元画像データに対して行い、加工後の画像データ（以下、適宜、加工画像データという。）を、加工制御部２３及び画像データ変換部２４へ出力する。なお、画像データ加工部２２は、画像加工を行う場合、プロジェクタ装置ＰＪまたは電子ペンＰｎから画像加工方法を指定する画像加工指定信号を受け取って、該画像加工指定信号に応じた画像加工を行うようにしてもよい。
【００３８】
座標位置情報受信部２５は、上記座標位置取得送信部ＺＰから送信されてくる座標位置情報を受信し、受信した座標位置情報を座標データ変換部２６へ出力する。
【００３９】
座標データ変換部２６は、座標位置情報受信部２５から渡される座標位置情報を、画像データ生成部２１が生成するフレームの表示元画像データ上における位置を特定可能な座標データ（座標位置情報）に変換する。座標データ変換部２６は、変換した座標位置情報を上記画像データ加工部２２へ出力する。
【００４０】
加工制御部２３は、上記画像データ生成部２１から表示元画像データが、画像データ加工部２２から加工画像データが、それぞれ入力されるとともに、プロジェクタ装置ＰＪから通信回線Ｌを介してインタラクティブ指示が入力される。加工制御部２３は、インタラクティブ実行を指示するインタラクティブ指示がプロジェクタ装置ＰＪから送られてくると、画像データ加工部２２からの加工画像データを画像データ変換部２４へ表示用画像データとして出力する。加工制御部２３は、インタラクティブ実行停止を指示するインタラクティブ指示がプロジェクタ装置ＰＪから送られてくると、画像データ生成部２１から入力される表示元画像データを画像データ変換部へ表示用画像データとして出力する。
【００４１】
加工制御部２３は、画像データ生成部２１から渡される表示元画像データと、画像データ加工部２２で画像加工された加工画像データのいずれかを選択して、表示用画像データとして画像データ変換部２４へ出力する。この場合、加工制御部２３は、プロジェクタ装置ＰＪからのインタラクティブ指示に変化がないときには、いままで画像データ変換部２４へ出力していた画像データを、そのまま表示用画像データとして画像データ変換部２４へ出力する。
【００４２】
画像データ変換部２４は、加工制御部２３から渡される表示用画像データと画像データ加工部２２から渡される検査用画像データを、プロジェクタ装置ＰＪに画像を送るのに適した画像データに変換する。画像データ変換部２４は、この画像データの変換として、例えば、データ圧縮、通信方式に応じたフォーマットへの変換等を行う。画像データ変換部２４は、変換した表示用画像データ及び検査用画像データを、通信回線Ｌを介してプロジェクタ装置ＰＪへ送信する。
【００４３】
次に、本実施例の作用について説明する。本実施例の画像表示システム１は、表示画像に対する指示に応じて加工画像を該表示画面に表示する際における加工画像の表示を、利用性を向上させつつ制御する。
【００４４】
画像表示システム１は、情報処理装置ＪＳから１フレーム分の画像データをプロジェクタ装置ＰＪへ通信回線Ｌを介して送信する。
【００４５】
プロジェクタ装置ＰＪは、画像データ変換部１１が、情報処理装置ＪＳから送信されてきた表示用画像データ及び検査用画像データを表示イメージデータに変換する。画像データ変換部１１は、表示用画像データを変換した表示イメージデータ（表示用イメージデータという。）を画像出力部１２へ、検査用画像データを変換した表示イメージデータ（検査用イメージデータ）を画像変化検出部１３へそれぞれ渡す。
【００４６】
画像出力部１２は、該表示用イメージデータに基づいて画像を投影面ＴＭ上に投影する。
【００４７】
ユーザは、投影面ＴＭ上に投影されている画像の適宜の位置を、電子ペンＰｎで指し示して説明等を行う。
【００４８】
画像表示システム１は、電子ペンＰｎで投影面ＴＭ上の画像が指し示されると、座標位置取得送信部ＺＰが、指示操作されている投影面ＴＭ上の座標位置を取得し、取得した座標位置情報を無線や有線でプロジェクタ装置ＰＪ及び情報処理装置ＪＳへ送信する。
【００４９】
プロジェクタ装置ＰＪは、座標位置取得送信部ＺＰから座標位置情報が送信されてくると、座標位置情報受信部１６が受信して、時間計測部１４に座標位置情報を受信した旨を通知する。時間計測部１４は、該座標位置情報を受信した旨の通知があった通知時刻を開始時刻ｔ０として、経過時間Ｔｄの計時を開始する。また、座標位置情報受信部１６は、受信した座標位置情報を座標データ変換部１７に渡す。座標データ変換部１７は、該座標位置情報を、プロジェクタ装置ＰＪが投影面ＴＭ上に投影する画像における位置として特定可能な座標位置情報に変換して、画像変化検出部１３へ出力する。
【００５０】
一方、情報処理装置ＪＳは、座標位置情報受信部２５が、座標位置取得送信部ＺＰから座標位置情報を受信すると、該座標位置情報を座標データ変換部２６へ渡す。座標データ変換部２６は、該座標位置情報を、画像データ生成部２１が生成するフレームの表示元画像データ上における位置を特定可能な座標位置情報に変換し、変換した座標位置情報を画像データ加工部２２へ出力する。画像データ加工部２２は、画像データ生成部２１から渡される表示元画像データのうち、座標位置情報で特定される座標位置の画像データに対して、画像加工を施して、加工画像データとして加工制御部２３へ出力する。また、画像データ加工部２２は、加工画像データを、画像データ変換部２４へ検査用画像データとして出力する。画像データ加工部２２は、この画像加工として、例えば、図４に加工前と加工後の投影面ＴＭ上の画像と電子ペンＰｎにより指示された部分画像の拡大図を示すように、例えば、マウスポインタＭＧを加工画像として重畳する画像加工を行う。
【００５１】
加工制御部２３は、インタラクティブ実行を指示するインタラクティブ指示がプロジェクタ装置ＰＪから送られてくると、画像データ加工部２２からの加工画像データを画像データ変換部２４へ表示用画像データとして出力する。加工制御部２３は、インタラクティブ実行停止を指示するインタラクティブ指示がプロジェクタ装置ＰＪから送られてくると、画像データ生成部２１から入力される表示元画像データを画像データ変換部へ表示用画像データとして出力する。すなわち、加工制御部２３は、画像データ生成部２１から渡される表示元画像データと、画像データ加工部２２で画像加工された加工画像データのいずれかを選択して、表示用画像データとして画像データ変換部２４へ出力する。この場合、加工制御部２３は、プロジェクタ装置ＰＪからのインタラクティブ指示に変化がないときには、いままで画像データ変換部２４へ出力していた画像データを、そのまま表示用画像データとして画像データ変換部２４へ出力する。
【００５２】
画像データ変換部２４は、画像データ加工部２２から渡される検査用画像データと加工制御部２３から渡される表示用画像データをプロジェクタ装置ＰＪへ送信するのに適した画像データに変換して通信回線Ｌを介してプロジェクタ装置ＰＪへ送信する。
【００５３】
プロジェクタ装置ＰＪは、情報処理装置ＪＳから送信されてきたフレーム毎の表示用画像データ及び検査用画像データを、画像データ変換部１１が、表示イメージデータ（表示用イメージデータ、検査用イメージデータ）に変換する。画像データ変換部１１は、変換した表示用イメージデータを画像出力部１２に渡し、画像出力部１２が投影面ＴＭ上に画像として投影する。また、画像データ変換部１１は、変換した検査用イメージデータを、画像変化検出部１３に渡す。画像変化検出部１３は、検査用イメージデータの画像において、座標データ変換部１７から渡された座標位置情報の示している座標位置近傍の画像に変化があるか否かを検出する。画像変化検出部１３は、画像変化の有無の検出結果（変化有り、変化無し）を時間計測部１４へ出力する。
【００５４】
時間計測部１４は、上記通知時刻を開始時刻ｔ０として、経過時間Ｔｄの計時を開始し、画像変化検出部１３から変化有りの検出結果が入力されるまでの経過時間Ｔｄを計時する。時間計測部１４は、計時した経過時間Ｔｄを画像加工指示部１５へ出力する。
【００５５】
時間計測部１４から経過時間Ｔｄが入力されると、該経過時間Ｔｄと予め設定されている基準時間ｔｃを比較して、情報処理装置ＪＳによるインタラクティブ処理の実行／実行停止のインタラクティブ指示を、通信回線Ｌを介して情報処理装置ＪＳへ送信する。
【００５６】
すなわち、画像表示システム１は、図５に示すように、ユーザによって電子ペンＰｎによって画像の指示操作が行われて該指示の行われた座標位置情報を座標位置取得送信部ＺＰから情報処理装置ＪＳ及びプロジェクタ装置ＰＪへ送信する。
【００５７】
プロジェクタ装置ＰＪは、座標位置情報受信部１６が、該座標位置情報を受信すると（ステップＳ１０１）、時間計測部１４へ座標位置情報を受信した旨の通知を行うとともに、座標データ変換部１７へ座標位置情報を渡す。時間計測部１４は、座標位置情報受信通知を受け取ると、該通知時刻を開始時刻ｔ０として、経過時間Ｔｄの計時を開始（ｔ０＝ｔ）する（ステップＳ１０２）。ここで、ｔは、時間変数を示しており、例えば、毎秒毎にカウントアップされる。
【００５８】
座標データ変換部１７は、該座標位置情報を、プロジェクタ装置ＰＪが投影面ＴＭ上に投影する画像における位置として特定可能な座標位置情報に変換して、画像変化検出部１３へ出力する。
【００５９】
画像変化検出部１３は、座標位置情報を受け取ると、フレーム識別変数ｎを、「１」にセットし（ステップＳ１０３）、フレーム識別変数ｎのフレーム（以下、単に、フレームｎという。）の画像データを内部メモリに展開する（ステップＳ１０４）。
【００６０】
画像変化検出部１３は、フレームｎとフレーム（ｎ−１）の画像のうち、座標位置情報の示している画像位置の周辺領域の画像の差分をとって比較（差分を比較）し（ステップＳ１０５）、差分があるか判断する（ステップＳ１０６）。画像変化検出部１３は、この差分の比較において、上述のように、マウスポインタＭＧ等の画像の有無による画像の差分の有無を検出する。
【００６１】
ステップＳ１０６で、差分がないとき（ステップＳ１０６で、ＮＯのとき）には、画像変化検出部１３は、フレーム識別変数ｎを「１」だけインクリメントする（ステップＳ１０７）。画像変化検出部１３は、フレーム識別変数ｎをインクリメントすると、ステップＳ１０４へ移行して、インクリメントしたフレームｎの画像データの展開から上記同様に処理する（ステップＳ１０４〜Ｓ１０７）。
【００６２】
ステップＳ１０６で、差分があるとき（ステップＳ１０６で、ＹＥＳのとき）には、画像変化検出部１３は、画像変化があった旨の検出結果（変化有り）を時間計測部１４へ出力する。
【００６３】
時間計測部１４は、ステップＳ１０２で開始した経過時間Ｔｄの計時を停止し、経過時間Ｔｄを算出し（Ｔｄ＝ｔ−ｔ０）（ステップＳ１０８）、算出した経過時間Ｔｄを画像加工指示部１５へ通知する。
【００６４】
画像加工指示部１５は、受け取った経過時間Ｔｄを予め設定されている基準時間（閾値時間）Ｔｃと比較し、経過時間Ｔｄが基準時間Ｔｃ未満であるかチェックする（ステップＳ１０９）。
【００６５】
ステップＳ１０９で、経過時間Ｔｄが基準時間Ｔｃ未満であると（ステップＳ１０９で、ＹＥＳのとき）、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工を行う旨の指示（インタラクティブ実施指示）を送信する（ステップＳ１１０）。
【００６６】
また、ステップＳ１０９で、経過時間Ｔｄが基準時間Ｔｃ以上であると（ステップＳ１０９で、ＮＯのとき）、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工を行わない旨の指示（インタラクティブ不実施指示）を送信する（ステップＳ１１１）。
【００６７】
プロジェクタ装置ＰＪは、情報処理装置ＪＳに対して画像加工に関する指示（インタラクティブ指示）を行うと、画像投影が完了したかチェックする（ステップＳ１１２）。プロジェクタ装置ＰＪは、ステップＳ１１２で、画像投影が完了していないとき（ステップＳ１１２で、ＮＯのとき）には、ステップＳ１０１に戻って同様の処理を繰り返す（ステップＳ１０１〜Ｓ１１２）。
【００６８】
ステップＳ１１２で、画像投影が完了すると（ステップＳ１１２で、ＹＥＳのとき）、プロジェクタ装置ＰＪは、画像表示制御処理を終了する。
【００６９】
そして、画像表示システム１は、上記画像表示制御処理において、図６に示すように時間管理を行う。すなわち、プロジェクタ装置ＰＪの表示画面である投影面ＴＭに対してユーザによって電子ペンＰｎで指示操作が行われると、Ｔ１の時間をかけて電子ペンＰｎが指定座標の情報を認識して、座標位置取得送信部ＺＰへ送信する。
【００７０】
座標位置取得送信部ＺＰは、Ｔ２の時間をかけて座標位置情報を送信可能なデータに処理し、Ｔ３の時間をかけて情報処理装置ＪＳへ座標位置情報を送信し、Ｔ３時間よりも短い時間でプロジェクタ装置ＰＪへ座標位置情報を送信する。
【００７１】
プロジェクタ装置ＰＪは、座標位置情報を受信した時点をｔ０として、時間計測部１４が経過時間Ｔｄの計時を開始する。
【００７２】
一方、情報処理装置ＪＳは、座標位置情報を受信すると、プロジェクタ装置ＰＪからインタラクティブ中止の指示がない限り、Ｔ４の時間をかけて、画像データの該座標位置情報の示す画像位置付近に、マウスポインタＭＧ等の画像加工を行って、送信を開始する。
【００７３】
画像表示制御システム１は、情報処理装置ＪＳから通信回線Ｌを介してプロジェクタ装置ＰＪへ送信された加工後の画像データが、Ｔ５の時間をかけてプロジェクタ装置ＰＪで受信される。
【００７４】
プロジェクタ装置ＰＪは、Ｔ６の時間をかけて、画像データ変換部１１が受信画像データを変換して、投影可能とするとともに、画像変化検出部１３が画像変化を検出し、時間計測部１４が該画像変化の検出に応じて経過時間Ｔｄを算出する。
【００７５】
画像加工指示部１５は、この経過時間Ｔｄと基準時間Ｔｃを比較して、上述のようにインタラクティブ実施、不実施の指示を情報処理装置ＪＳに対して行う。
【００７６】
そして、画像加工指示部１５は、図７に示すように、経過時間Ｔｄと基準時間Ｔｃの比較結果が、Ｔｄ≧Ｔｃであると、画像表示の追随性が悪い状態であると判断して、情報処理装置ＪＳに対して画像加工の実施を禁止するインタラクティブ中止の指示を出す。すなわち、この場合、画像表示システム１は、情報処理装置ＪＳで画像加工が行われて加工画像データが生成されてからプロジェクタ装置ＰＪが該加工画像データを通信回線Ｌを受信して、投影面ＴＭに画像を表示するまでの追随性が悪い状態である。そこで、画像加工指示部１５は、電子ペンＰｎで指示操作された結果を加工画像として投影面ＴＭに表示させるインタラクティブ処理を行うのには、通信回線Ｌや情報処理装置ＪＳの負荷状態等がユーザの許容に耐えられる範囲ではないと判断して、インタラクティブ処理を中止する。
【００７７】
また、画像加工指示部１５は、経過時間Ｔｄと基準時間Ｔｃの比較結果が、Ｔｄ＜Ｔｃのときには、画像表示の追随性が許容される範囲であると判断して、情報処理装置ＪＳに対して画像加工の実施を指示するインタラクティブ実施指示を出す。すなわち、この場合、画像表示システム１は、情報処理装置ＪＳで画像加工が行われて加工画像データが生成されてからプロジェクタ装置ＰＪが該加工画像データを通信回線Ｌを受信して、投影面ＴＭに画像を表示するまでの追随性がユーザが許容する範囲である。そこで、画像加工指示部１５は、電子ペンＰｎで指示操作された結果を加工画像として投影面ＴＭに表示させるインタラクティブ処理を行うのに、通信回線Ｌや情報処理装置ＪＳの負荷状態等がユーザの許容に耐えられる範囲内であると判断して、インタラクティブ処理の実施を指示する。
【００７８】
なお、上記説明においては、画像加工指示部１５は、経過時間Ｔｄを１つの基準時間Ｔｃと比較して、インタラクティブの実施の可否を判断しているが、判断対象の基準時間は、１つに限るものではない。例えば、画像加工指示部１５は、図８に示すように、２つの基準時間Ｔｃ１、Ｔｃ２（Ｔｃ１＞Ｔｃ２）を用いて、インタラクティブの実施の可否を判断してもよい。ここで、基準時間（第１閾値時間）Ｔｃ１は、画像の追随性が許容されない基準時間であり、基準時間（第２閾値時間）Ｔｃ２は、画像の追随性が許容される基準時間である。
【００７９】
この場合、画像加工指示部１５は、Ｔｄ≧Ｔｃ１であると、表示状態の追随性が悪いと判断して、画像加工を実施しない、すなわちインタラクティブの実施の中止を情報処理装置ＪＳに指示する。また、画像加工指示部１５は、Ｔｃ１＞Ｔｄ≧Ｔｃ２であると、表示状態の追随性が限度レベルの状態であると判断して、いままで実施している状態の継続（現在の状態）の維持を行わせるために、何らの指示も情報処理装置ＪＳに出さない。さらに、画像加工指示部１５は、Ｔｄ＜Ｔｃであると、表示状態の追随性が許容される範囲であると判断して、画像可能の実施、すなわち、インタラクティブの実施を指示する。
【００８０】
そして、この場合、プロジェクタ装置ＰＪは、図９に示すように画像表示制御処理を行う。なお、図９において、図５と同様の処理ステップには、同一のステップナンバを付与して、その説明を簡略化する。
【００８１】
プロジェクタ装置ＰＪは、図９に示すように、座標位置情報受信部１６が座標位置情報を受信すると（ステップＳ１０１）、時間計測部１４へ座標位置情報を受信した旨の通知を行うとともに、座標データ変換部１７へ座標位置情報を渡す。時間計測部１４は、座標位置情報受信通知を受け取ると、該通知時刻を開始時刻ｔ０として、経過時間Ｔｄの計時を開始する（ステップＳ１０２）。座標データ変換部１７は、該座標位置情報を、プロジェクタ装置ＰＪが投影面ＴＭ上に投影する画像における位置として特定可能な座標位置情報に変換して、画像変化検出部１３へ出力する。
【００８２】
画像変化検出部１３は、座標位置情報を受け取ると、フレーム識別変数ｎを、「１」にセットし（ステップＳ１０３）、フレーム識別変数ｎのフレーム（フレームｎ）の画像データを内部メモリに展開する（ステップＳ１０４）。
【００８３】
画像変化検出部１３は、フレームｎとフレーム（ｎ−１）の画像のうち、座標位置情報の示している画像位置の周辺領域の画像の差分を比較し（ステップＳ１０５）、差分があるか判断する（ステップＳ１０６）。
【００８４】
ステップＳ１０６で、差分がないときには、画像変化検出部１３は、フレーム識別変数ｎを「１」だけインクリメントし（ステップＳ１０７）、インクリメントしたフレームｎの画像データの展開から上記同様に処理する（ステップＳ１０４〜Ｓ１０７）。
【００８５】
ステップＳ１０６で、差分があるときには、画像変化検出部１３は、画像変化があった旨の検出結果（変化有り）を時間計測部１４へ出力し、時間計測部１４は、経過時間Ｔｄを算出して（ステップＳ１０８）、算出した経過時間Ｔｄを画像加工指示部１５へ通知する。
【００８６】
画像加工指示部１５は、受け取った経過時間Ｔｄを予め設定されている２つの基準時間Ｔｃ１、Ｔｃ２のうちの追随性が許容される短い方の基準時間Ｔｃ２と比較し、経過時間Ｔｄが基準時間Ｔｃ２未満であるかチェックする（ステップＳ２０１）。
【００８７】
ステップＳ２０１で、経過時間Ｔｄが基準時間Ｔｃ２未満であると（ステップＳ２０１で、ＹＥＳのとき）、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工を行う旨の指示（インタラクティブ実施指示）を送信する（ステップＳ１１０）。
【００８８】
また、ステップＳ２０１で、経過時間Ｔｄが基準時間Ｔｃ２以上であると（ステップＳ２０１で、ＮＯのとき）、画像加工指示部１５は、経過時間Ｔｄが、追随性が許容されない長い方の基準時間Ｔｃ１以上であるかチェックする（ステップＳ２０２）。
【００８９】
ステップＳ２０２で、経過時間Ｔｄが基準時間Ｔｃ１以上であると（ステップＳ２０２で、ＹＥＳのとき）、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工を行わない旨の指示（インタラクティブ不実施指示）を送信する（ステップＳ１１１）。
【００９０】
ステップＳ２０２で、経過時間Ｔｄが基準時間Ｔｃ１未満であると（ステップＳ２０２で、ＮＯのとき）、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工に対する現状維持の指示をだすか、なんの指示も出さない。
【００９１】
次に、プロジェクタ装置ＰＪは、情報処理装置ＪＳに対して画像加工に関する指示（インタラクティブ指示）を行うと、画像投影が完了したかチェックする（ステップＳ１１２）。プロジェクタ装置ＰＪは、ステップＳ１１２で、画像投影が完了していないときには、ステップＳ１０１に戻って同様の処理を繰り返す（ステップＳ１０１〜Ｓ１１２、Ｓ２０１、Ｓ２０２）。
【００９２】
ステップＳ１１２で、画像投影が完了すると、プロジェクタ装置ＰＪは、画像表示制御処理を終了する。
【００９３】
このようにすると、通信回線Ｌの一時的なトラフィックの増加等による通信速度の遅延や情報処理装置ＪＳの負荷の一時的な増加等による経過時間Ｔｄが一時的に長くなった場合に、画像加工処理（インタラクティブ処理）が不安定になることを防止することができる。その結果、より一層画像加工処理の利用性を向上させることができる。
【００９４】
また、画像表示システム１は、インタラクティブ処理を停止する場合、インタラクティブ処理が停止していることが分かるように画像表示を行なってもよい。
【００９５】
この場合、例えば、図１０に示すように画像表示制御処理を行い、図１１に示すような重畳画像を画像データに重ねて表示画像データとする。なお、図１０において、図５及び図９と同様の処理ステップには、同一のステップナンバを付与して、その説明を簡略化または省略する。また、図１０では、図９と同様に、経過時間Ｔｄを２つの基準時間Ｔｃ１、Ｔｃ２と比較してインタラクティブ処理の可否を判断しているが、図５の場合のように、１つの基準時間Ｔｃと比較して、インタラクティブ処理の可否を判断してもよい。
【００９６】
プロジェクタ装置ＰＪは、図１０に示すように、座標位置情報を受信すると（ステップＳ１０１）、図５及び図９と同様に、時間計測部１４による経過時間Ｔｄの計時開始、画像変化検出部１３による画像変化の検出を行う（ステップＳ１０２〜Ｓ１０７）。
【００９７】
ステップＳ１０６で、差分があるときには、画像変化検出部１３は、画像変化があった旨の検出結果（変化有り）を時間計測部１４へ出力し、時間計測部１４は、経過時間Ｔｄを算出して（ステップＳ１０８）、算出した経過時間Ｔｄを画像加工指示部１５へ通知する。
【００９８】
画像加工指示部１５は、受け取った経過時間Ｔｄを基準時間Ｔｃ２と比較し、経過時間Ｔｄが基準時間Ｔｃ２未満であるかチェックする（ステップＳ２０１）。
【００９９】
ステップＳ２０１で、経過時間Ｔｄが基準時間Ｔｃ２未満であると、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工を行う旨の指示（インタラクティブ実施指示）を送信する（ステップＳ１１０）。
【０１００】
また、ステップＳ２０１で、経過時間Ｔｄが基準時間Ｔｃ２以上であると、画像加工指示部１５は、経過時間Ｔｄが、基準時間Ｔｃ１以上であるかチェックする（ステップＳ２０２）。
【０１０１】
ステップＳ２０２で、経過時間Ｔｄが基準時間Ｔｃ１以上であると、画像加工指示部１５は、情報処理装置ＪＳに対して、インタラクティブは実施せずに、予め設定されている特定画像の表示画像への重畳する旨の指示を送信する（ステップＳ３０１）。
【０１０２】
ステップＳ２０２で、経過時間Ｔｄが基準時間Ｔｃ１未満であると、画像加工指示部１５は、情報処理装置ＪＳに対して、画像加工に対する現状維持の指示をだすか、なんの指示も出さない。
【０１０３】
次に、プロジェクタ装置ＰＪは、情報処理装置ＪＳに対して画像加工に関する指示（インタラクティブ指示）を行うと、画像投影が完了したかチェックする（ステップＳ１１２）。プロジェクタ装置ＰＪは、ステップＳ１１２で、画像投影が完了していないときには、ステップＳ１０１に戻って同様の処理を繰り返す（ステップＳ１０１〜Ｓ１１２、Ｓ２０１、Ｓ２０２、Ｓ３０１）。
【０１０４】
ステップＳ１１２で、画像投影が完了すると、プロジェクタ装置ＰＪは、画像表示制御処理を終了する。
【０１０５】
そして、情報処理装置ＪＳは、特定画像の重畳指示がプロジェクタ装置ＰＪからあると、画像データ加工部２２が、画像データ生成部２１の生成した表示元画像データに対して、予め設定されている特定画像を重畳させて画像データ変換部２４及び加工制御部２３に渡す。画像データ変換部２４は、特定画像の重畳された表示画像データをデータ変換して、プロジェクタ装置ＰＪへ送信する。この特定画像は、例えば、図１１（ｃ）に示すように、「インタラクティブ機能停止中」等の文字画像であり、インタラクティブ機能が停止していることを報知することのできる画像であれば、適宜の画像を用いることができる。なお、図１１において、図１１（ａ）は、画像加工前の画像データ生成部２１が生成した表示画像を示しており、図１１（ｂ）は、インタラクティブ機能によって画像加工の行われた表示画像を示している。そして、図１１（ｃ）は、インタラクティブ機能が停止中であることを通知する特定画像が重畳された表示画像を示している。また、特定画像の表示画像への重畳位置は、適宜の位置であるが、表示画像の視認性を考慮した位置が適切である。
【０１０６】
このようにすると、通信回線Ｌの一時的なトラフィックの増加等による通信速度の遅延や情報処理装置ＪＳの負荷の一時的な増加等による経過時間Ｔｄが一時的に長くなった場合に、画像加工処理（インタラクティブ処理）が停止していることを通知することができる。その結果、より一層画像加工処理の利用性を向上させることができる。
【０１０７】
また、画像表示システム１は、次に、電子ペンＰｎによって画像の指示操作があると、経過時間Ｔｄの計時に基づく画像加工の制御を上記同様に行う。
【０１０８】
このように、本実施例の画像表示システム１は、画像表示装置であるプロジェクタ装置ＰＪが、有線と無線の少なくともいずれかの通信回線Ｌで接続されている情報処理装置（画像出力装置）ＪＳから通信回線Ｌを介して入力される表示用画像データと検査用画像データを受信する画像データ変換部（受信手段）１１と、画像データ変換部１１の受信した前記表示用画像データに基づいて投影面（表示面）ＴＭ上に画像を表示する画像出力部（表示手段）１２と、画像出力部１２によって投影面ＴＭに表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標位置取得送信部（座標情報取得手段）ＺＰと、座標位置取得送信部ＺＰの出力する前記指示操作毎の前記座標情報を取得し、プロジェクタ装置ＰＪにおいて表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出部（画像変化検出手段）１３と、座標位置取得送信部ＺＰの出力する前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から画像変化検出部１３が前記加工画像を検出するまでの経過時間を計時する時間計測部（計時手段）１４と、前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工のインタラクティブ指示（実行制御指示）を情報処理装置ＪＳに対して行う画像加工指示部（画像加工制御手段）１５と、を備えている。
【０１０９】
したがって、投影面ＴＭ上の画像に対する指示操作が行われてから該指示操作に応じた加工画像を投影面ＴＭ上に投影するまでに要する時間に応じて該画像加工を施すか否か、すなわち、インタラクティブ処理を行うか否か制御することができる。したがって、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【０１１０】
また、本実施例の画像表示システム１は、画像データを生成して出力する情報処理装置（画像出力装置）ＪＳと、情報処理装置ＪＳからの画像データを受信して投影面（表示面）ＴＭ上に画像を表示するプロジェクタ装置（画像表示装置）ＰＪと、が有線と無線の少なくともいずれかの通信回線Ｌで接続されている画像表示システムであって、プロジェクタ装置ＰＪが、情報処理装置（画像出力装置）ＪＳから通信回線Ｌを介して入力される表示用画像データと検査用画像データを受信する画像データ変換部（受信手段）１１と、画像データ変換部１１の受信した前記表示用画像データに基づいて投影面ＴＭ上に画像を表示する画像出力部（表示手段）１２と、画像出力部１２によって投影面ＴＭに表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標位置取得送信部（座標情報取得手段）ＺＰと、座標位置取得送信部ＺＰの出力する前記指示操作毎の前記座標情報を取得し、プロジェクタ装置ＰＪにおいて表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出部（画像変化検出手段）１３と、座標位置取得送信部ＺＰの出力する前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から画像変化検出部１３が前記加工画像を検出するまでの経過時間を計時する時間計測部（計時手段）１４と、前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工のインタラクティブ指示（実行制御指示）を情報処理装置ＪＳに対して行う画像加工指示部（画像加工制御手段）１５と、を備え、情報処理装置ＪＳが、プロジェクタ装置ＰＪに表示させる表示元画像データを生成する画像データ生成部（画像データ生成手段）２１と、座標位置取得送信部ＺＰの出力する前記座標情報を取得し、画像データ生成部２１の生成した表示元画像データのうち、該座標情報の示す座標位置近傍の画像データに画像加工を施す画像データ加工部（画像加工手段）２２と、画像データ加工部２２の加工した画像データを、前記検査用画像データとしてプロジェクタ装置ＰＪへ送信するとともに、プロジェクタ装置ＰＪの画像加工指示部１５からのインタラクティブ指示に応じて前記表示元画像データと前記加工画像データを選択的に前記表示用画像データとして該プロジェクタ装置ＰＪへ送信する画像データ変換部（送信制御手段）２４と、を備えている。
【０１１１】
したがって、投影面ＴＭ上の画像に対する指示操作が行われてから該指示操作に応じた加工画像を投影面ＴＭ上に投影するまでに要する時間に応じて該画像加工を施すか否か、すなわち、インタラクティブ処理を行うか否か制御することができる。したがって、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【０１１２】
さらに、本実施例の画像表示システム１は、プロジェクタ装置（画像表示装置）ＰＪが、有線と無線の少なくともいずれかの通信回線Ｌで接続されている情報処理装置（画像出力装置）ＪＳから該通信回線Ｌを介して入力される表示用画像データと検査用画像データを受信する受信処理ステップと、前記受信処理ステップで受信された前記表示用画像データに基づいて投影面ＴＭ上に画像を表示する表示処理ステップと、前記表示処理ステップで投影面ＴＭに表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得処理ステップと、前記座標情報取得処理ステップで出力される前記指示操作毎の前記座標情報を取得し、情報処理装置ＪＳにおいて表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出処理ステップと、前記座標情報取得処理ステップで出力される前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出処理ステップで前記加工画像が検出されるまでの経過時間を計時する計時処理ステップと、前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を前記情報処理装置ＪＳに対して行う画像加工制御処理ステップと、を有する画像表示制御方法を実行している。
【０１１３】
したがって、投影面ＴＭ上の画像に対する指示操作が行われてから該指示操作に応じた加工画像を投影面ＴＭ上に投影するまでに要する時間に応じて該画像加工を施すか否か、すなわち、インタラクティブ処理を行うか否か制御することができる。したがって、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【０１１４】
また、本実施例の画像表示システム１は、プロジェクタ装置（画像表示装置）ＰＪが、制御プロセッサに、有線と無線の少なくともいずれかの通信回線Ｌで接続されている情報処理装置（画像出力装置）ＪＳから該通信回線Ｌを介して入力される表示用画像データと検査用画像データを受信する受信処理と、前記受信処理で受信された前記表示用画像データに基づいて投影面ＴＭ上に画像を表示する表示処理と、前記表示処理で投影面ＴＭに表示されている画像に対して指示操作された位置の座標を該指示操作毎に取得して該指示操作毎の座標情報を出力する座標情報取得処理と、前記座標情報取得処理で出力される前記指示操作毎の前記座標情報を取得し、情報処理装置ＪＳにおいて表示元画像データに対して行われた該座標情報の示す座標位置近傍での加工画像の有無検査を、前記検査用画像データに対して行う画像変化検出処理と、前記座標情報取得処理で出力される前記指示操作毎の前記座標情報を取得し、該座標情報毎に、該座標情報を取得した時点から前記画像変化検出処理で前記加工画像が検出されるまでの経過時間を計時する計時処理と、前記座標情報毎の前記経過時間に基づいて、該座標情報に基づく前記表示元画像データに対する前記表示用画像データとしての前記画像加工の実行制御指示を情報処理装置ＪＳに対して行う画像加工制御処理と、を実行させる画像表示制御プログラムを搭載している。
【０１１５】
したがって、投影面ＴＭ上の画像に対する指示操作が行われてから該指示操作に応じた加工画像を投影面ＴＭ上に投影するまでに要する時間に応じて該画像加工を施すか否か、すなわち、インタラクティブ処理を行うか否か制御することができる。したがって、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【０１１６】
さらに、本実施例の画像表示装置であるプロジェクタ装置ＰＪは、前記画像加工指示部１５が、前記経過時間Ｔｄが予め設定されている基準時間（閾値時間）Ｔｃよりも長いと、前記座標情報に基づく前記表示元画像データから前記表示用画像データを生成する際の前記画像加工のインタラクティブ指示（実行制御指示）として、該画像加工の停止指示を情報処理装置ＪＳに行う。
【０１１７】
したがって、加工画像が表示されるまでの時間が一時的に長くなったときに、画像加工（インタラクティブ処理）を一時的に停止させることができ、表示画像に対する指示に応じた加工画像の表示を、利用性をより一層向上させつつ制御することができる。
【０１１８】
また、本実施例の画像表示装置であるプロジェクタ装置ＰＪは、前記画像加工指示部１５が、前記経過時間Ｔｄが前記基準時間（閾値時間）Ｔｃよりも短いと、前記インタラクティブ指示（実行制御指示）として、前記座標情報に基づく画像加工の実施指示を情報処理装置ＪＳに行う。
【０１１９】
したがって、加工画像が表示されるまでの時間が一時的に長くなっていた状態が解消されると、一時的に停止させていた画像加工（インタラクティブ処理）を再開させることができる。その結果、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性をより一層向上させつつ制御することができる。
【０１２０】
また、本実施例の画像表示装置であるプロジェクタ装置ＰＪは、画像加工指示部１５が、前記経過時間Ｔｄを、予め設定されている基準時間（第１閾値時間）Ｔｃ１及び該基準時間Ｔｃ１よりも短い基準時間（第２閾値時間）Ｔｃ２と比較し、該経過時間Ｔｄが該基準時間Ｔｃ１よりも長いと、前記表示元画像データから前記表示用画像データを生成する際の情報処理装置ＪＳに対する前記画像加工のインタラクティブ指示（実行制御指示）として、前記座標情報に基づく画像加工の停止指示を行ない、該経過時間Ｔｄが該基準時間Ｔｃ２よりも短いと、該画像加工の実施指示を行ない、該経過時間Ｔｄが該基準時間Ｔｃ１と該基準時間Ｔｃ２の間であると、現在実行中の画像処理を継続させる。
【０１２１】
したがって、加工画像が表示されるまでの時間の変化に応じて、画像加工（インタラクティブ処理）の停止と再開を適切に制御することができる。その結果、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性をより一層向上させつつ制御することができる。
【０１２２】
さらに、本実施例の画像表示装置であるプロジェクタ装置ＰＪは、画像変化検出部１３が、前記座標情報に基づく前記表示元画像データから前記表示用画像データを生成する際の画像加工の停止指示を行う際に、該画像加工が停止中であることを示す特定画像を前記表示元画像データに重ね合わせて該表示用画像データとする画像加工を指示する。
【０１２３】
したがって、特定画像によって、インタラクティブ処理（画像加工処理）が停止中であることを、ユーザや聴視者に分からせることができる。その結果、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性をより一層向上させつつ制御することができる。
【０１２４】
また、本実施例の画像表示システム１は、画像表示装置が、プロジェクタ装置ＰＪ、または、電子黒板装置ＤＢである。
【０１２５】
プロジェクタ装置ＰＪや電子黒板装置ＤＢを画像表示装置として用いた画像表示処理において、表示画像に対する指示に応じて加工画像を該表示画像に表示する際における該加工画像の表示を、利用性を向上させつつ制御することができる。
【０１２６】
以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【０１２７】
１  画像表示システム
ＰＪ  プロジェクタ装置
ＪＳ  情報処理装置
Ｌ  通信回線
Ｐｎ  電子ペン
ＴＭ  投影面
ＭＧ  マウスポインタ
ＺＰ  座標位置取得送信部
ＤＢ  ディスプレイボード
１１  画像データ変換部
１２  画像出力部
１３  画像変化検出部
１４  時間計測部
１５  画像加工指示部
１６  座標位置情報受信部
１７  座標データ変換部
２１  画像データ生成部
２２  画像データ加工部
２３  加工制御部
２４  画像データ変換部
２５  座標位置情報受信部
２６  座標データ変換部
【先行技術文献】
【特許文献】
【０１２８】
【特許文献１】特開２０１２−２３７９２１号公報
【図１】
2015045730.tif 000003
【図２】
2015045730.tif 000004
【図３】
2015045730.tif 000005
【図４】
2015045730.tif 000006
【図５】
2015045730.tif 000007
【図６】
2015045730.tif 000008
【図７】
2015045730.tif 000009
【図８】
2015045730.tif 000010
【図９】
2015045730.tif 000011
【図１０】
2015045730.tif 000012
【図１１】
2015045730.tif 000013