(57)【特許請求の範囲】
【請求項１】
所定の処理を受け付ける画像を画面に表示する画像表示手段と、
所定の処理を受け付けない画像を前記画像表示手段により表示された前記所定の処理を受け付ける画像に重畳して前記画面に表示する重畳画像表示手段と、
前記画面への物体の接触又は接近を検出する検出手段と、
前記検出手段による検出結果を他の画像処理装置に送信する送信手段と、
前記他の画像処理装置が備える画面への物体の接触又は接近の検出結果を受信する受信手段と、
前記検出手段により前記画面への物体の接触又は接近が検出された位置または前記受信手段が受信した前記検出結果が示す位置が前記重畳画像表示手段により前記画面に表示された前記所定の処理を受け付けない画像の表示領域に含まれるとき、該所定の処理を受け付けない画像を非表示とする表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記重畳画像表示手段により前記画面に表示された前記所定の処理を受け付けない画像の表示領域において、前記検出手段による前記画面への物体の接触又は接近が非検出となるまで前記所定の処理を受け付けない画像を非表示とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記重畳画像表示手段により前記画面に表示された前記所定の処理を受け付けない画像の表示領域において、前記検出手段による前記画面への物体の接触又は接近が非検出となった後の一定時間、前記所定の処理を受け付けない画像を非表示とすることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
第１の画像処理装置と第２の画像処理装置とが接続された画像処理システムであって、
前記第１の画像処理装置は、
所定の処理を受け付ける画像を画面に表示する画像表示手段と、
所定の処理を受け付けない画像を前記画像表示手段により表示された前記所定の処理を受け付ける画像に重畳して前記画面に表示する重畳画像表示手段と、
前記画面への物体の接触又は接近を検出する検出手段と、
前記検出手段による検出結果を前記第２の画像処理装置に送信する送信手段と、を備え、
前記第２の画像処理装置は、
所定の処理を受け付ける画像を画面に表示する画像表示手段と、
所定の処理を受け付けない画像を前記画像表示手段により表示された前記所定の処理を受け付ける画像に重畳して前記画面に表示する重畳画像表示手段と、
前記第１の画像処理装置が備える前記検出手段による検出結果を受信する受信手段と、
前記受信手段が受信した前記検出結果が示す位置が前記重畳画像表示手段により前記画面に表示された前記所定の処理を受け付けない画像の表示領域に含まれるとき、該所定の処理を受け付けない画像を非表示とする表示制御手段と
を備えることを特徴とする画像処理システム。
【請求項５】
所定の処理を受け付ける画像を画面に表示する処理と、
前記画面に表示された所定の処理を受け付ける画像に所定の処理を受け付けない画像を重畳して前記画面に表示する処理と、
前記画面への物体の接触又は接近を検出する処理と、
前記検出する処理の結果を他の画像処理装置に送信する処理と、
前記他の画像処理装置が備える画面への物体の接触又は接近の検出結果を受信する処理と、
前記画面への物体の接触又は接近が検出された位置または受信した前記検出結果が示す位置が、前記画面に表示された前記所定の処理を受け付けない画像の表示領域に含まれるとき、該所定の処理を受け付けない画像を非表示とする処理と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、及びプログラムに関する。
【背景技術】
【０００２】
近年、液晶やプラズマ等のフラットパネルやプロジェクタを用いた４０〜８０インチ程度の大型のディスプレイにタッチパネルを搭載した「電子情報ボード」が公共や民間の機関を問わず用いられている。電子情報ボードはパーソナルコンピュータ（以下「ＰＣ」という。）を接続することによって、接続したＰＣの表示画面を大きく映すことができることが既に知られている。
【０００３】
また、電子情報ボードに搭載されたタッチパネルを介したディスプレイ上へのタッチ操作により、接続先のＰＣを操作できることが知られている。さらに、ＰＣにインストールされた電子黒板アプリケーションにより、ＰＣと接続された電子情報ボードのディスプレイ上へのタッチ操作等を介してディスプレイ上に描画を行う等、黒板やホワイトボードのように電子情報ボードを利用できることも既に知られている。
【０００４】
また、表示画面中に、メインの表示画面に映し出されているメイン画像と画像ソースが異なるサブ画像を縮小してメイン画像に重畳して表示させるピクチャーインピクチャー（以下「ＰｉｎＰ」という。）機能が知られている。
【０００５】
上記のようなＰｉｎＰ機能に関する技術が、例えば特許文献１等に開示されている。特許文献１には、ＰｉｎＰ機能を有する装置において、補助画面の表示位置を固定又は選択表示する方法ではなく、位置ポインター、選択回路により合成位置データ等を入力して利用者側で自由に変更でき、かつ補助画面の配置等を変更して利用するようにした構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、電子情報ボードにＰｉｎＰ機能を組み合わせた場合、ディスプレイ上に表示されたメイン画像にＰｉｎＰ機能を利用してサブ画像が重畳して表示されると、サブ画像が重畳して表示されることでメイン画像が隠れてしまうため、その隠れた部分には描画することができない。これは、メイン画像は描画処理を受け付ける機能を有するのに対し、ＰｉｎＰ機能を利用して表示されたサブ画像は描画処理を受け付ける機能を有しないからである。
【０００７】
そのため、サブ画像に隠れて見えなくなったメイン画像の描画領域を確保するためにサブ画像の表示位置を変更し直したり、メイン画像の表示位置を変更することで、サブ画像に隠れて見えなくなった部分を見えるようにしたりする等の処理が必要となる。このような処理を描画の度ごとに要するとなると、例えばメイン画像を聴衆に見せながら説明するような場合等に、上記の処理によってその進行が止まってしまい、説明者にとっても聴衆にとっても非常に煩わしい。
【０００８】
本発明は、上述した実情に鑑みてなされたものであって、ＰｉｎＰ機能によりサブ画像をメイン画像に重畳して表示する場合であっても、メイン画像に対する処理をスムーズに実行させることを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明の画像処理装置は、所定の処理を受け付ける画像を画面に表示する画像表示手段と、所定の処理を受け付けない画像を画像表示手段により表示された所定の処理を受け付ける画像に重畳して画面に表示する重畳画像表示手段と、画面への物体の接触又は接近を検出する検出手段と、検出手段による検出結果を他の画像処理装置に送信する送信手段と、他の画像処理装置が備える画面への物体の接触又は接近の検出結果を受信する受信手段と、検出手段により画面への物体の接触又は接近が検出された位置または受信手段が受信した検出結果が示す位置が重畳画像表示手段により画面に表示された所定の処理を受け付けない画像の表示領域に含まれるとき、該所定の処理を受け付けない画像を非表示とする表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ＰｉｎＰ機能によりサブ画像をメイン画像に重畳して表示する場合であっても、メイン画像に対する処理をスムーズに実行させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態における画像処理システムの概略図である。
【図２】本発明の第１実施形態における画像処理装置の概略構成図である。
【図３】本発明の第１実施形態における画像処理装置の機能ブロック図である。
【図４】本発明の実施形態におけるＰｉｎＰ画面の非表示処理について説明するための模式図である。
【図５】本発明の実施形態におけるＰｉｎＰ画面の他の非表示処理について説明するための模式図である。
【図６】本発明の第１実施形態における処理手順を示すフローチャートである。
【図７】本発明の第２実施形態における画像処理システムの概略図である。
【図８】本発明の第２実施形態における画像処理装置の概略構成図である。
【図９】本発明の第２実施形態における画像処理装置の機能ブロック図である。
【図１０】本発明の第２実施形態における処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施形態における画像処理システム及びこれに含まれる画像処理装置に関し以下図面を参照して説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。また、以下に記載する実施形態は本発明の最良の形態であって、本発明に係る特許請求の範囲を限定するものではない。
【００１３】
本実施形態においては、画像処理装置として電子情報ボードを例として説明するが、本発明の画像処理装置はこれに限定されるものではない。例えば、本発明は、画像処理装置として情報処理機能を備えたテレビジョンや、パーソナルコンピュータ等に適用されるものであってもよい。
【００１４】
［本発明の第１実施形態における画像処理システムについて］
本発明の第１実施形態における画像処理システムの概略について図１を参照して説明する。図１は、本実施形態における画像処理システムは、画像処理装置としての電子情報ボード１と情報処理装置３ａ及び３ｂ（これらを代表して「情報処理装置３」という。）とが入出力ケーブル４を介して接続されて構成されている。なお、これに限定されず、情報処理装置３と電子情報ボード１とが例えばＬＡＮやＷＡＮ等のネットワークを介して接続される構成であってもよい。
【００１５】
電子情報ボード１の画面１１には情報処理装置３から取得した画像を表示することができる。また、電子情報ボード１はＰｉｎＰ機能により画面１１に重なるＰｉｎＰ画面１２を表示することができる。情報処理装置３ａから取得した画像を画面１１に表示し、画面１１に表示された情報処理装置３ａから取得した画像に重なる画像を情報処理装置３ｂから取得してＰｉｎＰ画面１２に表示することができる。なお、以下においてＰｉｎＰ画面１２が表示される領域を「ＰｉｎＰ領域」とする。ＰｉｎＰ領域は、ＰｉｎＰ画面１２と同サイズであっても、ＰｉｎＰ画面１２より大きいサイズであってもよい。
【００１６】
また、電子情報ボード１は画面１１への物体の接触又は接近を検出する検出手段として例えばタッチパネル等を備えている。物体が画面１１に描画するためのタッチペンである場合、電子情報ボード１はタッチペンを利用してユーザが描画した画像を画面１１に表示することができる。なお、本実施形態においては、ＰｉｎＰ画面１２には描画することができないものとして以下説明する。
【００１７】
なお、情報処理装置３ａ及び情報処理装置３ｂは、画像信号を出力するインタフェースを備えており、情報処理装置３ａ、情報処理装置３ｂの表示画像を形成する画像信号を例えば毎秒３０フレーム等の所定のレートで電子情報ボード１に供給する。
【００１８】
また、本実施形態において、情報処理装置３ａ及び情報処理装置３ｂは、インタフェースとしてＶＧＡ等の映像出力端子を備えており、ＶＧＡケーブル等の入出力ケーブル４を介して映像信号を電子情報ボード１に送信することができる。なお、情報処理装置３ａ及び情報処理装置３ｂは、各種無線通信プロトコルに準拠した無線通信により表示画像を電子情報ボード１に送信してもよい。なお、情報処理装置３ａ及び情報処理装置３ｂにおける、画像信号を出力するインタフェース、映像出力端子、及び無線通信により電子情報ボード１に画像信号や映像信号を送信する手段を送信手段とする。
【００１９】
なお、図１においては、情報処理装置３ａ及び情報処理装置３ｂとしてノート型ＰＣを採用するが、これに限定されない。例えば、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処置装置を採用することができることは言うまでもない。また、図１に示す画像処理システムにおいては、２つの情報処理装置３ａ及び情報処理装置３ｂを採用するが、これに限定されず、１つのユーザＰＣ又は３つ以上のユーザＰＣを採用することとしてもよい。
【００２０】
次に、本実施形態における電子情報ボード１の概略構成について図２を参照して説明する。
電子情報ボード１は、画像入力インタフェース２３２を備えており、このインタフェースを介して情報処理装置３ａ及び情報処理装置３ｂと接続される。画像入力インタフェース２３２は、情報処理装置３ａ及び情報処理装置３ｂの表示画像を形成する画像信号を受信するインタフェースである。なお、このインタフェースを、情報処理装置から画像信号を受信する受信手段とする。
【００２１】
本実施形態においては、画像入力インタフェース２３２としてＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、情報処理装置３ａ及び情報処理装置３ｂからＶＧＡケーブル等の入出力ケーブル４を介してＶＧＡ信号を受信し、電子情報ボード１が備える画像取得部２０６にＶＧＡ信号を供給する。
【００２２】
他方、画像入力インタフェース２３２として、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）コネクタ、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ、登録商標）コネクタ等を採用することができる。また、画像入力インタフェース２３２として、Ｄｉｓｐｌａｙｐｏｒｔコネクタを採用することができる。また、画像入力インタフェース２３２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、情報処理装置３ａ及び情報処理装置３ｂから画像信号を受信してもよい。
【００２３】
電子情報ボード１は、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、座標検知装置２２６と、表示部１１２とを含み構成される。
【００２４】
プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、例えばＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮ等のＯＳを動作させる。プロセッサ２００は、これらのＯＳの管理下で例えばアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮ等のプログラム言語で記述された本実施形態のプログラムを実行する。
【００２５】
ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラム等が保存される不揮発性メモリである。ＲＡＭ２０４は、例えばＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本実施形態のプログラムを実行するための実行空間を提供する。
【００２６】
プロセッサ２００は、ソフトウェアプログラムや種々のデータ等を持続的に保持するためのハードディスク装置から、プログラムを読み出し、ＲＡＭ２０４に展開して実行する。
【００２７】
プログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、画像表示制御部２２０が含まれる。またプログラムには、スナップショット生成部２２２、スナップショット保存部２３６、スナップショット送信部２３８及びリポジトリ管理部２２８が含まれる。
【００２８】
画像取得部２０６は、情報処理装置３ａ及び情報処理装置３ｂから画像信号を取得する機能手段である。画像取得部２０６は、情報処理装置３ａ及び情報処理装置３ｂから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析する。画像取得部２０６は、当該画像信号によって形成される情報処理装置３ａ及び情報処理装置３ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度等の画像情報を導出し、アプリ画像生成部２１２に送信する。
【００２９】
また、画像取得部２０６は、当該画像信号を利用して情報処理装置３ａ及び情報処理装置３ｂの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。
【００３０】
アプリ画像生成部２１２は、表示部１１２に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、情報処理装置３ａ及び情報処理装置３ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウが含まれる。また、表示ウィンドウには、電子情報ボード１の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、例えばファイルビューアやＷｅｂブラウザ等の表示ウィンドウ等が含まれる。アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。
【００３１】
レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウに情報処理装置３ａ及び情報処理装置３ｂの表示画像を描画する機能手段である。レイアウト管理部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得する。レイアウト管理部２１４は、その画像情報を利用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。
【００３２】
座標検知装置２２６は、描画装置２４０等の物体の接触を検知する機能手段である。本実施形態においては、座標検知装置２２６として、赤外線遮断方式による座標入力装置を採用する。この座標入力装置においては、表示部１１２の下側両端部に設置された２つの受発光装置が、表示部１１２に平行に複数の赤外線を放射し、表示部１１２の周囲に設けられた再帰反射部材によって同一光路上に反射する光を受光する。
【００３３】
座標検知装置２２６は、指示物体によって遮断された２つの受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、指示物体の接触位置である座標位置を特定する。
【００３４】
他方、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルを採用してもよい。また、接触物体が表示部１１２に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を採用してもよい。
【００３５】
座標検出部２２４は、表示部１１２に対する指示物体の接触位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態においては、座標検出部２２４は、座標検知装置２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。
【００３６】
座標検出部２２４は、接触位置の座標位置と共に、種々のイベントをイベント処理部２１０に発行する。座標検出部２２４が発行するイベントには、物体の接触又は接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触又は接近した状態で接触点又は接近点が移動したことを通知するイベント（ＭＯＶＥ）が含まれる。また、座標検出部２２４が発行するイベントには、物体が表示部１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、接触位置座標及び接近位置座標である座標位置情報が含まれる。
【００３７】
描画装置２４０は、電子情報ボード１の座標検知装置２２６に接触させて描画する装置である。描画装置２４０は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知装置が物体に接触すると、接触したことを示す接触信号を当該描画装置２４０の識別情報と共に座標検出部２２４に送信する。
【００３８】
また、描画装置２４０は、描画された描画オブジェクトを消去する機能を持つ。描画装置２４０は、描画モードから消去モードに切り替えるモード切替スイッチを側面や後端部に備えている。当該接触検知手段が消去モードで物体に接触すると、接触したことを示す信号と消去モードである信号を当該描画装置２４０の識別情報と共に座標検出部２２４に送信する。描画装置２４０は、表示部１１２に表示されたメニューやボタン等のオブジェクトをユーザが選択することができる。
【００３９】
ユーザが消去モード切替スイッチを押下した状態で、描画装置２４０を電子情報ボード１の表示部１１２に接触させた場合には、描画装置２４０は、接触信号及び当該描画装置２４０の識別情報と共に、消去モードを示すモード種別信号を送信する。ユーザが消去モード切替スイッチを押下していない状態で、描画装置２４０を電子情報ボード１に接触させた場合には、描画装置２４０は、接触信号及び当該描画装置２４０の識別情報を送信する。
【００４０】
本実施形態においては、座標検出部２２４は、座標検知装置２２６から赤外線の識別情報を受信すると、指示物体の接触位置である座標位置を算出し、次いで、描画装置２４０から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部２２４は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントと共にイベント処理部２１０に通知する。
【００４１】
本実施形態においては、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。また、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。
【００４２】
イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。イベント処理部２１０は、座標検出部２２４からイベントを受信すると、次の処理を行う。すなわち、イベント処理部２１０は、描画領域での描画指示イベントであるのか、消去指示イベントであるのか、前記２つのイベントに加えてＰｉｎＰ領域でのイベントであるかを識別し、それぞれの機能を実施する。また、イベント処理部２１０は、表示部１１２に表示された機能別のアイコンを選択する選択通知イベントであるのか否かを識別し、それぞれの機能を実施する。
【００４３】
描画指示イベントとは、電子情報ボード１に対して描画を指示するイベントである。消去指示イベントは、電子情報ボード１に対して描画されたオブジェクトを消去するイベントである。
【００４４】
ＰｉｎＰ領域でのイベントとは、情報処理装置３ａ及び情報処理装置３ｂのどちらかの画像がＰｉｎＰ画面１２が表示されるＰｉｎＰ領域内で描画指示イベント若しくは消去イベントが行われていることを通知するイベントである。描画指示イベント、消去イベント、及びＰｉｎＰ領域でのイベントは、描画装置２４０が表示部１１２に接触することに起因して発行される。
【００４５】
選択通知イベントとは、表示部１１２に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、描画装置２４０が表示部１１２に接触することに起因して発行される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。
【００４６】
本実施形態においては、描画指示イベント及び選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する電子情報ボード１の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する電子情報ボード１の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
【００４７】
描画生成部２１６は、ユーザが描画装置２４０により描画した描画画像を生成する機能手段である。描画生成部２１６は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部２１６は、当該座標位置を描画情報としてＲＡＭ２０４の描画情報の格納領域に保存する。
【００４８】
合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、アプリ画像生成部２１２が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、レイアウト管理部２１４が情報処理装置３ａ、３ｂの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画生成部２１６が画像を描画すべき画像レイヤ（以下、「手書きレイヤ」とする。）とを合成する。
【００４９】
画像表示制御部２２０は、表示部１１２を制御する機能手段である。画像表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２に表示する。本実施形態においては、合成部２１８は、画像表示制御部２２０を呼び出して合成画像を表示部１１２に表示する。また、合成部２１８及び画像表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部１１２に表示してもよい。
【００５０】
スナップショット生成部２２２は、情報処理装置３ａ、情報処理装置３ｂの表示画像と描画生成部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。
【００５１】
スナップショット生成部２２２は、表示部１１２に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部２２２は、スナップショット画像を生成すると、リポジトリ管理部２２８に対しスナップショット画像を記憶装置２３０に保存する。
【００５２】
スナップショット保存部２３６は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像をデータ出力インタフェース２３４を通じてＵＳＢメモリ２４２等の外部保存装置にスナップショット画像を保存する機能手段である。
【００５３】
スナップショット保存部２３６は、表示部１１２に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、次の処理を行う。すなわち、スナップショット保存部２３６は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を取得し、データ出力インタフェース２３４に接続された外部保存装置にスナップショット画像を出力する。
【００５４】
スナップショット送信部２３８は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を通信制御部２５０を通じて画像処理装置外のサーバ等に送信する機能手段である。
【００５５】
スナップショット送信部２３８は、表示部１１２に表示されたスナップショットの送信を指示するスナップショット送信ボタンが選択されたことを示す選択通知イベントを受信すると、次の処理を行う。すなわち、スナップショット送信部２３８は、リポジトリ管理部２２８を通じて記憶装置２３０に保存されたスナップショット画像を取得し、通信制御部２５０にスナップショット画像を出力する。
【００５６】
通信制御部２５０は、通信部２５２を介して、例えばＦＴＰ、ＳＭＴＰ等の定められた通信プロトコルによって電子情報ボード１の外部サーバ等にスナップショット画像を送信する。
【００５７】
リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶装置２３０を制御する機能手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶装置２３０に保存する。また、リポジトリ管理部２２８は、スナップショット保存部２３６あるいはスナップショット送信部２３８の指示により、記憶装置２３０からスナップショット画像を取得し、データ出力インタフェース２３４あるいは通信制御部２５０に送信する。
【００５８】
データ出力インタフェース２３４は、スナップショット画像を外部装置に出力する物理インタフェースである。本実施形態においては、データ出力インタフェース２３４としてＵＳＢソケットを採用することができる。
【００５９】
電子情報ボード１は、通信制御部２５０と、通信部２５２とを備えている。通信制御部２５０は、ネットワークを介した画像処理装置間の通信を制御する機能手段である。通信部２５２は、ネットワークとのネットワークインタフェースである。通信制御部２５０は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベント等の情報を、通信部２５２を介して通信する。
【００６０】
次に、本実施形態における画像処理装置の機能ブロックについて図３を参照して説明する。本実施形態における画像処理装置は機能ブロックとして、画像表示部２１と、重畳画像表示部２２と、検出部２３と、表示制御部２４とを含み構成されている。
【００６１】
画像表示部２１は、所定の処理である描画装置２４０による描画を受け付ける画像を画面に表示する画像表示手段であり、上述したアプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、画像表示制御部２２０等によりその機能が実行される。なお、描画等の所定の処理を受け付ける画像とは、描画を例にすれば、描画装置２４０により入力された描画信号等の処理信号を読み取ることができるような機能が組み込まれた画像をいう。
【００６２】
重畳画像表示部２２は、所定の処理を受け付けない画像を画像表示部２１により表示された所定の処理を受け付ける画像に重畳して画面に表示する重畳画像表示手段である。重畳画像表示部２２は、上述したアプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、画像表示制御部２２０等によりその機能が実行される。所定の処理を受け付けない画像とは、例えば上述したＰｉｎＰ画面１２のように、メインの画面として表示された層（レイヤ）に重ねて表示される画像であって、描画装置２４０による描画を受け付けることができない画像等のことをいう。
【００６３】
検出部２３は、画面への物体の接触又は接近を検出する検出手段であり、上述した座標検知装置２２６や座標検出部２２４によりその機能が実行される。なお、検出部２３は、本実施形態における赤外線遮断方式に限定されず、静電容量方式や、電磁誘導方式によって接触位置から座標を検出することとしてもよい。
【００６４】
表示制御部２４は、検出部２３により画面への物体の接触又は接近が検出された位置が重畳画像表示部２２により画面に表示された所定の処理を受け付けない画像の表示領域に含まれるとき、所定の処理を受け付けない画像を非表示とする表示制御手段である。表示制御部２４は、上述したイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、スナップショット生成部２２２等によりその機能が実行される。
【００６５】
なお、本実施形態においては、合成部２１８によりＰｉｎＰ画面１２で表示するように設定されている画像レイヤを除いた情報処理装置３の表示画像を他のレイヤと共に合成する。これにより、合成された画像においてＰｉｎＰ画面１２を表示しないようにする。このような処理が本実施形態における「画像を非表示とする」処理に含まれる。また、表示制御部２４は、イベント処理部２１０により描画指示イベントが処理され、描画生成部２１６により描画された画像を表示する。
【００６６】
具体的には、イベント処理部２１０は、座標検出部２２４がＰｉｎＰ領域でのイベントを発行した場合、他のイベントが発行されるまで、画像表示制御部２２０を通して、合成部２１８が生成した合成画像を表示部１１２に表示する。他のイベントには、例えばユーザによる指やタッチペン等を利用した描画動作以外のイベント、上述した選択通知イベント等がある。
【００６７】
合成部２１８が生成する合成画像は、情報処理装置３の表示画像から、ＰｉｎＰ画面１２で表示するように設定されている画像レイヤを除いた情報処理装置３の表示画像を他のレイヤと共に合成した画像である。
【００６８】
所定の処理を受け付けない画像の表示領域においてユーザが指やタッチペン等によって描画を開始するような場合に、所定の処理を受け付けない画像を非表示とする。これにより、所定の処理を受け付けない画像により描画領域が隠されることなく、描画を遮られずに処理を継続することができる。
【００６９】
また、表示制御部２４は、重畳画像表示部２２により画面に表示された所定の処理を受け付けない画像の表示領域において、検出部２３による画面への物体の接触又は接近が非検出となるまで所定の処理を受け付けない画像を非表示とすることとしてもよい。
【００７０】
具体的には、ＲＡＭ２０４の描画情報の格納領域に保存されている描画生成部２１６で生成された座標位置情報において、ＰｉｎＰ表示領域に描画されている限り、次のように処理される。すなわち、合成部２１８は、情報処理装置３の表示画像から、ＰｉｎＰ画面１２で表示するように設定されている画像レイヤを除いたユーザＰＣの表示画像を他のレイヤと共に合成する。
【００７１】
これにより、例えば、ユーザが指やタッチペン等によって描画中、あるいは描画された画像の消去中はＰｉｎＰ画面１２を非表示とするため、ユーザは所定の処理を受け付けない画像の表示によって描画処理が遮られることがない。
【００７２】
さらに、表示制御部２４は、重畳画像表示部２２により画面に表示された所定の処理を受け付けない画像の表示領域において、次のような処理を行うこととしてもよい。すなわち、検出部２３による画面への物体の接触又は接近が非検出となった後の一定時間、前記所定の処理を受け付けない画像を非表示とする処理である。
【００７３】
具体的には、イベント処理部２１０は、ＰｉｎＰ領域でのイベントを発行した場合には、他のイベントが発行された後の所定の時間、画像表示制御部２２０を通して、合成部２１８が生成した合成画像を表示部１１２に表示する。
【００７４】
このことによりＰｉｎＰ領域で表示部１１２に接触しなくなってから所定の時間、主たる画像がＰｉｎＰ画面１２の表示で画像を隠されることなくなり、描画途中でＰｉｎＰ画面１２に影響されずに描画を行うことができる。
【００７５】
次に、本実施形態におけるＰｉｎＰ画面１２の非表示処理の概略について図４を参照して説明する。図４（ａ）は、情報処理装置３の表示画像を表示する画面１１に所定の処理を受け付けない画像であるＰｉｎＰ画面１２が画面１１に重ねて表示されている状態を示す図である。この場合、タッチペン１３によるＰｉｎＰ画面１２の表示領域への描画はできない。
【００７６】
他方、図４（ｂ）に示すように、本実施形態による上述の処理によれば、タッチペン１３によるＰｉｎＰ画面１２の表示領域への接触を検知した際、ＰｉｎＰ画面１２を非表示にする。これにより、ＰｉｎＰ画面１２で隠されていた画面１１の領域に描画することができる。
【００７７】
なお、図５に示すように、ＰｉｎＰ領域１４のサイズをＰｉｎＰ画面１２のサイズより座標幅１４ａ分、大きくする。また、検出部２３が座標幅１４ａにおいて描画装置２４０によるＰｉｎＰ領域１４への描画、すなわち接触等を検出した場合、表示制御部２４はそれまでＰｉｎＰ領域１４に表示されていたＰｉｎＰ画面１２を非表示にしてもよい。これにより、描画画像がＰｉｎＰ画面１２にかかる前にＰｉｎＰ画面１２を非表示にすることができる。
【００７８】
ＰｉｎＰ画面１２が表示されている間は、描画等の操作は受け付けられないため、その間は描画等の操作性が低下する。上記処理によれば、ＰｉｎＰ領域１４の座標幅１４ａにおいて描画を検出した時点で、ＰｉｎＰ画面１２を非表示にするため、描画操作をスムーズに実行することができ、操作性が向上する。
【００７９】
次に、本実施形態における処理手順の概略について図６を参照して説明する。まず、画像表示部２１が情報処理装置３ａ又は３ｂの表示画像を表示する（ステップＳ１）。
【００８０】
その後、重畳画像表示部２２がＰｉｎＰ画面１２を情報処理装置３ａ又は３ｂの表示画像に重ねて表示する（ステップＳ２）。
【００８１】
検出部２３がＰｉｎＰ領域での物体の接触又は接近を検出し、描画指示イベントが発行されたかどうかを判定する（ステップＳ３）。描画指示イベントが発行されている場合（ステップＳ３、ＹＥＳ）、表示制御部２４はＰｉｎＰ画面１２を非表示にする（ステップＳ４）。他方、描画指示イベントが発行されていない場合（ステップＳ３、ＮＯ）、ＰｉｎＰ領域での物体の接触又は接近の検出を継続する（ステップＳ３）。
【００８２】
ＰｉｎＰ画面１２の非表示処理後、表示制御部２４は描画指示イベントが処理されて描画される画像を表示する（ステップＳ５）。
【００８３】
［本発明の第２実施形態における画像処理システムについて］
本発明の第２実施形態における画像処理システムについて図７を参照して説明する。なお、第１実施形態と同様の構成や重複する構成については説明を省略する。
【００８４】
第２実施形態における画像処理システムは、電子情報ボード１ａと電子情報ボード１ｂ（これらを代表して「電子情報ボード１」という。）とがネットワーク１０を介して接続されたシステムである。なお、図７において、電子情報ボード１とネットワーク１０とを接続するケーブルを通信ケーブル５としている。
【００８５】
電子情報ボード１ａと電子情報ボード１ｂはネットワーク１０へ通信ケーブル５により接続されている。ネットワーク１０は例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等であり、電子情報ボード１ａと電子情報ボード１ｂとの間で種々のデータを通信することができる。
【００８６】
本実施形態においては、電子情報ボード１ａや電子情報ボード１ｂは双方の画面１１ａや画面１１ｂ（これらを代表して「画面１１」という。）に表示する画像データ、及び何れかにおいて発行された描画イベント等の情報をネットワーク１０を介して相互に送受信する。なお、図７においては電子情報ボード１ａと電子情報ボード１ｂの２台のみがネットワーク１０を介して接続された構成を示しているが、これに限定されず、３台以上の電子情報ボード１が接続される構成であってもよい。
【００８７】
また、図７においては、電子情報ボード１ａに情報処理装置３ａ及び情報処理装置３ｂが接続され、電子情報ボード１ｂに情報処理装置３ｃ及び情報処理装置３ｄが接続された構成を示しているが一例に過ぎない。なお、電子情報ボード１ａにおけるＰｉｎＰ画面１２をＰｉｎＰ画面１２ａとし、電子情報ボード１ｂにおけるＰｉｎＰ画面１２をＰｉｎＰ画面１２ｂ（これらを代表して「ＰｉｎＰ画面１２」という。）とする。なお、以下の説明において、情報処理装置３ａ〜情報処理装置３ｄを代表して「情報処理装置３」という。
【００８８】
また、本実施形態において、電子情報ボード１ａと電子情報ボード１ｂは同じ機能を備えた装置であるものとして説明する。他方、本発明が本実施形態に限定されるものではなく、電子情報ボード間が接続され、一方の電子情報ボードにおいて表示又は描画された画像を他方の電子情報ボードにおいて表示し、共有できるものであればよい。
【００８９】
さらに、本実施形態において、電子情報ボード１に情報処理装置３が接続されている場合、何れかの電子情報ボード１に接続された情報処理装置３から出力される映像信号に基づいた画像が電子情報ボード１の画面１１に表示されるものとする。他方、何れの電子情報ボード１においても情報処理装置３から映像信号が出力されず、画面１１に何も表示されていない場合、電子情報ボード１に格納されたアプリケーションの画面等が表示されるものとする。
【００９０】
次に、第２実施形態における画像処理装置である電子情報ボード１の概略構成について図８を参照して説明する。なお、第１実施形態における電子情報ボード１の構成と重複する構成についての説明は省略する。すなわち、第２実施形態においては、通信部２５２及び通信制御部２５０が双方の電子情報ボード１との通信をも制御する点が第１実施形態の構成と異なる点である。
【００９１】
電子情報ボード１において通信制御部２５０等により装置間の連携設定を行い、画像データや各種イベントや各種設定値等の情報を相互に送受信することができる。電子情報ボード１ａの画面１１ａに表示された画像と同じ画像が電子情報ボード１ｂの画面１１ｂに表示されている場合、電子情報ボード１ａにおいて画面１１ａに描画された画像データも共有されて電子情報ボード１ｂの画面１１ｂに反映される。
【００９２】
他方、電子情報ボード１ａのＰｉｎＰ領域に表示されるＰｉｎＰ画面１２ａと、電子情報ボード１ｂのＰｉｎＰ領域に表示されるＰｉｎＰ画面１２ｂは共有されず、電子情報ボード１において指定された異なる画像が表示されるものとする。他方、これに限定されず、電子情報ボード１のＰｉｎＰ領域に表示されるＰｉｎＰ画面１２が共有される設定をすることができるものであってもよい。
【００９３】
次に、第２実施形態における画像処理装置の機能ブロックについて図９を参照して説明する。なお、図３に示した機能ブロックと同様の説明は省略する。また、表示画像や各種イベントの送信先となる画像処理装置を電子情報ボード１ａとし、表示画像や各種イベントの受信先となる画像処理装置を電子情報ボード１ｂとする。また、電子情報ボードの機能ブロックは、それぞれの符号「ａ」「ｂ」を各機能ブロックに付された数記号の後に付することで区別するものとする。
【００９４】
第１通信部２５ａは電子情報ボード１ａにおいて表示される表示画像や発行される描画イベント等を電子情報ボード１ｂへ送信する通信手段であり、図８に示した通信制御部２５０及び通信部２５２によりその機能が実現される。第２通信部２５ｂは電子情報ボード１ａから送信された表示画像や描画イベント等を受信する通信手段であり、図８に示した通信制御部２５０及び通信部２５２によりその機能が実現される。
【００９５】
次に、第２実施形態における処理手順について図９及び図１０を参照して説明する。第２実施形態においては、電子情報ボード１ａに接続された情報処理装置３から出力された映像信号を基にして画面１１ａに表示された画像が電子情報ボード１ｂに共有されて画面１１ｂに反映される例を用いて説明する。さらに、電子情報ボード１ａの画面１１ａにおいて描画された画像が電子情報ボード１ｂに共有され、その画面１１ｂに同様の描画画像が反映される例を用いて説明する。
【００９６】
まず、電子情報ボード１ａにおける画像表示部２１ａが情報処理装置３ａ又は情報処理装置３ｂから出力された画像ａを画面１１ａに表示する（ステップＳ１１）。
【００９７】
次に、電子情報ボード１ａにおける第１通信部２５ａにより画像ａのデータを電子情報ボード１ｂに送信する（ステップＳ１２）。
【００９８】
電子情報ボード１ｂにおける第２通信部２５ｂにより画像ａのデータを受信すると、電子情報ボード１ｂにおける画像表示部２１ｂが画像ａを画面１１ｂに表示する（ステップＳ１３）。
【００９９】
電子情報ボード１ａにおける重畳画像表示部２２ａがＰｉｎＰ画面１２ａを画像ａに重ねて表示する（ステップＳ１４）。他方、電子情報ボード１ｂにおける重畳画像表示部２２ｂがＰｉｎＰ画面１２ｂを画像ａに重ねて表示する（ステップＳ１５）。
【０１００】
その後、描画装置２４０により画面１１ａに描画され、電子情報ボード１ａにおいて描画指示イベントが発行される（ステップＳ１６）。電子情報ボード１ａにおける通信制御部２５０及び通信部２５２により描画指示イベントが発行されたことを示す信号が電子情報ボード１ｂに送信される（ステップＳ１７）。また、電子情報ボード１ａの表示制御部２４ａはＰｉｎＰ画面１２ａを非表示にする（ステップＳ１８）。
【０１０１】
電子情報ボード１ｂにおける第２通信部２５ｂにより描画指示イベントが発行されたことを示す信号を受信すると、電子情報ボード１ｂにおける表示制御部２４ｂはＰｉｎＰ画面１２ｂを非表示にする（ステップＳ１９）。なお、この処理に限定されず、電子情報ボード１ａにおけるＰｉｎＰ画面１２ａが非表示にされた旨の信号を受信したとき、ＰｉｎＰ画面１２ｂを非表示にしてもよい。
【０１０２】
その後、電子情報ボード１ａの表示制御部２４ａはＰｉｎＰ画面１２ａが非表示となった画像ａの部分に描画される画像を表示する（ステップＳ２０）。また、電子情報ボード１ｂの表示制御部２４ｂはＰｉｎＰ画面１２ｂが非表示となった画像ａの部分に電子情報ボード１ａで描画された画像を表示する（ステップＳ２１）。
【０１０３】
なお、上記手順においては、電子情報ボード１ａにおいて、画面１１ａに表示された画像ａや描画指示イベントが発行されたことを示す信号等を電子情報ボード１ｂが受信する実施形態を説明した。他方、電子情報ボード１ｂにおいて、画面１１ｂに表示された画像ｂや描画指示イベントが発行されたことを示す信号等を電子情報ボード１ａが受信して、上述した実施形態と同様の処理を行うこととしてもよいことは言うまでもない。
【０１０４】
以上、第２実施形態によれば、電子情報ボード１における画面１１に表示される画像がＰｉｎＰ領域に表示される画像で隠されることなく、描画等の操作を行うことができる。これにより、描画操作を受け付ける側の電子情報ボード１ａにおいては、描画操作をＰｉｎＰ画面１２ａに遮られることがない。また、接続先の電子情報ボード１ｂにおいても、電子情報ボード１ａにおいて描画された画像がＰｉｎＰ画面１２ｂに遮られずに表示される。このため、それぞれ別の拠点に設置された電子情報ボード１ａ及び１ｂを利用して拠点間を隔てた遠隔による会議等を行う場合に、その会議等を円滑に進めることができるようになる。
【０１０５】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施することができる。例えば、上述した本実施形態の画像処理装置及び画像処理システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成により実行することもできる。
【０１０６】
なお、ソフトウェアにより処理を実行する場合には、処理シーケンスを記録したコンピュータ読取可能なプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリすなわち記憶部にインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることができる。
【符号の説明】
【０１０７】
１、１ａ、１ｂ    電子情報ボード
３ａ、３ｂ、３ｃ、３ｄ    情報処理装置
４    入出力ケーブル
５    通信ケーブル
１０    ネットワーク
１１、１１ａ、１１ｂ    画面
１２、１２ａ、１２ｂ    ＰｉｎＰ画面
２１    画像表示部（画像表示手段）
２２    重畳画像表示部（重畳画像表示手段）
２３    検出部（検出手段）
２４    表示制御部（表示制御手段）
２５ａ    第１通信部
２５ｂ    第２通信部
１１２    表示部
２００    プロセッサ
２０２    ＲＯＭ
２０４    ＲＡＭ
２０６    画像取得部
２０８    ビデオＲＡＭ
２１０    イベント処理部
２１２    アプリ画像生成部
２１４    レイアウト管理部
２１６    描画生成部
２１８    合成部
２２０    画像表示制御部
２２２    スナップショット生成部
２２４    座標検出部
２２６    座標検知装置
２２８    リポジトリ管理部
２３０    記憶装置
２３２    画像入力インタフェース
２３４    データ出力インタフェース
２３６    スナップショット保存部
２３８    スナップショット送信部
２４０    描画装置
２４２    ＵＳＢメモリ
２５０    通信制御部
２５２    通信部
【先行技術文献】
【特許文献】
【０１０８】
【特許文献１】特開平０７−０４６５６４
【図１】
0006786898.tif 000002
【図２】
0006786898.tif 000003
【図３】
0006786898.tif 000004
【図４】
0006786898.tif 000005
【図５】
0006786898.tif 000006
【図６】
0006786898.tif 000007
【図７】
0006786898.tif 000008
【図８】
0006786898.tif 000009
【図９】
0006786898.tif 000010
【図１０】
0006786898.tif 000011