(57)【要約】【課題】複数の電子情報端末からの操作イベントを適切に処理する。【解決手段】電子情報端末２０と無線ＬＡＮを介して接続されたアプリケーションサーバー１０であって、画像を取得するキャプチャ部２７０と、キャプチャ部２７０で取得した画像から所定形式の映像を生成するフレーム出力部１３０と、フレーム出力部１３０で生成された映像を電子情報端末２０に配信する配信制御部２２０と、電子情報端末２０に配信された映像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信制御部２４０と、操作イベントに付された識別情報に基づいて、操作イベントを行った電子情報端末２０を識別するアプリケーション入出力部１２０と、を備える。【選択図】図１
2016224907.tif 000002
【特許請求の範囲】
【請求項１】
電子情報端末と通信ネットワークを介して接続された画像処理装置であって、
画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から所定形式の映像を生成する映像生成手段と、
前記映像生成手段で生成された映像を前記電子情報端末に配信する配信手段と、
前記電子情報端末に配信された前記映像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信手段と、
前記操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記識別情報に基づいて前記各操作イベントを前記電子情報端末毎に処理するイベント処理手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記操作イベントに前記識別情報を付与する識別情報付与手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
電子情報端末と、
前記電子情報端末と通信ネットワークを介して接続される画像処理装置とを有する画像配信システムであって、
前記画像処理装置は、
画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から所定形式の映像を生成する映像生成手段と、
前記映像生成手段で生成された映像を前記電子情報端末に配信する配信手段とを有し、
前記電子情報端末は、
前記電子情報端末に配信された前記映像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信手段と、
前記操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別手段とを有することを特徴とする画像配信システム。
【請求項５】
前記電子情報端末は、前記操作イベントに識別情報を付与する識別情報付与手段を備えることを特徴とする請求項４に記載の画像配信システム。
【請求項６】
電子情報端末と通信ネットワークを介して接続された画像処理装置が実行する画像処理方法であって、
画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像から所定形式の映像を生成する映像生成ステップと、
前記映像生成ステップで生成された映像を前記電子情報端末に配信する配信ステップと、
前記電子情報端末に配信された前記映像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信ステップと、
前記操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別ステップと、
を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像配信システム、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、インタラクティブホワイトボード（Interactive White board：ＩＷＢ）と称される電子情報ボードが広く使用されている。このインタラクティブホワイトボードは、液晶パネル等のフラットパネルを用いたディスプレイと、ディスプレイの表示面における入力用の指示体、例えば入力ペンあるいは指が接触した位置の座標を検知する座標検知装置であるタッチパネルと、座標検知装置から出力された座標データに基づいてディスプレイの表示面に書き込まれた文字、数字及び図形を含む画像を表示させる制御装置とを組み合わせた構成を備える。この種の装置では、会議の資料などを拡大してディスプレイに表示できる他、入力ペンや指などの指示体でディスプレイの表示面に書き込みを行える。
【０００３】
また、インタラクティブホワイトボードでは、無線ＬＡＮ（Local Area Network）等を介して例えばタブレット型コンピュータ等の電子情報端末に接続して、この電子情報端末にインタラクティブホワイトボードのディスプレイに画像を表示し、電子情報端末においても画像に書き込み等の操作を行うことができる。電子情報端末で実行された操作イベントは、インタラクティブホワイトボードに伝えられ、インタラクティブホワイトボードの操作イベントとして処理され、ディスプレイに表示される。
【０００４】
このようなインタラクティブホワイトボードでは、電子情報端末を接続して画像を配信し、電子情報端末において、描画等の操作を行い、電子情報端末で実行した操作に基づいて、電子情報端末での描画内容をインタラクティブホワイトボードにおける操作イベントとして、ディスプレイに表示したいという要望がある。
【０００５】
特許文献１には、サーバーから電子情報端末に映像を伝送するにあたり、サーバーが複数の画像をＨＴＭＬ（Hyper Text Markup Language）５コンテンツとしてブラウザーで描画し、描画された画像を圧縮データとして電子情報端末に配信する画像配信システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明は、各電子情報端末に表示されている画像に対して、複数の電子情報端末から操作イベントを送信する場合の各操作イベントの具体的処理については開示されていない。
そこで本発明は、上記課題に鑑みてなされたもので複数の電子情報端末からの操作イベントを適切に処理することができる画像処理装置、画像配信システム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１記載の発明は、電子情報端末と通信ネットワークを介して接続された画像処理装置であって、画像を取得する画像取得手段と、前記画像取得手段で取得した画像から所定形式の映像を生成する映像生成手段と、前記映像生成手段で生成された映像を前記電子情報端末に配信する配信手段と、前記電子情報端末に配信された前記映像に対して行われた操作に関わる操作イベントを前記各電子情報端末から受信する通信手段と、前記操作イベントに付された識別情報に基づいて、前記操作イベントを行った電子情報端末を識別する電子情報端末識別手段と、備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の電子情報端末からの操作イベントを画像表示装置において適切に処理できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態に係る画像配信システムの構成を示すブロック図である。
【図２】アプリケーションサーバーのハードウェア構成を示す構成図である。
【図３】同画像配信システムに使用するアプリケーションサーバーの機能ブロック図である。
【図４】同画像配信システムに使用する電子処理端末の機能ブロック図である。
【図５】同画像配信システムにおける映像受信準備の手順を示す図である。
【図６】同画像配信システムにおける圧縮映像配信の手順を示す図である。
【図７】同画像配信システムにおける操作イベント入力の手順を示す図である。
【図８】本発明の第２実施形態に係る電子情報ボードシステムの構成を示すブロック図である。
【図９】同電子情報ボードシステムに使用する電子情報ボードの機能ブロック図である。
【図１０】同電子情報ボードシステムにおける圧縮映像配信の手順を示す図である。
【図１１】同電子情報ボードシステムにおける操作イベント入力の手順を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態に係る画像処理装置、画像配信システム、及び画像処理方法について説明する。
＜第１実施形態＞
まず、本発明の第１実施形態について説明する。画像配信システムは、画像処理装置であるアプリケーションサーバーがＨＴＭＬコンテンツを描画し、その結果である画像を映像として電子処理端末に配信するものである。
図１は本発明の第１実施形態に係る画像配信システムの構成を示すブロック図である。本実施形態に係る画像配信システムは、アプリケーションサーバー１０と、このアプリケーションサーバー１０に無線ＬＡＮ（local area network）で接続された複数の電子情報端末２０（２０−１、２０−２、…、２０−ｎ）とで構成される。無線ＬＡＮは例えば社内ネットワークにおいて使用される。なお、アプリケーションサーバー１０と、電子情報端末２０との接続は無線ＬＡＮに限らず、有線ＬＡＮ、インターネット等、有線、無線を問わず各種の通信ネットワークを使用することができる。
【００１１】
図２は本発明の実施形態１に係るアプリケーションサーバーのハードウェア構成を示す構成図である。アプリケーションサーバー１０は、図２に示すように、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disc Drive）５０４、ＨＤＣ(Hard Disk Controller)５０５、メディアドライブ５０７、ディスプレイ（画像表示装置）５０８、インターフェース（I/F）５０９、キーボード５１１、マウス５１２、マイク５１３、スピーカ５１４、ＧＰＵ(Graphics Processing Unit)５１５を拡張バスライン５２０で接続して構成される。
ＣＰＵ５０１は、アプリケーションサーバー１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶している。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤＤ５０４は、プログラム等の各種データを記憶している。ＨＤＣ５０５は、ＣＰＵ５０１の制御にしたがってＨＤＤ５０４に対する各種データの読み出し又は書き込みを制御する。メディアドライブ５０７は、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ５０８は、各種情報を表示するディスプレイ５０８、Ｉ／Ｆ５０９は、通信ネットワークを介してデータ送信や、ドングルの接続を行う。ＧＰＵ５１５には、ＧＰＵ５１５の駆動に用いられるプログラムを記憶したＲＯＭ５１６、ＧＰＵ５１５のワークエリアとして使用されるＲＡＭ５１７が接続されている。拡張バスライン５２０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等を備える。
【００１２】
図１に示すアプリケーションサーバー１０は、ＣＰＵ５０１が所定の映像配信ソフトウエアを実行することにより、アプリケーション１００とアプリケーション１００で生成された複数の画像を映像として配信する映像配信サービス２００とを実現する。
電子情報端末２０は、ノート型パーソナルコンピュータ、タブレット型コンピュータ等であり、各種のＯＳ（Operating System）、例えば、ｉＯＳ、Ａｎｄｒｏｉｄ（登録商標）、ｗｉｎｄｏｗｓ（登録商標）、ｍａｃＯＳ（登録商標）に基づいて動作する。
【００１３】
以下、図１に基づいて画像配信システムの動作の概略について説明する。アプリケーション１００は、電子情報端末２０に配信したい画像を映像配信サービス２００に送出する（ステップＳ１）。映像配信サービス２００は、アプリケーション１００の描画結果である複数の画像を電子情報端末２０に送信する（ステップＳ２）。この例では、１台のアプリケーションサーバー１０から複数（ｎ台）の電子情報端末２０−１、２０−２、…、２０−ｎに同時に配信がなされる。
一方、各電子情報端末２０は、配信された映像を表示し、この表示された映像に対してタッチ操作やマウス操作を行い、映像への描画を行う。このタッチ操作やマウス操作等の操作イベントはアプリケーションサーバー１０の映像配信サービス２００に送信される（ステップＳ３）。
【００１４】
電子情報端末２０から操作イベントを受信した映像配信サービス２００はアプリケーション１００に操作イベントを送出し（ステップＳ４）、操作イベントを受け取ったアプリケーション１００は操作に応じた処理を行う。このように、操作イベントを処理した結果は映像として配信されるので、通信端末を使用しているユーザーはインタラクティブな操作をすることが可能である。このとき、配信サービス入出力部２１０（図３参照）は識別情報付与手段として機能し、電子情報端末２０を識別する端末ＩＤ（例えば１、２、３、…、ｎ）を付与して操作イベントをアプリケーション１００に送出する。このため、アプリケーション１００は、どの電子情報端末２０における操作イベントによる操作かを判別することができる。
【００１５】
次に画像配信システムにおける画像処理装置の構成について説明する。図３は同画像配信システムに使用する画像処理装置の機能ブロック図である。
アプリケーションサーバー１０は、上述のようにアプリケーション１００と、映像配信サービス２００とを備える。アプリケーション１００は、映像配信サービス２００と連携してユーザーに機能を提供するものであり、配信すべき画像を生成する。アプリケーション１００は、機能実行部１１０と、アプリケーション入出力部１２０と、フレーム出力部１３０とを備える。
映像配信サービス２００は、映像配信システムにおけるアプリケーションサーバー１０側のモジュールの総称である。映像配信サービス２００は、配信サービス入出力部２１０と、配信制御部２２０と、配信情報管理部２３０と、通信制御部２４０と、エンコーダー制御部２５０と、映像エンコーダー部２６０と、キャプチャ部２７０とを備える。配信制御部２２０、配信情報管理部２３０及び通信制御部２４０は、配信モジュール２８０を構成し、エンコーダー制御部２５０、及び映像エンコーダー部２６０はコーデックモジュール２９０を構成する。
【００１６】
機能実行部１１０は、アプリケーションサーバー１０の固有の機能を実行するモジュールである。アプリケーション入出力部１２０は配信サービス入出力部２１０が出力したデータである操作イベントを受信する。また、アプリケーション入出力部１２０は、受信したデータを機能実行部１１０が処理可能な形式に変換して送出する。更に、アプリケーション入出力部１２０は、配信サービス入出力部２１０へサービス開始、停止等のデータを送信する。
フレーム出力部１３０は、映像生成手段として映像として配信する画像を出力する。例えばＲＧＢビットマップである画像を、Ｈ．２６４／ＡＶＣ形式で圧縮した映像として出力する。
【００１７】
映像配信サービス２００は、映像配信システムのサーバー側のモジュールの総称である。配信サービス入出力部２１０は、アプリケーション入出力部１２０が出力するサービスの開始、停止データ等のデータを受信する。また、配信サービス入出力部２１０は、アプリケーション入出力部１２０に操作イベント等のデータを送信する。配信情報管理部２３０は、配信に関する映像エンコード設定、接続中の電子情報端末２０の情報を管理する。通信制御部２４０は、電子情報端末２０との通信をおこなう通信手段として機能する。配信制御部２２０は、配信全体の制御、コーデックモジュール２９０の起動、終了指示を行う。
エンコーダー制御部２５０は、配信制御部２２０から指定されたフレームレートでフレーム画像を取得し、取得したフレーム画像を映像エンコーダー部２６０に送出する。映像エンコーダー部２６０は、取得した画像から圧縮データを生成する。キャプチャ部２７０は、画像取得手段として機能し、アプリケーション１００のフレーム出力部１３０が出力するフレーム画像を取得する。
【００１８】
次に電子情報端末２０について説明する。電子情報端末２０は、基本的には図２に示したアプリケーションサーバーと同様のハードウェア構成を有しているため、ハードウェアについての説明は省略する。図４は同画像配信システムに使用する電子処理端末の機能ブロック図である。電子情報端末２０は、ＧＵＩ（Graphical User Interface）部３１０と、配信情報管理部３２０と、全体制御部３３０と、通信制御部３４０と、再生制御部３５０と、映像デコーダー部３６０とを備える。
ＧＵＩ部３１０は、ユーザーインターフェース（ＵＩ）を表示する。全体制御部３３０は通信の開始、切断指示など、全体の制御を行う。配信情報管理部３２０は、配信に関する情報、例えば映像エンコード設定を保持する。通信制御部３４０は、アプリケーションサーバー１０との通信制御、アプリケーションサーバー１０の映像配信サービス２００とデータの送受信を行う。再生制御部３５０は、圧縮データを映像デコーダー部に投入する。映像デコーダー部３６０は、圧縮データをデコードして表示する。
【００１９】
次に、第１実施形態に係る画像配信システムの動作について説明する。動作は、映像受信準備、圧縮データの配信、操作イベントの入力の順になされる。図５は同画像配信システムにおける映像受信準備の手順を示す図である。図５は電子情報端末２０がアプリケーションサーバー１０の映像配信サービス２００に接続し、映像を受信する準備が完了するまでの処理の流れを示している。まず電子情報端末２０の通信制御部３４０は、映像配信サービス２００の通信制御部２４０にエンコードパラメーターの取得要求を送信する（ステップＳ１０）。映像配信サービス２００の通信制御部２４０は、エンコードパラメーター取得要求を受信すると、配信情報管理部２３０からエンコードパラメーターを取得し、電子情報端末２０に応答する形で送信する（ステップＳ２０）。
次いで、電子情報端末２０の通信制御部２４０は映像配信サービス２００の通信制御部２４０にＵｐｌｏａｄ用のセッションの確立要求を行う（ステップＳ３０）。更に映像配信サービス２００の通信制御部２４０はＵｐｌｏａｄ用のセッションの確立要求を受信すると、Ｕｐｌｏａｄ用のセッションの確立完了を応答する形で送信する（ステップＳ４０）。ここで、Ｕｐｌｏａｄ用のセッションは、電子情報端末２０から映像配信サービス２００に操作イベントなどを送信するためのネットワーク接続であり、常時接続状態を維持している。
【００２０】
そして、電子情報端末２０の通信制御部３４０は映像配信サービス２００の通信制御部２４０にＤｏｗｎｌｏａｄ用のセッションの確立要求を行う（ステップＳ５０）。映像配信サービス２００の通信制御部２４０はＤｏｗｎｌｏａｄ用のセッションの確立要求を受信すると、Ｄｏｗｎｌｏａｄ用のセッションの確立完了を応答する形で送信する（ステップＳ６０）。ここで、Ｄｏｗｎｌｏａｄ用のセッションは、映像配信サービス２００から電子情報端末２０に映像などを送信するためのネットワーク接続のことであり、常時接続状態を維持している。
Ｄｏｗｎｌｏａｄ用のセッションの確立が完了すると電子情報端末２０の映像受信準備は完了する。また、本実施形態では、Ｄｏｗｎｌｏａｄ用とＵｐｌｏａｄ用のセッションを分けているが、これらは、分けることなく実施できる。
【００２１】
次にアプリケーションサーバー１０から電子情報端末２０への圧縮データの配信手順について説明する。図６は同画像配信システムにおける圧縮データの配信の手順を示す図である。アプリケーション１００のフレーム出力部１３０は映像として配信したい画像を映像配信サービス２００のキャプチャ部２７０に送出する（ステップＳ１００）。画像の送出方法としては、フレーム出力部１３０がキャプチャ部２７０に送信するようにできる。また、フレーム出力部１３０とキャプチャ部２７０が共有する画像保存用バッファーを設け、フレーム出力部１３０が画像保存用バッファーに画像を書き込み、キャプチャ部２７０が画像保存用バッファーの画像を取得するようにしてもよい。
次いで、映像配信サービス２００のキャプチャ部２７０が取得した画像は映像エンコーダー部２６０で圧縮されたフレームデータにエンコードする（ステップＳ１１０）。映像エンコーダー部２６０はエンコードが完了すると通信制御部２４０に圧縮されたフレームデータを出力し、通信制御部２４０は電子情報端末２０に圧縮データを送信する（ステップＳ１２０）。このとき、接続中の全ての電子情報端末２０に送信するので、接続中の電子情報端末２０は同じ映像を共有することができる。
【００２２】
上述したＳ１００、Ｓ１１０、Ｓ１２０は映像の１フレーム分を配信する一連の処理を示しており、この一連の処理を繰り返す（ステップＳ１３０、Ｓ１４０、Ｓ１５０・・・）ことで継続的に圧縮データを配信することができる。
【００２３】
次に電子情報端末２０における操作イベント入力の手順について説明する。図７は同画像配信システムにおける操作イベント入力の手順を示す図である。図７は電子情報端末２０の利用者が電子情報端末２０に表示されている映像に対して、マウス操作を行った場合の処理の流れを示している。
まず、電子情報端末２０は操作イベントの種類、座標などが含まれる操作イベント情報を映像配信サービス２００の通信制御部２４０に送信する（ステップＳ２００）。通信制御部２４０は受信した操作イベント情報を配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する固有の端末ＩＤ（例えば１、２、…、ｎ）を付与して操作イベント情報をアプリケーション入出力部１２０に送出する。
次いで、アプリケーション入出力部１２０は操作イベント情報を受信すると、機能実行部１１０が実行可能な形式の機能実行コマンドに変換して、機能実行部１１０に送出する（ステップＳ２２０）。アプリケーション入出力部１２０は操作イベント情報に付された端末ＩＤ毎に操作イベント情報を処理して、端末ＩＤ毎に機能実行コマンドを生成する。即ち、アプリケーション入出力部１２０は電子情報端末を識別する電子情報端末識別手段として機能する。機能実行部１１０は渡された機能実行コマンドを実行する（ステップＳ２３０）。
これにより、複数の電子情報端末２０（２０−１〜２０−ｎ）でなされた操作イベントが、電子端末毎の操作イベントとして区別されてアプリケーション１００で実行される。
本実施形態に係る画像配信システムによれば、複数の電子情報端末からの操作イベントを区別して適切に処理できる。
【００２４】
＜第１実施形態の変形例＞
次に第１実施形態の変形例について説明する。本例に係る画像配信システムにおいて、電子情報端末２０は、操作イベントに識別情報である自身の端末ＩＤ（例えば１、２、３、…、ｎ）を付与する。即ち、電子情報端末２０は、図４中に仮想線で示したように、識別情報付与手段である識別情報付与部３７０を備える。識別情報付与部３７０が付与した端末ＩＤは、操作イベントとともにアプリケーションサーバー１０に送信される。
一方、アプリケーションサーバー１０においては、配信サービス入出力部２１０（図３参照）は端末ＩＤを付与することはない。一方でアプリケーションサーバー１０のアプリケーション入出力部１２０は、電子情報端末２０からの端末ＩＤに基づいて操作イベントがどの電子情報端末２０で実行されかを判断する。その後の処理は、実施形態１に係るアプリケーションサーバー１０と同一である。
本例によっても、複数の電子情報端末２０（２０−１〜２０−ｎ）でなされた操作イベントが、電子端末毎の操作イベントとして区別されてアプリケーション１００で実行される。よって、複数の電子情報端末からの操作イベントを区別して適切に処理できる。
【００２５】
＜第２実施形態＞
次に本発明の第２実施形態について説明する。本発明の第２実施形態は、画像処理装置を電子情報ボードシステムに適用したものである。電子情報ボードは、液晶パネルなどのディスプレイを備え、ディスプレイの表示面における入力用の指示体、例えば入力ペンあるいは指が接触した位置の座標を検知する座標検知装置であるタッチパネルと、座標検知装置から出力された座標データに基づいてディスプレイの表示面に書き込まれた文字、数字及び図形を含む画像を表示させる制御装置とを備える。この種の装置では、会議の資料などを拡大してディスプレイに表示できる他、入力ペンなどの指示体や指でディスプレイの表示面に書き込みを行える。
【００２６】
図８は本発明の第２実施形態に係る電子情報ボードシステムの構成を示すブロック図である。本実施形態に係る電子情報ボードシステムは、電子情報ボードであるインタラクティブホワイトボード４０と、このインタラクティブホワイトボード４０に無線ＬＡＮ（local area network）で接続された複数の電子情報端末２０（２０−１、２０−２、…、２０−ｎ）とで構成される。無線ＬＡＮは例えば社内ネットワークにおいて使用される。なお、アプリケーションサーバー１０と、電子情報端末２０との接続は無線ＬＡＮに限らず、有線ＬＡＮ、インターネット等、有線、無線を問わず各種の通信ネットワークを使用できる。
インタラクティブホワイトボード４０は、図２に示したアプリケーションサーバー１０が備えるハードウェア構成に加えて、図２中破線で示したタッチパネル５１９を備える。このタッチパネル５１９により、入力ペンや指のディスプレイ５０８で接触位置の座標を検出する。また、インタラクティブホワイトボード４０において、ディスプレイ５０８は液晶ディスプレイ等、大画面のものである。ＣＰＵ５０１が所定のソフトウエアを実行することによりホワイトボードアプリケーション４００と、映像配信サービス２００とを実現する。
【００２７】
電子情報端末２０は、ノート型パーソナルコンピュータ、タブレット型コンピュータ等であり、各種のＯＳ（Operation System）、例えば、ｉＯＳ、Ａｎｄｒｏｉｄ（登録商標）、ｗｉｎｄｏｗｓ（登録商標）、ｍａｃＯＳ（登録商標）に基づいて動作する。なお、電子情報端末２０の構成は、第１実施形態のものと同じである（図４参照）。
【００２８】
次に図８に基づいて電子情報ボードシステムの動作の概略について説明する。インタラクティブホワイトボード４０において、ホワイトボードアプリケーション４００は、入力ペンや指によるディスプレイ５０に対するストロークの書き込みや、ページの操作をタッチパネルで検出する。また、ホワイトボードアプリケーション４００は、タッチパネルで検出された操作イベントに基づいてディスプレイ５０８にストローク５１等を描画する。
また、ホワイトボードアプリケーション４００は、電子情報端末２０に配信するディスプレイ５０８の画像（ホワイトボード画像）を出力し、描画結果を映像配信サービス２００に送る（ステップＳ１１）。映像配信サービス２００は、ホワイトボードアプリケーション４００の描画結果である複数の画像を圧縮データに変換し、各電子情報端末２０に配信する（ステップＳ１２）。この例では、１台のインタラクティブホワイトボード４０から複数（ｎ台）の電子情報端末２０−１、２０−２、…、２０−ｎに同時に配信がなされる。
【００２９】
一方、電子情報端末２０は、取得した配信されたホワイトボード映像を表示し、この表示された映像に対してタッチ操作やマウス操作を行い、表示された映像へのストローク等の描画を行うことができる（操作イベント）。この操作イベントはアプリケーションサーバー１０の映像配信サービス２００に送信される（ステップＳ１３）。
【００３０】
操作イベントを受信した映像配信サービス２００は、ホワイトボードアプリケーション４００に操作イベントを送出する（ステップＳ１４）。操作イベントを受信したホワイトボードアプリケーション４００は操作に応じた処理、即ちディスプレイ５０８へのストローク５１等の描画を行う。ホワイトボードアプリケーション４００に入力された操作イベントは座標情報が付随している。このため、機能実行部４１０は、座標情報からストロークを生成してディスプレイ５０８の画像に描画を行う。よって、電子情報端末２０は遠隔操作によりインタラクティブホワイトボード４０のディスプレイ５０８にストロークを描画することができる。
【００３１】
また、操作イベントを処理した結果は映像として電子情報端末２０に再度配信されるので、電子情報端末２０を使用しているユーザーはインタラクティブな操作をすることが可能である。
更に、配信サービス入出力部２１０は、電子情報端末２０を識別する端末ＩＤを付与して操作イベントをホワイトボードアプリケーション４００に送出するので、ホワイトボードアプリケーション４００は、操作イベントが何れの電子情報端末２０のものかを判別することができる。このため、複数の電子情報端末２０による操作が混乱することがない。
【００３２】
次にインタラクティブホワイトボード４０の構成について説明する。図９は電子情報ボードの機能ブロック図である。
インタラクティブホワイトボード４０は、上述のようにホワイトボードアプリケーション４００と、映像配信サービス２００とを備える。ホワイトボードアプリケーション４００は、映像配信サービス２００と連携してインタラクティブホワイトボード４０のユーザーにホワイトボードとしての機能を提供するものである。ホワイトボードアプリケーション４００は、インタラクティブホワイトボード４０の機能を実現し、電子情報端末２０に配信すべき画像を生成する。ホワイトボードアプリケーション４００は、機能実行部４１０と、アプリケーション入出力部４２０と、フレーム出力部４３０と、画像表示制御部４４０と、タッチパネル制御部４５０とを備える。映像配信サービス２００は映像配信システムのアプリケーションサーバー１０側のモジュールの総称である。映像配信サービス２００は、第１実施形態における映像配信サービス２００と同一の構成を備える。即ち映像配信サービス２００は、配信サービス入出力部２１０と、配信制御部２２０と、配信情報管理部２３０と、通信制御部２４０と、エンコーダー制御部２５０と、映像エンコーダー部２６０と、キャプチャ部２７０とを備える。配信制御部２２０、配信情報管理部２３０及び通信制御部２４０は、配信モジュール２８０を構成し、エンコーダー制御部２５０、映像エンコーダー部２６０はコーデックモジュール２９０を構成する。
【００３３】
機能実行部４１０は、インタラクティブホワイトボードの固有の機能を実行するモジュールである。即ちディスプレイ５０８に表示する画像や、描画コマンドに基づくストロークを描画する。アプリケーション入出力部４２０は配信サービス入出力部２１０が出力したデータ、例えば操作イベントを受信する。また、機能実行部４１０は、受信したデータを機能実行部４１０が処理可能な形式に変換して送出する。更に、機能実行部４１０は、配信サービス入出力部２１０へサービス開始、停止等のデータを送信する。  フレーム出力部４３０は、映像として配信する画像を出力する。例えばRGBビットマップである画像を、H.264/AVC形式で圧縮したデータとして出力する。
画像表示制御部４４０は、機能実行部４１０からの描画信号を受け、ディスプレイ５０８の画像表示を制御する。タッチパネル制御部４５０は、タッチパネルからの検出信号を受け、機能実行部４１０に出力する。
【００３４】
次に本実施形態に係る電子情報ボードシステムにおける処理について説明する。動作は、映像受信準備、圧縮データの配信、操作イベント入力の順になされる。電子情報ボードシステムにおける映像受信準備の手順は、図５に示した第１実施形態に係る手順と同一である。
【００３５】
次にインタラクティブホワイトボード４０から電子情報端末２０への圧縮データの配信手順について説明する。図１０は同電子情報ボードシステムにおける圧縮データ配信の手順を示す図である。ホワイトボードアプリケーション４００のフレーム出力部４３０は映像として配信したい画像を映像配信サービス２００のキャプチャ部２７０に送出する（ステップＳ３００）。画像の送出方法としては、例えばフレーム出力部４３０がキャプチャ部２７０に直接画像を送信する方法を採用しても良い。或いは、フレーム出力部４３０とキャプチャ部２７０が共有する画像保存用バッファーを設けておき、フレーム出力部４３０が画像保存用バッファーに画像を書き込み、キャプチャ部２７０が画像保存用バッファーの画像を取得するようにしてもよい。
次いで、映像配信サービス２００のキャプチャ部２７０が取得した画像は映像エンコーダー部２６０で圧縮されたフレームデータにエンコードする（ステップＳ３１０）。映像エンコーダー部２６０はエンコードが完了すると通信制御部２４０に圧縮されたフレームデータを渡し、通信制御部２４０は電子情報端末２０に圧縮データを送信する（ステップＳ３２０）。このとき、接続中の全ての電子情報端末２０に送信するので、接続中の電子情報端末２０は同じホワイトボード映像を共有することができる。
【００３６】
上述したステップＳ３００、Ｓ３１０、Ｓ３２０は映像の１フレーム分を配信する一連の処理を示しており、この一連の処理を繰り返す（ステップＳ３３０、Ｓ３４０、Ｓ３５０・・・）ことで継続的にホワイトボード画像から生成した圧縮データを配信することができる。
ここで、インタラクティブホワイトボード４０から各電子情報端末２０に配信されるホワイトボード画像はホワイトボードアプリケーション４００がディスプレイ５０８に表示した画面そのものではなく、ストロークなどが描画されているキャンバス画像であり、ホワイトボード操作用のＵＩペンモード変更ボタンや消しゴムボタンは含まれていない。
この設定は必要に応じて変更できる。本実施形態では、ホワイトボードアプリケーション４００が出力する任意の画像を配信することができるので、ＵＩを含まない画像を配信することも可能である。このように本実施形態では、電子情報端末２０の使用者に不必要な画像を表示させないことができる。
【００３７】
次に電子情報端末２０における操作イベントの入力の手順について説明する。図１１は同電子情報ボードシステムにおける操作イベントの入力の手順を示す図である。図１０は電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード映像に対して、マウス操作を行った場合の処理の流れを示している。
まず、電子情報端末２０は操作イベントの種類、座標などが含まれる操作イベント情報を映像配信サービス２００の通信制御部２４０に送信する（ステップＳ４００）。通信制御部２４０は受信した操作イベント情報を配信サービス入出力部２１０に送出し、配信サービス入出力部２１０は電子情報端末２０を識別する端末ＩＤ（例えば１、２、…、ｎ）を付与して操作イベント情報をアプリケーション入出力部４２０に送出する。
次いで、アプリケーション入出力部４２０は操作イベント情報を受信すると、機能実行部４１０が実行可能な形式の機能実行コマンドに変換して、機能実行部４１０に送出する（ステップＳ４２０）。アプリケーション入出力部４２０は操作イベント情報に付された端末ＩＤ毎に操作イベント情報を処理して、端末ＩＤ毎に機能実行コマンドを生成する。即ち、アプリケーション入出力部４２０は電子情報端末を識別する電子情報端末識別手段として機能する。機能実行部４１０は渡された機能実行コマンドを実行する（ステップＳ４３０）。
これにより、複数の電子情報端末２０（２０−１〜２０−ｎ）でなされた操作イベントが、電子端末毎の操作イベントとして区別されてホワイトボードアプリケーション４００で実行される。
【００３８】
以上のように、電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード映像に対して、マウス操作等の操作を行った場合、ホワイトボードアプリケーション４００が動作しているインタラクティブホワイトボード４０のディスプレイ５０８にストローク５１が表示され、表示された結果が映像として電子情報端末２０に表示される。また、操作イベント情報には端末ＩＤが付与されているためアプリケーション入出力部は電子情報端末２０毎、つまりユーザー毎にストローク描画コマンドを生成することができる。
よって、複数のユーザーが同時に操作イベントを送信しても、ストロークは乱れることなく、操作イベントを入力した全ての使用者が意図したとおりのストロークが描画される。
また、ストロークが表示されたホワイトボードの映像は他の電子情報端末２０にも配信されるため、インタラクティブホワイトボード４０で資料を表示し、その映像を複数のユーザーで共有し、複数のユーザーで資料に書き込みを行うことが可能になる。
【００３９】
＜第２実施形態の変形例＞
次に第２実施形態の変形例について説明する。本実施形態に係る電子情報ボードシステムにおいて、電子情報端末２０は、操作イベントに識別情報である自身の端末ＩＤ（例えば１、２、３、…、ｎ）を付与する。即ち、電子情報端末２０は、図４中に仮想線で示したように、識別情報付与手段である識別情報付与部３７０を備える。識別情報付与部３７０が付与した端末ＩＤは、操作イベントとともにインタラクティブホワイトボード４０に送信される。
一方インタラクティブホワイトボード４０においては、配信サービス入出力部２１０（図９参照）は端末ＩＤを付与することない。また、インタラクティブホワイトボード４０のアプリケーション入出力部４２０は、電子情報端末２０からの端末ＩＤに基づいて操作イベントがどの電子情報端末２０で実行されかを判断する。その後の処理は、実施形態２に係るインタラクティブホワイトボード４０と同一である。
【００４０】
本実施形態によっても、電子情報端末２０の利用者が電子情報端末２０に表示されているホワイトボード映像に対して、マウス操作等の操作を行った場合、ホワイトボードアプリケーション４００が動作しているインタラクティブホワイトボード４０のディスプレイ５０８にストローク５１が表示され、表示された結果が映像として電子情報端末２０に表示される。また、操作イベント情報には端末ＩＤが付与されているためアプリケーション入出力部は電子情報端末２０毎、つまりユーザー毎にストローク描画コマンドを生成することができる。
よって、複数のユーザーが同時に操作イベントを送信しても、ストロークは乱れることなく、操作イベントを入力した全ての使用者が意図したとおりのストロークが描画される。
また、ストロークが表示されたホワイトボードの映像は他の電子情報端末２０にも配信されるため、インタラクティブホワイトボード４０で資料を表示し、その映像を複数のユーザーで共有し、複数のユーザーで資料に書き込みを行うことが可能になる。
【００４１】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
電子情報端末２０と無線ＬＡＮを介して接続されたアプリケーションサーバー１０であって、画像を取得するキャプチャ部２７０と、キャプチャ部２７０で取得した画像から所定形式の映像を生成するフレーム出力部１３０と、フレーム出力部１３０で生成された映像を電子情報端末２０に配信する配信制御部２２０と、電子情報端末２０に配信された映像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信制御部２４０と、操作イベントに付された識別情報に基づいて、操作イベントを行った電子情報端末２０を識別するアプリケーション入出力部１２０と、を備えたことを特徴とする。
本態様によれば、電子情報端末２０からの操作イベントは、アプリケーション入出力部１２０により識別情報に基づいてどの電子情報端末２０からのものかが判定される。これにより、複数の電子情報端末からの操作イベントをディスプレイにおいて適切に処理できる。
【００４２】
＜第２態様＞
本態様は、識別情報に基づいて各操作イベントを電子情報端末毎に処理するアプリケーション入出力部１２０を備えたことを特徴とする。
本態様によれば、各操作イベントを電子情報端末毎に処理する。これにより、複数の電子情報端末からの操作イベントを区別して処理できる。
【００４３】
＜第３態様＞
本態様は、操作イベントにどの電子情報端末２０が操作を行ったかを示す端末ＩＤを付与する配信サービス入出力部２１０を備えることを特徴とする。
本態様によれば、配信サービス入出力部２１０において操作イベントに端末ＩＤを付することができる。これにより、複数の電子情報端末からの操作イベントを適切に処理できる。
【００４４】
＜第４態様＞
電子情報端末２０と、電子情報端末２０と無線ＬＡＮを介して接続されるアプリケーションサーバー１０とを有する画像配信システムであって、アプリケーションサーバー１０は、画像を取得するキャプチャ部２７０と、キャプチャ部２７０で取得した画像から所定形式の映像を生成するフレーム出力部１３０と、フレーム出力部１３０で生成された映像を電子情報端末２０に配信する配信制御部２２０とを有し、電子情報端末２０は、電子情報端末２０に配信された映像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信制御部２４０と、操作イベントに付された識別情報に基づいて、操作イベントを行った電子情報端末２０を識別するアプリケーション入出力部１２０とを有することを特徴とする。
本態様によれば、アプリケーションサーバー１０と電子情報端末２０と無線ＬＡＮで接続して画像配信システムを構成する。これにより、アプリケーションサーバー１０及び電子情報端末２０での操作イベントに基づく処理をアプリケーションサーバー１０及び電子情報端末２０で共有できる。
【００４５】
＜第５態様＞
本態様において、電子情報端末２０は操作イベントに端末ＩＤを付与する識別情報付与部３７０を備えることを特徴とする。
本態様によれば、アプリケーションサーバー１０と電子情報端末２０と無線ＬＡＮで接続して電子情報ボードシステムを構成し、電子情報端末２０の識別情報付与部３７０から操作イベントに端末ＩＤを付与する。これにより、アプリケーションサーバー１０はどの電子情報端末２０での操作イベントかを認識して処置することができる。
【００４６】
＜第６態様＞
本態様は、電子情報端末２０と無線ＬＡＮを介して接続されたアプリケーションサーバー１０が実行する画像処理方法であって、画像を取得する画像取得ステップと、画像取得ステップで取得した画像から所定形式の映像を生成する映像生成ステップと、映像生成ステップで生成された映像を電子情報端末２０に配信する配信ステップと、電子情報端末２０に配信された映像に対して行われた操作に関わる操作イベントを各電子情報端末２０から受信する通信ステップと、操作イベントに付された識別情報に基づいて、操作イベントを行った電子情報端末２０を識別する電子情報端末識別ステップと、を実行することを特徴とする。
本態様によれば、電子情報端末２０からの操作イベントは、アプリケーション入出力部１２０でどの電子情報端末２０で操作されたかが認識できる。これにより、複数の電子情報端末からの操作イベントを適切に処理できる。
【符号の説明】
【００４７】
１０：アプリケーションサーバー（画像処理装置）、２０：電子情報端末、１００：アプリケーション、１１０：機能実行部、１２０：アプリケーション入出力部（電子情報端末識別手段、イベント処理手段）、１３０：フレーム出力部、２００：映像配信サービス、２１０：配信サービス入出力部（識別情報付与手段）、２２０：配信制御部、２３０：配信情報管理部、２４０：通信制御部（通信手段）、２５０：エンコーダー制御部、２６０：映像エンコーダー部（映像生成手段）、２７０：キャプチャ部（画像取得手段）、３７０：識別情報付与部（識別情報付与手段）
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特開２０１４−２０００７６公報
【図１】
2016224907.tif 000003
【図２】
2016224907.tif 000004
【図３】
2016224907.tif 000005
【図４】
2016224907.tif 000006
【図５】
2016224907.tif 000007
【図６】
2016224907.tif 000008
【図７】
2016224907.tif 000009
【図８】
2016224907.tif 000010
【図９】
2016224907.tif 000011
【図１０】
2016224907.tif 000012
【図１１】
2016224907.tif 000013