(57)【要約】【課題】ユーザの違和感を低減させることができる電子情報端末を提供する。【解決手段】  ユーザがディスプレイに表示されている映像上にストロークを描画すると、マウスイベントを発生させる（ステップＳ１０１、Ｓ１０３）。そして、ＬＦＢストローク（一時ストローク）の描画色の色空間を、映像の色空間に変換し（ステップＳ１０７）、その後、ＲＧＢ色空間に変換する（ステップＳ１０９）。そして、マウスイベントに基づくストロークを生成してディスプレイに表示させる（ステップＳ１１１）。この場合は、ＬＦＢストロークの描画色と、映像に重畳されたストロークの描画色の色味の違いを低減させることができ、ユーザの違和感を低減させることができる。【選択図】図９
2017142355.tif 000002
【特許請求の範囲】
【請求項１】
画面に表示されている外部からの映像上にストローク画を描画することができる電子情報端末であって、
前記ストローク画を一時的に表示する際に前記ストローク画の色空間を前記映像の色空間に変換し、その後、前記画面への描画における色空間に変換する処理装置を備える電子情報端末。
【請求項２】
前記処理装置は、前記映像の色空間が、前記画面への描画における色空間と色味が類似した所定の色空間と異なっているときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項１に記載の電子情報端末。
【請求項３】
前記処理装置は、色空間の変換を無効とする設定がなされていないときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項１に記載の電子情報端末。
【請求項４】
映像を配信する機能を有する画像処理装置と、該画像処理装置と通信ネットワークを介して接続された電子情報端末とを含む画像処理システムであって、
前記電子情報端末が、請求項１〜３のいずれか一項に記載の電子情報端末である画像処理システム。
【請求項５】
前記画像処理装置は、前記電子情報端末からマウスイベントを受信すると、該マウスイベントに基づいたストローク画と背景画像とを合成して映像を作成し、該映像を前記電子情報端末に送信することを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記電子情報端末は、電子情報ボードであることを特徴とする請求項４又は５に記載の画像処理システム。
【請求項７】
画面に表示されている外部からの映像上にストローク画を描画することができる電子情報端末における画像処理方法であって、
前記ストローク画を一時的に表示する際に前記ストローク画の色空間を前記映像の色空間に変換する工程と、
その後、前記ストローク画の色空間を前記画面への描画における色空間に変換する工程とを含む画像処理方法。
【請求項８】
前記映像の色空間を取得する工程と、
前記取得する工程で取得された前記映像の色空間が、前記画面への描画における色空間と色味が類似した所定の色空間と異なっているか否かを判断する工程とを更に含み、
前記映像の色空間に変換する工程では、前記判断する工程で、前記映像の色空間が前記所定の色空間とは異なっていると判断されたときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記色空間の変換を無効とする設定がなされているか否かを判断する工程を更に含み、
前記映像の色空間に変換する工程では、前記設定がなされているか否かを判断する工程で、前記設定がなされていないと判断されたときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
画面に表示されている外部からの映像上にストローク画を描画することができる電子情報端末に用いられるプログラムであって、
前記ストローク画を一時的に表示する際に前記ストローク画の色空間を前記映像の色空間に変換する手順と、
その後、前記ストローク画の色空間を前記画面への描画における色空間に変換する手順とを、前記電子情報端末の処理装置に実行させるプログラム。
【請求項１１】
前記映像の色空間を取得する手順と、
前記取得する手順で取得された前記映像の色空間が、前記画面への描画における色空間と色味が類似した所定の色空間と異なっているか否かを判断する手順とを更に有し、
前記映像の色空間に変換する手順では、前記判断する手順で、前記映像の色空間が前記所定の色空間とは異なっていると判断されたときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項１０に記載のプログラム。
【請求項１２】
前記色空間の変換を無効とする設定がなされているか否かを判断する手順を更に有し、
前記映像の色空間に変換する手順では、前記設定がなされているか否かを判断する手順で、前記設定がなされていないと判断されたときに、前記ストローク画の色空間を前記映像の色空間に変換することを特徴とする請求項１０に記載のプログラム。
【請求項１３】
請求項１０〜１２のいずれか一項に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子情報端末、画像処理システム、画像処理方法、プログラム、及び記録媒体に係り、更に詳しくは、手書き機能を有する電子情報端末、該電子情報端末を備える画像処理システム、電子情報端末における画像処理方法、電子情報端末に用いられるプログラム、及び該プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
近年、遠隔地にある複数拠点にそれぞれ設置されている電子黒板や電子情報ボード等の電子情報端末を通信ネットワークを介して接続し、これら電子情報端末を活用した電子会議やプレゼンテーションが広く行われている。
【０００３】
例えば、特許文献１には、マルチメディア会議イベント用のホワイトボード管理手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、電子情報端末における手書き描画の遅れをユーザに感じさせないようにする技術として、ローカルフィードバック（ＬＦＢ）技術が提案されている。
【０００５】
このＬＦＢ技術では、電子情報端末で描画された手書き画像（以下では、「ストローク」ともいう）の情報は画像処理装置に送信され、画像処理装置で映像に該ストロークが重畳されて電子情報端末に配信される。なお、ＬＦＢ技術では、電子情報端末において、描画されたストロークを所定時間の経過後にフェードアウトさせるようになっている。
【０００６】
この場合、従来の電子情報端末では、フェードアウトする前のストローク（「一時ストローク」ともいう）の描画色と、映像に重畳されたストロークの描画色とで、色味が若干異なる場合があり、ユーザに違和感をあたえることがあった。
【課題を解決するための手段】
【０００７】
本発明は、画面に表示されている外部からの映像上にストローク画を描画することができる電子情報端末であって、前記ストローク画を一時的に表示する際に前記ストローク画の色空間を前記映像の色空間に変換し、その後、前記画面への描画における色空間に変換する処理装置を備える電子情報端末である。
【発明の効果】
【０００８】
本発明の電子情報端末によれば、ユーザの違和感を低減させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理システムを説明するための図である。
【図２】本発明の一実施形態に係る電子情報端末のハードウェア構成を説明するための図である。
【図３】電子情報端末の機能を説明するためのブロック図である。
【図４】サーバの機能を説明するためのブロック図である。
【図５】マウスイベントに関する電子情報端末及びサーバの基本動作を説明するためのシーケンス図である。
【図６】図６（Ａ）〜図６（Ｃ）は、それぞれマウスイベントに関するサーバの基本動作を説明するための図である。
【図７】電子情報端末に表示される画面のレイヤ構成を説明するための図である。
【図８】マウスイベントのデータ構造を説明するための図である。
【図９】電子情報端末におけるＬＦＢストローク描画時の処理を説明するためのフローチャートである。
【図１０】サーバにおけるＬＦＢストローク消去通知処理を説明するためのフローチャートである。
【図１１】電子情報端末におけるＬＦＢストローク消去処理を説明するためのフローチャートである。
【図１２】サーバにおける映像配信処理を説明するためのフローチャートである。
【図１３】電子情報端末における映像表示処理を説明するためのフローチャートである。
【図１４】電子情報端末におけるＬＦＢストローク描画時の処理の変形例１を説明するためのフローチャートである。
【図１５】電子情報端末におけるＬＦＢストローク描画時の処理の変形例２を説明するためのフローチャートである。
【図１６】サーバにおけるＬＦＢストローク消去通知処理の変形例１を説明するためのフローチャートである。
【図１７】電子情報端末におけるＬＦＢストローク消去処理の変形例１を説明するためのフローチャートである。
【図１８】サーバにおけるＬＦＢストローク消去通知処理の変形例２を説明するためのフローチャートである。
【図１９】電子情報端末におけるＬＦＢストローク消去処理の変形例２を説明するためのフローチャートである。
【図２０】ＬＦＢストロークが部分的に消去される様子を段階的に示した模式図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態を説明する。図１には、一実施形態に係る画像処理システム５の概略構成が示されている。この画像処理システム５は、電子情報端末１と、画像処理装置としてのサーバ２と、電子情報端末１とサーバ２とを接続する通信ネットワーク３とを備えている。
【００１１】
電子情報端末１は、タッチパネル機能を有するディスプレイ３０８を備えている。ユーザが電子情報端末１のディスプレイ３０８に手書き画像（ストローク）を描くと、電子情報端末１では、マウスイベントが発生する。そして、電子情報端末１は、マウスイベントをサーバ２に送信する。
【００１２】
サーバ２は、描画のアプリケーションを有し、電子情報端末１から受信したマウスイベントに基づいて、ストロークを描画する。そして、サーバ２はアプリケーションの画面を動画エンコーディングし、電子情報端末１に映像配信する。
【００１３】
電子情報端末１は、サーバ２から受信した映像をディスプレイ３０８に表示する。電子情報端末１としては、携帯情報端末や電子情報ボードを用いることができる。
【００１４】
〔電子情報端末のハードウェア構成〕
電子情報端末１のハードウェア構成が図２に示されている。なお、サーバ２のハードウェア構成も電子情報端末１と同様であるため、説明を省略する。
【００１５】
電子情報端末１は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、ＨＤＣ（Ｈａｒｄ  Ｄｉｓｋ  Ｃｏｎｔｒｏｌｌｅｒ）３０５、メディアドライブ３０７、ディスプレイ３０８、Ｉ／Ｆ３０９、キーボード３１１、マウス３１２、マイク３１３、スピーカ３１４、ＧＰＵ３１５、及びバスライン３２０などを備えている。
【００１６】
ＣＰＵ３０１は、電子情報端末１全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１で実行される各種プログラムや、該各種プログラムで用いられる各種データが記憶されているメモリである。ＲＡＭ３０３は、ＣＰＵ３０１の作業領域として使用されるメモリである。
【００１７】
ＨＤＤ３０４には、各種プログラムや各種データが記憶されている。ＨＤＣ３０５は、ＨＤＤ３０４に対する読み出し及び書き込みを制御する。
【００１８】
メディアドライブ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、各種情報を表示する表示手段である。このディスプレイ３０８は、タッチパネル機能を有するディスプレイであり、電子情報端末１を操作するための操作手段としても機能する。
【００１９】
Ｉ／Ｆ３０９は、通信ネットワーク３を介した双方向の通信を制御する。キーボード３１１及びマウス３１２は、ユーザが電子情報端末１を操作する際に用いられる。
【００２０】
バスライン３２０は、アドレスバスやデータバスを含み、上記各構成要素を電気的に接続する。
【００２１】
なお、電子情報端末１で実行されるプログラム、及びサーバ２で実行されるプログラムの少なくとも一部を、インストール可能な形式又は実行可能な形式のファイルで、記録メディア３０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。
【００２２】
ところで、ディスプレイにタッチパネルが搭載され、手書き機能を有する電子情報端末が市販されている。そして、この電子情報端末を用いてプレゼンテーションを行ったり、遠隔地間での情報共有を行うことが考えられた。
【００２３】
このような用途では、電子情報端末の負荷が大きくなる。そこで、外部の画像処理装置で一部の処理を実行し、電子情報端末の負荷を小さくするという方法が考えられた。しかしながら、この方法では、通信ネットワークを介することによる遅延が発生し、電子情報端末における操作性の低下を招くという不都合があった。
【００２４】
そこで、電子情報端末側で一時的に手書き描画を行い、手書き描画の遅れをユーザに感じさせないようにする技術、いわゆるローカルフィードバック（ＬＦＢ）が提案された。
【００２５】
このＬＦＢでは、ローカルで一時的に描画されたストローク（以下では、「一時ストローク」ともいう）を、所定時間の経過後にフェードアウトさせるようになっている。しかしながら、フェードアウトする前の一時ストロークの描画色と、実際に手書き描画されたストロークの描画色との間で、色味が若干異なってしまい、ユーザに違和感を感じさせてしまうという不都合があった。
【００２６】
例えば、キャプチャ映像はＨ．２６４など圧縮映像で配信される。そして、圧縮映像へ変換される際にＲＧＢからＹＵＶ４２２やＹＵＶ４２０へ色空間の変換処理が行われる。一方、ＬＦＢで描画される一時ストロークはＲＧＢにて描画される。
【００２７】
〔電子情報端末の機能構成〕
電子情報端末１の機能の一部が図３に示されている。
【００２８】
電子情報端末１は、ＧＵＩ部２００、全体制御部２１０、配信情報管理部２２０、通信制御部２３０、再生制御部２４０、映像デコーダ部２５０、ＬＦＢ部２６０、マウスイベント受信部２７０、キャプチャ映像色空間判断部２８０、一時ストローク描画色変換部２９０などを有している。
【００２９】
ＧＵＩ部２００は、ＵＩ（ユーザインターフェース）画像を表示する。全体制御部２１０は、通信の開始、切断指示など、全体の制御を行う。配信情報管理部２２０は、配信に関する情報を保持する。配信に関する情報としては、例えば、映像エンコード設定情報がある。
【００３０】
通信制御部２３０は、サーバ２との通信を制御する。再生制御部２４０は、圧縮映像を映像デコーダ部２５０に送出する。映像デコーダ部２５０は、圧縮映像をデコードして表示する。
【００３１】
ＬＦＢ部２６０は、マウスイベント受信部２７０で受信したマウスイベントの示すマウス座標にストロークを描画し、ローカルフィードバックする。
【００３２】
マウスイベント受信部２７０は、電子情報端末１で発生したマウスイベントを受信する。マウスイベントには、マウス位置が含まれる。なお、手書き操作に関するイベントとして、位置をより細かに取得したスタイラスイベントや、タッチペンや指の位置を検知するタッチイベント等も存在するが、ここでは、便宜上、手書き操作によって発生するイベントをマウスイベントということとする。
【００３３】
キャプチャ映像色空間判断部２８０は、サーバ２からのキャプチャ映像における色空間を判断する。
【００３４】
一時ストローク描画色変換部２９０は、一時ストロークの描画色を変換する。
【００３５】
〔サーバの機能構成〕
サーバ２の機能の一部が図４に示されている。サーバ２は、アプリケーション部１０及び映像配信サービス部２０を有している。
【００３６】
アプリケーション部１０は、映像配信サービス部２０と連携してユーザに機能を提供するアプリケーションであり、配信画像を生成する。
【００３７】
アプリケーション部１０は、機能実行部１２、アプリ入出力部１３、フレーム出力部１４を有している。
【００３８】
映像配信サービス部２０は、映像配信システムのサーバ側モジュールの総称であり、配信サービス入出力部２１、コーデックモジュール２５、配信モジュール２７、キャプチャ部２９を有している。
【００３９】
配信サービス入出力部２１は、配信制御部２２、配信情報管理部２３、通信制御部２４を有している。コーデックモジュール２５は、エンコーダ制御部２６を有し、配信モジュール２７は、映像エンコーダ部２８を有している。
【００４０】
機能実行部１２は、アプリケーションの機能を実行するモジュールである。例えば、インタラクティブホワイトボードの場合、以下のような機能が想定される。ストロークを描画する。ストロークを消去する。ページ操作、キャプチャ部２９がキャプチャしたことを検知する。
【００４１】
アプリ入出力部１３は、配信サービス入出力部２１が出力したデータ（例えば、操作イベント）を受信する。また、アプリ入出力部１３は、受信したデータを機能実行部１２が処理できる形式に変換して渡す。例えば、操作イベントをストロークに変換する。さらに、アプリ入出力部１３は、配信サービス入出力部２１へデータ（例えば、サービス開始、停止）を送信する。
【００４２】
フレーム出力部１４は、映像として配信する画像を出力する。
【００４３】
配信サービス入出力部２１は、アプリ入出力部１３が出力するデータ（例えば、サービス開始、サービス停止）を受信する。また、配信サービス入出力部２１は、アプリ入出力部１３にデータ（例えば、操作イベント）を送信する。
【００４４】
配信制御部２２は、配信全体の制御、コーデック起動、終了指示を行う。
【００４５】
配信情報管理部２３は、配信に関する情報（例えば、映像エンコードの設定情報、接続中のクライアント情報）を管理する。
【００４６】
通信制御部２４は、電子情報端末１とのデータ送受信や、電子情報端末１との接続制御を行う。
【００４７】
エンコーダ制御部２６は、配信制御部２２から指定されたフレームレートでフレーム画像を取得する。また、エンコーダ制御部２６は、取得した取得したフレーム画像を映像エンコーダ部に渡す。
【００４８】
映像エンコーダ部２８は、キャプチャ部２９から画像を取得する。そして、映像エンコーダ部２８は、取得した画像から圧縮映像を生成する。
【００４９】
キャプチャ部２９は、フレーム出力部１４が出力するフレーム画像を取得する。
【００５０】
〔電子情報端末及びサーバの基本動作〕
操作イベントの一つであるマウスイベントに関する電子情報端末１及びサーバ２の基本動作が、図５に示されている。
【００５１】
ユーザが、電子情報端末１のディスプレイ３０８に対してタッチ等によりストロークを描画すると、電子情報端末１において操作イベントとしてマウスイベントが発生する（ステップＳ１１）。
【００５２】
電子情報端末１は、マウスイベントをサーバ２に送信する（ステップＳ１２）。
【００５３】
電子情報端末１では、マウスイベントに基づくストローク（ＬＦＢストローク）を生成してディスプレイ３０８に表示させる（ステップＳ１３）。
【００５４】
サーバ２は、電子情報端末１からマウスイベントを受信すると、該マウスイベントに基づいてストロークを描画した画像（図６（Ａ）参照）を順次生成する（ステップＳ２１）。
【００５５】
サーバ２は、ストロークが描画された複数の画像と背景画像（図６（Ｂ）参照）とを合成して動画（図６（Ｃ）参照）を生成する。そして、サーバ２は、動画をＨ．２６４（動画圧縮符号化方式）やＭＰＥＧ−４（携帯端末用の動画圧縮符号化方式）等の所定の形式にエンコード処理して映像化する（ステップＳ２２）。
【００５６】
サーバ２は、映像を電子情報端末１に配信する（ステップＳ２３）。
【００５７】
電子情報端末１は、サーバ２から映像を受信すると、該映像をデコードしてディスプレイ３０８に表示させる（ステップＳ１４）。
【００５８】
なお、説明中の「動画」とは画像を連続的に表示する一般的な動画を表すが、特に、動画の中でもＨ．２６４等の特定の形式にエンコードされたものを「映像」としている。本実施形態においては、サーバ２より電子情報端末１に配信される動画を特に映像と呼んでいる。
【００５９】
〔電子情報端末のレイヤ構成〕
電子情報端末１に表示される画面のレイヤ構成が図７に示されている。
【００６０】
電子情報端末１に表示される画面は、サーバ２から配信された映像を表示する映像表示レイヤ１０１ａと、ストローク編集用のインターフェース及び編集中のストロークの状態等を表示するローカルフィードバックレイヤ１０１ｂと、使用可能なコマンドの一覧が表示された操作パネル表示レイヤ１０１ｃとを含んで構成される。電子情報端末１のディスプレイ３０８には、これらのレイヤを重ね合わせた画面が表示される。
【００６１】
〔マウスイベントのデータ構造〕
マウスイベントのデータ構造の例が図８に示されている。
【００６２】
各マウスイベントは、イベント名、イベントの発生日時、サーバに対するイベントの送信日時、及び発生したイベントの座標情報の他、操作したページの情報を含む。
【００６３】
ＬＦＢストロークＩＤは、一連のストロークを示す一意のＩＤであり、一連のストロークを構成するマウスイベントには夫々同一のＬＦＢストロークＩＤが付与される。
【００６４】
イベントの座標情報は、ディスプレイ３０８における座標位置を示す情報であり、ディスプレイ３０８が有する座標検知手段によって検知されたものである。
【００６５】
操作ページは、サーバ２における背景画像が複数のページから構成される場合に、操作対象となるページ位置を示す情報である。
【００６６】
Ｍｏｕｓｅ＿Ｄｏｗｎのマウスイベントは、ディスプレイ３０８に対するタッチペン等の接触（ペンダウン）が検知されたときに発生する。
【００６７】
Ｍｏｕｓｅ＿Ｍｏｖｅのマウスイベントは、ディスプレイ３０８に対するタッチペン等を接触させたままの移動が検知されたときに発生する。Ｍｏｕｓｅ＿Ｍｏｖｅのマウスイベントは、１つのストローク描画中に連続的に発生する。
【００６８】
Ｍｏｕｓｅ＿Ｕｐのマウスイベントは、ディスプレイ３０８に対するタッチペン等の離間（ペンアップ）が検知されたときに発生する。
【００６９】
１つのストロークの描画はペンダウンによって開始され、ペンアップによって終了する。従って１つのストロークは、Ｍｏｕｓｅ＿Ｄｏｗｎのマウスイベント、Ｍｏｕｓｅ＿Ｍｏｖｅのマウスイベント、Ｍｏｕｓｅ＿Ｕｐのマウスイベントを含み、これらのマウスイベントは一連のマウスイベントとして認識される。
【００７０】
すなわち、一連のマウスイベントは、１つのＭｏｕｓｅ＿Ｄｏｗｎのマウスイベント、少なくとも１つのＭｏｕｓｅ＿Ｍｏｖｅのマウスイベント、１つのＭｏｕｓｅ＿Ｕｐのマウスイベントを含んで構成される。
【００７１】
電子情報端末１では、例えば、順次発生する一連のマウスイベントである１つのＭｏｕｓｅ＿Ｄｏｗｎ、少なくとも１つのＭｏｕｓｅ＿Ｍｏｖｅ、及び１つのＭｏｕｓｅ＿Ｕｐは、夫々メモリ（ＲＡＭ３０３）に一時的に保存された後、順次サーバ２に送信される。一連のマウスイベントのうち最後のマウスイベントＭｏｕｓｅ＿Ｕｐがサーバ２に送信されると、メモリに保存されている一連のマウスイベントであるＭｏｕｓｅ＿Ｄｏｗｎ、Ｍｏｕｓｅ＿Ｍｏｖｅ、及びＭｏｕｓｅ＿Ｕｐは削除される。
【００７２】
サーバ２は、電子情報端末１から送信されたマウスイベントを受信すると、メモリに一時的に保存する。そして、サーバ２は、メモリからマウスイベントを順次読み出して、マウスイベントに基づいたストロークの画像データを生成する。
【００７３】
＜ＬＦＢストローク描画時の処理＞
電子情報端末１におけるＬＦＢストローク描画時の処理について図９を用いて説明する。図９のフローチャートは、ＬＦＢストローク描画の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【００７４】
なお、電子情報端末１のユーザがディスプレイ３０８に対してタッチ等によりストロークを描画すると、操作イベントとしてマウスイベントが発生する。また、サーバ２においてキャプチャされた映像（以下では、「キャプチャ映像」ともいう）の色空間は、ＹＵＶ４２０であるものとする。
【００７５】
最初のステップＳ１０１では、マウスイベント受信部２７０が、発生したマウスイベントをディスプレイ３０８から受信する。マウスイベント受信部２７０は、発生したマウスイベントに対してＬＦＢストロークＩＤを付与する。
【００７６】
次のステップＳ１０３では、通信制御部２３０が、マウスイベント受信部２７０からマウスイベントを受信して、サーバ２に送信する。このとき、ストローク描画色の情報（ＲＧＢ値）も送信される。
【００７７】
次のステップＳ１０７では、一時ストローク描画色変換部２９０が、ＬＦＢストロークの描画色の色空間をＹＵＶ４２０に変換する。
【００７８】
次のステップＳ１０９では、一時ストローク描画色変換部２９０が、ＬＦＢストロークの描画色の色空間をＲＧＢに変換する。
【００７９】
次のステップＳ１１１では、ＬＦＢ部２６０が、マウスイベント受信部２７０からＬＦＢストロークＩＤの情報を含むマウスイベントを受信して、マウスイベントに基づくストロークを生成してディスプレイ３０８に表示させる。そして、処理を終了する。
【００８０】
ところで、ＹＵＶ４２０は、ＲＧＢに比べて情報量が少ないため、色の再現性に劣っている。つまり、Ｈ．２６４に準拠してエンコードする際に色空間としてＹＵＶ４２０を選択した場合、Ｈ．２６４での映像上のストローク色はＲＧＢで描画していた画面の描画色（本来のストローク色）とは若干異なっている。
【００８１】
そして、ＬＦＢストロークの色情報はＲＧＢでやり取りされるため、Ｈ．２６４の映像の上にＬＦＢストロークが重ねて表示される場合、ＬＦＢストロークに対してＲＧＢ→ＹＵＶ→ＲＧＢの変換を行っていないと、Ｈ．２６４の映像とＬＦＢストロークとの間に若干の色味の違いが出てきてしまい、それが目立つことがあった。
【００８２】
本実施形態では、この色味の差を抑えるため、ＬＦＢストロークの描画色を、一度ＹＵＶに変換し、ＲＧＢに変換しなおすことで、ＬＦＢストロークの色味をＨ．２６４の映像の色味と合わせている。
【００８３】
つまり、ここでのＨ．２６４の映像は、ＲＧＢ色空間の画面をキャプチャし、ＹＵＶ色空間に変換した状態でエンコードされたものである。このＨ．２６４の映像を再生する際は、デコードして得られたＹＵＶ色空間の映像を、ＲＧＢ色空間に変換して再生される。
【００８４】
すなわち、Ｈ．２６４の映像というのは、ＲＧＢ→ＹＵＶ→ＲＧＢの変換が行われており、一度ＹＵＶに変換される段階で情報の欠落が起こり、ＲＧＢに対して色味が若干変化する。そして、このＨ．２６４の映像に合わせてＬＦＢストロークをＲＧＢのまま重ねて表示すると色味の違いが目立ってしまう。そこで、本実施形態では、ＬＦＢストロークの描画色に対して、あえてＨ．２６４と同じＲＧＢ→ＹＵＶ→ＲＧＢの変換過程を付与することで、ＬＦＢストロークの色味をＨ．２６４の映像における色味と合わせている。
【００８５】
このように、ここでは、ＬＦＢストロークの描画色の色空間を一旦キャプチャ映像の色空間に変換し、その後、ＲＧＢ色空間に変換している。この場合は、ＬＦＢストロークの描画色と、キャプチャ映像におけるストローク描画色の色味の違いを低減させることができる。
【００８６】
＜ＬＦＢストローク消去通知処理＞
サーバ２におけるＬＦＢストローク消去通知処理について図１０を用いて説明する。図１０のフローチャートは、ＬＦＢストローク消去通知処理の際に、サーバ２のＣＰＵによって実行される一連の処理アルゴリズムに対応している。
【００８７】
最初のステップＳ２０１では、電子情報端末１からマウスイベントを受信する。
【００８８】
次のステップＳ２０３では、機能実行部１２が、受信したマウスイベントに基づくストロークを描画した画像を生成する。なお、ストロークの描画色は、電子情報端末１から受信した描画色である。
【００８９】
ここでは、マウスイベントとしてＭｏｕｓｅ＿Ｄｏｗｎを受信した場合には、新たな一連のストロークを生成し、受信したマウスイベントに含まれる位置座標を始点とするストロークを描画する。また、Ｍｏｕｓｅ＿Ｄｏｗｎ以外のマウスイベントを受信した場合には、既に生成されている一連のストローク中に受信したマウスイベントに含まれる位置座標を追加したストロークを描画する。
【００９０】
次のステップＳ２０５では、一連のストロークの描画が完了したか否かを判断する。一連のストロークの描画が完了していなければ、ここでの判断は否定され、上記ステップＳ２０１に戻る。
【００９１】
以降、ステップＳ２０５での判断が肯定されるまで、ステップＳ２０１からステップＳ２０５までの処理を繰り返し行う。
【００９２】
一連のストロークの描画が完了すると、ステップＳ２０５での判断が肯定され、ステップＳ２０７に移行する。なお、マウスイベントがＭｏｕｓｅ＿Ｕｐであれば、一連のストロークの描画が完了したと判断される。
【００９３】
このステップＳ２０７では、キャプチャ部２９により画面がキャプチャされるまで待機する。
【００９４】
ここでは、キャプチャ後、映像エンコーダ部２８が映像を生成し、配信するまでに時間がかかることを考慮し、映像エンコーダ部２８が当該キャプチャ画像をエンコードし、生成されたフレームを通信制御部２４が送信を完了する後まで待機するように構成しても良いし、また、単にキャプチャ後、所定時間が経過するまで待機するように構成しても良い。
【００９５】
次のステップＳ２１５では、消去対象のＬＦＢストロークのＩＤを含むＬＦＢストローク消去通知を、通信制御部２４を介して、電子情報端末１に送信する。そして、処理を終了する。
【００９６】
＜ＬＦＢストローク消去処理＞
電子情報端末１におけるＬＦＢストローク消去処理について図１１を用いて説明する。図１１のフローチャートは、ＬＦＢストローク消去処理の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【００９７】
最初のステップＳ３０１では、サーバ２からＬＦＢストローク消去通知を受信する。
【００９８】
次のステップＳ３０５では、ＬＦＢストローク消去通知に含まれるＬＦＢストロークＩＤと同一のＩＤを有するＬＦＢストロークを消去する。そして、処理を終了する。
【００９９】
ＬＦＢ技術では、電子情報端末側で一時的に描画したＬＦＢストロークを所定時間の経過後にフェードアウトさせる。ＬＦＢストロークのフェードアウトタイミングが適切でないと、ストロークの描画された映像が表示される前にＬＦＢストロークをフェードアウトさせたり、ＬＦＢストロークをフェードアウトさせるまでの時間が長くなりすぎる等の違和感を生じさせる。
【０１００】
本実施形態では、サーバ２は、ストロークの描画された画像を取得したときに、該ストロークに対応するＬＦＢストロークの消去通知を電子情報端末１に送信し、電子情報端末１では、消去通知を受信してから通知されたＩＤを有するＬＦＢストロークを消去している。この場合、電子情報端末１では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【０１０１】
なお、ＬＦＢストローク消去通知を受信後、すぐに消去せず、所定時間が経過した後に消去するようしても良い。また、消去は、単に消すのではなく、フェードアウトアニメーションを行っても良い。この場合は、背景の映像にスムーズに切り替えることができる。
【０１０２】
＜映像配信処理＞
サーバ２における映像配信処理について図１２を用いて説明する。図１２のフローチャートは、映像配信処理の際に、サーバ２のＣＰＵによって実行される一連の処理アルゴリズムに対応している。
【０１０３】
最初のステップＳ４０１では、キャプチャ部２９が画面をキャプチャする。
【０１０４】
次のステップＳ４０３では、映像エンコーダ部２８が、キャプチャ部２９によってキャプチャされた画像等に基づいてエンコード処理を行い、動画フレームを生成する。ここでは、エンコードする動画フォーマットをＨ．２６４のベースラインプロファイルとしている。この場合の色空間はＹＵＶ４２０となる。
【０１０５】
次のステップＳ４０５では、通信制御部２４が映像を電子情報端末１に配信する。そして、処理を終了する。
【０１０６】
＜映像表示処理＞
電子情報端末１における映像表示処理について図１３を用いて説明する。図１３のフローチャートは、映像表示処理の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【０１０７】
最初のステップＳ５０１では、通信制御部２３０がサーバ２から映像（動画フレーム）を受信する。
【０１０８】
次のステップＳ５０３では、受信された動画フレームを映像デコーダ部２５０がデコードする。
【０１０９】
次のステップＳ５０５では、映像デコーダ部２５０が映像の色空間（ここでは、ＹＵＶ４２０）をメモリ（ＲＡＭ３０３）に記憶する。
【０１１０】
次のステップＳ５０７では、映像を表示する。そして、処理を終了する。
【０１１１】
＜ＬＦＢストローク描画時の処理の変形例１＞
前述した電子情報端末１におけるＬＦＢストローク描画時の処理の変形例１が図１４に示されている。図１４のフローチャートは、ＬＦＢストローク描画の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【０１１２】
この変形例１は、前述した電子情報端末１におけるＬＦＢストローク描画時の処理に対して、ステップＳ１０３とステップＳ１０７との間にステップＳ１０４ａとステップＳ１０５ａを挿入したものである。
【０１１３】
このステップＳ１０４ａでは、キャプチャ映像色空間判断部２８０が、キャプチャ映像の色空間を取得する。
【０１１４】
次のステップＳ１０５ａでは、キャプチャ映像色空間判断部２８０が、キャプチャ映像の取得された色空間がＹＵＶ４４４であるか否かを判断する。キャプチャ映像の取得された色空間がＹＵＶ４４４でなければ、ステップＳ１０５ａでの判断は否定され、ステップＳ１０７に移行する。一方、キャプチャ映像の取得された色空間がＹＵＶ４４４であれば、ステップＳ１０５ａでの判断は肯定され、ステップＳ１１１に移行する。
【０１１５】
＜ＬＦＢストローク描画時の処理の変形例２＞
前述した電子情報端末１におけるＬＦＢストローク描画時の処理の変形例２が図１５に示されている。図１５のフローチャートは、ＬＦＢストローク描画の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【０１１６】
この変形例２は、前述した電子情報端末１におけるＬＦＢストローク描画時の処理に対して、ステップＳ１０３とステップＳ１０７との間にステップＳ１０４ｂとステップＳ１０５ｂを挿入したものである。
【０１１７】
このステップＳ１０４ｂでは、ユーザ設定を取得する。
【０１１８】
次のステップＳ１０５ｂでは、ユーザ設定を参照し、ユーザによって色空間の変換が無効に設定されているか否かを判断する。色空間の変換が無効に設定されていなければ、ステップＳ１０５ｂでの判断は否定され、ステップＳ１０７に移行する。一方、色空間の変換が無効に設定されていれば、ステップＳ１０５ｂでの判断は否定され、ステップＳ１１１に移行する。
【０１１９】
この場合、ユーザがＬＦＢストロークの描画色の色味に関して気にしなければ、ユーザ設定において、色空間の変換を行わないように設定することで、ＣＰＵ負荷を下げることができる。
【０１２０】
＜ＬＦＢストローク消去通知処理の変形例１＞
サーバ２におけるＬＦＢストローク消去通知処理の変形例１について図１６を用いて説明する。図１６のフローチャートは、ＬＦＢストローク消去通知処理の際に、サーバ２のＣＰＵによって実行される一連の処理アルゴリズムに対応している。
【０１２１】
この変形例１は、前述したサーバ２におけるＬＦＢストローク消去通知処理に対して、ステップＳ２０７とステップＳ２１５との間にステップＳ２０９とステップＳ２１１を挿入したものである。
【０１２２】
ステップＳ２０９では、キャプチャに要した時間を取得する。
【０１２３】
次のステップＳ２１１では、再生遅延時間を取得する。再生遅延時間とは、サーバ２と電子情報端末１との間の時刻ずれを考慮して決定される時間である。
【０１２４】
複数の電子情報端末と接続されている場合、サーバ２では、複数の電子情報端末での映像再生の同期を図ることを考える。サーバ２は、同時に映像を再生するため、電子情報端末ごとにキャプチャ時間を基準として、再生遅延時間を設定する。これにより、キャプチャ時間に再生遅延時間を加算して得た時刻に映像再生を行うことで、映像の同時再生が可能となる。
【０１２５】
この場合、映像の表示時間が電子情報端末にとって明確であるので、ＬＦＢ消去の誤差修正は電子情報端末で行う。
【０１２６】
サーバ２は、マウスイベントを受信すると、ストロークを描画する。描画が完了したら、キャプチャ部２９により画面がキャプチャされるまで待機する。その後、キャプチャされた時間をキャプチャ部２９から取得し、再生遅延時間を配信情報管理部２３から取得する。そして、該キャプチャ時間と該再生遅延時間とを含むＬＦＢストローク消去通知を電子情報端末に送信する。
【０１２７】
＜ＬＦＢストローク消去処理の変形例１＞
電子情報端末１におけるＬＦＢストローク消去処理の変形例１について図１７を用いて説明する。図１７のフローチャートは、ＬＦＢストローク消去処理の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【０１２８】
この変形例１は、上記ＬＦＢストローク消去通知処理の変形例１に対応したＬＦＢストローク消去処理であり、前述した電子情報端末１におけるＬＦＢストローク消去処理に対して、ステップＳ３０１とステップＳ３０５との間にステップＳ３０３を挿入したものである。
【０１２９】
ステップＳ３０３では、「キャプチャに要した時間＋再生遅延時間」が経過するまで待機する。
【０１３０】
＜ＬＦＢストローク消去通知処理の変形例２＞
サーバ２におけるＬＦＢストローク消去通知処理の変形例２について図１８を用いて説明する。図１８のフローチャートは、ＬＦＢストローク消去通知処理の際に、サーバ２のＣＰＵによって実行される一連の処理アルゴリズムに対応している。
【０１３１】
この変形例２は、ストロークの描画が完了した後にＬＦＢストローク消去通知を送信するのではなく、マウスイベント毎に、ＬＦＢストローク消去通知を行うものであり、前述したサーバ２におけるＬＦＢストローク消去通知処理に対して、ステップＳ２０５を省いたものである。
【０１３２】
サーバ２は、マウスイベントを受信すると、該マウスイベントに含まれる位置座標に基づいてストロークを描画する。途中までの位置座標情報なので、ストロークはまだ完成していない。そして、キャプチャ部２９により画面がキャプチャされるまで待って、ＬＦＢストローク消去通知を電子情報端末に送信する。ＬＦＢストローク消去通知には、ＬＦＢストロークＩＤに加え、消去すべきマウス座標が含まれる。
【０１３３】
なお、マウス座標ではなく、電子情報端末からマウスイベントにＩＤ（マウスイベントＩＤ）を割り当てさせ、該マウスイベントＩＤをＬＦＢストローク消去通知に含まれるようにしても良い。
【０１３４】
＜ＬＦＢストローク消去処理の変形例２＞
電子情報端末１におけるＬＦＢストローク消去処理の変形例２について図１９を用いて説明する。図１９のフローチャートは、ＬＦＢストローク消去処理の際に、ＣＰＵ３０１によって実行される一連の処理アルゴリズムに対応している。
【０１３５】
この変形例２は、上記ＬＦＢストローク消去通知処理の変形例２に対応したＬＦＢストローク消去処理であり、前述した電子情報端末１におけるＬＦＢストローク消去処理に対して、前記ステップＳ３０５をステップＳ３０５ａに変更したものである。
【０１３６】
このステップＳ３０５ａでは、ＬＦＢストローク消去通知に含まれるＬＦＢストロークＩＤと同一のＩＤを有するＬＦＢストロークを部分消去する（図２０参照）。
【０１３７】
ＬＦＢストロークは位置座標又はマウスイベントＩＤごとに消去されていくので、ＬＦＢストロークは古いものから順次消去されていくことになる。一連のＬＦＢストローク中の位置座標又はマウスイベントＩＤの全てがなくなったときに、一連のＬＦＢストロークは完全に消去される。
【０１３８】
図２０には、このときの、ローカルフィードバックレイヤ１０１ｂの時間変化が示されている。
【０１３９】
時刻ｔ１には、ユーザがディスプレイ３０８に対して電子ペン等によって手書きした場合に、電子情報端末１によるＬＦＢ処理によってＬＦＢストロークの画像がローカルフィードバックレイヤ１０１ｂに順次描画されていく様子が示されている。
【０１４０】
時刻ｔ２には、一連のＬＦＢストロークの描画が完了した様子が示されている。
【０１４１】
時刻ｔ３には、ＬＦＢストローク消去通知を受信した場合のローカルフィードバックレイヤ１０１ｂの様子が示されている。ＬＦＢストロークは、過去に描画されたＬＦＢストローク部分から順に消去される。
【０１４２】
この場合、ＬＦＢストロークがマウスイベントごとに消去されるので、ＬＦＢストロークは古い座標から順に消去されていくことになる。ＬＦＢストロークが順次消去されていくので、視覚的な違和感が生じにくい。
【０１４３】
以上説明したように、本実施形態に係る電子情報端末１は、ハードウェア構成として、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、ＨＤＣ３０５、メディアドライブ３０７、ディスプレイ３０８、Ｉ／Ｆ３０９、キーボード３１１、マウス３１２、マイク３１３、スピーカ３１４、ＧＰＵ３１５、及びバスライン３２０などを備えている。そして、電子情報端末１は、機能構成として、ＧＵＩ部２００、全体制御部２１０、配信情報管理部２２０、通信制御部２３０、再生制御部２４０、映像デコーダ部２５０、ＬＦＢ部２６０、マウスイベント受信部２７０、キャプチャ映像色空間判断部２８０、一時ストローク描画色変換部２９０、などを有している。
【０１４４】
ユーザがディスプレイ３０８に表示されている映像上にストロークを描画すると、発生したマウスイベントをマウスイベント受信部２７０が受信する。通信制御部２３０は、マウスイベント受信部２７０からのマウスイベントをサーバ２に送信する。
【０１４５】
一時ストローク描画色変換部２９０は、ＬＦＢストロークの描画色の色空間をＹＵＶ４２０に変換し、その後、ＬＦＢストロークの描画色の色空間をＲＧＢに変換する。
【０１４６】
そして、ＬＦＢ部２６０は、マウスイベント受信部２７０からのマウスイベントに基づいてストロークを生成し、ディスプレイ３０８に表示させる。
【０１４７】
このように、電子情報端末１では、ＬＦＢストロークの描画色の色空間をキャプチャ映像の色空間に変換し、その後、ＲＧＢ色空間に変換し、ＬＦＢストロークを表示している。
【０１４８】
この場合は、ＬＦＢストロークの描画色と、キャプチャ映像におけるストローク描画色の色味の違いを低減させることができる。すなわち、手書き操作におけるユーザの違和感を低減させることが可能である。
【０１４９】
また、＜ＬＦＢストローク描画時の処理の変形例１＞では、キャプチャ映像色空間判断部２８０によってキャプチャ映像の色空間が判断され、キャプチャ映像の色空間がＹＵＶ４４４でなければ、色空間の変換が行われ、キャプチャ映像の色空間がＹＵＶ４４４であれば、色空間の変換は行われないようになっている。
【０１５０】
ＹＵＶ４４４は、一般的に、ＹＵＶ４２２やＹＵＶ４２０などと比べ、切り捨てられる情報が少ないため、色の再現性が高く、ＲＧＢと色味が類似しており、色味の違いを人間が知覚するのは難しい。一方、ＹＵＶ４２０は、ＲＧＢに対して認識可能な程度に色味が異なる。そこで、キャプチャ映像の色空間がＹＵＶ４４４であれば、色空間の変換を行わないようにし、ＣＰＵの負荷を低減している。
【０１５１】
すなわち、映像の色空間を取得し、該色空間が、電子情報端末の画面への描画における色空間と色味が類似した所定の色空間と異なっているときに、ストローク画の色空間を映像の色空間に変換しても良い。
【０１５２】
また、＜ＬＦＢストローク描画時の処理の変形例２＞では、ユーザによって色空間の変換が無効に設定されていなければ、色空間の変換が行われ、ユーザによって色空間の変換が無効に設定されていれば、色空間の変換は行われないようになっている。
【０１５３】
これは、ユーザ設定を優先し、ユーザによって色空間の変換が無効に設定されていれば、色空間の変換を行わないようにし、ＣＰＵの負荷を低減している。
【０１５４】
例えば、ユーザがＬＦＢストロークの描画色の色味の違いを気にしない場合は、設定として機能のＯＮ／ＯＦＦを選択することができるので、ユーザは色味をあわせることを重視するのか、ＣＰＵ負荷を下げることを重視するのかを選択することができる。
【０１５５】
すなわち、ユーザ設定を取得し、ユーザによって色空間の変換が無効に設定されていないときにストローク画の色空間を映像の色空間に変換しても良い。
【０１５６】
そして、画像処理システム５は、電子情報端末１を含んでいるため、その結果として、使用時の違和感を低減させることができる。
【０１５７】
なお、上記実施形態において、ＣＰＵによるプログラムに従う処理の少なくとも一部をハードウェアによって構成することとしても良い。
【０１５８】
また、上記実施形態では、サーバ２において動画がＨ．２６４に準拠してエンコードされる場合について説明したが、これに限定されるものではない。
【０１５９】
また、上記実施形態では、キャプチャ映像の色空間がＹＵＶ４２０である場合について説明したが、これに限定されるものではない。
【０１６０】
また、上記実施形態では、電子情報端末１において、各種プログラムがＲＯＭ３０２に記録されている場合について説明したが、これに限定されるものではない。例えば、各種プログラムが、ＣＤやＤＶＤ等の情報記録媒体に記録されていても良い。この場合、電子情報端末１は、情報記録媒体から各種プログラムを読み出すためのドライブ装置を有することとなる。
【０１６１】
また、上記実施形態において、通信ネットワーク３は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット、携帯電話通信網等をその一部に含むネットワークであっても良い。
【０１６２】
また、上記実施形態では、画像処理システム５が１つの電子情報端末を有する場合について説明したがこれに限定されるものではない。画像処理システム５が複数の電子情報端末を有していても良い。
【符号の説明】
【０１６３】
１…電子情報端末、２…サーバ（画像処理装置）、３…通信ネットワーク、５…画像処理システム、１０…アプリケーション部、１２…機能実行部、１３…アプリ入出力部、１４…フレーム出力部、２０…映像配信サービス部、２１…配信サービス入出力部、２２…配信制御部、２３…配信情報管理部、２４…通信制御部、２５…コーデックモジュール、２６…エンコーダ制御部、２７…配信モジュール、２８…映像エンコーダ部、２９…キャプチャ部、２００…ＧＵＩ部、２１０…全体制御部、２２０…配信情報管理部、２３０…通信制御部、２４０…再生制御部、２５０…映像デコーダ部、２６０…ＬＦＢ部、２７０…マウスイベント受信部、２８０…キャプチャ映像色空間判断部、２９０…一時ストローク描画色変換部（処理装置）、３０１…ＣＰＵ（処理装置）、３０２…ＲＯＭ、３０３…ＲＡＭ、３０４…ＨＤＤ、３０５…ＨＤＣ、３０７…メディアドライブ、３０８…ディスプレイ、３０９…Ｉ／Ｆ、３１１…キーボード、３１２…マウス、３１３…マイク、３１４…スピーカ、３１５…ＧＰＵ、３２０…バスライン、
【先行技術文献】
【特許文献】
【０１６４】
【特許文献１】特表２０１１−５２４５７２号公報
【図１】
2017142355.tif 000003
【図２】
2017142355.tif 000004
【図３】
2017142355.tif 000005
【図４】
2017142355.tif 000006
【図５】
2017142355.tif 000007
【図６】
2017142355.tif 000008
【図７】
2017142355.tif 000009
【図８】
2017142355.tif 000010
【図９】
2017142355.tif 000011
【図１０】
2017142355.tif 000012
【図１１】
2017142355.tif 000013
【図１２】
2017142355.tif 000014
【図１３】
2017142355.tif 000015
【図１４】
2017142355.tif 000016
【図１５】
2017142355.tif 000017
【図１６】
2017142355.tif 000018
【図１７】
2017142355.tif 000019
【図１８】
2017142355.tif 000020
【図１９】
2017142355.tif 000021
【図２０】
2017142355.tif 000022