(57)【要約】【課題】或る装置が提供する画像を別の装置で表示または投影する際に、連続する画像間の変化の度合いに応じて、共有対象の画像の画質を高解像度化し、または共有対象の画像の表示や投影の滑らかさの実現或いはリアルタイム性の向上を可能にする画像処理システム、情報処理装置、投影装置、方法およびプログラムを提供すること。【解決手段】本発明の画像処理システムは、共有対象画像を提供する画像提供装置を含む。画像提供装置は、最新の表示画像と直前の表示画像とを比較し、これらの表示画像に差分が有る場合に、最新の表示画像を分割して分割画像を生成する。画像提供装置は、表示画像に差分が有る場合は、未送信の直前の表示画像に優先して最新の表示画像の分割画像を送信し、表示画像に差分が無い場合は、未送信の直前の表示画像の分割画像を送信する。【選択図】図１
2016051945.tif 000002
【特許請求の範囲】
【請求項１】
共有対象の画像を提供する画像提供装置を含む画像処理システムであって、
前記画像提供装置は、
前記画像提供装置の最新の表示画像と直前の表示画像とを比較して、これらの表示画像に差分が有るか否か判断する画像比較手段と、
前記最新の表示画像と直前の表示画像に差分が有る場合に、前記最新の表示画像を分割して分割画像を生成する画像分割手段と、
前記分割画像を送信する送信手段と
を備え、
前記送信手段は、
前記最新の表示画像と直前の表示画像に差分が有る場合は、未送信の直前の表示画像に優先して前記最新の表示画像の分割画像を送信し、前記最新の表示画像と直前の表示画像に差分が無い場合は、未送信の直前の表示画像の分割画像を送信する、画像処理システム。
【請求項２】
前記画像処理システムは、前記共有対象の画像を表示装置に表示する情報処理装置および前記共有対象の画像を投影する投影装置の少なくとも１つを含み、
前記送信手段は、未送信の分割画像のうち表示順序または投影順序が最先の分割画像と、前記分割画像の配置領域を規定する配置領域情報とを、前記情報処理装置および前記投影装置の少なくとも１つに送信し、
前記情報処理装置は、
前記配置領域情報が規定する表示装置の表示領域に前記分割画像を表示する表示制御手段を備え、
前記投影装置は、
前記配置領域情報が規定する領域に前記分割画像を投影する投影手段を備え、
前記配置領域情報は、隣接しない分割画像が順次表示または投影されるように設定されることを特徴とする、請求項１に記載の画像処理システム。
【請求項３】
前記画像分割手段は、前記最新の表示画像を複数の領域に分け、前記複数の領域それぞれを分割して分割画像を生成することを特徴とする、請求項１または２に記載の画像処理システム。
【請求項４】
前記画像提供装置は、
前記最新の表示画像と直前の表示画像との差分画像を抽出する差分画像抽出手段を備え、
前記画像分割手段は、前記差分画像を分割して分割画像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
前記情報処理装置および前記投影装置は、
新たな共有対象の画像を受信した場合に、前記新たな共有対象の画像を構成する分割画像のうち最初に受信した分割画像を用いて、前記最初に受信した分割画像の周囲の画像領域を補完する補完手段を備える、請求項２に記載の画像処理システム。
【請求項６】
前記画像提供装置は、
共有対象の画像を構成する画素の平均画素値を領域毎に算出する平均画素値算出手段を備え、
前記情報処理装置および前記投影装置は、
新たな共有対象の画像を受信した場合に、前記新たな共有対象の画像の領域毎の平均画素値を用いて、表示対象画像または投影対象画像を補完する補完手段を備える、請求項２に記載の画像処理システム。
【請求項７】
共有対象の画像を提供する画像提供装置が実行する方法であって、
前記画像提供装置の最新の表示画像と直前の表示画像とを比較して、これらの表示画像に差分が有るか否か判断するステップと、
前記最新の表示画像と直前の表示画像に差分が有る場合に、前記最新の表示画像を分割して分割画像を生成するステップと、
前記分割画像を送信するステップと
を含み、
前記送信するステップは、
前記最新の表示画像と直前の表示画像に差分が有る場合は、未送信の直前の表示画像に優先して前記最新の表示画像の分割画像を送信し、前記最新の表示画像と直前の表示画像に差分が無い場合は、未送信の直前の表示画像の分割画像を送信するステップを含む、方法。
【請求項８】
共有対象の画像を提供する画像提供装置に対し、
前記画像提供装置の最新の表示画像と直前の表示画像とを比較して、これらの表示画像に差分が有るか否か判断するステップと、
前記最新の表示画像と直前の表示画像に差分が有る場合に、前記最新の表示画像を分割して分割画像を生成するステップと、
前記分割画像を送信するステップと
を実行させるプログラムであって、
前記送信するステップは、
前記最新の表示画像と直前の表示画像に差分が有る場合は、未送信の直前の表示画像に優先して前記最新の表示画像の分割画像を送信し、前記最新の表示画像と直前の表示画像に差分が無い場合は、未送信の直前の表示画像の分割画像を送信するステップを含む、プログラム。
【請求項９】
共有対象の画像を提供する情報処理装置であって、
前記情報処理装置の最新の表示画像と直前の表示画像とを比較して、これらの表示画像に差分が有るか否か判断する画像比較手段と、
前記最新の表示画像と直前の表示画像に差分が有る場合に、前記最新の表示画像を分割して分割画像を生成する画像分割手段と、
前記分割画像を送信する送信手段と
を備え、
前記送信手段は、
前記最新の表示画像と直前の表示画像に差分が有る場合は、未送信の直前の表示画像に優先して前記最新の表示画像の分割画像を送信し、前記最新の表示画像と直前の表示画像に差分が無い場合は、未送信の直前の表示画像の分割画像を送信する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、共有対象の画像を表示または投影する画像処理技術に関し、より詳細には、或る装置が提供する共有対象の画像を別の装置で表示または投影する画像処理技術に関する。
【背景技術】
【０００２】
従来、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で同一の画像を共有する画像処理システムが提案されている。画像提供装置がネットワークを介して共有対象の画像を提供し、投影装置が当該共有対象の画像を投影して共有するシステムの一例が特許文献１に開示されている。
【０００３】
特許文献１が開示するプロジェクションシステムは、ＰＣが表示画面からプロジェクタに送信すべき差分画像を切り取り、差分画像を圧縮した後、プロジェクタに送信し、プロジェクタが前回の投影画像に差分画像を合成して投影する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１が開示するプロジェクションシステムでは、圧縮された差分画像を送信してネットワーク負荷を低減できるものの、動画のような連続する画像間の変化が大きい映像を送信する場合、最新の表示画像と直前の表示画像との差分領域が大きくなるため、実質的に表示画像全体を差分画像として送信することになる。このため、ネットワークの通信速度が低い場合には、プロジェクタが差分画像全体を受信して投影するのに時間がかかり、映像を滑らかに投影できずリアルタイム性が低下する虞がある。
【０００５】
本発明は上述した課題を解決するものであり、或る装置が提供する画像を別の装置で表示または投影する際に、連続する画像間の変化の度合いに応じて、共有対象の画像の画質の高解像度化し、または共有対象の画像の表示や投影の滑らかさの実現或いはリアルタイム性の向上を可能にする画像処理システム、情報処理装置、投影装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理システムは、共有対象の画像を提供する画像提供装置を含む。画像提供装置は、最新の表示画像と直前の表示画像とを比較し、これらの表示画像に差分が有る場合に、最新の表示画像を分割して分割画像を生成して、情報処理装置や投影装置に送信する。最新の表示画像と直前の表示画像に差分が有る場合は、画像提供装置は、未送信の直前の表示画像に優先して最新の表示画像の分割画像を送信する。一方、最新の表示画像と直前の表示画像に差分が無い場合は、画像提供装置は、未送信の直前の表示画像の分割画像を送信する。
【発明の効果】
【０００７】
本発明の画像処理システムは、連続する画像間の変化の度合いに応じて、共有対象の画像の画質を高解像度化し、または共有対象の画像の表示や投影の滑らかさを実現し、リアルタイム性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像処理システムの一実施形態を示す図。
【図２】本発明の情報処理装置のハードウェア構成の一実施形態を示す図。
【図３】本発明の投影装置のハードウェア構成の一実施形態を示す図。
【図４】本発明の画像処理システムを構成する情報処理装置および投影装置の機能構成の一実施形態を示す図。
【図５】共有対象画像を提供する情報処理装置が実行する処理の一実施形態を示すフローチャート。
【図６】共有対象画像が提供される情報処理装置が実行する処理の一実施形態を示すフローチャート。
【図７】画像処理システム１００が実行する処理の一実施形態を表す概念図。
【図８】表示画像の分割方式の例を示す図。
【図９】画像処理システム１００が実行する処理の別の実施形態を表す概念図。
【図１０】共有対象画像を提供する情報処理装置が実行する処理の別の実施形態を示すフローチャート。
【図１１】ステップＳ１００６およびステップＳ１００７を示す概念図。
【図１２】ステップＳ１００６およびステップＳ１００８を示す概念図。
【図１３】図１０に示す処理によって共有対象画像が提供される情報処理装置が実行する処理の一実施形態を示すフローチャート。
【図１４】画像処理システム１００が実行する処理の他の実施形態を表す概念図。
【発明を実施するための形態】
【０００９】
図１は、本発明の画像処理システムの一実施形態を示す図である。画像処理システム１００は、ネットワーク１１０を介して接続された情報処理装置１２０ａと、情報処理装置１２０ｂと、投影装置１３０とを含む。ネットワーク１１０は、ＬＡＮやインターネット等の種々のネットワークを含んで構成することができる。図１に示す画像処理システム１００は、情報処理装置１２０ｂおよび投影装置１３０が含まれるが、他の実施形態では、情報処理装置１２０ｂおよび投影装置１３０の少なくとも１つが含まれるように構成してもよい。
【００１０】
情報処理装置１２０ａは、画像処理システム１００で共有される画像（以下、「共有対象画像」とする。）を提供する装置である。情報処理装置１２０ａは、情報処理装置１２０ａの表示装置に表示されている画像を共有対象画像として提供する。情報処理装置１２０ａは、当該表示装置の表示画像を分割して分割画像を生成し、これらの分割画像を、ネットワーク１１０を介して情報処理装置１２０ｂおよび投影装置１３０に送信する。
【００１１】
情報処理装置１２０ｂは、情報処理装置１２０ａが提供する共有対象画像を表示する装置である。情報処理装置１２０ｂは、情報処理装置１２０ａから共有対象画像を受信すると、情報処理装置１２０ｂの表示装置に共有対象画像を表示することにより、情報処理装置１２０ａとの間で画像を共有することができる。
【００１２】
図１に示す実施形態では、情報処理装置１２０ａ，１２０ｂとしてデスクトップ型のパーソナルコンピュータが採用されているが、ノートＰＣやタブレット型ＰＣ等の種々の情報処理装置を情報処理装置１２０ａとして採用することができる。
【００１３】
投影装置１３０は、情報処理装置１２０ａが提供する共有対象画像を投影する装置である。投影装置１３０は、情報処理装置１２０ａから共有対象画像を受信すると、共有対象画像をスクリーン等の被投影物に投影することにより、情報処理装置１２０ａとの間で画像を共有することができる。
【００１４】
図１に示す画像処理システムは、共有対象画像が提供される２つの装置を含むが、他の実施形態では、画像処理システムは、共有対象画像が提供される３以上の情報処理装置や投影装置を含んでもよい。また、他の実施形態では、中継サーバ等の情報処理装置が、情報処理装置１２０ａと情報処理装置１２０ｂおよび投影装置１３０とのデータ通信を中継してもよい。
【００１５】
図２は、本発明の情報処理装置のハードウェア構成の一実施形態を示す図である。以下、図２を参照して、情報処理装置１２０ａのハードウェア構成について説明する。なお、情報処理装置１２０ｂのハードウェア構成は、情報処理装置１２０ａと同様であるため説明を省略する。
【００１６】
情報処理装置１２０ａは、ＣＰＵ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ハードディスクドライブ（ＨＤＤ）２０３と、ネットワークインタフェース（Ｉ／Ｆ）２０４と、入出力装置Ｉ／Ｆ２０５とを備える。
【００１７】
ＣＰＵ２００は、情報処理装置１２０ａの動作を制御するプロセッサである。ＲＯＭ２０１は、初期プログラム等のデータが記憶される記憶装置である。ＲＡＭ２０２は、プログラムの実行空間を提供する記憶装置である。ＨＤＤ２０３は、本発明のプログラム等の様々なデータが持続的に保存される記憶装置である。
【００１８】
情報処理装置１２０ａは、ＯＳの管理下でＨＤＤ２０３から本発明のプログラムを読み出し、ＲＡＭ２０２に展開して実行することにより、後述する機能を情報処理装置１２０ａで実現する。本発明のプログラムは、種々のプログラム言語で記述することができる。
【００１９】
ネットワークＩ／Ｆ２０４は、ネットワーク１１０とのインタフェースであり、ネットワーク１１０を介したデータ通信を行う。入出力装置Ｉ／Ｆ２０５は、情報処理装置１２０ａの表示装置等の出力装置や、マウスやキーボード等の入力装置が接続されるインタフェースである。入出力装置Ｉ／Ｆ２０５は、入出力装置Ｉ／Ｆ２０５に接続された表示装置に画像を出力して表示させる。
【００２０】
図３は、本発明の投影装置のハードウェア構成の一実施形態を示す図である。以下、図３を参照して、投影装置１３０のハードウェア構成について説明する。
【００２１】
投影装置１３０は、ＣＰＵ３００と、ＲＯＭ３０１と、ＲＡＭ３０２と、ハードディスクドライブ（ＨＤＤ）３０３と、ネットワークインタフェース（Ｉ／Ｆ）３０４と、投影部３０５とを備える。
【００２２】
ＣＰＵ３００は、投影装置１３０の動作を制御するプロセッサである。ＲＯＭ３０１は、初期プログラム等のデータが記憶される記憶装置である。ＲＡＭ３０２は、プログラムの実行空間を提供する記憶装置である。ＨＤＤ３０３は、本発明のプログラム等の様々なデータが持続的に保存される記憶装置である。
【００２３】
投影装置１３０は、ＯＳの管理下でＨＤＤ３０３から本発明のプログラムを読み出し、ＲＡＭ３０２に展開して実行することにより、後述する機能を投影装置１３０で実現する。本発明のプログラムは、種々のプログラム言語で記述することができる。
【００２４】
ネットワークＩ／Ｆ３０４は、ネットワーク１１０とのインタフェースであり、ネットワーク１１０を介したデータ通信を行う。投影部３０５は、共有対象画像等の種々の画像を投影する表示素子や光源、レンズ等の投影手段である。
【００２５】
図４は、本発明の画像処理システムを構成する情報処理装置および投影装置の機能構成の一実施形態を示す図である。以下、図４を参照して、情報処理装置１２０ａ，１２０ｂおよび投影装置１３０の機能構成について説明する。
【００２６】
情報処理装置１２０ａは、表示画像保持部４００と、表示画像取得部４０１と、比較画像保持部４０２と、画像比較部４０３と、画像分割部４０４と、未送信画像バッファ４０５と、画像バッファ制御部４０６と、未送信画像判断部４０７と、圧縮部４０８と、送信部４０９とを備える。
【００２７】
表示画像保持部４００は、情報処理装置１２０ａの表示装置に表示されている画像が保存される記憶装置である。表示画像保持部４００は、ＲＡＭ等の記憶装置によって構成される。表示画像保持部４００に保存されている表示画像は、画像処理システム１００の共有対象画像として使用される。
【００２８】
表示画像取得部４０１は、表示画像保持部４００から情報処理装置１２０ａの表示画像を取得する手段である。表示画像取得部４０１は、表示画像保持部４００から表示画像を定期的に取得して、比較画像保持部４０２に保存する。
【００２９】
比較画像保持部４０２は、表示画像取得部４０１が取得した表示画像が保存される記憶装置である。比較画像保持部４０２は、ＲＡＭ等の記憶装置によって構成される。比較画像保持部４０２には、最新の表示画像と、最新の表示画像の直前の表示画像とが保存される。
【００３０】
画像比較部４０３は、最新の表示画像と直前の表示画像とを比較し、これらの画像の差分の有無を判断する手段である。
【００３１】
画像分割部４０４は、共有対象画像を分割する手段である。画像分割部４０４は、最新の表示画像を分割して複数の分割画像を生成すると共に、分割画像の表示順序または投影順序を規定する順序情報および分割画像の配置領域を規定する配置領域情報を分割画像毎に生成する。画像分割部４０４は、順序情報および配置領域情報を分割画像に付加し、未送信画像バッファ４０５に保存する。
【００３２】
未送信画像バッファ４０５は、画像分割部４０４が生成した分割画像が保存される記憶装置である。未送信画像バッファ４０５は、ＲＡＭ等の記憶装置によって構成される。未送信画像バッファ４０５には、情報処理装置１２０ｂおよび投影装置１３０に送信すべき分割画像が保存される。
【００３３】
画像バッファ制御部４０６は、未送信画像バッファ４０５を制御する手段である。画像バッファ制御部４０６は、情報処理装置１２０ｂおよび投影装置１３０に送信された分割画像を未送信画像バッファ４０５から削除する。
【００３４】
未送信画像判断部４０７は、未送信の分割画像が未送信画像バッファ４０５に保存されているか否か判断する手段である。
【００３５】
圧縮部４０８は、送信すべき分割画像を圧縮する手段である。圧縮部４０８は、未送信画像バッファ４０５に保存されている分割画像の中から表示順序または投影順序が最先の分割画像を取得して圧縮する。
【００３６】
送信部４０９は、情報処理装置１２０ｂおよび投影装置１３０に共有対象画像を送信する手段である。送信部４０９は、圧縮部４０８によって圧縮された分割画像を、当該分割画像の順序情報および配置領域情報と共に情報処理装置１２０ｂおよび投影装置１３０の少なくとも１つに送信する。
【００３７】
情報処理装置１２０ｂは、受信部４１０と、伸張部４１１と、合成部４１２と、表示画像保持部４１３と、補完部４１４と、表示制御部４１５とを備える。
【００３８】
受信部４１０は、共有対象画像を受信する手段である。受信部４１０が共有対象画像である分割画像を受信すると、図６，１３に示す処理が実行される。
【００３９】
伸張部４１１は、圧縮画像を伸張する手段である。伸張部４１１は、受信部４１０が受信した圧縮画像である分割画像を伸張する。
【００４０】
合成部４１２は、情報処理装置１２０ｂの表示装置に表示されている表示対象画像と、伸張部４１１が伸張した分割画像とを合成する手段である。合成部４１２は、表示画像保持部４１３から表示対象画像を取得し、分割画像に付加されている配置領域情報が規定する表示対象画像の領域に分割画像を合成する。
【００４１】
表示画像保持部４１３は、情報処理装置１２０ｂの表示装置に表示される表示対象画像が保存される記憶装置である。表示画像保持部４１３は、ＲＡＭ等の記憶装置によって構成される。
【００４２】
補完部４１４は、表示対象画像内の補完対象領域を補完する手段である。補完部４１４は、表示順序または投影順序が最先の分割画像が表示対象画像に合成されると、当該最先の分割画像が合成されていない表示対象画像の領域を、補完対象領域として補完する。補完部４１４は、最上位の分割画像の画素値を用いて近傍の補完対象領域の画素値を算出する。本発明では、ニアレストネイバー法やバイリニア法、バイキュービック法等の種々の補完方法を採用することができる。
【００４３】
表示制御部４１５は、情報処理装置１２０ｂの表示装置を制御する手段である。表示制御部４１５は、表示画像保持部４１３に保存されている表示対象画像を表示する。
【００４４】
投影装置１３０は、受信部４２０と、伸張部４２１と、合成部４２２と、投影画像保持部４２３と、補完部４２４と、投影制御部４２５とを備える。
【００４５】
受信部４２０は、共有対象画像を受信する手段である。伸張部４２１は、圧縮画像を伸張する手段である。伸張部４２１は、受信部４２０が受信した圧縮画像である分割画像を伸張する。
【００４６】
合成部４２２は、投影装置１３０が投影する投影対象画像と、伸張部４２１が伸張した分割画像とを合成する手段である。合成部４２２は、投影画像保持部４２３から投影対象画像を取得し、分割画像に付加されている配置領域情報が規定する投影対象画像の領域に分割画像を合成する。
【００４７】
投影画像保持部４２３は、投影装置１３０が投影する投影対象画像が保存される記憶装置である。投影画像保持部４２３は、ＲＡＭ等の記憶装置によって構成される。
【００４８】
補完部４２４は、投影対象画像内の補完対象領域を補完する手段である。補完部４１４は、表示順序または投影順序が最先の分割画像が投影対象画像に合成されると、当該最先の分割画像が合成されていない投影対象画像の領域を、補完対象領域として補完する。
【００４９】
投影制御部４２５は、投影部３０５を制御して投影対象画像を投影する手段である。投影制御部４２５は、投影画像保持部４２３に保存されている投影対象画像を投影する。
【００５０】
図５は、共有対象画像を提供する情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、情報処理装置１２０ａが共有対象画像を提供する場合に実行する処理の一実施形態について説明する。
【００５１】
図５に示す処理は、ステップＳ５００から開始し、ステップＳ５０１では、情報処理装置１２０ａの表示画像取得部４０１が、情報処理装置１２０ａの表示装置の表示画像を表示画像保持部４００から取得し、比較画像保持部４０２に保存する。ステップＳ５０２では、画像比較部４０３が、比較画像保持部４０２から最新の表示画像および直前の表示画像を取得し、これらの表示画像に差分が有るか否か判断する。
【００５２】
最新の表示画像および直前の表示画像に差分が無い場合は（ｎｏ）、ステップＳ５０３に処理が分岐する。ステップＳ５０３では、未送信画像判断部４０７が、未送信の分割画像が未送信画像バッファ４０５に有るか否か判断する。未送信の分割画像が無い場合は（ｎｏ）、ステップＳ５０１に処理が戻る。一方、未送信の分割画像が有る場合は（ｙｅｓ）、ステップＳ５０６に処理が分岐する。
【００５３】
ステップＳ５０２で最新の表示画像および直前の表示画像に差分が有ると判断した場合（ｙｅｓ）、ステップＳ５０４に処理が分岐する。ステップＳ５０４では、画像バッファ制御部４０６が、未送信画像バッファ４０５に保存されている未送信の分割画像を削除する。ステップＳ５０５では、画像分割部４０４が、比較画像保持部４０２から最新の表示画像を取得し、当該表示画像を分割して分割画像を生成すると共に、これらの分割画像の配置領域情報および順序情報を分割画像に付加して、未送信画像バッファ４０５に保存する。
【００５４】
ステップＳ５０６では、圧縮部４０８が、未送信画像バッファ４０５から表示順序または投影順序が最先の分割画像を取得して圧縮する。ステップＳ５０７では、送信部４０９が、圧縮された分割画像を、当該分割画像の順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。ステップＳ５０８では、画像バッファ制御部４０６が、送信部４０９の送信した分割画像を未送信画像バッファ４０５から削除し、ステップＳ５０１に処理が戻る。
【００５５】
図６は、共有対象画像が提供される情報処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図６を参照して、情報処理装置１２０ｂが、共有対象画像を受信した場合に実行する処理の一実施形態について説明する。なお、投影装置１３０が共有対象画像を受信した場合に実行する処理は、投影対象画像を投影する点を除き、図６に示す処理と同様であるため説明を省略する。
【００５６】
図６に示す処理は、受信部４１０が分割画像を受信することにより、ステップＳ６００から開始する。ステップＳ６０１では、情報処理装置１２０ｂの伸張部４１１が、当該分割画像を伸張する。ステップＳ６０２では、合成部４１２が、表示画像保持部４１３から表示対象画像を取得し、分割画像と共に受信した配置領域情報が規定する当該表示対象画像の領域に分割画像を合成して、表示画像保持部４１３に保存する。本実施形態では、初期状態の表示画像保持部４１３には、空の画像データ（白画素のみからなる画像データ等）が保存されており、合成部４１２は空の画像データに分割画像を合成する。
【００５７】
ステップＳ６０３では、補完部４１４が、分割画像と共に受信した順序情報を参照し、当該分割画像の表示順序または投影順序が最先であるか否か判断する。分割画像の表示順序または投影順序が最先でない場合は（ｎｏ）、ステップＳ６０５に処理が分岐する。一方、分割画像の表示順序または投影順序が最先である場合は（ｙｅｓ）、ステップＳ６０４に処理が分岐する。
【００５８】
ステップＳ６０４では、補完部４１４は、分割画像が合成された表示対象画像を表示画像保持部４１３から取得し、当該分割画像を用いて、表示対象画像内の補完対象領域を補完し、表示画像保持部４１３に保存する。ステップＳ６０５では、表示制御部４１５が、表示画像保持部４１３から表示対象画像を取得して、情報処理装置１２０ｂの表示装置に表示し、ステップＳ６０６で処理が終了する。
【００５９】
図７は、画像処理システム１００が実行する処理の一実施形態を表す概念図である。以下、図７を参照して、図５および図６に示す処理の一実施形態について説明する。
【００６０】
まず、共有対象画像を提供する情報処理装置１２０ａが、共有対象画像である表示画像を分割して複数の分割画像群を生成する。図７に示す実施形態では、情報処理装置１２０ａの画像分割部４０４が、表示画像を４つの領域Ａ，Ｂ，Ｃ，Ｄに分け、これらの領域をそれぞれ４分割する。
【００６１】
図７に示す実施形態では、画像分割部４０４は、表示画像を４つの領域に分割するが、他の実施形態では、画像分割部４０４は、表示画像を任意の数の領域に分けることができる。また、画像分割部４０４は、各領域を２×２の分割画像に分けるだけでなく、図８に示すように、１×４の分割画像や２×３の分割画像、３×３の分割画像、４×４の分割画像に分割してもよい。このように、共有対象画像の分割数を増やすことにより、ネットワークを介して送信される分割画像のデータ容量を低減できるため、ネットワークの通信速度が低下している場合でも、受信側の装置で分割画像を滑らかに表示または投影することができ、リアルタイム性を向上させることができる。
【００６２】
さらに他の実施形態では、画像分割部４０４は、ネットワーク１１０の通信状況に合わせて、分割数を動的に変更してもよい。また、配置領域情報は、隣接する分割画像（例えば、Ａ１とＡ３、Ａ２とＡ４等）が順次表示または投影されるのではなく、隣接していない分割画像（例えば、Ａ１とＡ２、Ａ３とＡ４等）が順次表示または投影されるように設定することが好適である。これにより、受信側でユーザが共有対象画像の全体像を素早く把握することができる。
【００６３】
次に、情報処理装置１２０ａは、表示順序または投影順序が最先の分割画像（第１の分割画像群）を、表示順序または投影順序が最先である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第１の分割画像群を受信すると、これらの分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成し、表示順序または投影順序が最先の分割画像（Ａ１，Ｂ１，Ｃ１，Ｄ１）を用いて、補完対象領域を補完する。
【００６４】
次に、情報処理装置１２０ａは、表示順序または投影順序が２番目の分割画像（第２の分割画像群）を、表示順序または投影順序が２番目である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第２の分割画像群を受信すると、これらの分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成する。
【００６５】
次に、情報処理装置１２０ａは、表示順序または投影順序が３番目の分割画像（第３の分割画像群）を、表示順序または投影順序が３番目である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第３の分割画像群を受信すると、これらの分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成する。
【００６６】
最後に、情報処理装置１２０ａは、表示順序または投影順序が４番目の分割画像（第４の分割画像群）を、表示順序または投影順序が４番目である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第４の分割画像群を受信すると、これらの分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成する。
【００６７】
本発明の画像処理システムでは、共有対象画像が動画のような連続する画像間の変化が大きい映像である場合に、情報処理装置１２０ａが最新の分割画像を優先して送信し、受信側の装置が最新の分割画像を表示または投影するため、ネットワークの通信速度が低いときでも、受信側の装置で映像を滑らかに表示または投影することができ、映像表示または映像投影のリアルタイム性を向上させることができる。一方、共有対象画像が静止画のような連続する画像間の変化が小さい映像である場合は、情報処理装置１２０ａが総ての分割画像を送信するため、共有対象の画像の画質を高解像度化することができる。
【００６８】
また、本発明の画像処理システムでは、画像提供装置が、表示画像を複数の領域に分割した後、さらに各領域を分割して、各領域の表示順序または投影順序が同一の分割画像を順次送信することにより、受信側の装置において、表示順序または投影順序が同一の複数の分割画像を複数の領域で同時に表示または投影するため、１の分割画像を表示または投影する場合に比べて、ユーザが画像の全体像を容易に把握することができる。
【００６９】
図９は、画像処理システム１００が実行する処理の別の実施形態を表す概念図である。本実施形態では、共有対象画像を提供する情報処理装置１２０ａは、共有対象画像である表示画像の領域毎に当該領域を構成する画素の平均画素値を算出する平均画素値算出部９００をさらに備える。以下、図７との相違点を中心に説明する。
【００７０】
まず、情報処理装置１２０ａの画像分割部４０４が、共有対象画像である表示画像を分割して複数の分割画像群を生成する。次いで、平均画素値算出部９００が、それぞれの領域（領域Ａ，Ｂ，Ｃ，Ｄ）について、平均画素値を算出する。そして、送信部４０９は、これらの平均画素値を、表示順序または投影順序が最先である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。
【００７１】
情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから各領域の平均画素値を受信すると、表示対象画像または投影対象画像のうち、配置領域情報が示す各領域の画素値を、平均画素値Ａ，Ｂ，Ｃ，Ｄが示す画素値に変更する。そして、情報処理装置１２０ｂおよび投影装置１３０は、平均画素値Ａ，Ｂ，Ｃ，Ｄを用いて補完対象領域を補完する。
【００７２】
次に、情報処理装置１２０ａは、表示順序または投影順序が２番目の分割画像（第１の分割画像群）を、表示順序または投影順序が２番目である旨を示す順序情報および配置領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第１の分割画像群を受信すると、これらの分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成する。以下、同様の処理が行われる。
【００７３】
図９に示す実施形態では、受信側の装置で最初に共有対象画像の領域毎の平均画素値を表示または投影するため、共有対象画像が文字や線画等の画素値の変化が激しい画像である場合でも、表示または投影の初期段階における情報量の欠落を低減することができ、画質を向上させることができる。
【００７４】
図９を参照して説明した実施形態では、分割画像を構成する各画素の画素値を送信するが、他の実施形態では、平均画素値算出部９００が算出した平均画素値と分割画像を構成する各画素の画素値との差分を送信してもよい。
【００７５】
図１０は、共有対象画像を提供する情報処理装置が実行する処理の別の実施形態を示すフローチャートである。本実施形態では、共有対象画像を提供する情報処理装置１２０ａは、差分画像抽出部１０００と、有効領域算出部１００１と、差分画像判断部１００２とをさらに備える。
【００７６】
差分画像抽出部１０００は、最新の表示画像と直前の表示画像との差分画像を抽出し、当該差分画像の領域を示す差分画像領域情報を生成する手段である。有効領域算出部１００１は、未送信の直前の表示画像の分割画像（以下、「先行分割画像」とする。）のうち、最新の表示画像の分割画像（以下、「最新分割画像」とする。）と重複しない画像領域である有効領域を算出して、当該有効領域を示す有効領域情報を生成する手段である。差分画像判断部１００２は、差分画像抽出部１０００が抽出した差分画像の領域が未送信の先行分割画像の領域を包含するか否か判断する手段である。
【００７７】
図１０に示す処理は、ステップＳ１０００から開始し、ステップＳ１００１では、情報処理装置１２０ａの表示画像取得部４０１が、情報処理装置１２０ａの表示装置の表示画像を表示画像保持部４００から取得し、比較画像保持部４０２に保存する。ステップＳ１００２では、画像比較部４０３が、比較画像保持部４０２から最新の表示画像および直前の表示画像を取得し、これらの表示画像に差分が有るか否か判断する。
【００７８】
最新の表示画像および直前の表示画像に差分が無い場合は（ｎｏ）、ステップＳ１００９に処理が分岐する。一方、最新の表示画像および直前の表示画像に差分が有る場合は（ｙｅｓ）、ステップＳ１００３に処理が分岐する。
【００７９】
ステップＳ１００３では、差分画像抽出部１０００が、最新の表示画像および直前の表示画像から差分画像を抽出し、当該差分画像の領域を示す差分画像領域情報を生成する。ステップＳ１００４では、画像分割部４０４が、当該差分画像を分割して最新分割画像を生成すると共に、これらの最新分割画像の配置領域情報および順序情報並びに差分画像領域情報を最新分割画像に付加して、未送信画像バッファ４０５に保存する。
【００８０】
ステップＳ１００５では、未送信画像判断部４０７が、未送信の先行分割画像が未送信画像バッファ４０５に有るか否か判断する。未送信の先行分割画像が未送信画像バッファ４０５に無い場合は（ｎｏ）、ステップＳ１００９に処理が分岐する。一方、未送信の先行分割画像が未送信画像バッファ４０５に有る場合は（ｙｅｓ）、ステップＳ１００６に処理が分岐する。
【００８１】
ステップＳ１００６では、差分画像判断部１００２が、差分画像の領域が未送信の先行分割画像の領域を包含するか否か判断する。差分画像の領域が未送信の先行分割画像の領域を包含する場合は（ｙｅｓ）、ステップＳ１００７に処理が分岐する。ステップＳ１００７では、画像バッファ制御部４０６が、未送信画像バッファ４０５に保存されている未送信の先行分割画像を削除する。
【００８２】
図１１は、ステップＳ１００６およびステップＳ１００７を示す概念図である。図１１には、先行分割画像１を送信した後に、直前の表示画像と差分が有る最新の表示画像を取得した場合の例が示されている。図１１に示すように、最新の表示画像に含まれる最新分割画像１〜４で構成される差分画像の領域が、未送信の先行分割画像２〜４の領域を包含する場合、画像バッファ制御部４０６は、未送信画像バッファ４０５に保存されている未送信の先行分割画像２〜４を削除する。
【００８３】
一方、図１０に示すステップＳ１００６の判定で、差分画像の領域が未送信の先行分割画像の領域を包含しないと判断した場合は（ｎｏ）、ステップＳ１００８に処理が分岐する。ステップＳ１００８では、有効領域算出部１００１が、未送信の先行分割画像の有効領域を算出し、当該有効領域を示す有効領域情報を生成する。
【００８４】
図１２は、ステップＳ１００６およびステップＳ１００８を示す概念図である。図１２には、先行分割画像１を送信した後に、直前の表示画像と差分が有る最新の表示画像を取得した場合の例が示されている。図１２に示すように、最新の表示画像に含まれる最新分割画像１〜４で構成される差分画像領域が、未送信の先行分割画像２〜４の領域を包含しない場合、有効領域算出部１００１は、未送信の先行分割画像２〜４について有効領域を算出して有効領域情報を生成する。
【００８５】
図１０に示すステップＳ１００９では、未送信画像判断部４０７が、未送信の最新分割画像が未送信画像バッファ４０５に有るか否か判断する。未送信の最新分割画像が未送信画像バッファ４０５に無い場合は（ｎｏ）、ステップＳ１０１４に処理が分岐する。一方、未送信の最新分割画像が未送信画像バッファ４０５に有る場合は（ｙｅｓ）、ステップＳ１０１０に処理が分岐する。
【００８６】
ステップＳ１０１０では、圧縮部４０８が、未送信画像バッファ４０５に保存されている最新分割画像のうち表示順序または投影順序が最先の最新分割画像を取得し、当該最新分割画像を圧縮する。ステップＳ１０１１では、送信部４０９が、圧縮された最新分割画像を、最新分割画像である旨を示す情報、当該最新分割画像の配置領域情報および順序情報、並びに差分画像領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。
【００８７】
ステップＳ１０１２では、画像バッファ制御部４０６が、送信部４０９の送信した最新分割画像を未送信画像バッファ４０５から削除し、ステップＳ１０１３に処理が分岐する。ステップＳ１０１３では、未送信画像判断部４０７が、未送信の最新分割画像が未送信画像バッファ４０５に有るか否か判断する。未送信の最新分割画像が未送信画像バッファ４０５に有る場合は（ｙｅｓ）、ステップＳ１００１に処理が戻る。一方、未送信の最新分割画像が未送信画像バッファ４０５に無い場合は（ｎｏ）、ステップＳ１０１４に処理が分岐する。
【００８８】
ステップＳ１０１４では、未送信画像判断部４０７が、未送信の先行分割画像が未送信画像バッファ４０５に有るか否か判断する。未送信の先行分割画像が未送信画像バッファ４０５に無い場合は（ｎｏ）、ステップＳ１００１に処理が戻る。一方、未送信の先行分割画像が未送信画像バッファ４０５に有る場合は（ｙｅｓ）、ステップＳ１０１５に処理が分岐する。
【００８９】
ステップＳ１０１５では、圧縮部４０８が、未送信画像バッファ４０５に保存されている先行分割画像のうち表示順序または投影順序が最先の先行分割画像を取得し、当該先行分割画像を圧縮する。ステップＳ１０１６では、送信部４０９が、圧縮された先行分割画像を、当該先行分割画像の配置領域情報、順序情報および有効領域情報と共に、情報処理装置１２０ｂおよび投影装置１３０に送信する。ステップＳ１０１７では、画像バッファ制御部４０６が、送信部４０９の送信した先行分割画像を未送信画像バッファ４０５から削除し、ステップＳ１００１に処理が戻る。
【００９０】
図１０に示す実施形態では、情報処理装置１２０ａが、差分画像の分割画像を送信するため、表示画像全体の分割画像を送信する場合に比べて、データ転送量を低減することができる。また、本実施形態では、情報処理装置１２０ａが、未送信の先行分割画像よりも最新分割画像を優先して送信するため、連続する画像間の変化の大きいコンテンツを表示する場合に、受信側の装置で滑らかな映像を表示または投影することができ、リアルタイム性を向上させることができる。
【００９１】
図１３は、図１０に示す処理によって共有対象画像が提供される情報処理装置が実行する処理の一実施形態を示すフローチャートである。本実施形態では、共有対象画像が提供される情報処理装置１２０ｂおよび投影装置１３０は、分割画像判断部１３００と、有効領域抽出部１３０１とをさらに備える。分割画像判断部１３００は、分割画像が最新分割画像であるか否か判断する手段である。有効領域抽出部１３０１は、先行分割画像から有効領域画像を抽出する手段である。
【００９２】
以下、図１３を参照して、情報処理装置１２０ｂが実行する処理の別の実施形態について説明する。なお、投影装置１３０が共有対象画像を受信した場合に実行する処理は、投影対象画像を投影する点を除き、図１３に示す処理と同様であるため説明を省略する。
【００９３】
図１３に示す処理は、受信部４１０が分割画像を受信することにより、ステップＳ１３００から開始する。ステップＳ１３０１では、情報処理装置１２０ｂの伸張部４１１が、当該分割画像を伸張する。ステップＳ１３０２では、分割画像判断部１３００が、伸張部４１１の伸張した分割画像が最新分割画像であるか否か判断する。本実施形態では、最新分割画像である旨を示す情報が分割画像に付加されている場合、分割画像判断部１３００は、当該分割画像が最新分割画像であると判断する。
【００９４】
分割画像が最新分割画像である場合は（ｙｅｓ）、ステップＳ１３０３に処理が分岐する。ステップＳ１３０３では、合成部４１２が、表示画像保持部４１３から表示対象画像を取得し、最新分割画像と共に受信した配置領域情報が規定する当該表示対象画像の領域に最新分割画像を合成して表示画像保持部４１３に保存する。
【００９５】
ステップＳ１３０４では、補完部４１４が、最新分割画像と共に受信した順序情報を参照し、当該最新分割画像の表示順序または投影順序が最先であるか否か判断する。最新分割画像の表示順序または投影順序が最先でない場合は（ｎｏ）、ステップＳ１３０６に処理が分岐する。一方、最新分割画像の表示順序または投影順序が最先である場合は（ｙｅｓ）、ステップＳ１３０５に処理が分岐する。
【００９６】
ステップＳ１３０５では、補完部４１４は、最新分割画像が合成された表示対象画像を表示画像保持部４１３から取得し、当該分割画像を用いて、当該最新分割画像と共に受信した差分画像領域情報が示す表示対象画像内の補完対象領域を補完し、表示画像保持部４１３に保存する。
【００９７】
ステップＳ１３０２で分割画像が最新分割画像でない、すなわち、先行分割画像であると判断した場合は（ｎｏ）、ステップＳ１３０６に処理が分岐する。ステップＳ１３０６では、有効領域抽出部１３０１が、先行分割画像と共に受信した有効領域情報を用いて、当該先行分割画像から有効領域画像を抽出する。ステップＳ１３０７では、合成部４１２が、表示画像保持部４１３から表示対象画像を取得し、当該表示対象画像のうち有効領域情報が規定する領域に有効領域画像を合成して、表示画像保持部４１３に保存する。
【００９８】
ステップＳ１３０８では、表示制御部４１５が、表示画像保持部４１３から表示対象画像を取得して情報処理装置１２０ｂの表示装置に表示し、ステップＳ１３０９で処理が終了する。
【００９９】
図１４は、画像処理システム１００が実行する処理の他の実施形態を表す概念図である。以下、図１４を参照して、図１０〜図１３に示す処理の一実施形態について、図７との相違点を中心に説明する。
【０１００】
まず、共有対象画像を提供する情報処理装置１２０ａの差分画像抽出部１０００が、最新の表示画像から直前の表示画像との差分画像を抽出する。そして、画像分割部４０４が、差分画像を領域毎に分割して、複数の最新分割画像群を生成する。
【０１０１】
次に、情報処理装置１２０ａは、表示順序または投影順序が最先の最新分割画像（第１の分割画像群）を情報処理装置１２０ｂおよび投影装置１３０に送信する。情報処理装置１２０ｂおよび投影装置１３０は、情報処理装置１２０ａから第１の最新分割画像群を受信すると、これらの最新分割画像を、表示対象画像または投影対象画像内の配置領域情報が示す領域に合成する。そして、情報処理装置１２０ｂおよび投影装置１３０は、表示順序または投影順序が最先の最新分割画像（Ａ１，Ｂ１，Ｃ１，Ｄ１）を用いて、表示対象画像または投影対象画像内の差分画像領域情報が示す補完対象領域を補完する。
【０１０２】
図１０〜１４に示す実施形態では、受信側の情報処理装置１２０ｂや投影装置１３０で先行分割画像から有効領域を抽出するが、他の実施形態では、送信側の情報処理装置１２０ａで先行分割画像から有効領域を抽出して受信側に送信してもよい。また、図９に示す実施形態のように、情報処理装置１２０ａが共有対象画像の領域毎の平均画素値を算出し、情報処理装置１２０ｂや投影装置１３０が共有対象画像の領域毎の平均画素値を最初に表示または投影するように構成してもよい。
【０１０３】
これまで本発明の実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要素を変更若しくは削除し、または上述した実施形態の構成要素に他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１０４】
１００…画像処理システム、１１０…ネットワーク、１２０ａ，１２０ｂ…情報処理装置、１３０…投影装置
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２０１３−１３１９９０
【図１】
2016051945.tif 000003
【図２】
2016051945.tif 000004
【図３】
2016051945.tif 000005
【図４】
2016051945.tif 000006
【図５】
2016051945.tif 000007
【図６】
2016051945.tif 000008
【図７】
2016051945.tif 000009
【図８】
2016051945.tif 000010
【図９】
2016051945.tif 000011
【図１０】
2016051945.tif 000012
【図１１】
2016051945.tif 000013
【図１２】
2016051945.tif 000014
【図１３】
2016051945.tif 000015
【図１４】
2016051945.tif 000016