(57)【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイに画像データを送信する情報処理装置が実行する制御方法において、
撮像画像を順次取得し、
前記情報処理装置から前記ヘッドマウントディスプレイに送信される画像データの送信間隔に関する情報に基づき、取得した複数の撮像画像のうち、前記情報処理装置から前記ヘッドマウントディスプレイへの送信対象となる撮像画像を特定し、
特定した前記送信対象の撮像画像について基準物の検出処理を実行し、
特定した前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して新たな画像データを生成し、
生成した前記画像データを前記ヘッドマウントディスプレイに送信する、
処理をコンピュータが実行することを特徴とする画像処理制御方法。  
【請求項２】
前記検出処理は、前記複数の撮像画像のうち、送信対象とされなかった撮像画像について実行されない
ことを特徴とする請求項１に記載の画像処理制御方法。  
【請求項３】
前記送信する処理は、所定の周期で前記画像データを送信する
ことを特徴とする請求項１または２に記載の画像処理制御方法。
【請求項４】
前記取得する処理は、前記ヘッドマウントディスプレイに設けられたカメラにより撮影されて送信された撮影画像を順次取得し、
前記画像データの送信周期、前記ヘッドマウントディスプレイからの撮像画像の送信時間、および、前記撮像画像に画像を重畳するために要する処理時間に基づき、前記ヘッドマウントディスプレイから送信された撮像画像に画像を重畳する処理を行った場合の時刻が次の前記画像データの送信周期のタイミングの直前となる撮影タイミングを求めて前記カメラの撮影周期を調整する処理をコンピュータがさらに実行する
ことを特徴とする請求項１〜３の何れか１つに記載の画像処理制御方法。
【請求項５】
ヘッドマウントディスプレイに画像データを送信する情報処理装置が実行する制御プログラムにおいて、
撮像画像を順次取得し、
前記情報処理装置から前記ヘッドマウントディスプレイに送信される画像データの送信間隔に関する情報に基づき、取得した複数の撮像画像のうち、前記情報処理装置から前記ヘッドマウントディスプレイへの送信対象となる撮像画像を特定し、
特定した前記送信対象の撮像画像について基準物の検出処理を実行し、
特定した前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して新たな画像データを生成し、
生成した前記画像データを前記ヘッドマウントディスプレイに送信する、
処理をコンピュータに実行させることを特徴とする画像処理制御プログラム。
【請求項６】
ヘッドマウントディスプレイに画像データを送信する情報処理装置において、
撮像画像を順次取得する取得部と、
前記情報処理装置から前記ヘッドマウントディスプレイに送信される画像データの送信間隔に関する情報に基づき、前記取得部により取得した複数の撮像画像のうち、前記情報処理装置から前記ヘッドマウントディスプレイへの送信対象となる撮像画像を特定し、特定した前記送信対象の撮像画像について基準物の検出処理を実行する検出部と、
特定した前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して新たな画像データを生成する生成部と、
前記生成部により生成した前記画像データを前記ヘッドマウントディスプレイに送信する送信部と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置に関する。
【背景技術】
【０００２】
ＡＲ（Augmented  Reality：拡張現実）技術が知られている。例えば、ＡＲ技術では、カメラにより撮影される撮像画像に仮想的なＡＲコンテンツを重畳する画像処理を行う。このようにＡＲコンテンツを重畳した重畳画像を表示させることにより、画像に様々な情報を付加して表示できる。例えば、スマートフォンとヘッドマウントディスプレイを用いて、スマートフォンが、カメラにより順次撮影された各撮像画像にＡＲコンテンツをそれぞれ重畳する画像処理を行い、重畳画像をヘッドマウントディスプレイに順次送信する。ヘッドマウントディスプレイは、重畳画像を表示する。これにより、ヘッドマウントディスプレイを装着したユーザに対して、撮像画像に様々な情報を付加して提供できる。このように他の装置で画像を表示させる技術として、例えば、Miracastなどの画像共有技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／０９８２９２号
【特許文献２】特開２０１４−９６０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、カメラにより撮影された各撮像画像に対してＡＲコンテンツを重畳する画像処理を行った場合、電力消費を抑制できない場合がある。
【０００５】
一つの側面では、電力消費を抑制できる画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の案では、画像処理制御方法は、コンピュータが、撮像画像を順次取得する処理を実行する。画像処理制御方法は、コンピュータが、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。画像処理制御方法は、コンピュータが、送信対象の撮像画像と、検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成する処理を実行する。画像処理制御方法は、コンピュータが、生成した重畳画像を送信する処理を実行する。
【発明の効果】
【０００７】
本発明の一の実施態様によれば、電力消費を抑制できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、システム構成の一例を説明する図である。
【図２】図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。
【図３】図３は、実施例１に係る画像処理制御装置の機能的な構成を概略的に示した図である。
【図４】図４は、撮影タイミングおよび画面更新タイミングの一例を示す図である。
【図５】図５は、送信対象の撮像画像が送信されるタイミングの求め方の一例を示す図である。
【図６】図６は、撮影タイミングおよび画面更新タイミングの一例を示す図である。
【図７】図７は、制御処理の手順の一例を示すフローチャートである。
【図８】図８は、実施例２に係る画像処理制御装置の機能的な構成を概略的に示した図である。
【図９】図９は、撮影タイミングの求め方の一例を示す図である。
【図１０】図１０は、画像処理制御プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明にかかる画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１０】
［システム構成］
最初に、仮想現実を提供するシステムの一例を説明する。図１は、システム構成の一例を説明する図である。システム１０は、仮想現実を提供するＡＲシステムである。システム１０は、画像処理制御装置１１と、ヘッドマウントディスプレイ１２とを有する。
【００１１】
画像処理制御装置１１は、仮想現実を提供する装置である。例えば、画像処理制御装置１１は、提供される仮想現実を利用するユーザが所持するスマートフォンやタブレット端末などの携帯型の情報処理装置などである。
【００１２】
ヘッドマウントディスプレイ１２は、ユーザが頭に装着し、各種の情報をユーザに視認可能に表示するデバイスである。本実施例では、ヘッドマウントディスプレイ１２は、片眼のみに対応したものとするが、両眼に対応したものであってもよい。ヘッドマウントディスプレイ１２は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性の表示部を有するものとしてもよい。また、ヘッドマウントディスプレイ１２は、ユーザが頭に装着した際にユーザの視界の一部に非透過型の表示部が位置するものであってもよい。本実施例では、ヘッドマウントディスプレイ１２は、ユーザの一方の目（例えば、右目）に対向するように１つの非透過型の表示部が設けられている。ヘッドマウントディスプレイ１２と画像処理制御装置１１は、ブルートゥース（Bluetooth（登録商標））や無線ＬＡＮなどの無線通信により、通信可能に接続されている。ヘッドマウントディスプレイ１２は、カメラが設けられており、当該カメラにより、装着したユーザの視線方向の画像の撮影が可能とされている。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。また、ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した画像を表示部に表示する。
【００１３】
本実施例に係るシステム１０では、画像処理制御装置１１には、各種のＡＲコンテンツのオブジェクトデータが予め記憶される。ＡＲコンテンツのオブジェクトデータは、サーバからダウンロードしてもよく、記憶媒体等を介して格納してもよい。画像処理制御装置１１は、ヘッドマウントディスプレイ１２を介して仮想現実をユーザに提供する。例えば、ユーザは、ヘッドマウントディスプレイ１２を装着し、ＡＲコンテンツを記憶した画像処理制御装置１１を所持して、ヘッドマウントディスプレイ１２のカメラで撮影を行う。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。画像処理制御装置１１は、撮影された撮像画像から基準物の検出を行う。画像処理制御装置１１は、撮像画像に基準物が含まれることの検出に基づき、基準物に応じたＡＲコンテンツを、該基準物のサイズに応じたサイズで撮像画像に重畳（合成）する。画像処理制御装置１１は、撮像画像にＡＲコンテンツを重畳した重畳画像をヘッドマウントディスプレイ１２へ送信する。ここで、本実施例では、画像処理制御装置１１にＡＲコンテンツを重畳した重畳画像を表示させ、画像共有技術を用いて重畳画像をヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した重畳画像を表示する。基準物は、例えば、ＡＲマーカやＱＲ（Quick  Response）コード（登録商標）など、仮想現実を表示する位置を指定するための基準となる標識であってもよい。また、基準物は、例えば、特定の形状の物体や特定パターンなど撮像画像内での物体であってもよい。
【００１４】
本実施例では、システム１０により工場の点検業務を支援する場合を例に説明する。例えば、工場において、点検を要する対象物または対象物の周辺にＡＲマーカを配置する。ＡＲマーカには、それぞれ一意の画像が記録されている。例えば、ＡＲマーカには、それぞれ識別情報として一意のマーカＩＤをコード化したパターン画像が記録されている。一方、画像処理制御装置１１には、ＡＲコンテンツのオブジェクトデータが記憶されている。例えば、画像処理制御装置１１には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したＡＲコンテンツが記憶されている。ＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。画像処理制御装置１１には、ＡＲマーカのマーカＩＤに対応付けて、当該ＡＲマーカが配置された点検の対象物に仮想現実として重畳して表示させるＡＲコンテンツのコンテンツＩＤが記憶されている。点検を行う作業者は、ヘッドマウントディスプレイ１２を装着し、画像処理制御装置１１を所持して点検の対象物のところへ行く。そして、点検を行う作業者は、ヘッドマウントディスプレイ１２に設けられたカメラで対象物または対象物の周辺に配置されたＡＲマーカを撮影する。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。画像処理制御装置１１は、撮像画像からＡＲマーカのマーカＩＤを認識し、ＡＲマーカのマーカＩＤに対応付けられたコンテンツＩＤのＡＲコンテンツを読み出す。そして、画像処理制御装置１１は、読み出したＡＲコンテンツを撮影された画像に重畳した重畳画像を生成し、重畳画像をヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した重畳画像を表示する。これにより、例えば、ヘッドマウントディスプレイ１２には、点検の対象物に、点検すべき内容や注意点、前回の点検結果、点検手順など点検の際に注意すべき事項を示したコンテンツが重畳された重畳画像が表示される。この結果、点検を行う作業者は、表示されたコンテンツから点検の際に注意すべき事項を把握できるため、点検を効率的に行うことができる。
【００１５】
［ヘッドマウントディスプレイの構成］
次に、各機器の構成について説明する。最初にヘッドマウントディスプレイ１２の構成について説明する。図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。ヘッドマウントディスプレイ１２は、通信Ｉ／Ｆ（インタフェース）部２０と、表示部２１と、カメラ２２と、記憶部２３と、制御部２４とを有する。なお、ヘッドマウントディスプレイ１２は、上記の機器以外の他の機器を有してもよい。
【００１６】
通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、無線通信により他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２０は、カメラ２２により撮影された撮像画像の画像データを画像処理制御装置１１に送信する。また、通信Ｉ／Ｆ部２０は、表示用の画像データを画像処理制御装置１１から受信する。
【００１７】
表示部２１は、各種情報を表示するデバイスである。表示部２１は、ユーザがヘッドマウントディスプレイ１２を装着した際に、一方の目に対向するようにヘッドマウントディスプレイ１２に設けられている。表示部２１は、制御部２４からの制御により、各種情報を表示する。例えば、表示部２１は、画像処理制御装置１１から画像共有技術により送信された重畳画像を表示する。
【００１８】
カメラ２２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を用いて、画像を撮影するデバイスである。カメラ２２は、ヘッドマウントディスプレイ１２をユーザが装着した際に、装着したユーザの正面方向を向くようにヘッドマウントディスプレイ１２に設けられ、正面を向いたユーザの視線方向の画像の撮影が可能とされている。カメラ２２は、制御部２４からの制御により、画像を撮影し、撮影された撮像画像の画像データを出力する。
【００１９】
記憶部２３は、各種の情報を記憶する記憶デバイスである。例えば、記憶部２３は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non  Volatile  Static  Random  Access  Memory）などのデータを書き換え可能な半導体メモリである。なお、記憶部２３は、ハードディスク、ＳＳＤ（Solid  State  Drive）、光ディスクなどの記憶装置であってもよい。
【００２０】
記憶部２３は、制御部２４で実行される制御プログラムや各種プログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。
【００２１】
制御部２４は、ヘッドマウントディスプレイ１２を制御するデバイスである。制御部２４としては、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等の電子回路や、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。
【００２２】
制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、撮影制御部３０と、通信制御部３１と、表示制御部３２とを有する。
【００２３】
撮影制御部３０は、カメラ２２を制御して画像の撮影を行う。例えば、撮影制御部３０は、カメラ２２により所定のフレームレートで動画の撮影を行う。
【００２４】
通信制御部３１は、各種の情報の送受信を制御する。例えば、通信制御部３１は、カメラ２２により撮影される撮像画像の画像データを画像処理制御装置１１へ送信する。また、通信制御部３１は、画像処理制御装置１１から表示用の画像データを受信する。
【００２５】
表示制御部３２は、表示部２１への各種の情報の表示を制御する。例えば、表示制御部３２は、画像処理制御装置１１から受信した画像データの画像を表示部２１に表示する制御を行う。
【００２６】
［画像処理制御装置の構成］
次に、画像処理制御装置１１の構成について説明する。図３は、実施例１に係る画像処理制御装置の機能的な構成を概略的に示した図である。図３に示すように、画像処理制御装置１１は、通信Ｉ／Ｆ部５０と、表示部５１と、入力部５２と、電源部５３と、記憶部５４と、制御部５５とを有する。なお、画像処理制御装置１１は、上記の機器以外に携帯型の情報処理装置やコンピュータが有する他の機器を有してもよい。
【００２７】
通信Ｉ／Ｆ部５０は、他の装置との間で通信制御を行うインタフェースである。例えば、通信Ｉ／Ｆ部５０は、無線通信によりヘッドマウントディスプレイ１２と各種情報を送受信する。例えば、通信Ｉ／Ｆ部５０は、ヘッドマウントディスプレイ１２からカメラ２２により撮影された撮像画像の画像データを受信する。また、通信Ｉ／Ｆ部５０は、表示用の画像データをヘッドマウントディスプレイ１２へ送信する。
【００２８】
表示部５１は、各種情報を表示する表示デバイスである。表示部５１としては、ＬＣＤ（Liquid  Crystal  Display）などの表示デバイスが挙げられる。表示部５１は、各種情報を表示する。例えば、表示部５１は、各種の操作画面やＡＲコンテンツを重畳した重畳画像を表示する。
【００２９】
入力部５２は、各種の情報を入力する入力デバイスである。例えば、入力部５２としては、ヘッドマウントディスプレイ１２に設けられた各種のボタンや、表示部５１上に設けられた透過型のタッチセンサなどの入力デバイスが挙げられる。なお、図３の例では、機能的な構成を示したため、表示部５１と入力部５２を別に分けているが、例えば、タッチパネルなど表示部５１と入力部５２を一体的に設けたデバイスで構成してもよい。
【００３０】
電源部５３は、バッテリや電池などの電力源を含み、画像処理制御装置１１の各電子部品に電力を供給する。
【００３１】
記憶部５４は、ハードディスク、ＳＳＤ、光ディスクなどの記憶装置である。なお、記憶部５４は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリであってもよい。
【００３２】
記憶部５４は、制御部５５で実行されるＯＳ（Operating  System）や各種プログラムを記憶する。例えば、記憶部５４は、後述する情報処理を含む各種の処理を実行するプログラムを記憶する。さらに、記憶部５４は、制御部５５で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５４は、コンテンツデータ６０を記憶する。
【００３３】
コンテンツデータ６０は、ＡＲコンテンツのオブジェクトデータを記憶したデータである。例えば、コンテンツデータ６０には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したオブジェクトデータが記憶されている。なお、ＡＲコンテンツは、３次元の立体的な形状のオブジェクトデータであってもよい。コンテンツデータ６０のＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。
【００３４】
制御部５５は、画像処理制御装置１１を制御するデバイスである。制御部５５としては、ＣＰＵ、ＭＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部５５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部５５は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部５５は、取得部７０と、検出部７１と、生成部７２と、送信部７３とを有する。
【００３５】
取得部７０は、各種の取得を行う。例えば、取得部７０は、ヘッドマウントディスプレイ１２から送信され、通信Ｉ／Ｆ部５０で受信された撮像画像の画像データを順次取得する。
【００３６】
検出部７１は、各種の検出を行う。例えば、検出部７１は、取得部７０により順次取得される画像データが示す撮像画像から基準物の検出処理を実行する。例えば、検出部７１は、画像データが示す撮像画像に対して、ＡＲマーカの検出を行う。検出部７１は、ＡＲマーカが検出された場合、撮像画像内での検出されたＡＲマーカのサイズを特定する。
【００３７】
生成部７２は、各種の生成を行う。例えば、生成部７２は、検出部７１によりＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。例えば、生成部７２は、ＡＲマーカが検出された場合、ＡＲマーカのパターン画像をデコードしてマーカＩＤを特定する。生成部７２は、特定したコンテンツＩＤのオブジェクトデータをコンテンツデータ６０から読み出す。そして、生成部７２は、読み出したオブジェクトデータのＡＲコンテンツをＡＲマーカのサイズに応じた大きさで撮像画像に重畳する。
【００３８】
ここで、本実施例に係るシステム１０では、画像処理制御装置１１が、画像共有技術により、画面をヘッドマウントディスプレイ１２へ転送して表示させている。しかし、画像処理制御装置１１の画面更新周期とヘッドマウントディスプレイ１２の画面更新周期は、同一ではなく、一般的に画像処理制御装置１１の画面更新周期［fps］＞ヘッドマウントディスプレイ１２の画面更新周期［fps］となる。
【００３９】
図４は、撮影タイミングおよび画面更新タイミングの一例を示す図である。本実施例では、説明を簡略化するため、ヘッドマウントディスプレイ１２による撮影周期および画像処理制御装置１１の画像更新周期が共に同じ周期（例えば、６０［fps］）であるものとする。なお、ヘッドマウントディスプレイ１２による撮影周期と画像処理制御装置１１の画像更新周期は、異なってもよい。図４の例では、画像共有技術としてMiracastを用いた場合を例に説明するが、画像共有技術は、Miracastに限定されるものではない。
【００４０】
図４の例では、ヘッドマウントディスプレイ１２は、撮影周期ごとの撮影タイミングで撮影された撮像画像の画像データを画像処理制御装置１１へ送信している。画像処理制御装置１１は、順次取得された撮像画像に対してＡＲマーカに対応する画像を重畳し、重畳画像を画像処理制御装置１１の画像更新周期に応じた画面更新タイミングで画面に表示する。一方、画像処理制御装置１１は、Miracastによる更新タイミングとなると、更新タイミングの直後の画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、受信した画像データが示す画面の画像を表示する。ヘッドマウントディスプレイ１２に画面の画像が表示されるには、画像データの転送時間などを含んだタイムラグがある。
【００４１】
ところで、本実施例に係るシステム１０では、ヘッドマウントディスプレイ１２をユーザが装着した際に、ユーザは、基本的に画像処理制御装置１１の画面しか見ない。このため、画像処理制御装置１１では、カメラにより撮影された各撮像画像に対してＡＲコンテンツを重畳する画像処理を行った場合、ヘッドマウントディスプレイ１２に送信されない撮像画像に対しても画像を重畳する処理が行われる。このように、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理は、無駄な電力消費が発生する。画像処理制御装置１１は、バッテリや電池などから電力が供給されるため、無駄な電力消費が発生すると、画像処理制御装置１１の動作時間が短くなる。
【００４２】
そこで、検出部７１は、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。例えば、検出部７１は、通信Ｉ／Ｆ部５０で撮像画像の画像データが取得される時間間隔Ｔｓを求める。例えば、検出部７１は、撮影のフレームレートなど撮影の周期情報が記憶されている場合、周期情報から撮像画像の画像データが取得される時間間隔Ｔｓを求めてもよい。また、検出部７１は、画像データが取得される時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｓとして求めてもよい。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔Ｔｍを求める。例えば、検出部７１は、Miracastによる画像の更新タイミングの時間間隔Ｔｍの設定情報が記憶されている場合、設定情報を読み出すことにより更新タイミングの時間間隔Ｔｍを求めてもよい。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｍとして求めてもよい。また、検出部７１は、ＡＲに関する処理時間を求める。例えば、検出部７１は、撮像画像に対してＡＲマーカの検出を開始してから、撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行って画面に表示されるまでのＡＲに関する処理時間を求める。例えば、検出部７１は、ＡＲに関する処理時間が、ＡＲマーカの検出にかかる検出時間Ｔｉｄと、撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示するＡＲコンテンツ表示処理時間Ｔａｒが主な時間である場合、検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒを求める。例えば、検出部７１は、検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒの時間情報が記憶されている場合、時間情報から検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒを求めてもよい。また、検出部７１は、ＡＲマーカの検出にかかる検出時間と撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示する時間をそれぞれ複数計測し、それぞれの平均を検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒとして求めてもよい。検出部７１は、撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行った場合の時刻が次のMiracastによる画像の更新タイミングの直前となる送信対象の撮像画像が送信されるタイミングを求める。
【００４３】
図５は、送信対象の撮像画像が送信されるタイミングの求め方の一例を示す図である。例えば、検出部７１は、Miracastによる直近の更新タイミングＴ１から時間間隔Ｔｍ後の時刻Ｔ２を求める。検出部７１は、時刻Ｔ２から、検出時間Ｔｉｄ＋ＡＲコンテンツ表示処理時間Ｔａｒ前の時刻Ｔ３を求める。検出部７１は、直近の撮像画像の画像データが取得された時刻Ｔ４から時間間隔Ｔｓずつ経過した時刻Ｔｎ１、Ｔｎ２、Ｔｎ３・・・を求める。検出部７１は、時刻Ｔｎ１、Ｔｎ２、Ｔｎ３・・・のうち、時刻Ｔ３の直前となる時刻を求める。図５の例では、時刻Ｔｎ２は、時刻Ｔ３より前であり、時刻Ｔｎ３は、時刻Ｔ３の後である。このため、検出部７１は、時刻Ｔｎ２が時刻Ｔ３の直前となる時刻と求まる。
【００４４】
検出部７１は、時刻Ｔｎ２を基準として所定の許容時間以内に取得される撮像画像を送信対象の撮像画像としてＡＲマーカの検出処理を実行する。一方、検出部７１は、送信対象とされなかった時刻Ｔｎ１、Ｔｎ３の撮像画像についてＡＲマーカの検出処理をスキップする。すなわち、検出部７１は、送信対象とされなかった撮像画像についてＡＲマーカの検出処理を実行しない。なお、検出部７１は、撮像画像が取得された数をカウントして送信対象の撮像画像を判別してもよい。例えば、図５の例では、時刻Ｔｎ２の撮像画像は、時刻Ｔ４の撮像画像から２つ目の撮像画像である。検出部７１は、時刻Ｔ４の撮像画像から２つ目に得られた撮像画像を送信対象の撮像画像としてＡＲマーカの検出処理を実行してもよい。
【００４５】
生成部７２は、送信対象の撮像画像にＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。図５の例では、生成部７２は、時刻Ｔｎ２に取得される撮像画像にＡＲマーカが検出された場合、時刻Ｔｎ２の撮像画像にＡＲマーカに対応する画像を重畳して重畳画像を生成する。
【００４６】
送信部７３は、Miracastによる更新タイミングとなると、更新タイミングで表示される画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。図５の例では、送信部７３は、Miracastによる直近の更新タイミング時刻Ｔ２となると、時刻Ｔｎ２に取得された撮像画像にＡＲマーカに対応する画像を重畳した重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する。
【００４７】
ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した画像データの重畳画像を表示部２１に表示する。
【００４８】
図６は、撮影タイミングおよび画面更新タイミングの一例を示す図である。画像処理制御装置１１は、ヘッドマウントディスプレイ１２への送信対象となるＴｘ１、Ｔｘ４、Ｔｘ７、Ｔｘ１０の撮像画像にＡＲマーカが検出された場合、撮像画像にＡＲマーカに対応する画像を重畳し、重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する。一方、画像処理制御装置１１は、ヘッドマウントディスプレイ１２への送信対象とならないＴｘ２、Ｔｘ３、Ｔｘ５、Ｔｘ６、Ｔｘ８、Ｔｘ９、Ｔｘ１１、Ｔｘ１２の撮像画像に対してはＡＲコンテンツを重畳する処理をスキップする。これにより、画像処理制御装置１１では、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理が行われなくなるため、電力消費を抑制できる。
【００４９】
次に、本実施例に係る画像処理制御装置１１が撮像画像にＡＲコンテンツを重畳する画像処理を制御する制御処理の流れを説明する。図７は、制御処理の手順の一例を示すフローチャートである。この制御処理は、所定のタイミング、例えば、画像処理制御装置１１でＡＲの処理開始を指示する所定操作が行われたタイミングで実行される。なお、ヘッドマウントディスプレイ１２から撮像画像の画像データを受信したタイミングで実行されてもよい。
【００５０】
図７に示すように、検出部７１は、制御に用いる各種のパラメータを取得する前処理を実行する（Ｓ１０）。例えば、検出部７１は、取得部７０で画像データが取得される時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｓとして求める。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｍとして求めてもよい。また、検出部７１は、ＡＲマーカの検出にかかる検出時間と撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示する時間をそれぞれ複数計測し、それぞれの平均を検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒとして求める。
【００５１】
検出部７１は、送信対象の撮像画像が送信されるタイミングを特定する（Ｓ１１）。検出部７１は、取得部７０でヘッドマウントディスプレイ１２から撮像画像を取得すると、送信対象の撮像画像であるか判定する（Ｓ１２）。例えば、取得部７０は、送信対象の撮像画像が送信されるタイミングを基準として所定の許容時間以内に受信された撮像画像を送信対象の撮像画像と判定する。送信対象の撮像画像ではない場合（Ｓ１２否定）、再度Ｓ１２へ移行する。
【００５２】
一方、送信対象の撮像画像である場合（Ｓ１２肯定）、検出部７１は、撮像画像に対してＡＲマーカの検出処理を実行する（Ｓ１３）。
【００５３】
生成部７２は、撮像画像にＡＲマーカが検出されたか否かを判定する（Ｓ１４）。撮像画像にＡＲマーカが検出されない場合（Ｓ１４否定）、上述のＳ１２へ移行する。
【００５４】
撮像画像にＡＲマーカが検出された場合（Ｓ１４肯定）、生成部７２は、撮像画像にＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する（Ｓ１５）。送信部７３は、Miracastによる更新タイミングとなると、生成した重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する（Ｓ１６）。
【００５５】
検出部７１は、処理を終了するか否かを判定する（Ｓ１７）。例えば、検出部７１は、処理終了の所定の指示操作を受け付けた場合、処理を終了すると判定する。処理を終了すると判定された場合（Ｓ１７肯定）、処理を終了する。
【００５６】
一方、処理を終了しない場合（Ｓ１７否定）、上述のＳ１２へ移行する。
【００５７】
このように、本実施例に係る画像処理制御装置１１は、撮像画像を順次取得する。画像処理制御装置１１は、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。画像処理制御装置１１は、送信対象の撮像画像と、検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成する。画像処理制御装置１１は、生成した重畳画像を送信する。これにより、画像処理制御装置１１は、電力消費を抑制できる。
【００５８】
また、本実施例に係る画像処理制御装置１１は、複数の撮像画像のうち、送信対象とされなかった撮像画像について検出処理を実行しない。これにより、画像処理制御装置１１は、送信対象とされなかった撮像画像についての不要な検出処理をスキップできるため、処理負荷を軽減でき、電力消費を抑制できる。
【００５９】
また、本実施例に係る画像処理制御装置１１は、ヘッドマウントディスプレイ１２に対して所定の周期で重畳画像を送信する。これにより、画像処理制御装置１１は、ヘッドマウントディスプレイ１２に対して重畳画像を表示させることができる。
【実施例２】
【００６０】
次に、実施例２について説明する。実施例２に係るシステム１０、ヘッドマウントディスプレイ１２の構成は、図１、図２に示した実施例１と同様であるため、説明を省略する。
【００６１】
図８は、実施例２に係る画像処理制御装置の機能的な構成を概略的に示した図である。実施例２に係る画像処理制御装置１１の構成は、図３に示した実施例１と略同様であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。
【００６２】
図８に示すように、画像処理制御装置１１の制御部５５は、調整部７４をさらに有する。
【００６３】
調整部７４は、各種の調整を行う。調整部７４は、重畳画像の送信周期に応じて撮像画像の撮影周期を調整する。例えば、調整部７４は、ヘッドマウントディスプレイ１２から画像処理制御装置１１へ撮像画像の画像データを送信する送信時間Ｔｒを求める。例えば、調整部７４は、画像データまたは所定のデータ量のテストデータをヘッドマウントディスプレイ１２から画像処理制御装置１１へ送信させてデータにかかる送信時間を測定する。調整部７４は、画像データまたはテストデータのデータ量を送信時間で除算してデータの転送速度を求める。また、調整部７４は、複数の撮像画像の画像データのデータ量を平均して、撮像画像の標準的なデータ量を求める。そして、調整部７４は、撮像画像の標準的なデータ量を転送速度で除算して撮像画像の画像データを送信する送信時間Ｔｒを求める。調整部７４は、重畳画像の送信周期に基づき、ヘッドマウントディスプレイ１２から送信された撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行った場合の時刻が次のMiracastによる画像の更新タイミングの直前となる撮影タイミングを求める。
【００６４】
図９は、撮影タイミングの求め方の一例を示す図である。図９には、図５と同様に、Miracastによる直近の更新タイミングＴ１と、更新タイミングＴ１から時間間隔Ｔｍ後の時刻Ｔ２が示されている。また、図９には、時刻Ｔ２から、検出時間Ｔｉｄ＋ＡＲコンテンツ表示処理時間Ｔａｒ前の時刻Ｔ３が示されている。調整部７４は、時刻Ｔ３から、送信時間Ｔｒ前の時刻Ｔ５を求める。調整部７４は、時刻Ｔ５を撮影タイミングとしてヘッドマウントディスプレイ１２へ通知する。なお、各処理時間にタイムラグが発生した場合、Miracastによる画像の更新タイミングまでに重畳画像の生成が完了しない場合が考えられるため、調整部７４は、一定の余裕時間を予め設けた時刻をヘッドマウントディスプレイ１２へ通知してもよい。すなわち、調整部７４は、時刻Ｔ５から一定の余裕時間前の時刻をヘッドマウントディスプレイ１２へ通知してもよい。
【００６５】
ヘッドマウントディスプレイ１２は、時刻Ｔ５に画像の撮影を行い、撮像画像の画像データを画像処理制御装置１１へ送信する。検出部７１は、ヘッドマウントディスプレイ１２から取得された撮像画像を送信対象の撮像画像として基準物の検出処理を実行する。生成部７２は、撮像画像にＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。送信部７３は、Miracastによる更新タイミングとなると、更新タイミングで表示される画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。これにより、ヘッドマウントディスプレイ１２では、ＡＲコンテンツを重畳して表示する撮像画像のみ撮影が行われるため、電力消費を抑制できる。また、画像処理制御装置１１では、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理が行われなくなるため、電力消費を抑制できる。
【００６６】
このように、本実施例に係る画像処理制御装置１１は、重畳画像の送信周期に応じて撮像画像の撮影周期を調整する。これにより、画像処理制御装置１１は、不要な撮像画像の撮影を抑制できる。
【実施例３】
【００６７】
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよい。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００６８】
例えば、上記の実施例では、画像処理制御装置１１をスマートフォンやタブレット端末などの携帯型の情報処理装置とした場合を例に説明した。しかし、開示の装置はこれに限定されない。例えば、画像処理制御装置１１は、パーソナルコンピュータやサーバコンピュータなどのコンピュータとしてもよい。そして、画像処理制御装置１１は、有線又は無線を問わず、移動体通信、インターネット（Internet）、ＬＡＮ（Local  Area  Network）などの任意の種類の通信網を介してヘッドマウントディスプレイ１２と通信可能としてもよい。
【００６９】
また、上記の実施例では、送信対象の撮像画像に対してのみＡＲコンテンツを重畳する画像処理を行う場合を例に説明した。しかし、開示の装置はこれに限定されない。例えば、画像処理制御装置１１は、入力部５２に対する操作入力が検出された場合、所定期間の間、取得部７０により順次取得される各撮像画像に対してのみＡＲコンテンツを重畳する画像処理を行ってもよい。これにより、例えば、ユーザが画像処理制御装置１１の入力部５２に対して操作入力を行った場合、表示部５１には、ＡＲコンテンツを重畳された各撮像画像が表示される。
【００７０】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部７０、検出部７１、生成部７２、送信部７３および調整部７４の各処理部が適宜統合されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７１】
［画像処理制御プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１０は、画像処理制御プログラムを実行するコンピュータの一例を示す図である。
【００７２】
図１０に示すように、コンピュータ３００は、ＣＰＵ（Central  Processing  Unit）３１０、ＨＤＤ（Hard  Disk  Drive）３２０、ＲＡＭ（Random  Access  Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。
【００７３】
ＨＤＤ３２０には上記の取得部７０、検出部７１、生成部７２、送信部７３および調整部７４と同様の機能を発揮する画像処理制御プログラム３２０Ａが予め記憶される。なお、画像処理制御プログラム３２０Ａについては、適宜分離してもよい。
【００７４】
また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種の処理に用いる各種データを記憶する。
【００７５】
そして、ＣＰＵ３１０が、画像処理制御プログラム３２０ＡをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、画像処理制御プログラム３２０Ａは、取得部７０、検出部７１、生成部７２、送信部７３および調整部７４と同様の動作を実行する。
【００７６】
なお、上記した画像処理制御プログラム３２０Ａは、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。
【００７７】
また、例えば、画像処理制御プログラム３２０Ａは、コンピュータ３００に挿入されるＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させてもよい。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【００７８】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【符号の説明】
【００７９】
１０  システム
１１  画像処理制御装置
１２  ヘッドマウントディスプレイ
２１  表示部
２２  カメラ
５１  表示部
５２  入力部
５５  制御部
７０  取得部
７１  検出部
７２  生成部
７３  送信部
７４  調整部
【図１】
0006690277.tif 000002
【図２】
0006690277.tif 000003
【図３】
0006690277.tif 000004
【図４】
0006690277.tif 000005
【図５】
0006690277.tif 000006
【図６】
0006690277.tif 000007
【図７】
0006690277.tif 000008
【図８】
0006690277.tif 000009
【図９】
0006690277.tif 000010
【図１０】
0006690277.tif 000011