(57)【要約】【課題】連携する各端末のディスプレイの相対位置関係の変化に追従して、各端末のディスプレイが表示する部分領域画像を制御することができる画像制御サーバ等を提供する。【解決手段】表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、撮影用端末から、複数の表示用端末のディスプレイが映る撮影画像を受信する撮影画像受信手段と、撮影画像の中から、目標画像と一致する認識画像を検出する画像検出手段と、検出された認識画像毎の座標位置を算出する画像位置算出手段と、検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶手段へ記憶する画像出力手段とを有する。【選択図】図２
2015153129.tif 000002
【特許請求の範囲】
【請求項１】
少なくともカメラを有する撮影用端末と、少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する画像制御サーバであって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
撮影用端末から、複数の表示用端末のディスプレイが映る撮影画像を受信する撮影画像受信手段と、
前記撮影画像の中から、前記目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
前記仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として前記目標画像記憶手段へ記憶する画像出力手段と
を有することを特徴とする画像制御サーバ。
【請求項２】
前記画像検出手段は、前記表示用端末毎に、前記目標画像を、撮影画像の中から検出された前記認識画像へ変換する変換行列を算出し、
前記部分領域画像算出手段は、前記表示用端末毎に、前記部分領域画像を前記変換行列によって変換する
ことを特徴とする請求項１に記載の画像制御サーバ。
【請求項３】
前記変換行列は、相似変換行列、アフィン変換行列又はHomography行列であることを特徴とする請求項２に記載の画像制御サーバ。
【請求項４】
前記仮想画面領域生成手段は、検出された複数の認識画像の全てを内包する、四角形の仮想画面領域を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の画像制御サーバ。
【請求項５】
前記画像出力手段は、Ｗｅｂサーバとして機能し、表示用端末で起動するブラウザへ向けて前記部分領域画像を送信する
ことを特徴とする請求項１から４のいずれか１項に記載の画像制御サーバ。
【請求項６】
前記画像出力手段が、前記表示用端末へ部分領域画像を送信した後、前記画像検出手段が、当該部分領域画像の目標画像と一致する認識画像を検出するまでのタイムラグ時間を測定するタイムラグ測定手段を更に有し、
前記撮影画像受信手段は、前記タイムラグ時間よりも長い時間間隔で、前記撮影用端末から前記撮影画像を受信する
ことを特徴とする請求項１から５のいずれか１項に記載の画像制御サーバ。
【請求項７】
前記目標画像記憶手段から出力された目標画像と、前記撮影画像受信手段から出力された撮影画像とに対して、局所特徴点の特徴点集合を抽出する局所特徴点抽出手段を更に有し、
前記画像検出手段は、前記目標画像の特徴点集合に最も類似する特徴点集合を有する撮影画像を検出する
ことを特徴とする請求項１から６のいずれか１項に記載の画像制御サーバ。
【請求項８】
前記目標画像記憶手段は、表示用端末毎に、異なる初期設定用画像を目標画像として予め記憶することを特徴とする請求項１から７のいずれか１項に記載の画像制御サーバ。
【請求項９】
少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する端末であって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
複数の表示用端末のディスプレイが映る撮影画像を取得する撮影用カメラと、
前記撮影画像の中から、前記目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
前記仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として前記目標画像記憶手段へ記憶する画像出力手段と
を有することを特徴とする端末。
【請求項１０】
少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する端末に搭載されたコンピュータを機能させるプログラムであって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
複数の表示用端末のディスプレイが映る撮影画像を取得する撮影用カメラと、
前記撮影画像の中から、前記目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
前記仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として前記目標画像記憶手段へ記憶する画像出力手段と
してコンピュータを機能させることを特徴とする端末用のプログラム。
【請求項１１】
少なくともディスプレイを有する複数の表示用端末と、少なくともカメラを有する撮影用端末と、各表示用端末へ表示画像送信する画像制御サーバとが、ネットワークを介して通信可能なシステムにおける画像表示方法であって、
画像制御サーバは、表示用端末毎に、異なる目標画像を記憶する目標画像記憶部を有し、
撮影用端末が、複数の表示用端末のディスプレイが映る撮影画像を、画像制御サーバへ送信する第１のステップと、
画像制御サーバが、前記撮影画像の中から、前記目標画像と一致する認識画像を検出する第２のステップと、
画像制御サーバが、検出された認識画像毎の座標位置を算出する第３のステップと、
画像制御サーバが、検出された複数の認識画像を含む１枚の仮想画面領域を生成する第４のステップと、
画像制御サーバが、前記仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する第５のステップと、
画像制御サーバが、表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として前記目標画像記憶部へ記憶する第６のステップと
を有し、第１のステップから第６のステップを繰り返すことを特徴とする画像表示方法。
【請求項１２】
少なくともディスプレイを有する複数の表示用端末と、少なくともカメラを有する撮影用端末とが、ネットワークを介して通信可能なシステムにおける画像表示方法であって、
撮影用端末は、表示用端末毎に、異なる目標画像を記憶する目標画像記憶部を有し、
撮影用端末が、複数の表示用端末のディスプレイが映る撮影画像をカメラによって取得する第１のステップと、
撮影用端末が、前記撮影画像の中から、前記目標画像と一致する認識画像を検出する第２のステップと、
撮影用端末が、検出された認識画像毎の座標位置を算出する第３のステップと、
撮影用端末が、検出された複数の認識画像を含む１枚の仮想画面領域を生成する第４のステップと、
撮影用端末が、前記仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する第５のステップと、
撮影用端末が、表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として前記目標画像記憶部へ記憶する第６のステップと
を有し、第１のステップから第６のステップを繰り返すことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の端末のディスプレイに、連携した画像を表示させる技術に関する。
【背景技術】
【０００２】
複数のデバイスに、画像やアプリケーションのコンテンツを表示するマルチデバイス連携システムがある。このシステムによれば、複数のデバイスの表示を一括的に制御し、各デバイスのディスプレイに複数のコンテンツを同時に表示したり、複数のデバイスのディスプレイを並べて特定のコンテンツを拡大表示することもできる。このように複数のデバイスのディスプレイに対する画像表示を制御するために、デバイスの相対位置関係を取得する必要がある。
【０００３】
従来、画像表示にＷｅｂブラウザを用いることによって、デバイスのハードウェア的な機能の追加を要しない、マルチディスプレイを用いた画像表示の技術がある（例えば特許文献１参照）。また、マルチデバイスの相対位置関係を取得する技術もある（例えば特許文献２参照）。この技術によれば、ネットワークに接続された複数のディスプレイに、一意な測定用画像を表示させ、ユーザがその表示状況をデジタルカメラで撮影する。その撮影画像に対して、各測定用画像の３次元位置を推定することによって、各ディスプレイの相対位置関係を取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０８５０５７号公報
【特許文献２】特開２００９−２８１８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来のマルチデバイス連携システムによれば、システムの稼働中に、各デバイスの相対位置関係が変化しても、各デバイスが表示する画像の部分領域が追従して変更できないという問題があった。 
【０００６】
特許文献１に記載の技術によれば、各ディスプレイの物理的サイズと位置関係を、ディスプレイ構成情報として予め記憶させておく必要がある。また、特許文献２に記載の技術によれば、各ディスプレイの相対位置関係に基づいて画像の部分表示領域を変更することはできない。更に、ディスプレイを搭載する端末としては、スマートフォンやタブレット端末が普及しており、これら端末を連携させることが好ましい。
【０００７】
そこで、本発明は、連携する各端末のディスプレイの相対位置関係の変化に追従して、各端末のディスプレイが表示する部分領域画像を制御することができる画像制御サーバ、端末、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、少なくともカメラを有する撮影用端末と、少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する画像制御サーバであって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
撮影用端末から、複数の表示用端末のディスプレイが映る撮影画像を受信する撮影画像受信手段と、
撮影画像の中から、目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶手段へ記憶する画像出力手段と
を有することを特徴とする。
【０００９】
本発明の画像制御サーバにおける他の実施形態によれば、
画像検出手段は、表示用端末毎に、目標画像を、撮影画像の中から検出された認識画像へ変換する変換行列を算出し、
部分領域画像算出手段は、表示用端末毎に、部分領域画像を変換行列によって変換することも好ましい。
【００１０】
本発明の画像制御サーバにおける他の実施形態によれば、
変換行列は、相似変換行列、アフィン変換行列又はHomography行列であることも好ましい。
【００１１】
本発明の画像制御サーバにおける他の実施形態によれば、
仮想画面領域生成手段は、検出された複数の認識画像の全てを内包する、四角形の仮想画面領域を生成することも好ましい。
【００１２】
本発明の画像制御サーバにおける他の実施形態によれば、
画像出力手段は、Ｗｅｂサーバとして機能し、表示用端末で起動するブラウザへ向けて部分領域画像を送信することも好ましい。
【００１３】
本発明の画像制御サーバにおける他の実施形態によれば、
画像出力手段が、表示用端末へ部分領域画像を送信した後、画像検出手段が、当該部分領域画像の目標画像と一致する認識画像を検出するまでのタイムラグ時間を測定するタイムラグ測定手段を更に有し、
撮影画像受信手段は、タイムラグ時間よりも長い時間間隔で、撮影用端末から撮影画像を受信する
ことも好ましい。
【００１４】
本発明の画像制御サーバにおける他の実施形態によれば、
目標画像記憶手段から出力された目標画像と、撮影画像受信手段から出力された撮影画像とに対して、局所特徴点の特徴点集合を抽出する局所特徴点抽出手段を更に有し、
画像検出手段は、目標画像の特徴点集合に最も類似する特徴点集合を有する撮影画像を検出することも好ましい。
【００１５】
本発明の画像制御サーバにおける他の実施形態によれば、
目標画像記憶手段は、表示用端末毎に、異なる初期設定用画像を目標画像として予め記憶することも好ましい。
【００１６】
本発明によれば、少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する端末であって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
複数の表示用端末のディスプレイが映る撮影画像を取得する撮影用カメラと、
撮影画像の中から、目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶手段へ記憶する画像出力手段と
を有することを特徴とする。
【００１７】
本発明によれば、少なくともディスプレイを有する複数の表示用端末と通信可能であって、各表示用端末へ表示画像送信する端末に搭載されたコンピュータを機能させるプログラムであって、
表示用端末毎に、異なる目標画像を記憶する目標画像記憶手段と、
複数の表示用端末のディスプレイが映る撮影画像を取得する撮影用カメラと、
撮影画像の中から、目標画像と一致する認識画像を検出する画像検出手段と、
検出された認識画像毎の座標位置を算出する画像位置算出手段と、
検出された複数の認識画像を含む１枚の仮想画面領域を生成する仮想画面領域生成手段と、
仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する部分領域画像生成手段と、
表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶手段へ記憶する画像出力手段と
してコンピュータを機能させることを特徴とする。
【００１８】
本発明によれば、少なくともディスプレイを有する複数の表示用端末と、少なくともカメラを有する撮影用端末と、各表示用端末へ表示画像送信する画像制御サーバとが、ネットワークを介して通信可能なシステムにおける画像表示方法であって、
画像制御サーバは、表示用端末毎に、異なる目標画像を記憶する目標画像記憶部を有し、
撮影用端末が、複数の表示用端末のディスプレイが映る撮影画像を、画像制御サーバへ送信する第１のステップと、
画像制御サーバが、撮影画像の中から、目標画像と一致する認識画像を検出する第２のステップと、
画像制御サーバが、検出された認識画像毎の座標位置を算出する第３のステップと、
画像制御サーバが、検出された複数の認識画像を含む１枚の仮想画面領域を生成する第４のステップと、
画像制御サーバが、仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する第５のステップと、
画像制御サーバが、表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶部へ記憶する第６のステップと
を有し、第１のステップから第６のステップを繰り返すことを特徴とする。
【００１９】
本発明によれば、少なくともディスプレイを有する複数の表示用端末と、少なくともカメラを有する撮影用端末とが、ネットワークを介して通信可能なシステムにおける画像表示方法であって、
撮影用端末は、表示用端末毎に、異なる目標画像を記憶する目標画像記憶部を有し、
撮影用端末が、複数の表示用端末のディスプレイが映る撮影画像をカメラによって取得する第１のステップと、
撮影用端末が、撮影画像の中から、目標画像と一致する認識画像を検出する第２のステップと、
撮影用端末が、検出された認識画像毎の座標位置を算出する第３のステップと、
撮影用端末が、検出された複数の認識画像を含む１枚の仮想画面領域を生成する第４のステップと、
撮影用端末が、仮想画面領域を、表示用端末毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する第５のステップと、
撮影用端末が、表示用端末毎に、生成された部分領域画像を送信すると共に、当該部分領域画像を目標画像として目標画像記憶部へ記憶する第６のステップと
を有し、第１のステップから第６のステップを繰り返すことを特徴とする。
【発明の効果】
【００２０】
本発明の画像制御サーバ、端末、プログラム及び方法によれば、連携する各端末のディスプレイの相対位置関係の変化に追従して、各端末のディスプレイが表示する部分領域画像を制御することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明におけるシステム構成図である。
【図２】本発明における画像制御サーバの機能構成図である。
【図３】画像制御サーバの機能を、撮影用端末に一体的に搭載した機能構成図である。
【図４】本発明におけるシーケンス図である。
【図５】Homography行列に基づくinlier及びoutlierを表す画像対応図である。
【図６】２つの表示用端末のディスプレイに、仮想画面領域に対応付けて部分領域画像を表示した画面表示図である。
【図７】図６から表示用端末の位置を変更した場合の画面表示図である。
【図８】図７に続いて、表示用端末の位置の変化が認識された後に、部分領域画像が表示された画面表示図である。
【図９】図７に続いて、表示用端末の位置の変化が認識された後に、表示画像の範囲を広く表示させた画面表示図である。
【図１０】図７に続いて、表示用端末の位置の変化が認識された後に、表示画像のサイズを拡大して表示させた画面表示図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
図１は、本発明におけるシステム構成図である。
【００２４】
図１によれば、少なくともカメラを有する撮影用端末２と、少なくともディスプレイを有する複数の表示用端末３とが、ユーザによって操作／視認されている。また、これら端末は、ネットワークを介して画像制御サーバ１と通信可能である。画像制御サーバ１は、撮影用端末２から「撮影画像」を受信すると共に、表示用端末３毎に「表示画像」を送信する。尚、画像制御サーバ１は、インターネットに接続されたものであってもよいし、自宅のＬＡＮに接続されたものであってもよい。勿論、画像制御サーバ１の機能が、撮影用端末２に一体的に組み込まれたものであってもよい。
【００２５】
端末は、「撮影用端末」と「表示用端末」とに区分される。但し、これら端末がスマートフォンやタブレット端末である場合、この役割分担は、撮影用クライアントアプリケーションを実行するか、表示用クライアントアプリケーションを実行するか、で異なるだけである。従って、デバイスとしての端末は、いずれの役割にも変更可能となる。撮影用クライアントアプリケーション及び表示用クライアントアプリケーションは、端末に予めインストールされているものである。また、これらアプリケーションは、Ｗｅｂブラウザに組み込まれて実行されるプラグインプログラムであってもよい。これらプログラムは、外部サーバからダウンロードされることも好ましい。尚、「撮影用」「表示用」の役割は、ユーザ操作に応じて変更可能となる。
【００２６】
複数の表示用端末３は、自由に配置されていて構わない。撮影用端末２は、ユーザ操作によって、それら複数の表示用端末３のディスプレイが映る画像を、カメラによって撮影する。撮影画像は、動画像であってもよいし、周期的に撮影される静止画像がであってもよい。その撮影画像は、リアルタイムに、画像制御サーバ１へ送信される。
【００２７】
これに対し、画像制御サーバ１は、表示用端末３毎に異なる識別子（ＩＤ）を付与しており、ＩＤ毎に異なる「部分領域画像」を生成する。そして、画像制御サーバ１は、表示用端末３毎に異なる部分領域画像を送信する。
【００２８】
図２は、本発明における画像制御サーバの機能構成図である。
【００２９】
図２によれば、画像制御サーバ１は、目標画像記憶部１０と、画像出力部１１と、撮影画像受信部１２と、局所特徴点抽出部１３と、画像検出部１４と、画像位置算出部１５と、仮想画面領域生成部１６と、部分領域画像生成部１７と、タイムラグ測定部１８とを有する。これら機能構成部は、サーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００３０】
尚、図３は、画像制御サーバの機能を、撮影用端末に一体的に搭載した機能構成図である。図３は、図２と比較して、撮影画像受信部１２がカメラに代替されたものである。
【００３１】
図４は、本発明におけるシーケンス図である。以下では、図４のシーケンスの順に、図２及び図３の各機能構成部について説明する。
【００３２】
（Ｓ１０）［目標画像記憶部１０］
目標画像記憶部１０は、表示用端末３毎に、異なる「目標画像」を記憶する。目標画像記憶部１０は、表示用端末毎に、異なる初期設定用画像（及び縦と横のピクセル数）を目標画像として予め記憶しておく。そして、それら目標画像は、表示用端末の識別子と共に、画像出力部１１と、局所特徴点抽出部１３とへ出力される。その後、目標画像記憶部１０は、画像出力部１１から、表示用端末３毎に送信した部分領域画像を、目標画像として蓄積する。
【００３３】
（Ｓ１１）［画像出力部１１］
画像出力部１１は、最初に、目標画像記憶部１０から受信した、表示用端末３毎の初期設定の「目標画像」を送信する。画像出力部１１は、Ｗｅｂサーバとして機能し、表示用端末３で起動するブラウザへ向けて目標画像を送信する。その後、画像出力部１１は、部分領域画像生成部１７から出力された部分領域画像を、表示用端末３毎に送信する。
【００３４】
（Ｓ１２）［撮影画像受信部１２］
撮影用端末２は、カメラを用いて、複数の表示用端末３のディスプレイが映るように撮影する。撮影用端末２は、その「撮影画像」を、画像制御サーバ１へ送信する。画像制御サーバ１の撮影画像受信部１２は、撮影用端末２から、その「撮影画像」を受信する。尚、図３のように撮影用端末２に画像制御サーバ１の機能が一体的に構成されている場合、カメラによって撮影した「撮影画像」を取得する。この撮影画像は、局所特徴点抽出部１３へ出力される。
【００３５】
（Ｓ１３）［局所特徴点抽出部１３］
局所特徴点抽出部１３は、目標画像記憶部１０から出力された「目標画像」と、撮影画像受信部１２から出力された「撮影画像」とからそれぞれ、局所特徴点の特徴点集合を抽出する。それぞれの特徴点集合は、画像検出部１４へ出力される。
【００３６】
局所特徴点の抽出アルゴリズムとしては、例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)、ＯＲＢ(Oriented FAST and Rotated BRIEF)が用いられる。これらの局所特徴点は、以下の要素によって記述される。
座標ｐ＝(x,y)
方向θ
局所特徴ベクトルf
尚、目標画像の局所特徴点と撮影画像の局所特徴点とは、その特徴ベクトルについて同じ次元数である。
【００３７】
例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴点集合が抽出される。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴点集合が抽出される。また、ＯＲＢは、バイナリコードによる特徴記述としてＢＲＩＥＦ(Binary Robust Independent Elementary Features)を用いて、１つのコンテンツから２５６ビットのバイナリ特徴ベクトルの集合を抽出する。特に、ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
【００３８】
（Ｓ１４）［画像検出部１４］
画像検出部１４は、撮影画像の中から、目標画像と一致する「認識画像」を検出する。
【００３９】
（Ｓ１４１）撮影画像の特徴点集合と目標画像の特徴点集合とをマッチングし、目標画像の特徴点集合に最も類似する特徴点集合の認識画像を検出する（最近傍探索(Approximate Nearest Neighbor)）。具体的には、撮影画像の特徴点ｐ'に対し、最も類似した目標画像の特徴点ｐを対応付ける。２つの特徴点ｐ'とｐとの間の距離が短いほど、類似度が高い。具体的には、最近傍探索として、直積量子化やHamming Embedding、又はＬＳＨ(Locality-Sensitive Hashing)を用いることも好ましい。
【００４０】
画像検出部１４は、最近傍探索に基づく点対応Ｐ＝{(p, p')}集合から、例えばＲＡＮＳＡＣ(RAndom SAmple Consensus)のようなロバスト推定アルゴリズムを用いて、表示用端末３毎に、目標画像を、撮影画像の中から検出された「認識画像」へ変換する変換行列を算出する。変換行列は、好ましくはHomography行列であるが、例えば相似変換行列又はアフィン変換行列であってもよい。Homography行列の推定には、最低４組の点対応が必要である。４組全ての点対応が、inlierでなければ正解のHomography行列が得られない。
【００４１】
（Ｓ１４２）次に、算出されたHomography行列を用いて目標画像の特徴点集合を射影し、撮影画像の特徴点とのユークリッド距離が所定閾値以下の対応組を正(inlier)として判定し、それ以外を否(outlier)として判定する。尚、特徴点間の距離の算出方法は、例えばマンハッタン距離のような他の技術を用いてもよい。正(inlier)と判定された対応組数が所定閾値以上である場合、当該目標画像が検出されたと判定し、それ以外を未検出と判定する。
【００４２】
図５は、Homography行列に基づくinlier及びoutlierを表す画像対応図である。
【００４３】
平面射影変換行列であるHomography行列Ｈは、以下のように表される。
【数１】
2015153129.tif 000003
【００４４】
Homography行列の算出には、撮影画像の特徴点集合と目標画像の特徴点集合とが用いられる。Homography行列Ｈの未知パラメータ数は、８個（h0〜h7、h8=1）であり、一組の対応点は２個の制約式を与える。従って、この行列Ｈは、４組以上の対応点があれば、最小二乗法によって算出することができる。
【００４５】
そして、Homography行列Ｈを用いて、各撮影画像特徴点を射影した際に、以下のように判定する。
（１）目標画像の特徴点に対して所定閾値以下の近くに射影されれば、inlierと判定する。
（２）逆に、所定閾値よりも遠くに射影されれば、outlierと判定する。図５によれば、outlierは、破線で表されている。
この処理を複数回実行した後、inlierの数が最も多かったHomography行列Ｈのみを採用する。
【００４６】
このようなＳ１４１及びＳ１４２の処理を、目標画像記憶部１０から出力された全ての目標画像について繰り返す。即ち、撮影画像に映る目標画像とし検出された認識画像毎に、変換行列が算出されることとなる。
【００４７】
（Ｓ１５）［画像位置算出部１５］
画像位置算出部１５は、検出された認識画像毎の座標位置を算出する。認識画像の頂点座標は、表示用端末３のディスプレイの頂点座標を意味する。最初に、目標画像の縦と横のピクセル数から、４頂点座標を算出する。次に、画像検出部１４で算出された変換行列（例えばHomography行列）を用いて、認識画像の４頂点座標に射影し、認識画像の頂点座標を特定する。画像検出部１４によって検出された全ての認識画像に対して、頂点座標が特定される。算出された認識画像毎の座標位置は、仮想画面領域生成部１６へ出力される。
【００４８】
（Ｓ１６）［仮想画面領域生成部１６］
仮想画面領域生成部１６は、検出された複数の目標画像を含む１枚の仮想画面領域を生成する。仮想画面領域生成部１６は、検出された複数の目標画像の全てを内包する、四角形の仮想画面領域を生成する。即ち、複数の表示用端末３のディスプレイを合わせて、１枚のディスプレイとみなすように、仮想画面領域を生成する。生成された仮想画面領域は、部分領域画像生成部１７へ出力される。
【００４９】
仮想画面領域生成部１６は、以下のステップによって、認識画像の座標に対する仮想画面領域を算出する。
（Ｓ１６１）以下の２つの座標P11及びP12を選択する。
座標P11：認識画像に基づく全ての頂点座標の中から、直線y＝a1x＋b1を通り、
切片b1を最大にする座標
切片b11：座標P11を通る際の切片
座標P12：認識画像に基づく全ての頂点座標の中から、直線y＝a1x＋b1を通り、
切片b1を最小にする座標
切片b12：座標P12を通る際の切片
（Ｓ１６２）次に、傾きa1に対して垂直な傾きa2を、以下のように定める。
a2＝−1／a1
ここで、以下の２つの座標を選択する。
座標P21：直線y＝a2x＋b2を通り、切片b2を最大にする座標
切片b21：座標P21を通る際の切片
座標P22：直線y＝a2x＋b2を通り、切片b2を最小にする座標
切片b22：座標P22を通る際の切片
（Ｓ１６３）そして、以下の４つの直線から４つの交点を算出する。
y＝a1x＋b12
y＝a1x＋b22
y＝a2x＋b21
y＝a2x＋b22
そして、それら４つの交点を頂点とする四角形の面積を算出する。 
（Ｓ１６４）直線の傾きa1を傾斜角θで表現する場合、以下の式が成立する。
a1＝tanθ
直線の傾斜角θを、０度〜１８０度の範囲で変化させながら、Ｓ１６１〜Ｓ１６４の処理を繰り返す。
（Ｓ１６５）そして、Ｓ１６４によって算出された四角形のうち、面積が最小となる四角形で囲まれた領域を、仮想画面領域とする。 
【００５０】
（Ｓ１７）［部分領域画像生成部１７］
部分領域画像生成部１７は、仮想画面領域を、表示用端末３毎に、表示画像を認識画像の範囲で分割した部分領域画像を生成する。表示画像は、例えばアプリケーションから出力されたコンテンツ画像である。また、表示用端末３毎の部分領域画像は、画像検出部１４によって算出された変換行列によって変換される。そして、部分領域画像生成部１７は、表示用端末３毎に、部分領域画像を画像出力部１１へ出力する。
【００５１】
図６は、２つの表示用端末のディスプレイに、仮想画面領域に対応付けて部分領域画像を表示した画面表示図である。
【００５２】
図６によれば、ユーザが、スマートフォン（撮影用端末）のカメラを用いて、テーブル上に配置されたスマートフォン及びタブレット端末（表示用端末）を撮影している。このとき、複数の表示用端末のディスプレイが写る撮影画像から、各表示用端末のディスプレイの位置及び範囲を検出する。これによって、複数の表示用端末のディスプレイに、それらを連携させた１枚の表示画像を表示させるとができる。
【００５３】
図６によれば、複数のディスプレイの全てを内包する仮想画面領域が、各ディスプレイに分割されて表示されている。部分領域画像生成部１７は、例えば以下のステップによって、表示用端末３毎の部分領域画像を生成する。
（Ｓ１７１）アプリケーションから出力された「表示画像」の画面サイズより、コンテンツ座標系における表示画像の頂点座標を決定する。
（Ｓ１７２）表示画像の２頂点（対頂点ではない）と、撮影画像の２頂点とを選択する。例えば、表示画像の左上の頂点と撮影画像の左上の頂点、及び、表示画像の右上の頂点と撮影画像の右上の頂点と、を点対応させる。
（Ｓ１７３）２組の点対応を用いて、撮影画像系からコンテンツ座標系への相似変換行列を算出する。
（Ｓ１７４）次に、撮影画像系における認識画像（各端末のディスプレイの範囲）の４頂点座標を、相似変換行列Ｓによってコンテンツ座標系へ射影する。コンテンツ座標系へ射影された各表示用端末のディスプレイの４頂点座標で囲まれた領域を、当該表示用端末が表示すべき部分領域として割り当てる。
【００５４】
画像出力部１１は、表示用端末毎に、部分領域画像を送信する。また、画像出力部１１は、表示用端末毎の部分領域画像を、目標画像記憶部１０へ出力する。その部分領域画像は、次に表示用端末３のディスプレイの位置を検出するための目標画像となる。これを繰り返すことによって、例えば以下の図７〜図１０のように表示用端末の画面を変化させることができる。
【００５５】
図７は、図６から表示用端末の位置を変更した場合の画面表示図である。
【００５６】
図７によれば、表示用端末３１の位置のみが変化しており、表示用端末３１及び３２を合わせた画像は、ずれて見えることとなる。ここで、表示用端末３１に表示された部分領域画像は、その表示用端末３１の「目標画像」とされている。そのために、画像制御サーバ１は、その表示用端末３１の位置の変化を認識することができる。
【００５７】
図８は、図７に続いて、表示用端末の位置の変化が認識された後に、部分領域画像が表示された画面表示図である。
【００５８】
図８によれば、図７によって表示用端末３１の位置が変化したにも拘わらず、２つの表示用端末３１及び３２のディスプレイを内包した１枚の表示画像に調整される。ここも同様に、表示用端末３１に表示された部分領域画像は、その表示用端末３１の「目標画像」とされている。そのために、画像制御サーバ１は、その表示用端末３１の位置の次の変化を認識することができる。
【００５９】
図９は、図７に続いて、表示用端末の位置の変化が認識された後に、表示画像の範囲を広く表示させた画面表示図である。
【００６０】
図９によれば、２つの表示用端末３１及び３２のディスプレイを内包した１枚の仮想画面領域が広がったために、表示画像の範囲も広く調整される。即ち、一度、仮想画面領域を生成した後、アスペクト比が合うように（現状の画像ままで）表示するものであってあってもよい。アスペクト比を合わせる必要が無い場合、右／中央／左に寄せたり、回転させることもできる。
【００６１】
図１０は、図７に続いて、表示用端末の位置の変化が認識された後に、表示画像のサイズを拡大して表示させた画面表示図である。
【００６２】
図１０によれば、２つの表示用端末３１及び３２のディスプレイを内包した１枚の仮想画面領域が広がったために、表示画像のサイズを拡大して調整される。勿論、仮想画面領域の変化に応じて、表示画像のサイズを縮小することもできる。
【００６３】
（Ｓ１８）［タイムラグ測定部１８］
タイムラグ測定部１８は、画像出力部１１が、表示用端末３へ部分領域画像を送信した後、画像検出部１４が、当該部分領域画像の目標画像と一致する認識画像を検出するまでのタイムラグ時間を測定する。基点となる部分領域画像は、例えばシーンチェンジや白色画像のものであってもよい。このタイムラグ時間よりも短い時間間隔で、図４のシーケンスのような目標画像が逐次更新を繰り返した場合、撮影画像の中から目標画像を検出することができなくなるからである。即ち、撮影画像受信部１２及びカメラは、タイムラグ時間よりも長い時間間隔で、撮影用端末から撮影画像を取得する。
【００６４】
一方で、タイムラグ測定部１８で計測されたタイムラグ時間に近い時間で、図４のシーケンスを繰り返すことによって、部分領域画像の表示レスポンスが高くなり、ユーザの認識を高めることができる。
【００６５】
以上、詳細に説明したように、本発明の画像制御サーバ、端末、プログラム及び方法によれば、連携する各端末のディスプレイの相対位置関係の変化に追従して、各端末のディスプレイが表示する部分領域画像を制御することができる。複数の端末のディスプレイを連携して、仮想的な１枚のディスプレイとしてコンテンツを表示した場合、各端末の相対位置が変化しても、各端末が表示するコンテンツの部分領域画像を逐次的に変更することができる。
【００６６】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６７】
１  画像制御サーバ
１０  目標画像記憶部
１１  画像出力部
１２  撮影画像受信部
１３  局所特徴点抽出部
１４  画像検出部
１５  画像位置算出部
１６  仮想画面領域生成部
１７  部分領域画像生成部
１８  タイムラグ測定部
２  撮影用端末
３  表示用端末
【図１】
2015153129.tif 000004
【図２】
2015153129.tif 000005
【図３】
2015153129.tif 000006
【図４】
2015153129.tif 000007
【図５】
2015153129.tif 000008
【図６】
2015153129.tif 000009
【図７】
2015153129.tif 000010
【図８】
2015153129.tif 000011
【図９】
2015153129.tif 000012
【図１０】
2015153129.tif 000013