(57)【要約】【課題】タッチスクリーンに載置されたスマートフォンの位置を特定する。【解決手段】テーブルＰＣ１００のタッチスクリーン１０１上に、スマートフォン２００ａ〜２００ｃが載置され、その周囲にユーザ・インターフェースの画像１０１ａ〜１０１ｃを表示して協働動作をする。テーブルＰＣは、載置されたスマートフォンの位置を特定するために位置パターンを表示する。位置パターンは、２階調のパターンで構成する。スマートフォンが搭載するカメラが位置パターンの所定の位置のぼけ画像を撮影する。テーブルＰＣは、スマートフォンから無線で受け取った撮影画像の階調値から、スマートフォンの位置を特定する。テーブルＰＣは特別なハードウェアを使用しないでスマートフォンの位置を特定できる。【選択図】図１
2016110469.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンに画像を表示してカメラを搭載する携帯式電子機器と協働動作をすることが可能な情報処理装置であって、
前記タッチスクリーンに識別画像の表示データを出力する画像データ転送部と、
前記タッチスクリーンに載置された前記携帯式電子機器のカメラが撮影した前記識別画像の撮影データに関連する識別データを前記携帯式電子機器から受け取る通信モジュールと、
前記識別画像と前記識別データに基づいて前記携帯式電子機器の前記タッチスクリーン上での位置を特定する制御部と
を有する情報処理装置。
【請求項２】
前記識別画像が前記カメラのピント合わせが可能な距離より短い位置に存在する請求項１に記載の情報処理装置。
【請求項３】
前記識別画像が、２階調のパターンで構成されている請求項１に記載の情報処理装置。
【請求項４】
前記識別画像が、グレースケースのパターンで構成されている請求項１に記載の情報処理装置。
【請求項５】
前記識別画像が、カラーのパターンで構成されている請求項１に記載の情報処理装置。
【請求項６】
前記画像データ転送部が、前回より細分化された位置を特定できる複数の識別画像の表示データを順番に出力する請求項１に記載の情報処理装置。
【請求項７】
前記制御部が、最後に表示した識別画像とそれに関連する前記識別データで位置を特定する請求項６に記載の情報処理装置。
【請求項８】
前記画像データ転送部が、前記特定した位置に携帯式電子機器の方向を特定するための識別画像の表示データを出力する請求項１に記載の情報処理装置。
【請求項９】
前記画像データ転送部にアプリケーション画像の表示データを所定のフレーム・レートで出力するアプリケーション実行部を有し、前記画像データ転送部は前記所定のフレーム・レートを下げてフレームの一部を前記識別画像に割り当てる請求項１に記載の情報処理装置。
【請求項１０】
情報処理装置が画像を表示するタッチスクリーン上で前記情報処理装置と協働動作をすることが可能な携帯式電子機器であって、
カメラ・モジュールと、
前記タッチスクリーンに載置された状態で前記タッチスクリーンが表示する識別画像を前記カメラ・モジュールが撮影した撮影データに関連する識別データを計算する識別データ計算部と、
前記情報処理装置が前記タッチスクリーン上での前記携帯式電子機器の位置を特定するために前記識別データを前記情報処理装置に送信する制御部と、
を有する携帯式電子機器。
【請求項１１】
前記撮影データがぼけ画像のデータである請求項１０に記載の携帯式電子機器。
【請求項１２】
前記タッチスクリーンに前回より細分化された位置を特定できる識別画像が順番に表示され、前記制御部は前記識別画像を撮影するたびに前記識別データを送信する請求項１０に記載の携帯式電子機器。
【請求項１３】
前記タッチスクリーンに前回より細分化された位置を特定できる識別画像が順番に表示され、前記制御部は複数の前記識別画像を撮影してから撮影の順番に並んだ前記識別データを送信する請求項１０に記載の携帯式電子機器。
【請求項１４】
前記制御部が前記情報処理装置に前記携帯式電子機器の物理的な形状を特定するための属性情報を送信する請求項１０に記載の携帯式電子機器。
【請求項１５】
前記携帯式電子機器が前記タッチスクリーン上に載置されたことを検出する姿勢センサを有し、前記制御部は前記姿勢センサの信号を受け取って前記情報処理装置に前記識別画像の表示を開始するためのタイミング信号を送信する請求項１０に記載の携帯式電子機器。
【請求項１６】
ディスプレイに画像を表示するペアレント・デバイスが、筐体にカメラを備えるガジェット・デバイスの前記ディスプレイ上での位置を特定する方法であって、
前記ペアレント・デバイスが前記ディスプレイに位置を特定するための識別画像を表示するステップと、
前記ディスプレイに載置された前記ガジェット・デバイスが前記カメラで前記識別画像を撮影するステップと、
前記ガジェット・デバイスが前記識別画像の撮影データに関連する識別データを前記ペアレント・デバイスに送信するステップと、
前記ペアレント・デバイスが前記識別画像と前記識別データに基づいてガジェット・デバイスの位置を特定するステップと
を有する方法。
【請求項１７】
前記識別画像と前記識別データに基づいて前記ガジェット・デバイスの位置を特定できないときに、前記識別画像の位置を前記カメラのレンズ口径の範囲以内でシフトさせてから前記識別画像を表示するステップを有する請求項１６に記載の方法。
【請求項１８】
ディスプレイに画像を表示するペアレント・デバイスが、それぞれ筐体にカメラを備える複数のガジェット・デバイスの前記ディスプレイ上での位置を特定する方法であって、
前記ペアレント・デバイスが前記ディスプレイに位置を特定するための第１の識別画像を表示するステップと、
各ガジェット・デバイスが前記第１の識別画像の撮影データに関連する第１の識別データを前記ペアレント・デバイスに送信するステップと、
前記ペアレント・デバイスが前記ディスプレイに前記第１の識別画像より細分化した第２の識別画像を表示するステップと、
各ガジェット・デバイスが前記第２の識別画像の撮影データに関連する第２の識別データを前記ペアレント・デバイスに送信するステップと、
前記ペアレント・デバイスが前記第２の識別画像と前記第２の識別データを利用して各ガジェット・デバイスの位置を特定するステップと
を有する方法。
【請求項１９】
ペアレント・デバイスが画像を表示するディスプレイ上でのガジェット・デバイスの位置を特定するために、前記ペアレント・デバイスに、
前記ディスプレイに位置を特定するための識別画像を表示するステップと、
前記ディスプレイに載置された前記ガジェット・デバイスが搭載するカメラが撮影した撮影データに関連する識別データを前記ガジェット・デバイスから受け取るステップと、
前記識別画像と前記識別データに基づいて前記ガジェット・デバイスの位置を特定するステップと
を有する処理を実行させるためのコンピュータ・プログラム。
【請求項２０】
ペアレント・デバイスが画像を表示するディスプレイにおけるガジェット・デバイスの位置を前記ペアレント・デバイスが特定するために、前記ガジェット・デバイスに、
前記ディスプレイに表示された識別画像を前記ディスプレイに載置された前記ガジェット・デバイスが搭載するカメラで撮影するステップと、
前記識別画像の撮影データに関連する識別データを生成するステップと、
前記識別データを前記ガジェット・デバイスに送信するステップと、
を有する処理を実行させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ上に載置されたデバイスのディスプレイ上での位置を特定する技術に関し、さらには、協働動作をする一方のデバイスが他方のデバイスの位置を特定する技術に関する。
【背景技術】
【０００２】
同時に複数のユーザが操作できるテーブル状のタッチスクリーンを備えたパーソナル・コンピュータ（以後、テーブルＰＣ）が知られている。テーブルＰＣの一例として、マイクロソフト（登録商標）社がPixelSense（登録商標）として提供し、レノボ（登録商標）社がLenovo Horizonという名称で提供している。テーブルＰＣは、タッチスクリーン上に載置されたスマートフォンのような物体を認識することもできる。このときテーブルＰＣが、スマートフォンの位置を特定できれば、その周囲のタッチスクリーン上にスマートフォンの操作に関連する画像を表示してコンテンツを相互間で交換したり、スマートフォンに対する大きな画像のユーザ・インターフェース（ＵＩ）を表示したりすることができる。
【０００３】
特許文献１は、タッチパネルの上にカードを載置して、カードの位置、方向、およびコード情報を入力し、さらにカードの上からタッチして指の位置とカードの情報との組み合わせによる情報を入力するタッチパネル搭載型の情報処理装置を開示する。特許文献２は、対話型テーブルの上に載置された物理的オブジェクトの位置、方向おおよび向きを判定して、当該物理的オブジェクトをディスプレイ表面上に表示した仮想環境で対話させる発明を開示する。同文献には、対話型テーブルの内部のカメラが物理的オブジェクトから反射された赤外光線を検出して物理的オブジェクトの位置を判定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２０１２／０７０５９３号公報
【特許文献２】特開２００５−３１７０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチスクリーン上でのスマートフォンの位置を特定するためには、通常、圧力、電界強度、表面弾性波、または赤外線などを利用した特別なハードウェアが必要となる。また、静電容量式のタッチスクリーンのタッチ位置としてスマートフォンの位置を検出することもできるが、スマートフォンの筐体が導電性であったり筐体に導電性のパッドを貼り付けたりする必要がある。したがって、特別なハードウェアやパッドの貼り付けを必要としないで、スマートフォンやタブレット端末に標準的に搭載するデバイスを利用して位置や方向を特定できれば都合がよい。
【０００６】
そこで本発明の目的は、ディスプレイに載置されたデバイスの位置を特定する方法を提供することにある。さらに本発明の目的は、特別なハードウェアを利用しないでデバイスの位置を特定する方法を提供することにある。さらに本発明の目的は、少ない消費電力でデバイスの位置を特定する方法を提供することにある。さらに本発明の目的は、そのような方法を実現するコンピュータ・プログラム、情報処理装置、および携帯式電子機器を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様では、タッチスクリーンに画像を表示してカメラを搭載する携帯式電子機器と協働動作をすることが可能な情報処理装置を提供する。情報処理装置は、タッチスクリーンに識別画像の表示データを出力する画像データ転送部と、タッチスクリーンに載置された携帯式電子機器のカメラが撮影した識別画像の撮影データに関連する識別データを携帯式電子機器から受け取る通信モジュールと、識別画像と識別データに基づいて携帯式電子機器のタッチスクリーン上での位置を特定する制御部とを有する。
【０００８】
上記の構成により情報処理装置は、協働動作をするために必要なタッチスクリーン上での携帯式電子機器の位置を、特別なハードウェアを利用しないで特定することができる。タッチスクリーンは情報処理装置の筐体に組み込んでもよいし、有線または無線のインターフェースで接続してもよい。識別データは、撮影データでもよいし撮影データの特徴を抽出した階調値やビット列でもよい。
【０００９】
識別画像は、カメラのピント合わせが可能な距離より短い位置に存在していてもよい。識別画像は、２階調のパターンで構成してもよいし、ｎ階調（ｎは３以上の整数）のグレースケースのパターンで構成してもよい。さらに識別画像は、カラーのパターンで構成してもよい。グレースケールやカラーのパターンを使用することで、より多くの情報を識別画像に組み込んで表示するパターン数を減らすことができる。
【００１０】
画像データ転送部が、前回より細分化された位置を特定できる複数の識別画像の表示データを順番に出力することで、より正確な位置を特定できる。このとき制御部は、最後に表示した識別画像とそれに関連する識別データで位置を特定することができる。画像データ転送部は、特定した位置に携帯式電子機器の方向を特定するための識別画像の表示データを出力することができる。方向を特定することで、携帯式電子機器の周囲に利便性の高いユーザ・インターフェースの画像を表示できるようになる。
【００１１】
画像データ転送部に、アプリケーション画像の表示データを所定のフレーム・レートで出力するアプリケーション実行部を有するときに、画像データ転送部は所定のフレーム・レートを下げてフレームの一部を識別画像に割り当てることができる。その結果、アプリケーション画像を表示しているときに、アプリケーション画像の表示に影響を与えないようにしながら識別画像を表示することができる。
【００１２】
本発明の第２の態様では、情報処理装置が画像を表示するタッチスクリーン上で情報処理装置と協働動作をすることが可能な携帯式電子機器を提供する。携帯式電子機器は、カメラ・モジュールと、タッチスクリーンに載置された状態でタッチスクリーンが表示する識別画像をカメラ・モジュールが撮影した撮影データに関連する識別データを計算する識別データ計算部と、情報処理装置がタッチスクリーン上での携帯式電子機器の位置を特定するために識別データを情報処理装置に送信する制御部とを有する。
【００１３】
上記の構成により、携帯式電子機器は、情報処理装置が位置を特定することができる識別データをカメラ・モジュールの撮影データから生成して送信することができる。撮影データはぼけ画像のデータでもよい。タッチスクリーンに前回より細分化された位置を特定できる識別画像が順番に表示されるときに、制御部は識別画像を撮影するたびに識別データを送信することができる。あるいは、制御部は複数の識別画像を撮影してから撮影の順番に並んだ識別データを送信することができる。この場合、識別データの送信回数を減らすことで、携帯式電子機器の消費電力を節約することができる。
【００１４】
制御部が情報処理装置に携帯式電子機器の物理的な形状を特定するための属性情報を送信することで、情報処理装置はタッチスクリーン上での筐体の輪郭をより正確に特定することができる。携帯式電子機器がタッチスクリーン上に載置されたことを検出する姿勢センサを有するときは、制御部は姿勢センサの信号を受け取って情報処理装置に識別画像の表示を開始するためのタイミング信号を送信することができる。ユーザは、携帯式電子機器をタッチスクリーン上に載置するだけで、ＵＩが利用できるようになる。
【発明の効果】
【００１５】
本発明により、ディスプレイに載置されたデバイスの位置を特定する方法を提供することができた。さらに本発明により、特別なハードウェアを利用しないでデバイスの位置を特定する方法を提供することができた。さらに本発明により、少ない消費電力でデバイスの位置を特定する方法を提供することができた。さらに本発明により、そのような方法を実現するコンピュータ・プログラム、情報処理装置、および携帯式電子機器を提供することができた。
【図面の簡単な説明】
【００１６】
【図１】テーブルＰＣ１００とスマートフォン２００ａ〜２００ｃが協働動作をする様子を説明するための図である。
【図２】本実施の形態を実現するテーブルＰＣ１００の構成の一例を説明するための機能ブロック図である。
【図３】スマートフォン２００の外形の一例を示す平面図である。
【図４】本実施の形態を実現するスマートフォン２００の構成の一例を説明するための機能ブロック図である。
【図５】テーブルＰＣ１００とスマートフォン２００が協働動作をするときの手順を示すフローチャートである。
【図６】タッチスクリーン１０１に定義したマトリクス４００を説明するための図である。
【図７】位置パターン４５１ａ、４５１ｂの構成を示す図である。
【図８】位置パターン４５１ｃ、４５１ｄの構成を示す図である。
【図９】位置パターン４５１ｅ、４５１ｆの構成を示す図である。
【図１０】位置パターン４５１ｇ、４５１ｈの構成を示す図である。
【図１１】位置パターンの表示と撮影のタイミングを説明するための図である。
【図１２】位置パターンの他の構成を示す図である。
【図１３】位置パターンの他の構成を示す図である。
【図１４】レンズ２０３ａが白黒領域の境界に位置付けられたときの処理を説明するための図である。
【図１５】スマートフォン１００の方向と向きを特定する様子を説明するための図である。
【発明を実施するための形態】
【００１７】
［協働動作］
図１は、ペアレント・デバイスと、ガジェット・デバイスがタッチスクリーン上で協働した動作（協働動作）をする様子を説明するための図である。図１には、ペアレント・デバイスの一例として水平にして使用するタッチスクリーン１０１を備えるテーブルＰＣ１００と、ガジェット・デバイスの一例としてスマートフォン２００ａ〜２００ｃを示している。
【００１８】
最初にペアレント・デバイスとガジェット・デバイスの概要を説明する。ペアレント・デバイスとガジェット・デバイスは相互に無線通信をするための通信モジュールを備えている。ガジェット・デバイスはカメラを搭載しペアレント・デバイスはタッチスクリーンを備えている。ただし、本発明は、タッチスクリーンのタッチパネル機能を利用しないでディスプレイ機能だけを利用してガジェット・デバイスの位置の特定をすることができる。
【００１９】
ガジェット・デバイスはタッチスクリーンを備えていてもよい。位置を特定する必然性が生じる前提として、ペアレント・デバイスのタッチスクリーンは、ガジェット・デバイスの筐体よりもサイズが大きくなっている。ガジェット・デバイスは、通常は持ち運びに便利な携帯式電子機器とすることができるが、本発明の適用においてはこれに限定する必要はない。
【００２０】
協働動作の際にガジェット・デバイスは、バックサイドのカメラのレンズをペアレント・デバイスのタッチスクリーンに向けた状態で筐体がタッチスクリーンに載置される。載置の典型的な例は、水平なタッチスクリーン上にガジェット・デバイスが放置された状態である。載置の他の例は、任意の姿勢のタッチスクリーンにガジェット・デバイスの筐体が密着するように位置付けられた状態である。協働動作では、ペアレント・デバイスとガジェット・デバイスが双方向にデータ転送をしたり、両者が協働して何らかの処理をしたりするためのＵＩをペアレント・デバイスがタッチスクリーンに表示する。
【００２１】
協働動作の一例においては、多数の写真を格納するガジェット・デバイスがタッチスクリーン上に載置されたときに、ペアレント・デバイスがタッチスクリーンに載置されたガジェット・デバイスの周囲にＵＩとなる写真のサムネールとペアレント・デバイスのホルダーを表示する。ユーザがサムネールの所定の写真を所定のホルダーにタッチ＆ドラッグ操作をすると、無線通信を通じてガジェット・デバイスからペアレント・デバイスのホルダーに写真データが転送される。
【００２２】
協働動作の他の例においては、ガジェット・デバイスがタッチスクリーン上に載置されたときに、ペアレント・デバイスはガジェット・デバイスのタッチスクリーンに表示された画面を拡大してペアレント・デバイスのタッチスクリーンに表示することで、ガジェット・デバイスに対するＵＩを提供する。協働動作のさらに他の例では、複数のガジェット・デバイスが、ペアレント・デバイスのタッチスクリーンに載置されたときに、ペアレント・デバイスが提供するＵＩを利用してガジェット・デバイス同士がコミュニケーションをする。
【００２３】
図１において、スマートフォン２００ａ〜２００ｃの周囲には、ＵＩの画像１０１ａ〜１０１ｃが表示されている。スマートフォンより形状が大きいタブレット端末は、スマートフォンに対してはペアレント・デバイスになり、またテーブルＰＣに対してはガジェット・デバイスになることができる。テーブルＰＣ１００は、利便性のよいＵＩの画像１０１ａ〜１０１ｃを表示するために、タッチスクリーン１０１上でのスマートフォン２００ａ〜２００ｃの位置、方向および向きを特定する必要がある。
【００２４】
［テーブルＰＣ］
図２は、本実施の形態を実現するテーブルＰＣ１００の構成の一例を説明するための機能ブロック図である。テーブルＰＣ１００は、タッチスクリーン１０１、座標データ生成部１０３、画像データ転送部１０５、アプリケーション実行部１０７、パターン出力部１０９、bluetooth（登録商標）モジュール（ＢＬＴＨモジュール）１１１、および制御部１１３で構成している。
【００２５】
座標データ生成部１０３、画像データ転送部１０５、アプリケーション実行部１０７、パターン出力部１０９、および制御部１１３は、ＣＰＵ、システム・メモリ、不揮発性メモリおよびチップセットなどのハードウェアと、ＣＰＵが実行するデバイス・ドライバ、オペレーティング・システムおよびアプリケーション・プログラムなどのソフトウェアで構成している。座標データ生成部１０３は、タッチスクリーン１０１に対するタッチ操作を検出したときに生成した座標データをアプリケーション実行部１０７に出力する。
【００２６】
アプリケーション実行部１０７は、協働動作のためのアプリケーション・プログラムを実行してアプリケーション画像のデータを所定のフレーム・レートで画像データ転送部１０５に出力する。アプリケーション画像は、ＵＩの画像１０１ａ〜１０１ｃを含む。パターン出力部１０９は、スマートフォン２００ａ〜２００ｃの位置、方向および向きを特定するための複数の位置パターン、および方向パターンのデータを保有しており、制御部から指示されたタイミングで指示された位置パターンまたは方向パターンのデータを画像データ転送部１０５に出力する。
【００２７】
画像データ転送部１０５は、アプリケーション画像のデータおよび位置パターンまたは方向パターンのデータを、たとえばタッチスクリーン１０１のリフレッシュ・レートと同じ値のフレーム・レートでタッチスクリーン１０１に出力する。ＢＬＴＨモジュール１１１は、スマートフォン２００ａ〜２００ｃと無線通信するための通信モジュールの一例である。ＢＬＴＨモジュール１１１に代えて、アドホック・モードで動作するＷｉＦｉモジュールやＮＦＣモジュールなどを使用してもよい。制御部１１３は、タッチスクリーン１０１の座標系における、スマートフォン２００ａ〜２００ｃの平面的な存在を認識するために各要素の動作を制御する。
【００２８】
制御部１１３はＢＬＴＨモジュール１１１を通じてスマートフォン２００ａ〜２００ｃから撮影データに関連する識別データを受け取る。識別データは一例において、オリジナルの撮影データ、スマートフォン２００ａ〜２００ｃが撮影データから計算した階調値またはビット列とすることができる。制御部１１３は、識別データから、タッチスクリーン１０１に表示する位置パターンや方向パターンを選択し、表示する座標を計算してパターン出力部１０９を設定する。
【００２９】
制御部１１３は、スマートフォン２００ａ〜２００ｃから撮影データを受け取る場合は撮影データから輝度の階調値を計算する。制御部１１３はスマートフォン２００ａ〜２００ｃから受け取った階調値、または撮影データから計算した階調値からスマートフォン２００ａ〜２００ｃが撮影した位置パターンの部位を特定するための閾値１６１を保有することができる。閾値１６１は、一例において２階調の濃淡で構成した位置パターンの撮影データに２５６階調を割り当てるときの白または黒と判定する最低または最大の階調値を含む。
【００３０】
制御部１１３は、スマートフォン２００ａ〜２００ｃから受け取った識別データからレンズ２０３ａの位置を位置パターンの部位の座標として特定することができる。制御部１１３はＢＬＴＨモジュール１１１を通じて、位置パターンや方向パターンを表示するタイミングとスマートフォン２００ａ〜２００ｃが撮影するタイミングとを同期するためのタイミング信号を出力する。制御部１１３はＢＬＴＨモジュール１１１を通じて、スマートフォン２００ａ〜２００ｃから、位置の特定を開始するタイミング信号を受け取って各要素の動作を制御する。
【００３１】
［スマートフォン］
図３は、スマートフォン２００ａ〜２００ｃに対応するスマートフォン２００の外形の一例を示す図である。以後スマートフォン２００ａ〜２００ｄを代用してスマートフォン２００について説明するが、本発明はスマートフォン２００ａ〜２００ｃが相互に異なる外形的な特徴を備えていてもよい。図４は、本実施の形態を実現するスマートフォン２００の構成の一例を説明するための機能ブロック図である。
【００３２】
スマートフォン２００は、筐体２５１の表面にタッチスクリーン２０１を搭載し、裏面にカメラ・モジュール２０３のレンズ２０３ａを搭載している。スマートフォン２００には、レンズ２０３ａの中心を通過し筐体２５１の長辺に平行なライン２５３を定義している。ライン２５３は、ホーム画面の表示方向として上下方向を定義したときに下から上に向かう方向も示している。
【００３３】
図１において、スマートフォン２００は、水平に配置したタッチスクリーン１０１上にレンズ２０３ａが下を向くように載置される。ユーザはタッチスクリーン１０１上に自由にスマートフォン２００を載置する。テーブルＰＣ１００は、協働動作のために、載置されたスマートフォン２００の位置、方向および向きをタッチスクリーン１０１に定義した座標系で特定する。ここに、位置とはレンズ２０３ａの位置に相当し、一例において行と列で特定できるマトリクス４００（図６）の要素の座標とすることができる。方向は、ライン２５３の方向に相当し、向きは筐体２５１の上下方向に相当する。ライン２５３は、スマートフォン２００の方向と向きを同時に示している。
【００３４】
図４において、座標データ生成部２０２は、タッチスクリーン２０１に対するタッチ操作を検出したときに生成した座標データを制御部２０７に出力する。カメラ・モジュール２０３は、静止画モードまたは動画モードで動作して撮影データを階調計算部２０５に出力する。カメラ・モジュール２０３は、静止画モードでは、階調計算部２０５が指示したタイミングで撮影した１フレームまたは複数フレームの撮影データを出力し、動画モードでは一例で３０ｆｐｓのフレーム・レートで撮影データを出力する。カメラ・モジュール２０３は、カラーフィルターを備えており、撮影データはＲＧＢの各色に対応する階調値が所定のフォーマットに変換された構成になっている。ただし、本発明は白黒の濃淡で撮影するカメラ・モジュールを採用することもできる。
【００３５】
カメラ−・モジュール２０３と被写体の間隔には、ワーキング・ディスタンスまたは撮影最短距離といわれるピントが合った画像を撮影できる距離の限界が存在する。カメラ−・モジュール２０３は載置された状態では撮影限界距離よりもタッチスクリーン１０１が表示する画像に接近するため撮影画像の画質はピントがぼける。撮影した画像のピントがぼけていても、位置パターンの撮影データから階調値を識別し、方向パターンから必要な精度で向きを特定することができる。
【００３６】
本実施の形態ではピントがぼけた撮影データを利用してスマートフォン２００の位置や方向の特定をするが、本発明は載置された状態のカメラ・モジュール２０３がピントの合った画像を撮影できる場合にも適用できる。階調計算部２０５は、撮影データの階調値を計算して制御部２０７に出力する。テーブルＰＣ１００が階調値を計算する場合は、スマートフォン２００に階調計算部２０５を設ける必要はないが、データ転送のオーバーヘッドや消費電力が大きくなる。姿勢センサ２０９は、ジャイロ・センサーまたは加速度センサで構成しており、スマートフォン２００の姿勢や揺動状態を検出して載置判定部２１１に出力する。
【００３７】
載置判定部２１１は、スマートフォン２００がタッチスクリーン１０１に載置された状態を検出する。一例において載置判定部２１１は、スマートフォン２００が静止し、かつ、タッチスクリーン２０１が上を向いた状態を載置状態として判定することができる。制御部２０７は、スマートフォン２００の位置、方向および向きを特定するためにテーブルＰＣからタイミング信号を受け取って各要素を制御する。制御部２０７はＢＬＴＨモジュール２１３を通じてテーブルＰＣ１００に協働動作に必要な識別データやタイミング信号を出力する。
【００３８】
［位置の特定］
図５は、テーブルＰＣ１００がタッチスクリーン１０１に載置されたスマートフォン２００の位置、方向および向きを特定する手順を説明するためのフローチャートである。ブロック３０１〜３１９はテーブルＰＣの手順を示し、ブロック３５１〜３７７はスマートフォン２００の手順を示している。ブロック３０１、３５１で、ＢＬＴＨモジュール１１１、２１３が無線通信の接続を確立している。テーブルＰＣ１００では、アプリケーション実行部１０７が画像データ転送部１０５にアプリケーション画像のデータを送っている。画像データ転送部１０５は、一例で６０ｆｐｓのフレーム・レートでタッチスクリーン１０１に画像データを転送する。
【００３９】
タッチスクリーン１０１は、アプリケーション実行部１０７が作成したスマートフォン２００と協働動作をするためのアプリケーション画像を表示している。ブロック３５３でユーザがスマートフォン２００をタッチスクリーン１０１上の任意の位置に載置する。ブロック３５５で載置判定部２１１は姿勢センサ２０９の信号でスマートフォン２００の載置状態を検出すると、テーブルＰＣ１００に位置特定モードに移行するように指示する。
【００４０】
あるいは、ユーザがタッチスクリーン２０１を通じて制御部２０７に位置特定モードへの移行を指示してもよい。制御部２０７は階調計算部２０５に位置特定モードに移行するように指示する。階調計算部２０５は、スリープ状態のカメラ・モジュール２０３をウェイクアップさせてキャリブレーションするように制御する。ここではカメラ・モジュール２０３が静止画モードで動作を開始する場合を例にして説明する。制御部２０７は、ＢＬＴＨモジュール２１３を通じてテーブルＰＣ１００に位置特定モードに入るためのタイミング信号を送る。
【００４１】
ブロック３０３で位置特定モードに入った制御部１１３は、パターン出力部１０９に所定の位置パターンを表示するように指示し、さらにＢＬＴＨモジュール１１１を通じてスマートフォン２００に撮影の同期を取るためのタイミング信号１８１（図１１）を送る。ブロック３０５でパターン出力部１０９が、画像データ転送部１０５に最初の位置パターン４５１ａ（図７）を送ると、画像データ転送部１０５はそれまでアプリケーション実行部１０７から受け取っていたアプリケーション画像のデータを破棄して、タッチスクリーン１０１に位置パターン４５１ａを表示する。
【００４２】
タイミング信号１８１を受け取った制御部２０７はブロック３５７で、階調計算部２０５に静止画像を撮影するように指示する。このときカメラ・モジュール２０３は、静止画像の撮影タイミングを得るためのモニター用の画像データを出力する必要はない。階調計算部２０５は、カメラ・モジュール２０３から受け取った撮影データから階調値を計算する。ブロック３５９で制御部２０７はＢＬＴＨモジュール２１３を通じて、階調計算部２０５から受け取った階調値１９１（図１１）をテーブルＰＣ１００に送る。
【００４３】
ブロック３０７で制御部１１３は、レンズ２０３ａの位置を特定した否かを判断する。位置が特定できるまで複数の位置パターンを表示する必要がある場合は、制御部１１３はブロック３０８でつぎの位置パターン４５１ｂ〜４５１ｈを順番に選択して、タッチスクリーン１０１上の座標とともにパターン出力部１０９に指示する。ブロック３０５で、パターン出力部１０９は、タッチスクリーン１０１に変更した位置パターン４５１ｂを表示する。変更した位置パターンは、直前の位置パターンよりも、より細分化した位置の特定が可能なパターンである。
【００４４】
ブロック３０５〜３０８、３５７、３５９の手順を、図６〜図１１を参照して詳しく説明する。図６〜図１０は、位置パターンの一例を示す図で、図１１は、テーブルＰＣ１０が位置パターンを表示する期間とスマートフォン２００が撮影するタイミングの様子を説明する図である。図６は、タッチスクリーン１０１の表示領域に制御部１１３が定義したマトリクス４００を示している。マトリクス４００は説明の便宜上正方形で示しているが、タッチスクリーン１０１の表示領域の形状に合致するように構成する。一例においてマトリクス４００は１６×１６＝２５６個の正方形の要素で構成しており、各要素のタッチスクリーン１０１の座標系における位置は（行，列）の番号で特定することができる。
【００４５】
各要素の大きさは、レンズ２０３ａの縁が内接または外接する正方形が望ましい。各要素がそれより大きくなると特定する位置の精度が低下し、小さくなると特定するための位置パターンの表示回数が必要以上に多くなる。レンズ２０３ａの口径で要素のサイズが決まると、要素のサイズに対するタッチスクリーン１０１のサイズで必要となる要素の数が決まる。したがって、要素の数はレンズ２０３ａの口径とタッチスクリーン１０１のサイズで決まることになる。
【００４６】
マトリクス４００は、タッチスクリーン１０１の表示領域のなかで、スマートフォン２００を載置したときに、レンズ２０３ａが存在する可能性のある領域に定義すればよい。従ってスマートフォン２００の筐体２５１におけるレンズ２０３ａの位置によって、レンズ２０３ａが接近できないタッチスクリーン１０１の各辺の近辺には定義しないでもよい。
【００４７】
パターン出力部１０９はマトリクス４００の要素の数、およびタッチスクリーン１０１上に定義された位置を認識している。ここでスマートフォン２００を載置したときに、マトリクス４００の要素（１４，１５）にレンズ２０３ａが位置付けられたと想定する。最初に制御部１１３は、マトリクス４００の全領域に合致する要素（１，１）〜（１６，１６）の位置パターン４５１ａ（図７）を選択し、座標を指定してパターン出力部１０９を設定する。
【００４８】
位置パターン４５１ａは、一例としてマトリクス４００の全体を縦方向に２等分する最大輝度の要素（１，９）〜（１６，１６）の白領域Ｗ１と最低輝度の要素（１，１）〜（１６，８）の黒領域Ｂ１で構成した２階調のパターンとしている。２等分する方向は、以下の手順も含めて、横方向または斜め方向でもよい。制御部１１３は、ＢＬＴＨモジュール１１１を経由してタイミング信号１８１（図１１）を送って、スマートフォン２００が撮影するタイミングｔｓ１（図１１）を位置パターン４５１ａの表示期間（ｔ１〜ｔ３）に同期させる。
【００４９】
スマートフォン２００の階調計算部２０５は、レンズ２０３ａが位置付けられている要素（１４，１５）の階調値を計算する。計算する階調値は撮像素子を構成する各画素の階調値の平均値、中心値、または最大値などの代表値とすることができる。制御部２０７は、階調計算部２０５から受け取った階調値１９１（図１１）を、ＢＬＴＨモジュール２１３を通じてテーブルＰＣ１００に転送する。制御部１１３は、受け取った階調値１９１、閾値１６１および表示した位置パターン４５１ａの構成から、スマートフォン２００が白領域Ｗ１に存在していると判断する。
【００５０】
つぎに制御部１１３は、パターン出力部１０９にスマートフォン２００が存在すると判断した肯定的な白領域Ｗ１を２等分する最大輝度の要素（９，９）〜（１６，１６）の白領域Ｗ２と最低輝度の要素（１，９）〜（８，１６）の黒領域Ｂ２で構成した位置パターン４５１ｂ（図７）を表示するように指示する。制御部１１３は、ＢＬＴＨモジュール１１１を経由してタイミング信号１８２を送って、スマートフォン２００が撮影するタイミングｔｓ２を位置パターン４５１ｂの表示期間（ｔ３〜ｔ５）に同期させる。
【００５１】
このとき画像データ転送部１０５は、スマートフォン２００が存在しないと判断した否定的な黒領域Ｂ１には、アプリケーション実行部１０７が生成したアプリケーション画像を表示することができる。なお画像データ転送部１０５は、以下の手順においても階調位置から判断した否定的な領域にはアプリケーション画像を表示することができる。したがって、アプリケーション画像が表示の影響を受ける面積は次第に小さくなる。
【００５２】
制御部１１３は同様の手順で受け取った階調値１９２から、スマートフォン２００が白領域Ｗ２に存在すると判断して、パターン出力部１０９に白領域Ｗ２を２等分する最大輝度の要素（１３，９）〜（１６，１６）の白領域Ｗ３と最低輝度の要素（９，９）〜（１２，１６）の黒領域Ｂ３で構成した位置パターン４５１ｃ（図８）を表示するようにパターン出力部１０９に指示する。
【００５３】
制御部１１３は同様の手順でスマートフォン２００から受け取った階調値１９３から、スマートフォン２００が白領域Ｗ３に存在すると判断して、パターン出力部１０９に白領域Ｗ３を２等分する最大輝度の要素（１５，９）〜（１６，１６）の白領域Ｗ４と最低輝度の要素（１３，９）〜（１４，１６）の黒領域Ｂ４で構成した位置パターン４５１ｄ（図８）を表示するようにパターン出力部１０９に指示する。
【００５４】
制御部１１３は、同様の手順を繰り返して、スマートフォン２００から受け取った階調値で判断した肯定的な白領域または黒領域を２等分する位置パターン４５１ｅ（図９）、４５１ｆ（図９）、４５１ｇ（図１０）、４５１ｆ（図１０）を順番に表示する。制御部１１３は、最後に表示する２個の要素に対応する位置パターン４５１ｈに対してスマートフォン２００が返送した階調値から肯定的な黒領域Ｂ８に対応する要素（１４，１５）をスマートフォン２００の位置として特定する。
【００５５】
［アプリケーション画像のちらつきの防止］
図１１において、タッチスクリーン１０１には、リフレッシュ・レートと同じフレーム・レート（６０ｆｐｓ）で位置パターン４５１ａ〜４５１ｈが表示される。ここではその一部として、位置パターン４５１ａ〜４５１ｄを２フレームずつ表示する様子を示している。時刻ｔ１、ｔ３、ｔ５、ｔ７のタイミングで位置パターンが変更される。スマートフォン２００は、位置パターンが更新される時刻ｔ１、ｔ３、ｔ５、ｔ７で生成されたタイミング信号に同期したタイミングｔｓ１、ｔｓ２、ｔｓ３、ｔｓ４で位置パターン４５１ａ〜４５１ｄを撮影している。
【００５６】
このときスマートフォン２００では、タイミングｔｓ１からｔｓ２までの間に、位置パターンの撮影、階調値の計算および階調値の送信が行われ、テーブルＰＣ１００では、階調値を受け取ってから次の表示の時刻ｔ３までの間に位置パターン４５１ａに対するスマートフォン２００の位置の判定、新たな位置パターン４５１ｂの選択と表示、およびタイミング信号１８２の送信が行われる。撮影の周期Ｔは、これらの処理時間と画像データ転送部１０５のフレーム・レートに応じて変化する。
【００５７】
カメラ・モジュール２０３は、位置パターンを変更するタイミングに同期させることが可能なフレーム・レートで撮影する動画モードで動作させてもよい。この場合、テーブルＰＣ１００は最初の位置パターン４５１ａを撮影するためのタイミング信号１８１だけを送れば、その後位置パターンを変えるたびにタイミング信号１８２、１８３を送らないでもよいため無線モジュール２１３の消費電力を低減できる。上述のように、レンズ２０３ａの口径とタッチスクリーン１０１のサイズで要素の数が決まるため、タッチスクリーン１０１のサイズが大きくなるほど位置パターンの数が多くなる。
【００５８】
位置を特定するために必要な位置パターンの数をｘとしたときに、タッチスクリーン１０１では、ｘＴ時間だけ一部の領域でアプリケーション画像が表示できなくなり、極短時間であるが画面がちらつくことがある。これを防ぐため、画像データ転送部１０５は、タッチスクリーン１０１に送るフレーム・シーケンスを位置パターンに連続的に集中させないで、画面のちらつきの影響が気にならない程度のフレーム・レートをアプリケーション画像に確保し、残りの時間を位置パターンのフレームに割り当てることができる。
【００５９】
たとえば、６０ｆｐｓのフレーム・レートで画像データを出力するときに、画像データ転送部１０５は、９０％（５４ｆｐｓ）のフレームをアプリケーション画像に割り当て１０％（６ｆｐｓ）のフレームを位置特定パターンに割り当てる。この場合、位置を特定するまでの時間が、一定の時間だけすべてのフレームを位置パターンに割り当てる場合よりも長くなるが、アプリケーション画像の表示への影響をなくすことができる。
【００６０】
［複数のスマートフォンの位置の特定］
これまで図７〜図１０の位置パターンを使って１台のスマートフォン２００の位置を特定する例を説明したが、タッチスクリーン１０１に複数のスマートフォン２００ａ〜２００ｃが同時に載置される場合もある。このとき制御部１１３は、識別子を受け取って特定した各スマートフォン２００ａ〜２００ｃに対して順番に同じ手順を繰り返して位置を特定することができる。このとき、位置パターンをフレーム・シーケンスに集中して割り当てると、アプリケーション画像の表示に影響を与える時間がスマートフォンの台数の分だけ長くなるため、位置パターンの表示回数を増やさないで同時に複数のスマートフォンの位置が特定できると都合がよい。
【００６１】
たとえば位置パターン４５１ａ〜４５１ｇの黒領域Ｂ１、Ｂ２、Ｂ３、白領域Ｗ４、黒領域Ｂ５、Ｂ６、白領域Ｗ７のようにテーブルＰＣ１００がスマートフォン２００ａ〜２００ｃのいずれも存在しないと判断した否定的な領域にも、さらに２等分した位置パターンを表示することができる。このような位置パターンの例を図１２に位置パターン４５３ａ〜４５３ｈとして示す。テーブルＰＣ１００が各位置パターン４５３ａ〜４５３ｈについてそれぞれのスマートフォン２００ａ〜２００ｃから階調値を受け取ることで、図６〜図１０で説明した１台のスマートフォンの位置を特定する場合と同様に、８個の位置パターンで３台のスマートフォン２００ａ〜２００ｃの位置を特定することができる。
【００６２】
［階調値の送信回数］
上記の手順では、スマートフォン２００が位置パターンを撮影するたびに階調値を送信するが、スマートフォン２００は、階調値を複数の位置特定パターンを撮影したあとに送信することもできる。このときの様子を図１２の位置パターン４５３ａ〜４５３ｈを例にして説明する。ここでは、スマートフォン２００ａ〜２００ｃが２個の位置パターンを撮影するたびに階調値を送信する例を説明する。テーブルＰＣ１００は、最初に位置パターン４５３ａ、４５３ｂを順番に表示する。タッチスクリーン１０１の任意の位置に載置された３台のスマートフォン２００ａ〜２００ｃは、それぞれ、順番に位置パターン４５３ａ、４５３ｂに対する階調値を計算して記憶する。
【００６３】
このとき、マトリクス４００の全領域Ａ、Ｂ、Ｃ、Ｄのいずれかに存在するスマートフォン２００ａ〜２００ｃは、黒黒、黒白、白黒、白白に対応するいずれかの階調値を記憶している。スマートフォン２００ａ〜２００ｃは２階調の階調値を、２ビットのビット列に変換してからテーブルＰＣ１００に送信してもよいし、階調値で送信してテーブルＰＣ１００がビット列に変換してもよい。いずれにせよ、テーブルＰＣ１００は、スマートフォン２００ａ〜２００ｃの位置を、［００］、［０１］、［１０］、［１１］のビット列を認識して、マトリクス４００を４等分した領域Ａ１〜Ｄ１の範囲で特定することができる。テーブルＰＣ１００は続いて、マトリクス４００の全領域に位置パターン４５３ｃ、４５３ｄを順番に表示する。
【００６４】
位置パターン４５３ｃ、４５３ｄを使ってテーブルＰＣ１００は、領域Ａ１〜Ｄ１のそれぞれを２ビットのビット列でさらに４等分した領域Ａ２〜Ｄ２の範囲でスマートフォン２００ａ〜２００ｃの位置を特定することができる。さらに、位置パターン４５３ｅ、４５３ｆから領域Ａ２〜Ｄ２をそれぞれ４等分した領域の範囲で位置を特定し、最終的に位置パターン４５３ｇ、４５３ｆから、複数のスマートフォン２００の位置を特定することができる。この方法では、図７〜図１０のパターンを使う方法に比べて、スマートフォン２００が階調値を送信する回数を半分に減らして消費電力を節約することができる。
【００６５】
図１３はスマートフォン２００ａ〜２００ｃによる階調値の送信回数を、１回にする位置パターンを説明する図である。８個の位置パターン４５５ａ〜４５５ｈは、時間軸上に配列したときに、同じ位置の各要素（１，１）〜（１６，１６）の２階調の階調値は、８ビットのビット列［００００００００］〜［１１１１１１１１］のいずれかを構成する。テーブルＰＣ１００が、位置パターン４５５ａ〜４５５ｈを順番に表示すると、いずれかの要素にレンズ２０３ｃが位置付けられたスマートフォン２００ａ〜２００ｃは、位置パターン４５５ａから４５５ｈまで順番に８個の階調値を計算する。８個の階調値を計算するまでスマートフォン２００は、階調値またはビット値をテーブルＰＣ１００に送信しない。テーブルＰＣ１００は、８ビットのビット列を１回だけ受け取ってスマートフォン２００ａ〜２００ｃが撮影した２５６個の要素のいずれかの位置を特定することができる。
【００６６】
［複数の階調値の位置パターン］
アプリケーション画像の表示に対する影響を少なくするには、位置パターンの表示回数を少なくすることが有効である。タッチスクリーン１０１のサイズとレンズ２０３ａの口径で決まる要素の数をＹとしパターン数をｎとしたときに、２階調の位置パターンではＹが２のｎ乗になる。一般にｍ階調の位置パターンでは、Ｙがｍのｎ乗になり、Ｙが一定であれば階調を増やすほど位置パターンの数ｎを小さくすることができる。
【００６７】
テーブルＰＣ１００またはスマートフォン２００が、階調値をグレースケールで識別するようにすれば、３階調あるいはそれ以上の階調の位置パターンを作成することができる。３階調の場合は、マトリクス４００を３等分した位置パターンを順番に生成する。また、スマートフォン２００は、階調値をＲＧＢの色階調ごとに計算することで３階調以上に増やすこともできる。このとき閾値にＲＧＢごとの階調値を論理演算した値を設定することで４色以上の位置パターンを構成することができる。
【００６８】
［レンズが判定領域の境界に位置付けられたときの処理］
図１４は、２階調の位置パターンを、閾値１６１（図２）で判定するときに位置を特定できなくなるときの処理を説明するための図である。スマートフォン２００を載置する位置は任意であるためレンズ２０３ａはマトリクス４００のいずれかの要素に完全に収まるように位置付けられないで、白と黒の領域に跨って配置されることが一般的である。この場合テーブルＰＣ１００が、階調値に対して閾値１６１を設定したときには、階調値の判定がグレーの範囲に入り、白または黒のいずれかに判定できなくなる。また、閾値１６１からグレーの範囲を取り除いて２値の閾値を作成し、階調値の大きさで白または黒のいずれかに判定すると最終的に位置が特定できなくなる場合がある。
【００６９】
ここで、テーブルＰＣ１００は、あらかじめレンズ２０３ａの口径を認識しているとする。テーブルＰＣ１００は、判定できない階調値または判定しない方がよい階調値を受け取った位置パターンを破棄して、レンズ２０３ａの口径の範囲で同じ位置パターンの表示位置をシフトさせて表示する。カメラ・モジュール２０３が、閾値１６１で白または黒のいずれかに判定できる画像を撮影するまでシフトと表示を繰り返すことで、最終的に位置が特定できるようになる。
【００７０】
［方向の特定］
図１に戻って位置を特定した制御部１１３は、ブロック３０９でパターン出力部１０９に、特定した位置に方向パターンを表示するようにパターン出力部１０９に指示する。パターン出力部１０９は指示された位置に、一例として図１５に示すような二等辺三角形の方向パターン５０１をタッチスクリーン１０１に定義したＸ−Ｙ座標のＹ軸に平行なライン５０３に沿って表示する。方向パターン５０１は、方向と向きを同時に判定できるパターンであるが、方向を特定する直線のパターンと、向きを特定する三角形のパターンの２つのパターンを順番に表示するようにしてもよい。
【００７１】
ブロック３６１で階調計算部２０５は、ぼけ画像５５１に対応する撮影データを取得する。階調計算部２０５は、ボケ画像５５１の輪郭を抽出して二等辺三角形の中心線に相当するライン５０３を特定し、さらに、二等辺三角形の向きを特定する。階調計算部２０５は、ライン２５３のライン５０３に対する角度θを計算する。ブロック３６３で制御部２０７は、ＢＬＴＨモジュール２１３を通じて角度θをテーブルＰＣ１００に転送する。角度θは、タッチスクリーン１０１の座標系におけるスマートフォン２００の方向および向きに対応する。
【００７２】
このときスマートフォン１００は、方向パターン５０１を撮影した画像データをテーブルＰＣ１００に送り、制御部１１３が方向と向きを認識するようにしてもよい。これまでの手順では、レンズ２０３ａの位置、筐体２５１の方向および向きが特定できたが、スマートフォン２００の廻りに利便性のよいＵＩを表示するためには、さらにスマートフォン２００の形状的な特徴に関する追加的な情報があった方が都合がよい。
【００７３】
［属性情報の転送］
角度θを受け取った制御部１１３はブロック３１１でスマートフォン２００に属性情報を要求する。属性情報は、テーブルＰＣ１００がタッチスクリーン１０１に載置されたスマートフォン２００の筐体２５１の輪郭を認識するために必要な情報である。具体的には、筐体２５１に対するレンズ２０３ａの位置、筐体２５１の形状、筐体２５１のサイズ、メーカー名、およびモデル名などである。ブロック３６５でスマートフォン２００は属性情報を送信する。
【００７４】
ブロック３１３、３６７でテーブルＰＣ１００およびスマートフォン２００がそれぞれ利用モードに移行する。ブロック３１５でテーブルＰＣ１００のアプリケーション実行部１０７は、スマートフォン２００の近くで、かつ、スマートフォン２００の向きに対して利用し易い位置を選択して、タッチスクリーン１０１にＵＩを表示する。ＵＩが表示されるとブロック３６９でユーザはスマートフォン２００およびテーブルＰＣ１００に対してＵＩを利用できるようになる。
【００７５】
ブロック３７１で、ユーザが一旦載置して利用モードに移行したスマートフォン２００を取り上げる場合がある。載置判定部２１１は、姿勢センサ２０９の動作で取り上げを検知する。制御部２０７はブロック３７３でテーブルＰＣ１００に、スマートフォン２００が協働動作のグループから離脱することを通知する。ブロック３１７でテーブルＰＣ１００はＵＩを消して離脱処理をする。
【００７６】
ブロック３７５で、新たなスマートフォン２００がグループに加入するために、載置される。ブロック３７７で制御部２０７がブロック３５５と同様に載置の通知をすると、テーブルＰＣ１００は、上述の手順で、新規にグループに加入するスマートフォン２００の位置、方向、および向きを特定し、さらに属性情報を取得して、その周囲にＵＩを表示する。この場合は、すでに説明したように位置パターンをアプリケーション画像のフレーム・シーケンスの一部を利用して表示することで、アプリケーション画像の表示に影響を与えないようにすることができる。
【００７７】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００７８】
１００  テーブルＰＣ
１０１  タッチスクリーン
１０１ａ〜１０１ｃ  ユーザ・インターフェースの画像
１６１  不揮発性メモリ
１６１ａ  閾値
２００、２００ａ〜２００ｃ  スマートフォン
２０１  タッチスクリーン
２０３ａ  カメラ・モジュールのレンズ
２５１  筐体
２５３  筐体の方向および向きを示すライン
４００  マトリクス
４５１ａ〜４５１ｈ、４５３ａ〜４５３ｈ、４５５ａ〜４５５ｈ  パターン画像
５０１  方向パターン
５０３  方向パターンの方向および向きを示すライン
５５１  方向パターンの撮影画像（ぼけ画像）
【図１】
2016110469.tif 000003
【図２】
2016110469.tif 000004
【図３】
2016110469.tif 000005
【図４】
2016110469.tif 000006
【図５】
2016110469.tif 000007
【図６】
2016110469.tif 000008
【図７】
2016110469.tif 000009
【図８】
2016110469.tif 000010
【図９】
2016110469.tif 000011
【図１０】
2016110469.tif 000012
【図１１】
2016110469.tif 000013
【図１２】
2016110469.tif 000014
【図１３】
2016110469.tif 000015
【図１４】
2016110469.tif 000016
【図１５】
2016110469.tif 000017