(57)【要約】【課題】端末において特別のモジュールを必要とせず、また、利用者負担を増加させない、端末同士のペアリングを実現する。【解決手段】第一端末10A及び第二端末10Bはそれぞれ、表示部11A,11B及び撮像部12A,12Bを備え、各表示部では各撮像部の撮像画像を表示画像として表示する。認証サーバ20は、両端末より受信した２つの表示画像を比較して、２つの表示画像が、第一端末10Aの撮像部12Aが第二端末10Bの表示部11Bを撮像し、且つ同時に、第二端末10Bの撮像部12Bが第一端末10Aの表示部11Aを撮像して得られたものであると判定した場合に、すなわち、両端末10A,10Bが合わせ鏡の配置で撮像して得られたものであると判定した場合に、ペアリング対象とする判断を下す。【選択図】図２
2015084154.tif 000002
【特許請求の範囲】
【請求項１】
撮像を行って撮像画像を得る撮像部と、当該撮像画像を表示画像として表示する表示部と、をそれぞれが備えた、互いにペアリング判定対象となる、第一端末及び第二端末からなる２つの端末と、
当該２つの端末のそれぞれより表示画像を受信して、当該受信した２つの表示画像の比較に基づいて当該２つの端末をペアリング対象とするか否かを判断する認証サーバと、を備えたペアリングシステムであって、
前記認証サーバは、前記受信した２つの表示画像を比較することにより、当該２つの表示画像が、前記第一端末の撮像部が前記第二端末の表示部を撮像し、且つ同時に、前記第二端末の撮像部が前記第一端末の表示部を撮像して得られたものであると判定した場合に、前記ペアリング対象とする判断を下すことを特徴とするペアリングシステム。
【請求項２】
前記認証サーバは、前記２つの表示画像の類似性に基づいて、前記判定を行うことを特徴とする請求項１に記載のペアリングシステム。
【請求項３】
前記２つの端末の表示部がそれぞれ、表示画像を表示するに際して、撮像画像に対して所定のマーカーを重畳させたうえで表示し、
前記認証サーバは、前記所定のマーカーの像が前記２つの表示画像のそれぞれにおい検出されることに基づいて、前記判定を行うことを特徴とする請求項１または２に記載のペアリングシステム。
【請求項４】
前記認証サーバは、前記ペアリング対象とする判断を下した場合にさらに、前記２つの表示画像のそれぞれにおいて、前記重畳された所定のマーカーに対して、その像の画素変化を算出することを特徴とする請求項３に記載のペアリングシステム。
【請求項５】
前記認証サーバは、前記所定のマーカーの元の画像データと、その撮像画像に重畳された際のデータと、の比較により、各端末の表示部に起因する画素変化を算出し、さらに、当該重畳された際のデータと、その相手側端末における像のデータと、の比較により、各端末の撮像部に起因する画素変化を算出することを特徴とする請求項４に記載のペアリングシステム。
【請求項６】
撮像を行って撮像画像を得る撮像部と、当該撮像画像を表示画像として表示する表示部と、をそれぞれが備えた、互いにペアリング判定対象となる、第一端末及び第二端末からなる２つの端末のそれぞれより表示画像を受信して、当該受信した２つの表示画像の比較に基づいて当該２つの端末をペアリング対象とするか否かを判断する認証サーバであって、
前記受信した２つの表示画像を比較することにより、当該２つの表示画像が、前記第一端末の撮像部が前記第二端末の表示部を撮像し、且つ同時に、前記第二端末の撮像部が前記第一端末の表示部を撮像して得られたものであると判定した場合に、前記ペアリング対象とする判断を下すことを特徴とする認証サーバ。
【請求項７】
認証サーバによって、ペアリング対象であるか判定される端末の各々であって、
撮像を行って撮像画像を得る撮像部と、
当該撮像画像を表示画像として表示する表示部と、を備え、
前記端末は、前記表示画像を前記認証サーバに送信し、
前記認証サーバは、第一端末及び第二端末からなる２つの端末のそれぞれより表示画像を受信して比較することにより、当該２つの表示画像が、第一端末の撮像部が第二端末の表示部を撮像し、且つ同時に、第二端末の撮像部が第一端末の表示部を撮像して得られたものであると判定した場合に、当該２つの端末をペアリング対象とする判断を下すことを特徴とする端末。
【請求項８】
前記表示部は、前記に所定のマーカーを重畳して表示画像として表示し、
前記端末は、前記所定のマーカーの情報を前記認証サーバに送信し、
前記認証サーバは、前記所定のマーカーの像が前記２つの表示画像のそれぞれにおい検出されることに基づいて、前記判定を行うことを特徴とする請求項７に記載の端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末において特別のモジュールを必要とせず、また、利用者負担を増加させない、端末同士のペアリングシステム並びにその認証サーバ及び端末に関する。
【背景技術】
【０００２】
一般的な在宅・遠隔医療支援システムの例として、特許文献１（在宅医療サービスのモジュール端末）や非特許文献１（新見医師会遠隔在宅医療支援システム）に記載のものを挙げることができる。このようなシステムでは、PCやセットトップボックス等の固定端末を用いてテレビ電話を行い、遠隔地での対面診療を補完している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表2004-508914号公報
【非特許文献】
【０００４】
【非特許文献１】http://niimi-ma.no-ip.com/~ishikai/enkaku/d_01.html
【発明の概要】
【発明が解決しようとする課題】
【０００５】
既存システムでは、テレビ電話を行うに際して、どちらかの端末を登録する際に、電話番号等を入力しなければならず、利用者の負担となっている。
【０００６】
さらに、遠隔診療を行うに際しては、本発明者による特願2012-195056号にあるように、患部を撮影するためのデバイスとしてスマートフォン等を利用することもあり、テレビ電話を行う端末とスマートフォンとのペアリングが問題となる。
【０００７】
図１は、当該遠隔診療にてテレビ電話端末に加えてスマートフォン等の端末の利用と、その際のペアリングの必要性とを説明するための図である。すなわち、(1)の医師側のテレビ電話端末101と、中継サーバ102と、(2)の在宅患者側のテレビ電話端末103と、により通常のテレビ電話システムを構築したうえでさらに、(2)の在宅患者側にて、スマートフォン等のカメラを有する端末104を導入する。
【０００８】
こうして、在宅患者側では、固定配置で撮影するテレビ電話端末103に加えてさらに、手で持って自由に動かすことが可能な小回りの利くカメラとして、端末104を利用して、患部の撮影等を行う。医師側ではテレビ電話端末101が、端末104により当該撮影された患部などを、テレビ電話画面に重畳して表示することで、あるいは、テレビ電話画面とは別途に表示することで、診療の利便性が増す。
【０００９】
このようなサービスを可能とするために、テレビ電話端末103と端末104とのペアリングがあらかじめなされている必要がある。すなわち、当該ペアリングによって、端末104をあらかじめ、医師側のテレビ端末101、中継サーバ102及び在宅患者側のテレビ端末103で構築されたテレビ電話システム内に組み込んでおく必要がある。
【００１０】
当該ペアリングする際に、NFC(Near Field Communication)等の近接無線通信を利用してペアリングを完了する手法もあるが、近年NFC等のデバイスを極力排除することで安価に提供される端末も増加しつつあるため、このような端末には適用できない。
【００１１】
本発明は、以上のような従来技術の課題に鑑み、NFC等の端末コスト増加につながる特別のモジュールを利用せずに、且つ、利用者負担を増加させずに、例えば遠隔診療システムにおけるテレビ電話端末とスマートフォンといった場合におけるような、端末同士のペアリングを実現するペアリングシステムを提供することを目的とする。
【００１２】
また、本発明は、当該ペアリングシステムにおける認証サーバを提供することを目的とする。
【００１３】
さらに、本発明は、当該ペアリングシステムにおける端末を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明は、撮像を行って撮像画像を得る撮像部と、当該撮像画像を表示画像として表示する表示部と、をそれぞれが備えた、互いにペアリング判定対象となる、第一端末及び第二端末からなる２つの端末と、当該２つの端末のそれぞれより表示画像を受信して、当該受信した２つの表示画像の比較に基づいて当該２つの端末をペアリング対象とするか否かを判断する認証サーバと、を備えたペアリングシステムであって、前記認証サーバは、前記受信した２つの表示画像を比較することにより、当該２つの表示画像が、前記第一端末の撮像部が前記第二端末の表示部を撮像し、且つ同時に、前記第二端末の撮像部が前記第一端末の表示部を撮像して得られたものであると判定した場合に、前記ペアリング対象とする判断を下すことを特徴とする。
【００１５】
また、本発明は、撮像を行って撮像画像を得る撮像部と、当該撮像画像を表示画像として表示する表示部と、をそれぞれが備えた、互いにペアリング判定対象となる、第一端末及び第二端末からなる２つの端末のそれぞれより表示画像を受信して、当該受信した２つの表示画像の比較に基づいて当該２つの端末をペアリング対象とするか否かを判断する認証サーバであって、前記受信した２つの表示画像を比較することにより、当該２つの表示画像が、前記第一端末の撮像部が前記第二端末の表示部を撮像し、且つ同時に、前記第二端末の撮像部が前記第一端末の表示部を撮像して得られたものであると判定した場合に、前記ペアリング対象とする判断を下すことを特徴とする。
【００１６】
さらに、本発明は、認証サーバによって、ペアリング対象であるか判定される端末の各々であって、撮像を行って撮像画像を得る撮像部と、当該撮像画像を表示画像として表示する表示部と、を備え、前記端末は、前記表示画像を前記認証サーバに送信し、前記認証サーバは、第一端末及び第二端末からなる２つの端末のそれぞれより表示画像を受信して比較することにより、当該２つの表示画像が、第一端末の撮像部が第二端末の表示部を撮像し、且つ同時に、第二端末の撮像部が第一端末の表示部を撮像して得られたものであると判定した場合に、当該２つの端末をペアリング対象とする判断を下すことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、２つの表示画像が、第一端末の撮像部が第二端末の表示部を撮像し、且つ同時に、第二端末の撮像部が第一端末の表示部を撮像して得られたものであると判定した場合にペアリングの判断を行う。従って、２つの端末が互いに合わせ鏡の配置になっていると判定した場合にペアリングが行われるので、適切なペアリングが実現可能である。さらに、当該判断に用いるのは画像だけであるので、利用者負担を増加させず、また、端末における特別のモジュールを必要とせずに、ペアリングが実現可能となる。
【図面の簡単な説明】
【００１８】
【図１】遠隔診療にてテレビ電話端末に加えてスマートフォン等の端末の利用と、その際のペアリングの必要性とを説明するための図である。
【図２】一実施形態に係るペアリングシステムの機能ブロック図である。
【図３】一実施形態に係る本発明の手順を示すフローチャートである。
【図４】鏡合わせの状態を模式的に説明する例を示す図である。
【図５】図４の補助説明図である。
【図６】重畳させるマーカーとその一連の像とを説明するための図であり、当該説明における端末同士の合わせ鏡の配置と、マーカーの重畳表示と、の例を示す図である。
【図７】重畳させるマーカーとその一連の像とを説明するための図であり、図６のマーカーが重畳された表示画像を模式的に示す図である。
【図８】重畳させるマーカーとその一連の像とを説明するための図であり、図７の表示画像において、マーカーに対して生成される一連の像の例を模式的に示す図である。
【図９】マーカーに種々の態様が可能であることを示す例として、「枠組み」のマーカーを示す図である。
【発明を実施するための形態】
【００１９】
図２は、一実施形態に係るペアリングシステムの機能ブロック図である。ペアリングシステム1は、互いにペアリングの対象となる端末10A及び端末10Bと、当該ペアリングの際の認証を行う認証サーバ20と、を備える。端末10Aは、表示部11A、撮像部12A及び通信部13Aを備える。端末10Bは、端末10Aと全く同様の構成として、表示部11B、撮像部12B及び通信部13Bを備える。認証サーバ20は、通信部21、認証部22及び推定部23を備える。以下、各部の概要を説明する。
【００２０】
端末10A及び端末10Bにはそれぞれ、携帯端末、スマートフォン、図１の患者宅のテレビ電話端末103又は医師側のテレビ電話端末101その他を採用することができる。図１のシステムに導入する場合、認証サーバ20は、テレビ電話の中継を行う中継サーバ102によって実現されてもよい。端末10A及び端末10Bは、ペアリングに際して互いを写し合い、その撮像画像等を共に認証サーバ20へと送信することで、互いに対称な、共通の処理を行う。これを、端末10A側について説明する。
【００２１】
表示部11Aは、撮像部12Aで撮像した撮像画像を表示画像として表示する。この際、撮像画像を直接、表示画像として表示してもよいが、好ましくは撮像画像に対して所定のマーカーを重畳させた重畳画像を、表示画像として表示する。撮像部12Aは、相手側の表示部11Bを撮像して、その撮像画像を得て、表示部11Aに渡す。
【００２２】
通信部13Aは、表示部11Aで表示した表示画像を、認証サーバ20の通信部21へと送信する。また、当該表示画像に所定のマーカーを重畳していた場合には、所定のマーカーの情報も、表示画像と共に通信部13Aより通信部21へと送信する。
【００２３】
通信部13Aはさらに、認証サーバ20においてペアリングの認証に成功した場合には、通信部21よりペアリングを行うためのアドレス情報（相手側の端末10BのIPアドレスやメールアドレスなど）を受信し、当該ペアリング情報に基づいてペアリングを実施し、相手側の通信部13Bと通信する。
【００２４】
以上、端末10A側について説明したが、当該説明に用いた符号末尾における「A」と「B」とを互いに入れ替えることで、端末10B側も全く同様の処理を行う。なお、端末10A及び端末10Bは同様の処理を行うが、別端末であるので、性能が同一である必要はない。例えば、表示部11Aと表示部11Bとでは、ディスプレイとしてのスペックが異なっていてもよいし、撮像部12Aと撮像部12Bとでは、カメラとしてのスペックが異なっていてもよい。
【００２５】
認証サーバ20では、端末10A及び端末10Bのそれぞれより送信された表示画像を通信部21にて受け取り、認証部22が当該両表示画像を比較して、互いに類似していると判断できる場合に、端末10A及び端末10Bはペアリング対象であると判断する。ペアリング対象と判断した場合は、通信部21よりそれぞれの端末にペアリングに必要なアドレス情報を送信する。すなわち、端末10Aに対して端末10Bのアドレス情報を、端末10Bに対して端末10Aのアドレス情報を送信する。
【００２６】
なお、認証部22による判断の内容は具体的には、端末10A及び端末10Bの間で互いに写し合う処理が行われたかの判断であり、当該判断が、所定基準で両表示画像が類似していると判断できるか否かに基づいて下される。
【００２７】
ここで、本発明においては特に、端末10A及び端末10Bが互いに写し合うに際して、詳しくは後述するような「合わせ鏡」の状況で写し合うようにする手法を採用する。当該手法が適切に実施され、互いに写し合う状況を作ることに成功している場合、互いに共通の画像が撮像されて表示されることで、互いに共通な表示画像が得られる。逆に、当該手法の実施がなされていない、あるいは実施が不適切で、互いに写し合う状況を作ることに失敗している場合、互いに写し合っていないので、（偶然一致した等の例外的事態が発生しない限り、）互いに異なる表示画像が得られることとなる。従って、両表示画像が類似しているか否かにより、互いに写し合っているか否かを判断可能となる。
【００２８】
また、「合わせ鏡」の状況で互いに写し合うことが可能な端末は、ユーザの手によって意図的に、互いに向かい合う所定配置を取って物理的に接近させられた端末同士に限られ、そのような端末同士においてのみ互いに類似する画像が得られる。従って、認証サーバ20側では、画像の類似性に基づいてペアリングの判断を下すことが可能となる。
【００２９】
また、認証サーバ20では、認証部22によりペアリングの判断が下された場合に、推定部23が、認証部22が当該比較した両表示画像における、表示部11A,11Bで表示の際に重畳されたマーカーと、「合わせ鏡」の配置によって生ずる当該マーカーの一連の像と、を解析することにより、表示部11A,11B及び撮像部12A,12Bの種々の性能に基づく画素変化を推定する。当該性能として、双方の端末11A,11Bの解像度、輝度、画面サイズ、ホワイトバランス、カメラ性能その他があり、これら性能に基づいてどのように画素が変化（劣化）するかが、マーカーとその像との比較により推定される。
【００３０】
図３は、一実施形態に係る本発明の手順を示すフローチャートである。図３を参照して、図２の各部の処理の詳細を説明する。
【００３１】
ステップS1では、ユーザが、端末10A及び端末10Bを、互いに向かい合わせにすることで、互いに写し合う合わせ鏡の状態に配置する。図４は、当該合わせ鏡の状態を模式的に説明する例を示す図である。図４にて、端末10A, 10Bの筐体の例としてそれぞれ、直方体状の形状を有する筐体15A, 15Bが示され、当該筐体15A, 15Bはその面16A, 16Bを互いに平行にして向かい合わせる形で、平面100上に直立して配置されている。なお、面16A, 16Bは、互いに概ね平行であればよい。
【００３２】
端末10Aの筐体15Aの面16A上には、表示部11Aの表示面17Aと、撮像部12Aの撮像面18Aと、が配置されている。図５は、図４の補助説明図であり、当該面16A上に表示面17Aと撮像面18Aとが配置されていることを、面16Aを正面から見る形で示す図である。端末10Bについても全く同様に、その筐体15Bの面16B上には、表示部11Bの表示面17Bと、撮像部12Bの撮像面18Bと、が配置されている。図５は端末10Aについて示したが、端末10Bの配置も同様であり、図５にて符号末尾の「A」を「B」に置き換えたものが、面16Bを正面から見た形を表している。
【００３３】
当該配置により、図４にて(1)の矢印に示すように、端末10Aの撮像部12Aはその撮像面18Aによって、端末10Bの表示部11Bの表示面17Bを撮像し、当該撮像された画像は端末10Aの表示面17Aに表示される。同様に(2)の矢印に示すように、端末10Bの撮像部12Bはその撮像面18Bによって、端末10Aの表示部11Aの表示面17Aを撮像し、当該撮像された画像は端末10Bの表示面17Bに表示される。
【００３４】
従って、(3)の双方向矢印に示すように、端末10Aにおいて、撮像部12Aがその撮像面18Aで撮像した画像を表示する表示部11Aの表示面17Aと、端末10Bにおいて、撮像部12Bがその撮像面18Bで撮像した画像を表示する表示部11Bの表示面17Bと、の両者が、あたかも「合わせ鏡」を形成しているかのように振る舞って、表示を行うこととなる。
【００３５】
なお、ステップS1においてユーザによって配置される当該「合わせ鏡」の配置は、図４のような例に限られず、一般には、次のような関係を満たす配置であればよい。すなわち、撮像部12Aの撮像画像（または当該撮像画像にマーカーを重畳した重畳画像）を表示する表示部11Aを備える端末10Aと、撮像部12Bの撮像画像（または当該撮像画像にマーカーを重畳した重畳画像）を表示する表示部11Bを備える端末10Bと、の間において、図２の機能ブロック間の矢印としても示したように、撮像部12Aが表示部11Bを撮像し、且つ同時に、撮像部12Bが表示部11Aを撮像するような関係である。
【００３６】
また、端末10A, 10Bは、図５で示したように、撮像部12A, 12B（の撮像面）が表示部11A, 11B（の表示面）と同一の面にあるような構成（携帯端末等において表示部は一般に端末の内側であるので、インカメラ（内面カメラ）の構成）で製造されていることが、次の観点からは好ましい。すなわち、当該インカメラの構成で製造されていれば、図４に示すように両端末を向かい合わせるだけで、ユーザは容易に合わせ鏡の配置を作ることができるからである。
【００３７】
なお、端末10A及び／又は端末10Bの製造の態様によっては、例えば、両者共にインカメラを有さず、表示部の反対側に設置されたアウトカメラ（背面カメラ）のみ有する場合など、合わせ鏡の配置を作ることができない。このような場合には、実際の「鏡」（実物としての鏡）を１枚以上利用して、「合わせ鏡」の配置を作ってもよい。
【００３８】
図３に戻り、ステップS2では、ステップS1にてユーザにより配置された合わせ鏡の配置において、端末10Aと端末10Bとが、同時に互いを撮像する。すなわち、撮像部12A及び撮像部12Bが、同時に撮像を行い、それぞれ撮像画像を得る。また、連動して表示部11A及び表示部11Bが、表示画像を得る。
【００３９】
ここで、撮像（及び表示）を同時に行うに際して、一定の精度で「同時」に撮像がなされればよい。例えば、ユーザのマニュアル操作によって、撮像部12A及び撮像部12Bで同時に撮像を行わせるようにしてもよい。あるいは、認証サーバ20等によって予め、端末10A及び端末10Bの時計合わせを行っておき、同じく認証サーバ20等から指示された所定時刻に、撮像部12A及び撮像部12Bで同時に撮像を行わせるようにしてもよい。なお、時計合わせ及び所定時刻の指示は、通信部13A, 21間及び通信部13B, 21間にてそれぞれ個別に行えばよい。
【００４０】
また、ステップS2で得られる撮像画像は、詳細には次のような過程を経て得られるものである。すなわち、表示部11A及び表示部11Bはそれぞれ、撮像部12A及び撮像部12Bの撮像したリアルタイムの撮像画像に、所定のマーカーを重畳させた状態のリアルタイムの重畳画像として、表示を行っている。すなわち、各時刻tにおいて、時刻tの撮像画像により、ただちに同時刻tの重畳画像が生成され表示されている。そして、当該重畳画像を表示した状態を撮像したものとして、ステップS2にて撮像部12A及び撮像部12Bが撮像画像を得る。
【００４１】
ここで、表示部11A, 11Bではそれぞれ、表示の際に自分自身が追加的に行う処理としては、撮像部12A, 12Bの撮像画像に対して所定のマーカーを１回重畳させるのみである。一方、ステップS1で合わせ鏡の配置を作ってあるので、当該1回重畳させられたマーカーの一連の像が生成され、撮像部12A, 12Bの撮像画像において得られることとなる。撮像画像に対して当該最初に1回重畳させられたマーカー及びその一連の像は、後述のステップS4及びS5において利用される。
【００４２】
図６〜図８は、当該重畳させるマーカー及び生成されるその一連の像を説明するための図である。図６は、端末10A, 10Bを合わせ鏡で配置する例であり、同一符号を付してある箇所については図４の例と同様であるが、図６では端末10Bが、図４の配置に対して平面100上において「倒立」している点が異なる。すなわち、図４及び図６では共に、端末10A, 10Bは撮像部及び表示部の配置の観点で同種類の端末であり、図４では両端末が同じ向きで立っているのに対して、図６では両端末が互いに倒立の関係で立っている。
【００４３】
なお、図６における当該「倒立」の関係で端末10A, 10B同士を合わせ鏡に配置するのは、図７及び図８で説明するマーカーとの関係で、その一連の像がより確実に生成されるような位置関係を生じさせるという点において、好ましい配置の一例である。一連の像としてのマーカーが互いに重複等せずに生成されるのであれば、その他の配置を用いてもよい。
【００４４】
当該配置された図６にて、端末10Aでは表示部11Aが撮像画像に対してマーカーMA0を重畳して表示しているのが、その表示面17A上に描かれている。同様に、端末10Bでは表示部11Bが撮像画像に対してマーカーMB0を重畳して表示しているのが、その表示面17B上に描かれている。
【００４５】
図７は、図６の例において当該重畳して表示される画像をそれぞれ正面から見た形で、端末10Aが表示部11Aに表示する画像PA及び端末10Bが表示部11Bに表示する画像PBとして、模式的に示す図である。画像PAにおいて、重畳される長方形形状のマーカーMA0以外の領域、すなわち、画像PA内の白色の領域には、撮像部12Aの撮像画像が表示される。（なお、図７では撮像画像の具体例は描くのを省略して、白色の領域として示している。）
【００４６】
従って、図７にて撮像画像におけるマーカーMA0の部分は、当該マーカーMA0が撮像画像を上書きすることによって、当該上書きされた箇所を隠す形で、画像PAが表示されることとなる。画像PBにおいても同様に、重畳される長方形形状のマーカーMB0以外の領域に、撮像部12Bの撮像画像が表示され、撮像画像のうちマーカーMB0と重なった部分については隠されることとなる。
【００４７】
なお、重畳させるマーカーMA0及びMB0に関しては、その画像としての内容（形状及び模様など）及び画像PA及びPB内において重畳させる位置を予め、各端末において所定のものとして設定しておく。当該マーカーは所定のものを何種類か用意しておき、いずれを用いるかは、本発明によるペアリングを実施する毎に、各端末においてランダムに決定してもよい。
【００４８】
図８は、図７の例における、表示部11A及び11Bによってそれぞれ、最初に１回だけ重畳されるマーカーMA0及びMB0に対する、一連の像を模式的に示す図である。
【００４９】
すなわち、矢印(A1)に示すように、表示部11Aの画像PAにおけるマーカーMA0を、相手側の撮像部12Bが撮像することで、その1回目の像MA1が、表示部11Bの画像PB内に生成される。続いて、矢印(A2)に示すように、表示部11Bの画像PB内の像MA1をさらに、相手側の撮像部12Aが撮像することで、その2回目の像MA2が、表示部11Aの画像PA内に生成される。さらに、矢印(A3)に示すように、3回目の像として、像MA2の像MA3が画像PB内に生成される。以降同様にして、両端末10A, 10Bの撮像部及び表示部のスペックが許す限り、n回目の像に対するn+1回目の像が再帰的に、画像PA, PB間で交互に生成されることとなる。
【００５０】
同様に、矢印(B1)に示すように、表示部11Bの画像PBにおけるマーカーMB0を相手側の撮像部12Aが撮像して、1回目の像MB1が画像PA内に生成され、矢印(B2)に示すように当該像MB1を相手側の撮像部12Bが撮像して、2回目の像MB2が画像PB内に生成され、さらに矢印(B3)に示すように3回目の像MB3が画像PA内に生成され、…といったように、スペックが許す限り再帰的な画像生成が行われる。
【００５１】
なお、以上のように最初に重畳されたマーカーMA0,MB0の一連の像が生成されるに際しては、n回目の像よりn+1回目の像へと、像生成の反復回数が増すに従って、像が劣化することとなる。すなわち、ぼけが増し、大きさも小さくなり、色合いなども変化していくこととなる。当該劣化は、端末10A,10Bを合わせ鏡に配置した際の互いの距離及び向き並びに光源等の外部条件にも依存するが、基本的には表示部11A,11B及び撮像部12A, 12Bのスペックに依存して、その劣化度合いが定まり、画素変化を生じさせる。後述のステップS5では、当該スペック依存に基づいて定まる両端末10A,10Bにおける画素変化の推定を行う。
【００５２】
また、図８の模式的な例のように、一連の像が順番に現れるようにするための端末10A, 10Bの鏡合わせの配置の一例として、図６の配置が挙げられる。特に、面16A及び面16Bを互いに平行にしたうえで、表示面17A、マーカーMA0及び撮像面18Aと、表示面17B、マーカーMB0及び撮像面18Bと、が互いに点対称になるような配置を挙げることができる。当該点対称に配置する際、マーカーMA0及びマーカーMBはその全体ではなく、所定点のみが点対称の配置を構成すればよい。
【００５３】
また、端末10A, 10Bが別種類のものとして製造され、表示面17A,17B間及び／又は撮像面18A, 18B間でサイズ等に違いがあり、点対称に配置できない場合は、点対称に準ずる配置として、それらの所定点同士（重心位置同士など）を点対称に配置するなどしてもよい。点対称の配置は、所定精度で点対称と判定されるような配置であればよい。
【００５４】
また、一般には必ずしも点対称に配置する必要はないが、ステップS5における推定に利用する情報をより豊富に得る観点からは、一連の像（のうちの少なくとも最初の所定数）が画像PA, PB内に見えて生成される必要がある。このため、配置に際して、当該一連の像の生成される位置が、最初に重畳されるマーカーMA0, MB0に重なる位置となること（当該位置では前述のように撮像画像が上書きされ消えてしまう）と、画像PA, PBの範囲外に逸脱することと、を避ける必要がある。
【００５５】
図３に戻り、ステップS3では、ステップS2で取得した表示画像（端末10Aの表示画像PA及び端末10Bの表示画像PB）をそれぞれ、通信部13A及び通信部13Bが通信部21へと送信することで、各表示画像を認証サーバ20へとアップロードする。
【００５６】
ステップS4では、認証サーバ20の認証部22が、ステップS2で取得した両画像PA, PBを比較する。当該比較により、所定基準で類似していると判定されることで、端末10A, 10Bがペアリング対象であると判断された場合は、ステップS5へと進み、類似していないと判定されることで、ペアリング対象ではないと判断された場合は、ペアリングを実施しないので、当該フローを終了する。
【００５７】
なお、当該類似しておらず、ペアリング対象でないと判断された場合には、両端末10A, 10Bにそれぞれ、エラーの旨を送信してから、ユーザ側に再度の画像取得を促すべく、ステップS1へと戻るようにしてもよい。こうして、端末10A, 10Bは実際に互いに近接して存在し、ステップS1でユーザが鏡合わせに向かい合わせたにもかかわらず、当該鏡合わせの配置が不適切に設定されていた等の理由で、両画像PA, PBにおける撮像のされ方が不適切であった場合に、ユーザに再度の作業を促すことが可能となる。
【００５８】
ステップS4における両画像PA, PBの比較手法には、第一実施形態として、周知の各種の画像間の類似度の算出手法を利用し、当該算出された類似度に所定閾値による閾値判定を下せばよい。例えば、画素間差分絶対値和(SAD)等で類似度を算出してもよいし、SIFT等の周知の特徴量を算出し、周知の手法で当該一連の特徴点同士の対応づけを行うことで類似度を算出してもよい。
【００５９】
また、両画像PA, PBの比較による類似判定に際して、第二実施形態として、上記第一実施形態のような画像間の類似度と当該類似度に対する閾値判定を行うのみではなく、さらに追加の条件を課してもよい。追加の条件としては、鏡合わせの配置であること及び／又は所定のマーカーを重畳していることに基づく所定の特徴を、両画像が有していると判定されることを利用することができる。
【００６０】
図８における画像PA, PBの例であれば、端末10Bの画像PB内に、端末10Aの重畳したマーカーMA0の像に相当する像MA1が検出され、且つ、端末10Aの画像PA内に、端末10Bの重畳したマーカーMB0の像に相当する像MB1が検出される場合に、所定の特徴を有していると判定してもよい。
【００６１】
像MA1及び像MB1を検出するに際しては、それぞれ重畳するマーカーMA0及びMB0の情報（マーカーの画像としての情報）を予め、ステップS3にて画像PA及びPBを端末10A及び10Bより受信する際に併せて受信しているので、当該マーカー画像MA0及びMB0に類似する領域として、画像PB及びPAからそれぞれ検出すればよい。類似領域の検出には、上記SADやSIFT等を利用して、閾値判定を満たす場合に検出されたと判定すればよい。
【００６２】
同様にしてさらに、上記1番目の像MA1及びMB1に加えてさらに、2番目以降の所定のk番目までの像MA2, MB2, ..., MAk, MBkが各画像より検出されることを条件として課してもよい。
【００６３】
また、以上のようにして像を追加検出する場合はさらに、最初に重畳するマーカーとの関係での像同士の配置関係が、合わせ鏡の状況に適合するか否かを条件として課してもよい。例えば、画像PAにおける重畳マーカーMA0及び像MB1の配置関係と、画像PBにおける像MA1及び重畳マーカーMB0の配置関係と、が一致していると判断できるか否かを判定してもよい。
【００６４】
図３に戻り、ステップS5では、推定部23が、認証部22による両画像の比較をさらに進めて、2番目の像以降も解析することにより、各端末10A, 10Bのスペックに基づく画素変化を推定する。具体的には、以下の通りである。
【００６５】
原マーカー、すなわち、最初に重畳させるマーカーの元の画像データをx（xは当該画像データの各画素を並べたベクトル）として、端末10A、端末10Bの画面（表示部11A, 11B）、カメラ（撮像部12A, 12B）による画素変化を表す行列をad、ac、bd、bcとすると、表示される画像は次の通りである。
【００６６】
端末10Aの生成した原マーカー、すなわち、図８の画像PAにおけるマーカーMA0の画素はad・x（式１）である。また、端末10Aの生成した2番目のマーカー、すなわち、図８の画像PAにおけるマーカーMB1の画素はac・ad・bd・x（式２）である。
【００６７】
同様に、端末10Bの生成した原マーカー、すなわち、図８の画像PBにおけるマーカーMB0の画素はbd・x（式３）である。また、端末10Bの生成した2番目のマーカー、すなわち、図８の画像PBにおけるマーカーMA1の画素はbc・bd・ad・x（式４）である。
【００６８】
以上のようなマーカーを読み取ることで複数の方程式を導出できるため、これらの画素変化を表す行列の推定が可能になる。すなわち、まず、原マーカーそのものと表示部に表示された際の原マーカーとの比較により、表示部による画素変化を推定できる。（式１）より、表示部11Aに起因する画素変化adが推定され、（式３）より、表示部11Bに起因する画素変化bdが推定される。
【００６９】
さらに、２番目のマーカーを考慮することで、撮像部による画像変化を推定できる。すなわち、（式２）及び（式３）より、ac・adが算出され、adは（式１）から既に推定されているので、撮像部12Aによる画素変化acが推定される。また同様に、（式４）及び（式１）より、bc・bdが算出され、bdは（式３）から既に推定されているので、撮像部12Bによる画素変化bcが推定される。
【００７０】
なお、画素変化を表す各行列ad、ac、bd、bcの算出の際には、周知の数値計算の手法により誤差を最小とするような行列を算出すればよい。各行列が単位行列に近いほど、対応する表示部又は撮像部の性能が高いことを意味する。また、各行列は、画素変化すなわち劣化の所定のモデルを組み込んだものであってもよい。各モデルでは、劣化がゼロの場合に単位行列となる。例えば、ぼけをモデル化したガウス関数のパラメータを与えることによって行列を定義して、行列計算によって誤差を最小とするような当該パラメータを求め、対応する行列を求めるようにしてもよい。
【００７１】
また、各行列の算出に際しては、各マーカーMA0,MA1,MB0,MB1等が画像PA,PB上のどの領域に対応するかを予め算出しておく必要があるが、これについてはステップS4で既に算出されているので、その結果を利用すればよい。また、端末10Bがxとは異なるマーカーyを用いる場合は、（式３）はbd・yとなり、（式２）はac・ad・bd・yとなるが、この場合も同様に各行列を算出することができる。
【００７２】
図３に戻り、ステップS6では、認証サーバ23が端末10A, 10B間でペアリングを実施させるべく、各々に対して相手のアドレス情報などを通知する。当該通知の際に、ステップS5で推定した画素変化も通知して、例えば端末10A, 10B間でペアリング後にテレビ電話を実施するような場合に、双方の端末における最適なデータ転送量等を決定する際の補助情報として利用することもできる。
【００７３】
以下、本発明の補足事項（１）〜（６）を説明する。
【００７４】
（１）両端末10A, 10Bにおいて重畳させる所定のマーカーには、種々の態様が可能である。例えば、図７及び図８の例（長方形のマーカー）ではなく、図９のような「枠組み」のマーカーを採用してもよい。図９では、図７及び図８と同一符号を付してあるが、これは、生成する像の関係が同じであることを示すために、同一符号を借用して付したものである。
【００７５】
図９では、(1)に示すように、端末10Aにおいては表示画像PAの外周部分の「枠組み」として、マーカーMA0を重畳させ、同様に(2)に示すように、端末10Bにおいては表示画像PBの外周部分の「枠組み」として、マーカーMB0を重畳させる。こうして、それぞれ(3)及び(4)に示すように、マーカーの一連の像が例えば、入れ子構造で再帰的に続く「枠組み」として得られることとなる。
【００７６】
（２）両端末10A, 10Bでは、所定のマーカーを重畳させないようにしてもよい。この場合、単純に互いの画面同士が「鏡」として無限に写し合う画像が得られるが、それらは互いに類似しているので、ペアリングが可能となる。
【００７７】
（３）両端末10A, 10Bにおいては、所定のマーカーは重畳させず、当該マーカーの代用となる物品を配置して利用してもよい。例えば、図９で説明した「枠組み」として、重畳させるマーカーの代わりに、両端末10A, 10Bの表示部の周囲に、実際の物体として、筐体の一部として形成されている「枠組み」を利用してもよい。また、例えば、図７及び図８で説明したような長方形のマーカーの代わりに、両端末10A, 10Bの表示部の表面に長方形のシールを貼ってもよい。当該物品で代用した場合は、画像上で当該物品を特定可能なように、その色情報などの画像としての情報を、認証サーバ20側へと通知するようにすることが好ましい。
【００７８】
（４）図３のステップS1における合わせ鏡の配置を行うに際して、ユーザがマニュアルで配置するのを補助すべく、次のようにしてもよい。各端末10A, 10Bでは、自分自身が重畳したマーカーMA0, MB0の像に相当するもの（図７等の例におけるMA2, MB2）が、自分自身の表示画像PA, PB内より検出可能であるかを常時監視し、検出がなされていない間は、音声アラームなどによって、ユーザ側に配置が適切でない旨を通知する。
【００７９】
また、像MA2, MB2が検出されていても、当初のマーカーMA0, MB0から所定距離以上離れている場合などは、依然として合わせ鏡における向きが不適切ものと判断して、音声アラームを継続させるようにしてもよい。
【００８０】
また、端末の種類が決まっている場合は、両端末を設置することで互いに合わせ鏡に配置できるような台やホルダーなどの器具を用意しておき、当該器具を利用して合わせ鏡の配置を実現するようにしてもよい。
【００８１】
また、認証サーバ20側が、双方の端末10A,10Bより送付された、原マーカーの画像と、双方の端末10A,10Bから送られた画像の中のマーカー画像を照合し、その劣化具合を判断し、一定以内の劣化具合に収まる場合に、向き合ったと判断して双方の端末10A,10Bに通知を行うような機能を有していてもよい。ここで、劣化具合の値は、前述の（式１）〜（式４）における画素変化を表す行列をad、ac、bd、bcにおいて、適用されている劣化モデルのパラメータとして取得すればよい。
【００８２】
（５）本発明では認証サーバ20へアップロードするのは同時撮影され表示された画像として説明したが、所定期間に渡って同時表示された動画像をアップロードして、その全期間のうちの所定割合において、画像で説明したペアリング判定が下された場合に、当該動画像に基づいてペアリングを行うようにしてもよい。この場合、重畳させるマーカーも時間変化するものとして構成されていてもよい。
【００８３】
（６）各端末10A,10Bでは、画像（又は動画像、以下同様）を認証サーバ20にアップロードする際に、画像のタイムスタンプ（画像取得時刻の情報）もアップロードして、認証サーバ20においては、画像の類似性に加えて、当該タイムスタンプが所定精度で一致すると判定されることも、ペアリングの条件として課してもよい。
【符号の説明】
【００８４】
1…ペアリングシステム、10A, 10B…端末、20…認証サーバ
【図１】
2015084154.tif 000003
【図２】
2015084154.tif 000004
【図３】
2015084154.tif 000005
【図４】
2015084154.tif 000006
【図５】
2015084154.tif 000007
【図６】
2015084154.tif 000008
【図７】
2015084154.tif 000009
【図８】
2015084154.tif 000010
【図９】
2015084154.tif 000011