(57)【要約】      （修正有）【課題】現実の視界情報の表示上に仮想三次元映像を重ねて表示すると言う仮想現実の技術を革新する拡張現実システムを提供する。【解決手段】カメラ１１で撮影されたＡＲマーカであるチケット３の撮影画像から、チケット画像記憶部に記録された画像を検索して、索出された画像に予め対応付けされているライブカメラ部が撮影中のライブ映像をスマートフォン１に送信し、ライブ映像をチケット３の撮影画像に重ねるようにしてディスプレイ１０に表示するようにした。また上記ライブ映像を一旦中継映像記憶装置を経由の上スマートフォン１に送信するようにした。【選択図】図１
0003211308.tif 000002
【実用新案登録請求の範囲】
【請求項１】
ＡＲマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラとを備え、前記カメラで撮影された前記ＡＲマーカを受け取ってこのＡＲマーカに対応する前記ライブカメラのライブ映像を前記カメラ側の表示装置に送信するライブ映像処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ＡＲマーカやライブ映像の通信を媒介するインターネットなどのネットワークと、から成る拡張現実システム。
【請求項２】
ＡＲマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラと、前記ライブカメラのライブ映像を中継するための中継装置とを備え、前記カメラで撮影された前記ＡＲマーカを受け取ってこのＡＲマーカに対応する前記ライブカメラのライブ映像を前記中継装置を介して前記カメラ側の表示装置に送信するライブ映像中継処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ＡＲマーカの通信や前記ライブ映像の中継を媒介するインターネットなどのネットワークと、から成る拡張現実システム。
【請求項３】
複数台の前記ライブカメラを備え、前記ライブ映像処理装置または前記ライブ映像中継処理装置は、何れのライブ映像が見たいかを選択可能にする選択肢を前記表示装置側に選択可能に提示すると共に、前記表示装置側で選択された前記ライブカメラのライブ映像を前記表示装置に送信すべきライブ映像として特定する、請求項１または請求項２に記載の拡張現実システム。
【請求項４】
ＡＲマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラとを備え、前記カメラで撮影された前記ＡＲマーカを受け取ってこのＡＲマーカに対応する前記ライブカメラのライブ映像を前記カメラ側の表示装置に送信するライブ映像処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ＡＲマーカやライブ映像の通信を媒介するインターネットなどのネットワークとから成り、更に複数台の前記ライブカメラを備えるかまたは撮影者と共に移動可能な前記ライブカメラを備えていると共に、前記ライブ映像処理装置の運営者側と前記表示装置のライブ映像を見るユーザーとの間で、このユーザーが見たいライブ場面をチャットにより運営者側に依頼するためのチャットシステムを備えている、拡張現実システム。
【請求項５】
前記カメラが同時に撮影した複数のマーカ提示媒体から得られた複数のＡＲマーカを受け取って、前記ライブ映像処理装置または前記ライブ映像中継処理装置が、これ等のマーカにマッチングするマーカをマーカ記憶装置に記録されたマーカの中から検索し、この索出マーカに対応するライブ映像を複数の前記ライブカメラのライブ映像の中から決定し、このライブ映像を前記カメラ側の表示装置に送信する、請求項１乃至請求項３の何れか一に記載の拡張現実システム。
【請求項６】
複数の前記マーカ提示媒体の内の少なくとも一が異なる種類のマーカ提示媒体である、請求項５に記載の拡張現実システム。
【請求項７】
前記ＡＲマーカの画像を、スタンプが捺されたることによって得られるスタンプ画像またはシールが付されることによって得られるシール画像とし、複数のスタンプを重ならないように捺すためのまたは複数のシールを重ならないように付すための区分けされたスペースが設けられていることによって実質的に複数のマーカ提示媒体と見なし得るマーカ提示媒体を用いる、請求項５に記載の拡張現実システム。
【考案の詳細な説明】
【技術分野】
【０００１】  この考案は、カメラで撮影された建物、Ｔシャツ、コンサートチケット、書籍、ＣＤジャケットなどと言った各種映像上に、この映像に関連付けられたライブカメラ映像を重ね合わせるようにして表示する拡張現実システムに関する。すなわち現実の視界情報の表示の上に、ほぼ同時刻に存在する異なる場所の現実の視界情報を重ねて表示すると言う、全く新しいＡＲ技術に関する。
【背景技術】
【０００２】  カメラで撮影した現実の視界情報の表示上に仮想三次元映像を重ねて表示する技術は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）や強化現実などと呼称される。一般的にこのＡＲ技術では、ＡＲマーカと呼ばれる一次元コードや二次元コードなどの識別子が用いられ、カメラがこのＡＲマーカを含む現実の視界を撮影して、ＡＲマーカに対応付けられている仮想三次元映像を探し出し、この仮想三次元映像を上記撮影された現実の視界情報に重ね合わせて表示している。特開２０１１−２４２８１６号ではＡＲマーカにＧＰＳ位置情報と方位情報とが用いられている。【０００３】  また特開２０１３−１９８５２０号は、現実世界のカードに記された情報をゲーム装置で実行される処理に反映させるべく、カメラで撮影した現実のカードの複数枚から図形を検出し、この内からいずれか１つ以上の図形をユーザーに選択させ、この選択された図形に対応付けられている処理を実行すると言うものである。従ってユーザーは、自身が所持するカードの情報を仮想世界に取り入れ、検出した図形のうちユーザーが選択した図形に応じてゲームの進行を変化させてゲームを楽しむことができる。【０００４】  これに対して特願２０１４−０３１０９１号は当出願人の出願に係る発明であるが、これは上述した特開２０１１−２４２８１６号や特開２０１３−１９８５２０号の発明が抱える問題の解決を課題としていた。すなわちＡＲマーカにＱＲコード（登録商標、以下同様）などの識別子を用いている特開２０１３−１９８５２０号の技術によれば、カードが美しいイラストや写真が印刷されたものであるとＱＲコードなどの識別子をその中に見ることには美観的な点で違和感を覚える問題があった。また特開２０１３−１９８５２０号では、所定の処理を実行するのに、カメラで撮影して検出した図形の内からユーザーに随意図形を選択させるようにしており、図形選択と言う作業がユーザーに要求されるためこの操作が面倒であった。【０００５】  そこで特願２０１４−０３１０９１号は、カメラで撮影されたＡＲマーカである写真の撮影画像で画像記憶部に記録された画像を検索して、索出された画像に予め対応付けされている仮想三次元映像を仮想三次元映像記憶部５３から読み出し、写真３０に重ね合わせてディスプレイに表示するようにした。また各々任意のＡＲマーカが印刷された複数のカードをカメラで撮影し、このＡＲマーカでＡＲマーカ記憶部に記録されたＡＲマーカを検索して、索出されたＡＲマーカに予め対応付けされている仮想三次元映像を仮想三次元映像記憶部から読み出し、カードに重ね合わせてディスプレイに表示するようにした。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２４２８１６号
【特許文献２】特開２０１３−１９８５２０号
【特許文献３】特願２０１４−０３１０９１号
【考案の概要】
【考案が解決しようとする課題】
【０００７】  特願２０１４−０３１０９１号によって上述の課題は見事に解決された。しかしながら、特願２０１４−０３１０９１号を含めて従来のＡＲ技術は、更に興味深くより一層有用な利用法があるはずである。従ってこの考案は、このような新たな問題を解決することを課題とするものである。
【課題を解決するための手段】
【０００８】  そこで当考案者等は鋭意研究の結果、現実の視界情報の表示上にライブカメラで撮影したライブ映像を重ねて表示すると言う着想を得た。例えばスマートフォンのカメラで音楽コンサートのチケットを撮影すると、このチケット映像に重ねてコンサート出演者の現時点での楽屋風景の映像を表示するようにするのである。これはチケットを持っているユーザーにとって実に興味深いことであり、気分を高揚させる力は抜群である。【０００９】  すなわち上記課題は、カメラで撮影したＡＲマーカが付されたマーカ提示媒体の前記ＡＲマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置により前記ＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するように、カメラ側の表示装置に送信処理するようにすることにより達成される。拡張現実あるいは強化現実は、カメラで撮影した現実の視界情報の表示上に仮想三次元映像を重ねて表示するものであるが、この仮想三次元映像の代わりにライブカメラで撮影したライブ映像を用いる技術は、この考案独自の全く新しいものである。またライブ映像は現実にある遠隔の視界情報ではあるものの、この考案もまた拡張現実に係るものであるということができる。【００１０】  カメラ側から送信され受信したＡＲマーカは、認証確認に必要なものとして用いても良いし、カメラ側に送信するライブカメラのライブ映像を特定するものとして用いても良い。その何れにせよライブ映像処理装置で前記ＡＲマーカに対応するライブカメラのライブ映像を決定したら、このライブ映像をカメラ側の表示装置に向けて送信するのである。カメラ側ではこのライブ映像を受信して、このライブ映像を前記マーカ提示媒体の映像に重ねて表示するのである。なおライブ映像処理装置は、ライブカメラのライブ映像の配信サーバとして動作するようにも、或いはライブカメラ側に配信サーバを備えさせてこの配信サーバに前記ライブ映像を前記カメラ側に向けて送信させるようようにも設計することが可能である。なおライブ映像には音声を含めても含めなくても良い。【００１１】  ＡＲマーカには、文字列、画像、ＱＲコードやカメレオンコード（何れも登録商標）などのマーカとなり得るものであれば利用可能であり、マーカ提示媒体には、カード、チケット、Ｔシャツ、書籍雑誌、ＣＤジャケット、広告ちらしやうちわなどのマーカが印刷可能なものであれば良い。あるいはスタジアムと言った建物にＡＲマーカを付けることさえ可能である。【００１２】  また例えばマーカ提示媒体にコンサートチケットを用いる場合、ライブ映像には上述した楽屋風景の他にも、練習風景、舞台の袖の状況や衣装チェンジの様子、入場待ちの行列や会場内の混雑状況、あるいはプログラム開始後の舞台の生映像などを自由に設定することが可能である。もちろんコンサート以外にもスポーツイベントやグルメフェスティバル等々その利用範囲は広範である。また動物園に於ける外からは見えない飼育室の飼育状況、飲食店に於けるキッチンの調理風景、サーキットに於けるレーシングカー内外の情景、学習講座に於ける授業風景、国際会議に於ける講演の様子、旅��先に於ける空模様や先行するバスや列車の車窓風景、結婚式や葬式に於ける式進行状況、等々を自由に設定することができる。この際のライブカメラは、１台であっても複数台であっても、また固定式であっても移動式であってもこれ等を混用する方式であっても良い。移動式の場合に、ウェアラブルコンピュータのグラス（ヘッドマウントディスプレイの一種）に設けたカメラをライブカメラに設定することも可能であり、これ等は任意設計事項である。【００１３】  また上記課題は、カメラで撮影したＡＲマーカが付されたマーカ提示媒体の前記ＡＲマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像中継処理装置により前記ＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を中継装置を介して、前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するように、カメラ側の表示装置に送信処理するようにすることによって達成される。【００１４】  この構成はほぼ上述の構成に倣うものであるが、ライブ映像の中継装置を備えている点で異なる。この中継装置はライブ映像中継処理装置が備えるようにしてライブカメラのライブ映像を一旦ここで中継するようにも、あるいは外部に中継装置を設定してこの中継装置にライブ映像中継処理装置が前記ライブ映像を前記カメラ側に向けて中継送信させるようようにも設計することが可能である。【００１５】  この中継装置にはライブ映像の記憶装置を備えさせることができる。前記カメラ側ではこの記憶装置からのライブ映像を受信することになる。すると本来のライブ映像からすれば遅延を生ずることになるのであるが、テレビ放送の衛星中継などでは遅延が生ずることもしばしばあり、この意味でタイムシフト再生や録画再生をライブ中継に含めることができる。なお別の観点からすると、ライブカメラにアクセスが集中して送信処理が追いつかなくなることがあるが、上記記憶装置を経由しての送信処理によればアクセス集中の問題を比較的容易に回避することができると言う利点がある。【００１６】  なお、複数台の前記ライブカメラを備え、前記ライブ映像処理装置または前記ライブ映像中継処理装置は、何れのライブ映像が見たいかを選択可能にする選択肢を前記表示装置側に選択可能に提示すると共に、前記表示装置側で選択された前記ライブカメラのライブ映像を前記表示装置に送信すべきライブ映像として特定するように構成することができる。例えばマーカ提示媒体をコンサートチケットに設定した場合、ライブ映像として上述した楽屋風景、舞台の情景、入場待ちの行列の状況の３つを選択肢としてユーザー側に提示し、ユーザーがライブ映像を切り替えて楽しむことを可能にする、と言った利用法がある。【００１７】  次に上記課題は、カメラで撮影したＡＲマーカが付されたマーカ提示媒体の前記ＡＲマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置により前記ＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するようにカメラ側の表示装置に送信処理すること、および前記ライブカメラを複数台備えるか、または撮影者と共に移動可能な前記���イブカメラを備え、前記ライブ映像処理装置の運営者側と前記表示装置のライブ映像を見るユーザーとの間で通信するためのチャットシステムを用いて、ユーザーが見たいライブ場面をチャットによって受け付ける操作を行うこと、を含む拡張現実処理方法を提供することで達成される。【００１８】  このチャットシステムを用いてユーザーは運営者側に見たいライブ場面をリクエストすることができるようになる。ライブカメラを複数台備えている場合には、ユーザーはどのライブカメラのライブ映像を見たいかをチャットでリクエストし、運営者側はこれに応えて送信するライブ映像を切り替える。ライブカメラが固定されてはいるが方向を変えたり配置を変えたりし得る場合には、そのような操作をチャットで依頼することが可能である。あるいはライブカメラが撮影者と共に移動可能なものである場合には、ユーザーは出演者の移動に付いて回るようにチャットで依頼することが可能である。複数の依頼に対しては要求の多い順に対応したり、運営者側の考えで対応したりすればよい。何れにしてもこの考案によれば、チャットを通じライブ映像に関するユーザーのリクエストに応じて操作することが可能になる。【００１９】  さて請求項１〜３の考案に付いて、前記カメラが同時に撮影した複数のマーカ提示媒体から得られた複数のＡＲマーカを受け取る処理を行い、前記ライブ映像処理装置または前記ライブ映像中継処理装置によってこれ等のマーカにマッチングするマーカをマーカ記憶装置に記録されたマーカの中から検索し、この索出マーカに対応するライブ映像を複数の前記ライブカメラのライブ映像の中から決定し、このライブ映像を前記カメラ側の表示装置に送信処理するように構成することができる。これは上述の特願２０１４−０３１０９１号をさらに改良したものである。【００２０】  各々ＡＲマーカが付された複数のマーカ提示媒体から複数のマーカを受け取り、このマーカのセットに付きマーカ記億装置に記録された同じセットのマーカとマッチングしている場合に、その同じセットに対応するライブ映像を前記カメラ側に送信して、表示装置に前記マーカ提示媒体の映像に重ねて表示させるのである。ＡＲマーカには美麗な画像そのものや、文字列、ＱＲコードやカメレオンコード（何れも登録商標）等が利用可能である。画像の場合には通信負担を軽くすべく圧縮画像を用いるようにしても良い。【００２１】  ライブ映像処理装置またはライブ映像中継処理装置が複数のＡＲマーカの個々に付いてマッチングを取り、その個数の全てのマーカでマッチングが得られた場合にのみこれに対応するライブ映像を決定するようにも、その個数の幾つかのマーカでマッチングが得られた場合にこの部分セットに対応するライブ映像を決定するようにも、あるいは個々のＡＲマーカのマッチングを取るのではなく総体としてマッチングを取るようにも構成することができるが、どの構成で設計するかは自由である。なお複数のＡＲマーカの組み合わせに関しては上述したようなことが実現された上で、それぞれのマーカ提示媒体の１枚ごとに特定のライブ映像を割り当てておき、１枚でもＡＲ表示を楽しむことができるように設計して良い。またマーカ提示媒体の裏面を利用するようにしても良く��この場合にはマーカ提示媒体の表裏の組み合わせによってＡＲ表示し得るライブ映像の数を大きく増やしたり、表示の質そのものを変えたりすることができる。【００２２】  ここで複数のマーカ提示媒体と言うことに付いて説明する。マーカ提示媒体が例えばトレーディングカードである場合、各々ＡＲマーカが印刷された４枚のトレーディングカードを縦横２枚ずつ並べたり、横一列に４枚を並べたりしてカメラで撮影することになるが、この考案では、ただ１枚のカードを４つの区画に分けておき各々の区画にそれぞれＡＲマーカを追加して行くものも、複数のマーカ提示媒体であると定義する。何となれば、ＡＲマーカが追加された後のこの１枚のカードをそれぞれの区画を壊さないようにして分離すれば、複数のカードすなわちマーカ提示媒体となるからである。【００２３】  例えば、前記ＡＲマーカの画像をスタンプ画像とし、複数のスタンプを重ならないように捺すための区分けされたスペースが設けられていることによって、実質的に複数のマーカ提示媒体と見なし得る印刷物を用いるようにすることができる。この用途の一例としてスタンプラリーカードを想定し得る。チェックポイントを回って上記区分けされたスペースにスタンプを捺して行くゲームでは、ライブ映像処理装置またはライブ映像中継処理装置が集まったスタンプに応じたライブ映像を決定し、この特定のライブ映像がスタンプラリーカードの上に重ねて表示される。すなわちスタンプが捺されたスタンプラリーカードは複数のＡＲマーカを有することになる。【００２４】  なお上記ではスタンプに付いて説明したが、スタンプの代わりにシール画像を貼付するタイプのものも提供可能である。なお複数個のスタンプやシール画像を集めることは言わば足算であるが、これを逆に引算にする設計も可能である。例えば展覧会チケットのように入場時に半券が切り取られるものであれば、これが切り取られる前（入場前）と切り取られた後（入場後）とでは、ＡＲマーカに異なるマッチング結果が得られるように設計することが可能である。従って場合により異なるライブ映像を展覧会チケットの上に重ねて表示するようにすることができるのである。【００２５】  また複数の前記マーカ提示媒体の内の少なくとも一に、異なる種類のマーカ提示媒体を用いるようにすることができる。例えばカードとＣＤジャケットとを組合わせたり、ポケットティッシュの包装紙と雑誌の表紙と宣伝用のうちわを組合わせたり、さらにはカードとペットボトルのシュリンクフィルムとを組合わせたりと、まったく自由な発想でこの考案を活用することが可能である。
【考案の効果】
【００２６】  第１の考案によれば、カメラで撮影したＡＲマーカをネットワークを介して受信処理し、ライブ映像処理装置によりＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像をカメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになった。これにより拡張現実の技術は更に興味深いものとなり、その用途もより有用で広範囲に及ぶようになっている。【００２７】  第２の考案によれば、カメラで撮影したＡＲマーカをネットワークを介して受信処理し、ライブ映像中継処理装置によってＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を中継装置を介して、カメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになった。やはり拡張現実の技術が更に興味深いものとなり、その用途もより有用で広範囲に及ぶようになっている。なおこの中継装置にライブ映像の記憶装置を備えている場合では、記憶装置を経由しての送信処理によって、アクセス集中の問題を比較的容易に回避することができると言う利点がある。【００２８】  第３の考案によれば、カメラで撮影したＡＲマーカをネットワークを介して受信処理し、ライブ映像処理装置によりＡＲマーカに対応するライブカメラのライブ映像を決定し、このライブ映像をカメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになるのであるが、さらにライブカメラを複数台備えるかまたは撮影者と共に移動可能なライブカメラを備え、ライブ映像処理装置の運営者側と表示装置のライブ映像を見るユーザーとの間で通信するためのチャットシステムを備えるようにした。これによれば、ユーザーが見たいライブ場面をチャットによって受け付けて対応することができると言う効果を奏する。
【図面の簡単な説明】
【００２９】
【図１】  実施例１のシステムの説明図である。
【図２】  実施例１のＡＲ表示部をブロック図で表した説明図である。
【図３】  実施例１のライブ映像処理部をブロック図で表した説明図である。
【図４】  実施例１のＡＲ表示部の処理ステップを表す説明図である。
【図５】  実施例１のライブ映像処理部の処理ステップを表す説明図である。
【図６】  実施例１のＡＲ表示部の処理ステップを表す説明図である。
【図７】  実施例１のＡＲ表示を模式的に表す説明図である。
【図８】  実施例２のシステムの説明図である。
【図９】  実施例２のライブ映像中継処理部をブロック図で表した説明図である。
【図１０】  実施例２の動作原理の説明図である。
【図１１】  実施例２のＡＲ表示部の処理ステップを表す説明図である。
【図１２】  実施例２のライブ映像中継処理部の処理ステップを表す説明図である。
【図１３】  実施例３のＡＲ表示を模式的に表す説明図である。
【図１４】  実施例３のライブ映像処理部の処理ステップを表す説明図である。
【図１５】  実施例４のＡＲ表示部をブロック図で表した説明図である。
【図１６】  実施例４のライブ映像処理部をブロック図で表した説明図である。
【図１７】  実施例４のＡＲ表示部の処理ステップを表す説明図である。
【図１８】  実施例４のライブ映像処理部の処理ステップを表す説明図である。
【図１９】  実施例４の動作原理の説明図である。
【図２０】  実施例４のＡＲ表示を模式的に表す説明図である。
【図２１】  実施例５のライブ映像処理部をブロック図で表した説明図である。
【図２２】  実施例５のライブ映像処理部の処理ステップを表す説明図である。
【図２３】  実施例６のマーカ提示媒体の説明図である。
【図２４】  実施例７のマーカ提示媒体の説明図である。
【考案を実施するための形態】
【実施例１】
【００３０】  図１乃至図７でこの実施例を説明する。表側にディスプレイ１０を、裏側にカメラ１１を備えたスマートフォン１は無線にてインターネットに接続されている。インターネットにはまたチケット認証サーバ２とこのチケット認証サーバ２側に属するライブカメラ２０とが接続されている（図１）。【００３１】  スマートフォン１のＡＲ表示部４を図２のブロック図で表すと、ＡＲ表示部４は撮像部４０と表示部４１と送受信部４２とから構成されている。一方チケット認証サーバ２のライブ映像処理部５を図３のブロック図で表すと、ライブ映像処理部５は検索部５０とチケット画像記憶部５１と映像処理部５２と送受信部５３と、インターネット越しに接続された遠隔のライブカメラ部５４とから構成されている。【００３２】  各々のブロックの動作は次のようである。すなわち図４で表すようにスマートフォン１のカメラ１１の撮像部４０でチケット３の画像を撮影すると（ステップＳ１）、この撮影画像をＡＲ表示部４の表示部４１が処理してディスプレイ１０に表示すると共に、この撮影画像からチケット３に印刷されている写真３０の部分を切り出し（ステップＳ２）、この写真３０をＡＲマーカとして、送受信部４２を以てインターネット経由でチケット認証サーバ２に宛てて送信する（ステップＳ３）。【００３３】  図３で表すようにチケット認証サーバ２側で注目すべきはチケット画像記憶部５１とライブカメラ５４とである。チケット認証サーバ２では、送受信部５３が上記撮影画像を受信すると（ステップＳ４）、映像処理部５２は検索部５０を以てこの撮影画像に合致する画像をチケット画像記憶部５１の中から索出して（ステップＳ５）、索出された場合にはこれを以て上記チケット３を真正なものとして認証し、このチケット３の所有者たるユーザーのスマートフォン１に、ライブカメラ部５４が只今撮影中のライブ画像を送信するように、映像処理部５２が指令を出し（ステップＳ６）、こうしてライブカメラ部５４は撮影中のライブ画像をスマートフォン１に宛てて送信する（ステップＳ７）。チケット画像記憶部５１の中の画像データにはカード３に印刷された写真３０の画像データと同じものを用意しておく。従って、このカード３が用いられる限り相当のライブ映像を得ることができるのである。なおチケット認証サーバ２とライブカメラ２とは同じ場所に設置されていても良い。なお複数台のライブカメラを配置してライブ映像を並べて表示したり切り替えて表示することに備えて、２台目移行のライブカメラ２０’を鎖線で表した。【００３４】  そのスマートフォン１であるが、ディスプレイ１０には先に撮影されたチケット３の撮影画像３１が表示されているわけであるが、上記ライブカメラ部５４から送信されたライブ映像を送受信部４２にて受信して（ステップＳ８）、このライブ映像３２を表示部４１にて上記撮影画像３１に重ね合わせるようにして表示する（ステップＳ９）。従って例えばコンサートチケットの上に只今この時点の楽屋風景が浮かび上がるように表示することが可能になっており、コンサート前のユーザーの高揚感をより一層高める効果は抜群である。
【実施例２】
【００３５】  図８乃至図１２でこの実施例を説明する。実施例１ではチケット認証サーバ２であったものが、この実施例２ではライブ映像中継処理サーバ２１であり、この側に属するものとしてライブカメラ２０の他に中継映像記憶装置２２がインターネットに接続されている。一方スマートフォン１は後述のようにそのカメラ１１による撮影画像を圧縮処理する点に特徴を有する。【００３６】  図１１で表すようにスマートフォン１のカメラ１１で任意のチケット３を撮影すると（ステップＳ１０）、この撮影画像を図示しない表示部で処理してディスプレイ１０上に表示すると共に、この撮影画像からチケット３に印刷された、ＡＲマーカとしての写真３０の部分を切り出して圧縮処理を行い（ステップＳ１１）、この圧縮した画像データを送受信部を以てインターネット経由でライブ映像中継処理サーバ２１に宛てて送信する（ステップＳ１２）。【００３７】  ライブ映像中継処理サーバ２１は、ライブカメラ２０のライブカメラ部５４と中継映像記憶装置２２のライブ映像中継部５６とにインターネットを介して接続されている。すなわちこのライブ映像中継処理サーバ２１は、実質的にライブ映像中継処理部５５とライブカメラ部５４とライブ映像中継部５６とから構成されている。【００３８】  ライブ映像中継処理部５５では、送受信部５３が上記圧縮された画像データを受信すると（ステップＳ１３）、映像処理部５２は検索部５０を以てこの受信した圧縮画像に合致する圧縮画像をチケット画像記憶部５１の中から索出して（ステップＳ１４）、索出された圧縮画像に紐付けられたライブカメラ２０を決定し（ステップＳ１５）、このようにして決定されたライブカメラ２０のライブ映像をスマートフォン１に宛てて送信するようにライブ映像中継部５６の中継処理部５７に指令する（ステップＳ１６）。いま撮影画像（ｃ）のデータを映像処理部５２が受け取ると、チケット画像記憶部５１の中に記録されている画像（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ・・）を当たり画像（ｃ）を索出するが、画像（ｃ）にはライブカメラ（Ｃ）が紐付けられているため、このライブカメラ２０（Ｃ）を使用すると決定し、ライブ映像中継部５６の中継処理部５７に上述のように引き継ぐのである（図１２）。上記検索部５０では画像同士が比較されるが（図１０）、この際にチケット画像記憶部５１の中の圧縮画像は上記写真３０の圧縮時に用いられたものと同じ圧縮アルゴリズムで処理されたものであるから、圧縮後の両者は大凡合致することになる。なおこの合致割合は任意に設定して良い。なおこの実施例では検索部５０にて圧縮画像同士を比較しているが、圧縮することなく比較したり圧縮されたものであっても一旦解凍した上で比較するように構成することが可能である。【００３９】  中継映像記憶装置２２に於いてライブ映像中継部５２は、中継処理部５７が上記決定されたライブカメラ部５４から送受信部５８によりライブ映像を受信して一旦記録しているが、この蓄積時間はこの実施例では数分とごく短いものである。中継処理部５７は上記映像処理部５２からライブカメラ２０（Ｃ）の使用が指定されたため、このライブ映像をいわゆる追いかけ再生的にスマートフォン１に向けて送信する。従って、ラ��ブカメラ部５４にはアクセスを集中させることなく、スマートフォン１からのアクセスはライブ映像中継部５６に集中させて、ライブ映像の配信処理を円滑なものとすることに成功しているのである。
【実施例３】
【００４０】  図１３および図１４でこの実施例を説明する。上述した実施例２では検索部５０で画像同士を比較して複数あるライブカメラの中からライブカメラ２０（Ｃ）を使用すると決定していた。これに対してこの実施例３では、上述した実施例１のようにユーザーが真正なチケットを持っていると認証したならば、見たいとするライブ映像をスマートフォン１のディスプレイ１０に、先に撮影されたチケット３の撮影画像３１に重ねるようにして、ライブカメラの選択肢表示３４をユーザーが自由に選べるようにＡＲ表示している点に特徴を有する。以下では実施例１を参照して説明する。【００４１】  スマートフォン１のカメラ１１の撮像部４０でチケット３の画像を撮影すると、これをＡＲ表示部４の表示部４１が処理してディスプレイ１０に表示すると共に、この撮影画像からチケット３に印刷されている写真３０の部分を切り出して、この写真３０をＡＲマーカとして、送受信部４２を以てインターネット経由でチケット認証サーバ２に宛て送信する。するとチケット認証サーバ２では、送受信部５３が上記撮影画像を受信すると（ステップＳ１７）、映像処理部５２は検索部５０を以てこの撮影画像に合致する画像をチケット画像記憶部５１の中から検索して（ステップＳ１８）、ここからがこの実施例３の特徴であるが、索出された場合には、これを以て上記チケット３を真正なものとして認証し、このチケット３の所有者たるユーザーのスマートフォン１に複数用意したライブカメラの選択肢を、すなわちライブ映像の選択肢を送信して、ユーザーの選択結果を待ち（ステップＳ１９）、選択結果の情報を受信したらこの選択されたライブカメラ部５４が只今撮影中のライブ画像をスマートフォン１に宛てて送信するように、映像処理部５２が指令を出し（ステップＳ２０）、こうしてこのライブカメラ部５４は撮影中のライブ画像をスマートフォン１に宛てて送信する（ステップＳ２１）。ユーザーは見たいライブ画像を自由意思で選択できる利便性を享受することができる。
【実施例４】
【００４２】  図１５乃至図２０でこの実施例を説明する。スマートフォンのＡＲ表示部６を図１５のブロック図で表す。ＡＲ表示部６は撮像部６０と表示部６１とＡＲマーカ読取部６２と送受信部６３とから構成されている。一方、ライブ映像処理部７を図１６のブロック図で表わすと、ライブ映像処理部７は検索部７０とＡＲマーカ記憶部７１と映像処理部７２と送受信部７３とから構成されている。またインターネットに接続された複数台のライブカメラ部７４を有している。【００４３】  この実施例で用いるスマートフォンは、実施例１と同様に、表側にディスプレイ１０を裏側にカメラ１１を備え、無線にてインターネットに接続されている。この実施例では４枚のトレーディングカード３５を用い、スマートフォンのカメラ１１でＡＲマーカ３６が印刷されたカード３５を撮影すると（ステップＳ２２）、この撮影画像をＡＲ表示部６の撮像部６０が処理して表示部６１にてディスプレイ１０に表示すると共に、この撮影画像からカード３５に印刷されたＡＲマーカ３６をＡＲマーカ読取部６２で読み取り（ステップＳ２３）、このＡＲマーカ３６のデータを送受信部６３からインターネットを経由してライブ映像の処理サーバに宛てて送信する（ステップＳ２４）。なおこの実施例ではＡＲマーカ３６にＱＲコードを用いている。【００４４】  ライブ映像の処理サーバの側では、ライブ映像処理部７の送受信部７３がＡＲマーカ３６のデータを受信すると（ステップＳ２５）、映像処理部７２は検索部７０を以てこの受信したＡＲマーカ３６のデータに合致するマーカーデータをＡＲマーカ記憶部７１の中から検索して（ステップＳ２６）、索出されたＡＲマーカに紐付けられている所のライブカメラ部７４を決定し（ステップＳ２７）、このようにして決定したライブカメラ部７４に対して撮影中のライブ映像を送受信部７３を以てこのスマートフォンに宛てて送信するよういに指令する（ステップＳ２８）。これを受けて当該ライブカメラ部７４は、ライブ映像をこのスマートフォン宛てに送信する（ステップＳ２９）。ＡＲマーカ記憶部７１の中のマーカーデータには、カード３５に印刷されたＡＲマーカ３６のデータと同じものを用意しておく。従ってこのカード３３が用いられる限り相当のライブ映像を得ることができるのである。【００４５】  ところで４枚のカード３５（１、２、３、４）には、各々独自の写真と共に各々独自のＡＲマーカ３６（ｉ、ｉｉ、ｉｉｉ、ｉｖ）が印刷されている。そこで例えば１枚のカード３５（１）に付いてカメラで撮影して、このカード３５（１）のマーカ３６（ｉ）のデータをライブ映像処理サーバに送信すると、ＡＲマーカ記憶部７１の中に記録されている単独のマーカーデータおよび組み合わせのマーカーデータからマーカ（ｉ）を索出するが、このマーカ（ｉ）にはライブカメラ（Ｉ）が紐付けられているため、このライブ映像をライブカメラ（Ｉ）からスマートフォンに送信することになる。するとスマートフォンの側ではディスプレイ１０に、先ほど表示した撮影画像３５に重ね合わせるようにしてこのライブカメラ（Ｉ）のライブ映像を表示するのである。カード３５（２、３、４）の各々に付いても同様の処理を行う。【００４６】  しかしながら��の実施例は上述した処理に止まらず、４枚のカード３５（１、２、３、４）を任意に組合わせてカメラで撮影した場合にも映像決定の処理が決められているのである。すなわち４枚のカード３５の内の何れか２枚の組合わせ、何れか３枚の組合わせ、或いは４枚揃いで撮影すると、ライブ映像処理サーバ側では各々の組み合わせにマッチするライブカメラ部７４のライブ映像をスマートフォン側に送信する処理を行うように構成した。図１９および図２０を用いて４枚揃いの場合を説明すると、スマートフォンのディスプレイ１０には図２０のように縦横２列に整列させた４枚のカード３５（１、２、３、４）が表示されるのであるが、各々の上に印刷されたマーカ３６（ｉ、ｉｉ、ｉｉｉ、ｉｖ）の画像からこの組み合わせに対応するライブカメラ（ＩＶ）が複数台のライブカメラ部７４（Ｉ、ＩＩ、ＩＩＩ、ＩＶ、・・）の中から選択決定されて、このライブカメラ（ＩＶ）で撮影中のライブ映像がスマートフォンの側に返され、この結果ライブ映像３８（ｉｖ）が上記４枚のカード３５（１、２、３、４）に重ねて表示されるのである。【００４７】  この他、ＡＲマーカ３６の並び順を判別してそれに対応するライブカメラ部７４を決定するように構成することも可能である。例えば縦一列配列や横一列配列などを判別し得るように設計するのである。
【実施例５】
【００４８】  図２１及び図２２でこの実施例を説明する。ライブ映像の処理サーバ側は、主体となるライブ映像処理部８とライブカメラ部８４とスイッチ切り替え部８５とから構成されている。複数台のライブカメラから成るライブカメラ部８４は遠隔地に分散して設置されているが、ライブ映像処理部８とスイッチ切り替え部８５とは同一サーバ上に構築されている。スイッチ切り替え部８５の特徴は、ライブカメラ８４を後述するように切り替えるスイッチ部８７と、スマートフォン側と文字で対話するチャット部８６とを備えている点にある。なおチャット部８６とスイッチ部８７とはライブ映像の処理サーバ側のオペレータによって操作されるものである。一方、スマートフォン側にはチャットのアプリ（応用ソフトウェア）がインストールされている。【００４９】  ライブ映像処理部８の映像処理部８２は、送受信部８３を用いてスマートフォンからのチケット画像を受信したら（ステップＳ３０）、検索部８０はこのチケット画像に合致する画像をチケット画像記憶部８１の中から検索し、一致した場合にはこのチケットを真正なものと認証する（ステップＳ３１）。従ってこのスマートフォンのユーザーは、ライブカメラ部８４からのライブ映像をＡＲ表示する権利があり、またオペレータとチャットしてライブ映像を切り替えてもらうことができる。【００５０】  さて上述した認証処理が終わると、所定のライブ映像がライブカメラ部８４から送信され、スマートフォン側でＡＲ表示されるように設定されているが、認証済みユーザーからチャット部８６に対してライブ映像を切り替え要求があった場合には、オペレータはスイッチ部８７を以てライブカメラ部８４のライブカメラの切り替えを行うと、すなわち切り替えた先のライブカメラにそのライブ映像を当該スマートフォンに送信するように指令すると（ステップＳ３２）、当該切り替えられたライブカメラから新たなライブ映像がスマートフォン側に送信されることになる（ステップＳ３３）。【００５１】  なおここでは固定された複数台のライブカメラを切り替えることについて説明したが、例えばライブカメラを携帯したカメラマンとチャットを行って、撮影場所を移動してもらうようにも設計することができる。その何れにせよユーザーとのコラボレーションを可能にして、ユーザーの要望に極力沿ったライブ映像をＡＲ表示するサービスを提供し得るようになる。
【実施例６】
【００５２】  上述の実施例４では、４枚のカード３５（１、２、３、４）を集めて、並べてカメラをかざすと言うことを行っている。すなわち複数のマーカ提示媒体の撮影によって複数のＡＲマーカを得るのである。そしてこの範疇にはこの実施例のようなスタンプカードが含まれることをここに説明する。【００５３】  図２３はこの実施例のスタンプラリーシート３９であり、この表面には３行３列の区画３００が印刷されている。この状態でカメラをかざしても特段何も起こらない。しかしながらスタンプ３０１を区画３００内に捺して行くことにより、スタンプ３０１の数に応じたライブ映像をこのシート３９のスタンプ３０１の上に重ねて表示するように設計されている。すなわち、この実施例のシート３９では各々の区画３００を独立した印刷媒体に見立てることができるのである。【００５４】  なお区画３００内にスタンプ３０１を捺すのではなく、イラスト３０３などが描かれたシール３０２を用いてこれを貼付するものとして提供することも可能である。
【実施例７】
【００５５】  さてこれまではマーカ提示媒体にカード様のものを組合わせて用いる例を取り上げたが、マーカ提示媒体は何もカードに限定されるものではなく、また種類の異なる複数のマーカ提示媒体を組み合わせて使用するようにしても良いわけである。【００５６】  図２４では印刷媒体としてＣＤジャケット３０４とポケットティッシュ３０５とトレーディングカード３０６との組み合わせを用いる実施例を表している。すなわちこの３種類を集めて初めて、カメラをかざした時にこの３種類のマーカ提示媒体の画像に、ライブカメラのライブ映像が重ねて表示されるのである。
【産業上の利用可能性】
【００５７】  この考案はＡＲマーカが付されたマーカ提示媒体に限定されず、例えば風景中に集められた所定の組み合わせの人物や物体などにも広く応用し得る。また建物にＡＲマーカを付すことができるが、建物の場合はこれが地図上で位置するＧＰＳ位置情報やカメラの方位情報を利用するようにしても良い。これ等もまたこの考案の権利範囲内のものである。
【符号の説明】
【００５８】１：スマートフォン  １０：ディスプレイ  １１：カメラ  ２：チケット認証サーバ
２０：ライブカメラ  ２１：ライブ映像中継処理サーバ  ２２：中継映像記憶装置
３：チケット  ３０：写真  ３１：撮影画像  ３２：ライブ映像  ３３：写真
３４：選択肢表示  ３５：カード  ３６：ＡＲマーカ  ３７：撮影画像
３８：ライブ映像  ３９：シート  ３００：区画  ３０１：スタンプ  ３０２：シール
３０３：イラスト  ３０４：ＣＤジャケット  ３０５：ポケットティッシュ
３０６：トレーディングカード  ４：ＡＲ表示部  ４０：撮像部  ４１：表示部
４２：送受信部  ５：ライブ映像処理部  ５０：検索部  ５１：チケット画像記憶部
５２：映像処理部  ５３：送受信部  ５４：ライブカメラ部
５５：ライブ映像中継処理部  ５６：ライブ映像中継部  ５７：中継処理部
５８：送受信部  ６：ＡＲ表示部  ６０：撮像部  ６１：表示部
６２：ＡＲマーカ読取部  ６３：送受信部  ７：ライブ映像処理部  ７０：検索部
７１：ＡＲマーカ記憶部  ７２：映像処理部  ７３：送受信部  ７４：ライブカメラ部
８：ライブ映像処理部  ８０：検索部  ８１：チケット画像記憶部  ８２：映像処理部
８３：送受信部  ８４：ライブカメラ部  ８５：スイッチ切り替え部
８６：チャット部  ８７：スイッチ部
【図１】
0003211308.tif 000003
【図２】
0003211308.tif 000004
【図３】
0003211308.tif 000005
【図４】
0003211308.tif 000006
【図５】
0003211308.tif 000007
【図６】
0003211308.tif 000008
【図７】
0003211308.tif 000009
【図８】
0003211308.tif 000010
【図９】
0003211308.tif 000011
【図１０】
0003211308.tif 000012
【図１１】
0003211308.tif 000013
【図１２】
0003211308.tif 000014
【図１３】
0003211308.tif 000015
【図１４】
0003211308.tif 000016
【図１５】
0003211308.tif 000017
【図１６】
0003211308.tif 000018
【図１７】
0003211308.tif 000019
【図１８】
0003211308.tif 000020
【図１９】
0003211308.tif 000021
【図２０】
0003211308.tif 000022
【図２１】
0003211308.tif 000023
【図２２】
0003211308.tif 000024
【図２３】
0003211308.tif 000025
【図２４】
0003211308.tif 000026