(57)【要約】【課題】個別に再生できる複数の音のタイミングを合わせて再生する技術を提供することを目的としている。【解決手段】再生される音を表す第１音情報に対応付けられた標示を含む空間を撮像する撮像部と、前記標示に基づいて前記第１音情報を取得する音情報取得部と、再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報を前記第２音情報と同期させて再生する再生部と、を備える、情報処理装置である。【選択図】図１
2020065135.tif 000002
【特許請求の範囲】
【請求項１】
再生される音を表す第１音情報に対応付けられた標示を含む空間を撮像する撮像部と、
前記標示に基づいて前記第１音情報を取得する音情報取得部と、
再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報を前記第２音情報と同期させて再生する再生部と、
を備える、情報処理装置。
【請求項２】
前記音情報取得部は、前記標示とは異なる第２の標示を含む空間が撮像された場合、前記第２の標示に基づいて、第２の第１音情報を取得し、
前記再生部は、前記第２音情報の再生時間に基づいて、前記第２の第１音情報を前記第２音情報と同期させてを再生する、
請求項１に記載の情報処理装置。
【請求項３】
前記再生部は、前記撮像部よって前記標示が撮像されなくなった場合、前記第１音情報の再生を停止する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記第２音情報の指定を受け付ける入力部をさらに備え、
前記音情報取得部は、前記第２音情報と前記標示に基づいて、前記第１音情報を取得する、
請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
前記標示に基づいて、前記第２音情報と合わせて再生される第１の映像と前記第２音情報が再生されていない場合に再生される第２の映像とを含む映像情報を取得する映像情報取得部をさらに備え、
前記再生部は、前記第２音情報が再生中の場合、前記第２音情報の再生時間に基づいて、前記第１の映像を前記第２音情報と同期させて再生する再生部し、前記第２音情報が再生中ではない場合、前記第２の映像を再生する、
請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記再生部は、前記第２音情報の再生時間と同じ時間が再生されたタイミングから前記第１音情報を再生することで同期を行う、
請求項１から５のいずれか一項に記載の情報処理装置。
【請求項７】
再生される音を表す第１音情報に対応付けられた標示を含む画像を取得する標示取得部と、
前記標示に基づいて前記第１音情報を取得する音情報取得部と、
情報処理装置によって再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報が前記第２音情報と同期させて再生されるように前記第１音情報を配信する配信部と、
を備える、情報処理システム。
【請求項８】
情報処理装置が、再生される音を表す第１音情報に対応付けられた標示を含む空間を撮像する撮像ステップと、
情報処理装置が、前記標示に基づいて前記第１音情報を取得する音情報取得ステップと、
情報処理装置が、再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報を前記第２音情報と同期させて再生する再生ステップと、
を有する、情報処理方法。
【請求項９】
請求項１から６のいずれか一項に記載の情報処理装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、カメラ撮影、音声再生又は映像再生等の様々な機能を備えるスマートフォンが普及してきている。スマートフォンの普及に伴って、スマートフォンが備える様々な機能を活用したサービスが提供されるようになった。例えば、スマートフォン等の所有者は、カメラを用いてＱＲ（Quick Response）コード（登録商標）又はＡＲ（Augmented Reality）マーカー等の標示をスマートフォンに読み取らせる。スマートフォンは、読み取られた標示に対応付けられた音又は映像等の情報を再生する。このように、スマートフォンの所有者に対して、音又は映像等を視聴させるサービスが提供されている。また、スマートフォンの所有者は、複数の標示をスマートフォンに読み取らせることで、複数の音又は映像等の情報をスマートフォンに再生させることができる。スマートフォンの所有者は、このような複数の音又は映像等の情報を視聴することで、より深みのある音又は映像を楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−００３８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の標示を異なるタイミングで読み取った場合、標示に対応付けられた音は、異なるタイミングで再生される。異なるタイミングで再生された場合、スマートフォンの所有者は、それぞれの音が合わないまま視聴することになる。したがって、スマートフォンの所有者は、再生される音に対して不快感を持つという問題があった。
【０００５】
上記事情に鑑み、本発明は、個別に再生できる複数の音のタイミングを合わせて再生する技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、再生される音を表す第１音情報に対応付けられた標示を含む空間を撮像する撮像部と、前記標示に基づいて前記第１音情報を取得する音情報取得部と、再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報を前記第２音情報と同期させて再生する再生部と、を備える、情報処理装置である。
【０００７】
本発明の一態様は、上記の情報処理装置であって、前記音情報取得部は、前記標示とは異なる第２の標示を含む空間が撮像された場合、前記第２の標示に基づいて、第２の第１音情報を取得し、前記再生部は、前記第２音情報の再生時間に基づいて、前記第２の第１音情報を前記第２音情報と同期させてを再生する。
【０００８】
本発明の一態様は、上記の情報処理装置であって、前記再生部は、前記撮像部よって前記標示が撮像されなくなった場合、前記第１音情報の再生を停止する。
【０００９】
本発明の一態様は、上記の情報処理装置であって、前記第２音情報の指定を受け付ける入力部をさらに備え、前記音情報取得部は、前記第２音情報と前記標示に基づいて、前記第１音情報を取得する。
【００１０】
本発明の一態様は、上記の情報処理装置であって、前記標示に基づいて、前記第２音情報と合わせて再生される第１の映像と前記第２音情報が再生されていない場合に再生される第２の映像とを含む映像情報を取得する映像情報取得部をさらに備え、前記再生部は、前記第２音情報が再生中の場合、前記第２音情報の再生時間に基づいて、前記第１の映像を前記第２音情報と同期させて再生する再生部し、前記第２音情報が再生中ではない場合、前記第２の映像を再生する。
【００１１】
本発明の一態様は、上記の情報処理装置であって、前記再生部は、前記第２音情報の再生時間と同じ時間が再生されたタイミングから前記第１音情報を再生することで同期を行う。
【００１２】
本発明の一態様は、再生される音を表す第１音情報に対応付けられた標示を含む画像を取得する標示取得部と、前記標示に基づいて前記第１音情報を取得する音情報取得部と、情報処理装置によって再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報が前記第２音情報と同期させて再生されるように前記第１音情報を配信する配信部と、を備える、情報処理システムである。
【００１３】
本発明の一態様は、情報処理装置が、再生される音を表す第１音情報に対応付けられた標示を含む空間を撮像する撮像ステップと、情報処理装置が、前記標示に基づいて前記第１音情報を取得する音情報取得ステップと、情報処理装置が、再生中の音を表す第２音情報の再生時間に基づいて、前記第１音情報を前記第２音情報と同期させて再生する再生ステップと、を有する、情報処理方法である。
【００１４】
本発明の一態様は、上記の情報処理装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１５】
本発明により、個別に再生できる複数の音のタイミングを合わせて再生することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態の情報処理装置１００の機能構成を表す機能ブロック図である。
【図２】音情報テーブルの具体例を示す図である。
【図３】映像情報テーブルの具体例を示す図である。
【図４】映像出力部１０３にて再生される撮像映像の一具体例を示す図である。
【図５】撮像部１０５によって読み取られた標示識別子の変化の一具体例を示す図である。
【図６】第１の実施形態の映像情報又は音情報の再生の処理の流れを示すフローチャートである。
【図７】第１の実施形態の再生処理の流れの一具体例を示すフローチャートである。
【図８】第２の実施形態の情報処理システム１のシステム構成図である。
【図９】第２の実施形態の情報処理装置１００ａの機能構成を表す機能ブロック図である。
【図１０】第２の実施形態の配信装置２００の機能構成を表す機能ブロック図である。
【図１１】第２の実施形態の映像情報又は音情報の再生の処理の流れを示すシーケンスチャートである。
【図１２】第２の実施形態の配信処理の流れの一具体例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
図１は、第１の実施形態の情報処理装置１００の機能構成を表す機能ブロック図である。情報処理装置１００は、スマートフォン、タブレットコンピュータ又はパーソナルコンピュータ等の情報処理装置である。情報処理装置１００は、音と映像とを再生する。情報処理装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、再生プログラムを実行することによって通信部１０１、入力部１０２、映像出力部１０３、音出力部１０４、撮像部１０５、角速度センサ１０６、音情報記憶部１０７及び映像情報記憶部１０８を備える装置として機能する。なお、通信部１０１、入力部１０２、映像出力部１０３、音出力部１０４、撮像部１０５、角速度センサ１０６、音情報記憶部１０７及び映像情報記憶部１０８の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。再生プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。再生プログラムは、電気通信回線を介して送信されてもよい。
【００１８】
通信部１０１は、ネットワークインタフェースである。通信部１０１はネットワークを介して、外部の装置と通信する。通信部１０１は、例えば無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＬＴＥ（Long Term Evolution）（登録商標）又は５Ｇ等の通信方式で通信してもよい。
【００１９】
入力部１０２は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。入力部１０２は、入力装置を情報処理装置１００に接続するためのインタフェースであってもよい。この場合、入力部１０２は、入力装置において入力された入力信号から入力データ（例えば、情報処理装置１００に対して、背景音情報を指定する指示を示す指示情報）を生成し、情報処理装置１００に入力する。
【００２０】
映像出力部１０３は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の映像出力装置である。映像出力部１０３は、映像出力装置を情報処理装置１００に接続するためのインタフェースであってもよい。この場合、映像出力部１０３は、映像データから映像信号を生成し自身に接続されている映像出力装置に映像信号を出力する。
【００２１】
音出力部１０４は、スピーカー、イヤホン又はヘッドホン等の音出力装置である。音出力部１０４は、音出力装置を情報処理装置１００に接続するためのインタフェースであってもよい。この場合、音出力部１０４は、音データから音信号を生成し自身に接続されている音出力装置に音信号を出力する。
【００２２】
撮像部１０５は、カメラ等の撮像装置である。撮像部１０５は、標示を含む空間を撮像する。撮像部１０５は、標示を含む空間を撮像して、撮像情報を生成する。撮像情報は、撮像装置によって撮像された映像を表す。撮像部１０５は、撮像装置を情報処理装置１００に接続するためのインタフェースであってもよい。この場合、撮像部１０５は、撮像装置において撮像された撮像信号から撮像情報を生成し、情報処理装置１００に入力する。標示は、例えばＡＲマーカー又はＱＲコード等が描かれた物（例えば、カード、メダル又はバッジ）である。
【００２３】
角速度センサ１０６は、ジャイロセンサ等の角速度を測定する装置である。角速度センサ１０６は、情報処理装置１００に対する振動又は傾きを検出することで情報処理装置１００の角速度を測定する。角速度センサ１０６は、角速度を測定する装置を情報処理装置１００に接続するためのインタフェースであってもよい。この場合、角速度センサ１０６は検出された振動又は傾きに基づいて角速度を算出し、情報処理装置１００に入力する。
【００２４】
音情報記憶部１０７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。音情報記憶部１０７は、音情報テーブルを記憶する。音情報テーブルには、複数の音情報レコードが記録される。
【００２５】
図２は、音情報テーブルの具体例を示す図である。音情報テーブルは、音情報レコードを有する。音情報レコードは標示識別子、個別音情報及び背景音情報の各値を有する。標示識別子は、音情報レコードを一意に識別可能な情報である。標示識別子は、撮像部１０５によって撮像される標示と対応付けられる。標示識別子は、他の音情報レコードに記録される標示識別子と異なる識別子であればどのような識別子であってもよい。個別音情報は、音声又は音楽といった音を表す情報である。個別音情報は、標示識別子と対応付けて音情報レコードに記録される。個別音情報は背景音情報と同期をとって再生される。個別音情報は、情報処理装置１００で再生中の場合に、情報処理装置１００における現在の再生時間を示すタイムスタンプとともに記録される。タイムスタンプは、個別音情報が再生される場合に、どれ位の時間その音が再生されたかを特定する情報である。個別音情報は、第１音情報の一態様である。背景音情報は、個別音情報の伴奏となる音を表す情報である。背景音情報は、複数の個別音情報に共通して再生される音情報である。背景音情報は、個別音情報が同期をとるための基準となる音である。背景音情報は、情報処理装置１００で再生中の場合に、情報処理装置１００における現在の再生時間を示すタイムスタンプとともに記録される。背景音情報は、第２音情報の一態様である。
【００２６】
図２に示される例では、音情報テーブルの最上段の音情報レコードは、標示識別子の値が“ＡＡ０００１”、個別音情報の値が“Ｇｕｉｔａｒ０１”、背景音情報の値が“Ｍｏｏｎ”である。従って、音情報テーブルの最上段のレコードによると、撮像部１０５によって撮像された標示に対応付けられた標示識別子が“ＡＡ０００１”である場合、個別音情報として“Ｇｕｉｔａｒ０１”、背景音情報として“Ｍｏｏｎ”が再生される。なお、図２に示される音情報テーブルは一具体例に過ぎない。そのため、図２とは異なる態様で音情報テーブルが構成されてもよい。例えば、音情報レコードは、背景音情報を再生するための音色を示す楽器を表す値を有してもよい。この場合、背景音情報は、この楽器の音色で再生されてもよい。音情報レコードは、背景音情報を演奏する楽器演奏者を表す値を有してもよい。この場合、背景音情報は、この楽器演奏者の演奏音で再生されてもよい。
【００２７】
映像情報記憶部１０８は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。映像情報記憶部１０８は、映像情報テーブルを記憶する。映像情報テーブルには、複数の映像情報レコードが記録される。
【００２８】
図３は、映像情報テーブルの具体例を示す図である。映像情報テーブルは、映像情報レコードを有する。映像情報レコードは標示識別子、映像情報及び背景音情報の各値を有する。標示識別子は、映像情報レコードを一意に識別可能な情報である。標示識別子は、撮像部１０５によって撮像される標示と対応付けられる。標示識別子は、他の映像情報レコードに記録される標示識別子と異なる識別子であればどのような識別子であってもよい。標示識別子は、音情報レコードの標示識別子と同じ識別子が用いられる。映像情報は、背景音情報と合わせて再生される第１の映像と、背景音情報が再生されていない場合に再生される第２の映像と、を含む情報である。第１の映像は、例えば、個別音情報又は背景音情報を演奏中の人物を表す映像であってもよい。第２の映像は、例えば、背景音情報を演奏していない状態（例えば、演奏準備中）の人物を表す映像であってもよい。第１の映像は、再生時間を示すタイムスタンプとともに記録される。映像情報が複数再生される場合、映像情報は背景音情報と同期をとって再生される。なお、第１の映像及び第２の映像は、どのような映像であってもよいが、３次元で表される映像が望ましい。背景音情報は、図２に示される音情報レコードに保持される背景音情報と同じであるため説明を省略する。
【００２９】
図３に示される例では、映像情報テーブルの最上段の映像情報レコードは、標示識別子の値が“ＡＡ０００１”、映像情報の値が“Ｈｏｔｅｉ０１”、背景音情報の値が“Ｍｏｏｎ”である。従って、映像情報テーブルの最上段のレコードによると、撮像部１０５によって撮像された標示に対応付けられた標示識別子が“ＡＡ０００１”である場合、映像情報として“Ｈｏｔｅｉ０１”、背景音情報として“Ｍｏｏｎ”が再生される。なお、図３に示される映像情報テーブルは一具体例に過ぎない。そのため、図３とは異なる態様で映像情報テーブルが構成されてもよい。
【００３０】
制御部１０９は、情報処理装置１００の各部の動作を制御する。制御部１０９は、例えばＣＰＵ（Central Processing Unit）等のプロセッサ及びＲＡＭ（Random Access Memory）を備えた装置により実行される。制御部１０９は、再生プログラムを実行することによって、撮像情報取得部１１０、撮像映像生成部１１１、標示識別子取得部１１２、音情報取得部１１３、映像情報取得部１１４、再生部１１５及び角速度情報取得部１１６として機能する。
【００３１】
撮像情報取得部１１０は、撮像部１０５によって生成された撮像情報を取得する。撮像情報取得部１１０は、取得された撮像情報を撮像映像生成部１１１に出力する。撮像映像生成部１１１は、撮像情報に基づいて、撮像映像を生成する。撮像映像生成部１１１は、生成された撮像映像を再生部１１５に出力する。撮像映像は、撮像部１０５によって撮像された映像を表す。撮像映像は、ライブビューとして映像出力部１０３にリアルタイムで出力される。
【００３２】
標示識別子取得部１１２は、生成された撮像映像から標示画像を取得する。標示画像は、撮像部１０５によって撮像された標示を表す画像である。標示識別子取得部１１２は、公知の手法を用いて標示画像を取得する。公知の手法は、例えばパターンマッチング等のどのような手法が用いられてもよい。標示識別子取得部１１２は、取得された標示画像に対応付けられた標示識別子を取得する。標示識別子は、予め標示識別子取得部１１２に表示画像と対応付けて記録される。標示識別子取得部１１２は、標示画像が取得された場合、標示情報の位置情報を取得する。位置情報は、撮像映像上の標示画像の位置を表す。標示識別子取得部１１２は、位置情報を公知の手法で取得してもよい。標示識別子取得部１１２は、撮像映像に複数の標示画像が含まれる場合、複数の標示画像を取得する。標示識別子取得部１１２は、複数の標示画像が取得された場合、それぞれの標示画像に対応付けられた標示識別子を取得する。すなわち、標示識別子取得部１１２は、複数の標示画像が取得された場合、複数の標示識別子を取得する。
【００３３】
音情報取得部１１３は、標示識別子に基づいて音情報レコードを取得する。具体的には、音情報取得部１１３は、取得された標示識別子に基づいて、音情報記憶部１０７から音情報レコードを取得する。音情報取得部１１３は、取得された標示識別子と一致する標示識別子の値を保持する音情報レコードを取得する。音情報取得部１１３は、複数の標示識別子が取得された場合、複数の音情報レコードを取得する。
【００３４】
映像情報取得部１１４は、標示識別子に基づいて映像情報レコードを取得する。具体的には、映像情報取得部１１４は、取得された標示識別子に基づいて、映像情報記憶部１０８から映像情報レコードを取得する。映像情報取得部１１４は、取得された標示識別子と一致する標示識別子の値を保持する映像情報レコードを取得する。映像情報取得部１１４は、複数の標示識別子が取得された場合、複数の映像情報レコードを取得する。
【００３５】
再生部１１５は、取得された音情報レコードに基づいて、音出力部１０４に音信号を出力することで音を再生する。出力される音は、音情報レコードに含まれる個別音情報及び背景音情報に基づいて生成される。再生部１１５は、取得された映像情報レコードに基づいて、映像出力部１０３に映像信号を出力することで映像を再生する。出力される映像信号は、映像情報レコードに含まれる映像情報に基づいて生成される。出力される映像信号は、背景音情報によって表される音が再生中の場合、第１の映像を表す映像信号を出力してもよい。出力される映像は、背景音情報によって表される音が再生中ではない場合、第２の映像を表す映像信号を出力してもよい。なお、再生部１１５は、標示が撮像されたことをきっかけに、背景音情報を再生してもよいし、入力部１０２から受け付けた背景音情報の再生指示をきっかけに、背景音情報を再生又は停止してもよい。
【００３６】
再生部１１５は、映像情報を重畳させた撮像映像を再生する。具体的には、再生部１１５は、標示画像の位置情報に基づいて、標示画像又は標示画像の近傍に映像情報を重畳させた撮像映像を再生する。撮像映像に重畳して再生される映像情報は、標示画像に対応付けられた標示識別子によって特定される映像情報レコードに保持される映像情報である。再生部１１５は、標示画像が複数撮像されている場合、撮像映像の各標示画像の近傍に映像情報を重畳させることで、撮像映像内に同時に複数の映像情報を表示させることができる。このため、視聴者は、あたかも撮像映像内に視聴者だけの音楽隊、バンド又はオーケストラ等を作る楽しみを感じることができる。
【００３７】
再生部１１５は、後述の角速度情報取得部１１６から取得した角速度情報に基づいて、撮像映像に重畳された映像情報を傾けて再生する。再生部１１５は、公知の手法を用いて映像情報を傾けてもよい。
【００３８】
再生部１１５は、再生中の背景音情報のタイムスタンプに基づいて、再生中の音と同期させて個別音情報を再生する。具体的には、再生部１１５は、背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから個別音情報を再生する。この場合、再生部１１５は、背景音情報と個別音情報とを重畳して再生する。
【００３９】
再生部１１５は、背景音情報と個別音情報とが再生中の場合に、新しい標示識別子がさらに取得されると、さらに別の個別音情報を再生してもよい。この場合、再生部１１５は、再生中の背景音情報のタイムスタンプに基づいて、再生中の音と同期させて別の個別音情報を再生する。具体的には、再生部１１５は、背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから別の個別音情報を再生する。この場合、再生部１１５は、背景音情報と個別音情報と別の個別音情報とを重畳して再生する。なお、再生部１１５は、背景音情報が再生中ではない場合、個別音情報と背景音情報とが最初から再生する。
【００４０】
再生部１１５は、撮像部１０５によって標示が撮像されなくなった場合、撮像されなくなった標示に基づいて個別音情報の再生を停止する。具体的には、再生部１１５は、標示識別子取得部１１２から撮像されなくなった標示に対応付けられた標示識別子を取得する。再生部１１５は、取得された標示識別子を含む音情報レコードを特定する。再生部１１５は、特定された音情報レコードが保持する個別音情報の再生を停止する。複数の個別音情報が再生されている場合、他の個別音情報は継続して再生される。再生部１１５は、複数の標示が撮像されなくなった場合、複数の個別音情報の再生を停止する。再生部１１５は、撮像部１０５によってすべての標示が撮像されなくなった場合、背景音情報の再生を停止するように構成されてもよいし、背景音情報の再生を継続するように構成されてもよい。
【００４１】
再生部１１５は、背景音情報が再生されている場合、再生中の背景音情報のタイムスタンプに基づいて、再生中の音と同期させた第１の映像情報を再生する。具体的には、再生部１１５は、背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから第１の映像を再生する。再生部１１５は、背景音情報が再生中ではない場合、第２の映像を再生する。なお、再生部１１５は、背景音情報が再生中ではない状態から再生中に変わった場合、第２の映像の再生を停止し、第１の映像を再生する。
【００４２】
再生部１１５は、映像情報が再生中の場合に、新しい標示識別子がさらに取得されると、さらに別の映像情報を再生してもよい。この場合、再生部１１５は、再生中の背景音情報のタイムスタンプに基づいて、再生中の音と同期させて別の映像情報を再生する。具体的には、再生部１１５は、背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから別の映像情報を再生する。
【００４３】
再生部１１５は、撮像部１０５によって標示が撮像されなくなった場合、撮像されなくなった標示に基づいて映像情報の再生を停止する。具体的には、再生部１１５は、標示識別子取得部１１２から撮像されなくなった標示に対応付けられた標示識別子を取得する。再生部１１５は、取得された標示識別子を含む映像情報レコードを特定する。再生部１１５は、特定された映像情報レコードが保持する映像情報の再生を停止する。複数の映像情報が再生されている場合、他の映像情報は継続して再生される。再生部１１５は、複数の標示が撮像されなくなった場合、複数の映像情報の再生を停止する。
【００４４】
再生部１１５は、入力部１０２から音再生オフの指示を受け付けてもよい。音再生オフの指示を受け付けた再生部１１５は、背景音情報及び個別音情報の再生を停止する。また、再生部１１５は、音再生オンの指示を受け付けてもよい。音再生オンの指示を受け付けた再生部１１５は、背景音情報を再生し、さらに個別音情報を背景音情報に重畳させて再生する。
【００４５】
図４は、映像出力部１０３にて再生される撮像映像の一具体例を示す図である。図４（ａ）は、映像出力部１０３にて再生される撮像映像を表す。図４（ａ）は、標示１３３が撮像された直後の撮像映像を表す。映像出力部１０３は、標示１３１、映像１３２及び標示１３３を含む。標示１３１及び標示１３３は、撮像部１０５によって撮像された標示である。映像１３２は、標示１３１に対応付けられた標示識別子に基づいて特定された映像情報レコードが保持する映像情報の第１の映像である。映像１３２は、標示１３１の位置情報に基づいて、撮像映像に重畳して表示される。標示１３３は、撮像部１０５によって撮像された直後であるため、映像は表示されていない。このとき、音出力部１０４からは、標示１３１に対応付けられた標示識別子に基づいて特定された音情報レコードが保持する個別音情報及び背景音情報の音が出力される。
【００４６】
図４（ｂ）は、映像出力部１０３にて再生される撮像映像を表す。図４（ｂ）の映像出力部１０３には、撮像部１０５によって撮像された撮像映像が表示される。映像出力部１０３は、標示１３１、映像１３２、標示１３３及び映像１３４を含む。標示１３１及び標示１３３は、撮像部１０５によって撮像された標示である。映像１３２は、標示１３１に対応付けられた標示識別子に基づいて特定された映像情報レコードが保持する映像情報の第１の映像である。映像１３４は、標示１３３に対応付けられた標示識別子に基づいて、特定された映像情報レコードが保持する映像情報の第１の映像である。映像１３２は、標示１３１の位置情報に基づいて、撮像映像に重畳して表示される。映像１３４は、標示１３３の位置情報に基づいて、撮像映像に重畳して表示される。このとき、音出力部１０４からは、標示１３１に対応付けられた標示識別子に基づいて特定された音情報レコードが保持する個別音情報及び背景音情報の音に加えて、標示１３３に対応付けられた標示識別子に基づいて特定された音情報レコードが保持する個別音情報が重畳して出力される。
【００４７】
図５は、撮像部１０５によって読み取られた標示識別子の変化の一具体例を示す図である。図５（ａ）は、音及び映像が再生されている標示識別子を表す表である。図５（ａ）によると、ＡＡ０００１、ＢＢ０００１、ＢＢ０００２及びＣＣ０００１の４件の標示識別子に基づいて、特定された個別音情報、背景音情報及び映像情報が再生中であることがわかる。図５（ｂ）は、取得された標示識別子を表す表である。図５（ｂ）によると、ＡＡ０００１、ＡＡ０００２、ＢＢ０００１及びＢＢ０００２の４件の標示識別子が取得されたことがわかる。すなわち、標示識別子ＡＡ０００２が新たに取得され、標示識別子ＣＣ０００１が撮像映像に映らなくなったことがわかる。この場合、音情報取得部１１３は、新たに取得された標示識別子ＡＡ０００２に基づいて、音情報レコードを取得する。映像情報取得部１１４は、新たに取得された標示識別子ＡＡ０００２に基づいて、映像情報レコードを取得する。再生部１１５は、音情報レコードに保持された個別音情報と映像情報レコードに保持された映像情報とを、再生する。再生部１１５は、背景音情報に同期させた個別音情報を再生する。再生部１１５は、再生に当たり、すでに再生中の個別音情報と背景音情報とに重畳させて再生する。再生部１１５は、映像情報を背景音情報に同期させた映像情報を再生する。また、再生部１１５は、標示識別子ＣＣ０００１に対応付けられた個別音情報を停止する。再生部１１５は、標示識別子ＣＣ０００１に対応付けられた映像情報を消す。
【００４８】
図６は、第１の実施形態の映像情報又は音情報の再生の処理の流れを示すフローチャートである。情報処理装置１００の再生プログラムが実行されると、撮像部１０５が起動する。撮像部１０５は、再生プログラムの実行中に常に動作する。撮像部１０５は、映像を撮像することで撮像情報を生成する。撮像映像生成部１１１は、撮像情報に基づいて撮像映像を生成する（ステップＳ１０１）。標示識別子取得部１１２は、撮像映像から標示画像を取得する（ステップＳ１０２）。標示識別子取得部１１２は、標示画像が取得できたか否か判定する（ステップＳ１０３）。標示画像が取得できなかった場合（ステップＳ１０３：ＮＯ）、ステップＳ１０１に遷移する。標示画像が取得できた場合（ステップＳ１０３：ＹＥＳ）、標示識別子取得部１１２は、標示画像に基づいて標示識別子を取得する（ステップＳ１０４）。
【００４９】
再生部１１５は、取得された標示識別子に新しい標示識別子が含まれているか否かを判定する（ステップＳ１０５）。新しい標示識別子とは、現在再生中の標示識別子に含まれていない標示識別子である。新しい標示識別子が含まれる場合（ステップＳ１０５：ＹＥＳ）、再生部１１５は、新しい標示識別子に基づいて再生処理を行う（ステップＳ１０６）。再生処理については後述する。新しい標示識別子が含まれていない場合（ステップＳ１０５：ＮＯ）、ステップＳ１０７に遷移する。
【００５０】
再生部１１５は、取得された標示識別子から、再生中の標示識別子が映らなくなったか否かを判定する（ステップＳ１０７）。除かれた標示識別子がある場合（ステップＳ１０７：ＹＥＳ）、再生部１１５は、停止処理を行う（ステップＳ１０８）。具体的には再生部１１５は、映らなくなった標示識別子に対応付けられた個別音情報を停止する。再生部１１５は、映らなくなった標示識別子に対応付けられた映像情報を消す。再生部１１５は、再生処理及び停止処理の結果に基づいて、個別音情報及び背景音情報を重畳させて再生する。再生部１１５は、撮像映像に映像情報を重畳して再生する（ステップＳ１０９）。
【００５１】
図７は、第１の実施形態の再生処理の流れの一具体例を示すフローチャートである。図７は、図６のステップＳ１０６に示される再生処理の詳細な処理の流れを示す。音情報取得部１１３は、標示識別子に基づいて音情報レコードを取得する。映像情報取得部１１４は、標示識別子に基づいて映像情報レコードを取得する（ステップＳ２０１）。再生部１１５は、現在、背景音情報が再生中であるか否かを判定する（ステップＳ２０２）。背景音情報が再生中ではない場合（ステップＳ２０２：ＮＯ）、再生部１１５は、映像情報に含まれる第２の映像を再生する（ステップＳ２０３）。背景音情報が再生中である場合（ステップＳ２０２：ＹＥＳ）、再生部１１５は、背景音情報のタイムスタンプを取得する（ステップＳ２０４）。再生部１１５は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから個別音情報を再生する。再生部１１５は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから第１の映像を再生する（ステップＳ２０５）。
【００５２】
このように構成された情報処理装置１００では、音情報取得部１１３は、撮像部１０５によって複数の標示が撮像された場合、撮像された標示毎に個別音情報と背景音情報と映像情報とを取得する。再生部１１５は、取得された背景音情報と複数の個別音情報とを重畳して再生する。また、再生部１１５は、撮像部１０５によって撮像された撮像映像に、映像情報を重畳して再生することで、現実世界を拡張することができる。再生部１１５は、再生中の背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから個別音情報と映像情報とを再生する。このため、再生部１１５は、音を再生している途中から標示が撮像された場合であっても、音の再生又は映像の再生を途中から合流させることが可能になる。したがって、再生部１１５は、複数の音又は映像のタイミングを合わせて再生することが可能となる。また、再生部１１５は、撮像部１０５によって標示が撮像されなくなった場合、撮像されなくなった標示に基づいて個別音情報又は映像情報の再生を停止する。
【００５３】
このように再生部１１５が動作することで、撮像部１０５によって新しい標示が撮像されれた場合でも、再生部１１５は、音又は映像の再生中に違和感なく新たな音又は映像を再生できる。また、撮像部１０５によって標示が撮像されなくなった場合、再生部１１５は、その標示に対応付けられた音又は映像の再生を停止する。このように再生されることで情報処理装置１００の所有者は、拡張された現実世界における集団演奏の臨場感をより一層感じることができる。また、撮像部１０５によって新しい標示を次々に撮像することで、再生部１１５は、複数の標示が組み合わされた、合唱、合奏、バンド又はオーケストラ等の集合音楽を再生することが可能になる。このように、再生部１１５は、複数の標示に基づいて複数の音又は映像を再生することで、撮像される標示の数が増えるほど、より深みのある音又は映像を再生することが可能になる。また、情報処理装置１００の所有者の好みに応じた再生が可能になるため、飽きの来ない再生が可能になる。したがって、情報処理装置１００の所有者は、様々な標示を求めるようになる。さらに情報処理装置１００の所有者に対して、標示をコレクションする楽しみを提供することが可能になる。
【００５４】
（第２の実施形態）
次に、第２の実施形態における情報処理システム１について説明する。図８は、第２の実施形態の情報処理システム１のシステム構成図である。情報処理システム１では、配信装置２００が情報処理装置１００ａによって撮像された標示に基づいて、音情報及び映像情報を配信する。第２の実施形態における情報処理システム１は、ネットワーク３００に設けられる。情報処理システム１は、ネットワーク３００を介して互いに通信可能に接続される１つ以上の情報処理装置１００ａ及び配信装置２００を備える。ネットワーク３００は、どのようなネットワークで構築されてもよい。例えば、ネットワーク３００は、インターネットで構成されてもよい。以下、第１の実施形態と異なる点について説明する。
【００５５】
図９は、第２の実施形態の情報処理装置１００ａの機能構成を表す機能ブロック図である。情報処理装置１００ａは、制御部１０９の代わりに制御部１０９ａを備え、音情報記憶部１０７及び映像情報記憶部１０８を備えない点で第１の実施形態における情報処理装置１００と異なり、それ以外の点については同じである。
【００５６】
制御部１０９ａは、情報処理装置１００ａの各部の動作を制御する。制御部１０９ａは、例えばＣＰＵ等のプロセッサ及びＲＡＭを備えた装置により実行される。制御部１０９ａは、再生プログラムを実行することによって、撮像情報取得部１１０、撮像映像生成部１１１、標示識別子取得部１１２ａ、再生部１１５ａ及び角速度情報取得部１１６として機能する。なお、撮像情報取得部１１０、撮像映像生成部１１１及び角速度情報取得部１１６については第１の実施形態と同じであるため説明を省略する。以下、標示識別子取得部１１２ａ及び再生部１１５ａの第１実施形態との相違点について説明する。
【００５７】
標示識別子取得部１１２ａは、映像出力部１０３に出力される撮像映像から標示画像を取得する。標示識別子取得部１１２ａは、公知の手法を用いて標示画像を取得する。標示識別子取得部１１２ａは、取得された標示画像を配信装置２００に送信する。標示識別子取得部１１２ａは、標示画像が取得された場合、標示情報の位置情報を取得する。標示識別子取得部１１２ａは、撮像映像に複数の標示画像が含まれる場合、複数の標示画像を取得する。標示識別子取得部１１２ａは、複数の標示画像が取得された場合、それぞれの標示画像を配信装置２００に送信する。
【００５８】
再生部１１５ａは、配信装置２００から背景音情報、個別音情報及び映像情報を取得する。再生部１１５ａは、取得された背景音情報、個別音情報及び映像情報を再生する。具体的には、再生部１１５ａは、取得された背景音情報と個別音情報とを重畳させた音信号を生成し、音出力部１０４に出力することで再生する。再生部１１５ａは、撮像部１０５によって撮像された撮像映像に、映像情報を重畳させた映像信号を生成し、映像出力部１０３に出力することで再生する。再生部１１５ａは、標示識別子取得部１１２ａによって取得された位置情報に基づいて、映像情報に重畳させる。再生部１１５ａは、角速度情報取得部１１６によって取得された角速度情報に基づいて、映像情報を傾けて再生する。
【００５９】
図１０は、第２の実施形態の配信装置２００の機能構成を表す機能ブロック図である。配信装置２００は、サーバ又はパーソナルコンピュータ等の情報処理装置である。配信装置２００は、情報処理装置１００ａに対して音と映像とを配信する。配信装置２００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、配信プログラムを実行することによって通信部２０１、入力部２０２、音情報記憶部２０３、映像情報記憶部２０４及び制御部２０５を備える装置として機能する。なお、通信部２０１、入力部２０２、音情報記憶部２０３、映像情報記憶部２０４及び制御部２０５の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。配信プログラムは、電気通信回線を介して送信されてもよい。
【００６０】
通信部２０１は、ネットワークインタフェースである。通信部２０１はネットワーク３００を介して、情報処理装置１００ａと通信する。通信部２０１は、例えば無線ＬＡＮ、有線ＬＡＮ、ＬＴＥ又は５Ｇ等の通信方式で通信してもよい。
【００６１】
入力部２０２は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。入力部２０２は、入力装置を配信装置２００に接続するためのインタフェースであってもよい。この場合、入力部２０２は、入力装置において入力された入力信号から入力データ（例えば、配信装置２００に対して、背景音情報を決定する指示を示す指示情報）を生成し、配信装置２００に入力する。
【００６２】
音情報記憶部２０３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。音情報記憶部２０３は、音情報テーブルを記憶する。音情報テーブルには、複数の音情報レコードが記録される。音情報記憶部２０３は、音情報記憶部１０７と同じである。
【００６３】
映像情報記憶部２０４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。映像情報記憶部２０４は、映像情報テーブルを記憶する。映像情報テーブルには、複数の映像情報レコードが記録される。映像情報記憶部２０４は、映像情報記憶部１０８と同じである。
【００６４】
制御部２０５は、配信装置２００の各部の動作を制御する。制御部２０５は、例えばＣＰＵ等のプロセッサ及びＲＡＭを備えた装置により実行される。制御部２０５は、配信プログラムを実行することによって、標示識別子取得部２０６、音情報取得部２０７、映像情報取得部２０８及び配信部２０９として機能する。なお、音情報取得部２０７及び映像情報取得部２０８は、第１の実施形態における音情報取得部１１３及び映像情報取得部１１４と同じであるため説明を省略する。なお、標示識別子取得部２０６は、標示取得部の一態様である。
【００６５】
標示識別子取得部２０６は、情報処理装置１００ａによって送信された標示識別子を取得する。標示識別子取得部２０６は、情報処理装置１００ａから複数の標示識別子が送信された場合、すべての標示識別子を取得する。標示識別子取得部２０６は、取得された標示識別子を音情報取得部２０７及び映像情報取得部２０８に出力する。
【００６６】
配信部２０９は、情報処理装置１００ａに対して個別音情報、背景音情報及び映像情報を配信する。配信部２０９は、例えばストリーミング形式で情報処理装置１００ａに配信する。配信部２０９は、個別音情報、背景音情報及び映像情報を配信するにあたり、これらの再生時間を同期させて配信する。具体的には、配信部２０９は、背景音情報が再生中の場合、背景音情報のタイムスタンプを取得する。配信部２０９は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから個別音情報が再生されるように個別音情報を配信する。配信部２０９は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから第１の映像が再生されるように映像情報を配信する。配信部２０９は、背景音情報が再生中ではない場合、個別音情報と背景音情報とが最初から再生されるように配信する。配信部２０９は、背景音情報が再生中ではない場合、第２の映像が再生されるように映像情報を配信する。なお、配信部２０９は、背景音情報が再生中ではない状態から再生中に変わった場合、第２の映像の配信を停止し、第１の映像が再生されるように映像情報を配信する。
【００６７】
配信部２０９は、背景音情報と個別音情報と映像情報とを配信中に、さらに別の標示識別子が取得された場合、配信中の背景音情報のタイムスタンプに基づいて、配信中の音と同期させた別の個別音情報及び映像情報を配信する。具体的には、配信部２０９は、背景音情報のタイムスタンプによって表される再生時間と同じ時間が再生されるタイミングから別の個別音情報及び映像情報が再生されるように個別音情報及び映像情報を配信する。この場合、再生部１１５ａは、背景音情報と個別音情報と別の個別音情報とを重畳して再生する。再生部１１５ａは、撮像情報に重畳して別の映像情報を再生する。
【００６８】
配信部２０９は、標示識別子が取得されなくなった場合、取得されなくなった標示識別子に基づいて映像情報の配信を停止する。具体的には、配信部２０９は、取得されなくなった標示識別子を含む映像情報レコードを特定する。配信部２０９は、特定された映像情報レコードが保持する映像情報の配信を停止する。配信部２０９は、複数の標示が取得されなくなった場合、複数の映像情報の再生を停止する。
【００６９】
図１１は、第２の実施形態の映像情報又は音情報の再生の処理の流れを示すシーケンスチャートである。情報処理装置１００ａの再生プログラムが実行されると、撮像部１０５が起動する。撮像部１０５は、再生プログラムの実行中、常に起動する。撮像部１０５は、映像を撮像することで撮像情報を生成する。図１１のステップＳ１０１からステップＳ１０４については、図６のステップＳ１０１からステップＳ１０４と同じであるため説明を省略する。
【００７０】
標示識別子取得部１１２ａは、取得された標示画像を配信装置２００に送信する（ステップＳ３０１）。配信部２０９は、送信された標示識別子に新しい標示識別子が含まれているか否かを判定する（ステップＳ３０２）。新しい標示識別子が含まれる場合（ステップＳ３０２：ＹＥＳ）、配信部２０９は、新しい標示識別子に基づいて配信処理を行う（ステップＳ３０３）。配信処理については後述する。新しい標示識別子が含まれていない場合（ステップＳ３０２：ＮＯ）、ステップＳ３０４に遷移する。
【００７１】
配信部２０９は、取得された標示識別子から、情報処理装置１００ａにて再生中の標示識別子が映らなくなったか否かを判定する（ステップＳ３０４）。映らなくなった標示識別子がある場合（ステップＳ３０４：ＹＥＳ）、配信部２０９は、配信停止処理を行う（ステップＳ３０５）。具体的には配信部２０９は、除かれた標示識別子に対応付けられた個別音情報の配信を停止する。配信部２０９は、除かれた標示識別子に対応付けられた映像情報の配信を停止する。配信部２０９は、配信処理及び配信停止処理に基づいて、個別音情報、背景音情報及び映像情報を情報処理装置１００ａに配信する（ステップＳ３０６）。再生部１１５ａは、配信された個別音情報、背景音情報及び映像情報を再生する（ステップＳ３０７）。
【００７２】
図１２は、第２の実施形態の配信処理の流れの一具体例を示すフローチャートである。図１２は、図１１のステップＳ３０３に示される配信処理の詳細な処理の流れを示す。音情報取得部２０７は、標示識別子に基づいて音情報レコードを取得する。映像情報取得部２０８は、標示識別子に基づいて映像情報レコードを取得する（ステップＳ４０１）。配信部２０９は、現在、情報処理装置１００ａに対して背景音情報を配信中であるか否かを判定する（ステップＳ４０２）。背景音情報を配信中ではない場合（ステップＳ４０２：ＮＯ）、配信部２０９は、映像情報に含まれる第２の映像を配信する（ステップＳ４０３）。背景音情報を配信中である場合（ステップＳ４０２：ＹＥＳ）、配信部２０９は、背景音情報のタイムスタンプを取得する（ステップＳ４０４）。配信部２０９は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから個別音情報が再生されるように個別音情報を配信する。配信部２０９は、取得されたタイムスタンプによって表される再生時間と同じ時間が再生されたタイミングから第１の映像が再生されるように第１の映像を配信する（ステップＳ４０５）。
【００７３】
このように構成された情報処理システム１では、情報処理装置１００ａは、撮像された標示に基づいて取得された標示識別子を配信装置２００に送信する。配信装置２００の配信部２０９は、送信された標示識別子に基づいて、情報処理装置１００ａに対して個別音情報、背景音情報及び映像情報を配信する。このように、個別音情報、背景音情報及び映像情報は、配信装置２００から配信される。したがって、音又は映像の配信者は、配信される個別音情報、背景音情報又は映像情報をより簡単にアップデートすることが可能になる。例えば、背景音情報、個別音情報又は映像情報は、日毎に異なる背景音情報、個別音情報又は映像情報を配信することも可能になる。
【００７４】
上述の実施形態では、再生部１１５又は配信部２０９は、背景音情報のタイムスタンプによって表される再生時間と、同じ時間が再生されたタイミングから個別音情報が再生されるものとして説明した。しかし、再生部１１５又は配信部２０９は、最初に再生された個別音情報のタイムスタンプを基準としてもよい。具体的には、再生部１１５又は配信部２０９は、最初に再生又は配信された個別音情報のタイムスタンプによって表される再生時間と、同じ時間が再生されたタイミングから個別音情報が再生されるように制御を行ってもよい。
【００７５】
音情報取得部１１３は、入力部１０２を介して背景音情報を指定する指定指示を受け付けてもよい。音情報取得部１１３は、指定された背景音情報と取得された標示識別子とに基づいて個別音情報を特定するように構成されてもよい。この場合、標示識別子には、再生される音の音色を示す楽器又は楽器演奏者が紐づけられる。このように構成されることで、再生部１１５は、入力部１０２を介して受け付けた背景音情報を、標示識別子によって紐づけられた楽器又は楽器演奏者によって表される個別音情報で再生することが可能になる。例えば、「ギター」の絵が描写された標示が撮像された場合、入力部１０２を介して入力された背景音情報と撮像された標示とに基づいて、再生部１１５は入力された背景音情報が「ギター」の音源で再生することが可能とするように構成されてもよい。
【００７６】
映像情報取得部１１４は、入力部１０２を介して背景音情報の指定指示を受け付けてもよい。映像情報取得部１１４は、指定された背景音情報と取得された標示識別子とに基づいて映像情報を特定するように構成されてもよい。この場合、標示識別子には、楽器演奏者が紐づけられる。このように構成されることで、再生部１１５は、入力部１０２を介して受け付けた背景音情報を、標示識別子によって紐づけられた楽器演奏者によって演奏される映像を再生することが可能になる。
【００７７】
音情報取得部１１３は、入力部１０２を介して背景音情報の指定指示を受け付けてもよい。音情報取得部１１３は、指定された背景音情報と取得された標示識別子とに基づいて複数の個別音情報を特定するように構成されてもよい。このように構成されることで、再生部１１５は、１つの標示識別子であっても、複数の個別音情報と背景音情報とを再生することが可能になる。
【００７８】
本実施形態では、情報処理装置又は配信装置は１台の装置であるとして説明したが、複数の装置で構成されてもよい。情報処理装置１００又は配信装置２００は、クラウドコンピューティングシステムによって構成されてもよい。
【００７９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８０】
１…情報処理システム，１００…情報処理装置，  １０１…通信部，  １０２…入力部，  １０３…映像出力部，  １０４…音出力部，  １０５…撮像部，  １０６…角速度センサ，  １０７…音情報記憶部，  １０８…映像情報記憶部，  １０９…制御部，  １１０…撮像情報取得部，  １１１…撮像映像生成部，  １１２…標示識別子取得部，  １１３…音情報取得部，  １１４…映像情報取得部，  １１５…再生部，  １１６…角速度情報取得部，  １００ａ…情報処理装置，  １０９ａ…制御部，  １１２ａ…標示識別子取得部，  １１５ａ…再生部，  ２００…配信装置，  ２０１…通信部，  ２０２…入力部，  ２０３…音情報記憶部，  ２０４…映像情報記憶部，  ２０５…制御部，  ２０６…標示識別子取得部，２０７…音情報取得部，  ２０８…映像情報取得部，  ２０９…配信部，  ３００…ネットワーク
【図１】
2020065135.tif 000003
【図２】
2020065135.tif 000004
【図３】
2020065135.tif 000005
【図４】
2020065135.tif 000006
【図５】
2020065135.tif 000007
【図６】
2020065135.tif 000008
【図７】
2020065135.tif 000009
【図８】
2020065135.tif 000010
【図９】
2020065135.tif 000011
【図１０】
2020065135.tif 000012
【図１１】
2020065135.tif 000013
【図１２】
2020065135.tif 000014