(57)【要約】【課題】映像コンテンツを再生する際の視点を、一人称視点または三人称視点の少なくともいずれかに切り替えることが可能な情報処理装置および記録媒体を提案する。【解決手段】コンテンツ取得部により取得されたコンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替える視点切替制御部と、前記コンテンツを一部編集する編集部と、前記編集部により編集された前記コンテンツを前記視点切替制御部により切り替えられた視点で再生する再生制御部と、を備える情報処理装置。【選択図】図１
2014127987.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ取得部により取得されたコンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替える視点切替制御部と、
前記コンテンツを一部編集する編集部と、
前記編集部により編集された前記コンテンツを前記視点切替制御部により切り替えられた視点で再生する再生制御部と、
を備える情報処理装置。
【請求項２】
前記一人称視点は、前記コンテンツに登場するオブジェクトの視点である、請求項１に記載の情報処理装置。
【請求項３】
前記コンテンツは、静止画または動画による画像データを含み、
前記オブジェクトは、生物、仮想生物、またはキャラクターである、請求項２に記載の情報処理装置。
【請求項４】
前記編集部は、前記コンテンツに登場する前記オブジェクトの画像データを、前記コンテンツ取得部により取得された他のコンテンツに登場する他のオブジェクトの画像データに入れ替える、請求項２に記載の情報処理装置。
【請求項５】
前記コンテンツは、音声データを含み、
前記編集部は、前記コンテンツに登場する前記オブジェクトの音声データを、前記コンテンツ取得部により取得された他のコンテンツに登場する他のオブジェクトの音声データに入れ替える、請求項２に記載の情報処理装置。
【請求項６】
前記情報処理装置は、ユーザのジェスチャーを認識する認識部をさらに備え、
前記視点切替制御部は、前記認識部により認識された前記ユーザのジェスチャーに応じて前記視点を切り替える、請求項１に記載の情報処理装置。
【請求項７】
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が切り替えられる前の視点から切り替え後の視点に徐々に変化するモーフィング画像を再生する、請求項１に記載の情報処理装置。
【請求項８】
前記再生制御部は、前記視点切替制御部により前記視点が一人称視点から三人称視点に切り替えられる際に、前記視点がまずドリーバックし、次にズームアウトするよう変化する前記モーフィング画像を再生する、請求項７に記載の情報処理装置。
【請求項９】
前記再生制御部は、前記視点切替制御部により前記視点が三人称視点から一人称視点に切り替えられる際に、前記視点がまずズームインし、次にドリーインするよう変化する前記モーフィング画像を再生する、請求項７に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記情報処理装置の位置情報を取得する位置情報取得部をさらに備え、
前記視点は、前記コンテンツの空間における任意の位置からの視点を含み、
前記視点切替制御部は、前記コンテンツの空間における、前記位置情報取得部により取得された前記位置情報に対応する位置からの視点に切り替える、請求項７に記載の情報処理装置。
【請求項１１】
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が前記コンテンツの空間におけるオブジェクトに対応する領域の内に位置する場合、ドリーインまたはドリーバックするよう変化するモーフィング画像を再生する、請求項１０に記載の情報処理装置。
【請求項１２】
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が前記コンテンツの空間におけるオブジェクトに対応する領域の外に位置する場合、ズームインまたはズームアウトするよう変化するモーフィング画像を再生する、請求項１０に記載の情報処理装置。
【請求項１３】
前記位置情報は、ＧＰＳを利用して測位される、請求項１０に記載の情報処理装置。
【請求項１４】
前記位置情報は、特定の位置に対する相対位置によって測位される、請求項１０に記載の情報処理装置。
【請求項１５】
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、音像の定位位置が徐々に変化するよう前記コンテンツを再生する、請求項１に記載の情報処理装置。
【請求項１６】
前記再生制御部は、前記視点切替制御部により視点が切り替えられる際に所定のオーディオデータを再生する、請求項１に記載の情報処理装置。
【請求項１７】
コンピュータに、
コンテンツ取得部により取得されたコンテンツを再生する際の視点を、少なくとも一人称視点および三人称視点の少なくとも何れかの視点に切り替えるステップと、
前記視点の切り替えに応じて前記コンテンツを一部編集するステップと、
編集された前記コンテンツを切り替えられた視点で再生するステップと、
を実行させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および記録媒体に関する。
【背景技術】
【０００２】
近年、モバイル端末の通信速度や、記憶容量、表示画面の精密度等の技術が格段と進歩し、映画やドラマ等のビデオコンテンツを手軽にモバイル端末にダウンロードして閲覧を楽しめるようになった。このようなビデオコンテンツの管理に関する技術として例えば次のような技術が開示されている。
【０００３】
例えば、下記特許文献１では、既に上映または放映された映画やテレビ番組をデータベース化することによって、プロが作成した映画やテレビ番組の高画質・高音質のデータを利用することが提案されている。より具体的には、特許文献１に記載のダウンロードシステムでは、ユーザは映像作品の任意の一部の音声データや動画データにアクセスしてダウンロードすることが可能となり、これを通信端末の待受画面や着信用メロディ等に利用できる。
【０００４】
また、下記特許文献２では、シーンコンテンツデータと関連するひとつ以上のコンテンツに関連するリンク情報を自動的に含ませる技術が開示されている。なお、シーンコンテンツデータ（撮影画像）とＧＰＳ位置情報（撮影場所情報）とをリンクすることも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３２５２４１号公報
【特許文献２】特表２００７−５２８０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記いずれの特許文献においても、映像コンテンツを提供するのみであって、映像コンテンツを再生する際の視点を切り替えることについては何ら言及されていなかった。
【０００７】
そこで、本開示では、映像コンテンツを再生する際の視点を、一人称視点または三人称視点の少なくともいずれかに切り替えることが可能な、新規かつ改良された情報処理装置および記録媒体を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、コンテンツ取得部により取得されたコンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替える視点切替制御部と、前記コンテンツを一部編集する編集部と、前記編集部により編集された前記コンテンツを前記視点切替制御部により切り替えられた視点で再生する再生制御部と、を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータに、コンテンツ取得部により取得されたコンテンツを再生する際の視点を、少なくとも一人称視点および三人称視点の少なくとも何れかの視点に切り替えるステップと、前記視点の切り替えに応じて前記コンテンツを一部編集するステップと、編集された前記コンテンツを切り替えられた視点で再生するステップと、を実行させるためのプログラムが記録された記録媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、映像コンテンツを再生する際の視点を、一人称視点または三人称視点の少なくともいずれかに切り替えることが可能である。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理装置の概要を説明するための図である。
【図２】本開示の一実施形態に係る情報処理装置によるコンテンツの編集処理を説明するための図である。
【図３】第１の実施形態に係るＨＭＤの外観構成を説明するための図である。
【図４】第１の実施形態に係るＨＭＤの内部構成を示すブロック図である。
【図５】第１の実施形態に係るＨＭＤがユーザを正面から撮像した撮像画像を取得する処理を説明するための図である。
【図６】第１の実施形態に係る認識部によるジェスチャー認識を説明するための図である。
【図７】第１の実施形態に係る制御部の動作を示すフローチャートである。
【図８】第１の実施形態に係る制御部の動作を示すフローチャートである。
【図９】第１の実施形態に係る制御部の動作を示すフローチャートである。
【図１０】第１の実施形態に係る視点切替制御部による視点の切り替えを説明するための図である。
【図１１】変形例１に係るＨＭＤの動作処理を説明するための図である。
【図１２】第２の実施形態に係るスマートフォンの概要を説明するための図である。
【図１３】第２の実施形態に係る制御部の動作処理を示すフローチャートである。
【図１４】第２の実施形態に係る制御部の動作処理を示すフローチャートである。
【図１５】変形例２に係るスマートフォンの動作を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置の概要
２．各実施形態
２−１．第１の実施形態
２−１−１．ＨＭＤの外観構成
２−１−２．ＨＭＤの内部構成
２−１−３．動作処理
２−１−４．変形例１
２−２．第２の実施形態
２−２−１．概要
２−２−２．動作処理
２−２−３．変形例２
３．まとめ
【００１４】
＜＜１．本開示の一実施形態に係る情報処理装置の概要＞＞
図１および図２を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。図１は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。図１に示すように、本実施形態に係る情報処理装置は、一例として眼鏡型のＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１により実現される。ＨＭＤ１は、後に詳細に説明する通り、ユーザ２に装着されてユーザ２に対してコンテンツを再生する装置であり、装着したユーザ２の視界一杯に映像を映し出すことで、臨場感がある仮想現実を構築することができる。コンテンツには、動画または静止画による映像（画像データ）が少なくとも含まれ、例えば映画やドラマ、アニメーションなどが該当する。本明細書では、コンテンツは映画であるものとして説明する。
【００１５】
一般的に、ユーザ２は、コンテンツを視聴する際には、そのコンテンツを撮影したカメラの視点（三人称視点）で視聴する。つまり、ユーザ２は、あたかもコンテンツが撮影された撮影現場に居て、カメラのレンズの位置から撮影対象（オブジェクト）を見ているかのように、コンテンツを視聴する。撮影対象としては、例えば映画やドラマに出演する俳優、犬、猫などの生物、ロボット、ＣＧ（コンピュータグラフィックス）等により表現される仮想生物、アニメーションのキャラクターなどがある。
【００１６】
ここで、ユーザ２が、図１に示す撮影地１００で撮影されたコンテンツ１０１を視聴する場面を想定する。このとき、図１に示すように、ユーザ２は、撮影地１００に居る撮影対象（コンテンツ１０１に登場する女優３及び男優４）を、あたかもコンテンツ１０１を撮影したカメラの位置から見るかのように、コンテンツ１０１を視聴する。なお、コンテンツ１０１が撮影された時、女優３および男優４は、図１に示す撮影地１００におけるＸ軸、Ｙ軸、およびＺ軸が交わる原点の位置に居たものとする。また、コンテンツ１０１を撮影したカメラは、撮影時には図１に示すＸ軸上に位置していたものとする。
【００１７】
ここで、上述したように、特許文献１、２では、映像コンテンツを提供する情報処理装置を開示するのみであって、映像コンテンツを再生する際の視点を切り替えることについては何ら言及されていなかった。
【００１８】
しかしながら、映像コンテンツを再生する際の視点を、単なる三人称視点から映像コンテンツに登場する撮影対象からの視点である一人称視点に切り替えることができれば、映像コンテンツのエンターテインメント性がより向上する。
【００１９】
そこで、上記事情を一着眼点にして本開示の各実施形態に係る情報処理装置を創作するに至った。本開示の各実施形態に係る情報処理装置は、コンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替えて、コンテンツを再生することができる。
【００２０】
例えば、図１に示すように、ＨＭＤ１は、視点を上述した三人称視点から、コンテンツ１０１に登場する男優４から見た視点である一人称視点に切り替えて、一人称視点でコンテンツ１０４を再生することができる。コンテンツ１０４は、男優４の視点から見た女優３が写る映像コンテンツである。これにより、ユーザ２は、コンテンツの世界に没入して、あたかも男優４として役を演じているかのように、男優４になりきってコンテンツを楽しむことができる。
【００２１】
ここで、ＨＭＤ１は、一人称視点の中でも、さらに視点を切り替えてコンテンツを再生することができる。例えば、ＨＭＤ１は、図１に示すように、男優４の位置からさらに女優３に接近した視点に切り替えて、コンテンツ１０５を再生することができる。これにより、ユーザ２は、女優３に一歩踏み込んだ位置で男優４の役を演じているかのように、コンテンツを楽しむことができる。また、ＨＭＤ１は、さらに接近した視点に切り替えて、コンテンツ１０６、コンテンツ１０７を再生することができる。
【００２２】
一方、三人称視点の中でも、ＨＭＤ１はさらに視点を切り替えてコンテンツを再生することができる。例えば、ＨＭＤ１は、コンテンツ１０１を撮影したカメラの位置とは異なる位置である視点２−２に切り替えて、コンテンツ１０２を再生することができる。このとき、ユーザ２は、撮影地１００に居る女優３および男優４を、視点２−２の位置から見ているかのように、コンテンツ１０２を視聴することができる。また、ＨＭＤ１は、視点２−３に切り替えて、コンテンツ１０３を再生することができる。
【００２３】
さらに、本実施形態に係るＨＭＤ１は、コンテンツの一部を編集することも可能である。以下、図２を参照し、ＨＭＤ１によるコンテンツの編集について説明する。
【００２４】
図２は、本開示の一実施形態に係る情報処理装置によるコンテンツの編集処理を説明するための図である。図２に示すように、三人称視点から見たコンテンツであるコンテンツ１０１Ａでは、女優３と男優４が向き合っている。本実施形態に係るＨＭＤ１は、コンテンツ１０１Ａに写っている男優４の顔部分をユーザ２の顔に入れ替えるよう編集したコンテンツ１０１Ｂに生成することができる。これにより、ユーザ２はあたかも自身が出演していたコンテンツを視聴するかのように、コンテンツを楽しむことができる。
【００２５】
ここで、三人称視点で自分の姿が写されたコンテンツを見た後に一人称視点に切り替えられた場合には、ユーザ２は、今まで外から見ていた自分の肉体に戻る、という感覚を体験することができる。また、一人称視点から自分の姿が映されたコンテンツを見る三人称視点に切り替えられた場合には、ユーザ２は、自分の肉体を外から見る、いわゆる体外離脱した感覚を体験することができる。これらの感覚は、ＨＭＤ１が臨場感のある仮想現実を構築できることに相まって、実際に体外離脱したかのように感じられる。
【００２６】
このように、ユーザ２は、一部が自分の姿に入れ替えられたコンテンツを見ることで、コンテンツにより没入して楽しむことができる。
【００２７】
以上、本開示の一実施形態に係る情報処理装置の概要について説明した。続いて、このような本開示についての各実施形態を順次説明する。なお、図１に示す例では、情報処理装置の一例として眼鏡型のＨＭＤ１を用いたが、本開示に係る情報処理装置はこれに限定されない。例えば、情報処理装置は、眼鏡型以外のＨＭＤ、デジタルカメラ、デジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、携帯電話端末、スマートフォン、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
【００２８】
＜＜２．各実施形態＞＞
＜２−１．第１の実施形態＞
［２−１−１．ＨＭＤの外観構成］
図１に示したＨＭＤ１について、まず図３を参照して外観構成を説明し、次に図４〜６を参照して内部構成を説明する。
【００２９】
図３は、第１の実施形態に係るＨＭＤ１の外観構成を説明するための図である。図３に示すＨＭＤ１は、眼鏡型ディスプレイまたはシースルーＨＭＤと称される。具体的には、ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、図３に示すように両耳殻にかけられることでユーザ２に装着される。そしてこのＨＭＤ１は、図３に示すような装着状態において、ユーザ２の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部６０ａ、６０ｂが配置される構成とされている。この表示部６０（表示部６０ａ、６０ｂ）には、例えば液晶パネルが用いられ、ＨＭＤ１は、液晶パネルの透過率を制御することで、図３に示すようなスルー状態、即ち透明または半透明の状態とできる。表示部６０がスルー状態とされることで、ＨＭＤ１を眼鏡のようにユーザ２が常時装着していても、通常の生活には支障がない。
【００３０】
さらに、表示部６０は、透明または半透明の状態のまま、テキストや図等の画像を表示することで、現実空間の風景にＡＲ（拡張現実）情報を重畳表示することができる。
【００３１】
また、表示部６０は、撮像レンズ２０ａ、２０ｂで撮像された現実空間の撮像画像を表示部６０に表示し、当該現実空間の撮像画像にＡＲ（拡張現実）情報を重畳表示することも可能である。また、表示部６０は、ＨＭＤ１が外部機器から受信したコンテンツや、ＨＭＤ１の記憶媒体（後述の記憶部４０）に記憶されるコンテンツを再生表示することも可能である。外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。
【００３２】
表示部６０に再生表示されるコンテンツとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツ、電子書籍等のデータであってもよい。また、かかるコンテンツは、ユーザ２がパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲームプログラムに基づくゲーム画像など、表示対象となるあらゆるデータが想定される。
【００３３】
また、図３では右眼側しか示されていないが、ユーザ２がＨＭＤ１を装着した状態で、ユーザ２を近距離から撮像するように、ユーザ２に向けて撮像レンズ２０ａ、２０ｂが配置されている。ここで、撮像レンズ２０ａはユーザ２の顔の右上部分を撮像し、撮像レンズ２０ｂはユーザ２の顔の右下部分および右上半身を撮像する。同様に、図示しない左眼側に設けられる撮像レンズにより、ユーザ２の顔の左上部分、およびユーザ２の顔の左下部分および左上半身が撮像される。後に説明する通り、ＨＭＤ１は、ユーザ２を近距離から撮像したこれらの撮像画像を合成することで、ユーザ２を正面から撮像したかような撮像画像を生成することができる。
【００３４】
また、ユーザ２がＨＭＤ１を装着した状態において、ユーザ２が視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ２０ｃ、２０ｄが配置されている。
【００３５】
また、図３では左耳側しか示されていないが、装着状態でユーザ２の右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ７０ａが設けられる。
【００３６】
また右眼用の表示部６０ａの右方と、左眼用の表示部６０ｂの左方に、外部音声を集音するマイクロホン３０ａ、３０ｂが配置される。
【００３７】
なお図３に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザ２が装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザ２の眼の前方に近接して表示部６０が設けられていればよい。また表示部６０は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
【００３８】
またイヤホンスピーカ７０ａは、左右のイヤホンスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン３０ａ、３０ｂのうちの一方でもよい。
【００３９】
また、マイクロホン３０ａ、３０ｂやイヤホンスピーカ７０ａを備えない構成も考えられる。
【００４０】
以上、本実施形態に係るＨＭＤ１の外観構成について説明した。
【００４１】
［２−１−２．ＨＭＤの内部構成］
図４は、第１の実施形態に係るＨＭＤ１の内部構成を示すブロック図である。図４に示すように、ＨＭＤ１は、制御部１０、撮像部２０、音声入力部３０、記憶部４０、通信部５０、表示部６０、および音声出力部７０を有する。
【００４２】
（撮像部）
撮像部２０は、撮像レンズ２０ａ、２０ｂ、２０ｃ、２０ｄ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００４３】
また、本実施形態では、撮像レンズ２０ａ、２０ｂは、図３を参照して上記説明したように、ＨＭＤ１をユーザが装着した状態において、ユーザ２を近距離から撮像するように配置されているので、ユーザ２を近距離から、且つ多角的に接写することができる。後に説明する編集部１２において、ユーザ２を近距離から撮像したこれらの撮像画像が合成されて、ユーザ２を正面から撮像したかような撮像画像を生成される。
【００４４】
また、本実施形態では、撮像レンズ２０ｃ、２０ｄは、図３を参照して上記説明したように、ＨＭＤ１をユーザ２が装着した状態において、ユーザ２が視認する方向を被写体方向として撮像するよう前方に向けて配置されている。従って、撮像レンズ２０ｃ、２０ｄは、ユーザ２が表示部６０を介して見える範囲（視界）を含む範囲を撮像することができる。後に説明する認識部１３において、ユーザ２が視認する方向を撮像したこれらの撮像画像に基づいて、ユーザ２によるジェスチャーが認識される。
【００４５】
撮像部２０は、撮像した撮像画像を制御部１０に出力する。
【００４６】
（音声入力部）
音声入力部３０は、図３に示したマイクロホン３０ａ、３０ｂと、そのマイクロホン３０ａ、３０ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを制御部１０に出力する。
【００４７】
本実施形態では、音声入力部３０はＨＭＤ１を装着したユーザ２の音声を集音する。後に説明する編集部１２において、コンテンツに含まれる撮影対象の音声が、音声入力部３０により集音されたユーザ２の音声に入れ替えられる場合がある。
【００４８】
（記憶部）
記憶部４０は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部４０は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部４０としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００４９】
本実施形態においては、記憶部４０は例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツを、位置情報と関連付けて記憶する。より具体的には、記憶部４０は、映像コンテンツ、写真コンテンツ、テキストコンテンツ等が、その映像や写真が撮影された場所や、そのコンテンツが舞台（モデル）となっている場所と関連付けて記憶する。
【００５０】
例えば、記憶部４０は、様々な映像コンテンツ（映画やドラマ等）の名場面や名シーンが、そのシーンが撮影された場所を特定する位置情報、名称、画像等と関連付けて記憶する。なお、場所を特定する位置情報とは、例えば緯度経度情報である。また、場所を特定する名称とは、例えば住所、地名、施設名、または建物名である。また、場所を特定する画像とは、その場所の撮影画像、またはその場所周辺の特徴的な建物や風景の撮影画像である。
【００５１】
さらに、各シーンには、そのシーンを含む映像コンテンツのタイトルや、タイトル画面、またはメインテーマ曲等が関連付けられていてもよい。
【００５２】
また、コンテンツには、そのコンテンツが一人称視点によるコンテンツなのか、三人称視点によるコンテンツなのか、を示す情報が関連付けられてもよい。さらに、コンテンツには、どの俳優の一人称視点によるコンテンツなのか、を示す情報が関連付けられてもよい。
【００５３】
（通信部）
通信部５０は外部機器との間でのデータの送受信を行う。通信部５０は、外界情報を取得するための構成の一例である。通信部５０は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ブルートゥース（登録商標）などの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良い。また、通信部５０は、対応する通信機能を備えた外部機器との間で直接無線通信を行ってもよい。
【００５４】
外部機器としては、コンピュータ機器、ＰＤＡ、携帯電話端末、スマートフォン、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード（登録商標）等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部５０はこれらの外部機器から情報を読み取る構成とすることも考えられる。さらには他のＨＭＤ１も外部機器として想定される。
【００５５】
本実施形態においては、通信部５０は、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツを受信し、制御部１０に出力する。
【００５６】
（音声出力部）
音声出力部７０は、図１に示した一対のイヤホンスピーカ７０ａと、そのイヤホンスピーカ７０ａに対するアンプ回路を有する。また、音声出力部７０は、いわゆる骨伝導スピーカとして形成されてもよい。ユーザは、音声出力部７０により、外部音声を聞いたり、記憶部４０に記憶されたコンテンツが再生された音声を聞いたり、通信部５０で受信された音声を聞くことができる。
【００５７】
（制御部）
制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。
【００５８】
また、制御部１０は、図４に示すように、コンテンツ取得部１１、編集部１２、認識部１３、位置情報取得部１４、視点切替制御部１５、および再生制御部１６として機能する。
【００５９】
・コンテンツ取得部
コンテンツ取得部１１は、撮像部２０、音声入力部３０、記憶部４０、または通信部５０から出力された静止画／動画による画像データ、および音声データを、コンテンツとして取得する。
【００６０】
特に、本実施形態に係るコンテンツ取得部１１は、位置情報取得部１４により取得されたＨＭＤ１の現在位置を示す位置情報に関連付けられたコンテンツを取得する。例えば、ＨＭＤ１が現在存在する位置において過去に撮影された映画が記憶部４０に記憶されている場合には、コンテンツ取得部１１はその位置で撮影された映画の一場面をコンテンツとして取得する。他にも、撮像部２０（撮像レンズ２０ｃ、２０ｄ）によって撮像された、ユーザ２の視界に入っている建物や風景によって特定されるコンテンツが外部機器に記憶されている場合には、コンテンツ取得部１１は通信部５０を介してそのコンテンツを取得してもよい。例えば、コンテンツ取得部１１は、ユーザ２の目の前の道で過去に撮影されたドラマが有る否かを通信部５０により外部機器に問い合わせることで、その道上で撮影されたドラマの一場面をコンテンツとして取得する。
【００６１】
なお、本実施形態に係るコンテンツ取得部１１は、上記説明した位置情報に関連付けられたコンテンツに限られず、ユーザ２により指定されたコンテンツを取得してもよい。例えば、コンテンツ取得部１１は、ユーザ２により入力されたタイトルのコンテンツを取得してもよいし、ユーザ２が現在聞いている曲をテーマ曲とするコンテンツを自動的に取得してもよい。
【００６２】
また、コンテンツ取得部１１は、後述するモーフィング画像を、記憶部４０、または通信部５０を介して外部機器から取得したり、リアルタイムに生成したりする。
【００６３】
コンテンツ取得部１１は、取得したコンテンツを編集部１２、認識部１３、および再生制御部１６に出力する。
【００６４】
・編集部
編集部１２は、再生制御部１６が再生するコンテンツの一部を編集する。より詳しくは、編集部１２は、再生制御部１６が再生するコンテンツに登場する撮影対象の画像データを、コンテンツ取得部１１により取得された他のコンテンツに登場する他の撮影対象の画像データに入れ替えることにより、編集を行う。例えば、編集部１２は、図２を参照して上記説明したように、コンテンツに写っている男優４の顔部分の画像データを、他の撮像画像に登場するユーザ２の顔部分の画像データに入れ替えることができる。
【００６５】
ここで、編集部１２は、このような画像データの入れ替えのために、特開２０１０−８６１７８号公報に開示された技術を適用してもよい。この技術は、ユーザの顔の向き、喜怒哀楽別の顔画像を予め撮影および登録しておき、この登録されたユーザの顔画像の中からコンテンツに写された俳優の顔の向きと表情に最も相関性が高い顔画像を選択してＣＧで入れ替えるものである。編集部１２は、この技術を適用することで、コンテンツに写された俳優の顔画像を、予め記憶部４０または外部機器に登録されたユーザの顔画像の中でも相関性が高い顔画像に入れ替えることができる。
【００６６】
また、編集部１２は、予め登録された顔画像を用いる他に、リアルタイムに取得されたユーザ２の顔画像を用いてもよい。ただし、ＨＭＤ１は、ユーザ２に装着された状態で、ユーザ２を例えば正面から撮像した撮像画像を取得することは困難である。そこで、本実施形態に係るＨＭＤ１は、ユーザ２を近距離から撮像するように配置されている撮像部２０（撮像レンズ２０ａ、２０ｂ）を用いた図５を参照して以下で説明する方法により、ユーザ２を正面から撮像した撮像画像をリアルタイムに取得する。
【００６７】
図５は、第１の実施形態に係るＨＭＤ１がユーザを正面から撮像した撮像画像を取得する処理を説明するための図である。図５に示すように、撮像画像１１１は、撮像レンズ２０ａにより撮像された、ユーザ２の顔の右上部分の撮像画像である。撮像画像１１２は、撮像レンズ２０ｂにより撮像された、ユーザ２の顔の右下部分および右上半身の撮像画像である。撮像画像１１３は、左眼側に設けられている図示しない撮像レンズにより撮像された、ユーザ２の顔の左上部分の撮像画像である。撮像画像１１４は、左眼側に設けられている図示しない撮像レンズにより撮像された、ユーザ２の顔の左下部分および左上半身の撮像画像である。編集部１２は、これらの撮像画像１１１、１１２、１１３、１１４を合成することで、ユーザ２を正面から撮像したかのような、顔を含む上半身が写された撮像画像１１５を取得する。そして、編集部１２は、上述した方法により取得した撮像画像を用いて、コンテンツに写された正面を向いた俳優の顔画像を、ユーザ２の正面顔画像に入れ替えることができる。
【００６８】
また、ＨＭＤ１に、側頭部、後頭部からユーザ２を撮像するように配置される撮像レンズ２０を設けることにより、編集部１２は、ユーザ２を側方、または後方から撮像したかような撮像画像を同様に生成することもできる。よって、編集部１２は、コンテンツに写された男優４が正面を向いていない場合であっても、現在のユーザ２の横顔や後姿に入れ替えることができる。これにより、ＨＭＤ１は、ユーザ２の顔の向き、喜怒哀楽別の顔画像を予め撮影および登録する必要が無い。また、ユーザ２は、今の自分の姿を反映したコンテンツをリアルタイムに楽しむことができる。
【００６９】
また、編集部１２が、コンテンツに写された俳優の後頭部を現在のユーザ２の後頭部に入れ替えた場面について考える。この場合、一人称視点から三人称視点に切り替わる際に、ユーザ２は自身の肉体を離れつつ、自身の後頭部を見ることができるので、より体外離脱した感覚を強く体験することができる。また、三人称視点から一人称視点に切り替わる際に、ユーザ２は自身の後頭部から徐々に入り込むことで、より体外離脱していた状態から自分の肉体に戻る感覚を、強く体験することができる。
【００７０】
また、上記では、編集部１２は、コンテンツの一部を、ＨＭＤ１を装着したユーザ２に入れ替えると説明したが、本実施形態はかかる例に限定されない。例えば、他の人物の顔の向き、喜怒哀楽別の顔画像を予め撮影および登録しておき、編集部１２は、この登録された他の人物の顔画像の中からコンテンツの俳優の顔の向きと表情に最も相関性の高い顔画像を選択してＣＧで入れ替えてもよい。他にも、編集部１２は、ユーザ２が視認する方向を被写体方向として撮像するよう配置されている撮像部２０（撮像レンズ２０ｃ、２０ｄ）によりリアルタイムに取得された他の人物の撮像画像を用いて、コンテンツの一部を他の人物の姿に入れ替えてもよい。
【００７１】
なお、顔画像を入れ替える際に、入れ替えた画像とその周囲の画像との境界部分に色の不連続部分が発生する場合がある。この場合、編集部１２は、例えば特開２００２−２６９５４６号公報に開示された技術を適用してもよい。この技術は、入れ替えた画像とその周囲の画像とが重なる部分の画素の画素値を混色させることで、境界部分の色が自然に変化するよう表現する技術である。編集部１２は、この技術を適用することで、入れ替えた画像とその周囲の画像との境界部分に発生する色の不連続部分を解消することができる。
【００７２】
また、編集部１２は、コンテンツに登場する撮影対象の音声データを、コンテンツ取得部１１により取得された他のコンテンツに登場する他の音声データに入れ替えることもできる。例えば、編集部１２は、コンテンツに写っている男優４の音声データを、音声入力部３０により取得されたユーザ２の音声データに入れ替える。
【００７３】
編集部１２は、再生制御部１６から出力されたコンテンツに対して上述した編集処理を行い、編集したコンテンツを再生制御部１６に出力する。
【００７４】
・認識部
認識部１３は、視点の切り替え指示を認識する。例えば、認識部１３は、撮像部２０から出力されたユーザ２のジェスチャーが写った撮像画像を画像認識したり、音声入力部３０から出力されたユーザ２の音声を音声認識したり、図示しないボタン／スイッチ操作を認識したりすることで、切り替え指示を認識する。本明細書では、認識部１３は、ユーザ２のジェスチャーによる視点の切り替え指示を認識するものとする。
【００７５】
認識部１３は、ユーザ２の身振りや手振りによる多様なジェスチャーを認識し得る。以下ではその一例として、指によるジェスチャーを認識する例を、図６を参照して説明する。図６は、第１の実施形態に係る認識部１３によるジェスチャー認識を説明するための図である。なお、認識部１３は、ユーザ２が目の前に手を翳して行った指によるジェスチャーを、撮像部２０（撮像レンズ２０ｃ、２０ｄ）より出力された、ユーザ２の前方を撮像した撮像画像から認識する。
【００７６】
図６に示したジェスチャー１２１は、二本の指を広げる動作を示している。認識部１３は、ユーザ２の指によるジェスチャー１２１を認識した場合、ユーザ２が三人称視点から一人称視点への視点の切り替えを指示している、と認識する。ここで、三人称視点から一人称視点に視点が切り替わるということは、遠くから見ていた撮影対象を近くから見ることを意味する。これは、スマートフォン等を操作する際に、タッチパネル上で同様の動作をすると画面が拡大されることと相似している。よって、ユーザ２は、スマートフォン等を操作する場合と同様の慣れ親しんだ操作により、視点の切り替えを指示することができる。
【００７７】
一方で、図６に示したジェスチャー１２２は、二本の指を近づける動作を示している。認識部１３は、ユーザ２の指によるジェスチャー１２２を認識した場合、ユーザ２が一人称視点から三人称視点への視点の切り替えを指示している、と認識する。ここで、一人称視点から三人称視点に視点が切り替わるということは、近くから見ていた撮影対象を遠くから見ることを意味する。これは、スマートフォン等を操作する際に、タッチパネル上で同様の動作をすると画面が縮小されることと相似している。よって、ユーザ２は、スマートフォン等を操作する場合と同様の慣れ親しんだ操作により、視点の切り替えを指示することができる。
【００７８】
また、認識部１３は、三人称視点から一人称視点への切り替え指示を認識する際に、同時にユーザ２がどの俳優になりきりたいかを示す情報を認識してもよい。例えば、ユーザ２が、表示部６０に半透明表示されたコンテンツに写された俳優に重畳するように指によるジェスチャーを行った場合には、認識部１３は、当該俳優から見た一人称視点のコンテンツへの切り替え指示を認識してもよい。
【００７９】
認識部１３は、認識したユーザ２による切り替え指示を、視点切替制御部１５に出力する。
【００８０】
・位置情報取得部
位置情報取得部１４は、ＨＭＤ１の位置情報を取得する。例えば、位置情報取得部１４は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の衛星からの電波を受信し、ＨＭＤ１の現在位置を示す緯度／経度／高度などを含む位置情報を取得する。また、ユーザ２が室内などの狭い範囲でＨＭＤ１を使用する場合には、位置情報取得部１４は屋内測位技術によって位置情報を取得してもよい。
【００８１】
ＨＭＤ１が利用可能な屋内測位技術は多様に考えられる。例えば、位置情報取得部１４は、屋内に設置された複数の無線ＬＡＮアクセスポイントのビーコン情報に基づいて、ＨＭＤ１の位置を計測してもよい。また、位置情報取得部１４は、屋内に設置されたＩＭＥＳ（Ｉｎｄｏｏｒ  ＭＥｓｓａｇｉｎｇ  Ｓｙｓｔｅｍ）送信機から送信されたＩＭＥＳ送信器の位置情報に基づいて、ＨＭＤ１の位置を計測してもよい。また、位置情報取得部１４は、任意の手段で出発点の位置を取得した後、加速度センサやジャイロセンサなどを組み合わせて現在位置を計算することで、ＨＭＤ１の位置を計測してもよい。
【００８２】
また、位置情報取得部１４は、ＨＭＤ１の現在位置を示す緯度／経度／高度に加えて、ＨＭＤ１が向く方位および仰角を、位置情報として取得してもよい。例えば、位置情報取得部１４は、ＨＭＤ１が向く方位を電子コンパスにより取得する。ここで、ＨＭＤ１が向く方位は、ユーザ２の顔の向きを示している。また、位置情報取得部１４は、ＨＭＤ１の仰角をジャイロセンサにより取得する。ここで、ＨＭＤ１の仰角は、ユーザ２の顔の仰角を示している。
【００８３】
また、位置情報取得部１４は、ＨＭＤ１の位置情報として、特定の位置に対する相対位置を取得してもよい。例えば、屋内においてスマートフォン６を使用する際に、予め屋内の特定の位置を、撮影現場において撮影対象が居た位置として設定しておき、その特定の位置に対する相対位置を、位置情報として取得する。
【００８４】
位置情報取得部１４は、取得した位置情報を、コンテンツ取得部１１および視点切替制御部１５に出力する。
【００８５】
・視点切替制御部
視点切替制御部１５は、コンテンツ取得部１１により取得されたコンテンツを表示部６０で再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替える。視点切替制御部１５は、視点の切り替えを、ユーザ２による切り替え指示に基づいて行う。例えば、視点切替制御部１５は、認識部１３により認識されたユーザ２のジェスチャーが示す切り替え指示に応じて視点を切り替える。他にも、視点切替制御部１５は、コンテンツの空間における、位置情報取得部１４により取得された位置情報に対応する位置からの視点に切り替えてもよい。なお、視点切替制御部１５が位置情報に応じて視点を切り替える例については、後述の第２の実施形態において説明する。
【００８６】
・再生制御部
再生制御部１６は、編集部１２により編集されたコンテンツを視点切替制御部１５により切り替えられた視点で再生する。より詳しくは、再生制御部１６は、一人称視点および三人称視点の少なくとも何れかの視点から、編集部１２により一部編集されたコンテンツを再生するよう、表示部６０および音声出力部７０を制御する。そのために、再生制御部１６は、視点切替制御部１５による視点の切り替えがあった際に、切り替え後の視点から見たコンテンツをコンテンツ取得部１１により改めて取得し、取得されたコンテンツを再生する。
【００８７】
例えば、再生制御部１６は、三人称視点でコンテンツを再生する際には通常のコンテンツを再生し、一人称視点でコンテンツを再生する際には、予め作成された俳優視点からの映像コンテンツをコンテンツ取得部１１により取得し、再生する。一人称視点のコンテンツは、コンテンツを撮影する際に、俳優自身が頭部にカメラを装着して本番と同様の演技を行い、俳優視点からの映像コンテンツを事前に作成しておくことが考えられる。
【００８８】
他にも、例えば、再生制御部１６は、特開２００６−２１１５３１号公報に開示された自由視点映像生成技術を適用することで、コンテンツ取得部１１によりコンテンツの空間における任意の位置からの視点によるコンテンツをリアルタイムに生成させてもよい。自由視点映像生成技術とは、再生制御部１６は、複数のカメラから得られた映像を、撮影時のカメラの位置や撮影角度、フレーミングパターン等の情報に基づいて統合して三次元解析を行うことで、任意の視点からの映像を生成するものである。この技術を適用することで、再生制御部１６は、任意の位置からの三人称視点でコンテンツを再生したり、俳優がいる位置からの一人称視点でコンテンツを再生したりできる。
【００８９】
再生制御部１６は、このようにして切り替えられたコンテンツを、編集部１２に編集させて、編集処理後のコンテンツを表示部６０および音声出力部７０により再生する。再生制御部１６は、編集部１２による編集処理後のコンテンツを再生する際に、さらに以下に説明する処理を行う。
【００９０】
再生制御部１６は、視点切替制御部１５により視点が切り替えられる際に、視点が切り替えられる前の視点から切り替え後の視点に徐々に変化するモーフィング画像を再生する。ここで、「モーフィング」とは、一般的に映画やアニメーションの中で使用されるＣＧによる特殊撮影技術を指し、ある形状から別の形状に徐々に変化していく様子を表現するものである。モーフィング画像は、予め記憶部４０に記憶されていてもよいし、通信部５０により外部から取得されてもよいし、切り替えの際に例えばコンテンツ取得部１１がリアルタイムで生成してもよい。
【００９１】
ここで、再生制御部１６は、視点が切り替えられる際に、単に変化するだけでなく、カメラによる撮影技術として一般的な各種技術を用いることで変化したかのように、徐々に変化するモーフィング画像を再生してもよい。例えば、再生制御部１６は、ズームイン、ズームアウト、ドリーイン、ドリーバック、またはパンなどの撮影技術を用いて撮影されたかのように、徐々に変化するモーフィング画像を再生してもよい。
【００９２】
ズームインとは、カメラで映像を撮影する際に、撮像レンズの倍率を上げることで被写体を拡大する撮影技術である。映画等の撮影の際には、例えば、特定の被写体を強調する、視聴者の視線の誘導を行う、緊張感を高める、などを目的としてズームインが行われる。また、ズームアウトとは、カメラで映像を撮影する際に、撮像レンズの倍率を下げることで被写体を縮小する撮影技術である。映画等の撮影の際には、例えば、被写体の周囲の状況や位置関係を説明する、緊張感を緩める、などを目的としてズームアウトが行われる。
【００９３】
ドリーインとは、カメラで映像を撮影する際に、カメラ自体が被写体に近づくことで、被写体を拡大する撮影技術である。また、ドリーバックとは、カメラで映像を撮影する際に、カメラ自体が被写体から遠ざかることで、被写体を縮小する撮影技術である。映画等の撮影の際には、例えば、視聴者が主人公として行動しているかのような感覚を与えることなどを目的として、ドリーイン／ドリーバックが行われる。
【００９４】
パンとは、カメラで映像を撮影する際に、被写体の動きに追随する撮影技術である。その中でも、カメラの位置を固定しておき、向きのみを変えることで被写体の動きに追随する撮影技術や、カメラ自体を移動させながら被写体の動きに追随する撮影技術がある。映画等の撮影の際には、例えば、被写体の周囲の状況や位置関係を説明する、左右に幅の広いまたは上下に高い撮影対象を見せる、などを目的としてパンが行われる。
【００９５】
再生制御部１６は、視点が三人称視点から一人称視点に切り替えられる際に、視点がまずズームインし、次にドリーインするよう変化するモーフィング画像を再生する。再生制御部１６は、まず、ズームインにより三人称視点で被写体を拡大していき、その後ドリーインにより一人称視点でさらに被写体を拡大することで、三人称視点から一人称視点への切り替えを滑らかに表現することができる。なお、再生制御部１６は、視点が三人称視点から一人称視点に切り替えられる際に、視点がまずドリーインし、次にズームインするよう変化するモーフィング画像を再生してもよい。
【００９６】
また、再生制御部１６は、視点が一人称視点から三人称視点に切り替えられる際に、視点がまずドリーバックし、次にズームアウトするよう変化するモーフィング画像を再生する。再生制御部１６は、まず、ドリーバックにより一人称視点で被写体を縮小していき、その後ズームアウトにより三人称視点でさらに被写体を縮小することで、一人称視点から三人称視点への切り替えを滑らかに表現することができる。なお、再生制御部１６は、視点が一人称視点から三人称視点に切り替えられる際に、視点がまずズームアウトし、次にドリーバックするよう変化するモーフィング画像を再生してもよい。
【００９７】
また、再生制御部１６は、視点を切り替え前のコンテンツを撮影したカメラ位置と、切り替え後のコンテンツを取得したカメラ位置とが異なる場合に、視点がパンするよう変化するモーフィング画像を再生する。これにより、再生制御部１６は、あたかもカメラ位置を移動させながら撮影していたかのような印象をユーザ２に与えながら、コンテンツを再生することができる。
【００９８】
以上説明した、ズームイン、ズームアウト、ドリーイン、ドリーバック、またはパンなどの撮影技術により徐々に変化するモーフィング画像の一例については、後に図１０を参照して説明する。
【００９９】
また、再生制御部１６は、コンテンツを再生する視点に応じて音像の定位位置を変化させてもよい。例えば、三人称視点で図１に示したコンテンツ１０１を再生する際には、再生制御部１６は、女優３および男優４の音声を、ユーザ２から見て奥側に定位させる。また、一人称視点で図１に示したコンテンツ１０４を再生する際には、再生制御部１６は、女優３の音声をユーザ２の目の前に定位させ、男優４の音声をユーザ２自身の位置に定位させる。そして、再生制御部１６は、視点切替制御部１５により視点が切り替えられる際に、これらの定位位置の差を繋ぐように、音像の定位位置が徐々に変化するようコンテンツを再生させてもよい。例えば、三人称視点から一人称視点に切り替えられる際には、ユーザ２から遠くに定位していた音像が、徐々にユーザ２に近づくよう変化してもよい。これにより、ユーザ２は視点切り替えによる臨場感を味わうことができる。
【０１００】
また、再生制御部１６は、視点切替制御部１５により視点が切り替えられる際に、効果音として所定のオーディオデータを再生してもよい。例えば、再生制御部１６は、一人称視点から三人称視点に切り替えられる際に、左耳に入る周波数と右耳に入る周波数との差分を制御したオーディオデータを再生することにより、α波を誘導する。これにより、ユーザ２は、α波によってリラックスした状態になり、上述した体外離脱した感覚をより自然に体験することができる。なお、オーディオデータとは、音声、音楽、環境音等の音全般に係るデータである。
【０１０１】
以上、本実施形態に係るＨＭＤ１の内部構成について説明した。
【０１０２】
［２−１−３．動作処理］
続いて、図７〜図１０を参照して、本実施形態に係るＨＭＤ１の動作処理を説明する。図７〜図９は、第１の実施形態に係る制御部１０の動作を示すフローチャートである。図７に示すように、まず、ステップＳ１０で、制御部１０は初期化処理を行う。より詳しくは、制御部１０は、不揮発性メモリからの各種設定値の読み出しや初期値の設定等の初期化処理を行う。
【０１０３】
次に、ステップＳ２０で、位置情報取得部１４は、ＨＭＤ１の現在位置、方位、および仰角を含む位置情報を取得する。
【０１０４】
次いで、ステップＳ３０で、コンテンツ取得部１１は、位置情報取得部１４により取得された位置情報に対応するコンテンツの有無を判定する。例えば、コンテンツ取得部１１は、取得された位置情報に関連付けられたコンテンツを記憶部４０が記憶しているか否かを判定する。他にも、コンテンツ取得部１１は、取得された位置情報に関連付けられたコンテンツの有無を、通信部５０により外部機器に問い合わせてもよい。
【０１０５】
位置情報に対応するコンテンツが無い場合（Ｓ３０／Ｎｏ）、処理は再度上記ステップＳ２０に戻る。
【０１０６】
一方で、位置情報に対応するコンテンツが有る場合（Ｓ３０／Ｙｅｓ）、ステップＳ４０で、制御部１０は、コンテンツ表示処理を行う。なお、コンテンツ表示処理については、後に詳細に説明する。
【０１０７】
次いで、ステップＳ５０で、制御部１０は、処理を終了するか否か判定する。例えば、終了ボタンが押下された場合、ステップＳ３０においてコンテンツが所定回数再生された場合、または何ら操作されずに所定時間が経過した場合に、制御部１０は処理を終了すると判定する。
【０１０８】
処理を終了しないと判定された場合（Ｓ５０／Ｎｏ）、処理は再度上記ステップＳ４０に戻る。
【０１０９】
一方で、処理を終了すると判定された場合（Ｓ５０／Ｙｅｓ）、ステップＳ６０で、制御部１０は終了処理を行う。例えば、制御部１０は、どのコンテンツをどの位置で何回再生したかなどの情報を示す履歴情報や、表示の際にユーザ２により変更された各種設定値を、不揮発メモリに書き込む等の終了処理を行う。
【０１１０】
続いて、図８および図９を参照して、上述したステップＳ４０におけるコンテンツ表示処理について詳細に説明する。図８に示すように、まず、ステップＳ１０２で、視点切替制御部１５は、視点が三人称視点であるか否かを判定する。例えば、視点切替制御部１５は、再生するコンテンツに関連付けられた、そのコンテンツが一人称視点によるコンテンツなのか、三人称視点によるコンテンツなのか、を示す情報を参照することで、三人称視点であるか否かを判定する。
【０１１１】
視点が三人称視点でない場合（Ｓ１０２／Ｎｏ）、処理は後述する図９に示すステップＳ２０４に進む。
【０１１２】
一方で、視点が三人称視点である場合（Ｓ１０２／Ｙｅｓ）、ステップＳ１０４で、編集部１２は、コンテンツ取得部１１より取得された三人称視点のコンテンツに対して編集処理を行う。より詳しくは、編集部１２は、まず、図５を参照して上記説明したように、ユーザ２の現在の姿を撮像した撮像画像を取得する。そして、編集部１２は、図２を参照して上記説明したように、コンテンツに写っている俳優やキャラクター等の撮影対象の顔画像をユーザ２の顔画像に入れ替える。
【０１１３】
そして、ステップＳ１０８で、再生制御部１６は、編集部１２により編集されたコンテンツを、表示部６０および音声出力部７０が表示するよう制御する。このとき再生されるコンテンツについて、図１０を参照して説明する。
【０１１４】
図１０は、第１の実施形態に係る視点切替制御部１５による視点の切り替えを説明するための図である。図１０に示すように、再生制御部１６は、視点切替制御部１５により設定された三人称視点によりコンテンツ１０１Ｂを再生するものとする。図１０に示すように、コンテンツ１０１Ｂに写された男優４の顔画像は、編集部１２によりユーザ２の顔画像に入れ替えられている。
【０１１５】
次いで、ステップＳ１１２で、制御部１０は、再生を中止するか否かを判定する。例えば、制御部１０は、再生中止ボタンが押下された場合に、再生を中止すると判定する。
【０１１６】
再生を中止する場合（Ｓ１１２／Ｙｅｓ）、制御部１０によるコンテンツ表示処理は終了する。
【０１１７】
一方で、再生を中止しない場合（Ｓ１１２／Ｎｏ）、ステップＳ１１６で、認識部１３は、ユーザ２により三人称視点から一人称視点への切り替え指示を認識したか否かを判定する。例えば、認識部１３は、切り替えを指示するボタン／スイッチ操作、音声入力、または図６を参照して上記説明したジェスチャーを認識したか否かを判定する。
【０１１８】
三人称視点から一人称視点への切り替え指示が認識されてない場合（Ｓ１１６／Ｎｏ）、処理は再度上記ステップＳ１０４に戻る。
【０１１９】
三人称視点から一人称視点への切り替え指示が認識された場合（Ｓ１１６／Ｙｅｓ）、ステップＳ１２０で、視点切替制御部１５は、三人称視点から一人称視点に視点を切り替える。
【０１２０】
そして、ステップＳ１２４で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、パン・ズームイン効果処理を行う。図１０に示した例では、再生制御部１６は、区間２０１として示すように、再生するコンテンツを、コンテンツ１０１Ｂからコンテンツ１０２Ｂ、１０３Ｂに順に切り替える。このとき、再生制御部１６は、各コンテンツの間の視点の差を埋めるために、徐々にパンおよびズームインするよう変化するモーフィング画像を再生する。これにより、ユーザ２は、徐々に男優４の背後に回り込みながら男優４に近づいていくかのような感覚を体験することができる。
【０１２１】
続いて、ステップＳ１２８で、再生制御部１６は、ドリーイン効果処理を行う。図１０に示した例では、再生制御部１６は、区間２０２として示すように、再生するコンテンツを、コンテンツ１０３Ｂからコンテンツ１０４、１０５、１０６、１０７に順に切り替える。このとき、再生制御部１６は、各コンテンツの間の視点の差を埋めるために、徐々にドリーインするよう変化するモーフィング画像を再生する。これにより、ユーザ２は、女優３に一歩ずつ近づきながら男優４の役を演じているかのように、コンテンツを楽しむことができる。
【０１２２】
次いで、図９に示すように、ステップＳ２０４で、編集部１２は、コンテンツ取得部１１より取得された一人称視点のコンテンツに対して編集処理を行う。例えば、編集部１２は、図１０では図示していないが、一人称視点のコンテンツ１０７に写された女優３の顔画像を、他の人物の顔画像に入れ替える。
【０１２３】
そして、ステップＳ２０８で、再生制御部１６は、編集部１２により編集されたコンテンツを、表示部６０および音声出力部７０が表示するよう制御する。
【０１２４】
次いで、ステップＳ２１２〜Ｓ２１６で、制御部１０は上記説明したＳ１１２〜Ｓ１１６と同様に動作する。
【０１２５】
一人称視点から三人称視点への切り替え指示が認識された場合（Ｓ２１６／Ｙｅｓ）、ステップＳ２２０で、視点切替制御部１５は、一人称視点から三人称視点に視点を切り替える。
【０１２６】
そして、ステップＳ２２４で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、ドリーバック効果処理を行う。図１０に示した例では、再生制御部１６は、区間２０３として示すように、再生するコンテンツを、コンテンツ１０７からコンテンツ１０６、１０５、１０４に順に切り替える。このとき、再生制御部１６は、各コンテンツの間の視点の差を埋めるために、徐々にドリーバックするよう変化するモーフィング画像を再生する。これにより、ユーザ２は、女優３から一歩ずつ遠ざかりながら男優４の役を演じているかのように、コンテンツを楽しむことができる。
【０１２７】
続いて、ステップＳ２２８で、再生制御部１６は、パン・ズームアウト効果処理を行う。図１０に示した例では、再生制御部１６は、区間２０４として示すように、再生するコンテンツを、コンテンツ１０４からコンテンツ１０３Ｂ、１０２Ｂ、１０１Ｂに順に切り替える。このとき、再生制御部１６は、各コンテンツの間の視点の差を埋めるために、徐々にパン・ズームアウトするよう変化するモーフィング画像を再生する。これにより、ユーザ２は、徐々に男優４の背後から、女優３と男優４との位置関係を見渡せる位置に、回り込みながら遠ざかるかのような感覚を体験することができる。
【０１２８】
この後、処理は再度図８に示したステップＳ１０４に戻る。
【０１２９】
以上、第１の実施形態に係るＨＭＤ１の動作処理を説明した。
【０１３０】
［２−１−４．変形例１］
本変形例は、編集部１２がコンテンツに登場する撮影対象の顔画像をユーザ２の顔画像に入れ替えると共に、その撮影対象の音声をユーザ２の音声に入れ替える形態である。以下、図１１を参照して、本変形例に係る動作処理について説明する。
【０１３１】
図１１は、変形例１に係るＨＭＤ１の動作処理を説明するための図である。図１１に示すように、再生制御部１６は、男優４の顔画像をユーザ２の顔画像に入れ替えたコンテンツ１０１Ｃを再生すると共に、そのシーンにおける女優３および男優４のセリフを示す字幕５を重畳表示している。ユーザ２は、字幕５の男優４のセリフを読み上げることで、あたかも男優４の役を演じているかのように、コンテンツを楽しむことができる。このとき、再生制御部１６は、字幕５を表示後コンテンツの再生を一時停止し、認識部１３により字幕５が示す男優４のセリフを全てユーザ２が言ったことが認識された場合に、一時停止を解除して次のシーンを再生してもよい。
【０１３２】
なお、再生制御部１６は、音声認識の代わりに口唇動作を認識した場合に、次のシーンに進めてもよい。これにより、音声認識が困難な雑踏の中であっても、ユーザは字幕５を読むことで、コンテンツの再生を継続させることができる。再生制御部１６は、このような口唇動作の認識のために、例えば「滝田清，永易武，浅野秀胤，寺林賢司，梅田和昇．“テンプレートマッチングを用いた口唇動作認識”，日本機械学会ロボティクス・メカトロニクス講演会２０１１講演論文集，２Ｐ１−Ｑ１２，２０１１．５．」に開示された技術を用いてもよい。この技術は、特徴量として口元の画像を低解像度化した画像、唇の形状、口を開いた時に現れる開口部分の形状を用いることで、テンプレートマッチングにより口唇動作を認識するものである。
【０１３３】
また、ＨＭＤ１は、編集部１２により編集されたコンテンツ、即ちコンテンツの一部がユーザ２に入れ替えられたコンテンツを、インターネット等を通して共有することで、複数のユーザで楽しむこともできる。
【０１３４】
以上、変位例１について説明した。
【０１３５】
＜２−２．第２の実施形態＞
本実施形態は、位置情報に応じて、映像コンテンツを再生する際の視点を一人称視点または三人称視点の少なくともいずれかに切り替える形態である。本実施形態は、図４を参照して上記説明したＨＭＤ１により実現され得るが、本明細書ではＨＭＤ１と同等の構成を有するスマートフォン６により実現されるものとする。以下、図１２を参照して、本実施形態の概要を説明する。
【０１３６】
［２−２−１．概要］
図１２は、第２の実施形態に係るスマートフォン６の概要を説明するための図である。図１２に示すように、スマートフォン６はユーザ２に把持され、ユーザ２に対してコンテンツ１０１Ｂを表示する。スマートフォン６は、表示部６０が設けられた面に撮像レンズ２０およびマイクロホン３０を備えており、コンテンツ１０１Ｄの一部を、リアルタイムに取得されたユーザ２の顔画像および音声により入れ替えている。
【０１３７】
本実施形態に係る視点切替制御部１５は、スマートフォン６の位置に応じて、コンテンツを再生する視点を切り替える。より詳しくは、視点切替制御部１５は、コンテンツを再生する際の視点を、コンテンツの空間における、位置情報取得部１４により取得された位置情報に対応する位置からの視点に切り替える。ここで、コンテンツの空間における位置情報取得部１４により取得された位置情報に対応する位置とは、当該コンテンツが撮影された撮影現場において現在スマートフォン６が存在する位置である。以下、視点切替制御部１５による、スマートフォン６の位置に応じた視点の切り替えについて説明する。
【０１３８】
スマートフォン６は、ＨＭＤ１について図７を参照して上記説明したように、位置情報取得部１４により取得された位置情報に対応するコンテンツをコンテンツ取得部１１により取得し、再生する。このとき、ユーザ２がスマートフォン６を把持したまま移動する、またはスマートフォン６を翳す方位や仰角を変えたため、位置情報取得部１４により取得される位置情報に変化が生じたとする。すると、コンテンツ取得部１１は変化後の位置情報に対応するコンテンツを改めて取得し、再生制御部１６は、改めて取得されたコンテンツに、再生するコンテンツを切り替える。
【０１３９】
これにより、ユーザ２が、スマートフォン６を持って現実空間を移動すると、それに連動して表示部６０に再生されるコンテンツの視点が切り替わる。例えば、図１に示した例において、ユーザ２が現実世界において視点２−２の位置に移動すると、視点切替制御部１５はコンテンツ１０２が再生されるよう、視点を視点２−２に切り替える。また、ユーザ２が現実世界において視点２−３の位置に移動すると、視点切替制御部１５はコンテンツ１０３が再生されるよう、視点を視点２−３に切り替える。
【０１４０】
なお、コンテンツの空間における、位置情報取得部１４により取得された位置情報に対応する位置を、当該コンテンツが撮影された撮影現場において現在スマートフォン６が存在する位置として説明したが、本実施形態は係る例に限定されない。例えば、コンテンツの空間における位置情報取得部１４により取得された位置情報に対応する位置として、特定の位置に対する相対位置を用いてもよい。以下、相対位置に応じて視点を切り替える例について説明する。
【０１４１】
例えば、屋内においてスマートフォン６を使用する際に、撮影現場において撮影対象が居た場所に対応する位置、即ち図１に示した撮影地１００におけるＸ軸、Ｙ軸、およびＺ軸が交わる原点に対応する位置として、屋内の特定の位置を予め設定する。そして、視点切替制御部１５は、設定された特定の位置に対するスマートフォン６の位置／方位／仰角の相対的な変化に応じて、視点を切り替える。例えば、スマートフォン６が当該特定の位置に近づいた場合には、視点切替制御部１５は撮影対象に近づくよう視点を切り替える。また、スマートフォン６が当該特定の位置から遠ざかった場合には、視点切替制御部１５は撮影対象から遠ざかるよう視点を切り替える。
【０１４２】
一般的に、映画やドラマが撮影されるような場所は、海外や観光地などの居住空間とは離れた場所であることが多い。よって、特定の位置を設定し、これに対する相対位置に応じてコンテンツを再生する際の視点を変化させることで、ユーザ２は、撮影現場に行くまでもなく、自分の部屋や学校、会社の休憩室などで、気軽にスマートフォン６を用いてコンテンツを楽しむことができる。
【０１４３】
以上、第２の実施形態に係るスマートフォン６の概要を説明した。続いて、本実施形態に係るスマートフォン６の動作処理を説明する。なお、図７を参照して上記説明したＨＭＤ１の動作処理は、スマートフォン６でも共通して行う。ただし、本実施形態に係るスマートフォン６は、図７に示したステップＳ４０に係るコンテンツ表示処理として、図１３〜図１４に示すステップＳ４０−２によるコンテンツ表示処理を行う。そこで、以下では図１３〜図１４を参照して、本実施形態に係るスマートフォン６の動作処理として特徴的な、Ｓ４０−２によるコンテンツ表示処理について説明する。
【０１４４】
［２−２−２．動作処理］
図１３〜図１４は、第２の実施形態に係る制御部１０の動作処理を示すフローチャートである。図１３に示すように、まず、ステップＳ３０２で、視点切替制御部１５は、視点が三人称視点であるか否かを判定する。
【０１４５】
視点が三人称視点でない場合（Ｓ３０２／Ｎｏ）、処理は後述する図１４に示すステップＳ４０４に進む。
【０１４６】
一方で、視点が三人称視点である場合（Ｓ３０２／Ｙｅｓ）、ステップＳ３０４〜Ｓ３１２で、制御部１０は、上記Ｓ１０４〜Ｓ１１２と同様の処理を行う。
【０１４７】
次に、ステップＳ３１６で、位置情報取得部１４は、図７に示したステップＳ２０と同様に位置情報を取得する。
【０１４８】
次いで、ステップＳ３１８で、視点切替制御部１５は、位置情報取得部１４により取得された位置情報に変化があるか否かを判定する。例えば、視点切替制御部１５は、位置情報取得部１４により取得された位置情報が前時刻に取得された位置情報から変化していた場合に、位置情報に変化があると判定する。
【０１４９】
位置情報に変化がない場合（Ｓ３１８／Ｎｏ）、処理は再度上記ステップＳ３０４に戻る。
【０１５０】
一方で、位置情報に変化がある場合（Ｓ３１８／Ｙｅｓ）、ステップＳ３２０で、視点切替制御部１５は、位置情報取得部１４により取得された位置情報に対応する位置からの視点に、視点を切り替える。
【０１５１】
次に、ステップＳ３２４で、位置情報取得部１４により取得された位置情報に基づいて、スマートフォン６の位置が前時刻よりも撮影対象に接近したか否かを判定する。例えば、視点切替制御部１５は、スマートフォン６を持つユーザ２が図１に示す原点に接近した場合に、撮影対象に接近したと判定する。他にも、視点切替制御部１５は、スマートフォン６を持つユーザ２が、屋内で予め設定した特定の位置に接近した場合に、撮影対象に接近したと判定する。
【０１５２】
撮影対象に接近していた場合（Ｓ３２４／Ｙｅｓ）、ステップＳ３２８で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、パンおよびズームインするよう変化するモーフィング画像を再生する。
【０１５３】
一方で、撮影対象に接近していない場合（Ｓ３２４／Ｎｏ）、ステップＳ３３２で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、パンおよびズームアウトするよう変化するモーフィング画像を再生する。
【０１５４】
次いで、ステップＳ３３６で、視点切替制御部１５は、位置情報取得部１４により取得された位置情報に基づいて、スマートフォン６の位置が、三人称視点での表示を行う範囲（撮影対象に対応する領域の外）に位置するか否かを判定する。例えば、視点切替制御部１５は、スマートフォン６の位置と撮影対象の位置とが所定の距離より遠い場合に、三人称視点での表示を行う範囲に位置する、と判定する。他にも、視点切替制御部１５は、スマートフォン６が撮影対象の前方または側方（俳優を正面または側面から見る位置）に位置する場合に、三人称視点での表示を行う範囲に位置する、と判定してもよい。
【０１５５】
スマートフォン６が三人称視点での表示を行う範囲に位置する場合（Ｓ３３６／Ｙｅｓ）、処理は再度上記ステップＳ３０４に戻る。このように、スマートフォン６の位置が、三人称視点での表示を行う範囲に位置する場合、上記Ｓ３２４、Ｓ３２８、Ｓ３３２において、再生制御部１６は、パンおよびズームインまたはズームアウトするよう変化するモーフィング画像を再生する。これにより、再生制御部１６は、あたかもカメラ位置を移動させながら撮影していたかのような印象をユーザ２に与えながら、三人称視点でコンテンツを再生することができる。
【０１５６】
一方で、スマートフォン６が三人称視点での表示を行う範囲に位置しない場合（Ｓ３３６／Ｎｏ）、ステップＳ３４０で、再生制御部１６は、パン・ドリーイン効果処理を行う。スマートフォン６は、以降の処理において一人称視点でコンテンツを再生するが、パン・ドリーイン効果処理を行うことで、三人称視点でのコンテンツの再生と、以降の一人称視点でのコンテンツの再生とを滑らかに連結することができる。
【０１５７】
次いで、図１４に示すように、ステップＳ３０４〜Ｓ３１２で、制御部１０は、上記Ｓ２０４〜Ｓ２１２と同様の処理を行う。
【０１５８】
次に、ステップＳ４１６〜Ｓ４２４で、位置情報取得部１４は、上記Ｓ３１６〜Ｓ３２４と同様の処理を行う。
【０１５９】
撮影対象に接近していた場合（Ｓ４２４／Ｙｅｓ）、ステップＳ４２８で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、パンおよびドリーインするよう変化するモーフィング画像を再生する。
【０１６０】
一方で、撮影対象に接近していない場合（Ｓ４２４／Ｎｏ）、ステップＳ４３２で、再生制御部１６は、視点切替制御部１５による視点の切り替えに応じて、パンおよびドリーバックするよう変化するモーフィング画像を再生する。
【０１６１】
次いで、ステップＳ４３６で、視点切替制御部１５は、位置情報取得部１４により取得された位置情報に基づいて、スマートフォン６の位置が、一人称視点での表示を行う範囲（撮影対象に対応する領域の内）に位置するか否かを判定する。例えば、視点切替制御部１５は、スマートフォン６の位置と撮影対象の位置とが所定の距離より近い場合に、一人称視点での表示を行う範囲に位置する、と判定する。他にも、視点切替制御部１５は、スマートフォン６が撮影対象の後方（俳優を背後から見る位置）に位置する場合に、一人称視点での表示を行う範囲に位置する、と判定してもよい。
【０１６２】
スマートフォン６が一人称視点での表示を行う範囲に位置する場合（Ｓ４３６／Ｙｅｓ）、処理は再度上記ステップＳ４０４に戻る。このように、スマートフォン６の位置が、一人称視点での表示を行う範囲に位置する場合、上記Ｓ４２４、Ｓ４２８、Ｓ４３２において、再生制御部１６は、パンおよびドリーインまたはドリーバックするよう変化するモーフィング画像を再生する。これにより、再生制御部１６は、ユーザ２が俳優の役を演じつつコンテンツ空間を自由に移動しているかのような感覚をユーザ２に与えながら、一人称視点でコンテンツを再生することができる。
【０１６３】
一方で、スマートフォン６が一人称視点での表示を行う範囲に位置しない場合（Ｓ４３６／Ｎｏ）、ステップＳ４４０で、再生制御部１６は、パン・ズームアウト効果処理を行う。スマートフォン６は、以降の処理において三人称視点でコンテンツを再生するが、パン・ズームアウト効果処理を行うことで、一人称視点でのコンテンツの再生と、以降の三人称視点でのコンテンツの再生とを滑らかに連結することができる。
【０１６４】
この後、処理は再度図１３に示したステップＳ３０４に戻る。
【０１６５】
以上、本実施形態に係るスマートフォン６の動作処理を説明した。
【０１６６】
［２−２−３．変形例２］
本変形例は、複数のスマートフォン６が同時に使用された場合に、各スマートフォン６で表示するコンテンツの一部を、互いのスマートフォン６の所有者の姿に入れ替える形態である。以下、図１５を参照して、本変形例に係るスマートフォン６の動作について説明する。
【０１６７】
図１５は、変形例２に係るスマートフォン６の動作を説明するための図である。図１５に示すように、ユーザ２Ａおよびユーザ２Ｂが向かい合い、お互いの方向に向けてスマートフォン６Ａおよび６Ｂを把持している。このとき、ユーザ２Ａが把持するスマートフォン６Ａは、コンテンツ１３１に写された女優３の顔画像を、スマートフォン６Ａの背面に設けられた図示しない撮像レンズ２０により撮像したユーザ２Ｂの顔画像に入れ替えて再生している。同様に、ユーザ２Ｂが把持するスマートフォン６Ｂは、コンテンツ１３２に写された男優４の顔画像を、スマートフォン６Ｂの背面に設けられた撮像レンズ２０Ｂにより撮像したユーザ２Ａの顔画像に入れ替えて再生している。
【０１６８】
なお、スマートフォン６は、表示部６０と同じ面に設けられた撮像レンズ２０により撮影した、スマートフォン６自身を把持するユーザ２の顔画像を相互に交換してもよい。例えば、図１５に示す例において、スマートフォン６Ａは、表示部６０Ａと同じ面に設けられた撮像レンズ２０Ａにより撮影したユーザ２Ａの顔画像をスマートフォン６Ｂに送信してもよい。これにより、スマートフォン６Ｂでは、コンテンツ１３２に写された男優４の顔画像を、スマートフォン６Ａから受信したユーザ２Ａの顔画像に入れ替えて再生することができる。
【０１６９】
このように、複数のユーザ２により複数のスマートフォン６が同時に使用される際には、再生するコンテンツの一部を、他のユーザ２の姿に入れ替えることができる。これにより、ユーザ２は、同一のコンテンツを複数人で一緒に楽しむことができる。
【０１７０】
＜＜３．まとめ＞＞
以上説明したように、本開示の一実施形態に係る情報処理装置は、コンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替えて、コンテンツを再生することができる。また、本実施形態に係る情報処理装置は、視点を切り替えるだけでなく、コンテンツの一部をユーザ２に入れ替えるよう編集することができる。これにより、ユーザ２は、自身がコンテンツに出演しているかのように、コンテンツに登場する俳優やキャラクターになりきってコンテンツを楽しむことができる。
【０１７１】
また、実施形態に係る情報処理装置は、情報処理装置の位置や向き、仰角に連動してコンテンツを再生する視点を切り替えることも可能である。これにより、ユーザ２は、コンテンツを自由な視点から見て楽しむことができる。
【０１７２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７３】
例えば、上記実施形態では、ＨＭＤ１またはスマートフォン６を適用例として説明したが、本技術はかかる例に限定されない。例えば、カラオケを提供する情報処理装置に上記説明した技術を適用してもよい。近年、カラオケでは、ユーザ２が歌を歌う際に、その歌を歌うアーティスト本人が出演するプロモーションビデオやライブ映像を再生するサービスがある。このようなカラオケを提供する情報処理装置に上記説明した技術を適用して、プロモーションビデオやライブ映像に出演するアーティストの顔画像を、ユーザ２の顔画像に入れ替えることで、ユーザ２はアーティスト本人になりきって、カラオケを楽しむことができる。また、デュエット曲などの複数人が歌う曲では、複数人のアーティストの顔画像を入れ替えることで、複数人でアーティスト本人になりきって、カラオケを楽しむこともできる。
【０１７４】
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したＨＭＤ１またはスマートフォン６の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記録した記録媒体も提供される。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
コンテンツ取得部により取得されたコンテンツを再生する際の視点を、一人称視点および三人称視点の少なくとも何れかの視点に切り替える視点切替制御部と、
前記コンテンツを一部編集する編集部と、
前記編集部により編集された前記コンテンツを前記視点切替制御部により切り替えられた視点で再生する再生制御部と、
を備える情報処理装置。
（２）
前記一人称視点は、前記コンテンツに登場するオブジェクトの視点である、前記（１）に記載の情報処理装置。
（３）
前記コンテンツは、静止画または動画による画像データを含み、
前記オブジェクトは、生物、仮想生物、またはキャラクターである、前記（２）に記載の情報処理装置。
（４）
前記編集部は、前記コンテンツに登場する前記オブジェクトの画像データを、前記コンテンツ取得部により取得された他のコンテンツに登場する他のオブジェクトの画像データに入れ替える、前記（２）または（３）に記載の情報処理装置。
（５）
前記コンテンツは、音声データを含み、
前記編集部は、前記コンテンツに登場する前記オブジェクトの音声データを、前記コンテンツ取得部により取得された他のコンテンツに登場する他のオブジェクトの音声データに入れ替える、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記情報処理装置は、ユーザのジェスチャーを認識する認識部をさらに備え、
前記視点切替制御部は、前記認識部により認識された前記ユーザのジェスチャーに応じて前記視点を切り替える、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が切り替えられる前の視点から切り替え後の視点に徐々に変化するモーフィング画像を再生する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記再生制御部は、前記視点切替制御部により前記視点が一人称視点から三人称視点に切り替えられる際に、前記視点がまずドリーバックし、次にズームアウトするよう変化する前記モーフィング画像を再生する、前記（７）に記載の情報処理装置。
（９）
前記再生制御部は、前記視点切替制御部により前記視点が三人称視点から一人称視点に切り替えられる際に、前記視点がまずズームインし、次にドリーインするよう変化する前記モーフィング画像を再生する、前記（７）または（８）に記載の情報処理装置。
（１０）
前記情報処理装置は、前記情報処理装置の位置情報を取得する位置情報取得部をさらに備え、
前記視点は、前記コンテンツの空間における任意の位置からの視点を含み、
前記視点切替制御部は、前記コンテンツの空間における、前記位置情報取得部により取得された前記位置情報に対応する位置からの視点に切り替える、前記（７）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が前記コンテンツの空間におけるオブジェクトに対応する領域の内に位置する場合、ドリーインまたはドリーバックするよう変化するモーフィング画像を再生する、前記（１０）に記載の情報処理装置。
（１２）
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、前記視点が前記コンテンツの空間におけるオブジェクトに対応する領域の外に位置する場合、ズームインまたはズームアウトするよう変化するモーフィング画像を再生する、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記位置情報は、ＧＰＳを利用して測位される、前記（１０）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記位置情報は、特定の位置に対する相対位置によって測位される、前記（１０）〜（１２）のいずれか一項に記載の情報処理装置。
（１５）
前記再生制御部は、前記視点切替制御部により前記視点が切り替えられる際に、音像の定位位置が徐々に変化するよう前記コンテンツを再生する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記再生制御部は、前記視点切替制御部により視点が切り替えられる際に所定のオーディオデータを再生する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
コンピュータに、
コンテンツ取得部により取得されたコンテンツを再生する際の視点を、少なくとも一人称視点および三人称視点の少なくとも何れかの視点に切り替えるステップと、
前記視点の切り替えに応じて前記コンテンツを一部編集するステップと、
編集された前記コンテンツを切り替えられた視点で再生するステップと、
を実行させるためのプログラムが記録された記録媒体。
【符号の説明】
【０１７６】
１      ＨＭＤ
２      ユーザ
３      女優
４      男優
５      字幕
６      スマートフォン
１０    制御部
１１    コンテンツ取得部
１２    編集部
１３    認識部
１４    位置情報取得部
１５    視点切替制御部
１６    再生制御部
２０    撮像部
３０    音声入力部
４０    記憶部
５０    通信部
６０    表示部
７０    音声出力部
１００  撮影地
１０１〜１０７、１３１，１３２  コンテンツ
１１１〜１１５  撮像画像
【図１】
2014127987.tif 000003
【図２】
2014127987.tif 000004
【図３】
2014127987.tif 000005
【図４】
2014127987.tif 000006
【図５】
2014127987.tif 000007
【図６】
2014127987.tif 000008
【図７】
2014127987.tif 000009
【図８】
2014127987.tif 000010
【図９】
2014127987.tif 000011
【図１０】
2014127987.tif 000012
【図１１】
2014127987.tif 000013
【図１２】
2014127987.tif 000014
【図１３】
2014127987.tif 000015
【図１４】
2014127987.tif 000016
【図１５】
2014127987.tif 000017