(57)【特許請求の範囲】
【請求項１】
撮像装置が搭載された情報端末装置のコンピュータで実行される情報処理プログラムであって、前記コンピュータに、
前記撮像装置で撮影した被写体を含む映像において、前記被写体の少なくとも一部を含むオブジェクト領域を画定させ、
前記オブジェクト領域から複数のサブ領域を生成させ、
前記複数のサブ領域および前記複数のサブ領域のそれぞれに対応するキャラクタデータに設定された優先度を基にして前記被写体のキャラクタを判定させ、
前記オブジェクト領域の少なくとも一部に、判定された前記キャラクタに関するキャラクタ映像データを重畳させる情報処理プログラム。
【請求項２】
前記キャラクタ映像データは、前記キャラクタの容姿の一部である請求項１に記載の情報処理プログラム。
【請求項３】
前記オブジェクト領域は、前記被写体の頭部を含む請求項１に記載の情報処理プログラム。
【請求項４】
前記キャラクタの判定は、前記複数のサブ領域の各々に含まれる映像データの色をカウントしたオブジェクト色データに基づいて実行される請求項１に記載の情報処理プログラム。
【請求項５】
前記キャラクタの判定は、前記オブジェクト色データに含まれる少なくとも２色の比率に基づいて実行される請求項４に記載の情報処理プログラム。
【請求項６】
さらに、前記オブジェクト領域の形状を基にして前記被写体の前記キャラクタを判定させる請求項１乃至請求項５のいずれか一項に記載の情報処理プログラム。
【請求項７】
重畳される前記キャラクタ映像データは、前記オブジェクト領域に含まれる前記被写体の大きさまたは角度によって調整される請求項１乃至請求項６のいずれか一項に記載の情報処理プログラム。
【請求項８】
前記オブジェクト領域は、前記情報端末装置のユーザの選択に基づいて画定される請求項１乃至請求項７のいずれか一項に記載の情報処理プログラム。
【請求項９】
情報端末装置の撮像装置で撮影した被写体を含む映像を、前記情報端末装置の表示装置に表示する第１処理部と、
前記映像の前記被写体の少なくとも一部を含むオブジェクト領域を画定し、前記オブジェクト領域から複数のサブ領域を生成する第２処理部と、
前記複数のサブ領域および前記複数のサブ領域のそれぞれに対応するキャラクタデータに設定された優先度を基にして前記被写体のキャラクタを判定する第３処理部と、
前記オブジェクト領域の少なくとも一部に、判定された前記キャラクタに関するキャラクタ映像データを重畳する第４処理部と、を含む情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理プログラムおよび情報処理システムに関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）は、現実空間の情報に仮想空間の情報を付加し、視覚的に現実が拡張された空間をユーザに提供する技術である。近年、スマートフォンにおけるＡＲの利用が進んでおり、例えば、スマートフォンのカメラで撮影した現実空間の映像に仮想空間の視覚情報を付加して表示するゲームまたはコンテンツなどが提供されている。
【０００３】
ＡＲでは、撮影した映像によってユーザは現実空間を感じることができるとともに、付加された仮想空間の視覚情報によって仮想空間も感じることができる。例えば、ＡＲでは、カメラで撮影した現実空間を背景に、仮想空間の視覚情報としてアニメまたはゲームなどのキャラクタを付加した表示が可能である。すなわち、ＡＲを利用すれば、スマートフォンの表示を通じて、現実空間の中に仮想的なキャラクタを登場させることができる。しかしながら、このようなＡＲを利用するコンテンツの多くは、スマートフォンの表示をオフにするとキャラクタが消えてしまうものである。ユーザがキャラクタに対して感情移入し、愛着を感じるためには、現実空間においてもキャラクタが実体化されていることが好ましい。
【０００４】
現実空間でキャラクタが実体化されたものとしては、例えば、フィギュアである。フィギュアを撮影した映像にＡＲを適用すれば、フィギュアの映像にオブジェクトを追加することも可能である（例えば、特許文献１参照）。例えば、フィギュアの手に武器として銃が握られている場合、銃口からビームを照射するようなオブジェクトを追加することができる。また、スマートフォンの表示をオフにしても、現実空間にフィギュアが残る。そのため、ユーザは、常にフィギュアとの一体感を感じることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１９−１８５７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、フィギュアに特定のポーズを取らせることによって、フィギュアのキャラクタを判定する。すなわち、ＡＲを適用するためのフィギュアのポーズが、キャラクタごとに予め決められている。これは、キャラクタごとに予め用意されたオブジェクトを重畳する位置がずれないことを目的とするものであるが、フィギュアは常に所定のポーズに固定されてしまう。すなわち、撮影されたフィギュアのキャラクタは常に同じポーズしかとることができない。さらに、特許文献１では、撮影されたフィギュアのキャラクタそのものに動きを与えるものではなく、キャラクタに付随する物体に対してオブジェクトを付加するものである。
【０００７】
フィギュアをカメラで撮影するのであれば、フィギュアのポーズを自由に決定したいのがユーザの心理である。そのため、フィギュアのポーズが固定されてしまう点は、ユーザの共感が得られにくい。しかも、撮影されたフィギュアのキャラクタは同じポーズであるため、ユーザは、かえってキャラクタに動きが無いことを実感しかねない。また、毎回同じポーズをフィギュアに取らせることは、ユーザの手間および苦痛でしかない。したがって、ポーズが固定されたフィギュアに対して、繰り返しＡＲが利用される可能性は低く、ユーザの満足度が得られにくいという問題があった。
【０００８】
また、撮影されたフィギュアのキャラクタそのものに動きがないため、ユーザは、フィギュアを装飾品ととらえるだけで、ＡＲを利用してもキャラクタの個性を感じることができず、キャラクタに対する愛着が向上することはなかった。
【０００９】
本発明は、上記問題に鑑み、ＡＲを利用した情報処理プログラムおよび情報処理システムを提供し、ユーザが現実空間で所有する所有物のキャラクタに対する愛着を向上させることを課題の１つとする。
【課題を解決するための手段】
【００１０】
本発明の一実施形態に係る情報処理プログラムは、撮像装置が搭載された情報端末装置のコンピュータで実行される情報処理プログラムであって、コンピュータに、撮像装置で撮影した被写体を含む映像において、被写体の少なくとも一部を含むオブジェクト領域を画定させ、オブジェクト領域を基にして被写体のキャラクタを判定させ、オブジェクト領域の少なくとも一部に、判定されたキャラクタに関するキャラクタ映像データを重畳させる。
【００１１】
本発明の一実施形態に係る情報処理システムは、情報端末装置の撮像装置で撮影した被写体を含む映像を、情報端末装置の表示装置に表示する第１処理部と、映像の被写体の少なくとも一部を含むオブジェクト領域を画定する第２処理部と、オブジェクト領域を基にして被写体のキャラクタを判定する第３処理部と、オブジェクト領域の少なくとも一部に、判定されたキャラクタに関するキャラクタ映像データを重畳する第４処理部と、を含む。
【００１２】
キャラクタ映像データは、キャラクタの容姿の一部であってもよい。
【００１３】
オブジェクト領域は、被写体の頭部を含んでいてもよい。
【００１４】
キャラクタの判定は、被写体の頭部に基づいて実行されてもよい。また、キャラクタの判定は、オブジェクト領域に含まれる映像データの色をカウントしたオブジェクト色データに基づいて実行されてもよい。また、キャラクタの判定は、オブジェクト色データに含まれる少なくとも２色の比率に基づいて実行されてもよい。
【００１５】
重畳されるキャラクタ映像データは、オブジェクト領域に含まれる被写体の大きさまたは角度によって調整されてもよい。
【００１６】
オブジェクト領域は、情報端末装置のユーザの選択に基づいて画定されてもよい。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】本発明の一実施形態に係る情報処理システムのサーバ装置および情報端末装置の構成を示すブロック図である。
【図３】本発明の一実施形態に係る情報システムの概略内容を説明する図である。
【図４】本発明の一実施形態に係る情報システムの概略内容を説明する図である。
【図５】本発明の一実施形態に係る情報システムの概略内容を説明する図である。
【図６】本発明の一実施形態に係る情報システムの概略内容を説明する図である。
【図７】本発明の一実施形態に係る情報処理システムの情報処理を示すフローチャートである。
【図８】本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の各実施形態において、図面等を参照しつつ説明する。但し、本発明は、その技術的思想の要旨を逸脱しない範囲において様々な態様で実施することができ、以下に例示する実施形態の記載内容に限定して解釈されるものではない。
【００１９】
図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、図示の形状そのものが本発明の解釈を限定するものではない。また、図面において、明細書中で既出の図に関して説明したものと同様の機能を備えた要素には、別図であっても同一の符号を付して、重複する説明を省略する場合がある。
【００２０】
本明細書において、「映像」とは、静止画像だけでなく、動画像も含む。
【００２１】
本明細書において、「キャラクタ」とは、アニメ、漫画、小説、ゲーム、または広告などにおいて創作された、人物、動物、または植物などの生物、もしくはロボットなどの無生物を含む。
【００２２】
＜第１実施形態＞
図１〜図７を参照して、本発明の一実施形態に係る情報処理システム１０の構成について説明する。
【００２３】
［１．情報処理システム１０の構成］
図１は、本発明の一実施形態に係る情報処理システム１０の構成を示すブロック図である。図１に示すように、情報処理システム１０は、サーバ装置１００および情報端末装置２００を含む。なお、情報処理システム１０の構成はこれに限られない。情報処理システム１０は、複数のサーバ装置１００を含んでいてもよく、複数の情報端末装置２００を含んでいてもよい。
【００２４】
サーバ装置１００と情報端末装置２００とは、通信ネットワーク３００によって接続することができる。通信ネットワーク３００は、例えば、インターネットなどである。通信ネットワーク３００は、通信業者によって管理される通信基地局を介してもよい。すなわち、サーバ装置１００と情報端末装置２００とは、通信基地局を介した通信ネットワーク３００によって接続することもできる。
【００２５】
図２は、本発明の一実施形態に係る情報処理システム１０のサーバ装置１００および情報端末装置２００の構成を示すブロック図である。図２（Ａ）に示すように、サーバ装置１００は、記憶部１２０、受信部１３０、および送信部１４０を含む。また、図２（Ｂ）に示すように、情報端末装置２００は、コンピュータ２１０、撮像装置２２０、表示装置２３０、受信部２４０、および送信部２５０を含む。また、コンピュータ２１０は、第１処理部２１１、第２処理部２１２、第３処理部２１３、および第４処理部２１４を含む。
【００２６】
サーバ装置１００は、情報処理システム１０の管理者によって管理されている。サーバ装置１００では、受信部１３０が、情報端末装置２００から送信された撮像データを受信することができる。また、サーバ装置１００では、送信部１４０が、情報端末装置２００にキャラクタデータまたはキャラクタ映像データを送信することができる。
【００２７】
サーバ装置１００の記憶部１２０には、キャラクタごとに、キャラクタに対応した（紐付けられた）キャラクタデータおよびキャラクタ映像データが登録されたデータベースが記憶されている。
【００２８】
キャラクタデータは、後述する被写体のキャラクタを判定するために利用するデータである。キャラクタデータは、キャラクタの一部を含むデータであってもよく、例えば、キャラクタの頭部に関するデータである。また、被写体のキャラクタの判定にキャラクタの色を利用する場合、キャラクタデータは、キャラクタの色の特徴を示したデータであってもよい。キャラクタデータがキャラクタの色の特徴を示したデータとしては、例えば、キャラクタに用いられている色の比率（赤色：黄色：灰色＝３：１：２など）、または連続して隣接する色の種類（赤色＋黄色＋白色＋赤色）などである。データベースには、各キャラクタごとに、１つのキャラクタデータだけでなく、複数のキャラクタデータが登録されていてもよい。複数のキャラクタデータが登録されている場合、複数のキャラクタデータを用いて被写体のキャラクタを判定することができるため、被写体のキャラクタの判定の精度が向上する。
【００２９】
キャラクタ映像データは、後述するオブジェクト領域への表示に利用するデータである。キャラクタ映像データは、キャラクタの一部に変化を与える映像を含む。例えば、キャラクタ映像データは、キャラクタの表情が変化するアニメーションデータである。キャラクタ映像データは、静止画像であってもよく、動画像であってもよい。また、データベースには、各キャラクタごとに、１つのキャラクタ映像データだけでなく、複数のキャラクタ映像データが登録されていてもよい。複数のキャラクタ映像データが登録されている場合、ユーザに異なる複数のパターン（例えば、キャラクタの表情が異なる複数のパターン）の映像を提供することができる。ユーザは、キャラクタの同じ映像を見ることがなくなるため、繰り返しキャラクタの映像を楽しむことができる。複数のキャラクタ映像データが登録されている場合、オブジェクト領域への表示に利用するキャラクタ映像データは、ユーザの選択によって決定されるようにしてもよい。また、日付や時間によってキャラクタ映像データが決定されてもよい。例えば、ユーザの誕生日であれば、キャラクタがユーザの誕生日を祝う映像のキャラクタ映像データが自動的に選択されるようにしてもよい。
【００３０】
なお、キャラクタ映像データには、音声データが含まれていてもよい。
【００３１】
情報端末装置２００は、情報処理システム１０の利用者、すなわち、情報端末装置２００を利用するユーザーによって管理されている。情報端末装置２００は、例えば、携帯電話、スマートフォン、タブレット、携帯ゲーム機などである。情報端末装置２００では、撮像装置２２０は、情報端末装置２００の周囲の映像を撮影することができる。撮像装置２２０は、例えば、カメラまたはビデオなどである。また、情報端末装置２００では、表示装置２３０は、撮影した映像を表示することができる。表示装置２３０は、例えば、液晶表示装置または発光ダイオード（ＬＥＤ）表示装置などである。表示装置２３０の表示面には、タッチパネルが設けられていてもよい。情報端末装置２００では、表示装置２３０の表示面の反対側の面に撮像装置２２０が設けられていることが好ましい。
【００３２】
コンピュータ２１０は、プログラムに基づいたデータの処理を実行することができる。コンピュータ２１０は、例えば、中央演算処理装置（ＣＰＵ）または画像処理装置（ＧＰＵ）などである。コンピュータ２１０は、複数のＣＰＵまたは複数のＧＰＵを含んでいてもよい。第１処理部２１１は、撮像装置２２０が撮影した映像を、表示装置２３０への表示可能な映像データに変換する処理プログラムを実行することができる。第２処理部２１２は、映像の一部の領域をオブジェクト領域と画定し、オブジェクト領域に関するデータの処理プログラムを実行することができる。第３処理部２１３は、映像の中の被写体のキャラクタを判定する処理プログラムを実行することができる。第４処理部２１４は、オブジェクト領域に、キャラクタ映像データを重畳する処理プログラムを実行することができる。
【００３３】
［２．情報処理システム１０の概略内容］
図３〜図６を参照して、本発明の一実施形態に係る情報処理システム１０の概略内容について説明する。
【００３４】
図３〜図６は、本発明の一実施形態に係る情報処理システム１０の概略内容を説明する図である。ユーザは、情報端末装置２００の撮像装置２２０（表示装置２３０の裏面側に設置されている）を用いて、アニメまたはゲームなどのキャラクタが模されたフィギュア５００を被写体として撮影する（図３）。撮影された映像が、情報端末装置２００の表示装置２３０に表示される。なお、情報処理システム１０で処理される被写体は、フィギュア５００、人形、ぬいぐるみ、またはプラモデルのような立体的なものに限られない。被写体は、キャラクタが描かれたポスターのような平面的なものであってもよい。
【００３５】
次に、撮影された映像において、被写体の少なくとも一部を含むようにオブジェクト領域４００が画定される（図４）。オブジェクト領域４００に含まれる被写体の一部は、例えば、被写体の頭部であるが、これに限られない。オブジェクト領域４００に含まれる被写体の一部は、被写体の服であってもよい。オブジェクト領域４００に含まれる被写体の一部は、キャラクタの特徴的な部分であることが好ましい。オブジェクト領域４００にキャラクタの特徴的な部分が含まれていると、後述する被写体のキャラクタの判定が容易となる。
【００３６】
オブジェクト領域４００は、ユーザが設定することもできる。フィギュア５００の全体ではなく、フィギュア５００の一部を撮影したとき、被写体のキャラクタの判定が困難な場合がある。その場合、ユーザがオブジェクト領域４００を調整することで、被写体のキャラクタを判定することが可能になる。
【００３７】
オブジェクト領域４００は、矩形の範囲内の領域であることが好ましいが、これに限られない。オブジェクト領域４００は、円形の範囲内の領域であってもよく、三角形または５角形などの多角形の範囲内の領域であってもよい。また、容姿に特徴のあるキャラクタの場合、オブジェクト領域４００の形状を予め決定しておくこともできる。例えば、キャラクタの頭部が尖っている場合、オブジェクト領域４００の形状を三角形と決定しておくことができる。後述する被写体のキャラクタを判定するときに、オブジェクト領域４００の形状も判定基準とすることができるため、被写体のキャラクタの判定の精度が向上する。
【００３８】
次に、映像の中の被写体のキャラクタが判定される（図５）。キャラクタの判定は、オブジェクト領域４００に含まれる映像データと、データベースに登録されたキャラクタデータとを比較することにより行われる。被写体のキャラクタの判定は、映像データとキャラクタデータとを画素単位で直接比較することができる。オブジェクト領域４００の大きさ（解像度）とキャラクタデータの大きさ（解像度）が異なる場合、オブジェクト領域４００の大きさとキャラクタデータの大きさを一致させるため、映像データまたはキャラクタデータを拡大または縮小してもよい。映像データとキャラクタデータとを比較し、類似度が最も高いキャラクタデータに紐付けられたキャラクタを被写体のキャラクタとして特定することができる。
【００３９】
被写体のキャラクタの判定は、オブジェクト領域４００に含まれる映像データを変換したデータを生成し、生成されたデータとキャラクタデータ（データベースには映像データを変換して生成されたデータと同じフォーマットで登録しておく）とを比較してもよい。例えば、オブジェクト領域４００に含まれる映像データの各画素の色を基に、どの色の画素がいくつあるかをカウントしたオブジェクト色データを生成し、オブジェクト色データとキャラクタデータとを比較することができる。
【００４０】
例えば、オブジェクト領域４００に含まれる画素１００個のうち、赤を表示する画素が５０個、青を表示する画素が３０個、黄色を表示する画素が２０個ある場合、オブジェクト色データから、オブジェクト領域４００における色の相対比率は、赤：青：黄＝５：３：２であることがわかる。オブジェクト色データとキャラクタデータの比較においては、色の相対比率の類似度が最も高いキャラクタデータに紐付けられたキャラクタを被写体のキャラクタとして特定することができる。被写体の撮影距離によりオブジェクト領域４００の大きさは変化するため、オブジェクト領域４００に含まれる画素の数は一定ではない。しかしながら、オブジェクト領域４００における各色が占める割合の比率、すなわち色の相対比率は変わらない。そのため、キャラクタデータとの比較においては、色の相対比率を用いることにより正確に被写体のキャラクタを特定することができる。
【００４１】
また、キャラクタは通常、１つの部位においては均一に同色が分布する。例えば、顔の場合、目元であっても鼻の先であっても、ＲＧＢ値がほぼ同一の肌色が用いられる。そのため、オブジェクト領域４００からオブジェクト色データを生成する際も、色の数は煩雑なほどに多くなることはないので、色の相対比率を算出することが容易である。このように、自然物を撮影した画像を解析するときとは異なり、被写体がキャラクタである場合の画像を解析するにあたっては、上記方法が容易かつ有効である。
【００４２】
また、キャラクタの場合、目または髪の毛などの部位に特徴がある場合が多い。そのため、オブジェクト領域４００から複数のサブ領域を生成し、サブ領域ごとにキャラクタの判定を行うこともできる。例えば、サブ領域ごとにオブジェクト色データを生成し、オブジェクト色データと部位ごとのキャラクタデータとを比較することができる。
【００４３】
ここで、部位ごとのキャラクタデータを用いた判定について、さらに詳しく説明する。
【００４４】
一例として、あるキャラクタの目のキャラクタデータ（以下、「第１部位キャラクタデータ」とする）および髪の毛のキャラクタデータ（以下、「第２部位キャラクタデータ」とする）が登録されているものとする。第１部位キャラクタデータは、赤：緑：青＝１８６：１５５：４８であり、第２部位キャラクタデータは、赤：緑：青＝２５５：１８０：２００である。一方、オブジェクト領域４００に含まれる映像データにおいて、被写体の目および髪の毛を特定し、目を含む第１サブ領域および髪の毛を含む第２サブ領域を画定する。また、第１サブ領域から第１オブジェクト色データを生成し、第２サブ領域から第２オブジェクト色データを生成する。例えば、第１オブジェクトデータは、赤：緑：青＝１１０：６８：６であり、第２オブジェクトデータは、赤：緑：青＝２３５：１６０：１８０である。第１部位キャラクタデータに対する第１オブジェクトデータの各色の割合は、赤：緑：青＝１８６／１１０：１５５／６８：４８／６＝１．７：２．３：８＝１：１．３：４．７である。また、第２部位キャラクタデータに対する第２オブジェクトデータの各色の割合は、赤：緑：青＝２３５／２５５：１６０／１８０：１８０／２００＝０．９２：０．８８：０．９０＝１．０３：１：１．０１である。なお、上記各色の割合は、最小値が１となるように規格化している。
【００４５】
部位ごとのキャラクタデータを用いた判定においては、予めしきい値を設定しておき、しきい値を使用して判定することができる。上述の例において、各色の割合のしきい値を５と設定した場合、第１オブジェクトデータの各色の割合および第２オブジェクトデータの各色の割合はともに５以下であるため（すなわち、第１オブジェクトデータは第１部位キャラクタデータに近く、第２オブジェクトデータは第２部位キャラクタデータに近いということができる）、被写体を、登録されていたキャラクタとして判定することができる。一方、各色の割合のしきい値を３と設定した場合、第２オブジェクトデータの各色の割合は３以下であるものの、第１オブジェクトデータの各色の割合は３より大きい。そのため、被写体は、登録されていたキャラクタと判定されない。しかしながら、この場合において、予め優先度を設定しておくことで、被写体が、登録されていたキャラクタと判定することができるようにしてもよい。キャラクタによっては、キャラクタの中で目よりも髪の毛の占める割合が大きい場合がある。その場合、キャラクタの中で占める割合の大きい部位の優先度を高く設定しておくことができる。上述の例であれば、第２部位キャラクタデータが第１部位キャラクタデータよりも優先度が高く設定されている場合、被写体を、登録されていたキャラクタと判定してもよい。
【００４６】
被写体の撮影によっては、周囲の環境の影響を受け、同じ被写体を、同じ距離で、同じ角度で撮影しても、常に同じ映像が得られるとは限らない。例えば、昼間の撮影と夜の撮影とでは、被写体が受ける光量が異なるため、色の見え方が異なることがある。その場合であっても、オブジェクト領域４００からサブオブジェクトを生成し、キャラクタの特徴が表された複数の部位を基にした判定を行うことで、被写体のキャラクタの判定の精度を向上させることができる。
【００４７】
上述では、オブジェクト領域４００からサブオブジェクトを生成したが、被写体のキャラクタの判定は、複数のオブジェクト領域４００を画定して行ってもよい。その場合、画定される複数のオブジェクト領域４００の各々は、被写体の少なくとも一部を含む。例えば、２つのオブジェクト領域４００が画定される場合、一方のオブジェクト領域４００は被写体の頭部を含むように画定され、他方のオブジェクト領域４００は被写体の服を含むように画定されてもよい。また、他方のオブジェクト領域４００は、被写体に付されたマーク、文字、またはＱＲコード（登録商標）などの識別情報を含むように画定されてもよい。これらの識別情報も利用することによりキャラクタの判定の精度が向上する。これらの識別情報は、フィギュアなどの被写体の表面に印刷などによって付されることが一般的ではあるが、キャラクタの世界観や設定を損ねるものであるため、キャラクタに識別情報が付されていることは好ましくない。そのため、識別情報を含むように画定されたオブジェクト領域４００に重畳するキャラクタ映像データは、識別情報を含まない。すなわち、識別情報を含むように画定されたオブジェクト領域４００にキャラクタ映像データが重畳されると、被写体に付された識別情報は、キャラクタ映像データによって隠され、見えなくなる。したがって、ユーザは、キャラクタの世界観により没頭することができるようになる。
【００４８】
次に、情報端末装置２００は、サーバ装置１００から、特定されたキャラクタに紐付けられたキャラクタ映像データを受信し、キャラクタ映像データをオブジェクト領域４００に重畳して表示装置２３０に表示する（図６）。
【００４９】
表示装置２３０に表示するキャラクタ映像データは、オブジェクト領域４００の大きさに合わせて、大きさが調整されてもよい。また、キャラクタ映像データは、被写体の大きさまたは角度に合わせて、大きさまたは角度が調整されてもよい。
【００５０】
本実施形態に係る情報処理システム１０によれば、現実空間でキャラクタが実体化された、例えば、フィギュア５００を被写体とし、被写体の映像に対してＡＲを適用する。そのため、情報処理システム１０を利用している間においても、ユーザの目の前にフィギュア５００が存在している。そのため、ユーザは、フィギュア５００に触れながら、情報端末装置２００に表示されたキャラクタの表情などの変化を楽しむことができる。したがって、ユーザは、フィギュア５００を身近に感じられるだけでなく、フィギュア５００の基となるキャラクタにも愛着を感じることができ、ユーザの満足度が向上する。
【００５１】
［３．情報処理システム１０の処理内容］
図７を参照して、本発明の一実施形態に係る情報処理システム１０の処理内容についてに詳細に説明する。
【００５２】
図７は、本発明の一実施形態に係る情報処理システム１０の情報処理を示すフローチャートである。
【００５３】
情報処理システム１０の情報処理は、情報端末装置２００において、情報処理システム１０を利用するプログラムを起動する（例えば、情報端末装置２００がスマートフォンであれば、スマートフォンにインストールされた情報処理システム１０のアプリケーションを起動する）ことによって開始する。
【００５４】
コンピュータ２１０は、撮像装置２２０を起動する。第１処理部２１１は、撮像装置２２０で撮影された映像を映像データに変換するとともに、表示装置２３０に映像を表示する（Ｓ１００）。
【００５５】
第２処理部２１２は、映像データから被写体に関する被写体データを取得する（Ｓ１１０）。すなわち、映像データを、被写体データと被写体以外の背景データとに分離する。映像データを被写体データと背景データとに分離することで、被写体データを含むようにオブジェクト領域４００を画定することができる。そのため、オブジェクト領域４００の画定が容易となる。被写体は、人型の容姿の部位（頭部、胴部、腕部、または脚部など）を基にして特定することができる。なお、被写体を特定できない場合、すなわち、第２処理部２１２が映像データから被写体データを特定できない場合、第２処理部２１２は、表示装置２３０に被写体を特定できない旨のアラートを表示する処理を実行し、ユーザに撮影の調整を促すことができる。
【００５６】
第２処理部２１２は、さらに、被写体の容姿の一部を特定し、特定した被写体の容姿の一部を含むようにオブジェクト領域４００を画定する（Ｓ１２０）。オブジェクト領域４００に含まれる被写体の容姿の一部は、頭部が好ましい。オブジェクト領域４００が顔を含む頭部であれば、オブジェクト領域４００にキャラクタデータを重畳したときに、キャラクタの表情を変えることができるため、ユーザの満足度を得られやすい。また、第２処理部２１２は、画定したオブジェクト領域４００を、表示装置２３０に表示する（Ｓ１３０）。
【００５７】
なお、被写体の頭部が明確に特定できる場合は、被写体データを特定せず、被写体の頭部を含む領域をオブジェクト領域４００として画定してもよい。
【００５８】
次に、情報端末装置２００は、サーバ装置１００と接続する（Ｓ１４０）。第３処理部２１３は、オブジェクト領域４００に含まれる映像データと、サーバ装置１００の記憶部１２０に記憶されているデータベースに登録されたキャラクタデータとを比較する（Ｓ１５０）。オブジェクト領域４００の大きさ（解像度）とキャラクタデータの大きさ（解像度）が異なる場合、第３処理部２１３は、映像データまたはキャラクタデータに画素を追加または削除し、オブジェクト領域４００の大きさ（解像度）とキャラクタデータの大きさを一致させてから比較することもできる。第３処理部２１３は、映像データとキャラクタデータとを比較し、各キャラクタデータにおいて類似度を生成する。類似度は、映像データとキャラクタデータとの画素の位置または色の配列などが一致する場合に高くなる。第３処理部２１３は、類似度が最も高いキャラクタデータに紐付けられたキャラクタを被写体のキャラクタとして特定することができる（Ｓ１６０）。
【００５９】
なお、類似度が低く、被写体のキャラクタを特定できない場合、第３処理部２１３は、表示装置２３０に被写体のキャラクタを特定できない旨のアラートを表示する処理を実行し、ユーザにオブジェクト領域４００の調整を促すことができる。
【００６０】
また、被写体のキャラクタの判定は、オブジェクト領域４００に含まれる映像データを変換したデータを基に行うこともできる。この場合、第２処理部２１２は、オブジェクト領域４００に含まれる映像データを所定のフォーマットに変換する。例えば、第２処理部２１２は、オブジェクト領域４００に含まれる映像データの色をカウントしたオブジェクト色データを生成することができる。また、第３処理部２１３は、オブジェクト色データとキャラクタデータとを比較し、各キャラクタデータにおいて類似度を生成する。類似度は、オブジェクト色データとキャラクタデータとの色の比率または色の配列などが一致する場合に高くなる。第３処理部２１３は、類似度が最も高いキャラクタデータに紐付けられたキャラクタを被写体のキャラクタとして特定することできる。
【００６１】
次に、情報端末装置２００は、サーバ装置１００と接続する（Ｓ１７０）。サーバ装置１００の送信部１４０は、特定されたキャラクタに紐付けられたキャラクタ映像データを送信し、情報端末装置２００の受信部２４０は、キャラクタ映像データを受信する（Ｓ１８０）。第４処理部２１４は、キャラクタ映像データをオブジェクト領域４００に重畳して表示装置２３０に表示する（Ｓ１９０）。すなわち、表示装置２３０の表示面には、第１処理部２１１により撮影されている映像はそのまま表示され、第４処理部２１４によりオブジェクト領域４００のみにキャラクタ映像データに基づく映像が表示される。
【００６２】
オブジェクト領域４００の大きさとキャラクタ映像データの大きさが異なる場合、オブジェクト領域４００の大きさに合わせてキャラクタ映像データを拡大または縮小してもよい。
【００６３】
また、データベースには、キャラクタの角度に合わせた数パターンのキャラクタ映像データを登録しておき、第４処理部２１４は、オブジェクト領域４００に含まれるキャラクタの角度に応じて、最適なパターンのキャラクタ映像データを表示装置２３０に表示することもできる。さらに、第４処理部２１４は、２つのパターンのキャラクタ映像データから、それらの中間のパターンのキャラクタ映像データを生成し、表示装置２３０に表示してよい。
【００６４】
本実施形態に係る情報処理システム１０によれば、被写体の容姿の一部を含むオブジェクト領域４００を基にキャラクタの判定を行い、オブジェクト領域４００に対してＡＲを適用する。すなわち、情報処理システム１０では、被写体のポーズに依存することなく、被写体のキャラクタを判定することができる。そのため、ユーザは、ユーザの好みに合わせたポーズの被写体の映像を見ながら、オブジェクト領域４００に表示されたキャラクタの表情などの変化を楽しむことができる。したがって、ユーザは、キャラクタ感情移入し、愛着を感じることができ、ユーザの満足度が向上する。
【００６５】
＜第２実施形態＞
図８を参照して、第１実施形態とは別の本発明の一実施形態に係る情報処理システム１０Ａの構成について説明する。以下では、情報処理システム１０Ａの構成の説明において、情報処理システム１０と同様の構成については説明を省略する場合がある。
【００６６】
図８は、本発明の一実施形態に係る情報処理システム１０Ａの構成を示すブロック図である。図８に示すように、情報処理システム１０Ａは、サーバ装置１００Ａおよび情報端末装置２００Ａを含む。また、サーバ装置１００Ａと情報端末装置２００とは、通信ネットワーク３００によって接続することができる。
【００６７】
図８に示すように、サーバ装置１００Ａは、処理部１１０、記憶部１２０、受信部１３０、および送信部１４０を含む。また、情報端末装置２００Ａは、コンピュータ２１０、撮像装置２２０、表示装置２３０、受信部２４０、および送信部２５０を含む。また、コンピュータ２１０は、第１処理部２１１、第２処理部２１２、および第４処理部２１４を含む。すなわち、第１実施形態に係る情報処理システム１０では、情報端末装置２００が第３処理部２１３を含むのに対し、本実施形態に係る情報処理システム１０Ａでは、サーバ装置１００Ａが処理部１１０を含む点で異なる。
【００６８】
サーバ装置１００Ａの処理部１１０は、サーバ装置１００Ａの受信部１３０が受信したデータを処理することができる。具体的には、処理部１１０は、映像の中の被写体のキャラクタを判定する処理プログラムを実行することができる。すなわち、情報処理システム１０Ａでは、サーバ装置１００の処理部１１０が、被写体のキャラクタの判定を行う。以下では、情報端末装置２００Ａの第２処理部２１２がオブジェクト領域４００を画定した後、サーバ装置１００Ａの処理部１１０が実行する被写体のキャラクタの判定処理について説明する。
【００６９】
情報端末装置２００Ａは、サーバ装置１００Ａと接続する。情報端末装置２００Ａの第２処理部２１２は、サーバ装置１００Ａに、オブジェクト領域４００に含まれる映像データを送信する。サーバ装置１００Ａの受信部１３０は、オブジェクト領域４００に含まれる映像データを受信する。サーバ装置１００Ａの処理部１１０は、オブジェクト領域４００に含まれる映像データと、サーバ装置１００Ａの記憶部１２０に記憶されているデータベースに登録されたキャラクタデータとを比較し、各キャラクタデータにおいて類似度を生成する。処理部１１０は、類似度が最も高いキャラクタデータに紐付けられたキャラクタを被写体のキャラクタとして特定することできる。
【００７０】
サーバ装置１００Ａは、情報端末装置２００Ａと接続する。サーバ装置１００Ａの送信部１４０は、特定されたキャラクタに紐付けられたキャラクタ映像データを送信し、情報端末装置２００の受信部２４０は、キャラクタ映像データを受信する。情報端末装置２００Ａの第４処理部２１４は、キャラクタ映像データをオブジェクト領域４００に重畳して表示装置２３０に表示する。すなわち、表示装置２３０の表示面には、第１処理部２１１により撮影されている映像はそのまま表示され、第４処理部２１４によりオブジェクト領域４００のみにキャラクタ映像データに基づく映像が表示される。
【００７１】
本実施形態に係る情報処理システム１０Ａによれば、被写体のキャラクタの判定処理をサーバ装置１００Ａで行うことができる。そのため、情報端末装置２００Ａの処理負担を軽減することができる。
【００７２】
本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。また、各実施形態を基にして、当業者が適宜構成要素の追加、削除、または設計変更を行ったもの、もしくは工程の追加、省略、または条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【００７３】
上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００７４】
１０、１０Ａ：情報処理システム、  １００、１００Ａ：サーバ装置、  １１０：処理部、  １２０：記憶部、  １３０：受信部、  １４０：送信部、  ２００、２００Ａ：情報端末装置、  ２１０：コンピュータ、  ２１１：第１処理部、  ２１２：第２処理部、  ２１３：第３処理部、  ２１４：第４処理部、  ２２０：撮像装置、  ２３０：表示装置、  ２４０：受信部、  ２５０：送信部、  ３００：通信ネットワーク、  ４００：オブジェクト領域、  ５００：フィギュア
【要約】
【課題】ＡＲを利用した情報処理プログラムおよび情報処理システムを提供し、ユーザが現実空間で所有する所有物のキャラクタに対する愛着を向上させること。
【解決手段】情報処理プログラムは、撮像装置が搭載された情報端末装置のコンピュータで実行される情報処理プログラムであって、コンピュータに、撮像装置で撮影した被写体を含む映像において、被写体の少なくとも一部を含むオブジェクト領域を画定させ、オブジェクト領域を基にして被写体のキャラクタを判定させ、オブジェクト領域の少なくとも一部に、判定されたキャラクタに関するキャラクタ映像データを重畳させる。
【選択図】図２【図１】
0006907357.tif 000002
【図２】
0006907357.tif 000003
【図３】
0006907357.tif 000004
【図４】
0006907357.tif 000005
【図５】
0006907357.tif 000006
【図６】
0006907357.tif 000007
【図７】
0006907357.tif 000008
【図８】
0006907357.tif 000009