(57)【要約】【課題】  被写体の色領域を容易に登録できるようにする。【解決手段】  基準体験者の代表画像６０１の部分色領域６０９と、一般体験者の部分色領域６１１との差分に応じて、基準体験者の全体色領域６１０を変換した色領域を、一般体験者の全体色領域６１２として導出する。【選択図】  図６
2016224860.tif 000002
【特許請求の範囲】
【請求項１】
第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に多い数の画像に基づく色情報である第１の被写体領域の全体色情報と、前記第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に少ない数の画像に基づく色情報である第１の被写体領域の部分色情報と、を取得する取得手段と、
第２の被写体について撮影された画像に基づく前記第２の被写体の色情報を、第２の被写体領域の部分色情報として導出する第１の導出手段と、
前記第１の被写体領域の全体色情報と、前記第１の被写体領域の部分色情報と、前記第２の被写体領域の部分色情報と、を用いて、前記第２の被写体の画像であって、前記第２の被写体について撮影された画像よりも多い数の画像に基づく前記第２の被写体の色情報を、第２の被写体領域の全体色情報として導出する第２の導出手段と、を有することを特徴とする情報処理装置。
【請求項２】
前記第２の導出手段は、前記第１の被写体領域の部分色情報と、前記第２の被写体領域の部分色情報との差分を算出し、算出した差分に基づいて、前記第１の被写体領域の全体色情報を、前記第２の被写体領域の全体色情報に変換することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２の導出手段は、前記第１の被写体領域の部分色情報の分布を示す色領域と、前記第２の被写体領域の部分色情報の分布を示す色領域とが合うように、前記色領域の何れか一方に対して、並進、回転、およびスケールのうち少なくとも何れか１つを行うことにより、前記第１の被写体領域の部分色情報と、前記第２の被写体領域の部分色情報との差分を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の被写体について撮影された画像に対応する画像が撮影されるように前記第２の被写体を誘導するための情報を出力する出力手段をさらに有することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記第１の被写体について撮影された画像であって、前記相対的に多い数の画像から、代表画像を選択する選択手段をさらに有し、
前記出力手段は、前記代表画像に対応する画像が撮影されるように前記第２の被写体を誘導するための情報を出力することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記出力手段は、前記代表画像に対応する画像が撮影されるように前記第２の被写体を誘導するための情報として、前記代表画像の撮影条件に関する情報を出力することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記選択手段は、前記第１の被写体について撮影された画像であって、前記相対的に多い数の画像から、前記第１の被写体領域の色情報の分布の重心が、前記第１の被写体領域の全体色情報の分布の重心に最も近い画像、または、前記第１の被写体領域の色情報の分布の範囲が最も広い画像を、前記代表画像として選択することを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
前記第１の被写体について撮影された画像であって、前記相対的に多い数の画像から、前記第２の被写体について撮影された画像に対応する画像を類似画像として抽出する抽出手段をさらに有し、
前記第１の被写体領域の部分色情報には、前記類似画像に基づく前記第１の被写体の色情報が含まれることを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項９】
前記第１の被写体について撮影された画像であって、前記相対的に少ない数の画像は、前記相対的に多い数の画像の一部の画像であることを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
【請求項１０】
前記第１の被写体について撮影された画像であって、前記相対的に少ない数の画像と、前記第２の被写体について撮影された画像は、同じ撮影条件で撮影された同じ数の画像であり、
前記第２の被写体領域の全体色情報は、前記第１の被写体について撮影された画像であって、前記相対的に多い数の画像が撮影された際と同じ撮影条件で前記第２の被写体が撮影されたとした場合の前記第２の被写体の色情報であることを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
【請求項１１】
前記取得手段は、
前記第１の被写体について撮影された画像であって、前記相対的に多い数の画像に基づいて、前記第１の被写体領域の全体色情報を導出する第３の導出手段と、
前記第１の被写体について撮影された画像であって、前記相対的に少ない数の画像に基づいて、前記第１の被写体領域の部分色情報を導出する第４の導出手段と、をさらに有することを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
【請求項１２】
第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に多い数の画像に基づく色情報である第１の被写体領域の全体色情報と、前記第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に少ない数の画像に基づく色情報である第１の被写体領域の部分色情報と、を取得する取得工程と、
第２の被写体について撮影された画像に基づく前記第２の被写体の色情報を、第２の被写体領域の部分色情報として導出する第１の導出工程と、
前記第１の被写体領域の全体色情報と、前記第１の被写体領域の部分色情報と、前記第２の被写体領域の部分色情報と、を用いて、前記第２の被写体の画像であって、前記第２の被写体について撮影された画像よりも多い数の画像に基づく前記第２の被写体の色情報を、第２の被写体領域の全体色情報として導出する第２の導出工程と、を有することを特徴とする情報処理方法。
【請求項１３】
請求項１〜１１の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、被写体の色情報を登録するために用いて好適なものである。
【背景技術】
【０００２】
実写風景を背景として、その上にコンピュータグラフィックスを重畳して提示し、体験者に対して、あたかもその場に仮想の物体が存在するかのような体験を行わせる複合現実感（Mixed Reality）の技術がある。以下の説明では、「コンピュータグラフィックス」を必要に応じて「ＣＧ」と称し、「複合現実感（Mixed Reality）」を必要に応じて「ＭＲ」と称する。
【０００３】
ＭＲの技術を用いて臨場感豊かな体験を実現するには、背景となる実写風景の上にただ単純にＣＧを重畳して表示するだけでは不十分であり、体験者とＣＧとのインタラクションを実現することが重要となる。具体的には、体験者がＣＧで描画される仮想物体に対してあたかも触ったり操作したりしているように感じさせるといったインタラクションを実現することが重要となる。尚、以下の説明では、「ＣＧで描画される仮想物体」を必要に応じて単に「仮想物体」と称する。
【０００４】
このようなインタラクションを実現するためには、仮想物体と、仮想物体を操作する体験者の手などの被写体との前後関係を考慮した上で、仮想物体のＣＧを描画する必要がある。なぜなら、仮想物体よりも手前にあるべき被写体が、仮想物体のＣＧを描画することで隠されてしまうと、体験者が感じる、仮想物体との距離感や現実感が破綻し、臨場感を損ねてしまう虞があるからである。
【０００５】
そこで、特許文献１には、次の技術が開示されている。まず、体験者の手などの特定の被写体の色情報を予め登録しておく。そして、実写画像の各画素の色情報を、予め登録しておいた被写体の色情報と比較することにより、実写画像における被写体の領域を特定し、特定した被写体の領域については、実写画像に対するＣＧの描画を禁止し、実写画像をそのまま表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３２８６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術において臨場感豊かなＭＲ体験を行うには、体験者ごとに様々なポーズや向きで撮影した画像を用いて色情報の登録を行う必要がある。したがって、被写体の色情報の登録を行うのに手間がかかる。
本発明は、このような問題点に鑑みてなされたものであり、被写体の色情報を容易に登録できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に多い数の画像に基づく色情報である第１の被写体領域の全体色情報と、前記第１の被写体について撮影された画像に基づく前記第１の被写体の色情報であって、相対的に少ない数の画像に基づく色情報である第１の被写体領域の部分色情報と、を取得する取得手段と、第２の被写体について撮影された画像に基づく前記第２の被写体の色情報を、第２の被写体領域の部分色情報として導出する第１の導出手段と、前記第１の被写体領域の全体色情報と、前記第１の被写体領域の部分色情報と、前記第２の被写体領域の部分色情報と、を用いて、前記第２の被写体の画像であって、前記第２の被写体について撮影された画像よりも多い数の画像に基づく前記第２の被写体の色情報を、第２の被写体領域の全体色情報として導出する第２の導出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体の色情報を容易に登録することができる。
【図面の簡単な説明】
【００１０】
【図１】情報処理装置の構成を示す図である。
【図２】ＭＲ体験の対象となるシーンを示す図である。
【図３】ＭＲ体験の際に表示する対象となる映像を示す図である。
【図４】色領域を示す図である。
【図５】色領域を指定するためのＧＵＩの表示例を示す図である。
【図６】色領域の登録処理を説明する図である。
【図７】情報処理装置の機能構成の第１の例を示す図である。
【図８】情報処理装置の処理を示すフローチャートである。
【図９】基準色領域登録部の処理を示すフローチャートである。
【図１０】一般色領域登録部の処理の第１の例を示すフローチャートである。
【図１１】誘導部の処理を説明するための図である。
【図１２】色差分を示す図である。
【図１３】情報処理装置の機能構成の第２の例を示す図である。
【図１４】一般色領域登録部の処理の第２の例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、実施形態を説明する。
【００１２】
＜第１の実施形態＞
まず、第１の実施形態を説明する。
図１は、情報処理装置の構成の一例を示す図である。
情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、インターフェース１０５、およびシステムバス１０６を有する。情報処理装置１００には、撮影部１０７、表示部１０８、および操作部１０９が接続される。
【００１３】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０６を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
ＨＤＤ１０４は、二次記憶装置としての役割を持つ。ＣＰＵ１０１は、ＨＤＤ１０４からのデータ読み出し、およびＨＤＤ１０４へのデータ書き込みが可能である。なお、二次記憶装置は、ＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。
【００１４】
インターフェース１０５は、後述する撮影部１０７、表示部１０８、および操作部１０９などの外部機器とのデータのやり取りを行う。
撮影部１０７は、実写風景の撮影を行う。ＭＲ体験時には、撮影部１０７が撮影した実写風景に仮想物体のＣＧが重畳され、後述する表示部１０８に表示される。以下では、撮影部１０７が左目用の画像と右目用の画像をそれぞれ撮影する２つの撮影ユニットで構成される場合を例に挙げて説明する。しかしながら、撮影部１０７は、このようなものに限定されない。撮影ユニットが１つであったり、３つ以上であったりしても構わない。
【００１５】
表示部１０８は、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどにより構成されており、各種の情報を画像や文字などをもって表示することができる。なお、ヘッドマウントディスプレイのように、撮影部１０７と表示部１０８とが一体となっていてもよい。また、ＭＲ体験を提供するための表示部と後述する色登録を行うための表示部とが別々であってもよい。
【００１６】
操作部１０９は、キーボードやマウスなどにより構成されており、各種の指示をＣＰＵ１０１に対して入力することができる。例えば、後述するＧＵＩ（Graphical User Interface）に対する操作指示は、操作者が操作部１０９を用いることにより行われる。
なお、情報処理装置１００の構成要素は、前述した構成要素以外にも存在するが、本実施形態の主眼ではないので、ここでは、その詳細な説明を省略する。
【００１７】
［ＭＲ体験の説明］
図２は、ＭＲ体験の対象となるシーンの一例を模式的に示す図である。図３（ａ）〜図３（ｄ）は、ＭＲ体験の際に表示部１０８に表示する対象となる映像の一例を模式的に示す図である。以下では、図２および図３を参照して、ＭＲ体験の一例の概要と、当該ＭＲ体験において臨場感が適切に得られる場合とそうでない場合の一例について説明する。
【００１８】
図２では、体験者が手２０１を動かして仮想物体２０２とインタクラクションしているところを撮影部１０７が撮影している様子を示す。なお、以下では、仮想物体２０２とのインタラクションを行う被写体が手２０１である場合を例に挙げて説明する。しかしながら、仮想物体２０２とのインタラクションを行う被写体は手に限定されず、任意の被写体に適用可能である。
【００１９】
ＭＲ体験において、実際に仮想物体２０２が存在しているように体験者が感じるためには、手２０１と仮想物体２０２との前後関係を考慮した上で、仮想物体２０２のＣＧを描画する必要がある。つまり、撮影部１０７から見て手２０１が仮想物体２０２よりも手前にある場合は、図３（ａ）に示すように、手２０１が仮想物体２０２を隠すような表示を行う必要がある。また、撮影部１０７から見て手２０１が仮想物体２０２よりも奥にある場合は、図３（ｂ）に示すように、仮想物体２０２が手２０１を隠すような表示を行う必要がある。
【００２０】
本実施形態では、このような表示を行うために、情報処理装置１００は、撮影部１０７の映像中から手２０１の画素領域を抽出し、その画素領域の撮影部１０７からの距離に応じて、その画素領域に仮想物体２０２のＣＧを上書き描画するか否かを判定する。具体的に説明すると、手２０１の色領域を事前に登録しておき、登録しておいた色の画素が映像中に現れた時に、その画素を手２０１であるとして抽出する。ここで、登録した色領域に過不足があると、図３（ｃ）および図３（ｄ）に示すような現象が起こる。図３（ｃ）に示す例では、手２０１として抽出した画素領域に不足があり、仮想物体２０２のＣＧが上書き描画された映像において、穴２０３から仮想物体２０２が見えてしまっている。図３（ｄ）に示す例では、手２０１として抽出した画素領域が過剰であり、仮想物体２０２のＣＧが上書き描画された映像において、穴２０４から背景が見えてしまっている。このような現象が起こると、ＭＲ体験の臨場感が損なわれてしまう。
【００２１】
［色領域の説明］
図４は、色領域の一例を模式的に示す図である。以下では、図４を参照して、色領域について説明する。なお、以下の説明では、色空間としてCr，Cbを用いるものを例に挙げて説明する。しかしながら、色空間は、これに限定されず、任意の色空間を適用できる。
【００２２】
色領域は、２次元配列Col(p，q)に保持される。Col(p，q)は、Cr＝ｐ、Cb＝ｑである色が登録されている場合に「１」（Col(p，q)＝１）を示し、登録されていない場合に「０（ゼロ）」（Col(p，q)＝０）を示す２次元配列である。図４において、色領域４０１は、Col(p，q)＝１となる色領域を示している。このように色領域は、色情報（図４に示す例では色差信号）の分布を示すものである。なお、以下では、撮影部１０７を構成する２つの撮影ユニットに対して共通の色領域を用いる場合を例に挙げて説明する。しかしながら、必ずしも複数の撮影ユニットに対して共通の色領域を用いる必要はない。複数の撮影ユニットごとに異なる２次元配列Col(p，q)を保持しても構わない。また、２次元配列Col(p，q)が「０（ゼロ）」と「１」との間の小数の値をとるようにし、被写体である可能性が高い色であるほど、２次元配列Col(p，q)が大きな値をとるようにしても構わない。
【００２３】
［色領域の登録の説明］
図５は、色領域の登録に際してユーザが色領域を指定するために用いられるＧＵＩの表示例を示す図である。図５に示すＧＵＩ５００は、表示部１０８に表示される。以下では、図５を用いて、ユーザによる色領域の指定の方法の一例について説明する。
図５において、ウィンドウ５０１は、撮影部１０７で撮影された映像を表示するためのウィンドウである。ユーザが操作部１０９を用いてキャプチャボタン５０２を指示すると、その指示された時点で撮影部１０７から取得した映像がウィンドウ５０１内に表示される。ユーザは、操作部１０９を用いて、色領域を登録したい画素領域５０３を、ウィンドウ５０１内に表示された映像から指定する。画素領域５０３の指定が完了すると、ユーザは、操作部１０９を用いて、登録ボタン５０４を指示する。ＣＰＵ１０１は、係る指示を検知すると、画素領域５０３内の色情報を収集し、収集した色情報に基づいて上記２次元配列Col(p，q)を作成し、作成した２次元配列Col(p，q)をＲＯＭ１０３に記録する。なお、色領域を登録する方法は、ＧＵＩを用いる方法に限定されず、任意の方法を用いることができる。
【００２４】
以上の色領域の登録処理は、ＭＲ体験時に想定される様々な手のポーズ（例えば、グー、パー、指さしなど）と、撮影部１０７の位置および姿勢（例えば、床、天井、壁など各方向を見る場合）とのそれぞれについて行う必要がある。なぜなら、手のポーズや、撮影部１０７の位置および姿勢によって、照明や陰影の条件が変わり、被写体の色が変わってしまうため、登録された色領域に過不足が発生してしまう虞があるからである。そのため、多くの画像（以下の例では４枚）を撮影して色領域の登録処理を行う必要がある。この色領域の登録処理は、体験者が変わる度に行う必要があり、手間がかかる。
【００２５】
そこで本実施形態では、予め一人の体験者の色領域を詳細に登録しておき、その後の体験者の色領域は基準体験者の色領域を変換することで簡易に登録する。以下の説明では、前者（色領域を予め詳細に登録しておく体験者）を必要に応じて「基準体験者」と称し、後者（基準体験者の色領域を変換することで簡易に色領域を登録する体験者）を必要に応じて「一般体験者」と称する。
【００２６】
図６は、色領域の登録処理の一例を概念的に説明する図である。
図６において、画像６０１〜６０４は、手のポーズと撮影部１０７の位置および姿勢とを変えながら基準体験者の手を撮影した画像である。また、画像６０５〜６０８はそれぞれ、手のポーズと撮影部１０７の位置および姿勢とを、画像６０１〜６０４が撮影されたときと同じにした状態で一般体験者の手を撮影した画像である。
【００２７】
色領域６０９は、画像６０１を用いて登録された色領域である。色領域６１０は、画像６０１〜６０４を用いて導出された色領域である。色領域６１１は、画像６０５を用いて導出された色領域である。色領域６１２は画像６０５〜６０８を用いて導出された色領域である。
【００２８】
ここで、色領域６０９、６１１は、複数の画像６０１〜６０４、６０５〜６０８のうちの一部の画像のみを用いて導出された色領域である。以下の説明では、このような一部の画像を必要に応じて「代表画像」と称すると共に、このような色領域を必要に応じて「部分色領域」と称する。色領域６１０、６１２は、複数の画像６０１〜６０４、６０５〜６０８の全てを用いて導出された色領域であり、以下の説明では、このような色領域を、必要に応じて「全体色領域」と称する。
【００２９】
一般体験者が臨場感豊かなＭＲ体験を行うには、全体色領域６１２を用いることが望ましい。しかしながら、その場合には、一般体験者が変わる度に多くの画像（この例では４枚）を撮影して色領域の登録処理を行う必要がある。そこで本実施形態では、色領域６０９〜６１１から全体色領域６１２を算出する。このようにすることによって、画像６０６〜６０８を撮影することなく、画像６０１〜６０４と同じ数の画像（画像６０５〜６０８）に基づく全体色領域６１２を算出することができる。
【００３０】
なお、以下では、部分色領域６０９、６１１をそれぞれ１枚の代表画像から生成するものとして説明を行う。しかしながら、部分色領域は１枚の代表画像から生成されるものに限定されない。全体色領域６１０、６１２を生成するために用いる画像の枚数よりも相対的に少ない枚数の画像を用いて部分色領域６０９、６１１を生成する全ての場合に対して適用可能である。複数の代表画像から部分色領域を生成する場合には、例えば、当該複数の代表画像のそれぞれの色領域の論理和をとったものを部分色領域とすることができる。
【００３１】
［処理のフローチャート］
図７は、本実施形態の処理を行う情報処理装置１００の機能構成の一例を示す図である。また、図８は、本実施形態の情報処理装置１００の処理の流れの一例を示すフローチャートである。以下では、図７と図８を参照して、本実施形態の処理の流れの一例を説明する。
【００３２】
まず、ステップＳ８０１において、基準色領域登録部７０１は、第１の被写体の一例である基準体験者の色領域６０９、６１０を登録する。ステップＳ８０１の詳細は後述する。
次に、ステップＳ８０２において、一般色領域登録部７０２は、第２の被写体の一例である一般体験者の色領域６１１、６１２を登録する。ステップＳ８０２の詳細は後述する。
【００３３】
次に、ステップＳ８０３において、ＭＲ体験提供部７１０は、一般体験者へＭＲ体験を提供する。前述したように、ＭＲ体験の提供は、撮影部１０７が撮影した映像に対してＣＧを重畳した映像を表示部１０８に表示することによって行われる。
【００３４】
次に、ステップＳ８０４において、ＭＲ体験提供部７１０は、全ての一般体験者がＭＲ体験を行ったか否かを判定する。この判定は、例えば、ユーザによる操作部１０９に対する操作に基づいて行われる。この判定の結果、まだＭＲ体験を行っていない一般体験者がいれば、ステップＳ８０５に進む。
【００３５】
ステップＳ８０５に進むと、ＭＲ体験提供部７１０は、一般体験者を変更する。一般体験者の変更は、例えば、例えば、ユーザによる操作部１０９に対する操作に基づいて行われる。そして、全ての一般体験者がＭＲ体験を行うまで、ステップＳ８０２〜Ｓ８０５の処理を繰り返す。ステップＳ８０４において、全ての一般体験者がＭＲ体験を行うと判定されると、図８のフローチャートによる処理を終了する。
【００３６】
図９は、基準色領域登録部７０１の処理の流れの一例を示すフローチャートである。以下では、図７と図９を参照して、基準色領域登録部７０１の処理の流れの一例を説明する。なお、色登録の処理については前述してあるので、当該処理の中身についての詳細な説明は省略する。
【００３７】
ステップＳ９０１において、色領域抽出部７０３は、撮影部１０７により撮影された、基準体験者の手の画像６０１〜６０４を取得する。
次に、ステップＳ９０２において、色領域抽出部７０３は、ステップＳ９０１において取得した各画像６０１〜６０４のそれぞれから、基準体験者の色領域を抽出する。図６では、画像６０１から抽出した、基準体験者の部分色領域６０９を示すが、その他の画像６０２〜６０４からも、基準体験者の色領域が抽出される。手の色領域の抽出は、前述のＧＵＩを用いて行う（図５を参照）。このように本実施形態では、例えば、ステップＳ９０２の処理により、取得手段（第４の導出手段）が実現される。また、本実施形態では、基準体験者の部分色領域６０９が、第１の被写体領域の部分色情報の分布を示す色領域の一例である。
【００３８】
次に、ステップＳ９０３において、色領域合成部７０４は、ステップＳ９０２において抽出した色領域の論理和をとることで、基準体験者の全体色領域６１０を算出する。このように本実施形態では、例えば、ステップＳ９０３の処理により、取得手段（第３の導出手段）が実現される。また、本実施形態では、基準体験者の全体色領域６１０が、第１の被写体領域の全体色情報の分布を示す色領域の一例である。
【００３９】
図１０は、一般色領域登録部７０２の処理の流れの一例を示すフローチャートである。以下では、図７と図１０を参照して、一般色領域登録部７０２の処理の流れの一例を説明する。
ステップＳ１００１において、代表画像選択部７０５は、ステップＳ９０１において取得された画像６０１〜６０４から代表画像６０１を選択する。代表画像選択部７０５の処理の詳細は後述する。
【００４０】
次に、ステップＳ１００２において、誘導部７０６は、ステップＳ１００１において選択された代表画像６０１が撮影されたときと、ポーズと、撮影部１０７の位置および姿勢とが近い状態で撮影を行うよう一般体験者を誘導する。誘導部７０６の処理の詳細は後述する。
【００４１】
次に、ステップＳ１００３において、色領域抽出部７０７は、撮影部１０７により撮影された、一般体験者の手の画像を取得する。以下では、ここで撮影された画像が、画像６０５であるとして説明する。
【００４２】
次に、ステップＳ１００４において、色領域抽出部７０７は、色領域抽出部７０７は、ステップＳ１００３において取得された画像６０５から、一般体験者の部分色領域６１１を抽出する。このように本実施形態では、例えば、ステップＳ１００４の処理により、第１の導出手段が実現される。また、本実施形態では、一般体験者の部分色領域６１１が、第２の被写体領域の部分色情報の分布を示す色領域の一例である。
【００４３】
次に、ステップＳ１００５において、色差分算出部７０８は、代表画像６０１の部分色領域６０９と、ステップＳ１００４において抽出された部分色領域６１１との色差分（色領域の差分）を算出する。色差分算出部７０８の詳細は後述する。
【００４４】
次に、ステップＳ１００６において、色領域変換部７０９は、一般体験者の全体色領域６１２を算出する。一般体験者の全体色領域６１２の算出は、ステップＳ９０３において算出された全体色領域６１０を、ステップＳ１００５において算出された色差分を用いて変換することで行われる。色領域変換部７０９の詳細は後述する。
このように本実施形態では、例えば、ステップＳ１００５、Ｓ１００６の処理により、第２の導出手段が実現される。また、本実施形態では、一般体験者の全体色領域６１２が、第２の被写体領域の全体色情報の分布を示す色領域の一例である。
【００４５】
［代表画像選択部７０５］
本実施形態では、代表画像選択部７０５は、基準体験者の画像６０１〜６０４から代表画像６０１を選択する。代表画像は、基準体験者の色領域を代表する色領域を有する画像であることが望ましい。例えば、代表画像選択部７０５は、基準体験者の画像６０１〜６０４のうち、全体色領域６１０の重心と最も重心が近い色領域を有する画像を代表画像６０１として選択する。また、代表画像選択部７０５は、分布範囲が最も広い色領域を有する画像を代表画像６０１として選択してもよい。また、代表画像選択部７０５は、基準体験者の画像６０１〜６０４から、パーやグーなどＭＲ体験でよく利用される所定のポーズを認識し、そのポーズの画像を代表画像６０１として選択してもよい。ここで、ポーズの認識には、既存のポーズ認識技術を用いることができる。
【００４６】
［誘導部７０６］
図１１は、誘導部７０６の処理の一例を説明するための図である。図１１において、画像１１０１は、撮影部１０７が現在撮影している映像を模式的に示すものである。画像１１０１と代表画像６０１とは、手のポーズおよび位置と背景とが異なる。これは、手のポーズや撮影部１０７の位置および姿勢が、画像１１０１を撮影したときと代表画像６０１を撮影したときとで異なることを表す。誘導部７０６は、ポーズと撮影部１０７の位置および姿勢とが、代表画像６０１が撮影されたときと近い状態で撮影を行うよう一般体験者を誘導する。例えば、誘導部７０６は、画像１１０１に代表画像６０１を半透明で重畳して、表示部１０８に表示する。このようにすることによって、一般体験者は、画像１１０１と代表画像６０１の見た目が近くなるように、手のポーズや撮影部１０７の位置および姿勢を変えることができる。
【００４７】
なお、一般体験者の誘導は、一般体験者の画像に代表画像６０１を半透明で重畳して表示する方法に限定されず、当該誘導を行うための情報を出力していれば、任意の方法を用いることにより実現することができる。例えば、表示部１０８に文字や矢印などの記号を一般体験者の画像に重畳して表示することで、一般体験者を誘導してもよい。また、ポーズと撮影部１０７の位置および姿勢とが、代表画像６０１が撮影されたときと近い状態で撮影を行うよう一般体験者を誘導するのが好ましいが、これらの少なくとも何れか一方が近い状態で撮影を行うよう一般体験者を誘導してもよい。すなわち、代表画像６０１が撮影されたときの撮影条件と同じ（と見なせる）撮影条件で一般体験者の画像が撮影されるように一般体験者を誘導していればよい。
【００４８】
［色差分算出部７０８］
図１２は、色差分の一例を模式的に示す図である。以下では、図１２を用いて、色差分算出部７０８の処理の一例を説明する。
色差分算出部７０８は、代表画像６０１から抽出された部分色領域６０９と、一般体験者の画像６０５から抽出された部分色領域６１１との色差分を算出する。以下、色差分の例を３つ説明する。
【００４９】
１つ目の例は、図１２（ａ）に示す並進である。この例では、色差分算出部７０８は、部分色領域６０９から部分色領域６１１へのベクトル１２０１を色差分として算出する。ベクトル１２０１の具体的な算出方法は任意である。例えば、色差分算出部７０８は、部分色領域６０９の重心１２０２を始点とし、部分色領域６１１の重心１２０３を終点とするベクトル１２０１を算出できる。また、色差分算出部７０８は、部分色領域６０９と部分色領域６１１の重複領域が最も大きくなるように部分色領域６０９を移動させる移動ベクトルを最適化計算などで算出し、その移動ベクトルをベクトル１２０１としてもよい。また、部分色領域６１１を始点とし、部分色領域６０９を終点とするベクトルを色差分としてもよい。
【００５０】
２つ目の例は、図１２（ｂ）に示す回転である。この例では、色差分算出部７０８は、部分色領域６０９から部分色領域６１１への回転量（回転角度）１２０４を色差分として算出する。回転量１２０４の具体的な算出方法は任意である。例えば、色差分算出部７０８は、主成分分析によって算出した部分色領域６０９の第一主成分ベクトル１２０５と部分色領域６１１の第一主成分ベクトル１２０６との成す角を、回転量１２０４として算出できる。また、色差分算出部７０８は、部分色領域６０９と部分色領域６１１の重複領域が最も大きくなるように部分色領域６０９を回転させる回転量を最適化計算などで算出し、その回転量を回転量１２０４としてもよい。なお、主成分分析は本実施形態の主眼ではないため、その詳細な説明を省略する。また、部分色領域６１１から部分色領域６０９への回転量を色差分としてもよい。
【００５１】
３つ目の例は、図１２（ｃ）に示すスケール変換（拡大または縮小）である。この例では、色差分算出部７０８は、部分色領域６０９から部分色領域６１１へのスケール変換量１２０７、１２０８を色差分として算出する。ここで、スケール変換量１２０７、１２０８の具体的な算出方法は任意である。例えば、色差分算出部７０８は、部分色領域６０９の第一主成分ベクトル１２０５に対応する固有値と部分色領域６１１の第一主成分ベクトル１２０６に対応する固有値との割合をスケール変換量１２０７として算出できる。同様に、色差分算出部７０８は、部分色領域６０９の第二主成分ベクトル１２０９に対応する固有値と部分色領域６１１の第二主成分ベクトル１２１０に対応する固有値との割合をスケール変換量１２０８として算出できる。なお、色差分を算出する方法は、前記の例に限定されず、任意の方法で色差分を算出することができる。また、色差分を、ベクトル１２０１、回転量１２０４、およびスケール変換量１２０７、１２０８の一部または全部の組み合わせとして算出してもよい。
【００５２】
［色領域変換部７０９］
色領域変換部７０９の処理の一例を、変換前の色領域（基準体験者の全体色領域６１０）の２次元配列をColとし、変換後の色領域（一般体験者の全体色領域６１２）の２次元配列をCol'として説明する。色領域変換部７０９は、色差分算出部７０８で算出された色差分に基づいて、Col(p，q)＝１となる各(p，q)を、変換の対象となる色領域として変換し、（p'，q'）を算出する。そして、色領域変換部７０９は、算出した（p'，q'）について、Col'(p'，q')＝１とすることで、色領域を変換する。
【００５３】
［第１の実施形態の効果］
従来は、一般体験者が変わる度に複数枚の画像（前述した例では、画像６０５〜６０８）を撮影し、それらの画像から一般体験者の全体色領域を生成する必要があった。一方、本実施形態によれば、基準体験者の代表画像６０１の部分色領域６０９と、一般体験者の部分色領域６１１との差分に応じて、基準体験者の全体色領域６１０を変換した色領域を、一般体験者の全体色領域６１２として導出する。したがって、より少ない画像（前述した例における画像６０５のみ）から一般体験者の全体色領域６１２を生成することができる。よって、一般体験者が変わった場合の色登録の手間を少なくすることができる。これにより、多くの画像を撮影しなくても、ＭＲ体験に資する被写体の色領域を登録することができる。
【００５４】
［変形例］
本実施形態では、基準体験者の代表画像６０１の部分色領域６０９と、一般体験者の部分色領域６１１との差分に応じて、基準体験者の全体色領域６１０を変換する場合を例に挙げて説明した。しかしながら、基準体験者の代表画像６０１の部分色領域６０９と、一般体験者の部分色領域６１１と、基準体験者の全体色領域６１０とを用いて、一般体験者の全体色領域を導出していれば、必ずしもこのようにする必要はない。例えば、まず、基準体験者の代表画像６０１の部分色領域６０９、基準体験者の全体色領域６１０、および一般体験者の部分色領域６１１を所定の形状に近似する。そして、所定の形状に近似した基準体験者の代表画像６０１の部分色領域６０９と、所定の形状に近似した基準体験者の全体色領域６１０とについて、重心の位置と色領域の大きさの差分をそれぞれ導出する。そして、導出した差分に応じて、所定の形状に近似した一般体験者の部分色領域６１１の重心の位置と色領域の大きさを変換し、変換した色領域を一般体験者の全体色領域として決定する。
【００５５】
また、本実施形態では、情報処理装置１００が、基準体験者の手の画像６０１〜６０４のそれぞれから、基準体験者の部分色領域６０９を抽出し、抽出した色領域の論理和をとることで、基準体験者の全体色領域６１０を算出する場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、情報処理装置１００は、基準体験者の色領域６０９と基準体験者の全体色領域６１０の少なくとも何れかを事前に取得し、情報処理装置１００内に記憶しておいてもよい。例えば、外部装置からの通信により、基準体験者の部分色領域６０９と基準体験者の全体色領域６１０を取得したり、情報処理装置１００の操作部１０９を用いて基準体験者の部分色領域６０９と基準体験者の全体色領域６１０を取得したりすることができる。この他、基準体験者の代表画像６０１を事前に取得して情報処理装置１００内に記憶しておいてもよい。
【００５６】
＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、基準体験者の代表画像と、代表画像に似せて撮影した一般体験者の画像との色差分を算出し、その色差分に基づいて基準体験者の全体色領域を変換することで一般体験者の全体色領域を算出する場合を例に挙げて説明した。これに対し、本実施形態では、一般体験者を撮影した画像と似た画像を、基準体験者を撮影した複数の画像から抽出する。そして、抽出した基準体験者の画像と、一般体験者を撮影した画像との色差分を算出し、その色差分に基づいて基準体験者の全体色領域を変換することで一般体験者の全体色領域を算出する。このように本実施形態と第１の実施形態とは、色差分の算出の対象となる、基準体験者の画像および一般体験者の画像を取得する方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１２に付した符号と同一の符号を付すなどして詳細な説明を省略する。
【００５７】
［処理のフローチャート］
図１３は、本実施形態の処理を行う情報処理装置１３００の機能構成の一例を示す図である。なお、情報処理装置１３００のハードウェアは、第１の実施形態の情報処理装置１００と同じもので実現することができる（図１を参照）。また、図１４は、本実施形態の情報処理装置１３００（一般色領域登録部１３０１）の処理の流れの一例を示すフローチャートである。以下では、図１３と図１４を参照して、本実施形態の一般色領域登録部１３０１の処理の流れの一例を説明する。なお、一般色領域登録部１３０１の処理のうち、第１の実施形態の一般色領域登録部７０２の処理と同じ処理については詳細な説明を省略する。
【００５８】
ステップＳ１４０１において、色領域抽出部７０７は、撮影部１０７により撮影された、一般体験者の手の画像を取得する。第１の実施形態のステップＳ１００３の処理とは異なり、ここでは、手のポーズと撮影部１０７の位置および姿勢とを任意の状態にして、一般体験者の撮影を行ってよい。以下では、ここで撮影された画像が、画像６０５であるとして説明する。
【００５９】
次のステップＳ１４０２において、色領域抽出部７０７は、第１の実施形態のステップＳ１００４と同様の処理を行う。すなわち、色領域抽出部７０７は、ステップＳ１４０１において取得された画像６０５から、一般体験者の部分色領域６１１を抽出する。このように本実施形態では、例えば、ステップＳ１４０２の処理により、第１の導出手段が実現される。
【００６０】
次に、ステップＳ１４０３において、類似画像抽出部１３０２は、基準体験者の画像６０１〜６０４から、ステップＳ１４０１で抽出された画像６０５とポーズや撮影部１０７の位置および姿勢が似ている画像を抽出する。以下の説明では、ここで抽出される画像を必要に応じて「類似画像」と称する。
【００６１】
類似画像の抽出方法は任意である。例えば、類似画像抽出部１３０２は、既存のポーズ認識技術を用いて、ステップＳ１４０１で抽出された画像６０５と同じポーズをしている画像を類似画像として抽出することができる。また、背景が似ていれば撮影部１０７の位置および姿勢が似ているとして、類似画像抽出部１３０２は、次のようにして類似画像を抽出してもよい。すなわち、類似画像抽出部１３０２は、基準体験者の画像６０１〜６０４から、ステップＳ１４０１で抽出された画像６０５における背景領域の画素値との差分が最も小さい画像を類似画像として抽出してもよい。また、類似画像抽出部１３０２は、これらの処理の双方を行うことにより、ポーズと撮影部１０７の位置および姿勢とが、ステップＳ１４０１で抽出された画像６０５と似ている類似画像を抽出してもよい。そして、類似画像抽出部１３０２は、類似画像の部分色領域を、色領域抽出部７０３により抽出された基準体験者の部分色領域から抽出する。
【００６２】
次に、ステップＳ１４０４において、色差分算出部７０８は、第１の実施形態のステップＳ１００５と同様の処理を行う。すなわち、色差分算出部７０８は、ステップＳ１４０３において抽出された類似画像の部分色領域と、ステップＳ１４０２において抽出された一般体験者の部分色領域６１１との色差分を算出する。
【００６３】
次に、ステップＳ１４０５において、色領域変換部７０９は、第１の実施形態のステップＳ１００６と同様の処理を行う。すなわち、色領域変換部７０９は、ステップＳ９０３において算出された全体色領域６１０を、ステップＳ１４０５において算出された色差分を用いて変換したものを、一般体験者の全体色領域として算出する。
このように本実施形態では、例えば、ステップＳ１４０４、Ｓ１４０５の処理により、第２の導出手段が実現される。
【００６４】
［第２の実施形態の効果］
本実施形態では、基準体験者の画像６０１〜６０４から、一般体験者の画像６０５とポーズや撮影部１０７の位置および姿勢が似ている画像を抽出する。したがって、第１の実施形態とは異なり、一般体験者の撮影の際に、基準体験者の代表画像を撮影したときと、ポーズや撮影部１０７の位置および姿勢が近くなるように一般体験者を誘導する必要がない。よって、より一層容易に色領域の登録をすることができる。
本実施形態でも第１の実施形態で説明したように、情報処理装置１３００は、基準体験者の部分色領域６０９と、基準体験者の全体色領域６１０と、基準体験者の代表画像６０１の少なくとも何れか１つを事前に取得し情報処理装置１３００内に記憶してもよい。
【００６５】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６６】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６７】
１００：情報処理装置、１０７：撮影部、１０８：表示部、１０９：操作部
【図１】
2016224860.tif 000003
【図２】
2016224860.tif 000004
【図３】
2016224860.tif 000005
【図４】
2016224860.tif 000006
【図５】
2016224860.tif 000007
【図７】
2016224860.tif 000008
【図８】
2016224860.tif 000009
【図９】
2016224860.tif 000010
【図１０】
2016224860.tif 000011
【図１２】
2016224860.tif 000012
【図１３】
2016224860.tif 000013
【図１４】
2016224860.tif 000014
【図６】
2016224860.tif 000015
【図１１】
2016224860.tif 000016