(57)【要約】【課題】  複合現実感を提示するシステムにおいて、多数の現実物体を利用して複数の仮想情報を混合する。【解決手段】  いくつかの種類に分けられる複数の第１現実物体と、  前記複数の第１現実物体を収容可能な第２現実物体と、  前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測する計測手段と、  前記複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成手段と、  生成された仮想物体画像を表示する画像表示手段とを備える。【選択図】  図１
2006099401.tif 000002
【特許請求の範囲】
【請求項１】
いくつかの種類に分けられる複数の第１現実物体と、
前記複数の第１現実物体を収容可能な第２現実物体と、
前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測する計測手段と、
前記複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成手段と、
生成された仮想物体画像を表示する画像表示手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記現実物体の種類毎に決められた仮想物体画像を、前記計測手段によって計測した前記複数の現実物体の種類と個数に応じて、合成した仮想物体画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記現実物体の種類別に決められた画像を前記第２現実物体内に収容される前記第１現実物体の種類別個数比に応じて合成して画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記計測手段は、前記第２の現実物体の部分領域ごとに前記複数の第１現実物体の種類と個数を計測し、前記画像生成手段は、前記第２の現実物体の部分領域ごとに異なる仮想物体画像を生成することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記第１現実物体はＲＦＩＤを備え、前記計測手段は前記第２現実物体に収容される前記複数の第１現実物体のＲＦＩＤを読み取ることで、前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測することを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記計測手段は前記第１現実物体の種類の数だけ前記第１現実物体の特性をそれぞれ計測し、その計測結果から得られる連立方程式を解くことで、前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項７】
前記第１現実物体のＮ個の特性に、重量、抵抗値、体積のいずれかが含まれることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
現実物体に仮想物体の画像を重畳表示する画像処理装置において、
いくつかの種類に分けられる複数の現実物体と、
前記複数の現実物体の種類と個数を計測する計測手段と、
前記複数の現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成手段と、
生成された仮想物体画像を前記複数の現実物体に重畳表示する画像表示手段とを有することを特徴とする画像処理装置。
【請求項９】
いくつかの種類に分けられる複数の第１現実物体と、前記複数の第１現実物体を収容可能な第２現実物体とを用いて、仮想物体画像を生成する画像処理方法であって、
前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測する計測工程と、
前記複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成工程と、
生成された仮想物体画像を表示する画像表示工程とを有することを特徴とする画像処理方法。
【請求項１０】
前記画像生成工程は、前記現実物体の種類毎に決められた仮想物体画像を、前記計測工程によって計測した前記複数の現実物体の種類と個数に応じて、合成した仮想物体画像を生成することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記画像生成工程は、前記現実物体の種類別に決められた画像を前記第２現実物体に収容される前記第１現実物体の種類別個数比に応じて合成して画像を生成することを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
前記計測工程は、前記第２の現実物体の部分領域ごとに前記複数の第１現実物体の種類と個数を計測し、前記画像生成工程は、前記第２の現実物体の部分領域ごとに異なる仮想物体画像を生成することを特徴とする請求項９ないし１１のいずれかに記載の画像処理方法。
【請求項１３】
前記第１現実物体はＲＦＩＤを備え、前記計測工程は前記第２現実物体に収容される前記複数の第１現実物体のＲＦＩＤを読み取ることで、前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測することを特徴とする請求項９ないし１２のいずれかに記載の画像処理方法。
【請求項１４】
前記計測工程は前記第１現実物体の種類の数だけ前記第１現実物体の特性をそれぞれ計測し、その計測結果から得られる連立方程式を解くことで、前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測することを特徴とする請求項９ないし１０のいずれかに記載の画像処理方法。
【請求項１５】
前記第１現実物体のＮ個の特性に、重量、抵抗値、体積のいずれかが含まれることを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
いくつかの種類に分けられる複数の現実物体に仮想物体の画像を重畳表示する画像処理方法であって、
前記複数の現実物体の種類と個数を計測する計測工程と、
前記複数の現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成工程と、
生成された仮想物体画像を前記複数の現実物体に重畳表示する画像表示工程とを有することを特徴とする画像処理方法。
【請求項１７】
コンピュータに請求項９ないし１６のいずれかに記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は現実物体を利用して複数のＣＧ画像を混合する装置および方法に関するものである。
【背景技術】
【０００２】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、撮像装置の撮影視点位置および姿勢に応じて生成した仮想空間（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）の画像を重畳描画して、それを表示するビデオシースルー方式によって実現される。
【０００３】
現実空間の画像と仮想空間の画像を重ね合わせる際には、現実空間中に複数の指標を配置し、その指標の世界座標系における座標と、撮像装置が撮像した画像内における指標の投影像の座標とを利用して、現実空間中における撮影視点の位置および姿勢を算出することが一般的に行われている。その算出方法は、例えば写真測量等の分野において古くから提案されている（非特許文献１、非特許文献２を参照）。
【０００４】
この複合現実感は、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、様々な分野への応用が試みられている。その応用実現の際に重要視されている検討課題の一つに、ユーザと仮想情報との間のインタラクション（相互作用）の実現方法がある。一般的な仮想情報を扱うシステムにおいては、現実空間に存在するユーザは仮想空間に存在する仮想情報に対し、例えばキーボードやマウスといったユーザインタフェースデバイスを介してインタラクションを行う。しかし、複合現実感を提示するシステムにおいては、ユーザも仮想情報も同じ複合現実空間（現実空間と仮想空間が重なりあった空間）に存在しているため、従来のインタラクション方法をそのまま踏襲したのでは使い勝手等の面において不具合が生じるという課題がある。そこで、そういった不具合を解決し、なおかつ、ユーザと仮想情報が同一の空間に存在するという利点を活かすような、直感的なインタラクション方法の検討が多く行われている。
【０００５】
ユーザと仮想情報との間には様々なインタラクションが起こりうるが、本明細書においては、ユーザによって複数の仮想情報（例えばＣＧ）を混合する「混合インタラクション」に注目する。
【０００６】
混合インタラクションとは、現実物体の混合を仮想物体でシミュレーションする場合などに利用されうる。例としては、食材を混ぜ合わせて料理を作るシミュレーションや、複数の物質を混ぜ合わせた時の化学変化のシミュレーションを挙げることができる。
【０００７】
複合現実感を提示するシステムにおける混合インタラクションの実現例は、非特許文献３および非特許文献４に示されている。これらの文献では、現実空間に存在する四角形指標の上に仮想のＣＧを重畳するシステム“Ｓｈａｒｅｄ  Ｓｐａｃｅ  Ｓｉｇｇｒａｐｈ  ９９”において、２つの四角形指標を隣接させると、双方の上に重畳されたＣＧ同士が混合して、新たな状況がユーザに提示されるというインタラクションが紹介されている。例えば非特許文献４によれば、ユーザはエイリアンのＣＧが重畳された四角形指標とＵＦＯのＣＧが重畳された四角形指標を隣接させることで、エイリアンのＣＧとＵＦＯのＣＧを混合させてエイリアンをＵＦＯに乗せる、というシステムに対するインタラクションを実行することができる。
【０００８】
２つの四角形指標の位置関係（隣接しているか否か）は、非特許文献５に開示されている現実空間の撮影画像上での２つの四角形指標の認識結果からそれぞれの四角形指標と撮影視点との相対的な位置姿勢関係を算出する技術に基づいて認識されている。そして、混合インタラクションの仕方は、隣接された四角形指標の組み合わせによって決定されている。
【０００９】
ここで紹介した混合インタラクションは、現実物体である四角形指標を操作する（隣り合わせる）ことで、その現実物体に対応付けられた仮想物体であるＣＧを混合することができるという点で、複合現実空間において使いやすく直感的であると言える。
【非特許文献１】Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ  Ｍ．Ｎｏｌｌｅ：Ｒｅｖｉｅｗ  ａｎｄ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｌｕｔｉｏｎｓ  ｏｆ  ｔｈｅ  ｔｈｒｅｅ  ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｐｒｏｂｌｅｍ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，  ｐｐ．３３１−３５６，１９９４．
【非特許文献２】Ｄ．Ｇ．Ｌｏｗｅ：Ｆｉｔｔｉｎｇ  ｐａｒａｍｅｔｅｒｉｚｅｄ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｍｏｄｅｌｓ  ｔｏ  ｉｍａｇｅｓ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１．
【非特許文献３】Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｈ．Ｋａｔｏ，Ｅ．Ｋｒａｕｓ，Ｒ．Ｍａｙ：Ｓｈａｒｅｄ  Ｓｐａｃｅ：  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ，Ｉｎ  Ｖｉｓｕａｌ  Ｐｒｏｃｅｅｄｉｎｇｓ，ＳＩＧＧＲＡＰＨ  ９９，ＡＣＭ  Ｐｒｅｓｓ，１９９９．
【非特許文献４】Ｈ．Ｋａｔｏ，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，Ｋ．Ｉｍａｍｏｔｏ，Ｋ．Ｔａｃｈｉｂａｎａ：Ｖｉｒｔｕａｌ  Ｏｂｊｅｃｔ  Ｍａｎｉｐｕｌａｔｉｏｎ  ｏｎ  ａ  Ｔａｂｌｅ−Ｔｏｐ  ＡＲ  Ｅｎｖｉｒｏｎｍｅｎｔ，Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＳＡＲ  ２０００），ｐｐ．１１１−１１９，２０００．
【非特許文献５】加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９．
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、上記に紹介した混合インタラクションは、当然３つ以上の現実物体によるＣＧの混合にも応用できる。しかし、インタラクションに用いる現実物体（四角形指標）の数が増えるごとに、その使い勝手は悪くなっていき、実現の容易性は損なわれていく。
【００１１】
というのは、この混合インタラクションの場合、現実物体である四角形指標全体が撮影装置によって撮影されなければそれらの位置関係（隣接しているか否か）は認識されないため、それらを重なり合わないよう隣接させなければならないからである。インタラクションに用いる四角形指標数が増加した場合、四角形指標を隣接させるために必要な空間は広くなるとともに、全ての四角形指標の全体を観察するためにユーザは四角形指標から遠く離れなくてはならない。そのため、現実物体（四角形指標）の数が増えるごとに、その使い勝手は悪くなっていくと言える。同時に、撮影視点との相対位置姿勢関係をすべての四角形指標に対して算出しなければならないため、四角形指標の数の増加に従って計算コストは増加する。
【００１２】
よって、非特許文献３および非特許文献４に示されるような混合インタラクション方法は、せいぜい２つか３つ程度の現実物体の利用が適当であり、例えば１０や２０を超えるような現実物体の利用には向いていないと考えられる。
【００１３】
以上に紹介した混合インタラクションを含め、複合現実感を提示するシステムにおける混合インタラクションにおいて、多数の現実物体の利用に向いているものは知られていない。
【００１４】
しかしながら、多数の物体を利用できれば、より多くの仮想情報を直感的に混合することができる。例えば、多くの食材からなる料理の見た目を各食材に対応した仮想情報が重畳表示される現実物体を実際に混合することで仮想的に表現するといった応用においては、その食材の数に応じた現実物体を利用できたほうがより直感的であることは言うまでもない。
【００１５】
また、先に示した例では現実物体の組み合わせによって混合インタラクションの仕方が決定されると紹介したが、これに倣うと、多数の現実物体を利用できれば、その組み合わせ数の増加に応じて、ユーザに提供できる混合インタラクションの仕方の幅を広げることもできる。
【００１６】
例えば、多数の現実物体で液体や気体を模し、液体や気体の混合現象を手に取れる現実物体の混合によってシミュレーションするといった場合には、物体の組み合わせ方によって決定される質的な混合現象のシミュレーションに留まらず、物体の組み合わせ数によって決定される量的な混合シミュレーションも可能となる。
【００１７】
そこで、本発明は以上の問題を鑑みてなされたものであり、複合現実感を提示するシステムにおいて、多数の現実物体を利用して複数の仮想情報を混合することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の目的を達成する為に、本発明の画像処理装置は以下の構成を備える。
【００１９】
いくつかの種類に分けられる複数の第１現実物体と、
前記複数の第１現実物体を収容可能な第２現実物体と、
前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測する計測手段と、
前記複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成手段と、
生成された仮想物体画像を表示する画像表示手段とを備える。
【００２０】
また、本発明の画像処理方法は以下の構成を備える。
【００２１】
いくつかの種類に分けられる複数の第１現実物体と、前記複数の第１現実物体を収容可能な第２現実物体とを用いて、仮想物体画像を生成する画像処理方法であって、
前記第２現実物体に収容される前記複数の第１現実物体の種類と個数を計測する計測工程と、
前記複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成する画像生成工程と、
生成された仮想物体画像を表示する画像表示工程とを備える。
【発明の効果】
【００２２】
本発明の画像処理装置は、複数の第１現実物体の種類と個数に応じて、異なる仮想物体画像を生成することができ、より直感的な混合インタラクションの提供が可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。
【００２４】
［第１の実施形態］
本実施形態に係る画像混合装置は、無線ＩＣチップ（ＲＦＩＤ）および指標を備える複数の現実物体を利用して仮想情報の混合を行うことを特徴とする。以下、本実施形態に係る画像混合装置および画像混合方法を用いて、本実施形態のユーザに複合現実感を提示する場合について説明する。
【００２５】
図１は、本実施形態に係る画像混合装置の概略構成を示す図である。図１に示したように、本実施形態に係る画像混合装置は、複数の混合用物体１００、混合用容器１１０、ＩＤ読取部１２０、ＩＤ分類部１３０，撮影部１４０、指標検出部１５０、相対位置姿勢算出部１６０、画像生成部１７０、画像合成部１８０、画像表示部１９０によって構成されている。
【００２６】
複数存在する混合用物体１００は、指標および無線ＩＣチップを備えた小型の現実物体である。複合現実感画像（撮影部１４０による撮影画像と画像生成部１７０により生成される仮想空間画像を重畳した画像）上においては、自身に備えられた指標に基づく仮想情報（ＣＧ）が重畳されうる。また、個々の混合用物体１００は、無線ＩＣチップにより識別される。
【００２７】
指標は外部から観察可能な画像特徴であって、例えば、それぞれが異なる色を有する円形状のマーカによって構成してもよいし、それぞれが異なるテクスチャ特徴を有する特徴点によって構成してもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような四角形指標を用いることも可能である。撮影部１４０による撮影画像上における投影像の画像座標が検出可能であって、かつ、いずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。またこの指標は、一つの混合用物体１００に複数備えられていても良いし、ただ一つだけ備えられていても良い。
【００２８】
無線ＩＣチップはＲＯＭ機能と無線通信機能を持ち、各混合用物体１００を識別するためのＩＤを記憶し外部にそのＩＤを無線で通信する。また、そのＩＤには、そのＩＤが特定する混合用物体１００に備えられた指標（群）を特定するための情報も含んでいてもよい。
【００２９】
複数の混合用物体１００は、いくつかの種類に分けられるものとする。ある混合用物体１００がどの種類に属するかは、混合用物体１００に備えられた指標（群）もしくは無線ＩＣチップから発信されるＩＤによって判別することができる。
【００３０】
混合用容器１１０は、指標を備えた容器である。その内部に複数の混合用物体１００を入れることができる。また、複合現実感画像上においては、自身に備えられた指標に基づく仮想情報（ＣＧ）が重畳されうる。
【００３１】
指標は、混合用物体１００に備えられた指標と同様のもので、各混合用物体１００の指標と区別することができる。またこの指標は、一つの混合用容器１１０に複数備えられていても良いし、ただ一つだけ備えられていても良い。
【００３２】
なお、以降では混合用容器１１０が一つだけ存在する場合を想定して説明を続けるが、区別可能な複数の混合用容器１１０が存在してももちろん良い。
【００３３】
ＩＤ読取部１２０は、混合用容器１１０の内部に備えられ、無線通信機能を持ち、混合用容器１１０に入れられた複数の混合用物体１００から発信されるＩＤ信号を読み取る。ＩＤ読取部１２０の読み取ったＩＤは、ＩＤ分類部１３０へ入力される。また、必要に応じて、ＩＤ読取部１２０の読み取ったＩＤは画像生成部１７０へも入力されても良い。
【００３４】
ＩＤ読取部１２０は１つでも良いし、複数でも良い。ＩＤ読取部１２０が複数存在する場合には、ＩＤ読取部１２０が読み取ったＩＤは、そのＩＤ読取部を特定する情報とともに、ＩＤ分類部１３０へ入力される。それゆえに、ＩＤ分類部１３０へ入力されたＩＤは、混合用容器１１０内のどの位置のＩＤ読取部１２０において読み取られたＩＤであるかを特定することができる。
【００３５】
複数のＩＤ読取部１２０が同一の混合用物体１００から発信されるＩＤ信号を受信する場合には、ＩＤ読取部１２０同士が通信を行い、ＩＤ信号の強度等を利用するなどして、混合用容器１１０内のどの位置のＩＤ読取部１２０がその混合用物体１００に最も近い位置にあるかが特定される。そして、そのＩＤを発信する混合用物体１００にもっとも近い位置に存在するＩＤ読取部１２０のみが、自身を特定する情報とともに、ＩＤ分類部１３０へ読み取ったＩＤを入力する。
【００３６】
なお、混合用容器１１０の内部に入れられていない混合用物体１００が発信するＩＤは、ＩＤ読取部１２０によって読み取られないものとする。ＩＤ読取部１２０がＩＤを読み取った混合用物体１００が、混合用容器１１０の外部に存在するか内部に存在するかは、例えば、受信したＩＤ信号の強度がある一定値を超えるか否かにより判断する。
【００３７】
ＩＤ分類部１３０は、ＩＤ読取部１２０からＩＤを受け取ると、それらを事前に定めていた種類別に分類する。ＩＤの分類後、ＩＤ分類部１３０は、結果として得られる種類別のＩＤの個数を画像生成部１７０へ入力する。
【００３８】
撮影部１４０は、指標を備えた混合用物体１００および混合用容器１１０が存在する現実空間を撮影する。この撮影部１４０の撮影視点は移動可能である。撮影部１４０が撮影した画像（撮影画像）は、指標検出部１５０および画像合成部１８０に入力される。なお、撮影部１４０は、ステレオカメラでも良い。
【００３９】
指標検出部１５０は、撮影部１４０より撮影画像を入力し、撮影画像中に写る（混合用物体１００もしくは混合用容器１１０に備えられた）指標の画像座標を検出し、その識別子を取得する。例えば、指標の各々が異なる色を有するマーカによって構成されている場合には、撮影画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の検出座標とすると共に、マーカ色からその指標の識別子を取得する。指標の各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを撮影画像に施すことにより、指標の位置を検出し、テンプレート画像よりその指標の識別子を取得する。指標として四角形指標が用いられている場合には、画像に２値化処理を施した後にラベリングを行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除するとともに、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本明細では、４つの頂点の個々によって形成される４つの指標であると考える。
【００４０】
撮影画像上から指標の画像座標を検出しその識別子を得た指標検出部１５０は、検出された各々の主観視点指標の画像座標とその識別子を相対位置姿勢算出部１６０へと出力する。また、指標検出部１５０は、撮影画像上における指標の大きさ（画像特徴の外接円の半径など）も、合わせて相対位置姿勢算出部１６０へと出力しても良い。
【００４１】
相対位置姿勢算出部１６０は、指標検出部１５０より入力する指標の画像座標に基づいて、混合用物体１００および混合用容器１１０のカメラ座標系（撮影部１４０の撮影視点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置および姿勢を算出する。そして算出した位置および姿勢は、それぞれの物体上に存在する指標の識別子とともに、画像生成部１７０へと出力される。
【００４２】
原理的には、ある物体上における位置が既知である３点以上の指標の画像座標が得られれば、非線形方程式を解くことで解析的にその物体のカメラ座標系における位置と姿勢を算出することができる。
【００４３】
これに基づき、混合用物体１００／混合用容器１１０に３点以上の指標が備えられ、３点以上の指標が撮像部１３０によって撮影されている場合には、相対位置姿勢算出部１６０は、例えば以下に述べる方法で、混合用物体１００および混合用容器１１０のカメラ座標系における位置および姿勢を算出する。すなわち、相対位置姿勢算出部１６０は、各物体上に定義される物体座標系（物体上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）上の指標座標を内部に保持し、指標検出部１５０より入力する指標の画像座標と物体座標系上座標を、識別子を基に対応付ける。そして、その対応関係に基づいて各物体のカメラ座標系における位置および姿勢を算出する。
【００４４】
指標の画像座標と物体座標系上の位置の組から物体のカメラ座標系における位置および姿勢を算出する方法は、先にも述べたように、写真測量等の分野において古くから提案されている。例えば、指標が同一平面上に配置されている場合には、４点以上の指標を検出することで、２次元ホモグラフィの計算に基づいて物体のカメラ座標系における位置および姿勢を得ることができる。また、同一平面上にない６点以上の指標を用いて物体のカメラ座標系における位置および姿勢を用いる方法も良く知られている。また、物体のカメラ座標系における位置および姿勢の推定値から算出される指標の画像座標の理論値と指標の画像座標の実測値との誤差を、画像ヤコビアンを用いたガウス・ニュートン法のような繰り返し計算によって最小化することにより、位置および姿勢の推定値を最適化する方法などを用いることもできる。推定値には、任意の初期値を利用しても良いし、任意の位置計測センサによる撮影部１４０、混合用物体１００、混合用容器１１０のそれぞれの位置計測値を利用して算出しても良い。
【００４５】
混合用物体１００／混合用容器１１０に３点以上の指標が備えられていない場合や、３点以上の指標が撮像部１３０によって撮影されない場合には、相対位置姿勢算出部１６０は、混合用物体１００および混合用容器１１０のカメラ座標系における位置のみを算出し、それぞれの姿勢に関しては既知の値をその算出値とする。
【００４６】
混合用物体１００および混合用容器１１０のカメラ座標系における位置の算出方法には、例えば以下のような方法が挙げられる。すなわち、相対位置姿勢算出部１６０は、指標検出部１５０より入力するある指標の画像座標から、撮影部１４０の撮影視点に対してその指標がどの方向に位置するかを算出する。続いて、内部に保持したその指標の絶対的な大きさ情報と指標検出部１５０より入力する撮影画像上における指標の大きさを、識別子を基に対応付け、その対応関係に基づいて撮影部１４０の撮影視点とその指標間の距離を算出する。
【００４７】
そして、その距離情報とその前に算出した撮影視点に対する指標の位置する方向情報と合わせる事で、指標のカメラ座標系における位置を決定する。またあるいは、撮像部１３０が複数のカメラからなる場合には、相対位置姿勢算出部１６０は三角法を用いることで、指標のカメラ座標系における位置を決定することができる。指標のカメラ座標系における位置が算出されれば、内部に保持する混合用物体１００／混合用容器１１０上に定義される物体座標系における指標の位置を参照することで、混合用物体１００および混合用容器１１０のカメラ座標系における位置を算出することができる。不定となる混合用物体１００および混合用容器１１０のカメラ座標系における姿勢の算出値としては、既知の値を利用する。
【００４８】
画像生成部１７０は、ＩＤ分類部１３０より入力する種類別のＩＤの個数と、相対位置姿勢算出部１６０より入力した混合用物体１００および混合用容器１１０のカメラ座標系における位置および姿勢、および、それぞれの物体上に存在する指標の識別子を利用して、仮想空間画像を生成する。この仮想空間画像には、混合用物体１００に対する仮想画像と混合用容器１１０に対する仮想画像の、２種類の仮想画像が含まれている。生成された仮想空間画像は画像合成部１８０へ入力される。
【００４９】
混合用物体１００に対する仮想画像は、撮影画像上に写り、混合用容器１１０の内部にないもの全てに対して生成される。混合用物体１００が混合用容器１１０の内部にあるか外部にあるかは、ＩＤ読取部１２０によってその混合用物体１００から発信されるＩＤが読み取られるか否かによって判別される。例えば、ＩＤ読取部１２０で読み取られたＩＤが画像生成部１７０へも入力される場合には、入力されたＩＤに対応する混合用物体１００以外は、混合用容器１１０の外部にあると判断される。ＩＤと混合用物体１００の対応は、混合用物体１００に備えられる指標（群）によって行えばよい。
【００５０】
各混合用物体１００に対する仮想画像の内容は、相対位置姿勢算出部１６０を介して指標検出部１５０より入力する各混合用物体１００に備えられた指標の識別子（指標に複数の指標が備えられている場合には指標の識別子群）によって決定される。例えばその仮想画像は、料理の食材の画像であったり、単色の抽象画像であったりする。その場合、食材の内容や抽象画像の色が指標の識別子（群）によって決定される。また、同じ識別子（群）からは同じ仮想画像が決定され、事前に定めた同一種類の識別子（群）からも同じ仮想画像が決定される。なお、識別子（群）の種類と、ＩＤ分類部１３０において扱うＩＤの種類とは、１対１に対応するものとする。
【００５１】
仮想空間画像上における混合用物体１００に対する仮想画像の位置は、相対位置姿勢算出部１６０より入力した混合用物体１００のカメラ座標系における位置および姿勢に基づき決定される。すなわち、仮想空間画像上におけるこの混合用物体１００に対する仮想画像は、撮影画像上において混合用物体１００が写る画像領域と同じ領域に位置する。
【００５２】
この仮想画像を含む仮想空間画像は、画像合成部１８０において撮影画像と合成されるが、その合成画像上においては、混合用物体１００用の仮想画像は混合用物体１００の画像上に重畳される。図３および図４は、その合成画像の例を示す図であるが、図３の上側には（食材を模した）太陽／月の画像が立方体／円柱形状の混合用物体１００に重畳されている様子が示されており、図４の上側には赤／青色の抽象画像が立方体／円柱形状の混合用物体１００に重畳されている様子が示されている。
【００５３】
画像合成部１８０にて合成される合成画像は、画像表示部１９０において表示されることで本実施形態に係る画像混合装置のユーザに複合現実感として提示される。混合用物体１００に対する仮想画像が撮影画像中の混合用物体１００上に重畳されると、ユーザは混合用物体１００が混合用物体１００に対する仮想画像に示される外見を備える複合現実感を得る。すなわち、仮想画像が食材の画像である場合には、ユーザは混合用物体１００が食材であるかのような複合現実感を得る。仮想画像が単色の抽象画像である場合には、ユーザは混合用物体１００がその色を持つような複合現実感を得る。
【００５４】
一方の、混合用容器１１０に対する仮想画像は、撮影画像上に写る混合用容器１１０に対して生成される。
【００５５】
混合用物体１００上に対する仮想画像の内容は、ＩＤ分類部１３０より入力する種類別のＩＤの個数によって決定される。例えばその仮想画像は、混合用物体１００に対する仮想画像と同様に、料理の食材の画像であったり、単色もしくは複数色の抽象画像であったりする。ここで、ＩＤ読取部１２０がただ１つだけの場合には、１種類の仮想画像が生成され、それが混合用容器１１０に対する仮想画像として決定される。ＩＤ読取部１２０が複数存在する場合には、複数種類の仮想画像が生成され、それらを結合した仮想画像が混合用容器１１０に対する仮想画像として決定される。
【００５６】
まず、ＩＤ読取部１２０が１つだけの場合について説明する。
【００５７】
ＩＤ分類部１３０から受け取る種類別のＩＤの個数が１種類を除き０個であれば、すなわち、ＩＤ読取部１２０が読み取ったＩＤがすべて同一の種類であれば、その種類に対応した仮想画像が混合用容器１１０に対する仮想画像として決定される。なお、「その種類に対応した仮想画像」とは、対応する種類の指標の識別子（群）から決定される混合用物体１００に対する仮想画像と同じもの、もしくは、その仮想画像をＩＤの数だけ複製して結合した画像とする。
【００５８】
ＩＤ分類部１３０から受け取る種類別のＩＤの個数が複数種類に関して１個以上であれば、それぞれの種類に対応した仮想画像を種類別のＩＤの個数に応じて混合した仮想画像が生成され、それが混合用容器１１０に対する仮想画像として決定される。
【００５９】
各種類に対応した仮想画像の混合方法は任意であり、ランダムに結合すれば良い。ただし複数の仮想画像を結合して生成される仮想画像の形状は、撮影画像上における混合用容器１１０の画像領域におおよそ近いものとする。
【００６０】
仮想画像が料理の食材の画像である場合、各種類には対応する混合用物体１００の指標の識別子（群）に対するものと同じ食材の画像が割り当てられている。そして、種類ＡのＩＤがｍ個、種類ＢのＩＤがｎ個であった場合には、種類Ａに割り当てられている食材ａの画像ｍ枚と種類Ｂに割り当てられている食材ｂの画像ｎ枚をランダムに結合した仮想画像が生成され、それが混合用容器１１０に対する仮想画像として決定される。また仮想画像が単色の抽象画像の画像である場合には、各種類には対応する混合用物体１００に対するものと同じ色の抽象画像の画像が割り当てられている。そして、種類ＣのＩＤがｍ個、種類ＤのＩＤがｎ個であった場合には、種類Ｃに割り当てられている色ｃと種類Ｄに割り当てられている色ｄがｍ：ｎの比率で混合している色ｅの抽象画像の画像が生成され、それが混合用容器１１０に対する仮想画像として決定される。
【００６１】
なおここで、種類別のＩＤの個数は種類別の混合用物体の個数に等しいことを強調しておく。
【００６２】
仮想空間画像上における混合用容器１１０に対する仮想画像の位置は、相対位置姿勢算出部１６０より入力した混合用容器１１０のカメラ座標系における位置および姿勢に基づき決定される。すなわち、仮想空間画像上におけるこの混合用容器１１０に対する仮想画像は、撮影画像上において混合用容器１１０が写る画像領域と同じ領域に位置する。
【００６３】
この仮想画像を含む仮想空間画像は、画像合成部１８０において撮影画像と合成されるが、その合成画像上においては、混合用容器１１０用の仮想画像は混合用容器１１０の画像上に重畳される。図３および図４は、その合成画像の例を示す図であるが、図３の下側には、（食材を模した）太陽と月の画像が、混合用容器１１０内にある立方体／円柱形状の混合用物体１００の個数に応じて混合した画像が混合用容器１１０に重畳されている様子が示されており、図４の下側には、赤色と青色が、混合用容器１１０内にある立方体／円柱形状の混合用物体１００の比率に応じて混合してできた紫色の抽象画像が混合用容器１１０に重畳されている様子が示されている。
【００６４】
画像合成部１８０にて合成される合成画像は、画像表示部１９０において表示されることで本実施形態に係る画像混合装置のユーザに複合現実感として提示される。混合用容器１１０に対する仮想画像が撮影画像中の混合用容器１１０上に重畳されると、ユーザは混合用容器１１０が混合用容器１１０に対する仮想画像に示される外見を混合用容器１１０内の混合用物体１００に応じて備える複合現実感を得る。すなわち、仮想画像が食材の画像である場合には、ユーザは混合用容器１１０内に、混合用物体１００に対応した食材をその物体数だけ混ぜてできた料理が入っているかのような複合現実感を得る。仮想画像が単色の抽象画像である場合には、ユーザは混合用容器１１０内に、混合用物体１００に対応した色をその物体数の比で混ぜてできた新しい色が入っているかのような複合現実感を得る。
【００６５】
次にＩＤ読取部１２０が複数存在する場合について説明する。
【００６６】
この場合、まずＩＤ読取部１２０ごとに仮想画像の決定が行われる。その方法はＩＤ読取部が１つだけの場合と同様である。各ＩＤ読取部１２０ごとに仮想画像が決定されると、それらは結合され１つの仮想画像となる。その際、それぞれの仮想画像の位置関係は、ＩＤ読取部１２０の位置関係に対応する。例えば、２つのＩＤ読取部１２０が並んでいる場合には、それぞれに対応する仮想画像を同じように並べて結合した仮想画像が生成される。そしてこの仮想画像が、混合用容器１１０に対する仮想画像として決定される。
【００６７】
仮想空間画像上における混合用容器１１０に対する仮想画像の位置も、ＩＤ読取部が１つだけの場合と同様に、相対位置姿勢算出部１６０より入力した混合用容器１１０のカメラ座標系における位置および姿勢に基づき決定される。すなわち、仮想空間画像上におけるこの混合用容器１１０に対する仮想画像は、撮影画像上において混合用容器１１０が写る画像領域と同じ領域に位置する。さらに、各ＩＤ読取部１２０に対応する仮想画像が各ＩＤ読取部１２０の写る画像領域付近に位置するように、混合用容器１１０に対する仮想画像は仮想空間画像中に配置される。すなわち、混合用物体１００の分布に応じて仮想画像が仮想空間画像中に配置される。
【００６８】
この仮想画像を含む仮想空間画像は、画像合成部１８０において撮影画像と合成されるが、その合成画像上においては、混合用容器１１０用の仮想画像は混合用容器１１０の画像上に重畳される。図５および図６は、その合成画像の例を示す図であるが、図５の下側には、（食材を模した）太陽と月の画像が、混合用容器１１０内の左右の領域ごとに、立方体／円柱形状の混合用物体１００の個数に応じて混合した画像が混合用容器１１０に重畳されている様子が示されており、図６の下側には、赤色と青色が、混合用容器１１０内の左右の領域ごとに、立方体／円柱形状の混合用物体１００の比率に応じて混合してできた赤紫色／青紫色の抽象画像が混合用容器１１０に重畳されている様子が示されている。
【００６９】
画像合成部１８０にて合成される合成画像は、画像表示部１９０において表示されることで本実施形態に係る画像混合装置のユーザに複合現実感として提示される。混合用容器１１０に対する仮想画像が撮影画像中の混合用容器１１０上に重畳されると、ユーザは混合用容器１１０が混合用容器１１０に対する仮想画像に示される外見を、混合用容器１１０内の混合用物体１００の偏りに応じて備える複合現実感を得る。すなわち、仮想画像が食材の画像である場合には、ユーザは混合用容器１１０内に、混合用物体１００に対応した食材を混ぜてできた料理が混合用物体１００の偏りに応じて入っているかのような複合現実感を得る。仮想画像が単色の抽象画像である場合には、ユーザは混合用容器１１０内に、混合用物体１００に対応した色が混合用物体１００の偏りに応じて混ざっているかのような複合現実感を得る。
【００７０】
画像合成部１８０は、撮影部１４０から入力する撮影画像と画像生成部１７０から入力する仮想空間画像を合成し、複合現実空間画像を生成する。その複合現実空間画像は画像表示部１９０へと出力される。
【００７１】
画像表示部１９０は、画像合成部１８０から入力する複合現実空間画像を表示することで、本実施形態に係る画像混合装置のユーザに複合現実感を提示する。なお、画像表示部１９０は、撮影部１４０と一体化した構成になっていても良い。その場合の、撮影部１４０および画像表示部１９０は、いわゆる頭部装着型ディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）となりうる。
【００７２】
図２は、本実施形態の画像混合装置が撮影視点の位置および／または姿勢を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００７３】
処理がスタートすると、ステップＳ２００において、撮影部１４０が現実空間を撮影し、撮影した撮影画像を指標検出部１５０および画像合成部１８０へ出力する。撮影部１４０が撮影する現実空間には、複数の混合用物体１００と混合用容器１１０が含まれており、それらは撮影画像に含まれているものとする。
【００７４】
続いてステップＳ２１０において、指標検出部１５０が撮影画像中から指標の検出処理を行い、検出結果である指標の画像座標と識別子を相対位置姿勢算出部１６０に出力する。指標は、混合用物体１００および混合用容器１１０が備えているものである。場合によっては、指標検出部１５０は撮影画像上における指標の大きさも相対位置姿勢算出部１６０に出力する。
【００７５】
続いてステップＳ２２０において、相対位置姿勢算出部１６０が、指標検出部１５０より入力する指標の画像座標に基づいて、混合用物体１００および混合用容器１１０のカメラ座標系における位置および姿勢を算出する。具体的な算出方法については、先に述べたとおりである。算出した混合用物体１００および混合用容器１１０のカメラ座標系における位置および姿勢は、それぞれの物体上に存在する指標の識別子とともに、画像生成部１７０へと出力される。
【００７６】
続いてステップＳ２３０において、ＩＤ読取部１２０が、混合用容器１１０に入れられた複数の混合用物体１００から発信されるＩＤ信号を読み取る。ＩＤ読取部１２０の読み取ったＩＤは、ＩＤ分類部１３０にて種類別に分類される。続いて、種類別のＩＤの個数が、画像生成部１７０へ入力される。また、必要であれば、ＩＤ読取部１２０の読み取ったＩＤも画像生成部１７０へ入力される。
【００７７】
続いてステップＳ２４０において、画像生成部１７０が、相対位置姿勢算出部１６０を介して指標検出部１５０より入力する各混合用物体１００に備えられた指標の識別子（群）と、ＩＤ読取部１２０より入力する混合用物体１００を識別するＩＤとを利用して、撮影画像上に写り、混合用容器１１０の内部にないもの全て混合用物体１００に対する仮想画像と、撮影画像上に写る混合用容器１１０に対する仮想画像の、２種類の仮想画像を決定する。仮想画像の決定方法については、先に述べたとおりである。
【００７８】
なお、ステップＳ２３０からステップＳ２４０までの処理は、ステップＳ２００の前に実行されていても良いし、ステップＳ２００からステップＳ２２０までの処理と平行して実行しても良い。
【００７９】
続いてステップＳ２５０において、画像生成部１７０が、相対位置姿勢算出部１６０より入力した混合用物体１００および混合用容器１１０のカメラ座標系における位置および姿勢を利用して、ステップＳ２４０において決定した仮想画像を含む仮想空間画像を生成する。ステップＳ２４０において決定した仮想画像の仮想空間画像における位置については、先に説明したとおりである。生成された仮想空間画像は、画像合成部１８０へ入力される。
【００８０】
続いてステップＳ２６０において、画像合成部１８０が、撮影部１４０から入力する撮影画像と画像生成部１７０から入力する仮想空間画像を合成し、複合現実空間画像を生成する。その複合現実空間画像は画像表示部１９０へと出力される。
【００８１】
続いてステップＳ２７０において、画像表示部１９０が、画像合成部１８０から入力する複合現実空間画像を表示することで、本実施形態のユーザに複合現実感を提示する。この複合現実感においては、撮影画像上に写り混合用容器１１０の内部にない混合用物体１００は混合用物体１００に対する仮想画像に示される外見を備え、混合用容器１１０は混合用容器１１０に対する仮想画像に示される外見を混合用容器１１０内の混合用物体１００に応じて備える。ＩＤ読取部１２０が複数存在するような場合には、混合用容器１１０は混合用容器１１０に対する仮想画像に示される外見を混合用容器１１０内の混合用物体１００の偏りに応じて備える。
【００８２】
ステップＳ２８０では、本実施形態の画像混合装置が行う処理を終了するか否かの判定が行われる。本実施形態のユーザが画像混合装置に対して、処理の終了を指示した場合には処理を終了させ、処理の継続を指示した場合には再びステップＳ２００へと戻る。
【００８３】
ステップＳ２００以降は、再び順に処理を行っていくが、途中で行われるステップＳ２１０において、毎回混合用物体１００に備えられた指標の検出が行われ、ステップＳ２３０において、毎回混合用容器１１０内の混合用物体１００から発信されるＩＤの読取が行われる。よって、例えばユーザが混合用物体１００を手に取って混合用容器１１０の中や外に動かしてしまった場合にも、破綻なく、撮影画像上に写り混合用容器１１０の内部にない混合用物体１００は混合用物体１００に対する仮想画像に示される外見を備え、混合用容器１１０は混合用容器１１０に対する仮想画像に示される外見を混合用容器１１０内の混合用物体１００に応じて備える複合現実感がユーザに提示される。
【００８４】
以上の処理により、本実施形態に係る画像混合装置は、複数の現実物体（混合用物体１００）を利用して複数の仮想情報を混合することができる。
【００８５】
本実施形態に係る画像混合装置の場合、仮想情報の混合を行う場所（混合用容器１１０内）においては、撮影画像の認識処理ではなく無線ＩＣチップから発信されるＩＤの読取によって多数の現実物体の認識を行うので、ユーザは（撮影位置を気にすることなく）任意の位置姿勢において多数の現実物体を利用した複数の仮想情報の混合を行うことができる。
【００８６】
また、ＩＤを読み取る処理は画像処理に比べても非常に処理が軽いので、読み取るＩＤの数が大きく増えたとしても計算コストはそれほど増加しない。よって、本実施形態に係る画像混合装置による混合インタラクションは、多数の現実物体の利用にも向いていると言える。
【００８７】
多数の現実物体を利用できれば、幅広い混合インタラクションの仕方をユーザに提供することができるが、本実施形態に係る画像混合装置の場合、現実物体の混合比率はもとより、複数のＩＤ読取部１２０を用意した場合には現実物体の混合の偏り／分布も容易に認識することができるので、その混合インタラクションは、単純な仮想情報の混合を実現するだけには留まらない。
【００８８】
また、本実施形態に係る画像混合装置における混合インタラクションは、実際に複数の現実物体を物理的に混合する（混合用容器１１０の内部に混合用物体１００を入れる）ことで実現されるので、非常に直感的でユーザにとって非常にわかりやすいと言える。
【００８９】
［第２の実施形態］
本実施形態に係る画像混合装置は、抵抗値および重量が既知である複数の現実物体を利用して仮想情報の混合を行うことを特徴とする。以下、本実施形態に係る画像混合装置および画像混合方法を用いて、本実施形態のユーザに複合現実感を提示する場合について説明する。
【００９０】
図７は、本実施形態に係る画像混合装置の概略構成を示す図である。図７に示したように、本実施形態に係る画像混合装置は、複数の混合用物体７００、混合用容器７１０、抵抗計測部７２０、重量計測部７３０、個数算出部７４０、画像生成部７５０、画像投影部７６０によって構成されている。
【００９１】
複数存在する混合用物体７００は、予め既知である抵抗値と重量を持つ小型の現実物体である。ただし、取りうる抵抗値と重量には２種類あり、その組み合わせも２種類に限定される。すなわち、混合用物体７００には、抵抗値ｒＡおよび重量ｗＡを持つものと、抵抗値ｒＢおよび重量ｗＢを持つものがある。便宜上以下では、２種類の混合用物体７００を区別する場合に、混合用物体Ａ７００および混合用物体Ｂ７００と表記する。
【００９２】
混合用物体７００の抵抗値は外部から容易に計測できるものとする。すなわち、混合用物体７００全体は導電体で覆われ、２つの電極に挟まれることでその抵抗値が計測されるものとする。
【００９３】
混合用容器７１０は、その内部に複数の混合用物体７００を入れることができる容器である。混合用容器７１０は、後述する画像投影部７６０との相対的な位置姿勢関係が既知であり、画像投影部７６０から投影される画像がその表面に投影される。
【００９４】
本実施形態においては、ある程度の数（例えば１０や２０）の混合用物体７００が混合用容器７１０に入れられることを想定する。そして、混合用容器７１０の大きさは、想定されている数程度の混合用物体７００が混合用容器７１０に入れられた場合に、それら全ての混合用物体７００が他の何れかの混合用物体７００に接する程度の大きさであるとする。
【００９５】
なお、以降では混合用容器７１０が一つだけ存在する場合を想定して説明を続けるが、区別可能な複数の混合用容器７１０が存在しても良い。
【００９６】
抵抗計測部７２０は、混合用容器７１０の内部に備えられ、２つの電極を持ち、混合用容器７１０に入れられた複数の混合用物体７００全体の抵抗値を計測する。
【００９７】
２つの電極は、例えば混合用容器７１０の底面に配置され、想定されている数程度の混合用物体７００が混合用容器７１０に入れられた場合には、必ず混合用物体７００のいずれかに接するものとする。混合用容器７１０の大きさも混合用物体７００同士がお互いに接する程度の大きさであるから、２つの電極間には混合用容器７１０内の混合用物体７００全てが電気的に挟まれる。よって、２つの電極間で計測される抵抗値を、混合用容器７１０に入れられた複数の混合用物体７００全体の抵抗値とする。（仮に２つの電極に挟まれない混合用物体７００が存在する場合には、その分の抵抗値の減少分を測定誤差と考える。）
混合用抵抗計測部７２０が計測した抵抗値は、個数算出部７４０へ入力される。
【００９８】
重量計測部７３０は、混合用容器７１０の内部に備えられ、混合用容器７１０に入れられた複数の混合用物体７００全体の重量を計測する。混合用抵抗計測部７３０が計測した重量は、個数算出部７４０へ入力される。
【００９９】
個数算出部７４０は、抵抗計測部７２０より入力する混合用容器７１０内の混合用物体７００全体の抵抗値と、重量計測部７３０より入力する混合用容器７１０内の混合用物体７００全体の重量とを利用して、混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００（混合用物体Ａ７００と混合用物体Ｂ７００は抵抗値もしくは重量が異なる）の個数を求める。
【０１００】
混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００の個数の求め方は、次のとおりである。
【０１０１】
まず、混合用物体Ａ７００と混合用物体Ｂ７００のそれぞれが既知抵抗値ｒＡ、ｒＢを持ち、混合用容器７１０の内部には混合用物体Ａ７００がｍ個、混合用物体Ｂ７００がｎ個入れられているとすると、その場合に抵抗計測部７２０が計測し画像生成部７５０に入力する抵抗値Ｒは、
Ｒ＝ｍ×ｒＡ＋ｎ×ｒＢ・・・（式１）
と表される。同様に、混合用物体Ａ７００と混合用物体Ｂ７００のそれぞれが既知重量ｗＡ、ｗＢを持つとすると、その場合に重量計測部７３０が計測し画像生成部７５０に入力する重量Ｗは、
Ｗ＝ｍ×ｗＡ＋ｎ×ｗＢ・・・（式２）
と表される。これはすなわち、２つの未知パラメータｍ、ｎに対する２つの方程式であるので、画像生成部７５０は、これらの式を連立して解く事で、混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００の個数であるｍ、ｎを得ることができる。
【０１０２】
算出した個数は、画像生成部７５０へ入力される。
【０１０３】
画像生成部７５０は、仮想空間画像を生成し、生成した仮想空間画像を画像投影部７６０へ入力する。まず、予め決められた混合用物体Ａ７００と混合用物体Ｂ７００のそれぞれに対応した仮想画像を、個数算出部７４０より入力した混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００の個数に応じて混合することで、混合用容器７１０に対する仮想画像を生成する。仮想画像の混合方法は任意であり、ランダムに結合すれば良い。ただし生成される仮想画像の形状は、画像投影部７６０から見た時の混合用容器７１０の輪郭におおよそ近いものとする。
【０１０４】
例えば仮想画像が料理の食材の画像である場合、混合用物体Ａ７００と混合用物体Ｂ７００にはそれぞれ独自の食材の画像が割り当てられている。そして、混合用物体Ａ７００がｍ個、混合用物体Ｂ７００がｎ個であった場合には、混合用物体Ａ７００に割り当てられている食材ａの画像ｍ枚と混合用物体Ｂ７００に割り当てられている食材ｂの画像ｎ枚をランダムに結合した仮想画像が生成され、それが混合用容器７１０に対する仮想画像として決定される。また仮想画像が単色の抽象画像の画像である場合には、混合用物体Ａ７００と混合用物体Ｂ７００にはそれぞれ独自色の抽象画像の画像が割り当てられている。そして、混合用物体Ａ７００がｍ個、混合用物体Ｂ７００がｎ個であった場合には、混合用物体Ａ７００に割り当てられている色ｃと混合用物体Ｂ７００に割り当てられている色ｄがｍ：ｎの比率で混合している色ｅの抽象画像の画像が生成され、それが混合用容器７１０に対する仮想画像として決定される。
【０１０５】
次に画像生成部７５０は、仮想空間画像の元となる規定の画像上に混合用容器７１０に対する仮想画像を配置することで、仮想空間画像を生成する。仮想空間画像上における混合用容器７１０に対する仮想画像の位置は、既知である混合用容器７１０と画像投影部７６０の相対的な位置姿勢関係に基づき決定される。その位置は、仮想空間画像が画像投影部７６０によって現実空間に投影された時に、混合用容器７１０に対する仮想画像が現実空間中の混合用容器７１０の表面上に投影されるような位置である。
【０１０６】
画像投影部７６０にて投影される仮想空間画像は、現実空間に投影されることで本実施形態に係る画像混合装置のユーザに複合現実感として提示される。混合用容器７１０に対する仮想画像が現実空間の混合用容器７１０上に重畳されると、ユーザは混合用容器７１０が混合用容器７１０に対する仮想画像に示される外見を混合用容器７１０内の混合用物体７００に応じて備える複合現実感を得る。すなわち、仮想画像が食材の画像である場合には、ユーザは混合用容器７１０内に、２種類の混合用物体７００に対応した２種類の食材をその物体数だけ混ぜてできた料理が入っているかのような複合現実感を得る。仮想画像が単色の抽象画像である場合には、ユーザは混合用容器７１０内に、２種類の混合用物体７００に対応した２種類の色をその物体数の比で混ぜてできた新しい色が入っているかのような複合現実感を得る。
【０１０７】
画像投影部７６０は、画像生成部７５０から入力する仮想空間画像を現実空間上に投影することで、本実施形態に係る画像混合装置のユーザに複合現実感を提示する。
【０１０８】
図８は、本実施形態の画像混合装置が撮影視点の位置および／または姿勢を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【０１０９】
処理がスタートすると、ステップＳ８００において、抵抗計測部７２０が、混合用容器７１０に入れられた複数の混合用物体７００全体の抵抗値を計測する。計測して得た抵抗値は個数算出部７４０へ入力される。
【０１１０】
続いてステップＳ８１０において、重量計測部７３０が、混合用容器７１０に入れられた複数の混合用物体７００全体の重量を計測する。計測して得た重量は個数算出部７４０へ入力される。
【０１１１】
なお、ステップＳ８００とステップＳ８１０の順番は逆でも良いし、双方を平行して実行しても良い。
【０１１２】
続いてステップＳ８２０において、個数算出部７４０が、抵抗計測部７２０より入力する混合用容器７１０内の混合用物体７００全体の抵抗値と、重量計測部７３０より入力する混合用容器７１０内の混合用物体７００全体の重量とを利用して、混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００の個数を求める。求められた個数は、画像生成部７５０へ入力される。
【０１１３】
続いてステップＳ８３０において、画像生成部７５０が、予め決められた混合用物体Ａ７００と混合用物体Ｂ７００に対応した仮想画像を、混合用容器７１０内の混合用物体Ａ７００と混合用物体Ｂ７００の個数に応じて混合することで、混合用容器７１０に対する仮想画像を生成する。具体的な仮想画像の生成方法については、先に述べたとおりである。
【０１１４】
続いてステップＳ８４０において、画像生成部７５０が、仮想空間画像の元となる規定の画像上に混合用容器７１０に対する仮想画像を配置することで、仮想空間画像を生成する。仮想空間画像上における混合用容器７１０に対する仮想画像の位置は、既知である混合用容器７１０と画像投影部７６０の相対的な位置姿勢関係に基づき決定される。生成した仮想空間画像は、画像投影部７６０へと出力される。
【０１１５】
続いてステップＳ８５０において、画像投影部７６０が、仮想空間画像を現実空間上に投影することで、本実施形態に係る画像混合装置のユーザに複合現実感を提示する。この複合現実感においては、混合用容器７１０は混合用容器７１０に対する仮想画像に示される外見が混合用容器７１０内の混合用物体７００に応じて重畳される。
【０１１６】
ステップＳ８６０では、本実施形態の画像混合装置が行う処理を終了するか否かの判定が行われる。本実施形態のユーザが画像混合装置に対して、処理の終了を指示した場合には処理を終了させ、処理の継続を指示した場合には再びステップＳ８００へと戻る。
【０１１７】
ステップＳ８００以降は、再び順に処理を行っていくが、途中で行われるステップＳ８００およびステップＳ８１０において、毎回混合用物体７００全体の抵抗値および重量の計測が行われる。よって、例えばユーザが混合用物体７００を手に取って混合用容器７１０の中や外に動かしてしまった場合にも、破綻なく、混合用容器７１０は混合用容器７１０に対する仮想画像に示される外見が混合用容器７１０内の混合用物体７００に応じて重畳された複合現実感がユーザに提示される。
【０１１８】
以上の処理により、本実施形態に係る画像混合装置は、複数の現実物体（混合用物体７００）を利用して複数の仮想情報を混合することができる。
【０１１９】
本実施形態に係る画像混合装置には撮影部を含まないので、ユーザは（撮影位置を気にすることなく）任意の位置姿勢において多数の現実物体を利用した複数の仮想情報の混合を行うことができる。また、本実施形態に係る画像混合装置は抵抗値および重量の計測によって多数の現実物体の認識を行うが、その処理内容は現実物体のどれほど多くとも変わらない。よって、本実施形態に係る画像混合装置による混合インタラクションは、多数の現実物体の利用にも向いていると言える。
【０１２０】
多数の現実物体を利用できれば、幅広い混合インタラクションの仕方をユーザに提供することができるが、本実施形態に係る画像混合装置の場合、現実物体の混合比率を容易に認識することができるので、その混合インタラクションは、単純な仮想情報の混合を実現するだけには留まらない。
【０１２１】
また、本実施形態に係る画像混合装置における混合インタラクションは、実際に複数の現実物体を物理的に混合する（混合用容器７１０の内部に混合用物体７００を入れる）ことで実現されるので、非常に直感的でユーザにとって非常にわかりやすいと言える。
【０１２２】
なお、本実施形態の説明においては２種類の混合用物体７００を使った画像混合装置について説明したが、抵抗計測部７２０や重量計測部７３０と同様な混合用物体７００全体の物理量を計測する計測部を増やすことで、同じような仕組みで３種類以上の混合用物体７００を使った画像混合装置を実現することも可能である。例えば、混合用物体７００が決められた体積を持つものとし、混合用容器７１０に，その内部を混合用物体７００全体が占める体積を計測する体積計測部を備えれば、３種類の（抵抗値、重量、体積）の組を持つ混合用物体７００を使った画像混合装置を実現することができる。混合用物体７００が混合用容器７１０に対して非常に小さくすれば，混合用物体７００は混合用容器７１０内において均等に整列するので，混合用物体７００と混合用容器７１０の接触面積などを利用して混合用物体７００全体の体積を計測することが可能である。
【０１２３】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図２および／または図８に示す）フローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１２６】
【図１】本発明の第１の実施形態に係る画像混合装置の概略構成を示す図である。
【図２】本発明の第１の実施形態に係る画像混合方法の概略処理を示すフローチャートである。
【図３】本発明の第１の実施形態に係る画像混合装置がＩＤ読取部１２０を１つ持つ場合にユーザに提示される複合現実感画像（画像合成部１８０において合成される合成画）像の例を示す図である。
【図４】本発明の第１の実施形態に係る画像混合装置がＩＤ読取部１２０を１つ持つ場合にユーザに提示される複合現実感画像（画像合成部１８０において合成される合成画）像の別の例を示す図である。
【図５】本発明の第１の実施形態に係る画像混合装置がＩＤ読取部１２０を２つ持つ場合にユーザに提示される複合現実感画像（画像合成部１８０において合成される合成画）像の例を示す図である。
【図６】本発明の第１の実施形態に係る画像混合装置がＩＤ読取部１２０を２つ持つ場合にユーザに提示される複合現実感画像（画像合成部１８０において合成される合成画）像の別の例を示す図である。
【図７】本発明の第２の実施形態に係る画像混合装置の概略構成を示す図である。
【図８】本発明の第２の実施形態に係る画像混合方法の概略処理を示すフローチャートである。
【図１】
2006099401.tif 000003
【図２】
2006099401.tif 000004
【図３】
2006099401.tif 000005
【図４】
2006099401.tif 000006
【図５】
2006099401.tif 000007
【図６】
2006099401.tif 000008
【図７】
2006099401.tif 000009
【図８】
2006099401.tif 000010