(57)【要約】【課題】二次元画像を検索キーとした三次元モデル類似検索を行うことができる三次元モデル検索方法を提供する。【解決手段】検索の対象となる三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成工程（図２のＳ１０５）と、検索対象画像生成工程で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出工程（図２のＳ１０８）と、検索キーとなる二次元画像を入力する検索キー入力工程（図５のＳ２０１）と、検索キー入力工程で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出工程（図５のＳ２０４）と、第１の特徴量抽出工程で抽出した特徴量と第２の特徴量抽出工程で抽出した特徴量とを用いて類似検索を行い、検索キーに類似する三次元モデルを出力する類似検索工程（図５のＳ２０６）とを有する。【選択図】        図２
2004164503.tif 000002
【特許請求の範囲】
【請求項１】
三次元モデルの特徴量を用いて類似な三次元モデルを検索する方法において、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成工程と、
前記検索対象画像生成工程で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出工程と、
検索キーとなる二次元画像を入力する検索キー入力工程と、
前記検索キー入力工程で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出工程と、
前記第１の特徴量抽出工程で抽出した特徴量と前記第２の特徴量抽出工程で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索工程と、
を有することを特徴とする三次元モデル検索方法。
【請求項２】
前記検索対象画像生成工程で生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像であることを特徴とする請求項１に記載の三次元モデル検索方法。
【請求項３】
前記二次元投影像または／および断面像は、テクスチャ情報を有することを特徴とする請求項２に記載の三次元モデル検索方法。
【請求項４】
検索の対象となる前記三次元モデルと、前記第１の特徴量抽出工程で抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出工程で抽出した特徴量との対応を表す対応情報と、を併せて記憶する記憶工程をさらに有することを特徴とする請求項１に記載の三次元モデル検索方法。
【請求項５】
検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出工程と、
前記類似検索工程の検索結果として出力された三次元モデルの三次元特徴量を検索キーとし、前記三次元特徴量抽出工程で抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索工程と、
をさらに有することを特徴とする請求項１に記載の三次元モデル検索方法。
【請求項６】
三次元モデルの特徴量を用いて類似な三次元モデルを検索する三次元モデル検索装置において、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成手段と、
前記検索対象画像生成手段で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出手段と、
検索キーとなる二次元画像を入力する検索キー入力手段と、
前記検索キー入力手段で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出手段と、
前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索手段と、
を有することを特徴とする三次元モデル検索装置。
【請求項７】
前記検索対象画像生成手段により生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像であることを特徴とする請求項６に記載の三次元モデル検索装置。
【請求項８】
前記二次元投影像または／および断面像は、テクスチャ情報を有することを特徴とする請求項７に記載の三次元モデル検索装置。
【請求項９】
検索の対象となる前記三次元モデルと、前記第１の特徴量抽出手段により抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出手段により抽出された特徴量との対応を表す対応情報と、を併せて記憶する記憶手段をさらに有することを特徴とする請求項６に記載の三次元モデル検索装置。
【請求項１０】
検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出手段と、
前記類似検索手段による検索結果として出力された三次元モデルの三次元特徴量を検索キーとし、前記三次元特徴量抽出手段により抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索手段と、
をさらに有することを特徴とする請求項６に記載の三次元モデル検索装置。
【請求項１１】
コンピュータに、三次元モデルの特徴量を算出させ、この特徴量を用いて類似な三次元モデルを検索させるにあたって、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成機能と、
前記検索対象画像生成機能により生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出機能と、
検索キーとなる二次元画像を入力する検索キー入力機能と、
前記検索キー入力機能により入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出機能と、
前記第１の特徴量抽出機能により抽出した特徴量と前記第２の特徴量抽出機能により抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索機能と、
を実現させることを特徴とする三次元モデル検索プログラム。
【請求項１２】
三次元モデルの特徴量を算出し、この特徴量を用いて類似な三次元モデルを検索する三次元モデル検索システムにおいて、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する特徴量抽出手段と、
ネットワークを介してクライアントから送信された検索キーとなる二次元画像を受信し、当該二次元画像の特徴量を抽出する第２の特徴量抽出手段と、
前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルの情報を、ネットワークを介してクライアントに送信する類似検索手段と、
を有することを特徴とする三次元モデル検索システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システムに関するものである。
【０００２】
【従来の技術】
近年、デジタルデータとしての静止画や動画、音声、音楽といったマルチメディアオブジェクトデータが様々な場面で利用されている。
【０００３】
例えば、三次元オブジェクトを表現するデータに関しても、従来からのＣＡＤデータに加え、商品の三次元オブジェクトデータ、また、考古学的遺産、美術・芸術品の三次元オブジェクトデータ化によるデジタルアーカイブ等、盛んに利用されている。
【０００４】
これらのデータは増大する一方であり、データの効率的な管理や、利用者の要求するデータを効率よく検索する要求が高まっている。
【０００５】
このような要求に答えるべく、様々な技術が提案されており、類似オブジェクトの検索技術に関しても、マルチメディアオブジェクトの持つ特徴を数値で表現される特徴量として算出し、これらの特徴量で構成される多次元ベクトルを利用した検索方法が数多く提案されている。
【０００６】
特徴量による類似オブジェクト検索では、使用者が検索結果として希望するものに主観的に近いオブジェクトを指定し、このオブジェクトの特徴量とデータベースに登録されたオブジェクトの特徴量とを比較することにより類似なオブジェクトを検索することができる。
【０００７】
例えば、以下の特許文献１に記載の「類似オブジェクト検索方法および装置」では、入力した参照オブジェクトに類似なオブジェクトを出力する方法および装置が提案されている。
【０００８】
また、以下の特許文献２に記載の「三次元物体データベースの検索方法及び三次元物体データベースの検索プログラムを記録した記録媒体」では、三次元物体を入力として、データベースに格納した三次元物体との類似性に基づく検索方法が提案されている。
【０００９】
【特許文献１】
特開平１０−１５４１４９号公報
【００１０】
【特許文献２】
特開２００２−４１５３０号公報
【００１１】
【発明が解決しようとする課題】
従来の方法では、検索のキーとして入力するオブジェクトが検索対象としてデータベース等に格納されているオブジェクトと同種であることが前提となっていた。
【００１２】
例えば、上記した特開平１０−１５４１４９号公報には、データ蓄積部に蓄えられた画像を検索するシステムが説明されている。
【００１３】
このシステムでは、スキャナーやネットワークから入手した画像または描画ツールで作成したスケッチ画等を検索のキーとなるオブジェクトとしており、検索キーと検索対象とが同一の特徴を有するオブジェクトであることを暗黙の仮定としている。
【００１４】
同公報の特許請求の範囲にも、オブジェクトという一般化された表現ではあるが、検索キーと検索対象とが同一の特徴を有するオブジェクトであることを暗黙の仮定とした構成要素となっている。
【００１５】
また、特開２００２−４１５３０号公報に記載された実施例では、予めデータベースへ蓄えられた三次元物体を検索のキーとして入力するようになっている。
【００１６】
つまり、検索キーと検索対象とが同一種類、同一次元の特徴を有するオブジェクトであることを暗黙の仮定としている。
【００１７】
このため、これらの従来技術を用いて三次元モデル検索システムを構築した場合、検索キーも三次元モデルでなければならない。
【００１８】
検索キーをデータベースに格納された三次元モデルから選択するようなシステムであれば、検索キーに三次元モデルを用いることに対するシステム構築上の困難さは大きくない。
【００１９】
しかし、使用者は、データベースに格納された大量の三次元モデルを数多く閲覧した上で、検索キーとする三次元オブジェクトを選択しなければならず、使用上の不便さが極めて大きい。
【００２０】
また、使用者は、既にデータベースに登録されたオブジェクトを閲覧しているので、検索を行う意味は極めて小さく、実用的ではない。
【００２１】
また、例えば、使用者が頭で思い描いたものや、手元に実際に存在する三次元物体に類似なものを検索するよう、データベースに格納されていない三次元モデルを検索キーに設定しようとすると、入力する三次元モデルの作成が容易ではないために、利便性の高いシステムを実現することは困難である。
【００２２】
三次元モデルを作成する手段としては、ＣＡＤ等の三次元モデル作成アプリケーションや、３Ｄスキャナーと呼ばれる光学装置等がある。
【００２３】
例えば、三次元モデル作成アプリケーションを利用したとしても、この種のアプリケーションで三次元モデルを作成するには操作に熟練を要するため、検索キーとなる三次元モデルを用意することは容易ではない。
【００２４】
また、例えば、三次元スキャナーを用いて既存の三次元物体をデータとして取り込むとしても、三次元スキャナーを用意することは容易ではなく、また、三次元スキャナーで取り込んだ情報を三次元データとして再構築することも容易ではない。
【００２５】
一方、例えば二次元のイラスト作成アプリケーションやデジカメ等を用いて、使用者が頭で思い描いたものや、手元に実際に存在する三次元物体を二次元画像で表現することは、比較的容易である。
【００２６】
例えば、実際に存在する三次元物体であれば、デジカメで撮影し、システムへ転送するだけである。
【００２７】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、二次元画像を検索キーとした三次元モデル類似検索を行うことができる三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システムを提供することにある。
【００２８】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、三次元モデルの特徴量を用いて類似な三次元モデルを検索する方法において、検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成工程と、前記検索対象画像生成工程で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出工程と、検索キーとなる二次元画像を入力する検索キー入力工程と、前記検索キー入力工程で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出工程と、前記第１の特徴量抽出工程で抽出した特徴量と前記第２の特徴量抽出工程で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索工程とを有する。
【００２９】
また、第２の発明は、第１の発明に係る三次元モデル検索方法に関わるものであり、前記検索対象画像生成工程で生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像である。
【００３０】
また、第３の発明は、第２の発明に係る三次元モデル検索方法に関わるものであり、前記二次元投影像または／および断面像は、テクスチャ情報を有する。
【００３１】
また、第４の発明は、第１の発明に係る三次元モデル検索方法に関わるものであり、検索の対象となる前記三次元モデルと、前記第１の特徴量抽出工程で抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出工程で抽出する。
【００３２】
また、第５の発明は、第１の発明に係る三次元モデル検索方法に関わるものであり、検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出工程と、前記類似検索工程の検索結果として出力された三次元モデルの三次元特徴量を検索キーとし、前記三次元特徴量抽出工程で抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索工程とをさらに有する。
【００３３】
また、第６の発明は、三次元モデルの特徴量を用いて類似な三次元モデルを検索する三次元モデル検索装置において、検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成手段と、前記検索対象画像生成手段で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出手段と、検索キーとなる二次元画像を入力する検索キー入力手段と、前記検索キー入力手段で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索手段とを有する。
【００３４】
また、第７の発明は、第６の発明に係る三次元モデル検索装置に関わり、前記検索対象画像生成手段により生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像である。
【００３５】
また、第８の発明は、第７の発明に係る三次元モデル検索装置に関わり、前記二次元投影像または／および断面像は、テクスチャ情報を有する。
【００３６】
また、第９の発明は、第６の発明に係る三次元モデル検索装置に関わり、検索の対象となる前記三次元モデルと、前記第１の特徴量抽出手段により抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出手段により抽出された特徴量との対応を表す対応情報と、を併せて記憶する記憶手段をさらに有する。
【００３７】
また、第１０の発明は、第６の発明に係る三次元モデル検索装置に関わり、検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出手段と、前記類似検索手段による検索結果として出力された三次元モデルの三次元特徴量を検索キーとし、前記三次元特徴量抽出手段により抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索手段とをさらに有する。
【００３８】
また、第１１の発明は、三次元モデル検索プログラムに関わり、コンピュータに、三次元モデルの特徴量を算出させ、この特徴量を用いて類似な三次元モデルを検索させるにあたって、検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成機能と、前記検索対象画像生成機能により生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出機能と、検索キーとなる二次元画像を入力する検索キー入力機能と、前記検索キー入力機能により入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出機能と、前記第１の特徴量抽出機能により抽出した特徴量と前記第２の特徴量抽出機能により抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索機能とを実現させる。
【００３９】
また、第１２の発明は、三次元モデルの特徴量を算出し、この特徴量を用いて類似な三次元モデルを検索する三次元モデル検索システムにおいて、検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する特徴量抽出手段と、ネットワークを介してクライアントから送信された検索キーとなる二次元画像を受信し、当該二次元画像の特徴量を抽出する第２の特徴量抽出手段と、前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルの情報を、ネットワークを介してクライアントに送信する類似検索手段とを有する。
【００４０】
【発明の実施の形態】
［第１実施の形態］
（構成）
図１は、本発明の第１実施の形態に係る三次元インテリアアイテム類似検索システムの構成を示す図であり、登録部１と検索部４を備えている。これら登録部１と検索部４とは、それぞれ原オブジェクトデータベース２および特徴量データベース３を介して互いに接続されている。原オブジェクトデータベース２には、椅子、テーブル等インテリア用品の三次元形状データおよび名称等の属性データが登録されている。特徴量データベース３には、原オブジェクトデータベース２に登録されている三次元モデルの特徴量が登録されている。なお、登録されている特徴量は、各特徴量のスケールに応じて正規化されている。また、特徴量を抽出した三次元モデルへのリンク情報も併せて登録されている。
【００４１】
登録部１は、三次元特徴量抽出部６と、三次元モデル入力部５と、二次元投影像生成部７と、二次元画像入力部８と、二次元特徴量抽出部９とを備えている。三次元モデル入力部５は、三次元特徴量抽出部６、二次元投影像生成部７および原オブジェクトデータベース２に接続されている。三次元特徴量抽出部６は、特徴量データベース３に接続されている。二次元投影像生成部７は、二次元画像入力部８に接続されている。二次元画像入力部８は、二次元特徴量抽出部９に接続されている。二次元特徴量抽出部９は、特徴量データベース３に接続されている。
【００４２】
また、検索部４は、類似検索部１３と、検索結果表示部１４と、検索キー指定部１１と、二次元画像入力部１０と、二次元特徴量抽出部１２とを備えている。二次元画像入力部１０は、検索キー指定部１１、検索結果表示部１４および二次元特徴量抽出部１２に接続されている。検索キー指定部１１および二次元特徴量抽出部１２は、類似検索部１３に接続されている。類似検索部１３は、特徴量データベース３および検索結果表示部１４に接続されている。検索結果表示部１４は、検索キー指定部１１および原オブジェクトデータベース２に接続されている。
【００４３】
なお、二次元画像入力部８と二次元画像入力部１０は、同一の機能ブロックである。また、二次元特徴量抽出部９と二次元特徴量抽出部１２は、同一の機能ブロックである。
【００４４】
（作用）
次に、上記した三次元インテリアアイテム類似検索システムの作用を説明する。まず、登録部１における操作手順を図２を参照して説明する。ステップＳ１０１では、使用者が登録したい三次元モデルデータ１０２を入力する。ステップＳ１０１は、図１の三次元モデル入力部５にて処理される。この三次元モデルは、ＣＡＤ等で作成したもの、三次元スキャナーで取り込んだもの等のコンピュータ上のデータである。
【００４５】
ステップＳ１０３では、ステップＳ１０１で入力された三次元モデルデータ１０２を図１の原オブジェクトデータベース２へ登録する。ステップＳ１０４では、ステップＳ１０１で入力された三次元モデルデータ１０２から三次元データとしての特徴量を抽出する。ステップＳ１０４は、図１の三次元特徴量抽出部６にて処理される。特徴量としては、三次元オブジェクトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、三次元オブジェクトの体積や表面積、頂点分布、ポリゴン分布のヒストグラム等を用いる。これらの特徴量は、さまざまな部位に渡って取り出して、それぞれ別々の特徴量としてもよい。
【００４６】
ステップＳ１０５では、ステップＳ１０１で入力された三次元モデルデータ１０２から二次元投影像を生成する。ステップＳ１０５は、図１の二次元投影像生成部７にて処理される。ここでは、入力された三次元モデルデータ１０２の一例を図３の椅子２１として、この三次元モデルデータ１０２を互いに異なる視点から見た複数の二次元画像を生成する。図３において、θはＸ―Ｙ平面上の角度であり、φはＹ−Ｚ平面上の角度である。ステップＳ１０５での処理により、椅子２１から図４に示すような二次元投影像２２−２６が生成される。
【００４７】
図４において、二次元投影像２２は、図３中のφ＝９０°、θ＝０°の場合である。例えば、ＯｐｅｎＧＬ、ＤｉｒｅｃｔＸ等、三次元ライブラリとして提供されている機能を利用し、三次元モデルである椅子２１をφ＝９０°、θ＝０°の視点からレンダリングすることにより、二次元投影像２２が得られる。
【００４８】
同様の手順により、φ＝４５°、θ＝０，４５，９０，１３５，１８０，２２５，２７０，３１５°の場合のレンダリング画像として二次元投影像２３が得られる。
【００４９】
また、同様の手順により、φ＝０°、θ＝０，４５，９０，１３５，１８０，２２５，２７０，３１５°の場合のレンダリング画像として二次元投影像２４が得られる。
【００５０】
また、同様の手順により、φ＝−４５°、θ＝０，４５，９０，１３５，１８０，２２５，２７０，３１５°の場合のレンダリング画像として二次元投影像２５が得られる。
【００５１】
また、同様の手順により、φ＝−９０°、θ＝０°の場合のレンダリング画像として二次元投影像２６が得られる。
【００５２】
ステップＳ１０６では、ステップＳ１０５で生成した二次元投影像を入力データとして受け取る。ステップＳ１０６は、図１の二次元画像入力部８にて処理される。
【００５３】
ステップＳ１０８では、ステップＳ１０６にて入力された二次元画像から、二次元特徴量を抽出する。ステップＳ１０８は、図１の二次元特徴量抽出部９にて処理される。特徴量としては、二次元画像に対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム等を用いる。これらの特徴量は、さまざまな部位に渡って取り出して、それぞれ別々の特徴量としてもよい。
【００５４】
ステップＳ１０９では、ステップＳ１０４にて抽出した三次元特徴量およびステップＳ１０８にて抽出した二次元特徴量を図１の特徴量データベース３に登録する。なお、この際、対象となった三次元モデルデータ１０２へのリンク情報も併せて登録する。
【００５５】
次に、検索部２における操作手順を図５を参照して説明する。ステップＳ２０１では、使用者が検索したいと考えているインテリアアイテムを二次元画像データ２１１として入力する。ステップＳ２０１は、図１の二次元画像入力部１０にて処理される。ステップＳ２０１で入力する二次元画像データ２１１は、二次元画像入力部１０が提供するイラスト入力機能を利用して、マウスやペンタブレット等で使用者が作成するものである。入力する二次元画像データ２１１は複数であってもよい。
【００５６】
ステップＳ２０２では、検索キーとなる二次元画像もしくは三次元モデルを使用者が指定する。ステップＳ２０２は、図１の検索キー指定部１１にて処理される。初回の検索では、二次元画像のみが入力された状態になっているので、ステップＳ２０３が指定する検索キーはステップＳ２０１で入力した二次元画像データ２１１となる。
【００５７】
ステップＳ２０３では、検索キーに三次元画像が含まれているか否かを判断する。ステップＳ２０３は、図１の類似検索部１３にて処理される。初回の検索では、二次元画像のみが検索キーとなっているので、ステップＳ２０３からステップＳ２０４へ処理は進む。
【００５８】
ステップＳ２０４では、ステップＳ２０２で指定した検索キーとなる二次元画像から二次元特徴量を抽出する。ステップＳ２０４は、図１の二次元特徴量抽出部１２にて処理される。ステップＳ２０４で行う二次元特徴量の抽出処理は、図２のステップＳ１０８で行う処理と同一である。
【００５９】
ステップＳ２０５では、図１の特徴量データベース３から登録されている特徴量のうち、二次元特徴量のみを読み込む。ステップＳ２０５は、図１の類似検索部１３にて処理される。
【００６０】
ステップＳ２０６では、ステップＳ２０２で指定した検索キーに対応する特徴量を基準として、ステップＳ２０５またはステップＳ２１０で読み込んだ特徴量の類似度を算出する。ステップＳ２０６は、図１の類似検索部１３にて処理される。
【００６１】
類似度の算出方法には、各特徴量の差分で構成されるｎ次元空間でのユークリッド距離に基づく方法や前記ユークリッド距離を指数化した指標を用いる方法、マハラノビス距離に基づく方法等様々な手法が提案されている。
【００６２】
本実施の形態では、各特徴量の差分で構成されるｎ次元空間でのユークリッド距離に基づく類似度の算出方法を採用する。ユークリッド距離が小さい程、類似度は高くなる。
【００６３】
初回の検索では、ステップＳ２０５を経由した処理フローであるので、二次元画像特徴量を対象とした類似検索の処理を説明する。
【００６４】
なお、ステップＳ２０２で指定した検索キーとなる二次元画像が二つの場合とする。各画像をｐ１，ｐ２とし、これらから抽出した二次元特徴量をｆｐ１，ｆｐ２とする。ここで、二次元特徴量の項目数をｎとすると、ｆｐ１，ｆｐ２はｎ次元のベクトルとなっている。
【００６５】
ステップＳ２０５で読み込まれた二次元特徴量をｆｑｊｉ（ｉ＝１，…，ｋ：ｊ＝１，…，２６）の２６ｋ個とする。添字ｉは登録されている三次元モデルを指し、添字ｊは一つの三次元モデルから生成する各々の二次元投影像を指す。
【００６６】
なお、ｆｑｊｉ  は検索キーとなる二次元特徴量ｆｐ１，ｆｐ２と同様にｎ次元のベクトルである。
【００６７】
ｆｑｊｉとｆｐ１とから算出したユークリッド距離をｄｐ１ｊｉ（ｉ＝１，…，ｋ：ｊ＝１，…，２６）とし、ｆｑｊｉとｆｐ２とから算出したユークリッド距離をｄｐ２ｊｉ（ｉ＝１，…，ｋ：ｊ＝１，…，２６）とする。
【００６８】
ユークリッド距離の算出は、ｎ次元ベクトルの各要素の差分の二乗和になっている。
【００６９】
登録されている三次元モデルｉに対応するｆｐ１とのユークリッド距離はｄｐ１ｊｉ（ｊ＝１，…，２６）であり、２６通りの数値である。二次元特徴量による類似検索の場合、この２６通りのユークリッド距離の中で、最も小さいものを三次元モデルｉの類似度とする。本実施の形態では、ｊ＝ａのときｄｐ１ｊｉが最小とする。
【００７０】
同様に、三次元モデルｉとｆｐ２との最小ユークリッド距離はｊ＝ｂのときとする。二次元特徴量による類似検索の場合、三次元モデルｉの各検索キーに対する最小ユークリッド距離ｄｐ１ａｉ，ｄｐ２ｂｉから最小のものを三次元モデルｉの最終的な類似度とする。
【００７１】
ステップＳ２０６では、最終的に三次元モデルｉ（ｉ＝１，…，ｋ）を類似度順に並べ替える。
【００７２】
ステップＳ２０７では、ステップＳ２０６で処理した類似検索の結果を類似度の高い順に画面上に表示する。ステップＳ２０７は、図１の検索結果表示部１４にて処理される。
【００７３】
ステップＳ２０８では、検索結果の中から検索キーを追加するか否かを判断する。ステップＳ２０８は、図１の検索結果表示部１４にて処理される。
【００７４】
検索キーを追加しない場合、処理は終了する。検索キーを追加する場合、ステップＳ２０９で、使用者は、検索結果として表示されている三次元モデルの中から、検索したいと考えているアイテムにより近いものをひとつ、または複数選択する。ステップＳ２０９で選択した三次元モデルは、ステップＳ２０２で検索キーとして指定され、再び類似検索処理を行うことになる。
【００７５】
三次元モデルを検索キーとして指定した場合、ステップＳ２０３での判断からステップＳ２１０へと処理が進む。
【００７６】
ステップＳ２１０では、図１の特徴量データベース３から、登録されている特徴量のうち三次元特徴量のみを読み込む。初回の検索時に指定されていた二次元画像に対応する三次元特徴量は存在しないので、二次元画像への処理は省略される。ステップＳ２１０は、図１の類似検索部１３にて処理される。
【００７７】
続くステップＳ２０６での処理は、上述の初回検索と異なり、三次元特徴量を用いた類似検索となる。
【００７８】
ステップＳ２０９で選択し、ステップＳ２０２で指定した検索キーとなる三次元モデルが二つの場合とする。各三次元モデルをｔ１，ｔ２とし、これらから抽出した三次元特徴量をｔｆ１，ｆｔ２とする。ここで、三次元特徴量の項目数をｍとすると、ｔｆ１，ｆｔ２はｍ次元のベクトルとなっている。
【００７９】
ステップＳ２１０で読み込まれた三次元特徴量をｆｕｉ（ｉ＝１，…，ｋ）のｋ個とする。添字ｉは登録されている三次元モデルを指す。なお、ｆｕｉは検索キーとなる二次元特徴量ｔｆ１，ｆｔ２と同様にｍ次元のベクトルである。
【００８０】
ｆｕｉとｆｔ１とから算出したユークリッド距離をｄｔ１ｉ（ｉ＝１，…，ｋ）とし、ｆｕｉとｆｔ２とから算出したユークリッド距離をｄｔ２ｉ（ｉ＝１，…，ｋ）とする。
【００８１】
ユークリッド距離の算出は、ｍ次元ベクトルの各要素の差分の二乗和になっている。
【００８２】
三次元特徴量による類似検索の場合、三次元モデルｉの各検索キーに対する最小ユークリッド距離ｄｔ１ｉ，ｄｔ２ｉの積を三次元モデルｉの最終的な類似度とする。
【００８３】
（効果）
次に、第１実施の形態の効果を説明する。
【００８４】
登録部１において、ステップＳ１０５で三次元モデルから自動的に複数枚の二次元投影像を生成し、ステップＳ１０８でこれらの二次元投影像から特徴量を抽出することにより、検索部４では、ステップＳ２０１で入力する二次元画像とステップＳ１０５で生成した二次元投影像との類似検索が可能となる。
【００８５】
ステップＳ１０５で生成した二次元投影像は、元となる三次元モデルとデータベースにより関連付けられているので、任意の二次元投影像から元となる三次元モデルを指定することができる。
【００８６】
つまり、本実施の形態によれば、二次元画像を検索キーとして三次元モデルを類似検索することが可能となっている。
【００８７】
検索キーとして二次元画像を指定できるので、データベースに登録されている大量の三次元モデルを閲覧して、検索したいと考えているアイテムを探す必要がない。
【００８８】
この結果、使用者は、より簡易な手段で三次元モデルを検索できる。
【００８９】
ステップＳ１０５では、三次元モデルから自動的に複数枚の二次元投影像を生成する。
【００９０】
三次元モデルを二次元に投影する場合、例えば、図３の２２−２６にある投影像のように、同一の三次元モデル２１から得られる投影像は、視点位置によって大きく異なったものになる。
【００９１】
このため、三次元モデル２１から一枚だけ投影像を生成したとしても、ステップＳ２０１で使用者が入力する二次元画像と類似する可能性は低い。
【００９２】
本実施の形態では、三次元モデルの周囲を取り囲むように、２６の視点位置からの投影像を生成している。
【００９３】
この結果、使用者は、検索したいアイテムのイラストを入力する際に、そのイラストが三次元モデルに対してどういった視点位置で描かれているかを気にすることなく、容易に二次元画像から三次元モデルを類似検索できる。
【００９４】
ステップＳ２０６では、二次元特徴量による類似検索の場合、同一の三次元モデルに対応する複数の二次元投影像と検索キーとのユークリッド距離から最も小さいものを、三次元モデルと検索キーとの類似度として選択する。
【００９５】
この結果、使用者が入力した二次元画像が、三次元モデルから生成した二次元投影像のいずれかに類似していれば、類似しない二次元投影像に影響されることなく、入力した二次元画像に類似な三次元モデルを検索することができる。
【００９６】
ステップＳ２０９では、検索結果として表示されている三次元モデルから検索キーとして追加するものを選択することができる。
【００９７】
この結果、これ以降の類似検索では、三次元モデルどうしの類似度算出処理となり、二次元画像をキーとした類似検索と比較して、より高精度な類似検索を行うことができる。
【００９８】
なお、二次元投影像を生成する際の視点位置は、ステップＳ１０５で説明した角度の組み合わせに限定されるものではない。
【００９９】
視点を図３のｒ軸回りに回転させてもよい。
【０１００】
また、ステップＳ１０６は、使用者が別途用意した三次元モデルの二次元画像１０７も入力データとして受けとってもよい。
【０１０１】
この場合、ステップＳ２０６において、三次元モデルに対応する二次元投影像が２７枚に増えるが、処理方法に変更は生じない。
【０１０２】
また、ステップＳ２０１で画像を入力する方法としては、別途作成した画像ファイルを読み込ませる方法であってもよい。
【０１０３】
別途作成される画像ファイルは、イラスト作成アプリケーションで作成したものであってもよいし、デジカメやビデオで撮影した画像であってもよい。
【０１０４】
また、検索対象はインテリアアイテムに限定されるものではなく、あらゆる三次元モデルを含む。
【０１０５】
特徴量データベース３１２に登録されている特徴量データは、正規化されている形態に限定されるものではなく、類似検索実行時に動的に正規化される形態であってもよい。
【０１０６】
［第２実施の形態］
（構成）
図６は、本発明の第２実施の形態に係る三次元インテリアアイテム類似検索システムの構成を示す図であり、登録システム３０２と検索システム３０４を備えている。これら登録システム３０２と検索システム３０４とは、それぞれ原オブジェクトデータベース３１０および特徴量データベース３１２を介して互いに接続されている。原オブジェクトデータベース３１０には、椅子、テーブル等インテリア用品の三次元形状データおよび名称等の属性データが登録されている。特徴量データベース３１２には、原オブジェクトデータベース３１０に登録されている三次元モデルの特徴量が登録されている。なお、登録されている特徴量は、各特徴量のスケールに応じて正規化されている。また、特徴量を抽出した三次元モデルへのリンク情報も併せて登録されている。
【０１０７】
登録システム３０２は、三次元特徴量抽出部３０７と、二次元投影像生成部３０８と、二次元特徴量抽出部３０９とを備えている。三次元特徴量抽出部３０７は、特徴量データベース３１２に接続されている。二次元投影像生成部３０８は、二次元特徴量抽出部３０９に接続されている。二次元特徴量抽出部３０９は、特徴量データベース３１２に接続されている。さらに、三次元特徴量抽出部３０７、二次元投影像生成部３０８、二次元特徴量抽出部３０９には、原オブジェクトデータベース３１０が接続されている。
【０１０８】
また、検索システム３０４は、二次元特徴量抽出部３１５と、類似検索部３１６とを備えている。二次元特徴量抽出部３１５は、類似検索部３１６に接続されている。類似検索部３１６は特徴量データベース３１２に接続されている。二次元特徴量抽出部３１５と、類似検索部３１６には、原オブジェクトデータベース３１０が接続されている。
【０１０９】
登録システム３０２および検索システム３０４は、原オブジェクトデータベース３１０および特徴量データベース３１２を共有している。
【０１１０】
登録システム３０２および検索システム３０４は、Ｊａｖａ２  ＥＥ等の分散ネットワーク技術により、１台もしくは複数台のハードウェアから構成されている。
【０１１１】
なお、本実施形態における登録システム３０２および検索システム３０４は、Ｗｅｂアプリケーションであり、Ｗｅｂサーバ３２１を介して情報の入出力を行う。
【０１１２】
さらに、登録システム３０２は、Ｗｅｂサーバ３２１及びインターネット３２０を介して、検索アイテムとなる商品を登録するクライアントとしてのＷｅｂストアオーナー用Ｗｅｂブラウザ３０１に接続されている。また、検索システム３０４は、Ｗｅｂサーバ３２１及びインターネット３２０を介して、アイテムを検索するクライアントとしてのデザイナー用Ｗｅｂブラウザ３０３に接続されている。
【０１１３】
Ｗｅｂストアオーナー用ブラウザ３０１は、登録する商品の三次元モデルデータを入力するためのユーザインタフェースを実現する三次元モデル入力部３０５および登録する商品を二次元画像として表示する際に使用するサムネイル画像データを入力するためのユーザインタフェースを実現するための二次元画像入力部３０６を含む。
【０１１４】
一方、デザイナー用Ｗｅｂブラウザ３０３は、検索したいアイテムの二次元画像を入力するためのユーザインタフェースを実現する二次元画像入力部３１３、入力された二次元画像や検索結果として表示されたアイテムの一部を検索キーとして指定するためのユーザインタフェースを実現する検索キー指定部３１４および検索システム３０４から送信された検索結果を表示する検索結果表示部３１７を含む。
【０１１５】
（作用）
次に、上記した三次元インテリアアイテム類似検索システムの作用を説明する。Ｗｅｂストアオーナーが店舗の商品を登録する際の処理フローは、第１実施の形態の図２を用いて説明した内容とほぼ同一であるので、本実施の形態では、その違いのみを説明する。
【０１１６】
ステップＳ１０１は、三次元モデル入力部３０５にて処理される。ステップＳ１０４は、三次元特徴量抽出部３０７にて処理される。ステップＳ１０５は、二次元投影像生成部３０８にて処理される。ステップＳ１０６は、二次元画像入力部３０６にて処理される。ステップＳ１０８は、二次元特徴量抽出部３０９にて処理される。
【０１１７】
本実施の形態におけるステップＳ１０６では、Ｗｅｂストアオーナーは、登録する商品を撮影した二次元画像データ１０７を入力する。この二次元画像データ１０７は、商品をデジカメ等で撮影したものである。入力された二次元画像データ１０７は、インターネット３２０を介して登録システム３０２の二次元特徴量抽出部３０９へ送信される。
【０１１８】
本実施の形態におけるステップＳ１０８では、ステップＳ１０１で入力した三次元モデルデータを用いてステップＳ１０５で生成した二次元投影像に加え、ステップＳ１０７で入力した二次元画像からも二次元画像特徴量を抽出する。
【０１１９】
デザイナーが検索システム３０４を利用して、登録されているインテリアアイテムを検索する際の処理フローは、第１実施の形態における図５を用いて説明した内容とほぼ同一であるので、本実施の形態では、その違いのみを説明する。ステップＳ２０１は、二次元画像入力部３１３にて処理される。ステップＳ２０２は、検索キー指定部３１４にて処理される。ステップＳ２０３、ステップＳ２０５、ステップＳ２０６およびステップＳ２１０は類似検索部３１６にて処理される。ステップＳ２０４は、二次元特徴量抽出部３１５にて処理される。ステップＳ２０７およびステップＳ２０９は、検索結果表示部３１７にて処理される。
【０１２０】
本実施の形態におけるステップＳ２０１を処理する二次元画像入力部３１３は、デザイナーがイラストを描くための機能を有していない。ステップＳ２０１では、デザイナーがデジカメ等で撮影した画像や、別のアプリケーションで描いたイラストをファイルとして入力する。
【０１２１】
ステップＳ２０４、ステップＳ２０５、ステップＳ２１０およびステップＳ２０６で行う類似度算出処理は、第１実施の形態と全く同様に行われる。
【０１２２】
ステップＳ２０６で行った類似検索の結果は、インターネットを介して、デザイナー用Ｗｅｂブラウザ３０３の検索結果表示部３１７で表示される。
【０１２３】
（効果）
次に、この発明の実施の形態の効果を説明する。
【０１２４】
登録システム３０２において、ステップＳ１０５で三次元モデルから自動的に複数枚の二次元投影像を生成し、ステップＳ１０８でこれらの二次元投影像から特徴量を抽出することにより、検索システム３０４では、ステップＳ２０１で入力する二次元画像データ２１１とステップＳ１０５で生成した二次元投影像との類似検索が可能となる。
【０１２５】
ステップＳ１０５で生成した二次元投影像は、元となる三次元モデルとデータベースにより関連付けられているので、任意の二次元投影像から元となる三次元モデルを指定することができる。
【０１２６】
つまり、本実施の形態によれば、二次元画像を検索キーとして三次元モデルを類似検索することが可能となっている。
【０１２７】
検索キーとして二次元画像を指定できるので、データベースに登録されている大量の三次元モデルを閲覧して、検索したいと考えているアイテムを探す必要はなく、例えば、検索したと考えているアイテムをデジカメ等で撮影して、他に似ているアイテムが登録されていないか検索することができる。
【０１２８】
この結果、使用者は、より簡易な手段でインターネット上のシステムに登録されている三次元モデルを検索できる。
【０１２９】
ステップＳ２０９では、検索結果として表示されている三次元モデルから検索キーとして追加するものを選択することができる。
【０１３０】
この結果、これ以降の類似検索では、三次元モデルどうしの類似度算出処理となり、二次元画像をキーとした類似検索と比較して、より高精度な類似検索を行うことができる。
【０１３１】
なお、図６のシステムがインターネットを介さず、ＬＡＮ内部もしくは同一ハードウェア内部で接続されていてもよい。
【０１３２】
また、検索対象はインテリアアイテムに限定されるものではなく、あらゆる三次元モデルを含む。
【０１３３】
特徴量データベース３１２に登録されている特徴量データは、正規化されている形態に限定されるものではなく、類似検索実行時に動的に正規化される形態であってもよい。
【０１３４】
また、登録するアイテムは、三次元構造を有する三次元モデルに限定されるものではなく、例えばＱｕｉｃｋ  Ｔｉｍｅ  ＶＲに代表されるような二次元画像を三次元的に配置した擬似三次元的な三次元モデルであってもよい。
【０１３５】
この場合、図６の三次元特徴量抽出部３０７で行う処理は、配置されている各二次元画像に対して、二次元特徴量抽出部３０９で行うのと同様の処理を施すことになる。
【０１３６】
特徴量データベースでは、このように抽出した特徴量を三次元特徴量として扱う。
【０１３７】
［第３の実施の形態］
（構成）
この発明の第３実施の形態は図１のブロック図に示すように構成されるＣＴ／ＭＲＩ診断装置である。
【０１３８】
ここでは、第１の実施の形態との違いのみを説明する。原オブジェクトデータベース２には、過去に撮影された頭部の腫瘍を含むＣＴ／ＭＲＩ三次元データおよび患者のカルテ情報が症例データとして登録されている。
【０１３９】
原オブジェクトデータベース２に登録されたＣＴ／ＭＲＩ三次元データは、３Ｄ  ＣＴまたは／および３Ｄ  ＭＲＩで撮影された三次元データである。
【０１４０】
特徴量データベース３には、原オブジェクトデータベース２に登録されている頭部三次元データの特徴量が登録されている。
【０１４１】
また、特徴量データベース３には、原オブジェクトデータベース２に登録されている症例データへのリンク情報も併せて登録されている。
【０１４２】
二次元投影像生成部７は、本実施の形態では、三次元モデルの二次元断面像を生成する機能を担う。
【０１４３】
二次元画像入力部１０は、本実施の形態では、関心領域設定機能を担う。
【０１４４】
本実施の形態における関心領域設定機能とは、ＣＴ／ＭＲＩのスライス画像に対して、注目する領域を設定し、その領域を切り出す機能である。
【０１４５】
使用者はマウス等の入力装置を用いて、注目する領域の範囲を指定することができる。
【０１４６】
また、画素値の閾値を設定することにより、特定の領域を鮮明にした後、領域の埴を指定してもよい。
【０１４７】
なお、注目する領域は、例えば腫瘍、眼球や視神経等ランドマークとなる内部組織である。
【０１４８】
（作用）
次に、上記したＣＴ／ＭＲＩ診断装置の作用を説明する。まず、登録部１における操作手順を図２を参照して説明する。
【０１４９】
ステップＳ１０１では、撮影したＣＴ／ＭＲＩ三次元モデルデータ１０２を入力する。
【０１５０】
ステップＳ１０４では、ステップＳ１０１で入力されたＣＴ／ＭＲＩ三次元モデルデータ１０２から三次元データとしての特徴量を抽出する。特徴量としては、三次元データの断面テクスチャから算出できる濃淡値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、三次元オブジェクトとしての体積や表面積、腫瘍の位置等を用いる。これらの特徴量は、頭部全体を対象に抽出してもよいし、腫瘍等特定の部位に限定して抽出してもよい。
【０１５１】
ステップＳ１０５では、ステップＳ１０１で入力されたＣＴ／ＭＲＩ三次元モデルデータ１０２から二次元投影像および断面像を生成する。
【０１５２】
図７は、入力されたＣＴ／ＭＲＩ三次元モデルデータ１０２の一例としての頭部三次元ＣＴデータ４００を示している。ステップＳ１０５では、このような頭部三次元ＣＴデータ４００から、第１の実施の形態と同様に投影像を生成する。ステップＳ１０５ではさらに、頭部三次元ＣＴデータ４００から、アキシャル方向の断面図４０１、サジタル方向の断面図４０２、コロナル方向の断面図４０３を生成する。
【０１５３】
図８は、アキシャル方向の断面図４０１の一例としての断面図４０４（図８（ａ））と、サジタル方向の断面図４０２の一例としての断面図４０５（図８（ｃ））と、コロナル方向の断面図４０３の一例としての断面図４０６（図８（ｂ））とを示している。各方向の断面図４０１乃至４０３の断面図間距離は５ｍｍとなっている。
【０１５４】
ステップＳ１０６では、ステップＳ１０５で生成した二次元断面像を入力データとして受け取る。
【０１５５】
ステップＳ１０８では、ステップＳ１０６にて入力された二次元画像から、二次元特徴量を抽出する。特徴量としては、二次元画像から算出できる濃淡値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、関心領域の位置、大きさ等を用いる。これらの特徴量は、画像全体を対象に抽出してもよいし、関心領域に着目して抽出してもよい。
【０１５６】
なお、本実施の形態における関心領域とは、腫瘍やランドマークとなる部位等、使用者が注目し、関心を抱いている領域である。
【０１５７】
次に、検索部２における操作手順を図５を参照して説明する。ステップＳ２０１では、診察対象となっている患者のＣＴ／ＭＲＩのスライス画像を二次元画像データ２１１として入力する。ステップＳ２０１で入力する二次元画像データ２１１は、図１の二次元画像入力部１０が提供する関心領域設定機能を利用し、ＣＴ／ＭＲＩのスライス画像から関心領域を抽出したものである。関心領域は同画像内に複数であってもよい。二次元画像データ２１１はアキシャル断面図、サジタル断面図、コロナル断面図のいずれであってもよい。また、入力する二次元画像データ２１１は複数であってもよい。
【０１５８】
ステップＳ２０４、ステップＳ２０５、ステップＳ２１０およびステップＳ２０６で行う類似度算出処理は、図７の断面図４０１乃至４０３から抽出した二次元特徴量を用いて、第１の実施の形態と同様に行われる。
【０１５９】
ステップＳ２０６で行った類似検索の結果は、図１の検索結果表示部１４で表示される。この検索結果は、診断対象となっている患者のＣＴ／ＭＲＩスライス画像から発見された腫瘍と類似な腫瘍を持つ過去の症例である。
【０１６０】
使用者である医師は、検索結果として表示されている過去の症例を参考に、患者の治療方針を決定する。
【０１６１】
（効果）
次に、この発明の実施の形態の効果を説明する。登録部１において、ステップＳ１０５でＣＴ／ＭＲＩ三次元データから自動的に複数枚の二次元断面像を生成し、ステップＳ１０８でこれらの二次元断面像から特徴量を抽出することにより、検索部４では、ステップＳ２０１で入力するＣＴ／ＭＲＩ二次元スライス画像とステップＳ１０５で生成した二次元断面像との類似検索が可能となる。
【０１６２】
ステップＳ１０５で生成した二次元断面像から抽出した特徴量は、特徴量データベース３に登録したリンク情報により元となるＣＴ／ＭＲＩ三次元データと関連付けられているので、任意の二次元断面像の特徴量データから元となるＣＴ／ＭＲＩ三次元データおよび症例カルテを指定することができる。
【０１６３】
つまり、本実施の形態によれば、二次元画像であるＣＴ／ＭＲＩスライス画像を検索キーとしてＣＴ／ＭＲＩ三次元データを類似検索することが可能となっている。
【０１６４】
検索キーとしてＣＴ／ＭＲＩ二次元スライス画像を指定できるので、データベースに登録されている大量のＣＴ／ＭＲＩ三次元データを閲覧して、診察対象となっている患者に類似な症例データを探す必要がない。
【０１６５】
この結果、使用者は、より簡易な手段で診察対象となっている患者に類似なＣＴ／ＭＲＩ三次元データおよび症例データを検索できる。
【０１６６】
ステップＳ１０５では、ＣＴ／ＭＲＩ三次元データから自動的に複数枚の二次元断面像を生成する。
【０１６７】
ＣＴ／ＭＲＩ三次元データを二次元断面像として切り出す場合、例えば、図８の４０４乃至４０６にある断面像のように、同一のＣＴ／ＭＲＩ三次元データ４００から得られる断面像は、切り出し位置および方向によって大きく異なったものとなる。
【０１６８】
このため、ＣＴ／ＭＲＩ三次元データ４００から一枚だけ断面像を生成したとしても、ステップＳ２０１で使用者が入力するＣＴ／ＭＲＩスライス画像と類似する可能性は低い。
【０１６９】
本実施の形態では、ＣＴ／ＭＲＩ三次元データの三方向から、５ｍｍピッチで断面像を生成している。
【０１７０】
この結果、使用者は、患者のＣＴ／ＭＲＩスライス画像を入力する際に、そのスライス画像がアキシャル、サジタル、コロナルのどの方向で撮影されているかを気にすることなく、容易にＣＴ／ＭＲＩスライス画像からＣＴ／ＭＲＩ三次元データを類似検索でき、患者と類似な症例を容易に得られる。
【０１７１】
なお、原オブジェクトデータベース２に登録されたＣＴ／ＭＲＩ三次元データは、ＣＴまたは／およびＭＲＩで撮影された二次元データを積層して作成した三次元データであってもよい。
【０１７２】
また、アキシャル、コロナル、サジタルの各方面から撮影した二次元データを複合して作成した三次元データであってもよい。
【０１７３】
ＣＴ／ＭＲＩ三次元データ４００から切り出す断面像４０１乃至４０３は、アキシャル、サジタル、コロナルの方向に限定されるものではなく、例えば、ＣＴ／ＭＲＩ三次元データ４００の中心を通る任意の断面であってもよい。
【０１７４】
また、任意の回転軸を通る複数方向の断面であってもよい。
【０１７５】
また、手術時の視線方向を基準とし、この視線方向に垂直な平面と、視線方向を交線とする二つの平面であってもよい。
【０１７６】
また、断面を生成する方向は、３方向に限定されるものではなく、１方向のみであってもよいし、複数であってもよい。
【０１７７】
また、例えば、切り出した断面を一次変換し、超音波診断装置から得られる画像のように変形させてもよい。
【０１７８】
また、断面像の間隔は５ｍｍに限定されるものではなく、使用者が自由に設定することができる。
【０１７９】
この間隔は、登録するＣＴ／ＭＲＩ三次元データ毎に異なっていてもよい。
【０１８０】
特徴量データベース３１２に登録されている特徴量データは、正規化されている形態に限定されるものではなく、類似検索実行時に動的に正規化される形態であってもよい。
【０１８１】
登録する三次元データはＣＴまたは／およびＭＲＩから得られるものに限定されず、例えば超音波診断装置から得られる画像をもとに作成した三次元データであってもよい。
【０１８２】
同様に検索キーとして入力する二次元画像もＣＴまたは／およびＭＲＩから得られるものに限定されず、例えば超音波診断装置から得られる二次元画像であってもよい。
【０１８３】
なお、上記した実施形態において、三次元あるいは二次元特徴量の抽出は、その時点で計算処理により特徴量を算出することと、予め計算済みの特徴量を所定の記憶手段に記憶しておき、必要に応じてここから読み出すこと、の両方を含むものとする。
【０１８４】
（付記）
上記した具体的な実施形態から以下のような構成（１）〜（１２）の発明を抽出することができる。
【０１８５】
（１）  三次元モデルの特徴量を用いて類似な三次元モデルを検索する方法において、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成工程と、
前記検索対象画像生成工程で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出工程と、
検索キーとなる二次元画像を入力する検索キー入力工程と、
前記検索キー入力工程で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出工程と、
前記第１の特徴量抽出工程で抽出した特徴量と前記第２の特徴量抽出工程で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索工程と、
を有することを特徴とする三次元モデル検索方法。
【０１８６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０１８７】
構成中の「検索の対象となる三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する工程」は、第１および第２および第３の実施の形態では、図２のステップＳ１０５が該当する。このステップＳ１０５の具体的な例は、図３及び図４を参照して説明されている。
【０１８８】
構成中の「複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する工程」は、第１および第２および第３の実施の形態では、図２のステップＳ１０８が該当する。
【０１８９】
構成中の「検索キーとなる二次元画像を入力する工程」は、第１および第２および第３の実施の形態では、図５のステップＳ２０１が該当する。
【０１９０】
構成中の「検索キーとなる二次元画像から特徴量を抽出する工程」は、第１および第２および第３の実施の形態では、図５のステップＳ２０４が該当する。
【０１９１】
構成中の「類似検索を行い、検索キーに類似する三次元モデルを出力する工程」は、第１および第２および第３の実施の形態では、図５のステップＳ２０６が該当するが、具体的な類似度計算手法は、これらの実施の形態で述べた、各特徴量の差分で構成されるｎ次元空間でのユークリッド距離に基づく類似度の算出方法に限定されるものではなく、マハラノビス距離を用いる計算手法等、一般によく知られた他の計算手法も含む。
【０１９２】
なお、構成中の用語「三次元モデル」は、ＣＡＤで生成された三次元幾何データおよび三次元位相データを含む。
【０１９３】
また、シルエット法やスリット法等一般に良く知られた手法で三次元計測することにより生成される三次元ポリゴンデータをも含む。
【０１９４】
また、ＣＴやＭＲＩ等のデータから生成するボクセルデータをも含む。
【０１９５】
また、Ｑｕｉｃｋ  Ｔｉｍｅ  ＶＲに代表される二次元画像を三次元的な視点位置に応じて表現する擬似三次元データをも含む。
【０１９６】
（作用）
本発明は、三次元モデルを蓄積したデータベースに対して、二次元画像の特徴量を利用した類似検索を行う。
【０１９７】
「検索の対象となる三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する工程」について説明する。
【０１９８】
三次元モデルの像（ここでは投影像または／および断面像として説明する）は、三次元モデルと視点との位置姿勢関係または／および三次元モデルの切断位置と姿勢によって、大きく異なる。
【０１９９】
例えば、同一の三次元モデルの投影像であっても、三次元モデルの正面の投影像と側面の投影像と上面の投影像とでは、画像として大きく異なったものとなる。
【０２００】
また、同一の三次元モデルの断面像であっても、アキシャル方向の断面像とコロナル方向の断面像とサジタル方向の断面像とでは、画像として大きく異なったものとなる。
【０２０１】
本発明では、登録する三次元モデルから二次元投影像または／および断面像を生成する工程において、複数の投影像または／および断面像を生成するので、検索をする際に、使用者がある一方向から見た場合の二次元画像または／およびある一方向の断面像を検索キーとして入力したとしても、該二次元画像が三次元モデルから生成した二次元投影像または／および断面像と類似な画像になる可能性が高くなる。
【０２０２】
このため、検索キーとして入力する二次元画像が少ない場合であっても、類似な三次元モデルを検索することができる。
【０２０３】
ところで、「検索の対象となる三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する工程」は、類似検索を行う時点で作用する場合と、三次元モデルを登録する時点で作用する場合とがある。
【０２０４】
「複数の二次元画像を生成する工程」が類似検索を行う時点で作用する場合、三次元モデルを登録する際には、三次元モデルを登録するのみであって、類似検索の要求があった時点で、検索対象となる三次元モデルを読み込み、複数の二次元画像を生成し、該二次元画像からそれぞれの特徴量を抽出する。
【０２０５】
また、「複数の二次元画像を生成する工程」が三次元モデルを登録する時点で作用する場合、「複数の二次元画像からそれぞれの特徴量を抽出する工程」は、類似検索を行う時点で作用する場合と、三次元モデルを登録する時点で作用する場合とがある。
【０２０６】
「複数の二次元画像からそれぞれの特徴量を抽出する工程」が類似検索を行う時点で作用する場合、三次元モデルを登録する際には、三次元モデルおよび該三次元モデルに対応する二次元画像を登録し、類似検索の要求があった時点で、検索対象となる三次元モデルに対応する二次元画像を読み込み、該二次元画像から特徴量を抽出する。
【０２０７】
また、「複数の二次元画像からそれぞれの特徴量を抽出する工程」が三次元モデルを登録する時点で作用する場合、三次元モデルを登録する際に、複数の二次元画像の生成および該二次元画像の特徴量の抽出が行われ、類似検索を行う際には、検索対象となる三次元モデルに対応する二次元画像の特徴量を読み出す。
【０２０８】
なお、この場合、三次元モデルに対応する二次元画像は登録しなくてもよい。
【０２０９】
即ち、本発明の作用には、検索要求の度に複数の二次元画像の生成または／および該二次元画像から特徴量の抽出を行う形態と、三次元モデルを登録する際に該複数の二次元画像の生成または／および該二次元画像から特徴量の抽出を行う形態とがあり、（１）に記載の三次元モデル検索方法は、この両方の場合を含む。
【０２１０】
（効果）
従来、データベースに蓄積された検索対象に対する検索キーは、少なくとも検索対象のモデルデータそのもの以外から設定されることはなかった。
【０２１１】
また、三次元モデルと該三次元モデルから派生させた二次元モデルでは、同一のモデルを表しているにもかかわらず、各々が保有する特徴量的情報が異なる。
【０２１２】
よって、三次元モデルを検索する際には、検索キーにも三次元モデルを設定することしか考案されていなかった。
【０２１３】
従って、使用者が検索したいと考える形状を三次元モデルとしてシステムへ入力するためには、ＣＡＤ等の三次元モデリングアプリケーションを利用して三次元モデルを作成する、もしくは三次元スキャナー等の機器を用いて既存の三次元物体をデータとして取り込み三次元モデルを作成する、というような手段を取らざるを得ない。
【０２１４】
そのため、三次元モデル作成アプリケーションを利用したとしても、この種のアプリケーションで三次元モデルを作成するには操作に熟練を要するため、検索キーとなる三次元モデルを用意することは容易ではない。
【０２１５】
また、例えば、三次元スキャナーを用いて既存の三次元物体をデータとして取り込むとしても、三次元スキャナーを用意することは容易ではなく、また、三次元スキャナーで取り込んだ情報を三次元データとして再構築することも容易ではない。
【０２１６】
本発明では、使用者が検索したいと考えている形状情報を二次元画像として入力し、該二次元画像を検索キーとした三次元モデル類似検索を行うことができるため、使用者は容易に検索キーとなるデータを用意し、三次元モデルを検索することができる。
【０２１７】
即ち、使用者自身が検索キーデータを用意することが容易で、検索対象を一覧することなく検索を行えるため、実利ある検索環境を提供できる。
【０２１８】
（２）  前記検索対象画像生成工程で生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像であることを特徴とする（１）に記載の三次元モデル検索方法。
【０２１９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２２０】
構成中の「三次元モデルに対応する二次元投影像または／および断面像を生成する工程」は、第１および第２および第３の実施の形態では、図２のステップＳ１０５が該当する。
【０２２１】
構成中の用語「二次元投影像」は、三次元モデルをある視点から見える二次元画像としてレンダリングし、生成する画像を含む。
【０２２２】
また、三次元モデルを任意の視野座標変換行列により二次元情報へ変換した画像および該画像から任意部分を切り出した画像をも含む。
【０２２３】
構成中の用語「断面像」は、三次元モデルをある位置姿勢で切断した際の断面を表わす二次元画像であり、ポリゴンで表現される三次元モデルを切断したもの、およびボクセルで表現される三次元モデルを切断したものを含む。
【０２２４】
また、三次元モデルを切断した際の断面を表す二次元画像を、さらに一次変換した画像をも含む。
【０２２５】
（作用効果）
本発明では、三次元画像から二次元投影像または／および断面像を生成するため、登録する三次元モデルを表現する二次元画像を別途する必要が無くなる。
【０２２６】
この結果、三次元モデルだけの登録で、二次元画像を検索キーとした三次元モデル検索を行うことができる。
【０２２７】
（３）  前記二次元投影像または／および断面像は、テクスチャ情報を有することを特徴とする（２）に記載の三次元モデル検索方法。
【０２２８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第３の実施の形態が対応する。
【０２２９】
構成中の「二次元投影像または／および断面像」は、第３の実施の形態では、図７の断面像４０１乃至４０３および図８の断面像４０４乃至４０６が該当する。
【０２３０】
構成中の用語「テクスチャ情報」は、二次元投影像および断面像が持つ濃淡値を量子化したヒストグラムおよびエッジ微分を量子化した形状ヒストグラムを含む。
【０２３１】
（作用効果）
本発明では、登録する三次元モデルから生成した断面像がテクスチャ情報を有しているので、濃淡値の変化等を特徴量として用いることができる。
【０２３２】
この結果、より多くの特徴量を二次元画像である断面像から得られるため、二次元画像を検索キーとした高精度な三次元モデル検索を行うことができる。
【０２３３】
（４）  検索の対象となる前記三次元モデルと、前記第１の特徴量抽出工程で抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出工程で抽出した特徴量との対応を表す対応情報と、を併せて記憶する記憶工程をさらに有することを特徴とする（１）に記載の三次元モデル検索方法。
【０２３４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２３５】
構成中の「記憶工程」は、第１および第２および第３の実施の形態では、図２のステップＳ１０３およびステップＳ１０９が該当する。
【０２３６】
構成中の用語「対応情報」は、複数の情報の集合がある場合に、このうちのひとつを特定すると、他の情報をも特定可能な情報で、例えばＸＭＬのＸＬｉｎｋまたは／およびＸＰａｔｈとして表現されるものを含む。
【０２３７】
（作用効果）
本発明では、検索キーとなる二次元画像から抽出した特徴量と、検索対象となる三次元モデルに対応する二次元画像から抽出した特徴量とから類似検索を行っても、検索結果として得られる特徴量から対応する二次元画像または／および三次元モデルを特定することができる。
【０２３８】
この結果、二次元画像を検索キーとした類似検索であっても、検索結果として三次元モデルを得ることができる。
【０２３９】
（５）  検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出工程と、
前記類似検索工程の検索結果として出力された三次元モデルの三次元特徴量を検索キーとして選択し、前記三次元特徴量抽出工程で抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索工程と、
をさらに有することを特徴とする（１）に記載の三次元モデル検索方法。
【０２４０】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２４１】
構成中の「出力された三次元モデルの三次元特徴量を検索キーとして選択する工程」は、第１および第２および第３の実施の形態では、図５のステップＳ２０９が該当する。
【０２４２】
（作用効果）
二次元投影像は三次元モデルの一面的な描画形態にすぎない。また、同様に断面像は三次元モデルの一面的な切断面描画形態にすぎない。このため、三次元モデルの二次元投影像または／および断面像から抽出できる特徴量と三次元モデル自身から抽出できる特徴量とを比較すると、後者の方が情報量として多い。つまり、二次元画像を比較するよりも、三次元モデルを比較した方が、より高精度な検索となる。
【０２４３】
本発明では、検索結果として出力される三次元モデルを検索キーとして再指定できる。検索を繰り返して、結果を絞り込む場合、初回の検索が二次元画像をキーとした検索であっても、２回目以降の検索では、前回の結果をもとに、検索キーとして三次元モデルを指定することができる。
【０２４４】
この結果、使用者は、使用者の意思を反映した、より高精度な検索を行うことができる。
【０２４５】
（６）  三次元モデルの特徴量を用いて類似な三次元モデルを検索する三次元モデル検索装置において、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成手段と、
前記検索対象画像生成手段で生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出手段と、
検索キーとなる二次元画像を入力する検索キー入力手段と、
前記検索キー入力手段で入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出手段と、
前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索手段と、
を有することを特徴とする三次元モデル検索装置。
【０２４６】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２４７】
構成中の「検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する手段」は、第１および第３の実施の形態では、図１の二次元投影像生成部７が該当し、第２の実施の形態では、図６の二次元投影像生成部３０８が該当する。二次元投影像生成の具体的な例は、図３及び図４を参照して説明されている。
【０２４８】
構成中の「複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する手段」は、第１および第３の実施の形態では、図１の二次元特徴量抽出部９が該当し、第２の実施の形態では、図６の二次元特徴量抽出部３０９が該当する。
【０２４９】
構成中の「検索キーとなる二次元画像を入力する手段」は、第１および第３の実施の形態では、図１の二次元画像入力部１０および検索キー指定部１１が該当し、第２の実施の形態では、図６の二次元画像入力部３１３および検索キー指定部３１４が該当する。
【０２５０】
構成中の「検索キーとなる二次元画像から特徴量を抽出する手段」は、第１および第３の実施の形態では、図１の二次元特徴量抽出部１２が該当し、第２の実施の形態では、図６の二次元特徴量抽出部３１５が該当する。
【０２５１】
構成中の「類似検索を行う手段」は、第１および第３の実施の形態では、図１の類似検索部１３が該当し、第２の実施の形態では、図６の類似検索部３１６が該当するが、具体的な類似度計算手法は、これらの実施の形態で述べた、各特徴量の差分で構成されるｎ次元空間でのユークリッド距離に基づく類似度の算出方法に限定されるものではなく、マハラノビス距離を用いる計算手法等、一般によく知られた他の計算手法も含む。
【０２５２】
構成中の用語「三次元モデル」は、ＣＡＤで生成された三次元幾何データおよび三次元位相データを含む。
【０２５３】
また、シルエット法やスリット法等一般に良く知られた手法で三次元計測することにより生成される三次元ポリゴンデータをも含む。
【０２５４】
また、ＣＴやＭＲＩ等のデータから生成するボクセルデータをも含む。
【０２５５】
また、Ｑｕｉｃｋ  Ｔｉｍｅ  ＶＲに代表される二次元画像を三次元的な視点位置に応じて表現する擬似三次元データをも含む。
【０２５６】
（作用）
本発明は、三次元モデルを蓄積したデータベースに対して、二次元画像の特徴量を利用した類似検索を行う。
【０２５７】
「検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する手段」について説明する。
【０２５８】
三次元モデルの像（ここでは投影像または／および断面像として説明する）は、三次元モデルと視点との位置姿勢関係または／および三次元モデルの切断位置と姿勢によって、大きく異なる。
【０２５９】
例えば、同一の三次元モデルの投影像であっても、三次元モデルの正面の投影像と側面の投影像と上面の投影像とでは、画像として大きく異なったものとなる。
【０２６０】
また、同一の三次元モデルの断面像であっても、アキシャル方向の断面像とコロナル方向の断面像とサジタル方向の断面像とでは、画像として大きく異なったものとなる。
【０２６１】
本発明では、登録する三次元モデルから二次元投影像または／および断面像を生成する手段において、複数の投影像または／および断面像を生成するので、検索をする際に、使用者がある一方向から見た場合の二次元画像または／およびある一方向の断面像を検索キーとして入力したとしても、該二次元画像が三次元モデルから生成した二次元投影像または／および断面像と類似な画像になる可能性が高くなる。
【０２６２】
このため、検索キーとして入力する二次元画像が少ない場合であっても、類似な三次元モデルを検索することができる。
【０２６３】
ところで、「検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する手段」は、類似検索を行う時点で作用する場合と、三次元モデルを登録する時点で作用する場合とがある。
【０２６４】
「複数の二次元画像を生成する手段」が類似検索を行う時点で作用する場合、三次元モデルを登録する際には、三次元モデルを登録するのみであって、類似検索の要求があった時点で、検索対象となる三次元モデルを読み込み、対応する二次元画像を入力し、該二次元画像から特徴量を抽出する。
【０２６５】
また、「複数の二次元画像を生成する手段」が三次元モデルを登録する時点で作用する場合、「複数の二次元画像からそれぞれの特徴量を抽出する手段」は、類似検索を行う時点で作用する場合と、三次元モデルを登録する時点で作用する場合とがある。
【０２６６】
「複数の二次元画像からそれぞれの特徴量を抽出する手段」が類似検索を行う時点で作用する場合、三次元モデルを登録する際には、三次元モデルおよび該三次元モデルに対応する二次元画像を登録し、類似検索の要求があった時点で、検索対象となる三次元モデルに対応する二次元画像を読み込み、該二次元画像から特徴量を抽出する。
【０２６７】
また、「複数の二次元画像からそれぞれの特徴量を抽出する手段」が三次元モデルを登録する時点で作用する場合、三次元モデルを登録する際に、該三次元モデルに対応する二次元画像の入力および該二次元画像の特徴量の抽出が行われ、類似検索を行う際には、検索対象となる三次元モデルに対応する二次元画像の特徴量を読み出す。
【０２６８】
なお、この場合、三次元モデルに対応する二次元画像は登録しなくてもよい。
【０２６９】
即ち、本発明の作用には、検索要求の度に三次元モデルに対応する二次元画像の入力または／および該二次元画像から特徴量の抽出を行う形態と、三次元モデルを登録する際に該三次元モデルに対応する二次元画像の入力または／および該二次元画像から特徴量の抽出を行う形態とがあり、（６）に記載の三次元モデル検索装置は、この両方の場合を含む。
【０２７０】
（効果）
従来、データベースに蓄積された検索対象に対する検索キーは、少なくとも検索対象のモデルデータそのもの以外から設定されることはなかった。
【０２７１】
また、三次元モデルと該三次元モデルから派生させた二次元モデルでは、同一のモデルを表しているにもかかわらず、各々が保有する特徴量的情報が異なる。
【０２７２】
よって、三次元モデルを検索する際には、検索キーにも三次元モデルを設定することしか考案されていなかった。
【０２７３】
従って、使用者が検索したいと考える形状を三次元モデルとしてシステムへ入力するためには、ＣＡＤ等の三次元モデリングアプリケーションを利用して三次元モデルを作成する、もしくは三次元スキャナー等の機器を用いて既存の三次元物体をデータとして取り込み三次元モデルを作成する、というような手段を取らざるを得ない。
【０２７４】
そのため、三次元モデル作成アプリケーションを利用したとしても、この種のアプリケーションで三次元モデルを作成するには操作に熟練を要するため、検索キーとなる三次元モデルを用意することは容易ではない。
【０２７５】
また、例えば、三次元スキャナーを用いて既存の三次元物体をデータとして取り込むとしても、三次元スキャナーを用意することは容易ではなく、また、三次元スキャナーで取り込んだ情報を三次元データとして再構築することも容易ではない。
【０２７６】
本発明では、使用者が検索したいと考えている形状情報を二次元画像として入力し、該二次元画像を検索キーとした三次元モデル類似検索を行うことができるため、使用者は容易に検索キーとなるデータを用意し、三次元モデルを検索することができる。
【０２７７】
即ち、使用者自身が検索キーデータを用意することが容易で、検索対象を一覧することなく検索を行えるため、実利ある検索環境を提供できる。
【０２７８】
（７）  前記検索対象画像生成手段により生成される二次元画像は、前記三次元モデルに対応する二次元投影像または／および断面像であることを特徴とする（６）に記載の三次元モデル検索装置。
【０２７９】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２８０】
構成中の「三次元モデルに対応する二次元投影像を生成する手段」は、第１および第３の実施の形態では、図１の二次元投影像生成部７が該当し、第２の実施の形態では、図６の二次元投影像生成部３０８が該当する。
【０２８１】
構成中の用語「二次元投影像」は、三次元モデルをある視点から見える二次元画像としてレンダリングし、生成する画像を含む。
【０２８２】
また、三次元モデルを任意の視野座標変換行列により二次元情報へ変換した画像および該画像から任意部分を切り出した画像をも含む。
【０２８３】
構成中の用語「断面像」は、三次元モデルをある位置姿勢で切断した際の断面を表わす二次元画像であり、ポリゴンで表現される三次元モデルを切断したもの、およびボクセルで表現される三次元モデルを切断したものを含む。
【０２８４】
また、三次元モデルを切断した際の断面を表す二次元画像を、さらに一次変換した画像をも含む。
【０２８５】
（作用効果）
本発明では、三次元画像から二次元投影像を生成するため、登録する三次元モデルを表現する二次元画像を別途する必要が無くなる。
【０２８６】
この結果、三次元モデルだけの登録で、二次元画像を検索キーとした三次元モデル検索を行うことができる。
【０２８７】
（８）  前記二次元投影像または／および断面像は、テクスチャ情報を有することを特徴とする（７）に記載の三次元モデル検索装置。
【０２８８】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第３の実施の形態が対応する。
【０２８９】
構成中の「二次元投影像または／および断面像」は、第３の実施の形態では、図７の断面像４０１乃至４０３および図８の断面像４０４乃至４０６が該当する。
【０２９０】
構成中の用語「テクスチャ情報」は、二次元投影像および断面像が持つ濃淡値を量子化したヒストグラムおよびエッジ微分を量子化した形状ヒストグラムを含む。
【０２９１】
（作用効果）
本発明では、登録する三次元モデルから生成した断面像がテクスチャ情報を有しているので、濃淡値の変化等を特徴量として用いることができる。
【０２９２】
この結果、より多くの特徴量を二次元画像である断面像から得られるため、二次元画像を検索キーとした高精度な三次元モデル検索を行うことができる。
【０２９３】
（９）  検索の対象となる前記三次元モデルと、前記第１の特徴量抽出手段により抽出された特徴量と、前記三次元モデルと前記第１の特徴量抽出手段により抽出された特徴量との対応を表す対応情報と、を併せて記憶する記憶手段をさらに有することを特徴とする（６）に記載の三次元モデル検索装置。
【０２９４】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０２９５】
構成中の「記憶手段」は、第１および第３の実施の形態では、図１の原オブジェクトデータベース２および特徴量データベース３が該当する。
【０２９６】
構成中の用語「対応情報」は、複数の情報の集合がある場合に、このうちのひとつを特定すると、他の情報をも特定可能な情報で、例えばＸＭＬのＸＬｉｎｋまたは／およびＸＰａｔｈとして表現されるものを含む。
【０２９７】
（作用効果）
本発明では、検索キーとなる二次元画像から抽出した特徴量と、検索対象となる三次元モデルに対応する二次元画像から抽出した特徴量とから類似検索を行っても、検索結果として得られる特徴量から対応する二次元画像または／および三次元モデルを特定することができる。
【０２９８】
この結果、二次元画像を検索キーとした類似検索であっても、検索結果として三次元モデルを得ることができる。
【０２９９】
（１０）  検索の対象となる前記三次元モデルから三次元特徴量を抽出する三次元特徴量抽出手段と、
前記類似検索手段による検索結果として出力された三次元モデルの三次元特徴量を検索キーとして選択し、前記三次元特徴量抽出手段により抽出された各三次元モデルの三次元特徴量について検索し、前記検索キーに類似する三次元特徴量をもつ三次元モデルを出力する第２の類似検索手段と、
をさらに有することを特徴とする（６）に記載の三次元モデル検索装置。
【０３００】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第１および第２および第３の実施の形態が対応する。
【０３０１】
構成中の「出力された三次元モデルの三次元特徴量を検索キーとして選択する手段」は、第１および第３の実施の形態では、図１の検索結果表示部１４および検索キー指定部１１が該当し、第２の実施の形態では、図６の検索結果表示部３１７および検索キー指定部３１４が該当する。
【０３０２】
（作用効果）
二次元投影像は三次元モデルの一面的な描画形態にすぎない。
【０３０３】
また、同様に断面像は三次元モデルの一面的な切断面描画形態にすぎない。
【０３０４】
このため、三次元モデルの二次元投影像または／および断面像から抽出できる特徴量と三次元モデル自身から抽出できる特徴量とを比較すると、後者の方が情報量として多い。
【０３０５】
つまり、二次元画像を比較するよりも、三次元モデルを比較した方が、より高精度な検索となる。
【０３０６】
本発明では、検索結果として出力される三次元モデルを検索キーとして再指定できる。
【０３０７】
検索を繰り返して、結果を絞り込む場合、初回の検索が二次元画像をキーとした検索であっても、２回目以降の検索では、前回の結果をもとに、検索キーとして三次元モデルを指定することができる。
【０３０８】
この結果、使用者は、使用者の意思を反映した、より高精度な検索を行うことができる。
【０３０９】
（１１）  コンピュータに、三次元モデルの特徴量を算出させ、この特徴量を用いて類似な三次元モデルを検索させるにあたって、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像を生成する検索対象画像生成機能と、
前記検索対象画像生成機能により生成された複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する第１の特徴量抽出機能と、
検索キーとなる二次元画像を入力する検索キー入力機能と、
前記検索キー入力機能により入力された検索キーとなる二次元画像から特徴量を抽出する第２の特徴量抽出機能と、
前記第１の特徴量抽出機能により抽出した特徴量と前記第２の特徴量抽出機能により抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルを出力する類似検索機能と、
を実現させることを特徴とする三次元モデル検索プログラム。
【０３１０】
（１１）の（対応する発明の実施の形態）及び（作用効果）は（１）と同様である。
【０３１１】
（１２）  三次元モデルの特徴量を算出し、この特徴量を用いて類似な三次元モデルを検索する三次元モデル検索システムにおいて、
検索の対象となる前記三次元モデルを互いに異なる視点から見た複数の二次元画像から当該二次元画像それぞれの特徴量を抽出する特徴量抽出手段と、
ネットワークを介してクライアントから送信された検索キーとなる二次元画像を受信し、当該二次元画像の特徴量を抽出する第２の特徴量抽出手段と、
前記第１の特徴量抽出手段で抽出した特徴量と前記第２の特徴量抽出手段で抽出した特徴量とを用いて類似検索を行い、前記検索キーに類似する三次元モデルの情報を、ネットワークを介してクライアントに送信する類似検索手段と、
を有することを特徴とする三次元モデル検索システム。
【０３１２】
（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。
【０３１３】
構成中のネットワークは、図６のインターネットが該当するが、ＬＡＮや専用回線によるネットワーク形成をも含む。
【０３１４】
（作用効果）
本発明では、検索機能の利用者環境と類似検索を行う装置とがネットワークを介して存在するので、利用者が三次元モデル検索装置を用意することなく、機能のみを簡易に利用することができる。
【０３１５】
また、三次元検索装置を複数の利用者間で共有して、検索機能を利用することができる。
【０３１６】
【発明の効果】
本発明によれば、二次元画像を検索キーとした三次元モデル類似検索を行うことができるため、使用者は容易に検索キーとなるデータを用意し、三次元モデルを検索することができる。
【図面の簡単な説明】
【図１】本発明の第１実施の形態に係る三次元インテリアアイテム類似検索システムの構成を示す図である。
【図２】登録部１における操作手順を説明するためのフローチャートである。
【図３】入力された三次元モデルデータ１０２の一例を示す図である。
【図４】ステップＳ１０５での処理により生成された二次元投影像２２−２６を示す図である。
【図５】検索部２における操作手順を説明するためのフローチャートである。
【図６】本発明の第２実施の形態に係る三次元インテリアアイテム類似検索システムの構成を示す図である。
【図７】本発明の第３実施の形態において、入力されたＣＴ／ＭＲＩ三次元モデルデータ１０２の一例としての頭部三次元ＣＴデータ４００を示す図である。
【図８】アキシャル方向の断面図４０１の一例としての断面図４０４（図８（ａ））と、サジタル方向の断面図４０２の一例としての断面図４０５（図８（ｂ））と、コロナル方向の断面図４０３の一例としての断面図４０６（図８（ｃ））とを示す写真である。
【符号の説明】
１  登録部
２  原オブジェクトデータベース
３  特徴量データベース
４  検索部
５  三次元モデル入力部
６  三次元特徴量抽出部
７  二次元投影像生成部
８  二次元画像入力部
９  二次元特徴量抽出部
１０  二次元画像入力部
１１  検索キー指定部
１２  二次元特徴量抽出部
１３  類似検索部
１４  検索結果表示部
【図１】
2004164503.tif 000003
【図２】
2004164503.tif 000004
【図３】
2004164503.tif 000005
【図４】
2004164503.tif 000006
【図５】
2004164503.tif 000007
【図６】
2004164503.tif 000008
【図７】
2004164503.tif 000009
【図８】
2004164503.tif 000010