(57)【要約】【課題】二次元画像からコンピュ−タ上の三次元デ−タを簡単に生成することができるようにする。【解決手段】データ生成装置１の画像処理部６は、記憶部２と、二次元画像に対して、区画空間座標系、仮想空間座標系及びスクリ−ン座標系をそれぞれ設定する座標系設定部６０と、区画空間座標系から仮想空間座標系への座標変換式を設定する第１座標変換式設定部６２と、仮想空間座標系からスクリ−ン座標系への座標変換式を設定する第２座標変換式設定部６４と、基準長方形設定部６６と、各座標変換式と基準長方形の座標等とから、各座標変換式の係数を演算する係数演算部６８と、各座標変換式の係数に基づいて、二次元画像の三次元データを生成するデータ生成部７０とを含む。【選択図】図１
2004280196.tif 000002
【特許請求の範囲】
【請求項１】
相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成装置であって、
前記二次元画像が入力する画像入力手段と、
前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定手段と、
前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定手段と、
前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定手段と、
前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定手段と、
前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算手段と、
前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元画像データを生成するデータ生成手段と、を含むことを特徴とするデータ生成装置。
【請求項２】
前記区画空間の複数の二次元画像に基づき、前記データ生成手段でそれぞれ生成される複数の三次元画像データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成手段とを含むことを特徴とする請求項１記載のデータ生成装置。
【請求項３】
相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成方法であって、
前記二次元画像が入力する画像入力ステップと、
前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定ステップと、
前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定ステップと、
前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定ステップと、
前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定ステップと、
前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算ステップと、
前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元画像データを生成するデータ生成ステップと、
を含むことを特徴とするデータ生成方法。
【請求項４】
前記区画空間の複数の二次元画像に基づき、前記データ生成ステップでそれぞれ生成される複数の三次元画像データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成ステップとを含むことを特徴とする請求項３記載のデータ生成方法。
【請求項５】
相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成方法をコンピュータで実現するプログラムであって、
前記二次元画像が入力する画像入力機能と、
前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定機能と、
前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定機能と、
前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定機能と、
前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定機能と、
前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算機能と、
前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元データを生成するデータ生成機能と、
を実現することを特徴とするデータ生成方法のプログラム。
【請求項６】
前記区画空間の複数の二次元画像に基づき、前記データ生成機能でそれぞれ生成される複数の三次元データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成機能を実現することを特徴とする請求項５記載のデータ生成方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、写真等の二次元画像に基づいて、撮影された部屋等の区画空間の被写体の三次元データを生成するデータ生成装置に関するものである。
【０００２】
【従来の技術】
近年、戸立て住居やマンション等において、居住者の加齢、家族の成長や独立、家屋の経年変化による住居の使い勝手の劣化等に起因して、リフォームすることが多く行われている。このようなリフォームを行う場合、リフォーム後の住居が実際にどのように現状から変化するかを、依頼者にプレゼンテーションすることが多く行われる。
【０００３】
このようなプレゼンテーションの手法として、パーソナルコンピュータ（以下、パソコン）上で稼動する二次元画像を用いる住宅リフォームプレゼンテーションシステム（以下、プレゼンテーションシステム）が用いられている。このプレゼンテーションシステムにおいては、リフォーム対象である現住居の構造データを数値化してシステム内に構築（再現）する必要がある。すなわち、現住居を詳細に計測し、計測データをシステムに入力する必要があり、多大な手間を要するという問題点がある。
【０００４】
また、特に、屋内（部屋・水廻り・廊下・階段等）の改装の場合、内装変更だけに留まらず、建具や設備・家屋の構造の変更等があり得るため、リフォーム後の住居の具体像を提案するに際して、二次元画像によるリフォームシミュレーションでは、リフォーム依頼者に改装後の住居の具体像を理解してもらうに充分な情報を提供するには限界がある。
【０００５】
さらに、特許文献１に示される立体データ作成装置（以下、従来装置という）がある。この従来装置の電気的な構成の概略は、図６に示されている。
【０００６】
この従来装置は、空間構造が未知の空間の静止画像を取り込むデジタル画像入力装置１１０、スキャナ１１１と、取り込まれた静止画像を空間の投影された画像として捉えて、その静止画像内の直線の位置関係に基づいて、静止画像に対する視点を割り出す手段と、静止画像及び視点の情報に基づいて、静止画像内の空間構造の立体データを作成する手段と、作成された立体データを出力する画像処理コンピュータ１２０とを備えている。
【０００７】
また、この従来装置は、以下の作用を実現するものとされている。
【０００８】
すなわち、「写真やパースに示されている画像情報の中に、その位置と長さが既知の線が一本あれば、全ての部位の長さ、大きさを知ることができる。また、家具、塀等他の部位については、通常はその高さや壁面からの距離、壁面との角度等なんらかの情報は推測して補完できるため、その推測して補完した情報に基づいてその位置関係をかなり正確に推定することができる。これによって、写真に写っている全ての対象物の相互の位置関係を推定し、その立体データを得ることができる。」（特許文献１の４頁００１６段落）
【０００９】
【特許文献１】
特開２０００ー７６４５３号（１頁及び４頁）
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来装置において、撮影された写真等の画像から、三次元データを生成する具体的な手法に関しては、「読み込まれた画像から、画像処理コンピュータ１２０で視点、画像の位置と床面、壁面、天井面、地表等の空間構成を割り出し（これを基本構図と呼ぶ）、その基本構図に家具、カーテン等の他の部位の位置を落としこみ、その各部位に立体データモデルから近似したものを選んで立体データを与えることにより、画像に表されている空間全体の立体データを得る。」とされているだけである。
【００１１】
また、この従来装置は、二次元画像から三次元データを生成することを発明の一部としているが、上記の説明では三次元データの生成手法を当業者が理解可能に示しているとは言い難いものである。
【００１２】
また、上記の従来技術の三次元データの生成手法がどの程度、コンピュータ操作者の操作が介在するものか不明である。
【００１３】
従って、本発明は、上記の従来技術の問題点を解決すべくなされたものであり、その目的は、リフォームの対象となる部屋等の区画空間を撮影した写真等の二次元画像からコンピュータ上の三次元データを簡単に生成することができる実現性のある区画空間のデータ生成装置を提供するものである。
【００１４】
【課題を解決するための手段】
請求項１の発明は、相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成装置であって、前記二次元画像が入力する画像入力手段と、前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定手段と、前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定手段と、前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定手段と、前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定手段と、前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算手段と、前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元データを生成するデータ生成手段と、を含むことを特徴とするデータ生成装置である。
【００１５】
請求項２の発明は、前記区画空間の複数の二次元画像に基づき、前記データ生成手段でそれぞれ生成される複数の三次元データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成手段とを含むことを特徴とする請求項１記載のデータ生成装である。
【００１６】
請求項３の発明は、相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成方法であって、前記二次元画像が入力する画像入力ステップと、前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定ステップと、前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定ステップと、前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定ステップと、前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定ステップと、前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算ステップと、前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元データを生成するデータ生成ステップと、を含むことを特徴とするデータ生成方法である。
【００１７】
請求項４の発明は、前記区画空間の複数の二次元画像に基づき、前記データ生成ステップでそれぞれ生成される複数の三次元データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成ステップとを含むことを特徴とする請求項３記載のデータ生成方法である。
【００１８】
請求項５の発明は、相互に直交する少なくとも２面の直交面によって区画された区画空間を撮影した二次元画像に基づいて、前記区画空間を三次元表示するための三次元データを生成するデータ生成方法をコンピュータで実現するプログラムであって、前記二次元画像が入力する画像入力機能と、前記区画空間における三次元の区画空間座標系、前記区画空間に対応する仮想空間における三次元の仮想空間座標系、及び、前記二次元画像上におけるスクリーン座標系をそれぞれ設定する座標系設定機能と、前記区画空間座標系から前記仮想空間座標系への第１座標変換式を設定する第１座標変換式設定機能と、前記仮想空間座標系から前記スクリーン座標系への第２座標変換式を設定する第２座標変換式設定機能と、前記区画空間上の一の直交面である基準直交面に平行な面に存在する大きさと位置が既知の基準長方形を設定し、かつ、前記二次元画像上に投影する基準長方形設定機能と、前記設定された第１座標変換式と第２座標変換式、前記基準長方形の大きさと位置と前記二次元画像上での基準長方形の大きさと位置との関係、前記基準直交面と前記基準長方形との最短距離から、前記第１座標変換式と前記第２座標変換式の各係数を演算する係数演算機能と、前記演算された第１座標変換式と第２座標変換式の各係数に基づいて、二次元画像の三次元データを生成するデータ生成機能と、を実現することを特徴とするデータ生成方法のプログラムである。
【００１９】
請求項６の発明は、前記区画空間の複数の二次元画像に基づき、前記データ生成機能でそれぞれ生成される複数の三次元データを合成して区画空間と対応する合成画像データを生成する合成画像データ生成機能を実現することを特徴とする請求項５記載のデータ生成方法のプログラムである。
【００２０】
【作  用】
請求項１、３、５記載の発明では、二次元画像上の任意の点の座標値が、区画空間座標系において対応する点の座標値に変換されることができる。これにより、二次元画像に写っている床面や壁面、窓等を三次元データとして生成することが可能になる。
【００２１】
請求項２、４、６記載の発明では、区画空間を撮影した複数の二次元画像を用いて、被写体である区画空間の全体像を三次元データとして生成することができるという作用を併せて奏することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して、発明の一実施例について図１から図５に基づいて説明する。
【００２３】
［１］三次元データ生成処理の原理
本実施例の三次元データ生成処理の原理について説明する。
【００２４】
本実施例は、各種の家屋、建築物、構築物の外装、内装のリフォームに広範囲に適用できるものであるが、以下の実施例では家屋の１つの部屋のリフォームを例示して説明する。
【００２５】
リフォームの対象となる区画空間である部屋の中や、階段、廊下等をカメラを用いて二次元画像を撮影し、撮影された対象の空間の三次元の区画空間座標系（以下、部屋座標系という）を生成する。
【００２６】
この原理においては、「カメラによる撮影とは、対象となる部屋座標系に存在する任意の点が、座標変換・透視投影変換された結果、二次元画像として写っている」という着想が前提となっている。
【００２７】
このために基準長方形という概念を導入する。この基準長方形とは、部屋座標系において、全ての辺の長さが既知で、隣合う二辺が直交し、向かい合う二辺の長さが等しい長方形とする。
【００２８】
そして、床面に対して水平に位置する、或いは垂直に位置する基準長方形に関して、座標変換・透視投影変換の関係式を導き出すことにより、結果として二次元画像画像上の任意の点の座標値を、部屋座標系において対応する点の座標値に変換する。
【００２９】
これにより、二次元画像画像に撮影されている、床面や壁面、窓等を三次元データとして生成することが可能になる。
【００３０】
［２］データ生成装置１の構成
以下、図１、２を参照して、本実施例のデータ生成装置１の構成について説明する。
【００３１】
図１に示すように、データ生成装置１は、デジタルカメラ（以下、カメラという）２で撮影されたデジタル画像が入力される画像入力部３を備えている。なお、フィルムで撮影するスチールカメラなら、撮影された写真等の二次元画像をスキャナ４等で電子データに変換して読み取る。
【００３２】
入力された、或いは、読み取られた二次元画像データはメモリよりなる記憶部５に保存され、画像処理部６において、後述するような各種処理が行われる。
【００３３】
画像処理部６は、図２に示すように、座標系設定部６０と、第１座標変換式設定部６２と、第２座標変換式設定部６４と、基準長方形設定部６６と、係数演算部６８と、データ生成部７０と、合成画像データ生成部７２から構成される。
【００３４】
この処理は、表示部７を操作者が視認しつつキーボードやマウス等の操作部８による指示に基づいて行われる。
【００３５】
データ生成装置１は、パソコンにより構成され、下記で説明する各部６０〜２２で行われる各ステップは、パソコンに記憶されているプログラムによって実行される。
【００３６】
［３］データ生成の数学的理論の説明
図４、図５に基づいて本実施例のデータ生成の数学的理論の説明を行う。
【００３７】
［３−１］各座標系の説明
各座標系について図４、５に基づいて説明する。
【００３８】
図４に示されるように、部屋９の部屋座標系を設定する。この場合に上鉛直方向がＺ方向、水平面がＸ−Ｙ平面となる。
【００３９】
図４に示されるように、部屋座標系に対応する仮想空間における三次元の仮想空間座標系（以下、カメラ座標系という）を設定する。仮想なので設定は自由であるが、例えば、カメラ２の位置を原点して、カメラ２の視線方向がＺ方向、このＺ方向を法線とする面がＸ−Ｙ平面となる。
【００４０】
図５に示されるように、部屋９が二次元画像として撮影される。この二次元画像上の仮想的な二次元の仮想スクリーン（以下、スクリーン座標系という）を設定する。この場合に縦方向がＹ方向、横方向がＸ方向となる。なお、このスクリーン座標系はカメラ２から仮想的に距離βにあるものと想定する。なお、カメラ座標系のＺ方向の距離である。
【００４１】
ここで、注意が必要なのは、部屋座標系におけるＸ、Ｙ、Ｚ方向と、カメラ座標系におけるＸ、Ｙ、Ｚ方向と、スクリーン座標系におけるＸ、Ｙ方向が異なることである。そのため、以下の説明ではこの相違がわかるように説明していくものとする。
【００４２】
次に、写真に撮った部屋座標系の任意の点と、それに対応する二次元画像上の点との関係を数式で表現するときの前提条件として以下の４つの項目を設定する。なお、この前提条件は上記座標系の設定と重なる条件もある。
【００４３】
［前提条件１］
部屋座標系の任意の点の座標をＲ（Ｒｘ，Ｒｙ，Ｒｚ）とする。
【００４４】
［前提条件２］
点Ｒをカメラ座標系に座標変換した場合の点の座標をＱ（Ｑｘ，Ｑｙ，Ｑｚ）とする。
【００４５】
［前提条件３］
カメラ２から距離β離れたところの、カメラ２の視線軸に垂直で、中心が視線軸上に置かれた仮想スクリーンを考える。すなわち、スクリーン座標系を設定する。
【００４６】
［前提条件４］
点Ｑを仮想スクリーン上に透視投影した点Ｐ（Ｐｘ，Ｐｙ）と、点Ｒに対応する二次元画像上の点が一致するように仮想スクリーンと二次元画像を一致させる。
【００４７】
［３−２］基準長方形の設定
部屋座標系において、部屋９の床面１０に基準長方形１３を設定する。この基準長方形１３の寸法を実測から入力する。詳しくは、後述する。
【００４８】
［３−３］部屋座標系の点Ｒとカメラ座標系の点Ｑの関係
部屋座標系の点Ｒをカメラ座標系の点Ｑの関係を説明する。
【００４９】
部屋座標系の点Ｒをカメラ座標系の点Ｑに座標変換する変換マトリックスを下記の式（１）とする。
【００５０】
【数１】
2004280196.tif 000003
そして、点Ｒと点Ｑとの関係は、式（２）で表わされる。
【００５１】
【数２】
2004280196.tif 000004
［３−４］スクリーン座標系の点Ｐとカメラ座標系の点Ｑの関係
上記前提条件をもとに点Ｑと点Ｐの関係を式で表すと以下のようになる。
【００５２】
Ｐｘ＝−β×Ｑｘ／Ｑｚ＋Ｍ  ・・・（３）
Ｐｙ＝−β×Ｑｙ／Ｑｚ＋Ｎ  ・・・（４）
ここで、Ｍ、Ｎは、式（３）及び式（４）の適宜定め得る定数項である。
【００５３】
［３−５］未知数を解くための条件
次に、上記の式（１）〜式（４）に現れた未知数を簡単に解くことを可能にするために、下記の条件を新たに設定する。
【００５４】
［条件１］
図５に示されるように、二次元画像には必ず床面１０が写っていること。
【００５５】
［条件２］
床面１０は、部屋座標系のＸ−Ｙ平面に対して水平に位置する。
【００５６】
［条件３］
部屋座標系のＺ軸は、床面１０に対して上鉛直方向である。
【００５７】
［条件４］
二次元画像には、部屋９にある基準長方形１３が必ず写っていること。
【００５８】
［条件５］
基準長方形１３が床面１０に対して水平に位置する場合は、基準長方形１３の頂点の一つを部屋座標系の原点（０，０，０）とし、それを挟む二辺が、それぞれＸ軸、Ｙ軸に重なる様に部屋座標系を設定する。なお、ここで、相互に直交する床面と壁面が直交面であり、床面が基準直交面となる。
【００５９】
［条件６］
基準長方形１３が床面１０に対して垂直に位置する場合は、基準長方形１３の頂点の一つを部屋座標系の原点（０，０，０）とし、それを挟む二辺が、それぞれＸ軸、Ｚ軸に重なる様に、あるいは、それぞれＹ軸、Ｚ軸に重なる様に部屋座標系を考える。なお、ここで、床面と壁面が直交面であり、壁面が基準直交面となる。
【００６０】
そして、条件５と条件６はどちらか一方が具備されればよく、以下の説明では条件５が具備されているとする。
【００６１】
［３−６］未知数の解法
基準長方形１３が、条件５の床面１０に対して水平に位置する場合を考える。
【００６２】
なお、条件６の垂直に位置する場合も同様に考えられるので省略する。
【００６３】
部屋座標系の基準長方形１３の４頂点をＲ０（０，０，０），Ｒ１（ｘ，０，０），Ｒ２（ｘ，ｙ，０），Ｒ３（０，ｙ，０）と定義する。
【００６４】
また、それらに対応する二次元画像上の４点をスクリーン座標系でそれぞれＰ０（ｘ０，ｙ０），Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ２），Ｐ３（ｘ３，ｙ３）と定義する。
【００６５】
なお、座標Ｒ０，Ｒ１，Ｒ２，Ｒ３の各座標値は、基準長方形１３の寸法を実測することにより得られる。
【００６６】
スクリーン座標系のＰ０，Ｐ１，Ｐ２，Ｐ３の各座標値は、図５に示すように、基準長方形１３が写っている画像上の基準長方形１１の座標値である。
【００６７】
変数ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３を、式（２）〜（４）と座標Ｒ０，Ｒ１，Ｒ２，Ｒ３の関係を用いて、座標系の変換式に当てはめると以下のようになる。
【００６８】
ｘ０＝−Ｄ×β／Ｌ＋Ｍ    ・・・（５）
ｙ０＝−Ｈ×β／Ｌ＋Ｎ    ・・・（６）
ｘ１＝−（ｘ×Ａ＋Ｄ）×β／（ｘ×Ｉ＋Ｌ）＋Ｍ    ・・・（７）
ｙ１＝−（ｘ×Ｅ＋Ｈ）×β／（ｘ×Ｉ＋Ｌ）＋Ｎ    ・・・（８）
ｘ２＝−（ｘ×Ａ＋ｙ×Ｂ＋Ｄ）×β／（ｘ×Ｉ＋ｙ×Ｊ＋Ｌ）＋Ｍ・・・（９）
ｙ２＝−（ｘ×Ｅ＋ｙ×Ｆ＋Ｈ）×β／（ｘ×Ｉ＋ｙ×Ｊ＋Ｌ）＋Ｎ・・・（１０）
ｘ３＝−（ｙ×Ｂ＋Ｄ）×β／（ｙ×Ｊ＋Ｌ）＋Ｍ    ・・・（１１）
ｙ３＝−（ｙ×Ｆ＋Ｈ）×β／（ｙ×Ｊ＋Ｌ）＋Ｎ    ・・・（１２）
また、
【数３】
2004280196.tif 000005
は回転マトリックスであることから、以下の式がたてられる。
【００６９】
Ａ２＋Ｅ２＋Ｉ２＝１    ・・・（１４）
Ｂ２＋Ｆ２＋Ｊ２＝１    ・・・（１５）
Ａ×Ｂ＋Ｅ×Ｆ＋Ｉ×Ｊ＝０    ・・・（１６）
（Ｃ，Ｇ，Ｋ）＝（Ａ，Ｅ，Ｉ）×（Ｂ，Ｆ，Ｊ）    ・・・（１７）
上記の、式（５）〜（１５）の１１個の式を解くことによって、Ａ，Ｂ，Ｄ，Ｅ，Ｆ，Ｈ，Ｉ，Ｊ，Ｌ，βの１０個の未知数を、既知数ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３と定数項Ｍ，Ｎで表すことができる。
【００７０】
なお、最終的にＭ，Ｎについて
Ｍ２＋Ｎ２    ・・・（１８）
の値が最小になるように求めることにより、１０個の未知数Ａ〜βを１０個の既知数を用いた関数ｆ１〜ｆ１０で表すことが可能になる。
【００７１】
Ａ＝ｆ１（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（１９）
Ｂ＝ｆ２（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２０）
Ｄ＝ｆ３（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２１）
Ｅ＝ｆ４（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２２）
Ｆ＝ｆ５（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２３）
Ｈ＝ｆ６（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２４）
Ｉ＝ｆ７（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２５）
Ｊ＝ｆ８（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２６）
Ｌ＝ｆ９（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２７）
β＝ｆ１０（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，Ｍ，Ｎ）    ・・・（２８）
これら式（１９）〜式（２８）は、実際には煩雑な数式で表現されるので、全式の詳細を記述することは省き、例として、式（１９）の展開例を示す。
【００７２】
Ａ＝−（ｘ１−ｘ０）×Ｖ／（ｘ×Ｗ）−（ｘ１−Ｍ）×Ｓ×Ｖ／（Ｕ×ｘ×Ｗ）    ・・・（２９）
ここで、
Ｖ２＝Ｕ２×（（（（ｘ１−ｘ０）×Ｕ＋（ｘ１−Ｍ）×Ｓ）２＋（（ｙ１−ｙ０）×Ｕ＋（ｙ１−Ｎ）×Ｓ）２）×ｙ２−（（（ｘ３−ｘ０）×Ｕ＋（ｘ３−Ｍ）×Ｔ）２＋（（ｙ３−ｙ０）×Ｕ＋（ｙ３−Ｎ）×Ｔ）２）×ｘ２）／（（（（ｘ１−ｘ０）×Ｕ＋（ｘ１−Ｍ）×Ｓ）２＋（（ｙ１−ｙ０）×Ｕ＋（ｙ１−Ｎ）×Ｓ）２）×Ｔ２−（（（ｘ３−ｘ０）×Ｕ＋（ｘ３−Ｍ）×Ｔ）２＋（（ｙ３−ｙ０）×Ｕ＋（ｙ３−Ｎ）×Ｔ）２）×Ｓ２）    ・・・（３０）
Ｗ２＝（（（（ｘ１−ｘ０）×Ｕ＋（ｘ１−Ｍ）×Ｓ）２＋（（ｙ−ｙ０）×Ｕ＋（ｙ１−Ｎ）×Ｓ）２）×ｙ２−（（（ｘ３−ｘ０）×Ｕ＋（ｘ３−Ｍ）×Ｔ）２＋（（ｙ３−ｙ０）×Ｕ＋（ｙ３−Ｎ）×Ｔ）２）×ｘ２）／（Ｔ２×ｘ２−Ｓ２×ｙ２）    ・・・（３１）
但し、Ｖ＜０、Ｗ＞０である。
【００７３】
また、Ｍ、Ｎは次のようになる。
【００７４】
Ｍ＝−ａ×ｃ／（ａ２＋ｂ２）    ・・・（３２）
Ｎ＝−ｂ×ｃ／（ａ２＋ｂ２）    ・・・（３３）
ここで、
ａ＝（Ｔ２×ｘ２＋Ｓ２×ｙ２）×（（ｘ０−ｘ１）×Ｔ×Ｕ＋（ｘ３−ｘ０）×Ｓ×Ｕ＋（ｘ３−ｘ１）×Ｓ×Ｔ）    ・・・（３４）
ｂ＝（Ｔ２×ｘ２＋Ｓ２×ｙ２）×（（ｙ０−ｙ１）×Ｔ×Ｕ＋（ｙ３−ｙ０）×Ｓ×Ｕ＋（ｙ３−ｙ１）×Ｓ×Ｔ）    ・・・（３５）
ｃ＝（（ｘ１−ｘ０）×（ｘ３−ｘ０）×Ｕ２＋（ｘ１−ｘ０）×ｘ３×Ｔ×Ｕ＋（ｘ３−ｘ０）×ｘ１×Ｓ×Ｕ＋ｘ１×ｘ３×Ｓ×Ｔ＋（ｙ１−ｙ０）×（ｙ３−ｙ０）×Ｕ２＋（ｙ１−ｙ０）×ｙ３×Ｔ×Ｕ＋（ｙ３−ｙ０）×ｙ１×Ｓ×Ｕ＋ｙ１×ｙ３×Ｓ×Ｔ）×（Ｔ２×ｘ２−Ｓ２×ｙ２）＋（（ｘ１−ｘ０）２×Ｕ２＋２×（ｘ１−ｘ０）×ｘ１×Ｓ×Ｕ＋ｘ１２×Ｓ２＋（ｙ１−ｙ０）２×Ｕ２＋２×（ｙ１−ｙ０）×ｙ１×Ｓ×Ｕ＋ｙ１２×Ｓ２）×Ｓ×Ｔ×ｙ２−（（ｘ３−ｘ０）２×Ｕ２＋２×（ｘ３−ｘ０）×ｘ３×Ｔ×Ｕ＋ｘ３２×Ｔ２＋（ｙ３−ｙ０）２×Ｕ２＋２×（ｙ３−ｙ０）×ｙ３×Ｔ×Ｕ＋ｙ３２×Ｔ２）×Ｓ×Ｔ×ｘ２
・・・（３６）
またここで
Ｓ＝（ｘ３―ｘ２）×（ｙ１―ｙ０）―（ｘ１―ｘ０）×（ｙ３―ｙ２）・・・（３７）
Ｔ＝（ｘ０―ｘ３）×（ｙ２―ｙ１）―（ｘ２―ｘ１）×（ｙ０―ｙ３）・・・（３８）
Ｕ＝ｘ１×（ｙ３―ｙ２）＋ｘ２×（ｙ１―ｙ３）＋ｘ３×（ｙ２―ｙ１）・・・（３９）
また、式（１７）より、上記の様に求められた係数Ａ，Ｂ，Ｅ，Ｆ，Ｉ，Ｊを用いて、さらに係数Ｃ，Ｇ，Ｋを求めることができる。
【００７５】
このように、部屋座標系における基準長方形の４つの頂点座標と、二次元画像上（スクリーン座標系）のそれらに対応する４つの頂点座標の座標変換・透視投影変換の関係式がわかった。
【００７６】
［３−７］データの生成
式（１）〜（３）は、部屋座標系における任意の点Ｒ（Ｒｘ，Ｒｙ，Ｒｚ）をカメラ座標系の点Ｑ（Ｑｘ，Ｑｙ，Ｑｚ）に変換し、さらにスクリーン座標系の点Ｐ（Ｐｘ，Ｐｙ）に座標変換・透視投影変換を行う式であるから、二次元画像上の任意の点Ｐに対応する、部屋座標系の点Ｒの座標値を求める為には、式（１）〜（３）をもとに、点Ｐから点Ｑに、点Ｑから点Ｒに逆変換することが必要となる。
【００７７】
ここで、前述の式（４）〜（１１）をたてるときに定義した、部屋座標系における基準長方形は、Ｘ−Ｙ平面上にあり、床面に対して水平に位置している。この基準長方形と基準直交面である床面との最短距離をαとすると、
Ｒｚ＝α    ・・・（４０）
となる。但し、α＞０である。
【００７８】
このαは予め実測しておく。図４，５では、床面と同じ高さであるのでα＝０である。
【００７９】
なお、この場合は、基準直交面が床面であるのでＲｚ＝αとなるが、天井面が基準直交面の時はＲｚ＝−αとなる。
【００８０】
そして、二次元画像の床面上の任意の点Ｐは、式（１）〜（３）に加え、式（４０）を用いることにより点Ｒに変換することが可能となる。なお、この時、未知数Ｑｘ，Ｑｙ，Ｑｚは媒介変数となる。
【００８１】
これを用いて、二次元画像上に写っている床面と、それと直交して垂直に立っている壁面や窓壁面などの境界線上の点を部屋座標系に変換することにより、部屋座標系のＸ−Ｙ平面に水平な床面を生成することが可能となる。
【００８２】
また、床面の境界線上に床面に垂直である高さを与えられた壁面を生成することができる。壁面は、床面上のある線分の上に沿って垂直に立っていることから、上記の手法により床面上の２点（床面と壁面の境界線上の２点）を部屋座標系に変換した後、壁面を、その２点を通る平面として式をたてると、式（４１）のようになる。
【００８３】
床面と壁面の境界線上の２点を部屋座標系の２点Ｒ０（Ｒ０ｘ，Ｒ０ｙ，α），Ｒ１（Ｒ１ｘ，Ｒ１ｙ，α）に変換されたとすると、
（Ｒｘ−Ｒ０ｘ）×（Ｒ１ｙ−Ｒ０ｙ）＝（Ｒｙ−Ｒ０ｙ）×（Ｒ１ｘ−Ｒ０ｘ）    ・・・（４１）
となり、二次元画像の壁面上の任意の点Ｐは、式（１）〜（３）に加え、式（４１）を用いることにより点Ｒに変換することが可能となる。なお、この時、未知数Ｑｘ，Ｑｙ，Ｑｚは媒介変数となる。
【００８４】
また、壁面の生成と同時に天井面も生成することができる。壁面それぞれの高さを変更すれば、勾配天井面の生成も簡単に行える。
【００８５】
さらに、床面や壁面が特定できているので、二次元画像上に写っている家具や建具は、床面や壁面に水平な面の輪郭線を今までと同様な方法により部屋座標系に変換し、高さや幅などを与えれば、部屋座標系内に生成することが可能である。
【００８６】
［４］データ生成装置１の動作の内容
以下、図４に基づいて本実施例のデータ生成装置１の動作の詳細について説明する。
【００８７】
［ステップａ１］
ステップａ１において、カメラ２で被写体の部屋９の二次元画像を一枚、または、複数枚撮影する。
【００８８】
［ステップａ２］
ステップａ２において、前述したように、撮影した一枚の二次元画像を入力、或いは、読み取る。
【００８９】
［ステップａ３］
ステップａ３において、座標系設定部６０は、上記項目［３−１］で説明したように、部屋９の部屋座標系を設定する。
【００９０】
［ステップａ４］
ステップａ４において、座標系設定部６０は、上記項目［３−１］で説明したように、カメラ座標系を設定する。
【００９１】
［ステップａ５］
ステップａ５において、座標系設定部６０は、上記項目［３−１］で説明したように、スクリーン座標系を設定する。
【００９２】
［ステップａ６］
ステップａ６において、基準長方形設定部６６は、上記項目［３−２］で説明したように、基準長方形を設定する。
【００９３】
［ステップａ７］
ステップａ７において、第１座標変換式設定部６２は、上記項目［３−３］で説明したように、式（１）〜式（２）を設定する。
【００９４】
［ステップａ８］
ステップａ８において、第２座標変換式設定部６４は、上記項目［３−４］で説明したように、式（３）〜式（４）、式（４０）を設定する。
【００９５】
［ステップａ９］
ステップａ９において、係数演算部６８は、上記項目［３−５］、［３−６］で説明したように、部屋座標系における基準長方形の４つの頂点座標と、二次元画像上（スクリーン座標系）のそれらに対応する４つの頂点座標の座標変換・透視投影変換の関係式を求める。
【００９６】
［ステップａ１０］
ステップａ１０において、データ生成部７０は、上記項目［３−７］で説明したように、三次元デ−タを生成する。
【００９７】
［ステップａ１１］
ステップａ１１において、処理を継続するかどうか判断され、処理が否定ならばステップａ１２に移る。この判断は一枚の画像から部屋９の必要な座標値Ｒが全て得られたか否かで判断する。
【００９８】
ステップａ１１の判断が肯定ならばステップａ３に戻って、画像から他の位置の三次元データを上述した処理で取得し、得られた三次元デ−タが逐次、蓄積する。
【００９９】
［ステップａ１２］
ステップａ１２において、蓄積された三次元デ−タを合成するかどうか判断される。
【０１００】
ステップａ１２の判断が否定ならば、得られた三次元デ−タを映像出力或いは印刷出力し、或いはメモリ４に保存して処理を終了する。
【０１０１】
ステップａ１２の判断が肯定ならば、ステップａ１３で、他の画像についても上記と同様に処理して三次元データを生成し、これら複数枚の画像によって前記蓄積された三次元デ−タの合成を行い、前記部屋９全体の三次元デ−タが生成する。
【０１０２】
［ステップａ１３］
ステップａ１３においてこの合成処理は、以下のように行われる。
【０１０３】
すなわち、一枚の二次元画像からは、その写真に写っている部分のみが三次元化されるので、部屋９全体を三次元化するためには、複数の二次元画像を必要とする。複数の二次元画像は、前述の条件に加え、隣合う写真同志には同じ物（壁面、窓、家具、建具、スイッチ類等）が写っていることが条件に加えられる。
【０１０４】
複数の二次元画像それぞれを、これまで述べてきた手法で三次元化し、隣合う写真同士に写っている同じ物の適当な点を指定することにより、床面１０や壁面１４が特定されていることより、簡単に一つに合体させることができる。
【０１０５】
［４］実施例の効果
このように、基準長方形１３を用いて二次元画像上の任意の点を部屋座標系へ透視投影・座標変換を行うことができる。したがって、二次元画像上に写っている床面１０と、それと直交して垂直に立っている壁面１４や窓壁面１５等の境界線を部屋座標系に変換することにより、部屋座標系のＸ−Ｙ平面に水平な床面１０を生成することが可能となる。
【０１０６】
さらに、床面１０の境界線上に、床面１０に垂直である高さを与えられた壁面１４を生成することができ、同時に天井面１６も生成される。壁面１４それぞれの高さを変更すれば、勾配天井面の生成も簡単に行える。また、床面１０や壁面１４が特定できているので、二次元画像上に写っている家具や建具は、床面１０や壁面１４に水平な面の輪郭線を部屋座標系に変換し、高さや幅等を与えれば、部屋座標系内に生成することが可能である。
【０１０７】
（変更例）
以上の説明では、現住居の内部を三次元化することを中心に述べてきたが、屋外の場合にも本発明の応用が可能である。
【０１０８】
例えば、ほぼ平らな地面や道路面に対して垂直に建っている建物の場合、地面や道路面と建物及び基準長方形が写真に写っていれば、同じ原理で三次元化できる。
【０１０９】
本発明は、上記実施例に限定されるものではなく、本発明の精神を逸脱しない範囲で広範な変形例を含むものである。
【０１１０】
【発明の効果】
請求項１、３、５記載の発明では、二次元画像上の任意の点の座標値が、区画空間座標系において対応する点の座標値に変換されることができる。これにより、二次元画像に写っている床面や壁面、窓等を三次元データとして生成することが可能になる。
【０１１１】
請求項２、４、６記載の発明では、区画空間を撮影した複数の二次元画像を用いて、被写体である区画空間の全体像を三次元データとして生成することができるという作用を併せて奏することができる。
【図面の簡単な説明】
【図１】本実施例のデ−タ生成装置を示すブロック図である。
【図２】画像処理部のブロック図である。
【図３】本実施例の動作を示すフロ−チャ−トである。
【図４】本発明の一実施例の概要を示す斜視図である。
【図５】本実施例の動作を示す画像の表示例である。
【図６】従来装置の構成を示すブロック図である。
【符号の説明】
１  デ−タ生成装置
２  カメラ
３  画像入力部
４  スキャナ
５  メモリ
６  画像処理部
９  部屋
１０  床面
１３  基準長方形
１４  壁面
【図１】
2004280196.tif 000006
【図２】
2004280196.tif 000007
【図３】
2004280196.tif 000008
【図４】
2004280196.tif 000009
【図５】
2004280196.tif 000010
【図６】
2004280196.tif 000011