(57)【要約】【課題】対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離する。【解決手段】対象物体の形状データを取得する取得手段と、前記対象物体の前記形状データから第１の形状成分と第２の形状成分とを分離する情報を指示入力させる指示手段と、前記指示手段により指示入力された前記情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する分離手段と、前記分離手段により分離された前記第１の形状成分または前記第２の形状成分に基づいて、前記形状データを補正する補正手段とを備える。【選択図】  図３
2018018166.tif 000002
【特許請求の範囲】
【請求項１】
対象物体の形状データを取得する取得手段と、
前記対象物体の前記形状データから第１の形状成分と第２の形状成分とを分離する情報を指示入力させる指示手段と、
前記指示手段により指示入力された前記情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する分離手段と、
前記分離手段により分離された前記第１の形状成分または前記第２の形状成分に基づいて、前記形状データを補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段により取得された前記形状データを空間周波数に変換する変換手段と、
前記指示手段により指示入力された情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離するための空間周波数の閾値を決定して前記分離手段に供給する決定手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の形状成分は前記第２の形状成分より低周波の成分を有し、
前記補正手段は、前記分離手段により分離された前記第１の形状成分に基づいて、前記形状データを補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記指示手段は、前記第１の形状成分と第２の形状成分とを分離する情報として前記取得手段により取得された前記形状データ上の所定の領域を指示入力させ、
前記分離手段は、前記所定の領域に基づいて前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する
ることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記指示手段は、前記第１の形状成分と第２の形状成分とを分離する情報として前記形状データ上の変曲点の情報を指示入力させ、
前記分離手段は、前記変曲点の情報に基づいて前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する
ることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
対象物体の形状データを示す画像を表示させる第１の表示手段と、
前記対象物体の前記形状データから第１の形状成分と第２の形状成分とを分離する情報を指示入力させる指示手段と、
前記指示手段により指示入力された前記情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する分離手段と、
前記分離手段により分離された前記第１の形状成分または前記第２の形状成分に基づいて、前記形状データを補正する補正手段と、
補正された前記形状データを示す画像を表示させる第２の表示手段と、
を備えることを特徴とするインターフェース装置。
【請求項７】
前記第１の表示手段は、
前記形状データの空間周波数解析結果を示す画像をさらに表示することを特徴とする請求項６に記載のインターフェース装置。
【請求項８】
前記第１の表示手段は、
前記形状データを３次元で示す画像をさらに表示することを特徴とする請求項６または７に記載のインターフェース装置。
【請求項９】
前記指示手段は、
前記第１の形状成分と第２の形状成分とを分離する情報として、前記形状データの空間周波数の閾値を指示入力させることを特徴とする請求項６から８のいずれか１項に記載のインターフェース装置。
【請求項１０】
前記指示手段は、
前記第１の形状成分と第２の形状成分とを分離する情報として、前記表示された形状データを示す画像上の領域を指示入力させることを特徴とする請求項６から８のいずれか１項に記載のインターフェース装置。
【請求項１１】
前記指示手段は、
前記第１の形状成分と第２の形状成分とを分離する情報として、前記形状データを示す画像上の変曲点を入力することを特徴とする請求項６から８のいずれか１項に記載のインターフェース装置。
【請求項１２】
対象物体の形状データを取得させるステップと、
前記対象物体の前記形状データから第１の形状成分と第２の形状成分とを分離する情報を指示入力させるステップと、
前記指示入力された前記情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離するステップと、
前記分離された前記第１の形状成分または前記第２の形状成分に基づいて、前記形状データを補正するステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを請求項１から５のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の形状データを信号処理する画像処理装置、画像処理方法、インターフェース装置およびプログラムに関する。
【背景技術】
【０００２】
近年、被写体の色彩（例えばＲＧＢ）だけでなく、被写体表面の凹凸を再現できる印刷技術が普及している。この種の印刷は、印刷すべき被写体の色彩を示す画像データ（例えばＲＧＢ情報）とともに被写体の形状・表面の凹凸を表す奥行き情報を入力し、例えば硬化性の樹脂や石膏等の材料を積層することで実現される。これにより、例えば掛け軸等の文化財をその凹凸まで再現したよりリアルな複製物を作成することができる。
このような文化財複製のための形状計測においては、経年変化等に起因する紙のたわみ等の被写体の歪みも、表面の凹凸とともに奥行き情報として取得されてしまう。そのため、被写体の計測結果（画像データおよび奥行き情報）をそのまま用いて印刷を行うと、紙の歪みまで再現されてしまうことになる。
すなわち、歪みのない状態での複製を行うためには、取得された奥行き情報から、文化財自体の表面の凹凸とたわみ等の歪みを分離して、歪み成分について補正（形状補正）を行う必要がある。
特許文献１は、奥行き情報に相当する原地形データから、凹部、凸部および平坦部をそれぞれ検出する技術を開示する。具体的には、特許文献１に記載の技術では、原地形データと、その空間移動平均との差を算出することで、原地形データの凹部および凸部を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、所定の空間周波数成分により自動で奥行き情報を分離してしまうため、検出された凹凸が被写体自体の表面の凹凸か否かが識別できず、ユーザー所望の形状分離結果が得られるとは限らない。特に文化財のたわみ等の歪みは、その特性が紙質、保存状態、保存期間等に起因するため、その形状変化が多様である。このため、紙のたわみ等の歪み成分と表面の凹凸成分とを分離して、ユーザー所望の形状分離結果を得るのは困難であった。
本発明は上記課題を解決するためになされたものであり、対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置のある態様によれば、対象物体の形状データを取得する取得手段と、前記対象物体の前記形状データから第１の形状成分と第２の形状成分とを分離する情報を指示入力させる指示手段と、前記指示手段により指示入力された前記情報に基づいて、前記形状データから前記第１の形状成分と前記第２の形状成分とを分離する分離手段と、前記分離手段により分離された前記第１の形状成分または前記第２の形状成分に基づいて、前記形状データを補正する補正手段とを備える画像処理装置が提供される。
【発明の効果】
【０００６】
以上の構成からなる本発明によれば、対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の画像処理装置の構成を示すブロック図。
【図２】実施形態１におけるアプリケーションウィンドウの一例を表す模式図。
【図３】形状データ処理プログラムの実行によって動作する処理部の構成図。
【図４】分離情報指定部における周波数特性算出処理の動作を示すフローチャート。
【図５】実施形態１におけるユーザー指定の周波数閾値の一例を示す図。
【図６】実施形態１における形状分離処理を示すフローチャート。
【図７】低周波フィルタ及び高周波フィルタの周波数特性を示す模式図。
【図８】分離された低周波形状データおよび高周波形状データの一例を示す図。
【図９】実施形態２におけるアプリケーションウィンドウの一例を表す模式図。
【図１０】実施形態２における周波数閾値決定部の動作を示すフローチャート。
【図１１】実施形態３におけるアプリケーションウィンドウの一例を表す模式図。
【図１２】実施形態３における周波数閾値決定部の動作を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【０００９】
実施形態１
本実施形態は、例えば掛け軸等の文化財（対象物体）の形状データに対して信号処理を行う画像処理装置に本発明を適用した例を示している。この画像処理装置では、対象物体の形状データを取得し、この形状データから第１の形状成分と第２の形状成分とを分離する情報（分離情報）を指示入力させ、指示入力された情報に基づいて、形状データから第１の形状成分と第２の形状成分とを分離する。さらに、この画像処理装置では、分離された第１の形状成分または第２の形状成分に基づいて、形状データを補正する。
この画像処理装置では、分離情報として、例えば形状データの空間周波数の閾値を用い、この閾値をユーザーから直接入力するようにしている。
掛け軸等の文化財のたわみ等の歪み成分は形状データの空間周波数の低周波成分に、表面の凹凸等の微細な成分は形状データの空間周波数の高周波成分に、それぞれ集中する。ここで、「形状データ」とは、対象物体の形状のデータおよびその表面の凹凸を示す奥行きのデータを含むものとする。
【００１０】
具体的には、この画像処理装置では、まず、形状データ（特に奥行きデータ）に対して空間周波数変換を施す。次に、グラフィカルユーザーインターフェースを介して、ユーザー所望の分離結果が得られるよう、対象物体の形状データ中の歪み成分を分離するための周波数の閾値を入力させる。
そして、入力された周波数の閾値に基づいて、対象物体の形状データ（奥行きデータ）に対して周波数分離を行うことで形状データから対象物体の歪み成分を分離する。さらに、分離した歪み成分に基づいて、形状データ（奥行きデータ）の補正を行う。
これにより、ユーザーは、文化財のたわみ等の歪みを排除した、所望の奥行きデータを有する対象物体本来の形状データを取得することができる。
【００１１】
以下では、まず、画像処理装置の構成について説明した後、具体的な形状データ処理プログラムについて説明する。
図１は、本実施形態の画像処理装置の構成を示すブロック図である。ＣＰＵ１は、ＲＡＭ３をワークメモリとして、ＲＯＭ２およびハードディスクドライブ（ＨＤＤ）５に格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。そして、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス等のバス１３を介して各構成を制御する。さらに、ＣＰＵ１は、後述する形状データ処理プログラム、メディアリーダードライバを含む各種プログラムを実行する。ＣＰＵ１は、バス１３およびＨＤＤインターフェース（Ｉ／Ｆ）４を介してＨＤＤ５にアクセスする。ＨＤＤ  Ｉ／Ｆ４は、ＨＤＤ５や光ディスクドライブ等の二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインターフェースである。ＣＰＵ１は、ＨＤＤ  Ｉ／Ｆ４を介して、ＨＤＤ５からのデータ読み出し、およびＨＤＤ５へのデータ書き込みが可能である。また、ＣＰＵ１は、後述する処理のユーザーインターフェースや処理結果をグラフィックアクセラレータ１１を介してディスプレイ１２に表示する。さらに、ＣＰＵ１は、ユーザーからの指示をＵＳＢインターフェース（Ｉ／Ｆ）８に接続されたキーボード９、マウス１０を介して入力する。また、ＣＰＵ１は、形状データをメディアインターフェース（Ｉ／Ｆ）６を介してメディアリーダー７より入力する。
【００１２】
＜実施形態１のグラフィカルユーザーインターフェース＞
上記構成において、形状データ処理プログラムは次の様に動作する。まず、ＨＤＤ５に格納されている形状データ処理プログラムが、キーボード９及びマウス１０を介したユーザーの指示によりＣＰＵ１にて実行され、例えば図２に示すアプリケーションウィンドウ２１がディスプレイ１２上に表示される。アプリケーション画面のメニューリスト２２は、ユーザーが形状データの読み込みもしくはアプリケーションの終了を指示するグラフィカルユーザーインターフェースである。また、形状表示ウィンドウ２３は、読み込まれた形状データを３次元形状として表示するウィンドウである。また、周波数特性表示ウィンドウ２４は、読み込まれた形状データを空間周波数解析し、その結果を示すグラフを表示する。周波数閾値指定スクロールバー２５は、ユーザーがマウス１０を用いて所望の周波数閾値を指定するグラフィカルユーザーインターフェースである。補正形状表示ウィンドウ２６には、本アプリケーションにより分離された３次元形状を表示する。
【００１３】
＜画像処理装置の処理動作概要＞
以下、形状データ処理プログラムの具体的な処理について、図３の構成図にもとづき説明する。
この画像処理装置は、ＣＰＵ１が形状データ処理プログラムを実行することにより、形状データ入力部３１と、分離情報指定部３２と、周波数閾値決定部３３と、形状分離部３４と、形状補正部３５として動作する。また、分離情報指定部３２は、第１の表示部３６と、操作入力部３７と、第２の表示部３８とを有している。
形状データ入力部３１は、形状データを読み込む。具体的には、ユーザーがアプリケーション画面のメニューリスト２２から画像ファイル読み込み（図２のメニュー２２中「奥行き情報を読み込む」に相当）を選択し、処理対象の画像ファイルを設定する。形状データ入力部３１は、メディアに格納されている画像ファイルをメディアリーダー７とメディアＩ／Ｆ６を介して読み出し、画像ファイルに対応する形状データをＲＡＭ３に転送する。さらに、形状データ入力部３１は、分離情報指定部３２に指示して、ディスプレイ１２上の図２の形状表示ウィンドウ２３に形状データに応じた画像を表示させる。ここで、読み込まれた形状データは、表面凹凸と歪みが混在したデータである。
【００１４】
分離情報指定部３２は、ユーザーがマウス１０を用いて入力した指示に応じて、対象物体の形状データから歪み成分を分離するための周波数閾値を指定する。具体的には、まず、分離情報指定部３２は、形状データ入力部３１で入力された形状データの奥行きデータをもとにその周波数特性を算出し、その結果を第１の表示部３６を用いて周波数特性表示ウィンドウ２４にプロット表示させる。次に、ユーザーは、周波数特性表示ウィンドウ２４に表示された情報をもとに、所望の周波数閾値を、周波数閾値指定スクロールバー２５によって指定する。この指示は、指示入力部３７を介して分離情報指定部３２に入力される。また、第２の表示部３８は、後述する処理により補正された形状を補正形状表示ウィンドウ２７に表示させる。当該処理の具体的な動作は後述する。
【００１５】
周波数閾値決定部３３は、分離情報指定部３２により指定された形状データをもとに、周波数の閾値を決定する。本実施形態では、分離情報指定部３２が出力するユーザー指定の周波数閾値を、そのまま形状データの分離に用いる周波数閾値（分離情報）として決定している。
形状分離部３４は、周波数閾値決定部３３により決定された閾値情報をもとに形状データから歪み成分を分離する。当該処理における具体的な動作は後述する。
形状補正部３５は、分離された歪み成分に基づいて形状データを補正し、補正した形状データに応じた画像を形状表示ウィンドウ２３に表示させる。
【００１６】
この形状補正においては、入力された形状データと、形状分離部３４にて分離された形状との差分をとることで形状の補正を行ってもよい。もしくは、形状分離部３４にて分離された形状を平面へマッピングする射影変換等の幾何変換式を求めた後で、その変換式を入力された形状データに適用してもよい。
さらに、ユーザーが、補正された形状データが所望のものか否かを判断するようにしてもよい。ユーザーの所望のものでない場合には、再度形状データを指定する処理から操作をやり直し、所望のものであれば、ユーザーがメニューリスト２２から「奥行き情報を保存」を選択し、処理を終了させてもよい。
【００１７】
なお、図３に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００１８】
＜周波数特性算出処理＞
以下、分離情報指定部３２における周波数特性算出処理について、図４のフローチャートをもとに説明する。
Ｓ１では、分離情報指定部３２は、形状データｆ（ｘ，ｙ）を空間周波数変換し、Ｆ（ｕ，ｖ）を計算する。具体的には、分離情報指定部３２は、次の式（１）によってＦ（ｕ，ｖ）を求める。
Ｆ（ｕ，ｖ）＝ＦＦＴ（ｆ（ｘ，ｙ））      （１）
ここで、ｘは画像の横画素位置、ｙは画像の縦画素位置、ｕは画像の横方向周波数、ｖは画像の縦方向周波数を表す。また、ＦＦＴはフーリエ変換を表す。
Ｓ２では、分離情報指定部３２は、Ｆ（ｕ，ｖ）のパワースペクトラムＰ（ｕ，ｖ）を計算する。具体的には、分離情報指定部３２は、次の式（２）によってパワースペクトラムＰ（ｕ，ｖ）を求める。
Ｐ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２      （２）
ここで、｜Ｆ（ｕ，ｖ）｜はフーリエ変換結果Ｆ（ｕ，ｖ）の絶対値を表す。
【００１９】
Ｓ３では、二次元フーリエパワースペクトルＰ（ｕ，ｖ）を一次元化し、Ｐ’（ｒ）を計算する。本実施形態では、円周方向に一次元化するが、本発明はこれに限定されない。具体的には、分離情報指定部３２は、次の式（３）によってＰ’（ｒ）を求める。
【数１】
2018018166.tif 000003
Ｓ４では、分離情報指定部３２は、Ｓ３で算出したＰ’（ｒ）を周波数特性表示ウィンドウ２４に描写する。横軸はｒ、縦軸はＰ’（ｒ）である。
ユーザーは、周波数特性表示ウィンドウ２４に表示された情報をもとに、周波数閾値指定スクロールバー２５を用いて周波数閾値を指定する。
【００２０】
図５は本実施形態におけるユーザーの周波数閾値指定の一例である。一般的に文化財等のたわみ等の歪み成分は、周波数解析上では低周波成分に相当する。したがって、図５の表示を見ることにより、ユーザーは、形状データ中、図５の低周波のピーク成分が歪み成分であり、高周波の振動成分が表面凹凸成分であると認識することができる。このため、ユーザーが、図５に示すように閾値ｔｈ（周波数閾値）を低周波側のピークと高周波側の成分とを分離する位置に設定することができる。このように指定された周波数閾値により、周波数閾値決定部３３は周波数閾値ｔｈを決定することができ、これにより文化財のたわみ等の歪み成分と表面凹凸成分を分離することができる。
【００２１】
＜形状分離処理詳細＞
以下、形状分離部３４における形状分離処理について、図６のフローチャートを用いて詳述する。
Ｓ１１では、形状分離部３４は、図４のステップＳ３において指定された閾値ｔｈを用いて周波数フィルタｆｉｌｔＨ、ｆｉｌｔＬを作成する。なお、ｆｉｌｔＨが高周波フィルタ、ｆｉｌｔＨ、ｆｉｌｔＬが低周波フィルタである。ｆｉｌｔＨ、ｆｉｌｔＬの一例は、具体的には以下の式（４）及び式（５）で与えられる。
【数２】
2018018166.tif 000004
【００２２】
図７にｆｉｌｔＨ、ｆｉｌｔＬの周波数特性の模式図を示す。図中の黒の領域が通過域を示しており、白の領域が遮断域を示している。なお、本発明は式（４）及び式（５）のフィルタ形状に限定されず、例えばガウス関数等を用いてもよい。
Ｓ１２では、形状分離部３４は、以下の式（６）及び式（７）により、周波数フィルタｆｉｌｔＨ、ｆｉｌｔＬをＦ（ｕ，ｖ）に乗算する。
【数３】
2018018166.tif 000005
Ｓ１３では、形状分離部３４は、Ｓ１２で得られたＦｈ、Ｆｌを逆フーリエ変換し、分離された形状データを得る。得られた結果の一例を図８に示す。図８（ａ）はＦｌの逆フーリエ変換結果であり、図８（ｂ）はＦｈの逆フーリエ変換結果である。すなわち、図８（ａ）には文化財のたわみ等の歪み成分だけが、図８（ｂ）には表面凹凸成分だけが分離されている。
【００２３】
なお、分離された形状データ（図８（ｂ））は、形状分離部３４が、Ｆｌの逆フーリエ変換結果に図８（ａ）の曲面から本来のたわみ等の歪みのない平面への幾何変換を実行することで求めてもよい。また、本実施形態はフーリエ変換した後にフィルタを乗算することで周波数分離を実現しているが、本発明はこれに限定されない。形状分離部３４が、フーリエ変換する前の実空間信号ｆ（ｘ，ｙ）に対して、ハイパスおよびローパスフィルタをたたみこみ演算することで、上述した処理を実施してもよい。
本実施形態では、形状データから第１の形状成分と第２の形状成分とを分離する情報（分離情報）として、例えば形状データの空間周波数の閾値を用い、ユーザーから周波数の閾値を指示入力させている。これにより、ユーザーが適切な周波数の閾値を設定することにより、対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離することができる。
【００２４】
実施形態２
本実施形態では、ユーザーが形状データ上のたわみ等の歪み領域を明示的に指定するユーザーインターフェースを備えることによって、たわみ等の歪み成分の分離を容易に行う。実施形態１では、周波数閾値をユーザーが直接入力していたが、閾値をどのように設定すれば所望の結果が得られるのかを直観的に把握できたほうが望ましい。このため、本実施形態では、分離情報としてたわみ等の歪みのある形状データの領域をグラフィカルユーザーインターフェースにより指定（指示入力）することで、より直観的に形状分離を行うことができるようにしている。例えば掛け軸等の文化財等の歪みの特徴として、紙端等の局所的な領域に曲がりが発生する場合が多い。このため、本実施形態では、局所的な歪みのある形状データ上の領域をグラフィカルユーザーインターフェースで指定することで、歪みと表面凹凸の分離を行う。以下、実施形態１との差分について説明する。
【００２５】
＜実施形態２のグラフィカルユーザーインターフェース＞
図９（ａ）及び（ｂ）は、本実施形態における形状データ処理プログラムの実行により、ディスプレイ１２に表示されるグラフィカルインターフェースを示している。当該プログラム起動後、分離情報指定部３２は、アプリケーションウィンドウ７１をディスプレイ１２上に表示させる。アプリケーション画面７１のメニューリスト７２は、ユーザーが形状データの読み込みもしくはアプリケーションの終了を指示するグラフィカルユーザーインターフェースである。また、形状表示ウィンドウ７３は、読み込まれた形状データを３次元形状として表示するウィンドウである。また、当該ウィンドウにはマウス１０を用いてたわみ等の歪み成分を指定するグラフィカルユーザーインターフェースを備えており、図中の太線はユーザーにより指定されたたわみ等の歪みの領域を示している。さらに、補正形状表示ウィンドウ７４は、当該アプリケーションの処理により分離された形状データに応じた画像を表示するウィンドウである。
【００２６】
＜画像処理装置の処理動作概要＞
まず、形状データ入力部３１は、形状データを読み込む。具体的には、ユーザーがアプリケーション画面のメニューリスト７２から画像ファイル読み込み（「奥行き情報を読み込む」に相当）を選択し、処理対象の画像ファイルを設定する。形状データ入力部３１は、メディアに格納されている画像ファイルをメディアリーダー７とメディアＩ／Ｆ６を介して読み出し、画像ファイルに対応する形状データをＲＡＭ３に転送する。さらに、形状データ入力部３１は、分離情報指定部３２に指示して、ディスプレイ１２に図９の形状表示ウィンドウ７３に形状データに応じた画像を表示させる。
【００２７】
分離情報指定部３２は、ユーザーのマウス１０を用いた操作入力に応じて、形状表示ウィンドウ７３に表示されている形状データ中の歪みのある領域を指定する。まず、分離情報指定部３２は、第１の表示部３６に、形状データ入力部３１で入力された形状データを形状表示ウィンドウ７３に表示させる。次に、ユーザーは、例えばマウス１０を用いてたわみ等の歪みのある領域を指定する。指定された形状データの領域を示す情報は、指示入力部３７を介して分離情報指定部３２に入力される。なお、表示された形状データの凸部分をたわみ等の歪みのある領域として指定してもよい。さらに、第２の表示部３８では、後述する処理により補正された形状を補正形状表示ウィンドウ７４に表示する。図９の（ａ）及び（ｂ）は、たわみ等の歪みのある領域の指定例及び分離結果例である。
【００２８】
周波数閾値決定部３３は、指定されたたわみ等の歪みのある領域をもとに、形状成分を分離するための周波数閾値を決定する（周波数閾値決定処理）。当該処理の具体的な動作は後述する。
形状分離部３４は、周波数閾値決定部３３により決定された閾値情報をもとに形状データから歪み成分を分離する。当該処理は実施形態１と同様である。
形状補正部３５は、形状分離部３４により分離された歪み成分に基づいて形状データを補正し、補正した形状データを補正形状表示ウィンドウ７４に表示させる。
さらに、ユーザーが、補正された形状データが所望のものか否かを判断するようにししてもよい。ユーザーの所望のものでない場合には、再度形状データを指定する処理から操作をやり直し、所望のものであれば、ユーザーがメニューリスト２２から「奥行き情報を保存」を選択し、処理を終了させる。
【００２９】
＜周波数閾値決定処理＞
以下、周波数閾値決定部３３における周波数閾値決定処理について図１０のフローチャートをもとに説明する。
Ｓ２１では、周波数閾値決定部３３は、上述のようにユーザーが選択した形状データの領域を示す情報から、以下の式（８）により、選択された領域の面積ｒを取得する。
【数４】
2018018166.tif 000006
ここで、Ｕはユーザーが指定した領域を表しており、式（８）はユーザーの指定した領域内の画素数をカウントすることに相当する。
【００３０】
Ｓ２２では、周波数閾値決定部３３は、以下の式（９）により、画像（形状データに対応する画像データ中の対象物体の画像）の総面積ａを計算する。
【数５】
2018018166.tif 000007
ここで、ｗは形状データに対応する画像の横画素数、ｈは形状データに対応する画像の縦画素数を表す。
【００３１】
Ｓ２３では、周波数閾値決定部３３は、Ｓ２１で取得したｒ及び式（９）で計算したａをもとに、周波数の閾値を決定する。具体的には、例えば、閾値ｔｈをａ／２ｒとすることで求めてもよい。
本実施形態では、ユーザーが、分離情報として歪みを有する形状データ上の領域をグラフィカルユーザーインターフェースを用いて直接指定する実施形態を述べた。これにより、ユーザーは、より直観的に形状データを分離することができる。すなわち、対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離することができる。
【００３２】
実施形態３
実施形態２では、ユーザーが、たわみ等の歪みのある形状データ上の領域を指定することで、ユーザーが直観的に形状分離を実施できた。しかしながら、形状のたわみ等の歪みが対象物体全体に及んでいる場合は、実施形態２のように歪みのある形状データ上の領域を指定することが困難になる。このため、本実施形態では、分離情報として、例えば形状データ上の変曲点等の特徴的な点を指定することで、たわみ等の歪み成分と表面凹凸を分離する。
【００３３】
＜実施形態３のグラフィカルユーザーインターフェース＞
図１１は、本実施形態における形状データ処理プログラムの実行により、ディスプレイ１２に表示されるグラフィカルインターフェースを示している。当該プログラム起動後、分離情報指定部３２は、アプリケーションウィンドウ８１をディスプレイ１２上に表示させる。アプリケーション画面のメニューリスト８２は、ユーザーが形状データファイルの読み込みもしくはアプリケーションの終了を指示するグラフィカルユーザーインターフェースである。また、形状表示ウィンドウ８３は、読み込まれた形状データを３次元形状として表示するウィンドウである。当該ウィンドウにはマウス１０を用いてたわみ等の歪みの特徴点を指定するグラフィカルユーザーインターフェースを備えており、図中の黒点はユーザーにより指定された特徴点を示している。また、当該アプリケーションの処理により分離された形状データは、例えば異なる表示色を用いて、読み込まれた形状データに重畳させて形状表示ウィンドウ８３に表示される。
【００３４】
＜画像処理装置の処理動作概要＞
まず、形状データ入力部３１は、形状データを読み込む。具体的には、ユーザーがアプリケーション画面のメニューリスト８２から画像ファイル読み込み（「奥行き情報を読み込む」に相当）を選択し、処理対象の画像ファイルを設定する。形状データ入力部３１は、メディアに格納されている画像ファイルをメディアリーダー７とメディアＩ／Ｆ６を介して読み出し、画像ファイルに対応する形状データをＲＡＭ３に転送する。さらに、形状データ入力部３１は、分離情報指定部３２に指示して、ディスプレイ１２に図１１の形状表示ウィンドウ８３に形状データに応じた画像を表示させる。
【００３５】
分離情報指定部３２は、ユーザーのマウス１０を用いた操作入力に応じて、形状表示ウィンドウ８３に表示されている形状データ中の変曲点を指定する。まず、分離情報指定部３２は、第１の表示部３６にて、形状データ入力部３１で入力された形状データを形状表示ウィンドウ８３に表示する。ここで、形状表示ウィンドウ８３には、図１１のように３次元形状データを表示してもよいし、画像データを表示してもよい。次に、ユーザーは、例えばマウス１０を用いて形状データ中の変曲点を指定する。指定された変曲点を示す情報は、指示入力部３７を介して分離情報指定部３２に入力される。さらに、第２の表示部３８は、後述する処理により補正された形状を形状表示ウィンドウ８３に、重畳して表示する。なお、変曲点は、前述したようにユーザーが任意に選択してもよいが、アプリケーションが変曲点候補を自動で生成し、ユーザーに選択させるようにしてもよい。例えば、変曲点候補は、入力された形状データを縦方向または横方向に２次微分し、その値が０となる点を候補としてもよい。
【００３６】
周波数閾値決定部３３では、指定された変曲点をもとに、形状成分を分離するための周波数閾値を決定する（周波数閾値決定処理）。当該処理の具体的な動作は後述する。
形状分離部３４では、周波数閾値決定部３３で決定された閾値情報をもとに形状データから歪み成分を分離する。当該処理は実施形態１と同様である。
形状補正部３５は、形状分離部３４により分離された歪み成分に基づいて形状データの形状を補正し、補正した形状表示ウィンドウ８３に表示させる。
さらに、ユーザーが、補正された形状データが所望のものか否かを判断するようにししてもよい。ユーザーの所望のものでない場合には、再度形状データを指定する処理から操作をやり直し、所望のものであれば、ユーザーがメニューリスト２２から「奥行き情報を保存」を選択し、処理を終了させる。
【００３７】
＜周波数閾値決定処理＞
以下、周波数閾値決定部３３における周波数閾値決定処理について、図１２のフローチャートを用いて説明する。
Ｓ３１では、周波数閾値決定部３３は、各変曲点の距離を計算する。具体的には、形状表示ウィンドウ８３中の任意の変曲点２点をＡ、Ｂとし、その座標をそれぞれ（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とすると、ＡとＢの間の距離ｄは、以下の式（１０）で求められる。
【数６】
2018018166.tif 000008
【００３８】
Ｓ３２では、周波数閾値決定部３３は、式（１０）で算出した任意の２点間の距離の最小値Ｍを計算する。
Ｓ３３では、周波数閾値決定部３３は、Ｓ３２で計算した最小値Ｍから、形状分離のための周波数の閾値ｔｈを計算する。この閾値ｔｈは、例えば、以下の式（１１）を用いて計算することができる。ここで、ｗは画像の幅、ｈは画像の高さを表す。
【数７】
2018018166.tif 000009
【００３９】
本実施形態では、分離情報として形状データ上の変曲点等の特徴的な点用い、特徴的な点をグラフィカルユーザーインターフェースを用いてユーザーから指示入力させている。これにより、被写体全体に及ぶようなたわみ等の歪み成分があっても、対象物体につき取得された形状データから、対象物体が本来有する形状を適切に分離することができる。また、ユーザー直接指示入力することにより、直観的に分離を行うことができる。
なお、上述の２以上の実施形態における処理を組み合わせて実行するようにしてもよい。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４０】
３１…形状データ入力部、３２…分離情報指定部、３３…周波数閾値決定部、３４…形状分離部、３５…形状補正部、３６…第１の表示部、３７…操作入力部、３８…第２の表示部
【図１】
2018018166.tif 000010
【図２】
2018018166.tif 000011
【図３】
2018018166.tif 000012
【図４】
2018018166.tif 000013
【図５】
2018018166.tif 000014
【図６】
2018018166.tif 000015
【図７】
2018018166.tif 000016
【図８】
2018018166.tif 000017
【図９】
2018018166.tif 000018
【図１０】
2018018166.tif 000019
【図１１】
2018018166.tif 000020
【図１２】
2018018166.tif 000021