(57)【特許請求の範囲】
【請求項１】
多方向から物体が撮像されている複数の画像を取得する取得部と、
前記画像の品質を示す値を算出する算出部と、
前記画像の前記品質を示す値に応じて、前記物体の表面形状を計測するための処理を定める判定部と、
定められた前記処理を実行する実行部と、
を備え、
前記算出部は、前記画像の前記品質を示す値として、前記画像同士のオーバーラップ率を示す値を算出する画像処理装置。
【請求項２】
前記判定部は、前記画像の前記品質を示す値が所定の品質条件を満たしている場合、前記画像の前記品質を示す値に応じて前記画像を補正する処理を、前記実行部に実行させる請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記画像の前記品質を示す値が所定の条件を満たしていない場合、前記画像の前記品質を示す値に応じて前記画像の撮り直しを案内する情報の出力を、前記実行部に実行させる請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記算出部は、前記画像の前記品質を示す値として、前記画像のブレの度合いを示す値を算出する請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記判定部は、前記画像の前記ブレの度合いを示す値に基づいて、前記画像に施すフィルタ処理を定め、
前記実行部は、定められた前記フィルタ処理を前記画像に施す請求項４に記載の画像処理装置。
【請求項６】
多方向から物体が撮像された複数の画像を出力する撮像装置と、
請求項１から請求項５のいずれか一項に記載の画像処理装置と、
前記画像処理装置が処理を実行した結果を出力する出力装置と、
を備える画像処理システム。
【請求項７】
画像処理装置における画像処理方法であって、
算出部が、多方向から物体が撮像されている複数の画像の品質を示す値を算出し、
判定部が、前記画像の品質を示す値に応じて、前記物体の表面形状を計測するための処理を定め、
実行部が、定められた前記処理を実行し、
前記算出部は、前記画像の前記品質を示す値として、前記画像同士のオーバーラップ率を示す値を算出する画像処理方法。
【請求項８】
コンピュータに、
多方向から物体が撮像されている複数の画像の品質を示す値を算出する手順と、
前記画像の品質を示す値に応じて、前記物体の表面形状を計測するための処理を定める手順と、
定められた前記処理を実行する手順と、
を実行させ、
前記算出する手順において、前記画像の前記品質を示す値として、前記画像同士のオーバーラップ率を示す値を算出させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。
本願は、２０１３年３月２６日に日本に出願された特願２０１３−０６４８２９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多方向から物体が撮像されている複数の画像（以下、「多視点画像」という。）に基づいて、その物体の表面形状を計測して復元する３次元復元技術がある。近年、３次元復元技術の発達に伴い、復元された物体の表面形状を表すメッシュモデル（３次元形状モデル）が、多視点画像のみに基づいて、高精度に生成されるようになった。【０００３】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】運天弘樹，外３名，ステレオカメラ移動撮影によるＶＲモデル自動生成手法の検討  ‐Ｓｔｅｒｅｏ Ｍｏｖｉｎｇ‐ｓｈｏｔＭｏｄｅｌｉｎｇ Ｓｙｓｔｅｍ (ＳＭ２Ｓ) ‐，日本バーチャルリアリティ学会論文誌 Ｖｏｌ．１２，Ｎｏ．２，２００７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像が適切に行われなかった場合、ユーザは、多視点画像を撮り直す必要がある。撮り直した結果、画像処理装置（ステレオカメラ）は、多視点画像の撮像枚数を不要に多くさせてしまうことがある、という問題がある。【０００６】
本発明は、前記の点に鑑みてなされたものであり、多視点画像の撮像枚数を不要に多くさせないようにすることができる画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一態様の画像処理装置は、多方向から物体が撮像されている複数の画像を取得する取得部と、前記画像の品質を示す値を算出する算出部と、前記画像の前記品質を示す値に応じて、前記物体の表面形状を計測するための処理を定める判定部と、定められた前記処理を実行する実行部とを備える。【０００８】
本発明の第一態様の画像処理装置においては、前記判定部は、前記画像の前記品質を示す値が所定の品質条件を満たしている場合、前記画像の前記品質を示す値に応じて前記画像を補正する処理を、前記実行部に実行させることが好ましい。【０００９】
本発明の第一態様の画像処理装置においては、前記判定部は、前記画像の前記品質を示す値が所定の条件を満たしていない場合、前記画像の前記品質を示す値に応じて前記画像の撮り直しを案内する情報の出力を、前記実行部に実行させることが好ましい。【００１０】
本発明の第一態様の画像処理装置においては、前記算出部は、前記画像の前記品質を示す値として、前記画像のブレの度合いを示す値を算出することが好ましい。【００１１】
本発明の第一態様の画像処理装置においては、前記判定部は、前記画像の前記ブレの度合いを示す値に基づいて、前記画像に施すフィルタ処理を定め、前記実行部は、定められた前記フィルタ処理を前記画像に施すことが好ましい。【００１２】
本発明の第一態様の画像処理装置においては、前記算出部は、前記画像の前記品質を示す値として、前記画像同士のオーバーラップ率を示す値を算出することが好ましい。【００１３】
本発明の第二態様の画像処理システムは、多方向から物体が撮像された複数の画像を出力する撮像装置と、第一態様の画像処理装置と、前記画像処理装置が処理を実行した結果を出力する出力装置とを備える。【００１４】
本発明の第三態様の画像処理方法は、画像処理装置に用いられる画像処理方法であって、算出部が、多方向から物体が撮像されている複数の画像の品質を示す値を算出し、判定部が、前記画像の品質を示す値に応じて、前記物体の表面形状を計測するための処理を定め、実行部が、定められた前記処理を実行する。【００１５】
本発明の第四態様の画像処理プログラムは、コンピュータに、多方向から物体が撮像されている複数の画像の品質を示す値を算出する手順と、前記画像の品質を示す値に応じて、前記物体の表面形状を計測するための処理を定める手順と、定められた前記処理を実行する手順とを実行させる。
【発明の効果】
【００１６】
本発明の態様によれば、判定部は、多視点画像の品質に応じて、物体の表面形状を計測するための処理を定める。実行部は、定められた処理を実行する。これにより、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムは、多視点画像の撮像枚数を不要に多くさせないようにすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態における、画像処理システムの構成例を示すブロック図である。
【図２】本発明の一実施形態における、画像情報の例を示す表である。
【図３】本発明の一実施形態における、特徴点に基づいて画像に定めた領域の例を示す図である。
【図４】本発明の一実施形態における、画像のブレの度合いに基づいて処理を定める動作手順を示すフローチャートである。
【図５】本発明の一実施形態における、画像同士のオーバーラップ率に基づいて処理を定める動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、画像処理システムの構成例が、ブロック図により示されている。画像処理システムは、撮像装置１０００と、画像処理装置２０００と、出力装置３０００とを備える。なお、撮像装置１０００と、出力装置３０００は、別体でもよいし、出力装置付きの撮像装置Ｃ１として一体に構成されてもよい。
【００１９】
撮像装置１０００は、表面形状を計測する対象の物体（例えば、埴輪像）を周回するユーザにより保持されて、移動可能である。撮像装置１０００は、このユーザに操作される（例えば、シャッタボタンが押下される）ことにより、表面形状を計測する対象の物体を多方向から撮像する。
【００２０】
撮像された画像は、静止画像又は動画像のいずれの形式で撮像されてもよい。また、撮像装置１０００は、１回の操作で１枚の画像を撮像してもよい。以下の説明では、ステレオペアを構成する複数の画像（以下、「ステレオ画像」という。）を、複数のイメージセンサ及び光学系により１回の操作で撮像し、撮像したステレオ画像を画像処理装置２０００に出力する場合を説明する。
【００２１】
なお、撮像装置１０００は、センサを有していてもよい。このセンサは、例えば、対象の物体を撮像する際に、自装置にかかる加速度を検出する。撮像装置１０００は、検出された加速度を示す情報を、ステレオ画像に対応付けて、画像処理装置２０００に出力してもよい。また、撮像装置１０００は、対象の物体を撮像した際にカメラパラメータとして使用していた、画角を示す情報、及び、シャッタ速度を示す情報を、ステレオ画像に対応付けて、画像処理装置２０００に出力してもよい。
【００２２】
画像処理装置２０００は、取得部２１００と、記憶部２２００と、算出部２３００と、判定部２４００と、実行部２５００とを備える。取得部２１００は、ステレオ画像を撮像装置１０００から取得し、取得したステレオ画像を構成する各画像に、画像番号を付加する。取得部２１００は、ステレオ画像を構成する画像の画素値情報を、画像情報（図２を用いて後述する）の項目として、画像番号毎に記憶部２２００に記憶させる。
【００２３】
取得部２１００は、加速度を示す情報、画角を示す情報、及び、シャッタ速度を示す情報を、撮像装置１０００から取得してもよい。取得部２１００は、加速度を示す情報、画角を示す情報、及び、シャッタ速度を示す情報を、画像情報の項目として、画像番号毎に記憶部２２００に記憶させてもよい。
【００２４】
記憶部２２００は、画像情報を記憶する。画像情報の項目には、画像番号と、画素値情報と、領域とがある。ここで、画素値情報は、２次元画像であるステレオ画像を構成する画像の画素値の情報である。また、領域は、ステレオ画像を構成する画像に定められた領域である。この定められた領域の詳細については、図３を用いて後述する。さらに、画像情報の項目には、撮像装置１０００から取得した、加速度を示す情報、画角を示す情報、及び、シャッタ速度を示す情報が、含まれていてもよい。
【００２５】
図２には、画像情報の例が、表により示されている。図２では、画像番号「Ｓｐ１」と、画素値情報「Ｐ１」と、領域「Ｂ１」と、加速度「Ａ１」と、画角「Ｖ１」と、シャッタ速度「Ｅ１」とが対応付けられている。また、画像番号「Ｓｐ２」と、画素値情報「Ｐ２」と、領域「Ｂ２」と、加速度「Ａ２」と、画角「Ｖ２」と、シャッタ速度「Ｅ２」とが対応付けられている。また、画像番号「Ｓｐ３」と、画素値情報「Ｐ３」と、領域「Ｂ３」と、加速度「Ａ３」と、画角「Ｖ３」と、シャッタ速度「Ｅ３」とが対応付けられている。
【００２６】
図１に戻り、画像処理システムの構成例の説明を続ける。算出部２３００は、ブレ算出部２３１０と、オーバーラップ算出部２３２０とを有する。ブレ算出部２３１０には、画像情報（図２を参照）が、取得部２１００から入力される。ブレ算出部２３１０は、画像の品質を示す値として、画像のブレの度合いを示す値を、画素値情報に基づいて算出する。ここで、ブレ算出部２３１０は、画素値情報（２次元画像であるステレオ画像を構成する画像の画素値の情報）に基づいて、画像のブレの度合いを示す値を算出するので、３次元画像の画素値の情報に基づいて算出する場合と比較して少ない処理量で、画像のブレの度合いを示す値を算出することができる。
【００２７】
ブレ算出部２３１０は、例えば、画素値情報に基づいて画素値同士のマッチングを画像毎に実行することで、画像のブレの度合いを示す値を算出してもよい。また、ブレ算出部２３１０は、加速度に基づいて、撮像装置１０００の単位時間あたりの移動量を算出し、算出した当該移動量と、撮像装置１０００の画角及びシャッタ速度とに基づいて、画像のブレの度合いを示す値を算出してもよい。
【００２８】
オーバーラップ算出部２３２０には、画像情報（図２を参照）が、取得部２１００から入力される。オーバーラップ算出部２３２０は、画像の品質を示す値として、撮像された画像同士のオーバーラップ率（重なり率）を示す値を、画素値情報（例えば、画像における特徴点の画素値及び座標を示す情報）に基づいて算出する。ここで、オーバーラップ算出部２３２０は、画素値情報（２次元画像であるステレオ画像を構成する画像の画素値の情報）に基づいて、画像同士のオーバーラップ率を示す値を算出するので、３次元画像の画素値の情報に基づいて算出する場合と比較して少ない処理量で、画像同士のオーバーラップ率を示す値を算出することができる。
【００２９】
図３には、特徴点に基づいて画像に定めた領域の例が示されている。オーバーラップ算出部２３２０（図１を参照）は、ステレオ画像の左側の画像、及び、当該ステレオ画像の右側の画像の少なくとも一方から、特徴点群ＦＮ（Ｎは、ステレオ画像のペア数を示す符号）を抽出する。
【００３０】
オーバーラップ算出部２３２０は、今回取得した画像ＳｐＮから抽出した特徴点群ＦＮと、前回までに取得した画像群Ｓｐ（ｎ−１）（ｎは、１〜Ｎ）から抽出した特徴点群Ｆ（ｎ−１）との間で、同じ３次元点による特徴点同士を、画像毎に対応付ける。この対応付けは、例えば、ステレオ画像の左側の画像同士、又は、ステレオ画像の右側の画像同士に対して実行されてもよい。図３では、画像Ｓｐ１〜ＳｐＮは、一例として、いずれもステレオ画像の左側の画像が示されている。
【００３１】
オーバーラップ算出部２３２０は、対応付けに成功した特徴点群Ｍｎ（ｎは、１〜Ｎ）を含む領域Ｂｎを、画像毎に定める。この定められた領域の形状は、例えば、矩形でもよい。オーバーラップ算出部２３２０は、定めた領域Ｂｎに基づいて、画像同士のオーバーラップ率を示す値Ｒｎを、画像毎に算出する。ここで、オーバーラップ率を示す値は、例えば、特徴点に基づいて画像に定めた領域Ｂｎの面積が、当該領域が定められた画像Ｓｐｎのフレーム（全領域）の面積に占める比率でもよい。オーバーラップ算出部２３２０は、領域Ｂｎを示す情報（例えば、領域の四隅の座標）を画像情報（図２を参照）に含めることで、画像情報を更新する。オーバーラップ算出部２３２０は、更新した画像情報を、記憶部２２００に記憶させる。
【００３２】
図１に戻り、画像処理システムの構成例の説明を続ける。判定部２４００は、ブレ判定部２４１０と、オーバーラップ判定部２４２０とを有する。実行部２５００は、補正部２５１０と、計測部２５２０と、案内部２５３０とを有する。補正部２５１０は、第１補正部２５１１と、第２補正部２５１２とを有する。
【００３３】
ブレ判定部２４１０には、画像のブレの度合いを示す値と、画像情報とが、オーバーラップ算出部２３２０から入力される。ブレ判定部２４１０は、画像のブレの度合いに基づいて画像の品質を判定し、この判定結果に応じて、実行部２５００が実行する処理を定める。
【００３４】
ブレ判定部２４１０は、画像のブレの度合いを示す値が、予め定められた第１条件を満たしている場合、ブレを抑えて撮り直すよう案内するためのトリガー信号（以下、「第１トリガー信号」という。）を、案内部２５３０に出力する。ここで、第１条件とは、画像補正をしても物体の表面形状を精度よく計測することができない程度に、画像の品質が低い（画像のブレの度合いが大きい）という条件である。
【００３５】
また、ブレ判定部２４１０は、画像のブレの度合いを示す値が、第１条件を満たさず、且つ、予め定められた第２条件を満たしている場合、画像の品質を示す値に応じて画像を補正する処理を実行させるため、画像のブレの度合いを示す値と、画像情報の画像番号及び画素値情報とを、第１補正部２５１１に転送する。ここで、第２条件とは、所定の第１フィルタを用いて画像補正をすれば物体の表面形状を精度よく計測することができる程度に、画像の品質が高い（画像のブレの度合いが小さい）という条件である。
【００３６】
また、ブレ判定部２４１０は、画像のブレの度合いを示す値が、第１条件及び第２条件を満たさず、且つ、予め定められた第３条件を満たしている場合、画像の品質を示す値に応じて画像を補正する処理を実行させるため、画像のブレの度合いを示す値と、画像情報の画像番号及び画素値情報とを、第２補正部２５１２に転送する。ここで、第３条件とは、所定の第２フィルタを用いて画像補正をすれば物体の表面形状を精度よく計測することができる程度に、画像の品質が高い（画像のブレの度合いが小さい）という条件である。
【００３７】
また、ブレ判定部２４１０は、画像のブレの度合いを示す値が、第１〜第３条件をいずれも満たしていない場合、画像情報の画像番号及び画素値情報を、計測部２５２０に出力する。
【００３８】
オーバーラップ判定部２４２０には、画像同士のオーバーラップ率を示す値と、画像情報とが、オーバーラップ算出部２３２０から入力される。オーバーラップ判定部２４２０は、画像同士のオーバーラップ率、つまり、画像同士のオーバーラップの広さに基づいて画像の品質を判定し、この判定結果に応じて、実行部２５００が実行する処理を定める。
【００３９】
オーバーラップ判定部２４２０は、画像同士のオーバーラップ率を示す値が、予め定められた第４条件を満たしている場合、対象の物体を周回しながら撮像装置１０００を操作するユーザに、戻った位置から撮り直すよう案内するためのトリガー信号（以下、「第２トリガー信号」という。）を、案内部２５３０に出力する。ここで、第４条件とは、物体の表面形状を精度よく計測することができる程度まで画像同士がオーバーラップしておらず、画像の品質が低い（画像同士のオーバーラップ率が低い）という条件である。
【００４０】
一方、オーバーラップ判定部２４２０は、画像同士のオーバーラップ率を示す値が、第４条件を満たしていない場合、つまり、物体の表面形状を精度よく計測することができる程度まで画像同士がオーバーラップしており、画像の品質が高い（画像同士のオーバーラップ率が高い）場合、画像情報の画像番号及び画素値情報（図２を参照）を、計測部２５２０に出力する。
【００４１】
第１補正部２５１１は、所定の第１フィルタを用いて、画像情報の画素値情報に補正を施す。ここで、第１補正部２５１１は、画素値情報（２次元画像であるステレオ画像を構成する画像の画素値の情報）に補正を施すので、３次元画像の画素値の情報に補正を施す場合と比較して少ない処理量で、補正を施すことができる。第１補正部２５１１は、画像番号と、所定の第１フィルタを用いて補正した画素値情報とを、計測部２５２０に出力する。
【００４２】
第２補正部２５１２は、所定の第２フィルタを用いて、画像情報の画素値情報に補正を施す。ここで、第２補正部２５１２は、画素値情報（２次元画像であるステレオ画像を構成する画像の画素値の情報）に補正を施すので、３次元画像の画素値の情報に補正を施す場合と比較して少ない処理量で、補正を施すことができる。第２補正部２５１２は、画像番号と、所定の第２フィルタを用いて補正した画素値情報とを、計測部２５２０に出力する。
【００４３】
計測部２５２０は、画像情報の画像番号及び画素値情報（図２を参照）が、ブレ判定部２４１０又はオーバーラップ判定部２４２０から入力された場合、画像情報の画像番号及び画素値情報に基づいて、画像に撮像された物体の表面形状を計測する。一方、計測部２５２０は、画像情報の画像番号、及び補正された画素値情報が、第１補正部２５１１又は第２補正部２５１２から入力された場合、画像情報の画像番号、及び補正した画素値情報に基づいて、画像に撮像された物体の表面形状を計測する。
【００４４】
計測部２５２０は、例えば、位相限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づいて、物体の表面形状を計測し、計測した物体の表面形状を示すデプスマップ（奥行きマップ）を生成する。また、計測部２５２０は、デプスマップに基づいてメッシュモデル（３次元形状モデル）を生成し、生成したメッシュモデルを表す情報を、出力装置３０００に出力する。
【００４５】
案内部２５３０は、ブレ判定部２４１０から第１トリガー信号が入力された場合、ブレを抑えて撮り直すよう案内する情報を、画像形式で出力装置３０００に出力する。また、案内部２５３０は、ブレ判定部２４１０から第１トリガー信号が入力された場合、ブレを抑えて撮り直すよう案内する情報を、音声形式で出力装置３０００に出力してもよい。
【００４６】
案内部２５３０は、オーバーラップ判定部２４２０から第２トリガー信号が入力された場合、対象の物体を周回しながら撮像装置１０００を操作するユーザに、戻った位置から撮り直すよう案内する情報を、画像形式で出力装置３０００に出力する。また、案内部２５３０は、オーバーラップ判定部２４２０から第２トリガー信号が入力された場合、物体を周回しながら撮像装置を操作するユーザに、戻った位置から撮り直すよう案内する情報を、音声形式で出力装置３０００に出力してもよい。
【００４７】
出力装置３０００は、表示部３１００と、スピーカ部３２００（音出力部）とを有する。表示部３１００には、メッシュモデルを表す情報が、計測部２５２０から入力される。表示部３１００は、メッシュモデルを表す情報に基づいて、メッシュモデル（３次元形状モデル）を表す画像を表示する。
【００４８】
表示部３１００には、ブレを抑えて撮り直すよう案内する情報が、画像形式で案内部２５３０から入力される。表示部３１００は、ブレを抑えて撮り直すよう案内する情報（例えば、文字列「ブレを抑えて撮り直してください。」）を、画像形式で表示する。撮像装置１０００を操作するユーザは、この案内に従って、ブレを抑えて当該物体を撮り直すことにより、ブレが抑えられた当該物体の画像を撮像することができる。
【００４９】
表示部３１００には、戻った位置から撮り直すよう案内する情報が、画像形式で案内部２５３０から入力される。表示部３１００は、戻った位置から撮り直すよう案内する情報（例えば、文字列「戻った位置から撮り直してください。」）を、画像形式で表示する。対象の物体を周回しながら撮像装置１０００を操作するユーザは、この案内に従って、戻った位置から当該物体を撮り直すことにより、撮像した画像同士のオーバーラップ率を増やすことができる。
【００５０】
スピーカ部３２００には、ブレを抑えて撮り直すよう案内する情報が、音声形式で案内部２５３０から入力される。スピーカ部３２００は、ブレを抑えて撮り直すよう案内する情報（例えば、音声「ブレを抑えて撮り直してください。」）を発音する。撮像装置１０００を操作するユーザは、この案内に従って、ブレを抑えて当該物体を撮り直すことにより、ブレが抑えられた当該物体の画像を撮像することができる。
【００５１】
スピーカ部３２００は、戻った位置から撮り直すよう案内する情報（例えば、音声「戻った位置から撮り直してください。」）を発音する。対象の物体を周回しながら撮像装置１０００を操作するユーザは、この案内に従って、戻った位置から当該物体を撮り直すことにより、撮像した画像同士のオーバーラップ率を増やすことができる。
【００５２】
次に、画像の品質に基づいて処理を定める動作手順の例を説明する。
図４は、画像のブレの度合いに基づいて処理を定める動作手順を示すフローチャートである。この動作手順は、ステレオ画像が撮像される毎に実行されてもよい。
【００５３】
以下の説明では、閾値Ｄ０、閾値Ｄ１及び閾値Ｄ２のうち、閾値Ｄ０が最も大きな値であり、閾値Ｄ２が最も小さな値である。また、以下では、ステレオ画像の左側の画像のブレの度合いを「ＤＬ」と表記し、右側の画像のブレの度合いを「ＤＲ」と表記する。
【００５４】
（ステップＳ１）取得部２１００は、ステレオ画像を取得する。
（ステップＳ２）ブレ算出部２３１０は、ステレオ画像の左側の画像のブレの度合いＤＬを示す値と、ステレオ画像の右側の画像のブレの度合いＤＲを示す値とを算出する。
【００５５】
（ステップＳ３）ブレ判定部２４１０は、評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ０を超えているか否かを判定する。ここで、評価式ｆ１（ＤＬ，ＤＲ）の値は、例えば、ＤＬを示す値、又は、ＤＲを示す値のうち、小さい方の値でもよい。評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ０を超えている場合（ステップＳ３：Ｙｅｓ）、ブレ判定部２４１０は、ステップＳ７に処理を進める。一方、評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ０以下である場合（ステップＳ３：Ｎｏ）、ブレ判定部２４１０は、ステップＳ４に処理を進める。
【００５６】
（ステップＳ４）ブレ判定部２４１０は、評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ１を超えているか否かを判定する。評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ１を超えている場合（ステップＳ４：Ｙｅｓ）、ブレ判定部２４１０は、ステップＳ８に処理を進める。一方、評価式ｆ（ＤＬ，ＤＲ）の値が閾値Ｄ１以下である場合（ステップＳ４：Ｎｏ）、ブレ判定部２４１０は、ステップＳ５に処理を進める。
【００５７】
（ステップＳ５）ブレ判定部２４１０は、評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ２を超えているか否かを判定する。評価式ｆ１（ＤＬ，ＤＲ）の値が閾値Ｄ２を超えている場合（ステップＳ５：Ｙｅｓ）、ブレ判定部２４１０は、ステップＳ９に処理を進める。一方、評価式ｆ（ＤＬ，ＤＲ）の値が閾値Ｄ２以下である場合（ステップＳ５：Ｎｏ）、ブレ判定部２４１０は、ステップＳ６に処理を進める。
【００５８】
（ステップＳ６）計測部２５２０は、ステレオ画像に基づいて、当該ステレオ画像に撮像された物体の表面形状を計測する。計測部２５２０は、例えば、位相限定相関法により、物体の表面形状を計測する。計測部２５２０は、計測結果に基づいて、物体の表面形状を示すデプスマップ（奥行きマップ）を生成する。計測部２５２０は、デプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表す画素値情報を、出力装置３０００の表示部３１００に出力する。
【００５９】
（ステップＳ７）ブレ判定部２４１０は、撮像装置１０００のユーザに提供する情報として、画像の撮り直しを案内する情報を、出力装置３０００の表示部３１００及びスピーカ部３２００の少なくとも一方に出力するよう、案内部２５３０を制御する。ここで、案内部２５３０は、画像の撮り直しを案内する情報として、ブレを抑えて撮り直すようユーザに案内する情報を出力してもよい。ブレ判定部２４１０は、ステップＳ１に処理を戻す。
【００６０】
（ステップＳ８）ブレ判定部２４１０は、ステレオ画像を、第１補正部２５１１に出力する。第１補正部２５１１は、第１フィルタを用いてステレオ画像を補正し、この補正したステレオ画像を、計測部２５２０に出力する。ここで、第１フィルタは、画像フィルタであり、例えば、ラプラシアンフィルタ、ソーベル（Ｓｏｂｅｌ）フィルタである。実行部２５００は、ステップＳ６に処理を進める。
【００６１】
（ステップＳ９）ブレ判定部２４１０は、ステレオ画像を、第２補正部２５１２に出力する。第２補正部２５１２は、第２フィルタを用いてステレオ画像を補正し、この補正したステレオ画像を、計測部２５２０に出力する。ここで、第２フィルタは、第１フィルタと同種の画像フィルタでもよい。また、第２フィルタのカーネルサイズ（所定の係数α×Ｄ２）は、第１フィルタのカーネルサイズ（所定の係数α×Ｄ１）と異なっていてもよい。実行部２５００は、ステップＳ６に処理を進める。
【００６２】
図５は、画像同士のオーバーラップ率に基づいて処理を定める動作手順を示すフローチャートである。この動作手順は、ステレオ画像が撮像される毎に実行されてもよい。
（ステップＳａ１）取得部２１００は、ステレオ画像を取得する。
（ステップＳａ２）オーバーラップ算出部２３２０は、ステレオ画像の左側の画像、及び、当該ステレオ画像の右側の画像の少なくとも一方から、特徴点群ＦＮを抽出する。
【００６３】
（ステップＳａ３）オーバーラップ算出部２３２０は、今回取得したステレオ画像から抽出した特徴点群ＦＮと、前回までに取得したステレオ画像群Ｓｐ（ｎ−１）（ｎは、１〜Ｎ）から抽出した特徴点群Ｆ（ｎ−１）との間で、ステレオ画像に撮像された同じ３次元点による特徴点同士を、画像毎に対応付ける。つまり、オーバーラップ算出部２３２０は、２次元画像であるステレオ画像の特徴点同士を対応付ける。
【００６４】
（ステップＳａ４）オーバーラップ算出部２３２０は、対応付けに成功した特徴点群Ｍｎを含む領域Ｂｎを、画像毎に定める。
（ステップＳａ５）オーバーラップ算出部２３２０は、定めた領域Ｂｎに基づいて、画像同士のオーバーラップ率を示す値Ｒｎを、画像毎に算出する。
【００６５】
（ステップＳａ６）オーバーラップ判定部２４２０は、評価式ｆ２（Ｒ１，Ｒ２，…,Ｒｎ）が、閾値Ｒｔ未満であるか否かを判定する。ここで、評価式ｆ２（Ｒ１，Ｒ２，…,Ｒｎ）の値は、例えば、オーバーラップ率を示す値Ｒ１，Ｒ２，…,Ｒｎのうち、最大値でもよい。また、閾値Ｒｔは、固定値でもよいし、ステレオ画像のペア数Ｎに応じて定められた値でもよい。
【００６６】
評価式ｆ２（Ｒ１，Ｒ２，…,Ｒｎ）の値が、閾値Ｒｔ未満である場合（ステップＳａ６：Ｙｅｓ）、オーバーラップ判定部２４２０は、ステップＳａ１１に処理を進める。一方、評価式ｆ２（Ｒ１，Ｒ２，…,Ｒｎ）の値が、閾値Ｒｔ以上である場合（ステップＳａ６：Ｎｏ）、オーバーラップ判定部２４２０は、ステップＳａ７に処理を進める。
【００６７】
（ステップＳａ７）計測部２５２０は、ステレオ画像に基づいて、当該ステレオ画像に撮像された物体の表面形状を計測する。計測部２５２０は、例えば、位相限定相関法により、物体の表面形状を計測する。計測部２５２０は、計測結果に基づいて、物体の表面形状を示すデプスマップ（奥行きマップ）を生成する。計測部２５２０は、デプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表す画素値情報を、出力装置３０００の表示部３１００に出力する。
【００６８】
（ステップＳａ８）オーバーラップ算出部２３２０は、特徴点群Ｆ１〜ＦＮを示す情報を、記憶部２２００に記憶させる。
（ステップＳａ９）オーバーラップ算出部２３２０は、ステレオ画像のペア数Ｎを示す変数の値を、一つ増やす。この変数の値は、ステレオ画像のペア数が、前回の撮像から１組増えたことを示すことになる。
【００６９】
以上のように、画像処理装置２０００は、多方向から物体が撮像されている複数の画像を取得する取得部２１００と、画像の品質を示す値を算出する算出部２３００と、画像の品質を示す値に応じて、物体の表面形状を計測するための処理を定める判定部２４００と、定められた処理を実行する実行部２５００と、を備える。
【００７０】
画像処理システムは、多方向から物体が撮像された複数の画像を出力する撮像装置と、画像処理装置２０００と、画像処理装置２０００が処理を実行した結果を出力する出力装置３０００と、を備える。
【００７１】
画像処理方法は、画像処理装置における画像処理方法であって、算出部２３００が、多方向から物体が撮像されている複数の画像の品質を示す値を算出するステップと、判定部２４００が、画像の品質を示す値に応じて、物体の表面形状を計測するための処理を定めるステップと、実行部２５００が、定められた処理を実行するステップと、を有する。
【００７２】
画像処理プログラムは、コンピュータに、多方向から物体が撮像されている複数の画像の品質を示す値を算出する手順と、画像の品質を示す値に応じて、物体の表面形状を計測するための処理を定める手順と、定められた処理を実行する手順と、を実行させる。
【００７３】
この構成により、判定部２４００は、多方向から物体が撮像された複数の画像の品質を示す値に応じて、物体の表面形状を計測するための処理を定める。つまり、判定部２４００は、多視点画像の品質に応じて、物体の表面形状を計測するための処理を定める。実行部２５００は、判定部２４００により定められた処理を実行する。
【００７４】
これにより、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、多視点画像の撮像枚数を不要に多くさせないようにすることができる。
【００７５】
例えば、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、物体の表面形状の計測にこれまで用いることができなかった画像に、当該画像の品質を示す値に応じて適切な補正を施すことにより、当該画像を表面形状の計測に利用可能とする（これまで廃棄していた画像を再利用できるようにする）ので、多視点画像の撮像枚数を不要に多くさせないようにすることができる。
【００７６】
また、例えば、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、品質が十分でない（例えば、ブレの度合いが大きい、オーバーラップが十分でない）ステレオ画像が撮像された場合、撮像装置１０００のユーザに再度の撮像を案内する。これにより、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、表面形状の計測に利用可能な画像（例えば、ブレの度合いが小さい画像、オーバーラップが十分である画像）を早期に撮像させて、多視点画像の撮像枚数を不要に多くさせないようにすることができる。
【００７７】
つまり、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、撮像が適切に行われたかどうかを、即時に判定する。さらに、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、撮像が不適切である場合、再撮像する方法をユーザに即時に案内する。また、本実施形態に係る、画像処理装置２０００、画像処理システム、画像処理方法及び画像処理プログラムは、撮像ミスの繰り返しによる計測の失敗を防ぎ、計測作業を効率化させることができる。
【００７８】
また、判定部２４００は、画像の品質を示す値が所定の品質条件（例えば、フィルタを用いて画像補正をすれば物体の表面形状を精度よく計測することができる程度に、画像の品質が高いという条件）を満たしている場合、画像の品質を示す値に応じて画像を補正する処理を、実行部２５００に実行させてもよい。
また、判定部２４００は、画像の品質を示す値が所定の条件（例えば、物体の表面形状を精度よく計測することができる程度まで画像同士がオーバーラップしているという条件）を満たしていない場合、画像の品質を示す値に応じて画像の撮り直しを案内する情報の出力を、実行部２５００に実行させてもよい。
【００７９】
また、算出部２３００は、画像の品質を示す値として、画像のブレの度合いを示す値を算出してもよい。
また、判定部２４００は、画像のブレの度合いを示す値に基づいて、画像に施すフィルタ処理を定め、実行部２５００は、定められたフィルタ処理を画像に施してもよい。
【００８０】
また、算出部２３００は、画像の品質を示す値として、画像同士のオーバーラップ率を示す値（例えば、画像に定めた領域の面積が、当該領域が定められた画像のフレームの面積に占める比率）を算出してもよい。
【００８１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００８２】
また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００８３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８５】
１０００…撮像装置、２０００…画像処理装置、２１００…取得部、２２００…記憶部、２３００…算出部、２３１０…ブレ算出部、２３２０…オーバーラップ算出部、２４００…判定部、２４１０…ブレ判定部、２４２０…オーバーラップ判定部、２５００…実行部、２５１０…補正部、２５１１…第１補正部、２５１２…第２補正部、２５２０…計測部、２５３０…案内部、３０００…出力装置、３１００…表示部、３２００…スピーカ部
【図１】
0006455424.tif 000002
【図２】
0006455424.tif 000003
【図３】
0006455424.tif 000004
【図４】
0006455424.tif 000005
【図５】
0006455424.tif 000006