(57)【要約】【課題】背景色に依存することなく、簡易な装置で未知な形状の半透明物体の光の透過及び拡散に関する性質を推定する。【解決手段】画像解析装置１は、第１の半透明物体画像と、背景の明度が異なる第２の半透明物体画像と、背景の明度が実質的にゼロの第３の半透明物体画像とを記憶する画像データバッファ２１と、第１の半透明物体画像及び第２の半透明物体画像に基づいて半透明物体の透過率を推定する透過率・色推定部１１と、前記第３の半透明物体画像に基づいて、前記半透明物体の拡散反射率を推定する拡散反射率推定部１３と、半透明物体の透過率を、半透明物体の正透過率及び拡散透過率に分離する透過率分離部１４とを備える。【選択図】図１
2009031226.tif 000002
【特許請求の範囲】
【請求項１】
第１の背景を用いて半透明物体を撮影して得た第１の半透明物体画像と、前記第１の背景とは明度が異なる第２の背景を用いて前記半透明物体を撮影して得た第２の半透明物体画像と、前記第１及び第２の背景と明度が異なり、且つ明度が実質的にゼロの第３の背景を用いて前記半透明物体を撮影して得た第３の半透明物体画像とを記憶する手段と、
前記第１の半透明物体画像における前記半透明物体領域の画素値と、前記第２の半透明物体画像における前記半透明物体領域の画素値とに基づいて、前記半透明物体の透過率を画素ごとに推定する透過率推定手段と、
前記第３の半透明物体画像における前記半透明物体領域の画素値に基づいて、前記半透明物体の拡散反射率を画素ごとに推定する拡散反射率推定手段と、
前記推定された前記半透明物体の画素ごとの透過率及び拡散反射率に基づいて、前記半透明物体の正透過率及び拡散透過率を、画素ごとに推定する正透過率及び拡散透過率推定手段と、
前記推定された画素ごとの正透過率、拡散透過率、及び拡散反射率の各データを記憶する手段と、を備える画像処理装置。
【請求項２】
前記第１の背景を撮影して得た第１の背景画像と、前記第２の背景を撮影して得た第２の背景画像とを記憶する手段をさらに備え、
前記透過率推定手段は、前記第１の背景画像を用いて前記第１の半透明物体画像から前記第１の背景の影響を除去した画像と、前記第２の背景画像を用いて前記第２の半透明物体画像から前記第２の背景の影響を除去した画像とに基づいて、画素ごとに前記半透明物体の透過率を推定する請求項１記載の画像処理装置。
【請求項３】
前記透過率推定手段は、第１の半透明物体画像の処理対象画素の画素値をＢ１、第２の半透明物体画像の前記処理対象画素と対応する画素の各画素値をＢ２とし、第１の背景画像の各画素値をＢＱ１、第２の背景画像の前記処理対象画素と対応する画素の画素値をＢＱ２としたとき、次の式により、前記半透明物体の領域について、画素ごと、かつ、赤、緑、青ごとの透過率αを推定することを特徴とする請求項２記載の画像処理装置。
Ｂ１＝（１−α）ＢＰ＋αＢＱ１
Ｂ２＝（１−α）ＢＰ＋αＢＱ２
ＢＰ：半透明物体の処理対象画素の固有値
【請求項４】
前記透過率推定手段は、さらに、前記半透明物体の領域内の各画素について、前記固有値ＢＰをさらに推定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
正透過率及び拡散透過率推定手段は、透過率α、正透過率ｉ、拡散透過率ｋｔ、拡散反射率ｋｒとしたとき、
α＞ｋｒであれば、ｋｔ＝ｋｒ、ｉ＝α−ｋｔと推定し、
α≦ｋｒであれば、ｋｔ＝α、ｉ＝０と推定することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
半透明物体と、前記半透明物体の背後に位置する背景物体とを含み、前記半透明物体の少なくとも一部が前記背景物体と重なる重畳領域を有する合成画像を生成する装置であって、
前記半透明物体の３次元形状データと、前記背景物体の３次元形状データとを記憶する手段と、
予め指定された、前記半透明物体と前記背景物体との相対的な位置関係に基づいて、前記重畳領域における前記半透明物体と前記背景物体との相対距離を算出する手段と、
前記半透明物体の３次元形状データに基づいて、半透明物体画像を生成する第１のレンダリング手段と、
前記背景物体の３次元形状データに基づいて、背景物体画像を生成する第２のレンダリング手段と、
前記半透明物体を撮影した画像から推定された、前記半透明物体の透過率を示すデータを記憶する手段と、
前記半透明物体画像及び前記背景物体画像に基づいて前記合成画像を生成する手段であって、前記半透明物体の透過率に基づいて前記半透明物体画像の合成比率を定めるとともに、前記合成画像における前記重畳領域の背景物体の画像を、前記半透明物体と前記背景物体との相対距離に応じたぼけ具合にして前記合成画像を生成する画像生成手段と、を備えた画像処理装置。
【請求項７】
前記画像生成手段は、
前記重畳領域の背景物体画像を、前記半透明物体と前記背景物体との相対距離に応じてぼかしたぼけ画像を生成し、前記半透明物体の透過率に基づいて合成比率が定められた前記半透明物体画像と、前記ぼけ画像とに基づいて、前記合成画像の重畳領域を生成することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記半透明物体の正透過率及び拡散透過率を示すデータを記憶する手段をさらに備え、
前記画像生成手段は、
前記正透過率に基づいて前記背景物体画像の合成比率を定め、前記拡散透過率に基づいて前記ぼけ画像の合成比率を定め、
前記半透明物体の透過率に基づいて合成比率が定められた半透明物体画像と、前記正透過率に基づいて合成比率が定められた背景物体画像と、前記拡散透過率に基づいて合成比率が定められたぼけ画像とに基づいて、前記合成画像の重畳領域を生成することを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像処理のためのコンピュータプログラムであって、
コンピュータに実行されると、
第１の背景を用いて半透明物体を撮影して得た第１の半透明物体画像と、前記第１の背景とは明度が異なる第２の背景を用いて前記半透明物体を撮影して得た第２の半透明物体画像と、前記第１及び第２の背景と明度が異なり、且つ明度が実質的にゼロの第３の背景を用いて前記半透明物体を撮影して得た第３の半透明物体画像とを記憶手段に格納する処理と、
前記第１の半透明物体画像における前記半透明物体領域の画素値と、前記第２の半透明物体画像における前記半透明物体領域の画素値とに基づいて、前記半透明物体の透過率を画素ごとに推定する処理と、
前記第３の半透明物体画像における前記半透明物体領域の画素値に基づいて、前記半透明物体の拡散反射率を画素ごとに推定する処理と、
前記推定された前記半透明物体の画素ごとの透過率及び拡散反射率に基づいて、前記半透明物体の正透過率及び拡散透過率を、画素ごとに推定する処理と、が行われることを特徴とするコンピュータプログラム。
【請求項１０】
半透明物体と、前記半透明物体の背後に位置する背景物体とを含み、前記半透明物体の少なくとも一部が前記背景物体と重なる重畳領域を有する合成画像を生成するためのコンピュータプログラムであって、
コンピュータに実行されると、
前記半透明物体の３次元形状データと、前記背景物体の３次元形状データとを記憶手段に格納する処理と、
予め指定された、前記半透明物体と前記背景物体との相対的な位置関係に基づいて、前記重畳領域における前記半透明物体と前記背景物体との相対距離を算出する処理と、
前記半透明物体の３次元形状データに基づいて、半透明物体画像を生成する処理と、
前記背景物体の３次元形状データに基づいて、背景物体画像を生成する処理と、
前記半透明物体を撮影した画像から推定された、前記半透明物体の透過率を示すデータを記憶手段に格納する処理と、
前記半透明物体画像及び前記背景物体画像に基づいて前記合成画像を生成する手段であって、前記半透明物体の透過率に基づいて前記半透明物体画像の合成比率を定めるとともに、前記合成画像における前記重畳領域の背景物体の画像を、前記半透明物体と前記背景物体との相対距離に応じたぼけ具合にして前記合成画像を生成する処理と、が行われることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半透明物体をよりリアルに表現するための画像処理技術に関する。
【背景技術】
【０００２】
従来、コンピュータグラフィックス技術において、透過率は物体の形状及びその物体の光学特性に基づいて決定したり、あるいは経験則に基づいて決定したりしていた。
【０００３】
最近では背景に既知色もしくは既知パターンを用いて、光学特性が未知な物体から、画素ごとの透過率を測定する方法が提案されている（例えば、非特許文献１，２）。
【０００４】
またレーザー光を用いた光学特性の測定方法も提案されている（例えば、特許文献１）。
【特許文献１】特開平７−１０４４５８号公報
【非特許文献１】風間直子, “ＣＧのための透明物体の光学特性の測定およびその表現方法”, 奈良先端科学技術大学院大学 修士論文, NAIST-IS-MT9751030
【非特許文献２】ＮＴＴ生活環境研究所, “光沢のある物や半透明な物の３次元ＣＧデータを自動生成するシステムを開発”, ＮＴＴ研究成果年報誌, 2001
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、非特許文献１のように既知背景色を用いた場合、測定したい物体と背景色に同じ色合いがある場合、その箇所を半透明であると誤認識する場合がある。また背景色によって物体そのものの色合いが変化してしまい、この誤認識を完全に除去することは難しい。
【０００６】
一方、非特許文献２のように既知パターンを用いた場合、物体の形状を既知として光線追跡を行うため、形状の誤差は光線追跡の誤差を招き、測定結果に多大な影響を及ぼしかねない。
【０００７】
また、特許文献１のようにレーザー光を用いた方法の場合、装置が大規模になるため３次元画像計測装置に組み込むといったことは難しい。
【０００８】
そこで、本発明の目的は、背景色に依存することなく、簡易な装置で未知な形状の半透明物体の光の透過及び拡散に関する性質を推定することである。
【０００９】
本発明の別の目的は、半透明物体を撮影した画像から推定された透過に関する性質を用いて、その半透明物体をよりリアルに表現することである。
【課題を解決するための手段】
【００１０】
本発明の一つの実施態様に従う画像処理装置は、第１の背景を用いて半透明物体を撮影して得た第１の半透明物体画像と、前記第１の背景とは明度が異なる第２の背景を用いて前記半透明物体を撮影して得た第２の半透明物体画像と、前記第１及び第２の背景と明度が異なり、且つ明度が実質的にゼロの第３の背景を用いて前記半透明物体を撮影して得た第３の半透明物体画像とを記憶する手段と、前記第１の半透明物体画像における前記半透明物体領域の画素値と、前記第２の半透明物体画像における前記半透明物体領域の画素値とに基づいて、前記半透明物体の透過率を画素ごとに推定する透過率推定手段と、前記第３の半透明物体画像における前記半透明物体領域の画素値に基づいて、前記半透明物体の拡散反射率を画素ごとに推定する拡散反射率推定手段と、前記推定された前記半透明物体の画素ごとの透過率及び拡散反射率に基づいて、前記半透明物体の正透過率及び拡散透過率を、画素ごとに推定する正透過率及び拡散透過率推定手段と、前記推定された画素ごとの正透過率、拡散透過率、及び拡散反射率の各データを記憶する手段と、を備える。
【００１１】
好適な実施態様では、前記第１の背景を撮影して得た第１の背景画像と、前記第２の背景を撮影して得た第２の背景画像とを記憶する手段をさらに備え、前記透過率推定手段は、前記第１の背景画像を用いて前記第１の半透明物体画像から前記第１の背景の影響を除去した画像と、前記第２の背景画像を用いて前記第２の半透明物体画像から前記第２の背景の影響を除去した画像とに基づいて、画素ごとに前記半透明物体の透過率を推定するようにしてもよい。
【００１２】
好適な実施態様では、前記透過率推定手段は、第１の半透明物体画像の処理対象画素の画素値をＢ１、第２の半透明物体画像の前記処理対象画素と対応する画素の各画素値をＢ２とし、第１の背景画像の各画素値をＢＱ１、第２の背景画像の前記処理対象画素と対応する画素の画素値をＢＱ２としたとき、次の式により、前記半透明物体の領域について、画素ごと、かつ、赤、緑、青ごとの透過率αを推定することもできる。
Ｂ１＝（１−α）ＢＰ＋αＢＱ１
Ｂ２＝（１−α）ＢＰ＋αＢＱ２
ＢＰ：半透明物体の処理対象画素の固有値
【００１３】
好適な実施態様では、前記透過率推定手段は、さらに、前記半透明物体の領域内の各画素について、前記固有値ＢＰをさらに推定してもよい。
【００１４】
好適な実施態様では、正透過率及び拡散透過率推定手段は、透過率α、正透過率ｉ、拡散透過率ｋｔ、拡散反射率ｋｒとしたとき、
α＞ｋｒであれば、ｋｔ＝ｋｒ、ｉ＝α−ｋｔと推定し、
α≦ｋｒであれば、ｋｔ＝α、ｉ＝０と推定するようにしてもよい。
【００１５】
本発明の一つの実施態様に従う画像処理装置は、半透明物体と、前記半透明物体の背後に位置する背景物体とを含み、前記半透明物体の少なくとも一部が前記背景物体と重なる重畳領域を有する合成画像を生成する装置であって、前記半透明物体の３次元形状データと、前記背景物体の３次元形状データとを記憶する手段と、予め指定された、前記半透明物体と前記背景物体との相対的な位置関係に基づいて、前記重畳領域における前記半透明物体と前記背景物体との相対距離を算出する手段と、前記半透明物体の３次元形状データに基づいて、半透明物体画像を生成する第１のレンダリング手段と、前記背景物体の３次元形状データに基づいて、背景物体画像を生成する第２のレンダリング手段と、前記半透明物体を撮影した画像から推定された、前記半透明物体の透過率を示すデータを記憶する手段と、前記半透明物体画像及び前記背景物体画像に基づいて前記合成画像を生成する手段であって、前記半透明物体の透過率に基づいて前記半透明物体画像の合成比率を定めるとともに、前記合成画像における前記重畳領域の背景物体の画像を、前記半透明物体と前記背景物体との相対距離に応じたぼけ具合にして前記合成画像を生成する画像生成手段と、を備える。
【００１６】
好適な実施態様では、前記画像生成手段は、前記重畳領域の背景物体画像を、前記半透明物体と前記背景物体との相対距離に応じてぼかしたぼけ画像を生成し、前記半透明物体の透過率に基づいて合成比率が定められた前記半透明物体画像と、前記ぼけ画像とに基づいて、前記合成画像の重畳領域を生成するようにしてもよい。
【００１７】
好適な実施態様では、前記半透明物体の正透過率及び拡散透過率を示すデータを記憶する手段をさらに備え、前記画像生成手段は、前記正透過率に基づいて前記背景物体画像の合成比率を定め、前記拡散透過率に基づいて前記ぼけ画像の合成比率を定め、前記半透明物体の透過率に基づいて合成比率が定められた半透明物体画像と、前記正透過率に基づいて合成比率が定められた背景物体画像と、前記拡散透過率に基づいて合成比率が定められたぼけ画像とに基づいて、前記合成画像の重畳領域を生成するようにしてもよい。
【００１８】
本発明の一つの実施態様に従う画像処理方法は、第１の背景を用いて半透明物体を撮影して得た第１の半透明物体画像と、前記第１の背景とは明度が異なる第２の背景を用いて前記半透明物体を撮影して得た第２の半透明物体画像と、前記第１及び第２の背景と明度が異なり、且つ明度が実質的にゼロの第３の背景を用いて前記半透明物体を撮影して得た第３の半透明物体画像とを記憶手段に格納する処理と、前記第１の半透明物体画像における前記半透明物体領域の画素値と、前記第２の半透明物体画像における前記半透明物体領域の画素値とに基づいて、前記半透明物体の透過率を所定の領域ごとに推定する処理と、前記第３の半透明物体画像における前記半透明物体領域の画素値に基づいて、前記半透明物体の拡散反射率を前記所定の領域ごとに推定する処理と、前記推定された前記半透明物体の前記所定の領域ごとの透過率及び拡散反射率に基づいて、前記半透明物体の正透過率及び拡散透過率を、前記所定の領域ごとに推定する処理と、を行う。
【００１９】
本発明の一つの実施態様に従う合成画像の生成方法は、半透明物体と、前記半透明物体の背後に位置する背景物体とを含み、前記半透明物体の少なくとも一部が前記背景物体と重なる重畳領域を有する合成画像を生成する方法であって、前記半透明物体の３次元形状データと、前記背景物体の３次元形状データとを記憶手段に格納する処理と、予め指定された、前記半透明物体と前記背景物体との相対的な位置関係に基づいて、前記重畳領域における前記半透明物体と前記背景物体との相対距離を算出する処理と、前記半透明物体の３次元形状データに基づいて、半透明物体画像を生成する処理と、前記背景物体の３次元形状データに基づいて、背景物体画像を生成する処理と、前記半透明物体を撮影した画像から推定された、前記半透明物体の透過率を示すデータを記憶手段に格納する処理と、前記半透明物体画像及び前記背景物体画像に基づいて前記合成画像を生成する手段であって、前記半透明物体の透過率に基づいて前記半透明物体画像の合成比率を定めるとともに、前記合成画像における前記重畳領域の背景物体の画像を、前記半透明物体と前記背景物体との相対距離に応じたぼけ具合にして前記合成画像を生成する処理と、を行う。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一つの実施形態に係る画像処理装置について、図面を参照して説明する。
【００２１】
本実施形態に係る画像処理装置は、図１にその構成を示す画像解析装置１及び画像撮影装置３と、図６にその構成を示す画像生成装置７とを有する。
【００２２】
画像解析装置１及び画像生成装置７は、いずれも所定のコンピュータシステムにより構成され、以下に説明する画像解析装置１及び画像生成装置７の構成要素または機能は、例えば、所定のハードウェア及びソフトウェア（コンピュータプログラム）により実現することができる。
【００２３】
図１は、本実施形態に係る画像解析装置１及び画像撮影装置３の構成を示す。
【００２４】
画像撮影装置３は、天井照明部３１と、画像センサ３２と、背面照明部３３と、フィルタテーブル３５と、試料テーブル３７とを備える。
【００２５】
天井照明部３１は、蛍光灯３１ａ、３１ｂと照明拡散板３１ｃによって構成されている。天井照明部３１は、画像センサ３２の視野内において試料テーブル３７に配置された試料である半透明物体５を照らす。
【００２６】
背面照明部３３は、画像センサ３２の光軸上に位置するフィルタテーブル３５上のフィルタ３５ａ〜３５ｃを、画像センサ３２に対して背面から照らす。各フィルタ３５ａ〜３５ｃは、それぞれが画像センサ３２が撮影する画像の背景となる。
【００２７】
図２は、フィルタテーブル３５の一例を示す。フィルタテーブル３５は、円形のテーブルに複数（同図では3つ）の異なった濃度フィルタが配置されている。本実施形態では、濃度０％（背面照明をすべて透過）のフィルタ３５ａ、濃度１％〜９９％（背面照明を一部遮断）のフィルタ３５ｂ、濃度１００％（背面照明をすべて遮断）のフィルタ３５ｃが設置されている。つまり、各フィルタ３５ａ〜３５ｃを背景としたとき、その背景の明度は互いに異なる。特に、フィルタ３５ｃは明度が実質的にゼロである。以下、フィルタ３５ａを用いた場合を「白背景」、フィルタ３５ｂを用いた場合を「灰背景」、フィルタ３５ｃを用いた場合を「黒背景」と呼ぶ。
【００２８】
なお、濃度０％のフィルタ３５ａは、何もフィルタを有しない空洞でよい。また、フィルタ３５ｂは、例えば濃度５０％のものでよい。
【００２９】
図３は、試料テーブル３７の一例を示す。試料テーブル３７は、円形のテーブルに、測定対象の試料として半透明な特性を有する半透明物体５が戴置された試料領域３７ａと、拡散反射率が既知な標準拡散反射板（グレイカード）３７ｂと、空洞領域３７ｃとが設けられている。
【００３０】
画像撮影装置３において、フィルタテーブル３５及び試料テーブル３７のそれぞれの中心は、共通の軸上に設置されている。フィルタテーブル３５及び試料テーブル３７は、その中心軸を中心にそれぞれ回転可能である。フィルタテーブル３５及び試料テーブル３７の位置は、手動で定めても良いし、図示しない制御装置によって制御してもよい。
【００３１】
本実施形態では、フィルタテーブル３５及び試料テーブル３７の位置をそれぞれ定めて以下の画像を撮影する。撮影された画像のデータは、画像データバッファ２１に格納される。
画像１：白背景試料画像（試料領域３７ａ＋フィルタ３５ａ）
画像２：灰背景試料画像（試料領域３７ａ＋フィルタ３５ｂ）
画像３：白背景画像（空洞領域３７ｃ＋フィルタ３５ａ）
画像４：灰背景画像（空洞領域３７ｃ＋フィルタ３５ｂ）
画像５：黒背景画像（空洞領域３７ｃ＋フィルタ３５ｃ）
画像６：標準拡散画像（標準拡散反射板３７ｂ）
【００３２】
なお、これらの画像を撮影するときは、天井照明及び背面照明の条件はすべて同一である。さらに、画像１及び画像２において、半透明物体５の位置は同一として撮影する。この結果、画像１及び画像２の同一位置の画素には、半透明物体５の同一部位が、異なる背景で写っている。また、画像１と画像３の相違は、試料が存在するかだけであり、背景の画像は共通である。画像２と画像４の相違も同様に試料が存在するかだけであり、背景の画像は共通である。
【００３３】
従って、以下に説明する各処理では、各画像の同一位置の画素同士を比較することによって、各画素と対応する位置の半透明物体の透過率等を推定することができる。
【００３４】
再び図１を参照して、画像解析装置１について説明する。
【００３５】
画像解析装置１は、透過率・色推定部１１と、天井照明推定部１２と、拡散反射率推定部１３と、透過率分離処理部１４と、画像データバッファ２１と、色データ記憶部２２と、透過率データ記憶部２３と、天井照明データ記憶部２４と、拡散反射率データ記憶部２５と、正透過率データ記憶部２６と、拡散透過率データ記憶部２７とを有する。
【００３６】
画像データバッファ２１は、画像撮影装置３によって撮影された画像データを記憶する。本実施形態では、上述した各画像１〜６の画像データが画像データバッファ２１に記憶される。
【００３７】
透過率・色推定部１１は、画像データバッファ２１に記憶されている画像データに基づいて、半透明物体５の透過率及び色を推定する。透過率・色推定部１１によって推定された色及び透過率は、それぞれ、色データ記憶部２２及び透過率データ記憶部２３に格納される。
【００３８】
透過率・色推定部１１は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて、透過率α及び半透明物体５固有の画素値ＢＰを推定する。このＲＧＢ別の透過率αが透過率データ記憶部２３に格納され、半透明物体５固有の画素値ＢＰが色データ記憶部２２に格納される。
【００３９】
まず、画像データバッファ２１に記憶されている、各画像データのＲＧＢ別画素値Ｂは、以下の式で表される。
Ｂ＝（１−α）ＢＰ＋αＢＱ
Ｂ：画素値
α：透過率
ＢＰ：半透明物体固有の画素値
ＢＱ：背景画像の画素値
【００４０】
ここで、白背景試料画像（画像１）のＲＧＢ別画素値Ｂ１は、式（１）で表される。
Ｂ１＝（１−α）ＢＰ＋αＢＱ１  ・・・（１）
【００４１】
また、白背景画像（画像３）のＲＧＢ別画素値Ｂ３は、白背景画像を直接撮影したものであるから、式（２）で表される。
Ｂ３＝ＢＱ１  ・・・（２）
【００４２】
これと同様に、白背景試料画像（画像２）及び灰背景画像（画像４）のＲＧＢ別画素値Ｂ２、Ｂ４は、それぞれ式（３）（４）で表される。
Ｂ２＝（１−α）ＢＰ＋αＢＱ２  ・・・（３）
Ｂ４＝ＢＱ２  ・・・（４）
【００４３】
式（１）〜（４）により、各画素についてＲＧＢ別の透過率αと、ＲＧＢ別の半透明物体固有の画素値ＢＰが求まる。
【００４４】
天井照明推定部１２は、画像データバッファ２１に記憶されている標準拡散画像（画像６）の画像データに基づいて、天井照明光が画像に与える影響を推定する。推定された天井照明光が画像に与える影響を示す天井照明データは、天井照明データ記憶部２４に格納される。
【００４５】
標準拡散画像（画像６）は、透過光が存在しないので、このＲＧＢ別画素値Ｂ６は、式（５）で表される。
Ｂ６＝ｋＮＢＵ  ・・・（５）
ＢＵ：天井照明データ
ｋＮ：標準拡散板の拡散反射率（既知）
【００４６】
式（５）により、各画素についてＲＧＢ別の天井照明データＢＵが求まる。この天井照明データＢＵは、天井照明データ記憶部２４に格納される。
【００４７】
拡散反射率推定部１３は、天井照明データと画像データバッファ２１に記憶されている画像データとに基づいて、半透明物体５の拡散反射率ｋｒを推定する。推定された拡散反射率ｋｒは、拡散反射率データ記憶部２５に格納される。
【００４８】
ここで、黒背景画像（画像５）も透過光が存在しないので、このＲＧＢ別画素値Ｂ５は式（６）で表される。
Ｂ５＝ｋｒＢＵ  ・・・（６）
ｋｒ：拡散反射率
【００４９】
従って、式（５）から求めた天井照明データ及び式（６）から、各画素についてＲＧＢ別の拡散反射率ｋｒが求まる。この各画素のＲＧＢ別の拡散反射率ｋｒは、拡散反射率データ記憶部２５に格納される。
【００５０】
透過率分離処理部１４は、透過率データ記憶部２３に格納されている透過率データに基づいて、各画素についてＲＧＢ別の透過率αを正透過率ｉと拡散透過率ｋｔに分離する。分離された各画素についてＲＧＢ別の正透過率ｉ及び拡散透過率ｋｔは、それぞれ正透過率データ記憶部２６及び拡散透過率データ記憶部２７に格納される。
【００５１】
ここで、図４を用いて、透過率α、正透過率ｉ及び拡散透過率ｋｔについて説明する。
【００５２】
図４Ａに示すように、半透明物体の場合、背面から入射した光の一部が正面側へ透過する。このときの入射光強度に対する透過光強度の割合が透過率αである。
【００５３】
また、透過には、入射光がそのまま向きを変えずに透過する正透過と、入射光が拡散しながら透過する拡散透過とがある。ここで、透過率α、正透過率ｉ及び拡散透過率ｋｔは、一般には式（７）の関係を満たす。
α＝ｉ＋ｋｔ  ・・・（７）
また、図４Ｂに示すように、半透明物体に正面から入射した光は、半透明物体の表面で拡散しながら反射する。入射光の強度に対する拡散反射光の強度が拡散反射率ｋｒである。
【００５４】
上記の関係に基づいて、本実施形態では、透過率分離処理部１４は以下のようにして各画素についてＲＧＢ別の透過率αを正透過率ｉと拡散透過率ｋｔに分離する。
【００５５】
まず、透過率αが拡散反射率ｋｒよりも大きい場合（例えば半透明物体が非常に薄い場合など）は、透過光は図５Ａに示すようになっていると推測できる。つまり、比較的大きな正透過に対して、拡散透過は小さい。そこで、拡散透過率ｋｔは拡散反射率ｋｒに等しいと考える。その結果、透過率α、正透過率ｉ及び拡散透過率ｋｔは、式（８）、（９）となる。
ｋｔ＝ｋｒ  ・・・（８）
ｉ＝α−ｋｔ  ・・・（９）
ただし、α＞ｋｒ
【００５６】
一方、透過率αが拡散反射率ｋｒ以下である場合（例えば、半透明物体が比較的厚い場合など）は、透過光は図５Ｂに示すようになっていると推測できる。つまり、正透過は極めて小さいので無視することが可能であり、透過光はすべてが拡散透過によるものと考える。その結果、透過率α、正透過率ｉ及び拡散透過率ｋｔは、式（１０）、（１１）となる。
ｋｔ＝α  ・・・（１０）
ｉ＝０  ・・・（１１）
ただし、α≦ｋｒ
【００５７】
上述した本実施形態に係る画像解析装置１及び画像撮影装置３によれば、背景色に依存することなく、かつ、簡易な装置で未知な形状の半透明物体の光の透過及び拡散に関する性質を推定することができる。
【００５８】
次に、図６は本実施形態に係る画像生成装置７の構成を示す。同図に示す画像生成装置７は、上述した画像撮影装置３で撮影し、画像解析装置１で処理を行った半透明物体の透過率などを用いて、その半透明物体と所定の背景物体の画像とを重ねた合成画像を生成する。ただし、画像生成装置７は、画像撮影装置３及び画像解析装置１以外の装置を用いて推定した透過率等を用いて合成画像を生成することもできる。このとき、実際に半透明物体を撮影した画像から推定された透過率等を用いても良い。
【００５９】
また、合成画像を生成するとき、半透明物体と背景物体との相対的な位置関係は予め指定されている。本実施形態では、背景物体の手前に半透明物体が位置し、両者の少なくとも一部が重なっている場合を対象とする。つまり、背景物体と半透明物体とが重なっている領域と、重なっていない領域とがある場合には、両者が重なっていない領域については、背景物体のレンダリング画像と半透明物体のレンダリング画像をそれぞれ別個に生成する。背景物体と半透明物体とが重なった領域については、画像生成装置７が以下に説明するようにして画像を合成する。
【００６０】
画像生成装置７は、背景レンダリング部７１と、半透明物体レンダリング部７２と、差分画像生成部７３と、ぼけ画像生成部７４と、画像合成部７５とを備える。また、画像生成装置７は、データを記憶する記憶部として、背景物体の形状データ記憶部８１と、背景物体の色データ記憶部８２と、半透明物体の形状データ記憶部８３と、半透明物体の色データ記憶部２２と、透過率データ記憶部２３と、正透過率データ記憶部２６と、拡散透過率データ記憶部２７と、背景物体のレンダリング画像記憶部８４と、背景物体の距離画像記憶部８５と、半透明物体の距離画像記憶部８６と、半透明物体のレンダリング画像記憶部８７と、距離の差分画像記憶部８８と、背景物体のぼけ画像記憶部８９と、合成画像記憶部９０とを備える。
【００６１】
背景物体の形状データ記憶部８１には、例えば、ポリゴンを用いて表現された、背景物体の３次元モデルの形状データが記憶されている。３次元モデルの形状データは、例えば、３次元スキャナなどを用いて背景物体を計測して生成しても良い。
【００６２】
背景物体の色データ記憶部８２は、例えば、背景物体の形状データ記憶部８１に記憶された３次元モデルの形状データの各ポリゴンの色のデータが記憶されている。
【００６３】
半透明物体の形状データ記憶部８３には、半透明物体５のポリゴンを用いて表現された３次元モデルの形状データが記憶されている。半透明物体５の３次元モデルの形状データは、画像撮影装置３の画像センサ３２を用いて予め計測しておいても良い。各ポリゴンは、半透明物体の色データ記憶部２２の色データと予め対応付けられている。
【００６４】
半透明物体の色データ記憶部２２、透過率データ記憶部２３、正透過率データ記憶部２６、及び拡散透過率データ記憶部２７は、それぞれ、画像解析装置１の色データ記憶部２２、透過率データ記憶部２３、正透過率データ記憶部２６、及び拡散透過率データ記憶部２７である。
【００６５】
背景レンダリング部７１は、背景物体の形状データ記憶部８１と背景物体の色データ記憶部８２にそれぞれに記憶された形状データ及び色データに基づいて、背景物体のレンダリング処理を行う。例えば、背景レンダリング部７１は、所定の視点に対して予め定められた位置に配置された背景物体のレンダリング画像を生成する。生成された背景物体のレンダリング画像は、背景物体のレンダリング画像記憶部８４に格納される。背景レンダリング部７１は、それとともに、同じ視点から見たときの背景物体の距離画像を生成し、背景物体の距離画像記憶部８５に格納する。
【００６６】
半透明物体レンダリング部７２は、半透明物体の形状データ記憶部８３と半透明物体の色データ記憶部２２にそれぞれに記憶された形状データ及び色データに基づいて、半透明物体５のレンダリング処理を行う。例えば、半透明物体レンダリング部７２は、背景物体のレンダリングに用いたものと同一の視点に対して予め定められた位置に配置された半透明物体５のレンダリング画像を生成する。生成された半透明物体５のレンダリング画像は、半透明物体のレンダリング画像記憶部８７に格納される。半透明物体レンダリング部７２は、さらに、同じ視点から見たときの半透明物体５の距離画像を生成し、半透明物体の距離画像記憶部８６に格納する。
【００６７】
差分画像生成部７３は、背景物体の距離画像記憶部８５と半透明物体の距離画像記憶部８６を参照して、背景物体と半透明物体５との相対距離を示す距離の差分画像を生成し、距離の差分画像記憶部８８に格納する。ここで、背景物体及び半透明物体は、それぞれ所定の視点からの位置が予め定められているので、背景物体と半透明物体との相対的な位置も予め定められている。
【００６８】
ぼけ画像生成部７４は、背景物体のレンダリング画像記憶部８４と距離の差分画像記憶部８８を参照して、背景物体と半透明物体５とが重なっている領域の背景物体の画像をぼけさせたぼけ画像を生成し、背景物体のぼけ画像記憶部８９に格納する。
【００６９】
ぼけ画像生成部７４の処理について、図７を用いて説明する。まず、ぼけ画像生成部７４は、所定のぼけフィルタ（以下、単に「フィルタ」と称することがある）７４０を用意する。同図の例では、ぼけフィルタ７４０のサイズは７×７画素であるが、フィルタサイズはこれに限らない。
【００７０】
ぼけ画像生成部７４は、背景物体のレンダリング画像８４０に対してフィルタをかけて、背景物体のぼけ画像８９０を生成する。ここで、フィルタ７４０の各要素には、それぞれ０〜１の係数が定められている。この係数は後述する要領で変動する。従って、ぼけ画像生成部７４は、背景物体のレンダリング画像８４０の対象画素８４１とフィルタ７４０の中心要素７４１とが一致するように、レンダリング画像８４０にフィルタ７４０を当てる。そして、フィルタ７４０がカバーするレンダリング画像８４０の各画素の画素値とフィルタの各要素の係数を掛け合わせる。ぼけ画像生成部７４は、この処理をレンダリング画像８４０の全画素に対して順次行い、各画素値とフィルタの係数とを掛け合わせた値の画素ごとの総和を算出して、背景物体のぼけ画像８９０を生成する。
【００７１】
ここで、フィルタ７４０の各要素の係数は、以下のようにして定める。まず、フィルタ７４０の中心要素７４１の係数が、対象画素８４１と対応する差分画像８８０の対応画素８８１の値（相対距離ｄ）に応じて定まる。例えば、この相対距離ｄが小さいほど係数は１に近くなり、ぼけ画像８９０におけるぼけ具合が小さくなる。一方、この相対距離ｄが大きいほど係数は０に近くなり、ぼけ画像８９０におけるぼけ具合が大きくなる。
【００７２】
フィルタ７４０の中心要素７４１以外の周囲の要素は、中心要素７４１の係数に応じて定まる。例えば、中心要素７４１の係数が最大であり、中心要素７４１から離れるほど係数が小さくなるようにしても良い。
【００７３】
例えば、図８は、ぼけフィルタ７４０の係数分布を示す図である。つまり、同図は、係数と中心要素７４１からの距離との関係示している。例えば、相対距離ｄが最も小さい第１の閾値よりも小さいとき（相対距離ｄ：小）は、図８Ａに示すように各係数を定めても良い。同様に、相対距離ｄが第１の閾値と第２の閾値（第２の閾値＞第１の閾値）との間であるとき（相対距離ｄ：中）は、図８Ｂに示すように各係数を定めても良い。さらに、距離差が第２の閾値より大きいとき（相対距離ｄ：大）は、図８Ｃに示すように各係数を定めても良い。
【００７４】
これは、背景物体の手前に半透明物体が位置するとき、半透明物体と背景物体との相対距離に応じて背景のぼけ具合が異なって見えることを、画像生成装置７が生成する合成画像で再現するためである。つまり、半透明物体と背景物体との距離が近いときは背景物体のぼけ具合は小さく、半透明物体と背景物体との距離が大きいほど背景物体のぼけ具合が大きくなる。ぼけ画像生成部７４は、半透明物体５と背景物体との相対距離に応じてぼけ具合になるように、ぼけ画像８９０を生成する。
【００７５】
画像合成部７５は、背景物体のレンダリング画像記憶部８４，半透明物体のレンダリング画像記憶部８７及び背景物体のぼけ画像記憶部８９を参照して、半透明物体５と背景物体とが重なった重畳領域の合成画像を生成して、合成画像記憶部９０に格納する。
【００７６】
画像合成を行う際、画像合成部７５は、半透明物体のレンダリング画像記憶部８７の半透明物体のレンダリング画像を透過率αを用いて補正する。つまり、画像合成部７５は、半透明物体のレンダリング画像の各画素に対して、それぞれ対応する透過率αを用いて、（１−α）を掛ける。また、画像合成部７５は、背景物体のレンダリング画像記憶部８４の背景物体のレンダリング画像を正透過率ｉを用いて補正する。つまり、画像合成部７５は、背景物体のレンダリング画像の各画素に対して、それぞれ対応する正透過率ｉを掛ける。さらに、画像合成部７５は、背景物体のぼけ画像記憶部８９の背景物体のぼけ画像を拡散透過率ｋｔを用いて補正する。つまり、画像合成部７５は、背景物体のぼけ画像の各画素に対して、それぞれ対応する拡散透過率ｋｔを掛ける。
【００７７】
画像合成部７５は、各画素について、上記のように透過率α、正透過率ｉ及び拡散透過率ｋｔにより補正された半透明物体のレンダリング画像、背景物体のレンダリング画像、及び背景物体のぼけ画像の各画素値を加算して、合成画像を生成する。
【００７８】
なお、画像合成部７５は正透過率ｉ及び拡散透過率ｋｔを用いないで合成画像を生成しても良い。例えば、画像合成部７５は、例えば透過率αを用いて、合成画像を生成しても良い。つまり、このとき画像合成部７５は、透過率αに基づいて半透明物体画像の合成比率を定めて、相対距離ｄに応じて背景物体画像をぼかしたぼけ画像と合成して合成画像を生成する。
【００７９】
従来は、半透明物体の実際の透過率などは考慮していなかったが、本実施形態に係る画像生成装置７によれば、半透明物体から推定された透過率などを用いて画像を生成するので、その半透明物体の透過具合などをよりリアルに表現することができる。
【００８０】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施形態に係る画像解析装置１及び画像撮影装置３の構成を示す。
【図２】フィルタテーブル３５の一例を示す。
【図３】試料テーブル３７の一例を示す。
【図４】透過率α、正透過率ｉ及び拡散透過率ｋｔの説明図である。
【図５】透過率αを正透過率ｉと拡散透過率ｋｔに分離する処理の説明図である。
【図６】本発明の一実施形態に係る画像生成装置７の構成を示す。
【図７】ぼけ画像生成部７４の処理の説明図である。
【図８】ぼけフィルタの係数分布を示す図である。
【符号の説明】
【００８２】
１           画像解析装置
３           画像撮影装置
５           半透明物体
７           画像生成装置
１１       透過率・色推定部
１２       天井照明推定部
１３       拡散反射率推定部
１４       透過率分離処理部
７１       背景レンダリング部
７２       半透明物体レンダリング部
７３       差分画像生成部
７４       画像生成部
７５       画像合成部
【図１】
2009031226.tif 000003
【図２】
2009031226.tif 000004
【図３】
2009031226.tif 000005
【図４】
2009031226.tif 000006
【図５】
2009031226.tif 000007
【図６】
2009031226.tif 000008
【図７】
2009031226.tif 000009
【図８】
2009031226.tif 000010