(57)【要約】【課題】被計測物の色と３次元形状とを高精度に計測可能な３次元色形状計測装置を提供する。【解決手段】被計測物を同一の撮像手段により撮像して得られる画像信号に基づいて、被計測物の色と３次元形状とを計測する３次元色形状計測装置であって、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換すると共に、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する補正手段と、形状計測用画像信号に基づいて、被計測物の３次元形状を復元した３次元モデルと、色計測用画像信号に基づいて復元した被計測物の色とを用いて被計測物の３次元画像を復元する色形状抽出手段とを有することを特徴とする３次元色形状計測装置とした。【選択図】図６
2007271395.tif 000002
【特許請求の範囲】
【請求項１】
被計測物を同一の撮像手段により撮像して得られる画像信号に基づいて、前記被計測物の色と３次元形状とを計測する３次元色形状計測装置であって、
第１階調特性に従った第１補正により前記画像信号を色計測用画像信号に変換すると共に、第２階調特性に従った第２補正により前記画像信号を形状計測用画像信号に変換する補正手段と、
前記形状計測用画像信号に基づいて、前記被計測物の３次元形状を復元した３次元モデルと、前記色計測用画像信号に基づいて復元した前記被計測物の色とを用いて前記被計測物の３次元画像を復元する色形状抽出手段と、
を有することを特徴とする３次元色形状計測装置。
【請求項２】
前記階調特性は、ガンマ特性であることを特徴とする請求項１に記載の３次元色形状計測装置。
【請求項３】
前記被計測物に所定パターンのパターン光を投影するパターン光投影手段を有し、
前記補正手段は、
前記パターン光投影手段によるパターン光投影時に、前記撮像手段が前記被計測物を撮像して出力する前記画像信号に前記第２階調特性に従って第２補正を行い、前記パターン光投影手段によるパターン光非投影時に、前記撮像手段が前記被計測物を撮像して出力する前記画像信号に前記第１階調特性に従って第１補正を行うことを特徴とする請求項１又は請求項２に記載の３次元色形状計測装置。
【請求項４】
前記第２階調特性は、線形特性であることを特徴とする請求項１〜３のいずれか１項に記載の３次元色形状計測装置。
【請求項５】
前記第２階調特性は、一部分を線形とし、その他の部分を非線形とした特性であることを特徴とする請求項１〜３のいずれか１項に記載の３次元色形状計測装置。
【請求項６】
前記第１補正及び前記第２補正のうち少なくとも一方は、補正前後の情報を対応させたルックアップテーブルを利用して行うことを特徴とする請求項１〜５のいずれか１項に記載の３次元色形状計測装置。
【請求項７】
前記画像信号は、複数種類の色信号と輝度信号とを含み、
前記補正手段は、前記色信号毎に前記第１補正及び前記第２補正を行うことを特徴とする請求項１〜６のいずれか１項に記載の３次元色形状計測装置。
【請求項８】
前記画像信号は、輝度信号よりなり、
前記補正手段は、前記輝度信号を前記第１補正及び前記第２補正することを特徴とする請求項１〜７のいずれか１項に記載の３次元色形状計測装置。
【請求項９】
前記補正手段は、前記第２補正を増幅器によって行うことを特徴とする請求項４に記載の３次元色形状計測装置。
【請求項１０】
前記撮像手段と前記補正手段とを撮像ユニットに収納し、前記色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、
前記補正手段は、
前記第１階調特性に従った第１補正により前記画像信号を前記色計測用画像信号に変換する第１補正手段と、
前記第２階調特性に従った第２補正により前記画像信号を前記形状計測用画像信号に変換する第２補正手段と、を備え、
前記撮像ユニットは、前記色計測用画像信号と前記形状計測用画像信号とを出力することを特徴とする３次元色形状計測装置。
【請求項１１】
前記撮像ユニットは、
前記第１補正手段及び前記第２補正手段のいずれか一方を選択し、当該選択した補正手段へ前記画像信号を出力する選択手段を備えたことを特徴とする請求項１０に記載の３次元色形状計測装置。
【請求項１２】
前記主装置は、
前記撮像ユニットから出力される前記色計測用画像信号及び前記形状計測用画像信号のいずれか一方を選択し、当該選択した画像信号を前記色形状抽出手段へ出力する選択手段を備えたことを特徴とする請求項１０に記載の３次元色形状計測装置。
【請求項１３】
前記撮像手段を撮像ユニットに収納し、前記補正手段と前記色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、
前記補正手段は、
前記第１階調特性に従った第１補正により前記画像信号を前記色計測用画像信号に変換する第１補正手段と、
前記第２階調特性に従った第２補正により前記画像信号を前記形状計測用画像信号に変換する第２補正手段と、
を備えたことを特徴とする３次元色形状計測装置。
【請求項１４】
前記主装置は、
前記第１補正手段及び前記第２補正手段のいずれか一方を選択し、前記撮像ユニットから出力される前記画像信号を前記選択した補正手段へ出力する選択手段を備えたことを特徴とする請求項１３に記載の３次元色形状計測装置。
【請求項１５】
前記補正手段は、
前記第１階調特性に従った第１補正により前記画像信号を前記色計測用画像信号に変換する第１補正手段と、
第３階調特性に従った第３補正により前記色計測用画像信号を前記形状計測用画像信号に変換する第３補正手段と、を備え、
前記撮像手段と前記第１補正手段とを撮像ユニットに収納し、前記第３補正手段と前記色形状抽出手段とを主装置に収納したことを特徴とする請求項１〜９のいずれか１項に記載の３次元色形状計測装置。
【請求項１６】
前記第３階調特性は、前記第１階調特性との積を取ることによって線形特性となる階調特性であることを特徴とする請求項１５に記載の３次元色形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被計測物を撮像手段により撮像して得られる画像信号に基づいて、被計測物の色と3次元形状とを計測する3次元色形状計測装置に関するものである。
【背景技術】
【０００２】
従来より、被計測物に光を投影した状態で被計測物を撮像することにより被計測物の色と形状とを計測し、被計測物の3次元色形状情報を生成する3次元色形状計測装置が知られている（たとえば、特許文献１参照。）。
【０００３】
この3次元色計測装置は、被計測物を撮像するCCD（Charge Coupled Device）等を備えた撮像部と、撮像部が被計測物を撮像して出力する画像信号に基づいて被計測物の色と3次元形状とを計測するコンピュータ等を備えた計測部と、計測部による計測結果に基づいて被計測物の3次元形状を復元した3次元モデルに、同じく計測部による計測結果に基づいて被計測物の色を復元した画像（テクスチャ）を貼り付ける（テクスチャマッピングする）ことにより、被計測物の3次元カラー画像を表示する液晶表示パネル等を備えた表示部とを有していた。
【０００４】
一般に、このような3次元色形状計測装置では、撮像部により被計測物を撮像して得られる画像信号に対して、表示部の表示特性に合わせた階調補正（以下、「ガンマ補正」という。）を施すことにより、表示部に表示する被計測物の3次元カラー画像の色調をより実際の色調に近づけるようにしていた。
【０００５】
すなわち、LCD（Liquid Crystal Device）ディスプレイやCRT（Cathode Ray Tube）ディスプレイ等といった表示装置では、入力される画像信号の電圧値に対する表示画像の階調（明るさ）が比例関係とならない非線形の特性を有しており、具体的には、入力電圧が低いときには明るさの変化が穏やかで、入力電圧が高いときには明るさが急激に変化するといる特性を有している。
【０００６】
そのため、CCDにより被計測物を撮像した画像信号をそのまま表示装置に入力すると、表示画像において被計測物の実際の色調を忠実に再現することができない。
【０００７】
このような不具合を生じさせないように、撮像部では、画像信号の電圧値に対する表示画像の階調が比例関係となるように、被計測物を撮像した画像信号に対して、表示装置の表示特性に合わせたガンマ補正を施すようにしていた。
【特許文献１】特開2003-172610号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、上記従来の3次元色計測装置では、被計測物を撮像した画像信号に対してガンマ補正を施していたため、被計測物の色調については忠実に再現できるものの、被計測物の3次元形状については、その計測精度が低下して忠実に再現することができないおそれがあった。
【０００９】
すなわち、この3次元色形状計測装置では、被計測物の3次元形状を計測する際、被計測物にストライプ状のパターン光を照射した状態で撮像部により被計測物を撮像し、計測部は、このとき撮像部から入力される画像信号に基づいて被計測物におけるストライプ状のパターン境界を検出することによって被計測物の3次元形状を計測していた。
【００１０】
しかし、このとき計測部に入力される画像信号は、ガンマ補正を施した後の非線形の階調特性を有する画像信号であるため、図35に示すように、ガンマ補正後の画像信号に基づいた表示画像における輝度分布が、最も明るい部分を除いてガンマ補正を施す前の線形の階調特性を有する画像信号に基づいた輝度分布よりも高くなっている。
【００１１】
そのため、実際のパターン境界（閾値を示す直線とガンマ補正前の画像信号に基づいた輝度分布を示す曲線との交点）と、計測部が検出するパターン境界（閾値を示す直線とガンマ補正後の画像信号に基づいた輝度分布を示す曲線との交点）とに誤差u0〜u3が生じてしまい、この誤差により、計測部が実際とは異なる3次元形状を被計測物の3次元形状として誤検出してしまうので、3次元形状の計測精度が低下して被計測物の3次元形状を忠実に再現することができないおそれがあった。
【課題を解決するための手段】
【００１２】
そこで、請求項１に係る本発明では、被計測物を同一の撮像手段により撮像して得られる画像信号に基づいて、被計測物の色と３次元形状とを計測する３次元色形状計測装置であって、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換すると共に、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する補正手段と、形状計測用画像信号に基づいて、被計測物の３次元形状を復元した３次元モデルと、色計測用画像信号に基づいて復元した被計測物の色とを用いて被計測物の３次元画像を復元する色形状抽出手段とを有する３次元色形状計測装置を提供することとした。
【００１３】
また、請求項２に係る本発明では、請求項１に記載の３次元色形状計測装置において、階調特性は、ガンマ特性であることを特徴とする。
【００１４】
また、請求項３に係る本発明では、請求項１又は請求項２に記載の３次元色形状計測装置において、被計測物に所定パターンのパターン光を投影するパターン光投影手段を有し、補正手段は、パターン光投影手段によるパターン光投影時に、撮像手段が被計測物を撮像して出力する画像信号に第２階調特性に従って第２補正を行い、パターン光投影手段によるパターン光非投影時に、撮像手段が被計測物を撮像して出力する画像信号に第１階調特性に従って第１補正を行うことを特徴とする。
【００１５】
また、請求項４に係る本発明では、請求項１〜３のいずれか１項に記載の３次元色形状計測装置において、第２階調特性は、線形特性であることを特徴とする。
【００１６】
また、請求項５に係る本発明では、請求項１〜３のいずれか１項に記載の３次元色形状計測装置において、第２階調特性は、一部分を線形とし、その他の部分を非線形とした特性であることを特徴とする。
【００１７】
また、請求項６に係る本発明では、請求項１〜５のいずれか１項に記載の３次元色形状計測装置において、第１補正及び前記第２補正のうち少なくとも一方は、補正前後の情報を対応させたルックアップテーブルを利用して行うことを特徴とする。
【００１８】
また、請求項７に係る本発明では、請求項１〜６のいずれか１項に記載の３次元色形状計測装置において、画像信号は、複数種類の色信号と輝度信号とを含み、補正手段は、色信号毎に第１補正及び第２補正を行うことを特徴とする。
【００１９】
また、請求項８に係る本発明では、請求項１〜７のいずれか１項に記載の３次元色形状計測装置において、画像信号は、輝度信号よりなり、補正手段は、輝度信号を第１補正及び第２補正することを特徴とする。
【００２０】
また、請求項９に係る本発明では、請求項４に記載の３次元色形状計測装置において、補正手段は、第２補正を増幅器によって行うことを特徴とする。
【００２１】
また、請求項１０に係る本発明では、撮像手段と補正手段とを撮像ユニットに収納し、色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する第２補正手段とを備え、撮像ユニットは、色計測用画像信号と形状計測用画像信号とを出力する３次元色形状計測装置を提供することとした。
【００２２】
また、請求項１１に係る本発明では、請求項１０に記載の３次元色形状計測装置において、撮像ユニットは、第１補正手段及び第２補正手段のいずれか一方を選択し、当該選択した補正手段へ画像信号を出力する選択手段を備えたことを特徴とする。
【００２３】
また、請求項１２に係る本発明では、請求項１０に記載の３次元色形状計測装置において、主装置は、撮像ユニットから出力される色計測用画像信号及び形状計測用画像信号のいずれか一方を選択し、当該選択した画像信号を色形状抽出手段へ出力する選択手段を備えたことを特徴とする。
【００２４】
また、請求項１３に係る本発明では、撮像手段を撮像ユニットに収納し、補正手段と色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する第２補正手段とを備えた３次元色形状計測装置を提供することとした。
【００２５】
また、請求項１４に係る本発明では、請求項１３に記載の３次元色形状計測装置において、主装置は、第１補正手段及び前記第２補正手段のいずれか一方を選択し、撮像ユニットから出力される画像信号を選択した補正手段へ出力する選択手段を備えたことを特徴とする。
【００２６】
また、請求項１５に係る本発明では、請求項１〜９のいずれか１項に記載の３次元色形状計測装置において、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第３階調特性に従った第３補正により色計測用画像信号を形状計測用画像信号に変換する第３補正手段とを備え、撮像手段と第１補正手段とを撮像ユニットに収納し、第３補正手段と色形状抽出手段とを主装置に収納したことを特徴とする。
【００２７】
また、請求項１６に係る本発明では、請求項１５に記載の３次元色形状計測装置において、第３階調特性は、第１階調特性との積を取ることによって線形特性となる階調特性であることを特徴とする。
【発明の効果】
【００２８】
本発明によれば、以下に記載するような効果を奏する。
【００２９】
すなわち、請求項１に係る本発明では、被計測物を同一の撮像手段により撮像して得られる画像信号に基づいて、被計測物の色と３次元形状とを計測する３次元色形状計測装置であって、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換すると共に、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する補正手段と、形状計測用画像信号に基づいて、被計測物の３次元形状を復元した３次元モデルと、色計測用画像信号に基づいて復元した被計測物の色とを用いて被計測物の３次元画像を復元する色形状抽出手段とを有する３次元色形状計測装置を提供することとしたため、被計測物の色を精度良く測定及び再現できるだけでなく、被計測物の3次元形状も高精度に測定及び再現することができる。
【００３０】
また、請求項２に係る本発明では、請求項１に記載の３次元色形状計測装置において、階調特性は、ガンマ特性であることを特徴とするため、被計測物の3次元形状を高精度に測定できるだけでなく、被計測物の3次元画像を表示する表示装置の表示特性に合わせて、被計測物の色及び3次元形状を忠実に再現可能な画像情報を生成することができる。
【００３１】
また、請求項３に係る本発明では、請求項１又は請求項２に記載の３次元色形状計測装置において、被計測物に所定パターンのパターン光を投影するパターン光投影手段を有し、補正手段は、パターン光投影手段によるパターン光投影時に、撮像手段が被計測物を撮像して出力する画像信号に第２階調特性に従って第２補正を行い、パターン光投影手段によるパターン光非投影時に、撮像手段が被計測物を撮像して出力する画像信号に第１階調特性に従って第１補正を行うことを特徴とするため、被計測物の色及び3次元形状をより高精度に計測することができる。
【００３２】
また、請求項４に係る本発明では、請求項１〜３のいずれか１項に記載の３次元色形状計測装置において、第２階調特性は、線形特性であることを特徴とするため、計測結果における被計測物の3次元形状と、被計測物の実際の3次元形状との間の誤差を可及的に小さくすることができる。
【００３３】
また、請求項５に係る本発明では、請求項１〜３のいずれか１項に記載の３次元色形状計測装置において、第２階調特性は、一部分を線形とし、その他の部分を非線形とした特性であることを特徴とするため、特定の輝度を持った画像領域において、被計測物の3次元形状を高精度に計測することができる。
【００３４】
また、請求項６に係る本発明では、請求項１〜５のいずれか１項に記載の３次元色形状計測装置において、第１補正及び前記第２補正のうち少なくとも一方は、補正前後の情報を対応させたルックアップテーブルを利用して行うことを特徴とするため、3次元色形状計測装置の小型化及び簡略化を図ることができる。
【００３５】
また、請求項７に係る本発明では、請求項１〜６のいずれか１項に記載の３次元色形状計測装置において、画像信号は、複数種類の色信号と輝度信号とを含み、補正手段は、色信号毎に第１補正及び第２補正を行うことを特徴とするため、被計測物の色をより高精度に測定することができる。
【００３６】
また、請求項８に係る本発明では、請求項１〜７のいずれか１項に記載の３次元色形状計測装置において、画像信号は、輝度信号よりなり、補正手段は、輝度信号を第１補正及び第２補正することを特徴とするため、被計測物の形状をより高精度に計測することができる。
【００３７】
また、請求項９に係る本発明では、請求項４に記載の３次元色形状計測装置において、補正手段は、第２補正を増幅器によって行うことを特徴とするため、増幅器の増幅特性の設定により信号の増幅に所望の補正特性が得られ、後段に余計な補正が不要になり、後段の構成を複雑化させることなく、被計測物の３次元形状をより高精度に計測することができる。
【００３８】
また、請求項１０に係る本発明では、撮像手段と補正手段とを撮像ユニットに収納し、色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する第２補正手段とを備え、撮像ユニットは、色計測用画像信号と形状計測用画像信号とを出力する３次元色形状計測装置を提供することとしたため、色形状抽出手段は、撮像ユニットが出力する色計測用画像信号と形状計測用画像信号とに基づいて、被計測物の色と3次元形状とをそれぞれ個別に計測して復元できるので、被計測物の色と3次元形状とをより忠実に再現した3次元画像を復元することができる。
【００３９】
また、請求項１１に係る本発明では、請求項１０に記載の３次元色形状計測装置において、撮像ユニットは、第１補正手段及び第２補正手段のいずれか一方を選択し、当該選択した補正手段へ画像信号を出力する選択手段を備えたことを特徴とするため、主装置に色計測用画像信号と形状計測用画像信号とが同時に入力されることがなく、主装置における処理負担を軽減するこができ、しかも、主装置により被計測物の色だけ、若しくは、3次元形状だけを個別に計測することもできる。
【００４０】
また、請求項１２に係る本発明では、請求項１０に記載の３次元色形状計測装置において、主装置は、撮像ユニットから出力される色計測用画像信号及び形状計測用画像信号のいずれか一方を選択し、当該選択した画像信号を色形状抽出手段へ出力する選択手段を備えたことを特徴とするため、色形状抽出手段に色計測用信号と形状計測用信号とが同時に入力されることがなく、色形状抽出手段における処理負担を軽減するこができ、しかも、色形状抽出手段により被計測物の色だけ、若しくは、3次元形状だけを個別に復元することもできる。
【００４１】
また、請求項１３に係る本発明では、撮像手段を撮像ユニットに収納し、補正手段と色形状抽出手段を主装置に収納した請求項１〜９のいずれか１項に記載の３次元色形状計測装置であって、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する第２補正手段とを備えた３次元色形状計測装置を提供することとしたため、補正手段を持たない比較的安価な市販の撮像ユニットを用いて、被計測物の色と3次元形状とを高精度に計測可能な3次元色形状計測装置を構成することができる。
【００４２】
また、請求項１４に係る本発明では、請求項１３に記載の３次元色形状計測装置において、主装置は、第１補正手段及び前記第２補正手段のいずれか一方を選択し、撮像ユニットから出力される画像信号を選択した補正手段へ出力する選択手段を備えたことを特徴とするため、補正手段を持たない比較的安価な市販の撮像ユニットを用いて、被計測物の色と3次元形状とを高精度に計測可能な3次元色形状計測装置を構成することができ、しかも、主装置において色計測用画像信号と形状計測用画像信号とを同時に処理することがないので、主装置における処理負担を軽減することができ、さらに、被計測物の色だけ、若しくは、3次元形状だけを個別に計測することができる。
【００４３】
また、請求項１５に係る本発明では、請求項１〜９のいずれか１項に記載の３次元色形状計測装置において、補正手段は、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換する第１補正手段と、第３階調特性に従った第３補正により色計測用画像信号を形状計測用画像信号に変換する第３補正手段とを備え、撮像手段と第１補正手段とを撮像ユニットに収納し、第３補正手段と色形状抽出手段とを主装置に収納したことを特徴とするため、予め表示装置の表示特性に合わせた階調補正を行うように構成された市販の撮像ユニットを用いて、被計測物の色と3次元形状とを高精度に計測可能な3次元色形状計測装置を構成することができる。
【００４４】
また、請求項１６に係る本発明では、請求項１５に記載の３次元色形状計測装置において、第３階調特性は、第１階調特性との積を取ることによって線形特性となる階調特性であることを特徴とするため、第1補正を施された画像信号に基づいて被計測物の色を忠実に再現することができるだけでなく、第1階調補正を施された画像信号に第3階調補正を施した画像信号に基づいて被計測物の3次元形状を高精度に計測して再現することができる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。
【００４６】
（第１実施形態）
図1には、本発明の一実施形態に従う3次元色形状計測装置1が外観斜視図で示されている。この3次元色形状計測装置1は、画像を表す画像光（「画像信号光」ともいう。）の投影面（例えば、平面、スクリーン、机上面など）への投影（通常の投影）およびストライプ状のパターン光の被計測物への投影（3次元情報取得のための投影）と、被計測物の撮像と、その撮像結果に基づき、被計測物の3次元情報（3次元位置情報、3次元形状情報、色情報を含む。）をコンピュータによって取得する処理とを行うように設計されている。そのため、この3次元色形状計測装置1は、図2に示すように、投影部13と、撮像部14と、処理部15とを含むように構成されている。
【００４７】
この3次元色形状計測装置1は、複数種類のモードのうちユーザによって選択されたものに従って作動する。それらモードは、この3次元色形状計測装置1がデジタルカメラとして機能するデジカメモードと、ウェブカメラとして機能するwebcamモードと、被計測物の3次元形状を検出して立体画像（以下、3次元画像ともいう。）を取得するための立体画像モードと、湾曲した原稿等の被計測物の立体画像を平面化した平面化画像を取得するための平面化画像モードとを含んでいる。
【００４８】
図1には、この3次元色形状計測装置1が、特に、立体画像モードや平面化画像モードにおいて、被計測物としての原稿Pの3次元形状を検出するために、明部と暗部とが交互に並んで成るストライプ状のパターン光を投影部13から原稿Pに投影している状態で示されている。
【００４９】
このように、投影部13は、被計測物に所定パターンのパターン光を投影するパターン光投影手段としても機能するものである。
【００５０】
図1に示すように、この3次元色形状計測装置1は、略箱状を成す撮像ヘッド2と、一端においてその撮像ヘッド2に連結されたパイプ状のアーム部材3と、そのアーム部材3の他端に連結されたベース4であって、平面視において略L字状を成すように形成されたものとを備えている。それらアーム部材3とベース4とは互いに共同して、撮像ヘッド2を片持ち状で保持するスタンドとして機能する。
【００５１】
撮像ヘッド2は、図2に示すように、投影部13や撮像部14がケース内に収容されて構成されている。図1に示すように、この撮像ヘッド2は、鏡筒5と、ファインダ6と、フラッシュ7とを、それぞれが部分的に撮像ヘッド2の正面において露出する姿勢で備えている。この撮像ヘッド2は、さらに、撮像部14の一部である撮像光学系21を、それのレンズの一部が撮像ヘッド2の正面において露出する姿勢で備えている。その撮像光学系21は、それの露出部分において、被計測物を表す画像光を受光する。
【００５２】
鏡筒5は、図1に示すように、撮像ヘッド2の正面から突出しており、その内部において、図2に示すように、投影部13の一部である投影光学系20を収容している。この鏡筒5は投影光学系20を、焦点調節のために全体的に移動可能である状態で保持し、さらに、この鏡筒5は、投影光学系20を損傷から保護している。鏡筒5の露出端面から、投影部13の一部である投影光学系20のレンズの一部が露出している。投影光学系20は、それの露出部分において、投影面または被計測物に向かって画像光またはパターン光を投影する。
【００５３】
ファインダ6は、撮像ヘッド2の正面から入射した光をそれの背面まで誘導するように配設される光学レンズによって構成されている。ユーザがファインダ6を3次元色形状計測装置1の背面からのぞき込むと、ユーザが、撮像光学系21のうちのイメージセンサの一例であるCCD（Charge Coupled Device）22（結像面）上に画像が結像する領域とほぼ一致する領域内においてその画像を視認できるようになっている。
【００５４】
フラッシュ7は、例えば、デジカメモードにおいて、不足光量を補充するために発光する光源であり、キセノンガスが充填された放電管を用いて構成されている。したがって、このフラッシュ7は、撮像ヘッド2に内蔵されているコンデンサ（図示しない）の放電により繰り返し使用することができる。
【００５５】
撮像ヘッド2は、さらに、それの上面において、レリーズボタン8と、モード切替スイッチ9と、モニタLCD（Liquid Crystal Device）10とを備えている。
【００５６】
レリーズボタン8は、3次元色形状計測装置1を作動させるためにユーザによって操作される。このレリーズボタン8は、ユーザの操作状態（押下状態）が「半押し状態」である場合と「全押し状態」である場合とで異なる指令を発令できる2段階の押しボタン式のスイッチによって構成されている。レリーズボタン8の操作状態は処理部15によって監視される。処理部15によって「半押し状態」が検出されれば、よく知られたオートフォーカス（AF）および自動露出（AE）の機能が起動し、ピント、絞りおよびシャッタスピードが自動的に調節される。これに対し、処理部15によって「全押し状態」が検出されれば、撮像等が行われる。
【００５７】
モード切替スイッチ9は、3次元色形状計測装置1の作動モードを、前述のデジカメモード、webcamモード、立体画像モード、および平面化画像モードと、オフモード等を含む複数種類のモードのいずれかとして設定するためにユーザによって操作される。このモード切替スイッチ9の操作状態は処理部15によって監視されており、モード切替スイッチ9の操作状態が処理部15によって検出されると、その検出された操作状態に対応するモードでの処理が3次元色形状計測装置1に対して行われる。
【００５８】
モニタLCD10は、液晶ディスプレイ（Liquid Crystal Display）を用いて構成されており、処理部15から画像信号を受けて、画像をユーザに表示する。このモニタLCD10は、例えば、デジカメモードやwebcamモードにおける撮像画像、立体画像モードにおける3次元形状検出結果画像、平面化画像モードにおける平面化画像等を表示する。
【００５９】
図1に示すように、撮像ヘッド2は、さらに、RF（無線）インターフェイスとしてのアンテナ11と、撮像ヘッド2とアーム部材3とを互いに連結する連結部材12とを備えている。
【００６０】
アンテナ11は、図5に示すように、RFドライバ24に接続されている。このアンテナ11は、デジカメモードで取得した撮像画像データ、立体画像モードで取得した立体画像データ等を、RFドライバ24を介して、図示しない外部インターフェイスに無線によって送信する。
【００６１】
連結部材12は、撮像ヘッド2とアーム部材3の一端部とを、ねじ機構により、着脱可能であり、かつ、相対取付け角度が調節可能である状態で互いに連結する。具体的には、この連結部材12は、例えば、内周面に雌ねじが形成されたリングとして形成され、撮像ヘッド2の一側面に回転可能かつ離脱不能に保持されている。その雌ねじに対応し、アーム部材3の一端部に雄ねじが形成されている。それら雌ねじと雄ねじとが互いに螺合されることにより、撮像ヘッド2とアーム部材3とが着脱可能に互いに連結される。したがって、撮像ヘッド2は、アーム部材3から取り外せば、通常のデジタルカメラとして使用することができる。さらに、それら雌ねじと雄ねじとが互いに螺合されることにより、撮像ヘッド2を、アーム部材3の一端部に任意の角度で固定することができる。
【００６２】
図1に示すように、アーム部材3は、任意の形状に屈曲可能であり、かつ、外力が加えられない限りその形状が復元しない素材または機構によって構成されている。これにより、アーム部材3は、それに装着された撮像ヘッド2を、それの位置および向きを任意に調整可能に保持することができる。このアーム部材3は、例えば、任意の形状に屈曲可能な蛇腹状のパイプによって構成される。
【００６３】
図1に示すように、ベース4は、前述のように、アーム部材3の他端に連結されている。このベース4は、机等の載置台に載置され、撮像ヘッド2とアーム部材3とを支持する。このベース4は、平面視において略Ｌ字状を成すように形成されているため、重量の割に高い安定度で撮像ヘッド2およびアーム部材3を支持することができる。さらに、それらアーム部材3とベース4とは着脱可能に互いに連結されているため、例えば搬送や収納の先立ち、それらアーム部材3とベース4とを互いに分離することにより、それらアーム部材3とベース4とが占めるスペースの形態を任意に変更することが可能となり、よって、搬送し易さの向上および収納スペースの削減を容易に図り得る。
【００６４】
図2には、撮像ヘッド2の内部構成が概念的に表されている。撮像ヘッド2は、前述のように、投影部13と、撮像部14と、処理部15とを主に内蔵している。
【００６５】
投影部13は、投影面または被計測物に任意の画像光（投影画像）またはパターン光を投影するためのユニットである。この投影部13は、図2に示すように、基板16と、複数個のLED（Light Emitting Diode）17（以下、それらのアレイを「LEDアレイ17A」という。）と、光源レンズ18と、投影LCD19と、投影光学系20とを、投影方向に沿って直列に備えている。この投影部13の詳細は、後に図3を参照して説明する。
【００６６】
撮像部14は、被計測物としての原稿Pを撮像するためのものである。この撮像部14は、図2に示すように、撮像光学系21と、CCD22とを、画像光の入射方向に沿って直列に備えている。
【００６７】
撮像光学系21は、図2に示すように、複数枚のレンズを用いて構成されている。この撮像光学系21は、よく知られたオートフォーカス機能により、焦点距離および絞りを自動調整して外部からの光をCCD22上に結像する。
【００６８】
CCD（Charge Coupled Device）22は、フォトダイオード素子などの光電変換素子をマトリクス状に配列して構成されている。このCCD22は、撮像光学系21を介してこのCCD22の表面に結像される画像の光の色および強さに応じた信号（以下、画像信号ともいう。）を各画素ごとに生成する。その生成された信号は、デジタルデータに変換されて処理部15に出力される。
【００６９】
図5にブロック図で示すように、処理部15は、フラッシュ7、レリーズボタン8およびモード切替スイッチ9にそれぞれ電気的に接続されている。処理部15は、さらに、モニタLCD10にはモニタLCDドライバ23を介して、アンテナ11にはRFドライバ24を介して、バッテリ26には電源インターフェイス25を介してそれぞれ電気的に接続されている。処理部15は、さらに、外部メモリ27およびキャッシュメモリ28にそれぞれ電気的に接続されている。処理部15は、さらに、LEDアレイ17Aには光源ドライバ29を介して、投影LCD19には投影LCDドライバ30を介して、CCD22にはCCDインターフェイス31を介してそれぞれ電気的に接続されている。それらフラッシュ7等は、処理部15によって制御される。なお、本実施形態では、CCD22とCCDインターフェイス31とにより撮像ユニット60を構成している。
【００７０】
外部メモリ27は、着脱可能なフラッシュROM（Read Only Memory）であり、デジカメモードやwebcamモード、さらに立体画像モードにおいて撮像された撮像画像や3次元情報を記憶することが可能である。外部メモリ27を構成するために、例えば、SDカード、コンパクトフラッシュ（登録商標）カード等を使用することができる。
【００７１】
キャッシュメモリ28は、データの読み書きを高速で行い得る記憶装置である。キャッシュメモリ28は、例えば、デジカメモードにおいて撮像された撮像画像を高速でキャッシュメモリ28に転送し、処理部15で画像処理を行ってから外部メモリ27に格納することを可能にするために使用される。キャッシュメモリ28を構成するために、例えば、SDRAM（Synchronous Dynamic Random Access Memory）、DDRRAM(Double Data Rate Random Access Memory）等を使用することができる。
【００７２】
電源インターフェイス25、光源ドライバ29、投影LCDドライバ30およびCCDインターフェイス31はそれぞれ、バッテリ26、LEDアレイ17A、投影LCD19およびCCD22を制御する各種の集積回路IC（Integrated Circuit）によって構成されている。
【００７３】
ここで、投影部13の詳細を図3を参照することによって説明する。図3（ａ）は投影部13の拡大図であり、図3（ｂ）は光源レンズ18の正面図であり、図3（ｃ）は投影LCD19とCCD22との配置関係を説明するための正面図である。
【００７４】
前述のように、投影部13は、図3（ａ）に示すように、基板16と、LEDアレイ17Aと、光源レンズ18と、投影LCD19と、投影光学系20とをパターン光の投影方向に沿って直列に備えている。
【００７５】
基板16は、それにLEDアレイ17Aが装着されることにより、その装着されたLEDアレイ17Aとの間において電気的な配線を行う。基板16は、例えば、アルミニウム製基板に絶縁性合成樹脂を塗布してから無電解メッキにてパターンを形成したものや、ガラスエポキシ基材をコアとする単層または多層構造の基板を使用して製作することができる。
【００７６】
LEDアレイ17Aは、投影LCD19に向けて放射状の光を発光する光源である。このLEDアレイ17Aにおいては、基板16上に複数個のLED（発光ダイオード）17が、図3（ｂ）に示すように、千鳥状配列のもとに、銀ペーストを介して接着されている。それら基板16と複数個のLED17とは、ボンディングワイヤを介して電気的に結線されている。複数個のLED17を千鳥状に配列することによる効果は、後に図4を参照して詳細に説明する。
【００７７】
このように、本実施形態においては、投影部13の光源として複数個のLED17が使用されているため、光源として白熱電球、ハロゲンランプ等が使用される場合に比べて、電気が光に変換される電気光変換効率の向上や、赤外線や紫外線の発生の抑制を容易に行い得る。よって、3次元色形状計測装置1の節電、長寿命化、発熱抑制等を容易に図り得る。
【００７８】
このように、LED17はハロゲンランプ等に比べて熱線の発生率が極めて低いため、光源レンズ18や投影光学系20に合成樹脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、光源レンズ18および投影光学系20を安価で軽量に構成することができる。
【００７９】
さらに、本実施形態においては、LEDアレイ17Aを構成する各LED17が、互いに同じ色の光を発光し、具体的には、材料にAl、In、GaおよびPの4元素を用いたアンバー色を発光するように構成されている。したがって、複数色の光を発光させる場合に考慮しなければならない問題である色収差の補正を考慮する必要がなく、よって、色収差を補正するために投影光学系20に色消しレンズを採用する必要もない。その結果、投影光学系20の設計の自由度を向上させることができる。
【００８０】
さらに、本実施形態においては、電気光変換効率が約80［lumen／W］というように他の発光色に比べて高い4元素材料のアンバー色LEDが採用されるため、3次元色形状計測装置1の高輝度化、節電および長寿命化を容易に図り得る。
【００８１】
本実施形態においては、具体的には、LEDアレイ17Aが59個のLED17によって構成され、各LED17は50［mW］（20［mA］，2.5［V］）で駆動され、結局、59個のLED17の全体は略3［W］の消費電力で駆動される。
【００８２】
さらに、本実施形態においては、各LED17から発光される光が光源レンズ18および投影LCD19を通過して投影光学系20から出射する場合の光束値としての明るさが、全面照射の場合であっても25ANSIルーメン程度に設定されている。
【００８３】
本実施形態においては、3次元色形状計測装置1の投影部13からの出射光の明るさがその程度に選定されるため、例えば、被計測物が人や動物の顔である場合に、立体画像モードにおいて、その被計測物の３次元形状を検出するためにその被計測物にパターン光を投影しても、被計測物に眩しさを与えずに済む。したがって、本実施形態によれば、被計測物が人や動物である場合に、その被計測物が目をつぶらない状態でその被計測物の3次元形状を検出することが容易となる。
【００８４】
図3に示すように、光源レンズ18は、LEDアレイ17Aから放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学樹脂である。
【００８５】
図3（ａ）に示すように、光源レンズ18は、複数個の凸状のレンズ部18ａと、それらレンズ部18ａを支持するベース部18ｂと、エポキシ封止材18ｃと、複数本の位置決めピン18ｄとを備えている。
【００８６】
図3（ａ）に示すように、各レンズ部18ａは、ベース部18ｂのうちLEDアレイ17Aの各LED17に対向する位置に、ベース部18ｂから投影LCD19に向かって突設されている。エポキシ封止材18ｃは、ベース部１８ｂのうちLEDアレイ17Aが気密に収容されるべき凹部18ｅ内に充填され、それにより、その凹部18ｅ内においてLEDアレイ17Aが封止される。このエポキシ封止材18ｃは、LEDアレイ17Aの封止機能を有するのであり、さらに、基板16と光源レンズ18とを互いに接着する機能も有する。
【００８７】
図3（ａ）に示すように、複数本の位置決めピン18ｄは、光源レンズ18と基板16とを相対的に位置決めするために、光源レンズ18に、その光源レンズ18から基板16に向かって突設されている。図3（ｂ）に示すように、複数本の位置決めピン18ｄのうちの一部は、基板16に穿設された長穴16ａに挿入される一方、残りは、基板16に穿設された真円穴16ｂに挿入され、それにより、基板16に光源レンズ18ががたなく正規の位置に固定される。
【００８８】
このように、本実施形態においては、光源レンズ18と、LEDアレイ17Aと、基板16とが、投影方向に空間的に詰めて互いに積層されているため、それら光源レンズ18等の組立体のコンパクト化および省スペース化が容易となる。
【００８９】
さらに、本実施形態においては、基板16が、LEDアレイ17Aを保持するという基本的な機能の他に、光源レンズ18を保持するという付随的な機能をも果たしている。したがって、本実施形態によれば、光源レンズ18を専ら保持する部品の追加を省略でき、その結果、3次元色形状計測装置1の部品点数の削減が容易となる。
【００９０】
さらに、本実施形態においては、各レンズ部18ａが、図3（ａ）に示すように、LEDアレイ17Aの各LED17に1対1の関係で正対するように配置されている。よって、各LED17から発光される放射状の光は、各LED17に対向する各レンズ部18によって効率良く集光され、図3（ａ）に示すように、指向性の高い放射光として投影LCD19に照射される。
【００９１】
このように指向性を高めたのは、投影LCD19に略垂直に光が入射すれば、その投影LCD19の面内における透過率むらが抑制されて画質が向上し得るという理由からである。
【００９２】
投影光学系20は、投影LCD19を通過した光を投影面または被計測物に向かって投影するための複数枚のレンズである。それらレンズは、ガラス製レンズと合成樹脂製レンズとの組合せから成るテレセントリックレンズによって構成されている。テレセントリックとは、投影光学系20を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。
【００９３】
投影光学系20は、上述のようにテレセントリック特性を持ち、その入射NAが0.1程度であるため、垂直±5°以内の光のみが投影光学系20の内部の絞りを通過できるように、投影光学系20の光路が規制されている。
【００９４】
したがって、本実施形態においては、投影光学系20のテレセントリック性により、投影LCD19を垂直±5°で通過する光のみを投影光学系20に投影し得る構成と相俟って、画質の向上を容易に図り得る。
【００９５】
よって、本実施形態においては、画質向上のために、各LED17からの出射光が投影LCD19に略垂直に入射するように各LED17からの光の出射角度を揃え、かつ、各LED17からの出射光のほとんどが投影光学系20に垂直±5°の入射角度範囲内で入射させることが重要である。
【００９６】
図3（ｃ）に示すように、投影LCD19は、光源レンズ18を通過して集光された光に空間変調を施して、投影光学系20に向けてパターン光を出力する空間変調素子である。この投影LCD19は、具体的には、縦横比が1：1ではない板状の液晶ディスプレイ（Liquid Crystal Display）によって構成されている。
【００９７】
図3（ｃ）に示すように、この投影LCD19においては、その投影LCD19を構成する複数個の画素が一平面上において千鳥状に配列されている。具体的には、この投影LCD19においては、その液晶ディスプレイの長手方向（横方向）に複数個の画素が予め定められた画素ピッチで等間隔に並んだ画素列が複数並列に配置され、かつ、互いに隣接する2つの画素列が、その画素ピッチより短い長さで、その液晶ディスプレイの長手方向にずらされている。
【００９８】
このように、本実施形態においては、投影LCD19を構成する複数個の画素が千鳥状に配列されているため、投影LCD19によって空間変調が施される光を投影LCD19の長手方向において前記画素ピッチの1／2のピッチで制御することができる。したがって、本実施形態によれば、細いピッチで投影パターン光を制御することができ、よって、被計測物の3次元の形状を高い分解能で高精度に検出することができる。
【００９９】
また、後述する立体画像モードや平面化画像モードにおいては、被計測物の3次元形状を検出すべく、図1に示すように、明部と暗部とが交互に並んで成るストライプ状のパターン光が被計測物に向けて投影される。本実施形態においては、そのパターン光において複数本のストライプ（明部または暗部）が並ぶ方向（各ストライプの幅方向）が投影LCD19の長手方向に一致するようにパターン光が予め定義されている。したがって、パターン光において明部と暗部との境界を1／2ピッチで制御することができ、よって、同様に高精度に3次元の形状を検出することができる。
【０１００】
図3（ｃ）においては、投影LCD19とCCD22とが横に並んで示されているが、それら投影LCD19とCCD22とは、紙面手前側に撮像ヘッド2の正面が存在し、紙面裏側から光が投影LCD19に入射し、紙面手間側から光がCCD22に入射してそのCCD22に被計測物像が結像される状態で、配置されている。
【０１０１】
それら投影LCD19とCCD22とは、撮像ヘッド2の内部においては、図3（ｃ）に示すレイアウトで配置される。具体的には、それら投影LCD19とCCD22とは、投影LCD19の幅広面とCCD22の幅広面とが略同一の方向を向くように配置されている。したがって、本実施形態によれば、投影LCD19がパターン光を投影している被計測物からの反射光を3次元色形状計測装置1内においてCCD22に結像させることによって被計測物の3次元形状を検出するために、投影LCD19の中心とCCD22の中心とを結ぶ一直線を、三角測量を行う際に着目される3辺のうちの1辺として利用することができる。
【０１０２】
また、CCD22は、投影LCD19の長手方向に位置する側（画素列が延びる方向に位置する側）に配置されている。よって、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被計測物の3次元形状を検出する場合には、CCD22と被計測物とのなす傾きを1／2ピッチで制御することができるため、同様に高精度に被計測物の3次元形状を検出することができる。
【０１０３】
本実施形態においては、投影LCD19が画素配列として千鳥配列を採用するため、画素列において画素が並ぶ間隔と等しい間隔で複数本のストライプが並んだパターン光、すなわち、千鳥配列を利用せずに形成される複数種類の標準的なパターン光のうちストライプ間の間隔が最も狭いものよりストライプ間の間隔が狭い別のパターン光を形成することが可能となる。したがって、本実施形態によれば、標準的なパターン光の種類がｎ種類である場合に、（n＋1）ビットの空間コードを扱うことが可能となり、このことによっても、被計測物の３次元形状を検出する精度が向上する。
【０１０４】
よって、本実施形態によれば、投影LCD19における画素ピッチ間の間隔、すなわち、投影LCD19の解像度の割に多数のビットの空間コードを扱うことが可能となる。
【０１０５】
以下、図4を参照することにより、LEDアレイ17Aの配列をさらに詳しく説明する。図4（ａ）は、光源レンズ18から出射する光の３次元形状を示す側面図である。図4（ｂ）は、１個のLED17から投影LCD19の入射面19ａに入射した光の照度分布を示すグラフである。図4（ｃ）は、LEDアレイ17Aの配列を部分的に拡大して示す正面図である。図4（ｄ）は、複数個のLED17から投影LCD19の入射面19ａに入射した複数の光の合成照度分布を示すグラフである。
【０１０６】
図4（ａ）に示すように、光源レンズ18からの出射光が、半値拡がり半角θが略5°である状態で、図4（ｂ）に示すような照度分布を有する光として、投影LCD19の入射面19ａに到達するように光源レンズ18が設計されている。
【０１０７】
また、図4（ｃ）に示すように、複数個のLED17は、投影LCD19における画素の千鳥配列に合わせて、基板16上に千鳥状に配列されている。具体的には、複数個のLED17がピッチｄで横方向に直列に並んで成るLED列が複数、ピッチｄの√3／2倍と等しいピッチで縦方向に並列に並んでいる。さらに、縦方向において互いに隣接する２つのLED列は、ピッチｄと等しい長さで、横方向に互いにずらされている。
【０１０８】
すなわち、本実施形態においては、それらLED17の配列が三角格子配列とされ、いずれのLED17も、それに隣接する別のいずれのLED17からもピッチｄと等しい距離離れているのである。
【０１０９】
そして、本実施形態においては、ピッチｄの長さが、１個のLED17から出射した光によって投影LCD19について与えられる照度分布の半値全幅（FWHM（Full Width Half Maximum））以下となるように、予め設定されている。
【０１１０】
よって、本実施形態においては、光源レンズ18を通過して投影LCD19の入射面19ａに到達する光の合成照度分布が、図4（ｄ）に示すように、小さなリップルを有する略直線状のグラフで表され、その結果、投影LCD19の入射面19ａの全体に略均一に光が照射される。したがって、本実施形態によれば、投影LCD19における照度むらが抑制され、その結果、画像光が投影面に高品質で投影され、さらに、パターン光が被計測物に高品質で投影される。
【０１１１】
図5には、3次元色形状計測装置1の電気的な構成がブロック図で表されている。処理部15はコンピュータを主体として構成されており、そのコンピュータは、CPU（Central Processing Unit）35と、ROM36と、RAM37とを含むように構成されている。
【０１１２】
CPU35は、ROM36に記憶されたプログラムをRAM37を利用しつつ実行することにより、レリーズボタン8の操作状態の検出、CCD22からの画像データの取込み、その取り込まれた画像データの転送および格納、モード切替スイッチ９の操作状態の検出等の各種処理を行う。
【０１１３】
ROM36には、カメラ制御プログラム36ａと、パターン光撮影プログラム36bと、輝度画像生成プログラム36cと、コード画像生成プログラム36dと、コード境界抽出プログラム36eと、レンズ収差補正プログラム36fと、三角測量演算プログラム36gと、原稿姿勢演算プログラム36hと、平面変換プログラム36iとが格納されている。
【０１１４】
カメラ制御プログラム36ａは、3次元色形状計測装置1全体の制御を実行するために実行され、その制御には、図8にフローチャートで概念的に表されているメイン処理が含まれる。
【０１１５】
パターン光撮影プログラム36ｂは、原稿Pの3次元形状を検出するためにパターン光が投影された被計測物を撮像してパターン光有画像を取得し、さらに、パターン光が投影されていない被計測物を撮像してパターン光無画像を取得するために実行される。
【０１１６】
輝度画像生成プログラム36ｃは、パターン光撮影プログラム36ｂの実行によって同じ被計測物について取得されたパターン光有画像とパターン光無画像との差分をとり、パターン光が投影された被計測物を表す輝度画像を生成するために実行される。
【０１１７】
本実施形態においては、同じ被計測物に対して複数種類のパターン光が時系列に順次投影され、各パターン光が投影されるごとに被計測物が撮像される。そのようにして撮像された複数枚のパターン光有画像の各々とパターン光無画像との差分がとられ、その結果、パターン光の種類と同数の輝度画像が生成される。
【０１１８】
コード画像生成プログラム36ｄは、輝度画像生成プログラム36ｃの実行によって生成された複数枚の輝度画像それぞれに対する閾値処理により生成される2値化画像から、各画素毎に空間コードが割り当てられたコード画像を生成するために実行される。
【０１１９】
概略的に説明するに、このコード画像生成プログラム36ｄが実行されると、複数種類のパターン光のうちパターンライン間の間隔が最も狭いものが投影された被計測物の輝度画像におけるパターンライン間の間隔が周期として取得され、その周期の輝度画像全体における分布が周期分布として取得される。
【０１２０】
このコード画像生成プログラム３６dが実行されると、さらに、その取得された周期分布に従ってサイズが変化する可変窓が各パターン光ごとの輝度画像にローカルに設定されることにより、前記可変窓を用いたフィルタ処理により輝度画像全体に対して閾値がローカルに算出されて設定される。
【０１２１】
そのようにして設定された閾値の分布を表す閾値画像と各パターン光ごとの輝度画像との関係から、各パターン光ごとに2値化画像が生成される。
【０１２２】
コード境界抽出プログラム36ｅは、コード画像生成プログラム36ｄの実行によって生成されたコード画像と、輝度画像生成プログラム36ｃの実行によって生成された輝度画像とを利用することにより、コードの境界座標をサブピクセル精度で求めるために実行される。
【０１２３】
レンズ収差補正プログラム36ｆは、コード境界抽出プログラム36ｅの実行によってサブピクセル精度で求められたコードの境界座標に対して、撮像光学系21の収差補正を行うために実行される。
【０１２４】
三角測量演算プログラム36ｇは、レンズ収差補正プログラム36ｆの実行によって収差補正が行われたコードの境界座標から、その境界座標に関する実空間の3次元座標を演算するために実行される。
【０１２５】
原稿姿勢演算プログラム36ｈは、三角測量演算プログラム36ｇの実行によって演算された3次元座標から原稿Pの3次元形状を推定して求めるために実行される。
【０１２６】
平面変換プログラム36ｉは、原稿姿勢演算プログラム36ｈの実行によって演算された原稿Pの3次元形状に基づき、原稿Pをその正面から撮像した場合に生成される如き平面化画像を生成するために実行される。
【０１２７】
また、図5に示すように、RAM37には、パターン光有画像格納部37ａと、パターン光無画像格納部37ｂと、輝度画像格納部37ｃと、コード画像格納部37ｄと、コード境界座標格納部37ｅと、収差補正座標格納部37ｇと、3次元座標格納部37ｈと、原稿姿勢演算結果格納部37ｉと、平面変換結果格納部37ｊと、投影画像格納部37ｋと、ワーキングエリア37ｌと、周期分布格納部37ｐと、閾値画像格納部37ｑと、2値化画像格納部37ｒとがそれぞれ記憶領域として割り当てられている。
【０１２８】
パターン光有画像格納部３７ａは、パターン光撮影プログラム３６ｂの実行によって撮像されたパターン光有画像を表すパターン光有画像データを格納する。パターン光無画像格納部３７ｂは、パターン光撮影プログラム３６ｂの実行によって撮像されたパターン光無画像を表すパターン光無画像データを格納する。
【０１２９】
輝度画像格納部37ｃは、輝度画像生成プログラム36ｃの実行によって生成された輝度画像を表すデータを格納する。コード画像格納部37ｄは、コード画像生成プログラム36ｄの実行によって生成されたコード画像を表すデータを格納する。コード境界座標格納部37ｅは、コード境界抽出プログラム36ｅの実行によってサブピクセル精度で抽出された各コードの境界座標を表すデータを格納する。
【０１３０】
収差補正座標格納部37ｇは、レンズ収差補正プログラム36ｆの実行によって収差補正が行われたコードの境界座標を表すデータを格納する。3次元座標格納部37ｈは、三角測量演算プログラム36ｇの実行によって演算された実空間の3次元座標を表すデータを格納する。
【０１３１】
原稿姿勢演算結果格納部37ｉは、原稿姿勢演算プログラム36ｈの実行によって演算された原稿Pの3次元形状に関するパラメータを格納する。平面変換結果格納部37ｊは、平面変換プログラム36ｉの実行によって取得された平面変換結果を表すデータを格納する。投影画像格納部37ｋは、投影部13が被計測物に投影する投影画像すなわちパターン光に関する情報を格納する。ワーキングエリア37ｌは、CPU35がその動作のために一時的に使用するデータを格納する。
【０１３２】
周期分布格納部37ｐ、閾値画像格納部37ｑ及び2値化画像格納部37ｒは、コード画像生成プログラム36ｄの実行によって取得された周期分布、閾値画像および2値化画像を表すデータをそれぞれ格納する。
【０１３３】
ここで、本実施形態に係る3次元色形状計測装置1が備える撮像ユニット60の構成について、図6を参照して説明する。なお、以下の説明では、3次元色形状計測装置1において、撮像ユニット60を除く3次元色形状計測装置1全体を主装置と称して説明する。
【０１３４】
図6に示すように、第１実施形態の撮像ユニット60は、撮像手段として機能するCCD61と、このCCD61が被計測物を撮像して出力する画像信号を増幅するアンプ62と、アンプ62により増幅したアナログの画像信号をアナログ・ディジタル変換するA/Dコンバータ63と、A/Dコンバータ63から入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正手段66とを収納している。
【０１３５】
このように構成した撮像ユニット60では、アンプ62とA/Dコンバータ63と、補正手段66とによりCCDインターフェイス31が構成され、このCCDインターフェイス31から主装置へ画像信号が出力される。
【０１３６】
また、第１実施形態の主装置は、撮像ユニット60から入力される色計測用画像信号に基づいて復元した被計測物の色と、撮像ユニット60から入力されるから入力される形状計測用信号に基づいて被計測物の3次元形状を復元した3次元モデルとを用いて被計測物の3次元画像を復元する色形状抽出手段を収納している。
【０１３７】
補正手段66は、第１階調特性に従った第１補正により、A/Dコンバータ63から入力される画像信号を色計測用画像信号に変換する第１補正回路64と、第１補正回路64が出力する色計測用画像信号を増幅して主装置へ出力するアンプ64aとからなる第１補正手段を備えると共に、第2階調特性に従った第2補正により、A/Dコンバータ63から入力される画像信号を形状計測用画像信号に変換する第2補正回路65と、第2補正回路65が出力する形状計測用画像信号を増幅して主装置へ出力するアンプ65aとからなる第2補正手段とを備えている。
【０１３８】
ここで、第１階調特性とは、第1階調特性とは、モニタLCD10の非線形な表示特性に合わせた非線形のガンマ特性のことであり、第2階調特性とは、少なくとも一部分に線形な特性を有し、その他の部分を非線形又は線形としたガンマ特性のことである。
【０１３９】
特に、第2階調特性としては、図7に示すような3つの特性パターンがあり、この撮像ユニット60において第2補正を行う際には、CCD22により撮像した画像の輝度の分布特性に応じて選択した1つの特性パターンを用いる。
【０１４０】
ここで、図7（a）には、全体が線形特性の特性パターンが示されており、撮像した画像において、輝度が低い（暗い）部分と、輝度が高い（明るい）部分がいずれも存在する場合には、この特性パターンに従って第2補正を行う。
【０１４１】
また、図7（b）、（c）には、一部分に線形な特性を有する特性パターンが示されており、撮像した画像において、非常に輝度が高い部分が存在しない場合には、図7（b）に示す特性パターンに従って第2補正を行い、非常に輝度が高い部分と非常に輝度が低い部分が存在しない場合には、図7（c）に示す特性パターンにしたがって第2補正を行う。
【０１４２】
このように、一部分に線形な特性を有する特性パターンに従った第2補正により形状測用画像信号を生成することによって、形状計測用画像信号のダイナミックレンジを大きくすることができ、被計測物の3次元形状をより細やかに計測することができ、被計測物の実際の形状を忠実に再現可能な形状計測用画像信号を生成することができる。
【０１４３】
第1補正手段は、第1補正回路64とアンプ64aとが動作して画像信号を色計測用画像信号に変換して出力するものであり、パターン光投影手段として機能する投影部13のパターン光非投影時に、撮像手段であるCCD22が被計測物を撮像して出力する画像信号に対して第1階調特性に従って第1補正を行って、画像信号を色計測用画像信号に変換するものである。
【０１４４】
また、この第1補正手段が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第1補正手段は、画像信号に含まれる各色信号ごとに第1補正を行うと共に、画像信号に含まれる輝度信号に対しても第1補正を行う。
【０１４５】
また、第2補正手段は、第2補正回路65とアンプ65aとが動作して形状計測用画像信号を出力するものであり、パターン光投影手段として機能する投影部13のパターン光投影時に、撮像手段であるCCD22が被計測物を撮像して出力する画像信号に対して第2階調特性に従って第2補正を行って、画像信号を形状計測用信号に変換するものである。
【０１４６】
また、この第2補正手段が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第2補正手段は、画像信号に含まれる各色信号ごとに第2補正を行うと共に、画像信号に含まれる輝度信号に対しても第2補正を行う。
【０１４７】
また、主装置は、撮像ユニット60から出力される色形状計測用画像信号及び形状計測用画像信号のいずれか一方を選択し、当該選択した画像信号を色形状抽出手段へ出力する選択手段を備えている。なお、この選択手段による画像信号の選択に関しては、処理部15でパターン光撮像プログラム36bが実行されるときに、CPU35の制御により色形状計測用画像信号及び形状計測用画像信号のいずれか一方が選択される。すなわち、主装置において処理部15がこの選択手段の機能を担っている。
【０１４８】
具体的に説明すると、主装置において、処理部15によりパターン光撮影プログラム36bが実行されてパターン光無画像が取得されるときに、CPU35の制御により第1補正手段と主装置とが接続されて色計測用画像信号が選択される。
【０１４９】
一方、主装置において、処理部15によりパターン光撮影プログラム36bが実行されてパターン光有画像が取得されるときに、CPU35の制御により第2補正手段と主装置とを接続されて形状計測用画像信号が選択される。
【０１５０】
このように、第1実施形態では、撮像ユニット60に第1補正手段と第2補正手段とを備えた補正手段を設けると共に、主装置に選択手段を設けたため、色形状抽出手段により被計測物の色と3次元形状とを忠実に復元した3次元画像を生成することができるだけでなく、主装置の処理部15において、画像信号を補正する処理を行わなくてすむので、処理部15が担う処理負担を軽減でき、3次元色形状計測装置1による3次元色形状計測処理の高速化を図ることができる。
【０１５１】
ここで、図8を参照することにより、カメラ制御プログラム36ａを説明する。このカメラ制御プログラム36ａが前記コンピュータによって実行されることにより、メイン処理が実行される。
【０１５２】
このメイン処理においては、まず、ステップS601（以下、単に「S601」で表す。他のステップについても同じとする。）において、バッテリ26を含む電源がONされる。次に、S602において、処理部15、周辺インターフェイス等が初期化される。
【０１５３】
続いて、S603において、モード切替スイッチ9の操作状態を判別するためにキースキャンが行われ、その後、S604において、モード切替スイッチ9の操作によってデジカメモードが選択されたか否かが判定される。今回は、デジカメモードが選択されたと仮定すれば、判定がYesとなり、S605において、後述のデジカメ処理が実行される。
【０１５４】
これに対し、今回は、モード切替スイッチ9の操作によってデジカメモードが選択されなかったと仮定すれば、S604の判定がNoとなり、S606において、モード切替スイッチ9の操作によってwebcamモードが選択されたか否かが判定される。今回は、webcamモードが選択されたと仮定すれば、判定がYesとなり、S607において、後述のwebcam処理が実行される。
【０１５５】
これに対し、今回は、モード切替スイッチ9の操作によってwebcamモードが選択されなかったと仮定すれば、S606の判定がNoとなり、S608において、モード切替スイッチ9の操作によって立体画像モードが選択されたか否かが判定される。今回は、立体画像モードが選択されたと仮定すれば、判定がYesとなり、S609において、後述の立体画像処理が実行される。
【０１５６】
これに対し、今回は、モード切替スイッチ9の操作によって立体画像モードが選択されなかったと仮定すれば、S608の判定がNoとなり、S610において、モード切替スイッチ9の操作によって平面化画像モードが選択されたか否かが判定される。今回は、平面化画像モードが選択されたと仮定すれば、判定がYesとなり、S611において、後述の平面化画像処理が実行される。
【０１５７】
これに対し、今回は、モード切替スイッチ9の操作によって平面化画像モードが選択されなかったと仮定すれば、S610の判定がNoとなり、S612において、モード切替スイッチ9の操作によってオフモードが選択されたか否かが判定される。今回は、モード切替スイッチ９の操作によってオフモードが選択されたと仮定すれば、判定がYesとなり、直ちに今回のメイン処理が終了するが、今回は、モード切替スイッチ9の操作によってオフモードが選択されなかったと仮定すれば、判定がYesとなり、S603に戻る。
【０１５８】
図9には、図8におけるS605がデジカメ処理ルーチンとしてフローチャートで概念的に表されている。このデジカメ処理ルーチンの実行により、撮像部14によって撮像された画像を取得するデジカメ処理が実行される。
【０１５９】
このデジカメ処理においては、まず、S701において、CCD22に高解像度設定信号が送信される。これにより、高品質の撮像画像をユーザに提供することができる。
【０１６０】
次に、S702において、ファインダ画像、すなわち、ファインダ6を通して見える範囲の画像と同じ画像がモニタLCD10に表示される。よって、ユーザは、ファインダ6をのぞき込むことなく、モニタLCD10に表示された画像を見ることにより、実際の撮像前に、撮像画像（撮像範囲）を確認することができる。
【０１６１】
続いて、S703aにおいて、レリーズボタン8の操作状態がスキャンされ、その後、S703bにおいて、そのスキャン結果に基づき、レリーズボタン8が半押し状態にあるか否かが判定される。半押し状態にあれば、判定がYesとなり、S703cにおいて、オートフォーカス（AF）および自動露出（AE）機能が起動し、それにより、ピント、絞りおよびシャッタスピードが調節される。S703bにおいては、レリーズボタン8が半押し状態に移行しているか否かが判定され、移行していなければ、このS703bの判定がNoとなってS703aに戻る。
【０１６２】
S703cの実行後、S703dにおいて、再度、レリーズボタン8の操作状態がスキャンされ、その後、S703eにおいて、そのスキャン結果に基づき、レリーズボタン8が全押し状態にあるか否かが判定される。このS703eにおいては、レリーズボタン8が全押し状態に移行しているか否かが判定され、移行していなければ、このS703eの判定がNoとなってS703aに戻る。
【０１６３】
レリーズボタン8が半押し状態から全押し状態に移行すれば、S703eの判定がYesとなり、S704において、フラッシュモードが選択されているか否かが判定される。フラッシュモードが選択されていれば、判定がYesとなり、S705において、フラッシュ7が発光させられるが、フラッシュモードが選択されていなければ、S704の判定がNoとなり、S705がスキップされる。
【０１６４】
いずれにしても、その後、S706において、被計測物が撮像される。続いて、S707において、被計測物が撮像された撮像画像がCCD22からキャッシュメモリ28に転送されて記憶される。その後、S708において、キャッシュメモリ28に記憶された撮像画像がモニタLCD10に表示される。本実施形態においては、撮像画像がキャッシュメモリ28に転送されるため、メインメモリに転送される場合に比較して、撮像画像を高速にモニタLCD10に表示させることができる。続いて、S709において、その撮像画像が外部メモリ27に格納される。
【０１６５】
その後、S710において、モード切替スイッチ9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定がYesとなり、S702に戻るが、変化が有れば、S710の判定がNoとなり、今回のデジカメ処理が終了する。
【０１６６】
図10には、図8におけるS607がwebcam処理ルーチンとしてフローチャートで概念的に表されている。このwebcam処理ルーチンの実行により、撮像部14によって撮像された撮像画像（静止画および動画を含む。）を外部ネットワークに送信するwebcam処理が実行される。本実施形態においては、撮像画像として動画が、図示しない外部ネットワーク（例えば、インターネット）に送信される場合が想定されている。
【０１６７】
このwebcam処理においては、まず、S801において、CCD22に低解像度設定信号が送信される。次に、S802において、オートフォーカスおよび自動露出の機能が起動し、それにより、ピント、絞りおよびシャッタスピードが調節される。続いて、S803において、被計測物が撮像される。
【０１６８】
その後、S804において、撮像された撮像画像がCCD22からキャッシュメモリ28に転送され、続いて、S805において、その撮像画像がモニタLCD10に表示される。
【０１６９】
その後、S806において、その撮像画像が投影画像格納部37ｋに格納される。続いて、S807において、後述の投影処理が実行され、それにより、投影画像格納部37ｋに格納されている画像が投影面に投影される。
【０１７０】
その後、S808において、キャッシュメモリ28に転送された撮像画像が図示しないRFインターフェイスを介して前記外部ネットワークに送信される。
【０１７１】
続いて、S809において、モード切替スイッチ9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定がYesとなり、S802に戻るが、変化が有れば、S809の判定がNoとなり、今回のwebcam処理が終了する。
【０１７２】
図11には、図10におけるS807が投影処理ルーチンとしてフローチャートで概念的に表されている。この投影ルーチンの実行により、投影画像格納部37ｋに格納されている画像を投影部13から投影面に投影する投影処理が実行される。
【０１７３】
この投影処理においては、まず、S901において、投影画像格納部37ｋに画像が格納されているか否かが判定される。格納されていない場合には、判定がNoとなり、直ちに今回の投影処理が終了する。これに対し、格納されている場合には、判定がYesとなり、S902において、投影画像格納部37ｋに格納されている画像が投影LCDドライバ30に転送される。続いて、S903において、その格納されている画像に応じた画像信号が投影LCDドライバ30から投影LCD19に送出され、それにより、その投影LCD19に画像が表示される。
【０１７４】
その後、S904において、光源ドライバ29が駆動され、続いて、S905において、その光源ドライバ29からの電気信号によってLEDアレイ17Aが発光する。以上で、今回の投影処理が終了する。
【０１７５】
LEDアレイ17Aから発光した光は、光源レンズ18を経て投影LCD19に到達する。その投影LCD19においては、投影LCDドライバ30から送信された画像信号に応じた空間変調が施され、その結果、投影LCD19への入射光が画像信号光に変換されて出力される。その投影LCD19から出力される画像信号光は、投影光学系20を経て投影面に投影画像として投影される。
【０１７６】
図12には、図8におけるS609が立体画像処理ルーチンとしてフローチャートで概念的に表されている。この立体画像処理ルーチンの実行により、被計測物の3次元形状を検出し、その立体画像としての3次元形状検出結果画像を取得し、表示し、投影する立体画像処理が実行される。
【０１７７】
この立体画像処理においては、まず、S1001において、CCD22に高解像度設定信号が送信される。次に、S1002ないしS1003hが、図9におけるS702ないしS706と同様にして実行される。
【０１７８】
具体的には、S1002において、モニタLCD10にファインダ画像が表示される。続いて、S1003aにおいて、レリーズボタン8の操作状態がスキャンされ、その後、S1003bにおいて、そのスキャン結果に基づき、レリーズボタン8が半押し状態にあるか否かが判定される。半押し状態にあれば、判定がYesとなり、S1003cにおいて、オートフォーカス（AF）および自動露出（AE）機能が起動する。
【０１７９】
S1003cの実行後、S1003dにおいて、再度、レリーズボタン8の操作状態がスキャンされ、その後、S1003eにおいて、そのスキャン結果に基づき、レリーズボタン8が全押し状態にあるか否かが判定される。
【０１８０】
レリーズボタン8が半押し状態から全押し状態に移行すれば、S1003eの判定がYesとなり、S1003fにおいて、フラッシュモードが選択されているか否かが判定される。フラッシュモードが選択されていれば、判定がYesとなり、S1003gにおいて、フラッシュ7が発光させられるが、フラッシュモードが選択されていなければ、S1003fの判定がNoとなり、S1003gがスキップされる。いずれにしても、その後、S1003hにおいて、被計測物が撮像される。
【０１８１】
続いて、S1006において、後述の3次元形状検出処理が実行され、それにより、被計測物の3次元形状が検出される。
【０１８２】
その後、S1007において、その3次元形状検出処理による3次元形状検出結果が外部メモリ27に格納され、続いて、S1008において、その3次元形状検出結果が3次元コンピュータグラフィック画像（被計測物の3次元画像）としてモニタLCD10に表示される。ここに、3次元形状検出結果とは、後述の空間コード画像において検出される複数の空間コード境界画像を3次元座標に変換した結果取得される頂点座標の集合体を意味する。
【０１８３】
その後、S1009において、その3次元形状検出結果としての複数個の計測頂点を通過するポリゴン図形が想定され、その想定されたポリゴン図形のサーフェスを表現する立体画像（3次元のコンピュータグラフィック画像）としての3次元形状検出結果画像が投影画像格納部37ｋに格納される。
【０１８４】
続いて、S1010において、図10におけるS807の投影処理と同様な投影処理が実行される。
【０１８５】
その後、S1011において、モード切替スイッチ9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定がYesとなり、S1002に戻るが、変化が有れば、S1011の判定がNoとなり、今回の立体画像処理が終了する。
【０１８６】
図12のS1006において実行される3次元形状検出処理においては、空間コード化法を用いて被計測物の3次元形状が検出される。以下、図13を参照することにより、空間コード化法を説明する。図13（ａ）には、3次元座標系XYZが設定された実空間をY座標軸方向に見た図と、X座標軸方向に見た図と、純2進コードによる3種類のマスクA,BおよびＣのパターンとが示されている。これに対し、図13（ｂ）には、グレイコードによる3種類のマスクA,BおよびCのパターンと、複数個の空間コードとが示されている。
【０１８７】
図13（ａ）に示すように、空間コード化法は、観察対象である被計測物の像である観察画像と、その被計測物に光（拡散光）を投影する投影光源（例えば、プロジェクタ）と、被計測物を観測する観測器（例えば、カメラ）との間に三角測量の原理を適用することによって被計測物の3次元形状を検出する手法の一種である。この空間コード化法においては、図13（ａ）に示すように、投影光源L（PROJECTOR）と観測器O（CAMERA）とが距離ｄだけ離して設置される。したがって、観測空間内の任意の点Pは、投影光の向きψと、観測器Oから見える向きθとが計測できれば、特定できる。この空間コード化法においては、さらに、被計測物表面上の任意の位置を特定するため、観測空間が複数個の細長い扇状領域に分割されてコード化されている。
【０１８８】
被計測物表面上の任意の位置のコードを観測画像から取得するために、複数種類のストライプ状のパターン光が時系列的に被計測物に投影される。パターン光の切換えは、パターン光の種類と同数のマスクを用意し、マスクを機械的に交換する機械式として実施したり、電気光学効果を有する材料を用いてストライプ状の光シャッタ列を構成し、その光シャッタ列における各ストライプの光透過率を電子的に制御する電子式として実施することが可能である。もっとも、本実施形態においては、後者の電子式が採用され、具体的には、投影LCD19によって複数種類のマスクパターンが時系列的に再現すなわち表示される。
【０１８９】
図13（ａ）に示す例においては、投影光源Lと被計測物（四角柱と円柱）との間にマスクが交換可能に設置される。この例においては、パターンが互いに異なる3種類のマスクA,BおよびCが用意されており、よって、3種類のパターン光が時系列的に被計測物に投影される。
【０１９０】
各マスクA,B,Cによって生成されたパターン光を被計測物に投影すると、8個の扇状領域のそれぞれが、明領域「1」と暗領域「0」とのいずれかにコード化される。3枚のマスクA,B,Cを経た光をそれらの順に被計測物に投影すると、各扇状領域には、3ビットから成るコードが割り当てられる。それら3ビットは、最初のマスクAに対応する最上位ビットMSBから、最後のマスクCに対応する最下位ビットLSMまで順に並んでいる。例えば、図13（ａ）に示す例においては、点Pが属する扇状領域は、マスクA,Bによって光が遮られるのに対し、マスクCによってのみ光が通過して明領域になるため、「001（A＝0、B＝0、C＝1）」としてコード化される。
【０１９１】
このように、各扇状領域には、投影光源Lからの向きψに相当するコードが割り当てられる。一方、各パターン光が投影された被計測物の明暗パターンを各マスクごとに2値化してメモリの各ビットプレーンを構成すれば、各ビットプレーン画像の横方向の位置（アドレス）は、観測器Oからの向きθに相当する。また、3枚のマスクにそれぞれ対応する3枚のビットプレーンのメモリ内容を各ビット（各画素）ごとに注目すれば、各画素ごとに3ビットのコードが取得される。このコードから、各扇状領域の投影光源Lからの向きψが特定される。そして、距離ｄが既知である状況において、向きψおよびθが特定されれば、三角測量の原理により、被計測物表面上の注目点の3次元座標が特定される。
【０１９２】
図13（ａ）には、マスクA,BおよびCの如き複数のマスクを用いることにより、空間を純2進コードを用いてコード化する例が示されているが、図13（ｂ）には、マスクA,BおよびCの如き複数のマスクを用いることにより、隣接するコード間のハミング距離が常に1であるグレイコードを空間コードとして用いて空間をコード化する例が示されている。
【０１９３】
本実施形態においては、前述の3次元形状検出処理において、純2進コードによる空間コード化法を採用しても、グレイコードによる空間コード化法を採用してもよい。
【０１９４】
この空間コード化法の詳細は、例えば、佐藤宏介、他1名、「空間コード化による距離画像入力」、電子通信学会論文誌、85／3Vol．J 68−D No3  p369〜375に詳細に開示されている。
【０１９５】
図14には、図12におけるS1006が3次元形状検出処理ルーチンとしてフローチャートで概念的に表されている。
【０１９６】
この3次元形状検出処理ルーチンにおいては、まず、S1210において、撮像処理が実行される。この撮像処理が実行されれば、例えば、図13（ｂ）に示す複数枚のグレイコードのマスクパターンを利用して投影部13からストライプ状のパターン光（図1参照）が時系列的に被計測物に投影される。さらに、複数種類のパターン光が投影されている被計測物をそれぞれ撮像した複数枚のパターン光有画像と、パターン光が投影されていない同じ被計測物を撮像した1枚のパターン光無画像とが取得される。
【０１９７】
撮像処理が終了すると、S1220において、3次元計測処理が実行される。この3次元計測処理が実行されると、上述の撮像処理によって取得された複数枚のパターン光有画像と1枚のパターン光無画像とが利用されて、実際に被計測物の3次元形状が計測される。
【０１９８】
次に、S1230において、被計測物について計測された3次元形状と表面色とを組み合わせることにより、3次元色形状検出結果が生成される。このS1230は、後に図19を参照して詳述する。この3次元色形状検出結果が生成されると、今回の3次元形状検出処理が終了する。
【０１９９】
図15には、図14におけるS1210が撮像処理サブルーチンとしてフローチャートで概念的に表されている。
【０２００】
この撮像処理サブルーチンにおいては、まず、S1211において、選択手段の設定処理が実行される。すなわち、このS1211において処理部15のCPU35による制御によって選択手段の設定が行われ、撮像ユニット60が出力する2種類の画像信号（色計測用画像信号と形状計測用画像信号）のうちから色計測用画像信号が選択される。
【０２０１】
次に、S1212において、パターン光撮影プログラム36bの実行により、投影部13からパターン光を被計測物に投影することなく、撮像部14によって被計測物を撮像することにより、1枚のパターン光無画像が取得される。
【０２０２】
このとき取得されるパターン光無画像は、撮像ユニット60において第1補正を施された色計測用画像信号をアンプ64aにより増幅した色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部37ｂに格納される。
【０２０３】
次に、S1213において、選択手段を切替える処理が実行される。すなわち、このS1213において処理部15のCPU35による制御によって選択手段の切り替えが行われ、撮像ユニット60が出力する2種類の画像信号（色計測用画像信号と形状計測用画像信号）のうちから形状計測用画像信号が選択される。
【０２０４】
次に、S1214において、パターン光を形成するために使用されるマスクパターンの番号を表すパターン番号PNが0に初期化される。続いて、S1215において、そのパターン番号PNの現在値が最大値PNmaxより小さいか否かが判定される。その最大値PNmaxは、使用されるマスクパターンの合計数に応じて決定される。例えば、8種類のマスクパターンが使用される場合には、最大値PNmaxが8に設定される。
【０２０５】
今回は、パターン番号PNの現在値が最大値PNmaxより小さいと仮定すれば、S1215の判定がYesとなり、その後、S1214において、使用される複数種類のマスクパターンのうち、パターン番号PNの現在値と等しい番号が付されたPN番目のマスクパターンが投影LCD19に表示される。このS1216においては、さらに、そのPN番目のマスクパターンによって形成されるPN番目のパターン光が被計測物に投影される。続いて、S1217において、そのPN番目のパターン光が投影されている被計測物が撮像部14によって撮像される。
【０２０６】
その撮像により、PN番目のパターン光が投影されている被計測物を撮像したPN番目のパターン光有画像が取得される。
【０２０７】
このとき取得されるパターン光有画像は、撮像ユニット60において第2補正を施された形状測用画像信号をアンプ65aにより増幅した形状計測用画像信号に基づいて生成されるものである。その取得されたパターン光有画像は、対応するパターン番号PNに関連付けてパターン光有画像格納部37ａに格納される。
【０２０８】
その撮像が終了すると、S1218において、PN番目のパターン光の投影が終了し、続いて、S1219において、次のパターン光を投影すべく、パターン番号PNが1だけインクリメントされ、その後、S1215に戻る。
【０２０９】
S1215ないしS1219の実行がパターン光の種類の数と同数回繰り返された結果、パターン番号PNの現在値が最大値PNmaxより小さくはない値になると、S1215の判定がNoとなり、今回の撮像処理が終了する。したがって、一回の撮像処理により、1枚のパターン光無画像と、最大値PNmaxと同数枚のパターン光有画像とが取得されることになる。
【０２１０】
図16には、図14におけるS1220が3次元計測処理サブルーチンとしてフローチャートで概念的に表されている。
【０２１１】
この3次元計測処理サブルーチンにおいては、まず、S1221において、輝度画像生成プログラム36ｃの実行により、輝度画像が生成される。このS1221においては、輝度値が、YCbCr空間におけるY値として定義されており、各画素のRGB値より、Y＝0.2989・R＋0.5866・G＋0.1145・Bなる式を用いて計算される。各画素についてY値を求めることにより、複数枚のパターン光有画像と1枚のパターン光無画像とに関する複数枚の輝度画像が生成される。それら生成された輝度画像は、パターン番号PNに関連付けて輝度画像格納部37ｃに格納される。ただし、輝度値の算出に用いられる式は、上記式に限定されるものではなく、他の式に適宜変更することが可能である。
【０２１２】
次に、S1222において、コード画像生成プログラム36ｄが実行される。このコード画像生成プログラム36ｄが実行されると、生成された複数枚の輝度画像が前述の空間コード化法を利用して組み合わされることにより、各画素ごとに空間コードが割り当てられたコード画像が生成される。そのコード画像は、輝度画像格納部37ｃに格納された複数種類のパターン光有画像に関する輝度画像と、各画素ごとに輝度閾値が割り当てられた閾値画像との比較による2値化処理によって生成される。その生成されたコード画像はコード画像格納部37ｄに格納される。
【０２１３】
図17には、このコード画像生成プログラム36ｄの詳細がフローチャートで概念的に表されている。以下、図17を参照することにより、このコード画像生成プログラム36ｄを時系列的に説明する。
【０２１４】
このコード画像生成プログラム36ｄにおいては、まず、S101において、パターン番号PNが0であるパターン光が投影された被計測物が撮像された輝度画像が輝度画像格納部37ｃから、代表パターン画像として読み込まれる。
【０２１５】
次に、S102において、代表パターン画像について、前記読み込まれた輝度画像に基づき、前述のＦＦＴ変換によるアプローチにより、代表パターン画像において列方向に連続的に並んだ各画素ごとにパターンライン周期が演算される。演算された複数個のパターンライン周期は各画素（各列方向画素位置）に関連付けて周期分布格納部３７ｐに格納される。
【０２１６】
続いて、S103において、演算された複数個のパターンライン周期に基づき、可変窓VWの特性がローカルに設定される。本実施形態においては、可変窓VWのライン方向サイズは、その可変窓VWが設定される代表パターン画像上の位置にかかわらず、変化しないように設定されるのに対し、可変窓VWの列方向サイズは、各列方向画素位置に関連付けて演算されたパターンライン周期の整数倍に相当するように設定される。
【０２１７】
その後、S104において、代表パターン画像に対して可変窓VWが、ライン方向と列方向とに沿って平面的に、かつ、各画素に関連付けて設定される。それにより、各画素ごとに、可変窓VW内に存在する複数個の画素の輝度値の平均値がローカルな閾値として演算される。このS105においては、さらに、演算された閾値が各画素に割り当てられた閾値画像が生成される。生成された閾値画像は閾値画像格納部37ｑに格納される。
【０２１８】
続いて、S105において、パターン番号PNが0に初期化され、その後、S106において、パターン番号PNの現在値が最大値PNmaxより小さいか否かが判定される。今回は、パターン番号PNの現在値が0であるため、判定がYesとなり、S107に移行する。
【０２１９】
このS107においては、図18に示す2値化画像生成サブルーチンに従って2値化画像が生成される。
【０２２０】
その後、S108において、パターン番号PNが1だけインクリメントされる。続いて、S106に戻り、パターン番号PNの現在値が最大値PNmaxより小さいか否かが判定される。今回も、最大値PNmaxより小さい場合には、判定がYesとなり、S107に移行する。
【０２２１】
S106ないしS108の実行がパターン光の種類の数と同数回繰り返された結果、パターン番号PNの現在値が最大値PNmaxより小さくはない値になると、S106の判定がNoとなり、S109に移行する。
【０２２２】
このS109においては、各画素ごとに、最大値PNmaxと同数枚の2値化画像から画素値（「1」または「0」）が、パターン番号PNが0である輝度画像に対応する2値化画像から、パターン番号PNが（PNmax−1）である輝度画像に対応する2値化画像に至る順序に従って抽出され、最下位ビットLSMから最上位ビットMSBに至る順序に従って並んだ空間コードが生成される。各画素ごとの空間コードのビット数は、最大値PNmaxと同数である。各画素ごとに空間コードが生成されることにより、今回の被計測物に対応する空間コード画像が生成される。生成された空間コードは、各画素位置に関連付けてコード画像格納部37ｄに格納される。
【０２２３】
図18には、図17におけるS107が2値画像生成サブルーチンとしてフローチャートで概念的に表されている。
【０２２４】
この2値画像生成サブルーチンにおいては、まず、S111において、輝度画像格納部37cから画像が読み込まれ、続いて、S112において、2値化処理が行われる。
【０２２５】
具体的には、パターン番号PNの現在値と等しいパターン番号PNが割り当てられた輝度画像の輝度値と、前記生成された閾値画像の閾値とが、各画素ごとに互いに比較される。その比較結果は、各画素ごとに2値化画像に反映される。具体的には、輝度画像の輝度値が閾値より大きい場合には、「1」を表すデータが、2値化画像のうち対応する画素位置に関連付けて2値化画像格納部37ｒに格納され、一方、輝度画像の輝度値が閾値より大きくはない場合には、「0」を表すデータが、2値化画像のうち対応する画素位置に関連付けて2値化画像格納部37ｒに格納される。
【０２２６】
以上で、コード画像生成プログラム36dの一回の実行が終了する。
【０２２７】
その後、図16におけるS1223において、コード境界抽出プログラム36ｅの実行により、コード境界座標検出処理が実施される。前述の空間コード化法によるコード化は、各画素単位で行われるため、実際のパターン光における明暗の境界線と、前記生成されたコード画像における空間コードの境界線（ある空間コードが割り当てられた領域と別の空間コードが割り当てられた領域との間の境界線）との間にサブピクセル精度の誤差が生ずる。そのため、このコード境界座標検出処理は、空間コードの境界座標値をサブピクセル精度で検出することを目的として実施される。
【０２２８】
検出されたコード境界座標値はコード境界座標格納部37ｅに格納される。コード境界座標値は、CCD22の結像面に設定された2次元座標系であるCCD座標系ccdx-ccdyにおいて定義される。
【０２２９】
続いて、S1224において、レンズ収差補正プログラム36ｆの実行により、レンズ収差補正処理が実施される。このレンズ収差補正処理は、撮像光学系21に入射した光束の実際の結像位置であってその撮像光学系21の収差の影響を受けたものを、その撮像光学系21が理想レンズであったならば結像されるはずである理想結像位置に近づくように補正する処理である。
【０２３０】
このレンズ収差補正処理により、S1223において検出されたコード境界座標値が、撮像光学系21の歪みなどに起因した誤差が除去されるように補正される。そのようにして補正されたコード境界座標は収差補正座標格納部37ｇに格納される。
【０２３１】
それらコード境界座標検出処理およびレンズ収差補正処理はいずれも、本発明を理解するために不可欠な事項ではなく、しかも、本出願人の特願2004-105426号明細書に詳細に開示されているため、それを参照することによって引用することにより、本明細書においては詳細な説明を省略する。
【０２３２】
その後、S1225において、三角測量演算プログラム36ｇの実行により、三角測量の原理による実空間変換処理が実施される。この実空間変換処理が実施されれば、三角測量の原理により、前述の、CCD座標系ccdx-ccdy上のコード境界座標値であって収差補正が施されたものが、実空間に設定された3次元座標系である実空間座標系X−Y−Z上の3次元座標値に変換され、その結果、3次元形状検出結果としての3次元座標値が取得される。その取得された3次元座標値は3次元座標格納部37ｈに格納され、この3次元計測処理が終了し、その後、図14に示すS1230の処理が行われる。
【０２３３】
図19には、図14におけるS1230が3次元色形状検出結果生成処理サブルーチンで概念的に表されている。
【０２３４】
そして、処理部15は、この3次元色形状検出結果生成処理を行うことにより、被計測物の3次元モデルを復元した3次元モデルと、復元した被計測物の色とを用いて被計測物の3次元画像を復元する色形状抽出手段として機能する。
【０２３５】
この3次元色形状検出結果生成処理サブルーチンにおいては、まず、S5501において、3次元座標格納部37hから、複数個の3次元座標値がロードされる。本実施形態においては、被計測物の外面全体が4つの部分面（正面、右側面、左側面および背面）に分割され、各部分面ごとに立体画像が生成される。このS5501においては、それら4つの部分面のすべてについて、各部分面に属する複数個の3次元座標値が3次元座標格納部37hからロードされる。
【０２３６】
次に、S5502において、それらロードされた複数個の3次元座標値（頂点座標値）
を基に、4つの部分面に属する複数個の3次元座標値が組み合わされる。その結果、複数個の3次元座標値によって3次元的に表現される4つの部分面が一体化されて、被計測物の外面全体を現す画像が合成される。
【０２３７】
続いて、S5503において、その生成された合成画像において空間的にオーバラップする部分が抽出される。さらに、その合成画像の長さ方向における各領域においてオーバラップする２つの部分が、それら2部分に属する複数個の3次元座標値の平均化等の手法により、1つの部分に結合される。その結果、合成画像において空間的なオーバラップが除去され、それにより、ステッチ画像が完成する。
【０２３８】
その後、S6001において、前述の実空間3次元座標系に座標変換された3次元頂点群の各実座標空間座標値に対応するRGB値（R輝度値、G輝度値およびB輝度値）が前述のパターン光無画像から抽出される。
【０２３９】
実空間座標系と、パターン光無画像を定義する平面座標系との関係は、前述の三角測量の原理によって幾何学的に互いに対応付けられている。すなわち、コード画像、すなわち、被計測物の3次元形状を計測するための2次元画像である形状画像を定義する平面座標系を実空間3次元座標系に計算によってマッピングさせるために用いられる関数が存在する場合に、その関数の逆関数を用いることにより、実空間3次元座標系を、パターン光無画像を定義する平面座標系に計算によってマッピングさせることが可能なのである。したがって、このS6001においては、2次元的なパターン光無画像から、各3次元頂点ごとに、それに対応する表面色値すなわちRGB値を抽出することが可能である。
【０２４０】
次に、S6002において、各頂点ごとに、対応する実空間座標値とRGB値とが組み合わされて色形状情報が生成される。さらに、その生成された色形状情報が、対応する頂点に直接にまたは間接に関連付けてワーキングエリア37lにローカル保存される。
【０２４１】
続いて、S6003において、被計測物の表面形状を複数個のポリゴンの一例である三角形に分割することによって近似的に表現するために、その被計測物について取得された複数個の頂点のうち、距離的に互いに近接する複数個の頂点が3個ずつ、グループ分けされる。各グループごとに、3個の頂点が互いに連結されることにより、1個のポリゴンが形成される。
【０２４２】
その後、S6004において、各ポリゴンごとに、そのポリゴンを形成するたに、互いに連結すべき3個の頂点の組合せがポリゴン情報として、各ポリゴンに直接にまたは間接に関連付けてワーキングエリア37lにローカル保存される。
【０２４３】
以上で、この3次元色形状検出結果生成サブルーチンの一回の実行が終了し、それに伴い、図14に示す3次元形状検出処理ルーチンの一回の実行が終了する。
【０２４４】
ここで、図20を参照することにより、三角測量の原理により、CCD座標系ccdx-ccdy上の2次元座標値を実空間座標系X−Y−Z上の3次元座標値に変換する手法を詳細に説明する。
【０２４５】
本実施形態においては、実空間座標系X−Y−Zが3次元色形状計測装置1に固定され、この実空間座標系X−Y−Z上において、図1に示すように、撮像対象である原稿Pであって横方向に湾曲したものが撮像される。図20に示すように、この実空間座標系X−Y−Zは3次元色形状計測装置1に対し、X軸は水平方向に延び、Y軸は垂直方向に延び、Z軸は撮像光学系21の光軸方向に延びるように位置決めされている。図20（ａ）には、実空間座標系X−Y−ZがX軸方向に観察された状態で示され、図20（ｂ）には、実空間座標系X−Y−ZがY軸方向に観察された状態で示されている。この実空間座標系X−Y−Zは3次元色形状計測装置１に対し、原点が、撮像光学系21の入力瞳位置からZ軸に沿って距離VPZ離れた位置に位置するように設定されている。
【０２４６】
この実空間座標系X−Y−Zにおいては、投影部13から原稿Pへの投影角度が「θｐ」で表記され、撮像光学系21の光軸と投影部13の光軸との距離が「D」で表記されている。投影角度θｐは、各画素ごとに割り当てられた空間コードによって一義的に特定される。
【０２４７】
この実空間座標系X−Y−Zにおいては、さらに、原稿P上の対象点targetからの反射光がCCD22に入射する光路が逆向きに延長された直線とX−Y平面との交点のY座標値が「Ytarget」、X座標値が「Xtarget」でそれぞれ表記されている。この実空間座標系X−Y−Zにおいては、さらに、撮像光学系21のY方向の視野が、「Yftop」で示す表記される点から「Yfbottom」で表記される点までの領域として定義され、Ｘ方向の視野が、「Xfstart」で表記される点から「Xfend」で表記される点までの領域として定義されている。さらに、CCD22のY軸方向における長さ（高さ）が「Hc」で表記され、X軸方向における長さ（幅）が「Wc」で表記されている。
【０２４８】
このように定義された実空間座標系X−Y−Z上においては、CCD22のCCD座標系上の任意座標値（ccdx，ccdy）に対応する実空間座標系上の3次元座標値（X，Y，Z）は、
（ａ）原稿P上の対象点target（X，Y，Z）（図20において引出し線を付して「（ａ）」示す。）と、
（ｂ）撮像光学系21の入力瞳位置（図20において引出し線を付して「（ｂ）」示す。）と、
（ｃ）投影光学系20の出力瞳位置（図20において引出し線を付して「（ｃ）」示す。）と、
（ｄ）撮像光学系21の入力瞳位置と原稿P上の対象点を通る直線とX−Y平面との交点（Xtarget，Ytarget）（図20において引出し線を付して「（ｄ）」示す。）と、
（ｅ）投影光学系２０の出力瞳位置と原稿P上の対象点を通る直線とX−Y平面との交点（図20において引出し線を付して「（ｅ）」示す。）と、
に関する関係を示す次の５つの式を解くことにより、取得される。
【０２４９】
（１）Y＝（PPZ−Z）・tanθｐ−D＋cmp（Xtarget）
（２）Y＝−（Ytarget／VPZ）Z＋Ytarget
（３）X＝−（Xtarget／VPZ）Z＋Xtarget
（４）Ytarget＝Yftop−（ccdcy／Hc）×（Yftop−Yfbottom）
（５）Xtarget＝Xfstart＋（ccdcx／Wc）×（Xfend−Xfstart）
ただし、式（1）における「cmp（Xtarget）」は、撮像光学系21と投影部13とのズレを補正する関数であり、ズレが無い理想的な場合には、0とみなすことができる。
【０２５０】
さらに、この実空間変換処理においては、実画像における任意点の座標値（ccdx，ccdy）が、理想カメラで撮像された画像における座標値（ccdcx，ccdcy）に変換される。この変換は、次の3つの式、すなわち、カメラキャリブレーションのための近似式を用いて行われる。
【０２５１】
（６）ccdcx＝（ccdx−Centx）／（1＋dist／100）＋Centx
（７）ccdcy＝（ccdy−Centy）／（1＋dist／100）＋Centy
（８）hfa＝arctan［（（（ccdx−Centx）2＋（ccdy−Centy）2）0.5）×pixellength／focallength］
ただし、収差量dist（％）は、半画角hfa（deg）の関数ｆを用いてdist＝f（hfa）と記述される。また、撮像光学系21の焦点距離は、「focallength（mm）」で表記され、ccd画素長は、「pixellength（mm）」で表記され、CCD22におけるレンズの中心の座標値は、（Centx，Centy）として定義されている。
【０２５２】
この実空間変換処理においては、上述のように、CCD座標系を実空間座標系に変換する処理のみならず、3次元の空間座標系上の任意の3次元座標値（X，Y，Z）を、投影部13内の投影LCD19の面上に設定された２次元座標系であるLCD座標系上の2次元座標値（lcdcx，lcdcy）に変換する処理も実施可能である。
【０２５３】
それら２次元座標値（lcdcx，lcdcy）と3次元座標値（X，Y，Z）との間における幾何学的な関係は、次の4つの式によって記述することができる。
【０２５４】
（９）Y＝−（Yptarget／PPZ）Z＋Yptarget
（１０）X＝−（Xptarget／PPZ）Z＋Xptarget
（１１）Yptarget＝Ypftop−（lcdcy／Hp）×（Xpftop−Xpfbottom）
（１２）Xptarget＝Xpfstart＋（lcdcx／Wp）×（Xpfend−Xpfstart）
ただし、この実空間座標系X−Y−Zにおいては、図20に示すように、光束が投影部13から原稿P上の対象点targetに入射する光路が同じ向きに延長された直線とＸ−Ｙ平面との交点のＹ座標値が「Yptarget」、X座標値が「Xptarget」でそれぞれ表記されている。さらに、投影部13の出力瞳位置が（0，0，PPZ）として定義されている。さらに、投影部13のY方向の視野が、「Ypftop」で表記される点から「Ypfbottom」で表記される点までの領域として定義され、X方向の視野が、「Xpfstart」で表記される点から「Xpfend」で表記される点までの領域として定義されている。さらに、投影LCD19のY軸方向における長さ（高さ）が「Hp」で表記され、X軸方向における長さ（幅）が「Wp」で表記されている。
【０２５５】
上記式（9）ないし（12）で記述される関係を利用するために、3次元座標値（X，Y，Z）をそれら式（9）ないし（12）に代入すると、LCD座標系上の2次元座標値（lcdcx，lcdcy）を算出することができる。したがって、例えば、任意の3次元形状を有する投影面上に文字、図形等の画像を投影するための投影LCD19の投影光パターンを算出することができる。
【０２５６】
以上、図8におけるS609において実行される立体画像処理を説明したが、以下、S611において実行される平面化画像処理を説明する。
【０２５７】
この平面化画像処理によれば、例えば、原稿Pが実際には図1に示すように湾曲している状態で撮像されたにもかかわらず、あたかも湾曲していない状態で同じ原稿Pが撮像されたかのように、実際に撮像された画像が平面化される。さらに、この平面化画像処理によれば、正面視において長方形を成す原稿Pが実際には斜めから撮像されたにもかかわらず、あたかも正面から同じ原稿Pが撮像されたかのように、実際に撮像された画像が平面化される。
【０２５８】
この平面化画像処理は、本発明を理解するために不可欠な事項ではなく、しかも、前記特願2004-105426号明細書に詳細に開示されているため、それを参照することによって引用することにより、本明細書においては詳細な説明を省略する。
【０２５９】
（第2実施形態）
次に、本発明の第2実施形態について説明する。第2実施形態に係る3次元色形状計測装置は、その基本的構造については図1〜4に示す第1実施形態の3次元色形状計測装置１と同様であるが、撮像ユニットの構成、及び、それに伴う処理部での処理だけが第1実施形態の3次元色形状計測装置１と異なる。
【０２６０】
そのため、ここでは第2実施形態に設ける撮像ユニットの構成と、処理部での処理についてのみ説明することとし、3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、以下の説明において、第1実施形態の3次元色形状計測装置1と同一の構成要件については同一の符号を用いて説明する。
【０２６１】
図21に示すように、第2実施形態の3次元色形状計測装置が備える撮像ユニット70は、撮像手段として機能するCCD71と、このCCD71が被計測物を撮像して出力する画像信号を増幅するアンプ72と、アンプ72により増幅したアナログの画像信号をアナログ・ディジタル変換するA/Dコンバータ73と、A/Dコンバータ73から入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正手段79とを収納している。
【０２６２】
このように構成した撮像ユニット70では、アンプ72とA/Dコンバータ73と、補正手段79とによりCCDインターフェイス31が構成され、このCCDインターフェイス31から主装置へ画像信号が出力される。
【０２６３】
また、第2実施形態の主装置は、撮像ユニット70から入力される色計測用画像信号に基づいて復元した被計測物の色と、撮像ユニット70から入力される形状計測用信号に基づいて被計測物の3次元形状を復元した3次元モデルとを用いて被計測物の3次元画像を復元する色形状抽出手段を収納している。
【０２６４】
補正手段79は、上記非線形の第1階調特性に従った第1補正により画像信号を色計測用画像信号に変換する第1補正回路74と、第1補正回路74が出力する色計測用画像信号を増幅して出力するアンプ75とからなる第1補正手段と、アナログ・ディジタル変換された画像信号を増幅し、形状計測用画像信号として出力するアンプ77からなる第2補正手段とを備えている。
【０２６５】
すなわち、この補正手段79は、その階調補正機能に関して、第1実施形態の撮像ユニット60が備える補正手段66と同様の機能を備えたものである。ただし、この第2実施形態における補正手段79は、画像信号に対して、上記した線形部分を有する第2階調特性に従って行う第2補正を増幅器（アンプ77）によって行うことにより画像信号を形状計測用画像信号に変換するようにしている。
【０２６６】
さらに、この撮像ユニット70は、第1補正手段及び第2補正手段のいずれか一方を選択し、当該選択した補正手段へ画像信号を出力する前段側の選択手段78aを備えると共に、第1補正手段が出力する色計測用画像信号と、第2補正手段が出力する形状計測用画像信号とのうち、いずれか一方の画像信号を選択して主装置へ出力する後段側の選択手段78bを備えている。
【０２６７】
この前段側の選択手段78aは、主装置の処理部15によりパターン光撮影プログラム36bが実行されて、パターン光無画像が取得されるときに、CPU35の制御に基づいて第1補正手段を選択し、A/Dコンバータ73と第1補正手段とを接続させ、後段側の選択手段78bは、CPU35の制御に基づいて色計測用画像信号を選択して主装置へ出力する。
【０２６８】
このように、第2実施形態の撮像ユニット70では、第1補正手段と、第2補正手段と、選択手段78a、78bとを備えた補正手段を設けることにより、第1補正手段と第2補正手段とを交互に動作させて色計測用画像信号と形状計測用画像信号とを主装置へ出力するように構成しているため、図5に示すように撮像ユニット60と処理部15とを2本の信号線で接続する必要がなく、回路構成を簡略化することができる。
【０２６９】
しかも、この撮像ユニット70を設けることにより、第1補正手段と第2補正手段とを同時に動作させる第1実施形態の撮像ユニット60に比べ、第1補正手段と第2補正手段とを交互に動作させる分、撮像ユニット70における消費電力を低減することができる。      
【０２７０】
また、このように撮像ユニット70を構成した場合、A/Dコンバータ73から出力される画像信号は、モニタLCD10の表示特性を考慮していないのでその特性は線形であり、被計測物の3次元形状を計測するのに好適な信号となっている。
【０２７１】
そのため、この画像信号をアンプ77によって増幅するだけで、第1実施形態の撮像ユニット60のように第2補正回路を設けなくとも、被計測物の3次元形状を高精度に計測可能な形状計測用画像信号を生成することができ、第2補正回路を省略した分、撮像ユニット70の部品点数を減少させることができ、これにより、撮像ユニット70の製造コストの低減と、撮像ユニット70の小型化を図ることができる。
【０２７２】
その上、この撮像ユニット70が備える補正手段79は、第1実施形態と同様に、第1補正回路74を備えているため、この第1補正回路により画像信号から色計測用画像信号も生成することもできるので、主装置において、色形状抽出手段により被計測物の色と3次元形状とを忠実に復元した3次元画像を生成することができる。
【０２７３】
次に、第2実施形態の3次元色形状計測装置が備える処理部15で行われる処理について説明する。この処理部15では、図15に示した撮像処理サブルーチンにおけるS1211と、S1213で行われる処理のみが第1実施形態と異なる。
【０２７４】
図22は、第2実施形態の処理部15で行われる撮像処理を示すフローチャートである。図22に示すように、この撮像処理では、まず、S1211aにおいて、前段側、及び後段側の選択手段の設定処理が実行される。すなわち、このS1211aにおいて処理部15のCPU35による制御によって、図21に示す撮像ユニット70内部の前段側の選択手段78aが第1補正手段を選択してA/Dコンバータ73と第1補正回路74とを接続する。
【０２７５】
そして、このとき同時に、同じく図21に示す撮像ユニット70内部の後段側の選択手段78bが第1補正手段のアンプ75を選択し、アンプ75が出力する色計測用画像信号を主装置へ出力する。
【０２７６】
次に、S1212において、パターン光撮影プログラム36bの実行により、投影部13からパターン光を被計測物に投影することなく、撮像部14によって被計測物を撮像することにより、1枚のパターン光無画像が取得される。
【０２７７】
このとき取得されるパターン光無画像は、撮像ユニット70において第1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部37ｂに格納される。
【０２７８】
次に、S1213aにおいて、前段側、及び、後段側の選択手段の切り替え処理がされる。すなわち、このS1213aにおいて処理部15のCPU35による制御によって、図21に示す撮像ユニット70内部の前段側の選択手段78aが第2補正手段を選択してA/Dコンバータ73とアンプ77とを接続する。
【０２７９】
そして、このとき同時に、同じく図21に示す撮像ユニット70内部の後段側の選択手段78bが第2補正手段のアンプ77を選択し、アンプ77が出力する形状計測用画像信号を主装置へ出力する。
【０２８０】
こうしてS1213aの処理が終了した後は、第1実施形態と同様に、S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。
【０２８１】
このように、第2実施形態の3次元色形状計測装置１が有する処理部15によれば、図15に示した第1実施形態の撮像処理サブルーチンにおけるS1211と、S1213とで実行される処理を、図22に示した撮像処理サブルーチンにおけるS1211aとS1213aとに変更するだけで、処理部15で実行されるプログラム全体を大幅に変更することなく、図21に示す撮像ユニット70を動作させることができる。
【０２８２】
（第3実施形態）
次に、本発明の第3実施形態について説明する。第3実施形態に係る3次元色形状計測装置は、その基本的構造については図1〜4に示す第1実施形態の3次元色形状計測装置１と同様であるが、撮像ユニットの構成、及び、それに伴う処理部での処理だけが第1実施形態の3次元色形状計測装置１と異なる。
【０２８３】
そのため、ここでは第3実施形態に設ける撮像ユニットの構成と、処理部での処理についてのみ説明することとし、3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第1実施形態の3次元色形状計測装置1と同一の構成要件については同一の符号を用いて説明する。
【０２８４】
図23に示すように、第3実施形態の3次元色形状計測装置が備える撮像ユニット80は、撮像手段として機能するCCD81と、このCCD81が被計測物を撮像して出力する画像信号を増幅するアンプ82と、アンプ82により増幅したアナログの画像信号をアナログ・ディジタル変換するA/Dコンバータ83と、A/Dコンバータ83から入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正手段86とを収納している。
【０２８５】
このように構成した撮像ユニット80では、アンプ82とA/Dコンバータ83と、補正手段86とによりCCDインターフェイス31が構成され、このCCDインターフェイス31から主装置へ画像信号が出力される。
【０２８６】
また、第3実施形態の主装置は、撮像ユニット80から入力される色計測用画像信号に基づいて復元した被計測物の色と、撮像ユニット80から入力される形状計測用信号に基づいて被計測物の3次元形状を復元した3次元モデルとを用いて被計測物の3次元画像を復元する色形状抽出手段を収納している。
【０２８７】
補正手段86は、上記した非線形の第1階調特性に従った第1補正により画像信号を色計測用画像信号に変換すると共に、第2補正により画像信号を形状計測用画像信号に変換する補正回路84と、この補正回路84が出力する色計測用画像信号及び形状計測用画像信号を増幅して主装置へ出力するアンプ85とを備えている。
【０２８８】
特にこの補正回路84は、当該補正回路84で第1補正を行う際に参照可能な第1補正LUT（ルックアップテーブル）と、第2補正を行う際に参照可能な第2LUTとを備えている。
【０２８９】
第1補正LUTは、第1補正前の画像信号と第1補正後に得られる色計測用画像信号とを対応させて記憶させたルックアップテーブルであり、第2補正LUTは、第2補正前の画像信号と第2補正後に得られる形状計測用画像信号とを対応させて記憶させたルックアップテーブルである。
【０２９０】
そして、この補正手段86では、主装置の処理部15によりパターン光撮影プログラム36bが実行されて、パターン光無画像が取得されるときに、CPU35の制御により補正回路84が動作して、当該補正回路84が備える第1補正LUTを用いた第1補正が画像信号に対して施され、その結果生成される色計測用画像信号が主装置へ出力される。
【０２９１】
一方、この補正手段では、主装置の処理部15によりパターン光撮影プログラム36bが実行されて、パターン光有画像が取得されるときに、CPU35の制御により補正回路84が動作して、当該補正回路84が備える第2LUTを用いた第2補正が画像信号に対して施され、その結果生成される形状計測用画像信号が主装置へ出力される。
【０２９２】
このように、第3実施形態では、補正手段86に第1LUT及び第2LUTを備えた補正回路84を設けることにより、色形状抽出手段により被計測物の色と3次元形状とを忠実に復元した3次元画像を生成することができるだけでなく、画像信号に対して階調補正を施す際に参照するルックアップテーブルを差し替えるだけで、1つの補正回路84により画像信号に対して第1補正と第2補正とを施すことができるので、撮像ユニット80の小型化を図ることができる。
【０２９３】
次に、第3実施形態の3次元色形状計測装置が備える処理部15で行われる処理について説明する。この処理部15では、図15に示した撮像処理サブルーチンにおけるS1211と、S1213で行われる処理のみが第1実施形態と異なる。
【０２９４】
図24は、第3実施形態の処理部15で行われる撮像処理を示すフローチャートである。図24に示すように、この撮像処理では、まず、S1211bにおいて、LUTの設定処理が実行される。すなわち、このS1211bにおいて処理部15のCPU35による制御によって、図23に示す撮像ユニット80内部で参照されるLUTとして第1補正LUTが設定される。
【０２９５】
次に、S1212において、パターン光撮影プログラム36bの実行により、投影部13からパターン光を被計測物に投影することなく、撮像部14によって被計測物を撮像することにより、1枚のパターン光無画像が取得される。
【０２９６】
このとき取得されるパターン光無画像は、撮像ユニット80において第1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部37ｂに格納される。
【０２９７】
次に、S1213bにおいて、LUTの差し替え処理が実行される。すなわち、このS1213bにおいて処理部15のCPU35による制御によって、図23に示す撮像ユニット80内部で参照されるLUTが第1補正LUTから第2補正LUTに差し替えられる。
【０２９８】
こうしてS1213bの処理が終了した後は、第1実施形態と同様に、S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。
【０２９９】
このように、第3実施形態の3次元色形状計測装置１が有する処理部15によれば、図15に示した第1実施形態の撮像処理サブルーチンにおけるS1211と、S1213とで実行される処理を、図24に示した撮像処理サブルーチンにおけるS1211bとS1213bとに変更するだけで、処理部15で実行されるプログラム全体を大幅に変更することなく、図23に示す撮像ユニット80を動作させることができる。
【０３００】
（第4実施形態）
次に、本発明の第4実施形態について説明する。第4実施形態に係る3次元色形状計測装置は、その基本的構造については図1〜4に示す第1実施形態の3次元色形状計測装置１と同様であるが、撮像ユニットの構成と、処理部のROM内に記憶されているプログラムと、処理部での処理だけが第1実施形態の3次元色形状計測装置１と異なる。
【０３０１】
そのため、ここでは第4実施形態に設ける撮像ユニットの構成と、ROM内に記憶されているプログラムと、処理部での処理についてのみ説明することとし、3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第1実施形態の3次元色形状計測装置1と同一の構成要件については同一の符号を用いて説明する。
【０３０２】
図25に示すように、第4実施形態の3次元色形状計測装置が備える撮像ユニット90は、撮像手段として機能するCCD91と、このCCD91が被計測物を撮像して出力する画像信号を増幅するアンプ92と、アンプ92により増幅したアナログの画像信号をアナログ・ディジタル変換するA/Dコンバータ93と、A/Dコンバータ93が出力する画像信号を第1階調特性に従った第1補正により色計測用画像信号に変換する第1補正手段として機能する第1補正回路94とを収納している。
【０３０３】
このように構成した撮像ユニット90では、アンプ92と、A/Dコンバータ93と、第1補正回路94とによりCCDインターフェイス31が構成され、このCCDインターフェイス31から主装置へ色計測用画像信号が出力される。
【０３０４】
そして、主装置は、CCDインターフェイス31から入力される色計測用画像信号に対して、後述する第3階調特性に従った第3補正を行うことにより色計測用画像信号を形状計測用画像信号に変換する第3補正回路と、2種類の画像信号（色計測用画像信号、及び、形状計測用画像信号）に基づいて被計測物の3次元画像を復元する色形状抽出手段（図示略。）とを収納している。
【０３０５】
また、第4実施形態の主装置では、上記したように撮像ユニット90から入力される色計測用画像信号に対して第3補正を施すため、図26に示すように、処理部15が有するROM36内に、第1実施形態のROM36に記憶されている各種プログラム36a〜36iに加え、階調補正プログラム36jと、階調補正LUT36kとが記憶されている。
【０３０６】
この階調補正プログラム36jは、撮像ユニット90から出力される色計測用画像信号に対して、第3階調特性に従った第3補正を行った後、その信号を増幅して色計測用画像信号を形状計測用画像信号に変換するために実行される。
【０３０７】
ここで、第3階調特性とは、第1階調特性との積をとることによって線形特性となるガンマ特性のことであり、第1階調特性の逆ガンマ特性のことである。
【０３０８】
このように、階調補正プログラム36jがROM36に記憶されているので、補正手段として第1補正を行う補正回路しか予め備えていない撮像ユニット90を3次元色形状計測装置に搭載した場合であっても、階調補正プログラム36jが実行されることにより、撮像ユニット90から出力される色計測用画像信号に対して、第3補正を施して被計測物の3次元形状を高精度に計測可能な形状計測用画像信号を生成することができる。
【０３０９】
また、階調補正LUT36kは、第3補正前の色計測用画像信号と第3補正後に得られる形状測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部15において、階調補正プログラム36jが実行されるときにCPU35が参照するものである。つまり、上記第3補正は、この第3補正LUTを利用して行われる。
【０３１０】
このように構成した第4実施形態の3次元色形状計測装置１では、主装置の処理部15によりパターン光撮影プログラム36bが実行されて、パターン光無画像が取得されるときに、CPU35の制御により、撮像ユニット90が出力する色計測用画像信号に基づいてパターン光無画像が生成されてパターン光無画像格納部37bに格納される。
【０３１１】
一方、主装置の処理部15によりパターン光撮影プログラム36bが実行されて、パターン光有画像が取得されるときに階調補正プログラム36jが実行されて、CPU35の制御により第3補正回路96が作動して、撮像ユニット90が出力する色計測用画像信号に対し第3補正が施され、その結果得られる形状計測用画像信号に基づいてパターン光有画像が生成されてパターン光有画像格納部37ａに格納される。
【０３１２】
すなわち、色抽出手段は、被計測物の色を復元する場合には撮像ユニット90から出力される色計測用画像信号をそのまま用いて被計測物の色を復元し、被計測物の3次元形状を計測及び復元する場合には、撮像ユニット90から出力される色計測用画像信号に対して逆ガンマ補正を施すことにより生成した形状計測用画像信号を用いて、被計測物の3次元形状を計測及び復元するようにしている。
【０３１３】
このように、第4実施形態の3次元色形状計測装置1では、撮像ユニット90が有する第1補正回路94と、主装置が有する第3補正回路96とにより、画像信号を補正する補正手段を構成しているため、第1〜第3実施形態と同様に、色形状抽出手段により被計測物の色と3次元形状とを忠実に復元した3次元画像を生成することができる
しかも、主装置に第3補正手段を収納しているため、図25に示すような、第1補正回路94だけしか備えていない比較的安価な市販の撮像ユニット90を用いても、被計測物の色を正確に復元できるだけでなく、被計測物の3次元形状を高精度に測定することができる。
【０３１４】
すなわち、図25に示す撮像ユニット90のように、CCD91が被計測物を撮像して出力する画像信号に対して、常にモニタLCD10の表示特性に合わせた色計測用画像信号しか出力できない構成の撮像ユニット90を3次元色形状計測装置1に搭載した場合、被計測物の色を復元するときに、撮像ユニット90から出力される第1補正を施された色計測用画像信号を増幅するだけで被計測物の色を忠実に復元することができる。
【０３１５】
一方、被計測物の3次元形状を計測及び復元するときには、撮像ユニット90から非線形特性の色計測用画像信号が出力されることになるが、この主装置では、第3補正回路96によりこの色計測用画像信号に対して、当該色計測用画像信号の非線形特性の逆ガンマ特性である非線形の第3階調特性に従った第3補正を行うことにより、第3補正後の信号特性が3次元形状計測に適した線形特性となる。
【０３１６】
そのため、主装置の色形状抽出手段は、この第3補正後の信号である形状計測用画像信号を用いて、被計測物の3次元形状を高精度に計測及び復元することができる。
【０３１７】
次に、第4実施形態の3次元色形状計測装置が備える処理部15で行われる処理について説明する。この処理部15では、図15に示した撮像処理サブルーチンにおけるS1211が削除され、S1213で行われる処理のみが第1実施形態と異なる。
【０３１８】
図27は、第４実施形態の処理部15で行われる撮像処理を示すフローチャートである。図27に示すように、この撮像処理では、まず、S1212においてパターン光撮影プログラム36bの実行により、投影部13からパターン光を被計測物に投影することなく、撮像部14によって被計測物を撮像することにより、1枚のパターン光無画像が取得される。
【０３１９】
このとき取得されるパターン光無画像は、撮像ユニット90において第1補正を施された色計測用画像信号をアンプにより増幅した色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部37ｂに格納される。
【０３２０】
次に、S1213cにおいて、第3補正処理が実行される。すなわち、このS1213cにおいて階調補正プログラム36jの実行により、階調補正LUT36kがCPU35によって参照され、撮像ユニット90から入力される色計測用画像信号に対して第3補正が施された後、増幅されることにより形状計測用画像信号に変換される。
【０３２１】
こうしてS1213cの処理が終了した後は、第1実施形態と同様に、S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。
【０３２２】
このように、第4実施形態では、撮像処理中に撮像ユニット90から入力される色計測用画像信号に対して第3補正を施すようにしているが、処理部15での処理を変更することにより、撮像処理中には第3補正を行わず、その後、図17に示すコード画像生成処理（S100）において第3補正を行うこともできる。
【０３２３】
ここで、第4実施形態の変形例として、コード画像生成処理において第3補正を行う場合に、処理部15で実行される処理について説明する。この場合、図27に示すS1213cの第3補正処理が削除され、図28に示すコード画像生成処理、及び、図29に示す2値化画像生成処理の中で第3補正処理が実行される。
【０３２４】
コード画像生成処理では、図28に示すように、コード画像生成プログラム36dの実行により、まず、S101において、パターン番号PNが0であるパターン光が投影された被計測物が撮像された輝度画像が、輝度画像格納部37ｃから代表パターン画像として読み込まれる。
【０３２５】
次に、S101aにおいて、第3補正処理が実行される。すなわち、階調補正プログラム36jの実行により、階調補正LUT36kがCPU35により参照されて、代表パターン画像を示す画像信号（色計測用画像信号）に対して第3補正を施す処理が実行される。
【０３２６】
こうしてS101aの処理が終了した後は、第1実施形態と同様に、S102〜S106の処理が順次実行されるが、S106において、パターン番号PNの現在値が最大値PNmaxよりも小さいと判断された場合には、S107（2値化画像を生成する処理）において第3補正処理が実行される。なお、S106において、パターン番号PNの現在値が最大値PNmaxよりも大きいと判断された場合には、第1実施形態と同様にS109（コード画像を生成する処理）が実行されて、このコード画像生成処理が終了される。
【０３２７】
2値化画像生成処理では、図29に示すように、S111において輝度画像格納部37cから画像が読み込まれ、その後、S111aにおいて第3補正処理が実行される。すなわち、階調補正プログラム36jの実行により、階調補正LUT36kがCPU35により参照されて、S111において読み込まれた画像を示す画像信号（色計測用画像信号）に対して第3補正を施す処理が実行される。
【０３２８】
こうしてS111aの処理が終了した後は、第1実施形態と同様の2値化処理S112が実行されて、この2値化処理が終了される。
【０３２９】
（第5実施形態）
次に、本発明の第5実施形態について説明する。第5実施形態に係る3次元色形状計測装置は、その基本的構造については図1〜4に示す第1実施形態の3次元色形状計測装置１と同様であるが、撮像ユニットの構成と、処理部のROM内に記憶されているプログラムと、処理部での処理、だけが第1実施形態の3次元色形状計測装置１と異なる。
【０３３０】
そのため、ここでは第5実施形態に設ける撮像ユニットの構成と、ROM内に記憶されているプログラムと、処理部での処理についてのみ説明することとし、3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第1実施形態の3次元色形状計測装置1と同一の構成要件については同一の符号を用いて説明する。
【０３３１】
図30に示すように、撮像ユニット50は、撮像手段として機能するCCD22と、このCCD22が被計測物を撮像して出力する画像信号を増幅するアンプ52と、アンプ52により増幅したアナログの画像信号をアナログ・ディジタル変換するA/Dコンバータ53とを収納している。
【０３３２】
このように構成した撮像ユニット50では、アンプ52とA/Dコンバータ53とによりCCDインターフェイス31が構成され、このCCDインターフェイス31から主装置51へ階調補正の施されていない画像信号が出力される。
【０３３３】
そして、主装置は、CCDインターフェイス31から入力される画像信号に対して補正を行う補正手段と、この補正手段により補正した画像信号に基づいて被計測物の3次元画像を復元する色形状抽出手段とを収納している。
【０３３４】
この補正手段は、上記した非線形の第1階調特性に従った第1補正により画像信号を色計測用画像信号に変換する第1補正回路と、第1補正回路が出力する色計測用画像信号を増幅して色形状抽出手段に出力するアンプとからなる第1補正手段と、上記した線形部分を有する第2階調特性に従った第2補正により画像信号を形状計測用画像信号に変換する第2補正回路と、第2補正回路が出力する形状計測用画像信号を増幅して色形状抽出手段に出力するアンプとからなる第2補正手段とを備えている。
【０３３５】
また、第5実施形態の主装置では、上記したように撮像ユニット50から入力される画像信号に対して第1及び第2補正を施すため、図26に示す第4実施形態の処理部15と同様に、ROM36の内部に、第1実施形態のROM36に記憶されている各種プログラム36a〜36iに加え、階調補正プログラム36jと、階調補正LUT36kとが記憶されている。
【０３３６】
ただし、第5実施形態における階調補正プログラム36j及び階調補正LUT36kは、その内容が第4実施形態における階調補正プログラム36j及び階調補正LUT36kと異なる。
【０３３７】
すなわち、第5実施形態における階調補正プログラム36jは、画像信号に対して第1補正を施す際に実行される第1補正プログラムと、画像信号に対して第2補正を施す際に実行される第2補正プログラムとから構成されている。
【０３３８】
第1補正プログラムは、CCD22により被計測物を撮像して得られる画像信号に対して、第1階調特性に従った第1補正を行うことにより、画像信号を被計測物の色を計測及び復元する際に用いる色計測用画像信号に変換するために実行される。ここで、第1階調特性とは、モニタLCD10の非線形な表示特性に合わせた非線形のガンマ特性のことである。
【０３３９】
このような第1階調特性に従った第1補正を行うことにより、被計測物の実際の色を忠実に再現可能な色計測用画像信号を生成することができる。
【０３４０】
このように処理部15は、第1階調特性に従った第1補正により画像信号を色計測用画像信号に変換する補正手段として機能する。
【０３４１】
また、第2補正プログラムは、CCD22により被計測物を撮像して得られる画像信号に対して、第2階調特性に従った第2補正を行うことにより、画像信号を被計測物の3次元形状を計測する際に用いる形状測用画像信号に変換するために実行される。ここで、第2階調特性とは、少なくとも一部分に線形な特性を有し、その他の部分を非線形又は線形としたガンマ特性のことである。
【０３４２】
また、第5実施形態における階調補正LUT36kは、第1補正LUTと、第2補正LUTとから構成されている。
【０３４３】
第1補正LUTは、第1補正前の画像信号と第1補正後に得られる色計測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部15において第1補正プログラムが実行されるときにCPU35が参照するものである。つまり、上記第1補正は、この第1補正LUT
を利用して行われる。
【０３４４】
また、第2補正LUTは、第2補正前の画像信号と第2補正後に得られる形状計測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部15において第2補正プログラム36kが実行されるときにCPU35が参照するものである。つまり、上記第2補正は、この第2補正LUTを利用して行われる。
【０３４５】
第1補正手段は、主装置の処理部15により第1補正プログラムが実行されることにより、第1補正回路とアンプとが動作して画像信号を色計測用画像信号に変換して出力するものであり、パターン光投影手段として機能する投影部13のパターン光非投影時に、撮像手段であるCCD22が被計測物を撮像して出力する画像信号に対して第1階調特性に従って第1補正を行って、画像信号を色計測用画像信号に変換するものである。
【０３４６】
また、この第1補正手段が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第1補正手段は、画像信号に含まれる各色信号ごとに第1補正を行うと共に、画像信号に含まれる輝度信号に対しても第1補正を行う。
【０３４７】
また、第2補正手段は、主装置の処理部15により第2補正プログラムが実行されることにより、第2補正回路とアンプとが動作して形状計測用画像信号を出力するものであり、パターン光投影手段として機能する投影部13のパターン光投影時に、撮像手段であるCCD22が被計測物を撮像して出力する画像信号に対して第2階調特性に従って第2補正を行って、画像信号を形状計測用信号に変換するものである。
【０３４８】
また、この第2補正手段が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第2補正手段は、画像信号に含まれる各色信号ごとに第2補正を行うと共に、画像信号に含まれる輝度信号に対しても第2補正を行う。
【０３４９】
そして、このように構成した補正手段を備えた主装置では、第1補正手段により変換した色計測用画像信号と、第2補正手段により変換した形状計測用信号とが色形状抽出手段へ出力される。
【０３５０】
また、主装置51は、第1補正手段及び第2補正手段のいずれか一方を選択し、撮像ユニット50から出力される画像信号を選択した補正手段へ出力する選択手段を備えており、この選択手段で選択した各補正手段により補正された画像信号を色形状抽出手段に出力するようにしている。
【０３５１】
この選択手段は、主装置の処理部15により第1補正プログラムが実行されるときに、CPU35の制御により撮像ユニット50と第1補正回路とを接続させて第1補正手段を選択する。
【０３５２】
一方、選択手段は、主装置51の処理部15により第2補正プログラムが実行されるときに、CPU35の制御により撮像ユニット50と第2補正回路とを接続させて第2補正手段を選択する。
【０３５３】
このように、本実施形態では、画像信号に対してモニタLCD10の表示特性に合わせた非線形の第1階調特性に従って第1補正を施すことにより生成した色計測用画像信号を色形状抽出手段に出力するように構成しているため、色形状抽出手段により、被計測物の色を忠実に復元した後述のテクスチャを生成することができる。
【０３５４】
さらに、上記のように画像信号に対して線形部分を有する第2階調特性に従って第2補正を施すことにより生成した形状計測用画像信号を色形状抽出手段に出力するように構成しているため、被計測物の3次元形状を精度良く測定できると共に、色形状抽出手段により、被計測物の3次元形状を忠実に復元した後述の3次元モデルを生成することができる。
【０３５５】
そのため、この3次元色形状計測装置1では、被計測物の色と3次元形状とを忠実に復元した3次元画像を生成することができる。
【０３５６】
しかも、この3次元色形状計測装置1では、主装置に第1補正手段と第2補正手段とを設けるように構成しているので、図30に示すような、CCD22とアンプ52とA/Dコンバータ53とだけを備え、階調補正を行う補正手段を全く備えていない比較的簡易な構成で、且つ、比較的安価な市販の撮像装置を撮像ユニット50として適用することができる。
【０３５７】
次に、第5実施形態の3次元色形状計測装置が備える処理部15で行われる処理について説明する。この処理部15では、図15に示した撮像処理サブルーチンにおけるS1211と、S1213とで行われる処理のみが第1実施形態と異なる。
【０３５８】
図31は、第5実施形態の処理部15で行われる撮像処理を示すフローチャートである。図31に示すように、この撮像処理では、まず、S1211dにおいて、第1補正処理が実行される。すなわち、このS1211dにおいて第1補正プログラムの実行により選択手段が第1補正手段を選択すると共に、第1補正LUTがCPU35によって参照されて、撮像ユニット50から出力された画像信号に対して第1補正を施すことにより色計測用画像信号が生成される。
【０３５９】
次に、S1212において、パターン光撮影プログラム36bの実行により、投影部13からパターン光を被計測物に投影することなく、撮像部14によって被計測物を撮像することにより、1枚のパターン光無画像が取得される。
【０３６０】
このとき取得されるパターン光無画像は、第1補正回路により第1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部37ｂに格納される。
【０３６１】
次に、S1213dにおいて、第2補正処理が実行される。すなわち、このS1213dにおいて第2補正プログラムの実行により選択手段が第2補正手段を選択すると共に、第2補正LUTがCPU35により参照されて、撮像ユニット50から出力された画像信号に対して第2補正を施すことにより形状計測用画像信号が生成される。
【０３６２】
こうしてS1213dの処理が終了した後は、第1実施形態と同様に、S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。
【０３６３】
このように、第5実施形態の3次元色形状計測装置１が有する処理部15によれば、図15に示した第1実施形態の撮像処理サブルーチンにおけるS1211と、S1213とで実行される処理を、図31に示した撮像処理サブルーチンにおけるS1211dとS1213dとに変更するだけで、処理部15で実行されるプログラム全体を大幅に変更することなく、図30に示す撮像ユニット50を動作させることができる。
【０３６４】
また、第5実施形態では、撮像処理中に撮像ユニット50から入力される色計測用画像信号に対して第1及び第2補正を施すようにしているが、処理部15での処理を変更することにより、撮像処理中には第1及び第2補正を行わず、その後、図17に示すコード画像生成処理（S100）において第2補正を行い、図19に示す3次元色形状検出結果生成処理（S1230）において第1補正を行うこともできる。
【０３６５】
ここで、第5実施形態の変形例として、コード画像生成処理において第2補正を行い、3次元色形状検出結果生成処理において第1補正を行う場合に、処理部15で実行される処理について説明する。この場合、図31に示すS1211dの第1補正処理が削除され、図34に示す3次元色形状検知結果生成処理の中で第1補正が実行され、図31に示すS1213dの第2補正処理が削除され、図32に示すコード画像生成処理、及び、図33に示す2値化画像生成処理の中で第2補正処理が実行される。
【０３６６】
コード画像生成処理では、図32に示すように、コード画像生成プログラム36dの実行により、まず、S101において、パターン番号PNが0であるパターン光が投影された被計測物が撮像された輝度画像が、輝度画像格納部37ｃから代表パターン画像として読み込まれる。
【０３６７】
次に、S101bにおいて、第2補正処理が実行される。すなわち、S101bにおいて第2補正プログラムの実行により、第2補正LUTがCPU35により参照されて、代表パターン画像を示す画像信号に対して第2補正を施す処理が実行される。
【０３６８】
こうしてS101bの処理が終了した後は、第1実施形態と同様に、S102〜S106の処理が順次実行されるが、S106において、パターン番号PNの現在値が最大値PNmaxよりも小さいと判断された場合には、S107（2値化画像を生成する処理）において第2補正処理が実行される。なお、S106において、パターン番号PNの現在値が最大値PNmaxよりも大きいと判断された場合には、第1実施形態と同様にS109（コード画像を生成する処理）が実行されて、このコード画像生成処理が終了される。
【０３６９】
2値化画像生成処理では、図33に示すように、S111において輝度画像格納部37cから画像が読み込まれ、その後、S111bにおいて第2補正処理が実行される。すなわち、S111bにおいて第2補正プログラムの実行により、第2補正LUTがCPU35により参照されて、S111において読み込まれた画像を示す画像信号に対して第2補正を施す処理が実行される。
【０３７０】
こうしてS111bの処理が終了した後は、第1実施形態と同様の2値化処理S112が実行されて、この2値化処理が終了される。
【０３７１】
また、3次元色形状検知結果生成処理では、図34に示すように、第1実施形態における3次元色形状検知結果生成処理と同様にしてS5501〜S6001の処理が順次実行された後、S6001aにおいて第1補正処理が実行される。
【０３７２】
すなわち、S6001aにおいて第1補正プログラムの実行により第1補正LUTがCPU35により参照され、S6001において抽出されたパターン光無画像のRGB値に対して第1補正を施す処理が実行される。
【０３７３】
こうして、S6001aの処理が終了した後は、第1実施形態と同様にしてS6002〜S6004の処理が順次実行されて、この3次元色形状検知結果生成処理が終了される。
【０３７４】
以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の開示］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０３７５】
例えば、変形例として、画像信号に対して階調補正を行う各補正回路、及び、各補正回路が出力する信号を増幅する各アンプ等を、本実施形態で用いたディジタル回路に替えて、半導体等により構成した非線形素子を用いたアナログ回路により構成し、アナログ信号処理により画像信号に対して階調補正を行ってもよい。
【図面の簡単な説明】
【０３７６】
【図１】第1実施形態に従う3次元色形状計測装置を示す外観斜視図である。
【図２】図1における撮像ヘッドの内部構成を示す平面図である。
【図３】図2における投影部を拡大して示す平面図、図2における光源レンズを拡大して示す正面図、および図2における投影LCDおよびCCDを拡大して示す正面図である。
【図４】図3における複数個のLEDの配列を説明するための側面図、1個のLEDによって個別的に実現される照度分布を示すグラフ、それら複数個のLEDを示す正面図、およびそれら複数個のLEDにより総合的に実現される合成照度分布を示グラフである。
【図５】図1に示す3次元色形状計測装置１の電気的構成を概念的に表すブロック図である。
【図６】第1実施形態の撮像ユニットを示す機能ブロック図である。
【図７】第2階調特性を示す説明図である。
【図８】図5におけるカメラ制御プログラムにおいて実行されるメイン処理を概念的に表すフローチャートである。
【図９】図8におけるS605において実行されるデジカメ処理を概念的に表すフローチャートである。
【図１０】図8におけるS607において実行されるwebcam処理を概念的に表すフローチャートである。
【図１１】図10におけるS807において実行される投影処理を概念的に表すフローチャートである。
【図１２】図8におけるS609において実行される立体画像処理を概念的に表すフローチャートである。
【図１３】図12の立体画像処理において採用される空間コード化法の原理を説明するための平面図および側面図と、2組のマスクパターンを示す平面図とである。
【図１４】図12におけるS1006において実行される3次元形状検出処理を3次元形状検出処理ルーチンとして概念的に表すフローチャートとである。
【図１５】図14におけるS1210において実行される撮像処理サブルーチンとして概念的に表すフローチャートである。
【図１６】図14におけるS1220において実行される３次元計測処理サブルーチンとして概念的に表すフローチャートとである。
【図１７】図16におけるS1222において実行されるコード画像生成プログラム３６ｄを概念的に表すフローチャートである。
【図１８】図17におけるS107において実行される2値化画像生成サブルーチンとして概念的に表すフローチャートとである。
【図１９】図14におけるS1230において実行される3次元色形状検出結果生成サブルーチンとして概念的に表すフローチャートとである。
【図２０】図16におけるS1225の実行によって2次元のCCD座標系と3次元の実空間座標系との間において行われる座標変換と、2次元のLCD座標系と3次元の実空間座標系との間とにおいて座標変換とを説明するための側面図および平面図である。
【図２１】第2実施形態の撮像ユニットを示す機能ブロック図である。
【図２２】第2実施形態における撮像処理を示すフローチャートである。
【図２３】第3実施形態の撮像ユニットを示す機能ブロック図である。
【図２４】第3実施形態における撮像処理を示すフローチャートである。
【図２５】第4実施形態の撮像ユニットを示す機能ブロック図である。
【図２６】第4実施形態の3次元色形状計測装置１における電気的構成を概念的に表すブロック図である。
【図２７】第4実施形態における撮像処理を示すフローチャートである。
【図２８】第4実施形態におけるコード画像生成処理を示すフローチャートである。
【図２９】第4実施形態における2値化画像生成処理を示すフローチャートである。
【図３０】第5実施形態の撮像ユニットを示す機能ブロック図である。
【図３１】第5実施形態における撮像処理を示すフローチャートである。
【図３２】第5実施形態におけるコード画像生成処理を示すフローチャートである。
【図３３】第5実施形態における2値化が造成処理を示すフローチャートである。
【図３４】第5実施形態における3次元色形状検出結果生成処理を示すフローチャートである。
【図３５】従来の3次元色形状計測装置による3次元形状計測時に生じる計測誤差を示す説明図である。
【符号の説明】
【０３７７】
１  3次元色形状計測装置
１３  投影部
１４  撮像部
１５  処理部
３５  CPU
３６  ROM
３６j  階調補正プログラム
３６k  階調補正LUT
３７  RAM
50、60、70、80、90  撮像ユニット
【図１】
2007271395.tif 000003
【図２】
2007271395.tif 000004
【図３】
2007271395.tif 000005
【図４】
2007271395.tif 000006
【図５】
2007271395.tif 000007
【図６】
2007271395.tif 000008
【図７】
2007271395.tif 000009
【図８】
2007271395.tif 000010
【図９】
2007271395.tif 000011
【図１０】
2007271395.tif 000012
【図１１】
2007271395.tif 000013
【図１２】
2007271395.tif 000014
【図１３】
2007271395.tif 000015
【図１４】
2007271395.tif 000016
【図１５】
2007271395.tif 000017
【図１６】
2007271395.tif 000018
【図１７】
2007271395.tif 000019
【図１８】
2007271395.tif 000020
【図１９】
2007271395.tif 000021
【図２０】
2007271395.tif 000022
【図２１】
2007271395.tif 000023
【図２２】
2007271395.tif 000024
【図２３】
2007271395.tif 000025
【図２４】
2007271395.tif 000026
【図２５】
2007271395.tif 000027
【図２６】
2007271395.tif 000028
【図２７】
2007271395.tif 000029
【図２８】
2007271395.tif 000030
【図２９】
2007271395.tif 000031
【図３０】
2007271395.tif 000032
【図３１】
2007271395.tif 000033
【図３２】
2007271395.tif 000034
【図３３】
2007271395.tif 000035
【図３４】
2007271395.tif 000036
【図３５】
2007271395.tif 000037