(57)【要約】  対象物が撮像された画像において対象物が存在する領域を容易且つ高精度に検出する画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムを提供する。画像処理システムは、対象物に向けて縞模様又は格子模様の投影画像を投影する画像投影装置と、投影画像が投影された対象物を撮像する画像読取装置と、を有し、画像読取装置は、投影画像が投影された対象物を撮像した入力画像を取得する入力画像取得部と、入力画像を用いて、入力画像内の各画素の高さ情報を算出する高さ情報算出部と、入力画像内の各画素の高さ情報に基づいて、入力画像において対象物が存在する対象物領域を検出する対象物領域検出部とを有する。
2016199253.tif 000002
【特許請求の範囲】
【請求項１】
対象物に向けて縞模様又は格子模様の投影画像を投影する画像投影装置と、
前記投影画像が投影された対象物を撮像する画像読取装置と、を有し、
前記画像読取装置は、
前記投影画像が投影された対象物を撮像した入力画像を取得する入力画像取得部と、
前記入力画像を用いて、前記入力画像内の各画素の高さ情報を算出する高さ情報算出部と、
前記入力画像内の各画素の高さ情報に基づいて、前記入力画像において対象物が存在する対象物領域を検出する対象物領域検出部と、
を有することを特徴とする画像処理システム。
【請求項２】
前記入力画像取得部は、前記投影画像が投影されていない対象物を撮像した第２入力画像をさらに取得し、
前記画像読取装置は、前記第２入力画像内の各画素の色成分を抽出する色成分抽出部をさらに有し、
前記対象物領域検出部は、さらに前記第２入力画像内の各画素の色成分に基づいて、前記第２入力画像において対象物が存在する第２対象物領域を検出する、請求項１に記載の画像処理システム。
【請求項３】
前記画像読取装置は、前記入力画像内の各画素の高さ情報に基づいて、前記第２入力画像から、背景が写っていると推定される推定背景領域を抽出する推定背景領域抽出部をさらに有し、
前記色成分抽出部は、前記推定背景領域内の画素に基づいて、前記第２入力画像内の背景の色成分を決定し、
前記対象物領域検出部は、前記決定した背景の色成分に基づいて、前記第２対象物領域を検出する、請求項２に記載の画像処理システム。
【請求項４】
前記画像投影装置は、さらに、前記対象物に向けて、第一色の光及び前記第一色と異なる第二色の光を投影し、
前記入力画像取得部は、前記第一色の光が投影された対象物を撮像した第一色入力画像と、前記第二色の光が投影された対象物を撮像した第二色入力画像と、をさらに取得し、
前記画像読取装置は、前記第一色入力画像と前記第二色入力画像で対応する位置に存在する画素組合せのそれぞれについて、各画素の色成分の差が閾値以下であるか否かと、各画素の色成分が黒色であるか否かとを判定し、各画素の色成分の差が閾値以下であり且つ各画素の色成分が黒色でない画素組合せの位置に対応する前記入力画像内の位置を影領域として検出する影領域検出部をさらに有し、
前記対象物領域検出部は、前記影領域検出部が検出した影領域を含まないように前記対象物領域を検出する、請求項３に記載の画像処理システム。
【請求項５】
前記影領域検出部は、前記決定した背景の色成分が黒色である場合、前記影領域を検出しない、請求項４に記載の画像処理システム。
【請求項６】
画像投影装置により縞模様又は格子模様の投影画像が投影された対象物を撮像した入力画像を取得する入力画像取得部と、
前記入力画像を用いて、前記入力画像内の各画素の高さ情報を算出する高さ情報算出部と、
前記入力画像内の各画素の高さ情報に基づいて、前記入力画像において対象物が存在する対象物領域を検出する対象物領域検出部と、
を有することを特徴とする画像読取装置。
【請求項７】
画像投影装置及び画像読取装置を有する画像処理システムにおける領域検出方法であって、
前記画像投影装置が、対象物に向けて縞模様又は格子模様の投影画像を投影し、
前記画像読取装置が、
前記投影画像が投影された対象物を撮像した入力画像を取得し、
前記入力画像を用いて、前記入力画像内の各画素の高さ情報を算出し、
前記入力画像内の各画素の高さ情報に基づいて、前記入力画像において対象物が存在する対象物領域を検出する、
ことを含むことを特徴とする領域検出方法。
【請求項８】
画像投影装置により縞模様又は格子模様の投影画像が投影された対象物を撮像した入力画像を取得し、
前記入力画像を用いて、前記入力画像内の各画素の高さ情報を算出し、
前記入力画像内の各画素の高さ情報に基づいて、前記入力画像において対象物が存在する対象物領域を検出する、
ことをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムに関し、特に、入力画像から対象物が存在する領域を検出する画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ＥＣ（Electronic Commerce）サイト、オークションサイト等において、立体的な形状を有する商品が出品される場合に、サイトの閲覧者が商品の形状を把握し易いように、商品の画像として３次元画像が掲載されることがある。商品の出品者は、例えば、所定の投影画像を投影するプロジェクタと、その投影画像が投影された商品を撮像するカメラを用いることにより、商品の３次元画像を作成することができる。【０００３】
投光部から被写体に所定の投光パターンを照射して投光パターンの歪を有する投光画像を撮像部で撮影する画像入力装置が開示されている。この画像入力装置では、投光部と撮像部との相対位置が固定され、移動部で撮像部を相対移動させて撮像位置の異なる複数の投光画像を撮影する（特許文献１を参照）。【０００４】
また、パンを載せたトレーの背後からバックライトを照射した状態でパン及びトレーを撮像し、撮像したカラーデジタル画像からパン領域を切り出し、切り出したパン領域に基づいてパンの種類を識別する物体識別装置が開示されている（特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−７８７２５号公報
【特許文献２】特開２０１３−１４５４４１号公報
【発明の概要】
【０００６】
対象物が撮像された画像から対象物の３次元画像を生成する場合に、対象物が存在する領域を容易且つ高精度に検出することが求められている。
【０００７】
画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムの目的は、対象物が撮像された画像において対象物が存在する領域を容易且つ高精度に検出することにある。
【０００８】
本実施形態の一側面に係る画像処理システムは、対象物に向けて縞模様又は格子模様の投影画像を投影する画像投影装置と、投影画像が投影された対象物を撮像する画像読取装置と、を有し、画像読取装置は、投影画像が投影された対象物を撮像した入力画像を取得する入力画像取得部と、入力画像を用いて、入力画像内の各画素の高さ情報を算出する高さ情報算出部と、入力画像内の各画素の高さ情報に基づいて、入力画像において対象物が存在する対象物領域を検出する対象物領域検出部と、を有する。
【０００９】
また、本実施形態の一側面に係る画像読取装置は、画像投影装置により縞模様又は格子模様の投影画像が投影された対象物を撮像した入力画像を取得する入力画像取得部と、入力画像を用いて、入力画像内の各画素の高さ情報を算出する高さ情報算出部と、入力画像内の各画素の高さ情報に基づいて、入力画像において対象物が存在する対象物領域を検出する対象物領域検出部と、を有する。
【００１０】
また、本実施形態の一側面に係る領域検出方法は、画像投影装置及び画像読取装置を有する画像処理システムにおける領域検出方法であって、画像投影装置が、対象物に向けて縞模様又は格子模様の投影画像を投影し、画像読取装置が、投影画像が投影された対象物を撮像した入力画像を取得し、入力画像を用いて、入力画像内の各画素の高さ情報を算出し、入力画像内の各画素の高さ情報に基づいて、入力画像において対象物が存在する対象物領域を検出することを含む。
【００１１】
また、本実施形態の一側面に係るコンピュータプログラムは、画像投影装置により縞模様又は格子模様の投影画像が投影された対象物を撮像した入力画像を取得し、入力画像を用いて、入力画像内の各画素の高さ情報を算出し、入力画像内の各画素の高さ情報に基づいて、入力画像において対象物が存在する対象物領域を検出する、ことをコンピュータに実行させる。
【００１２】
本実施形態によれば、画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムは、対象物が撮像された画像において対象物が存在する領域を容易且つ高精度に検出することが可能となる。
【００１３】
本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
【図面の簡単な説明】
【００１４】
【図１Ａ】実施形態に従った画像処理システム１の概略構成を示す図である。
【図１Ｂ】実施形態に従った画像処理システム１の分解図である。
【図２】画像読取装置１００のハードウェア構成図である。
【図３】第１ＣＰＵ１１０の概略構成を示す図である。
【図４】画像投影装置２００のハードウェア構成図である。
【図５】領域切出し処理の動作を示すフローチャートである。
【図６】高さ情報算出処理の動作の例を示すフローチャートである。
【図７Ａ】各入力画像について説明するための模式図である。
【図７Ｂ】各入力画像について説明するための模式図である。
【図７Ｃ】各入力画像について説明するための模式図である。
【図７Ｄ】各入力画像について説明するための模式図である。
【図８】深度の算出方法について説明するための模式図である。
【図９】高さ情報算出処理の動作の例を示すフローチャートである。
【図１０】推定背景領域について説明するための模式図である。
【図１１】影領域検出処理の動作の例を示すフローチャートである。
【図１２Ａ】第１色入力画像について説明するための模式図である。
【図１２Ｂ】第２色入力画像について説明するための模式図である。
【図１３】対象物領域検出処理の動作の例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本開示の一側面に係る画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１６】
図１Ａは、実施形態に従った画像処理システムの概略構成を示す図であり、図１Ｂは、画像処理システムの分解図である。図１Ａ、Ｂに示すように、画像処理システム１は、画像読取装置１００、画像投影装置２００、載置台３００、設置台４００及び支持部材５００等を有する。
【００１７】
画像読取装置１００は、載置台３００に載置された対象物の上方に配置され、対象物を撮像する装置である。画像読取装置１００は、例えばカメラ等を有する多機能携帯電話（いわゆるスマートフォン）、タブレットＰＣ（Personal Computer）、携帯情報端末等である。画像読取装置１００が撮像する対象物は、例えば立体的な３次元の形状を有する物体である。
【００１８】
画像投影装置２００は、載置台３００に載置された対象物の上方に配置され、対象物に向けて投影画像を投影する装置であり、例えばプロジェクタである。
【００１９】
載置台３００は、画像読取装置１００が撮像する対象物を載置する台である。
【００２０】
設置台４００は、画像読取装置１００を設置する台である。設置台４００は、台座４０１、接続部材４０２及び設置部材４０３からなるコの字形状を有する。台座４０１は、平面形状を有し、ネジ等により載置台３００の所定位置３０１に取り付けられる。なお、台座４０１は、所定位置３０１に取り付けられずに、単に載置されていてもよい。接続部材４０２は、平面形状を有し、台座４０１から鉛直方向上方に向けて伸びている。設置部材４０３は、平面形状を有し、接続部材４０２の鉛直方向上方の端部に、台座４０１が取り付けられている方向と同じ方向に向けて取り付けられている。画像読取装置１００は、載置台３００に載置された対象物を撮像できるように、即ち撮像方向が鉛直方向下方となり且つ撮像範囲に設置部材４０３が含まれないように設置部材４０３上に載置される。
【００２１】
支持部材５００は、画像投影装置２００を支持する部材である。支持部材５００は、Ｌ字形状を有し、ネジ等により載置台３００の所定位置３０２に取り付けられ、載置台３００から鉛直方向上方に向けて伸びている。支持部材５００の、載置台３００に取り付けられる端部と反対側の端部には、ネジ等により画像投影装置２００が取り付けられる。画像投影装置２００は、載置台３００に載置された対象物に向けて投影画像を投影できるように、即ち投影方向が鉛直方向下方となるように支持部材５００に取り付けられる。
【００２２】
図１Ａ、図１Ｂに示すように、設置台４００及び支持部材５００がそれぞれ載置台３００の予め定められた所定位置３０１及び３０２に配置されることにより、画像読取装置１００、画像投影装置２００及び載置台３００の配置位置は固定される。これにより、画像読取装置１００の撮像装置の光学中心及び撮像方向と、画像投影装置２００の光学中心及び投影方向と、載置台３００の載置面との位置関係は一定に保たれる。
【００２３】
なお、支持部材５００は、載置台３００に取り付けられるのではなく、設置台４００に取り付けられてもよい。また、画像読取装置１００と設置台４００は、例えばオーバーヘッド型のスキャナ装置等を用いて一体に構成されてもよい。
【００２４】
図２は、画像読取装置１００のハードウェア構成図である。図２に示すように、画像読取装置１００は、第１通信回路１０１、撮像装置１０２、入力装置１０３、表示装置１０４、第１記憶装置１０５及び第１ＣＰＵ（Central Processing Unit）１１０等を有する。以下、画像読取装置１００の各部について詳細に説明する。
【００２５】
第１通信回路１０１は、無線信号を送受信するアンテナと、無線ＬＡＮ（Local Area Network）等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インターフェース回路とを有する。第１通信回路１０１は、不図示のアクセスポイントを介して画像投影装置２００と通信し、第１ＣＰＵ１１０から出力された情報を画像投影装置２００に送信し、画像投影装置２００から受信した情報を第１ＣＰＵ１１０に出力する。なお、第１通信回路１０１は、アクセスポイントを介さずに画像投影装置２００と直接通信してもよい。また、第１通信回路１０１は、近距離無線通信により、画像投影装置２００と通信してもよい。
【００２６】
撮像装置１０２は、対象物を撮像する撮像センサを有する。この撮像センサは、撮像素子と、撮像素子に対象物の像を結像する光学系を備える。各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。撮像素子は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像装置１０２は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、入力画像と称する）を生成する。この入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。撮像装置１０２は、生成した入力画像を第１ＣＰＵ１１０に出力する。
【００２７】
入力装置１０３は、タッチパッド等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第１ＣＰＵ１１０に出力する。
【００２８】
表示装置１０４は、液晶、有機ＥＬ（Electro−Luminescence）等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第１ＣＰＵ１１０から出力された画像データを表示する。
【００２９】
第１記憶装置１０５は、ＲＡＭ（Random Access Memory）等の揮発性半導体メモリ、ＲＯＭ（Read Only Memory）等の不揮発性半導体メモリ等を有する。また、第１記憶装置１０５には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル、各種画像等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１４にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。
【００３０】
また、第１記憶装置１０５には、撮像装置１０２の光学中心と画像投影装置２００の光学中心との位置関係、及び、撮像装置１０２の光学中心と載置台３００の載置面の位置関係等が記憶される。撮像装置１０２の光学中心と画像投影装置２００の光学中心との位置関係として、例えば撮像装置１０２の光学中心から画像投影装置２００の光学中心へ向かうベクトルが記憶される。撮像装置１０２の光学中心と載置台３００の載置面の位置関係として、撮像装置１０２の光学中心から載置台３００の載置面までの距離、撮像装置１０２の撮像方向の載置台３００の載置面に対する角度等が記憶される。これらの情報は、画像処理システム１の製品出荷時又は設置時等に予め計測される。
【００３１】
第１ＣＰＵ１１０は、第１通信回路１０１、撮像装置１０２、入力装置１０３、表示装置１０４及び第１記憶装置１０５と接続され、これらの各部を制御する。第１ＣＰＵ１１０は、第１通信回路１０１を介した画像投影装置２００とのデータ送受信制御、撮像装置１０２の画像生成制御、入力装置１０３の入力制御、表示装置１０４の表示制御、第１記憶装置１０５の制御等を行う。
【００３２】
図３は、第１ＣＰＵ１１０の概略構成を示す図である。図３に示すように第１ＣＰＵ１１０は、投影制御部１１１、入力画像取得部１１２、高さ情報算出部１１３、推定背景領域抽出部１１４、色成分抽出部１１５、影領域検出部１１６、対象物領域検出部１１７及び切出し部１１８等を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部はそれぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００３３】
図４は、画像投影装置２００のハードウェア構成図である。図４に示すように、画像投影装置２００は、第２通信回路２０１、投影装置２０２、第２記憶装置２０３及び第２ＣＰＵ２１０等を有する。以下、画像投影装置２００の各部について詳細に説明する。
【００３４】
第２通信回路２０１は、画像読取装置１００の第１通信回路１０１と同様のインターフェース回路を有する。第２通信回路２０１は、画像読取装置１００と通信し、第２ＣＰＵ２１０から出力された情報を画像読取装置１００に送信し、画像読取装置１００から受信した情報を第２ＣＰＵ２１０に出力する。
【００３５】
投影装置２０２は、光源、光学系等を備え、第２ＣＰＵ２１０から出力された画像を対象物に向けて投影する。
【００３６】
第２記憶装置２０３は、ＲＡＭ等の揮発性半導体メモリ、ＲＯＭ等の不揮発性半導体メモリ等を有する。また、第２記憶装置２０３には、画像投影装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル、各種画像等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶装置２０３にインストールされてもよい。
【００３７】
第２ＣＰＵ２１０は、第２通信回路２０１、投影装置２０２、及び第２記憶装置２０３と接続され、これらの各部を制御する。第２ＣＰＵ２１０は、第２通信回路２０１を介した画像読取装置１００とのデータ送受信制御、投影装置２０２の画像投影制御、第２記憶装置２０３の制御等を行う。
【００３８】
図５は、画像読取装置１００による領域切出し処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、領域切出し処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１０５に記憶されているプログラムに基づき主に第１ＣＰＵ１１０により画像読取装置１００の各要素と協働して実行される。
【００３９】
最初に、第１ＣＰＵ１１０は、高さ情報算出処理を実施する（ステップＳ１０１）。高さ情報算出処理において、第１ＣＰＵ１１０は、投影画像が投影された対象物を撮像した入力画像（以下、投影入力画像と称する場合がある）内の各画素の高さ情報を算出する。投影入力画像は、入力画像の一例である。高さ情報算出処理の詳細については後述する。
【００４０】
次に、第１ＣＰＵ１１０は、背景色決定処理を実施する（ステップＳ１０２）。背景色決定処理において、第１ＣＰＵ１１０は、投影画像が投影されていない対象物を撮像した入力画像（以下、非投影入力画像と称する場合がある）内の背景の色成分を決定する。非投影入力画像は、第２入力画像の一例である。背景色決定処理の詳細については後述する。
【００４１】
次に、第１ＣＰＵ１１０は、影領域検出処理を実施する（ステップＳ１０３）。影領域検出処理において、第１ＣＰＵ１１０は、投影入力画像及び非投影入力画像内で影が写っている影領域を検出する。影領域検出処理の詳細については後述する。
【００４２】
次に、第１ＣＰＵ１１０は、対象領域検出処理を実施する（ステップＳ１０４）。対象領域検出処理において、第１ＣＰＵ１１０は、投影入力画像及び非投影入力画像内で対象物が存在する対象物領域を検出する。対象物領域検出処理の詳細については後述する。
【００４３】
次に、第１ＣＰＵ１１０は、検出された対象物領域を非投影入力画像から切り出した切出し画像を生成して第１記憶装置１０５に記憶し（ステップＳ１０５）、一連のステップを終了する。ユーザは、入力装置１０３を用いて、第１記憶装置１０５に記憶された切出し画像を表示装置１０４に表示したり、他の装置へ送信したりすることができる。なお、第１ＣＰＵ１１０は、高さ情報算出処理で算出した高さ情報を用いて、切出し画像を３次元画像に変換してもよい。３次元画像では、２次元に配置された画素毎に、画素値と関連付けて高さ情報が記憶され、３次元画像は、各画素の高さ情報に基づいて、立体的に表示装置１０４に表示される。また、３次元画像が表示装置１０４に表示される場合、第１ＣＰＵ１１０は、入力装置１０３を用いたユーザからの指示に従って、表示された３次元画像の視点を切り替える。
【００４４】
図６は、高さ情報算出処理の動作の例を示すフローチャートである。図６に示す動作のフローは、図５に示すフローチャートのステップＳ１０１において実行される。
【００４５】
第１ＣＰＵ１１０は、位相シフト法に従って、対象物の３次元計測を行う。そのために、投影制御部１１１は、まず、対象物に向けて第１投影画像を投影することを要求するための第１要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ２０１）。第１要求信号には、第１投影画像が含まれる。第１投影画像は、縞模様又は格子模様の画像である。なお、後述の実施形態では、一例として縞模様の画像を用いた場合の例を示す。
【００４６】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して第１要求信号を受信すると、第１要求信号に含まれる第１投影画像を第２記憶装置２０３に記憶し、投影装置２０２に投影させる。なお、画像投影装置２００の第２記憶装置２０３に第１投影画像を予め記憶しておき、第１ＣＰＵ１１０は、第１投影画像の代わりに第１投影画像の識別情報を含む第１要求信号を送信してもよい。
【００４７】
次に、撮像装置１０２は、第１投影画像が投影された対象物を撮像した第１投影入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、第１投影入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ２０２）。
【００４８】
図７Ａ〜図７Ｄは、撮像装置１０２が撮像する各入力画像について説明するための模式図である。図７Ａに示す画像７００は非投影入力画像の例である。図７Ａに示すように、非投影入力画像７００は、載置台３００に載置された茶碗７０１を対象物として撮像した画像である。茶碗７０１は、載置台３００が写っている背景７０２と同様の色を有する無地部７０３と、背景７０２とは異なる色を有する模様７０４とを有する。
【００４９】
図７Ｂに示す画像７１０は第１投影入力画像の例である。図７Ｂに示すように、第１投影入力画像７１０は、所定の正弦波パターンが第１投影画像として投影された茶碗７０１を撮像した画像である。正弦波パターンは、白色部分７１１と、白色以外の所定色部分７１２とが周期的に繰り返される縞模様を有する。平面形状を有する載置台３００上では、正弦波パターンによる縞は直線になるが、載置台３００に対して膨らんだ形状を有する茶碗７０１上では、正弦波パターンによる縞は歪み、直線にはならない。
【００５０】
次に、投影制御部１１１は、対象物に向けて第２投影画像を投影することを要求するための第２要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ２０３）。第２要求信号には、第２投影画像が含まれる。第２投影画像は、縞模様又は格子模様の画像である。
【００５１】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して第２要求信号を受信すると、第２要求信号に含まれる第２投影画像を第２記憶装置２０３に記憶し、投影装置２０２に投影させる。
【００５２】
次に、撮像装置１０２は、第２投影画像が投影された対象物を撮像した第２投影入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、第２投影入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ２０４）。
【００５３】
図７Ｃに示す画像７２０は第２投影入力画像の例である。図７Ｃに示すように、第２投影入力画像７２０は、第１投影画像の正弦波パターンから位相をπ／２だけずらした正弦波パターンが第２投影画像として投影された茶碗７０１を撮像した画像である。第２投影入力画像７２０では、白色部分７２１及び所定色部分７２２は、それぞれ、第１投影入力画像７１０において白色部分７１１及び所定色部分７１２が投影された位置から位相をπ／２だけずらした位置に投影されている。
【００５４】
次に、投影制御部１１１は、対象物に向けて第３投影画像を投影することを要求するための第３要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ２０５）。第３要求信号には、第３投影画像が含まれる。第３投影画像は、縞模様又は格子模様の画像である。
【００５５】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して第３要求信号を受信すると、第３要求信号に含まれる第３投影画像を第２記憶装置２０３に記憶し、投影装置２０２に投影させる。
【００５６】
次に、撮像装置１０２は、第３投影画像が投影された対象物を撮像した第３投影入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、第３投影入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ２０６）。
【００５７】
図７Ｄに示す画像７３０は第３投影入力画像の例である。図７Ｃに示すように、第３投影入力画像７３０は、第２投影画像の正弦波パターンから位相をさらに２π／３だけずらした正弦波パターンが第３投影画像として投影された茶碗７０１を撮像した画像である。第３投影入力画像７３０では、白色部分７３１及び所定色部分７３２は、それぞれ、第２投影入力画像７２０において白色部分７２１及び所定色部分７２２が投影された位置から位相をさらに２π／３だけずらした位置に投影されている。
【００５８】
次に、高さ情報算出部１１３は、第１投影入力画像、第２投影入力画像及び第３投影入力画像における各画素の輝度値から、各画素の位置における正弦波パターンの位相値を算出する（ステップＳ２０７）。
【００５９】
まず、高さ情報算出部１１３は、以下の式（１）により、各投影入力画像内の座標(x,y)に位置する画素の輝度値I(x,y)を算出する。
【数１】
2016199253.tif 000003
ここで、R、G、Bは、各投影入力画像におけるＲＧＢ各色毎の色値である。
【００６０】
次に、高さ情報算出部１１３は、以下の式（２）により、各投影入力画像内の座標(x,y)の位置における正弦波パターンの位相値phase(x,y)を算出する。
【数２】
2016199253.tif 000004
ここで、I1(x,y)は、第１投影入力画像内の座標(x,y)に位置する画素の輝度値である。I2(x,y)は、第２投影入力画像内の座標(x,y)に位置する画素の輝度値である。I3(x,y)は、第３投影入力画像内の座標(x,y)に位置する画素の輝度値である。
【００６１】
以下、式（２）が導出される理由について説明する。なお、以下では、式を簡略化するために、I1(x,y)、I2(x,y)、I3(x,y)をそれぞれI1、I2、I3と表している。第２投影入力画像内の座標(x,y)に対応する位相値をθとすると、I1、I2、I3は、それぞれ以下の式（３）により表すことができる。
【数３】
2016199253.tif 000005
ここで、aは投影光の強度であり、bは環境光の強度である。したがって、以下の式（４）が成立する。
【数４】
2016199253.tif 000006
式（４）より、以下の式（５）が成立する。
【数５】
2016199253.tif 000007
この式（５）により、式（２）が導出される。
【００６２】
式（２）で算出される位相値は、逆正接関数を用いて算出されるため、−π〜＋πの値域のみで連続し、正弦波パターンの周期毎に不連続になる。そこで、高さ情報算出部１１３は、式（２）により算出した各画素の位相値に対して、正弦波パターンの周期毎に2πずつ加算していき、位相連結を行う。以下、位相連結を行った位相値を絶対位相値と称する。
【００６３】
次に、高さ情報算出部１１３は、第１投影入力画像、第２投影入力画像及び第３投影入力画像内の対応する画素毎に、深度を算出する（ステップＳ２０８）。深度は、撮像装置１０２の光学中心から、その画素に写っている対象物までの距離である。
【００６４】
上記のように算出された絶対位相値が同一である投影入力画像上の画素は、投影画像上の正弦波パターンにおける同一ラインに対応している。そこで、高さ情報算出部１１３は、絶対位相値が同一である投影入力画像上の各画素を連結し、連結した画素のグループと、投影画像上の正弦波パターンの各ラインとの対応付けを行う。さらに、高さ情報算出部１１３は、各グループに含まれる各画素について、そのグループの両端に位置する画素からの距離を算出する。高さ情報算出部１１３は、算出した距離に基づいて、各グループに含まれる各画素と、そのグループに対応付けられた正弦波パターンのライン上の各画素との対応付けを行う。そして、高さ情報算出部１１３は、投影入力画像上の各画素について、対応付けた投影画像上の画素との位置関係に基づいて、深度を算出する。
【００６５】
図８は、深度の算出方法について説明するための模式図である。図８において、物体８０１は対象物であり、c点８１１は撮像装置１０２の光学中心であり、平面８１２は投影装置２０２の撮像面であり、p点８２１は投影装置２０２の光学中心であり、平面８２２は投影装置２０２の投影面である。また、撮像面８１２上のs'点８１３と、投影面８２２上のs''点８２３とが、それぞれ対象物８０１上のs点８０２に対応し、相互に対応付けられている。前述したように、画像処理システム１において撮像装置１０２の光学中心と投影装置２０２の光学中心の位置関係は一定に保たれている。撮像装置１０２の光学中心のc点８１１から投影装置２０２の光学中心のp点８２１へ向かうベクトルTc-pは、予め第１記憶装置１０５に記憶されている。
【００６６】
c点８１１からp点８２１へ向かうベクトルと、c点８２１から対象物８０１上のs点８０２へ向かうベクトルとがなす角度θcは、内積の関係から、以下の式（６）により算出される。
【数６】
2016199253.tif 000008
ここで、Tc-s'は、撮像装置１０２の光学中心のc点８１１から撮像面８１２上のs'点８１３へ向かうベクトルである。
【００６７】
同様に、c点８１１からp点８２１へ向かうベクトルと、p点８２１からs点８０２へ向かうベクトルとがなす角度θpは、以下の式（７）により算出される。
【数７】
2016199253.tif 000009
ここで、Tp-s''は、投影装置２０２の光学中心のp点８２１から投影面８２２上のs''点８２３へ向かうベクトルである。
【００６８】
撮像面８１２上のs'点８１３の深度は、撮像装置１０２の光学中心のc点８２１から投影装置２０２の光学中心のp点８１１へ向かうベクトルTc-sの絶対値で表される。この深度は、c点、p点、s点を頂点とする三角形に対して三角測量の原理を適用することによって、以下の式（８）により算出される。
【数８】
2016199253.tif 000010
【００６９】
次に、高さ情報算出部１１３は、算出した深度に基づいて、第１投影入力画像、第２投影入力画像及び第３投影入力画像における各画素の高さ情報を算出する（ステップＳ２０９）。
【００７０】
高さ情報算出部１１３は、撮像面８１２上のs'点８１３の深度と、載置台３００の載置面に対する撮像装置１０２の撮像方向の角度に基づいて、載置面と直交する方向における撮像装置１０２の光学中心から対象物８０１上のs点８０２までの距離を算出する。また、高さ情報算出部１１３は、算出した距離と、撮像装置１０２の光学中心から載置台３００の載置面までの距離に基づいて、載置面から対象物８０１上のs点８０２までの高さを算出する。そして、高さ情報算出部１１３は、算出した載置面からの高さを、撮像面８１２上のs'点８１３に対応する画素の高さ情報として、第１記憶装置１０５に記憶する。
【００７１】
このように、高さ情報算出部１１３は、第１投影入力画像、第２投影入力画像及び第３投影入力画像を用いて、各画素の高さ情報を算出する。
【００７２】
図９は、背景色決定処理の動作の例を示すフローチャートである。図９に示す動作のフローは、図５に示すフローチャートのステップＳ１０２において実行される。
【００７３】
最初に、投影制御部１１１は、投影画像の投影を停止することを要求するための停止要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ３０１）。
【００７４】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して停止要求信号を受信すると、投影装置２０２に投影画像の投影を停止させる。
【００７５】
次に、撮像装置１０２は、投影画像が投影されていない対象物を撮像した非投影入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、非投影入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ３０２）。
【００７６】
次に、推定背景領域抽出部１１４は、高さ情報算出部１１３が算出した各画素の高さ情報に基づいて、非投影入力画像から、対象物が写っていると推定される推定対象物領域を抽出する（ステップＳ３０３）。
【００７７】
推定背景領域抽出部１１４は、非投影入力画像内の各画素について、各画素に対応する画素の高さ情報に示される高さが所定値を超えるか否かを判定する。所定値は例えば０である。なお、ノイズ又は高さ情報の算出誤差の影響を考慮して、所定値は０より大きい値（例えば１ｍｍに相当する値）としてもよい。推定背景領域抽出部１１４は、高さ情報に示される高さが所定値を超える画素を、対象物が写っている画素の候補として抽出する。推定背景領域抽出部１１４は、抽出した画素をラベリングによりグループ化し、推定対象物領域として抽出する。
【００７８】
次に、推定背景領域抽出部１１４は、抽出した推定対象物領域に基づいて、非投影入力画像から、背景が写っていると推定される推定背景領域を抽出する（ステップＳ３０４）。
【００７９】
推定背景領域抽出部１１４は、抽出した全ての推定対象物領域を包含する外接矩形を抽出し、抽出した外接矩形に対してさらに外側に所定長さのマージンをとった矩形を抽出する。推定背景領域抽出部１１４は、抽出した矩形を、その矩形に隣接するように囲む所定幅（例えば５画素）の帯状領域を推定背景領域として抽出する。
【００８０】
なお、推定背景領域抽出部１１４は、抽出した外接矩形と直接隣接する帯状領域を推定背景領域として抽出してもよい。また、推定背景領域抽出部１１４は、抽出した矩形を囲む帯状領域の四隅の領域のみを推定背景領域として抽出してもよい。
【００８１】
図１０は、推定背景領域について説明するための模式図である。図１０に示す画像１０００は非投影入力画像の例である。図１０に示す非投影入力画像１０００において、領域１００１が推定対象物領域であり、矩形１００２が推定対象物領域１００１の外接矩形であり、矩形１００３が矩形１００２に対してマージン１００４をとった矩形である。また、帯状領域１００５が推定背景領域である。また、帯状領域の四隅の領域１００６〜１００９が推定背景領域でもよい。
【００８２】
次に、色成分抽出部１１５は、推定背景領域内の画素に基づいて、非投影入力画像内の背景の色成分を決定し（ステップＳ３０５）、一連のステップを終了する。
【００８３】
色成分抽出部１１５は、推定背景領域内の各画素について、ＲＧＢ各色毎に、各色値の平均値を算出し、算出した各平均値を背景の色成分に決定する。
【００８４】
対象物を撮影する利用者は、対象物の近傍については照明による影響が発生しないように照明が直接当たらないように注意するが、対象物から離れた領域についてはそのような注意を払わない傾向にある。一方、推定背景領域抽出部１１４は、推定対象物領域の外側の全領域ではなく、推定対象物領域の近傍領域のみを推定背景領域としている。これにより、色成分抽出部１１５は、照明等の外乱の影響を受けていない領域から背景の色成分を精度良く算出することができる。また、色成分抽出部１１５は、対象物候補領域の外側の全領域から背景の色成分を算出しないので、色成分算出に係る処理負荷を低減することができる。さらに、色成分抽出部１１５は、帯状領域の四隅の領域のみを推定背景領域とすることにより、色成分算出に係る処理負荷をさらに低減することができる。
【００８５】
図１１は、影領域検出処理の動作の例を示すフローチャートである。図１１に示す動作のフローは、図５に示すフローチャートのステップＳ１０３において実行される。
【００８６】
最初に、影領域検出部１１６は、色成分抽出部１１５が決定した背景の色成分が黒色であるか否かを判定する（ステップＳ４０１）。
【００８７】
黒色とは、光を吸収する範囲の色を意味する。影領域検出部１１６は、背景の色成分として決定されたＲＧＢの各色値が全て３２以下である場合、背景の色成分が黒色であると判定し、何れかの色値が３２より大きい場合、背景の色成分が黒色でないと判定する。
【００８８】
影領域検出部１１６は、背景の色成分が黒色であると判定した場合、背景は影による影響を受けないと判定し、影領域を検出せずに、一連のステップを終了する。
【００８９】
一方、背景の色成分が黒色でないと判定された場合、投影制御部１１１は、対象物に向けて第１色の光を投影することを要求するための第１色要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ４０２）。第１色は、例えば緑色である。
【００９０】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して第１色要求信号を受信すると、対象物に向けて第１色の光を投影装置２０２に投影させる。
【００９１】
次に、撮像装置１０２は、第１色の光が投影された対象物を撮像した第１色入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、第１色入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ４０３）。
【００９２】
図１２Ａは、第１色入力画像について説明するための模式図である。図１２Ａに示す画像１２００は第１色入力画像の例である。図１２Ａに示す第１色入力画像１２００は、黒色の模様１２０１を有する対象物１２０２を撮像した画像である。図１２Ａに示すように、対象物１２０２及び背景１２０３は第１色の色味を有するが、黒色の模様１２０１は、第１色の光を吸収し、第１色の色味を有さない。また、対象物１２０２の周辺には、第１色の光により影１２０４が発生する。影１２０４は、第１色の色味を有さず、自然光又は環境光により黒色より薄い灰色になる。
【００９３】
次に、投影制御部１１１は、対象物に向けて第２色の光を投影することを要求するための第２色要求信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ４０４）。第２色は、第１色と異なる色であり、例えばピンク色である。
【００９４】
画像投影装置２００の第２ＣＰＵ２１０は、第２通信回路２０１を介して第２色要求信号を受信すると、対象物に向けて第２色の光を投影装置２０２に投影させる。
【００９５】
次に、撮像装置１０２は、第２色の光が投影された対象物を撮像した第２色入力画像を生成し、第１ＣＰＵ１１０に出力する。入力画像取得部１１２は、第２色入力画像を取得し、第１記憶装置１０５に記憶する（ステップＳ４０５）。
【００９６】
図１２Ｂは、第２色入力画像について説明するための模式図である。図１２Ｂに示す画像１２１０は第２色入力画像の例である。図１２Ｂに示す第２色入力画像１２１０は、図１２Ａに示す対象物１２０２と同じ対象物１２１２を撮像した画像である。図１２Ｂに示すように、対象物１２１２及び背景１２１３は第２色の色味を有するが、黒色の模様１２１１は、第２色の光を吸収し、第２色の色味を有さない。また、対象物１２１２の周辺には、第２色の光により影１２１４が発生する。影１２１４は、第２色を有さず、図１２Ａに示す影１２０４と同様に、自然光又は環境光により黒色より薄い灰色になる。
【００９７】
以下のステップＳ４０６〜Ｓ４１０の処理は、第１色入力画像と第２色入力画像で対応する位置に存在する画素組合せのそれぞれについて実行される。
【００９８】
まず、影領域検出部１１６は、第１色入力画像内の画素と、その画素に対応する第２色入力画像内の画素の色成分の差が閾値以下であるか否かを判定する（ステップＳ４０６）。影領域検出部１１６は、ＲＧＢの各色毎に２つの画素の色値の差を算出し、算出した差の総和を色成分の差として算出する。閾値は、例えば、人が画像上の色の違いを目視により判別可能な色の差（例えば２０）に設定される。
【００９９】
各画素の色成分の差が閾値より大きい場合、影領域検出部１１６は、各画素がそれぞれ第１の色の色味と第２の色味とを有しており、その画素には影が写っていないと判定する（ステップＳ４０７）。
【０１００】
一方、各画素の色成分の差が閾値以下である場合、影領域検出部１１６は、第１色入力画像及び第２色入力画像内の各画素の色成分が黒色であるか否かを判定する（ステップＳ４０８）。影領域検出部１１６は、ステップＳ４０１と同様にして、各画素の色成分が黒色であるか否かを判定する。
【０１０１】
何れかの画素の色成分が黒色である場合、影領域検出部１１６は、その画素には、黒色の対象物又は背景が写っており、影が写っていないと判定する（ステップＳ４０７）。
【０１０２】
一方、両方の画素の色成分が黒色でない場合、影領域検出部１１６は、各画素が灰色を有しており、その画素には影が写っていると判定する。そして、影領域検出部１１６は、その画素の位置に対応する各投影入力画像及び非投影入力画像内の位置を影領域として検出する（ステップＳ４０９）。
【０１０３】
次に、影領域検出部１１６は、第１色入力画像と第２色入力画像で対応する位置に存在する全ての画素組合せについて処理を実行したか否かを判定する（ステップＳ４１０）。影領域検出部１１６は、まだ処理を実行していない画素組合せがある場合、処理をステップＳ４０６に戻してステップＳ４０６〜Ｓ４１０の処理を繰り返し、全ての画素組合せについて処理を実行した場合、一連のステップを終了する。
【０１０４】
このように、影領域検出部１１６は、各画素の色成分の差が閾値以下であり且つ各画素が黒色でない画素組合せの位置に対応する各投影入力画像及び非投影入力画像内の位置を影領域として検出する。
【０１０５】
図１３は、対象物領域検出処理の動作の例を示すフローチャートである。図１３に示す動作のフローは、図５に示すフローチャートのステップＳ１０４において実行される。
【０１０６】
以下のステップＳ５０１〜Ｓ５０６の処理は、第１〜第３投影入力画像、非投影入力画像及び第１〜第２色入力画像において対応する位置に存在する画素組合せのそれぞれについて実行される。
【０１０７】
最初に、対象物領域検出部１１７は、影領域検出部１１６により、第１色入力画像及び第２色入力画像内の注目する画素に影が写っていると判定されたか否かを判定する（ステップＳ５０１）。
【０１０８】
対象物領域検出部１１７は、注目する画素に影が写っていると判定されていた場合、その画素には対象物が写っていないと判定する（ステップＳ５０２）。
【０１０９】
一方、対象物領域検出部１１７は、注目する画素に影が写っていると判定されていた場合、その画素に対応する投影入力画像内の画素の高さ情報に示される高さが所定値を超えるか否かを判定する（ステップＳ５０３）。所定値は、対象物候補領域を抽出するために用いた所定値と同じ値である。なお、所定値は、対象物候補領域を抽出するために用いた所定値と異なる値でもよい。
【０１１０】
対象物領域検出部１１７は、その画素の高さ情報に示される高さが所定値を超える場合、その画素には対象物が写っていると判定する（ステップＳ５０４）。
【０１１１】
一方、その画素の高さ情報に示される高さが所定値以下である場合、色成分抽出部１１５は、その画素に対応する非投影入力画像内の画素の色成分を抽出する。そして、色成分抽出部１１５は、抽出した色成分と、背景の色成分との差が所定値以上であるか否かを判定する（ステップＳ５０５）。
【０１１２】
色成分抽出部１１５は、ＲＧＢの各色毎に、抽出した色値と背景の色値の差を算出し、算出した差の総和を色成分の差として算出する。所定値は、例えば、人が画像上の色の違いを目視により判別可能な色の差（例えば２０）に設定される。
【０１１３】
抽出した色成分と、背景の色成分との差が所定値以上である場合、対象物領域検出部１１７は、その画素には対象物が写っていると判定する（ステップＳ５０４）。
【０１１４】
一方、抽出した色成分と、背景の色成分との差が所定値未満である場合、対象物領域検出部１１７は、その画素には対象物が写っていないと判定する（ステップＳ５０５）。
【０１１５】
次に、対象物領域検出部１１７は、全ての画素について処理を実行したか否かを判定する（ステップＳ５０６）。対象物領域検出部１１７は、まだ処理を実行していない画素がある場合、処理をステップＳ５０１に戻してステップＳ５０１〜Ｓ５０６の処理を繰り返す。
【０１１６】
一方、対象物領域検出部１１７は、全ての画素について処理を実行した場合、対象物が写っている領域と写っていない領域を識別するためのマスク画像を生成する（ステップＳ５０７）。対象物領域検出部１１７は、対象物が写っていると判定した画素に対応する画素を有効画素とし、対象物が写っていないと判定した画素に対応する画素を無効画素とした画像をマスク画像として生成する。
【０１１７】
次に、対象物領域検出部１１７は、マスク画像において、有効画素をラベリングによりグループ化する（ステップＳ５０８）。
【０１１８】
次に、対象物領域検出部１１７は、各投影入力画像及び非投影入力画像において、マスク画像内の有効画素のグループが存在する位置に対応する位置にある各画素を対象物領域として検出し（ステップＳ５０９）、一連のステップを終了する。
【０１１９】
このように、対象物領域検出部１１７は、各投影入力画像内の各画素の高さ情報に基づいて、各投影入力画像において対象物領域を検出する。これにより、対象物領域検出部１１７は、図７Ａ〜図７Ｄに示したように、背景と類似する色を有する対象物７０１であっても、対象物領域を高精度に検出することができる。
【０１２０】
また、対象物領域検出部１１７は、非投影入力画像内の各画素の色成分及び背景の色成分に基づいて、非投影入力画像において対象物領域を検出する。これにより、対象物領域検出部１１７は、高さの低い平面的な形状を有する対象物であっても、色成分に基づいて、対象物領域を高精度に検出することができる。
【０１２１】
また、対象物領域検出部１１７は、影領域検出部１１６が検出した影領域を含まないように対象物領域を検出する。これにより、対象物領域検出部１１７は、立体的な形状を有する対象物により影が発生した場合でも、切出し画像に影の部分が含まれることを防止できる。また、影領域には、画像投影装置２００から投影される投影画像が投影されないため、画像読取装置１００は、高さ情報を正しく算出することができない。対象物領域検出部１１７は、影領域を含まないように対象物領域を検出することにより、信頼性の低い領域において算出された高さ情報を用いることなく、高精度に対象物領域を検出することができる。
【０１２２】
なお、ステップＳ５０１の処理は省略されてもよい。その場合、対象物領域検出部１１７は、各画素に影が写っているか否かに関わらず、各画素の高さ情報に基づいて対象物領域を検出する。同様に、ステップＳ５０３の処理も省略されてもよい。その場合、対象物領域検出部１１７は、各画素の高さ情報に示される高さが所定値以下である場合、その画素には対象物が写っていないと判定する。また、ステップＳ５０３とステップＳ５０５の処理の順序は逆にしてもよい。その場合、対象物領域検出部１１７は、各画素の色成分と背景の色成分との差が所定値未満であった場合に、その画素の高さ情報に基づいて対象物領域を検出する。これらの場合も、対象物領域検出部１１７は、精度良く対象物を検出することができる。
【０１２３】
また、対象物領域検出部１１７は、各画素について、対象物が写っているらしさを表す対象物度合いを算出し、対象物度合いが所定値以上であるか否かにより、各画素に対象物が写っているか否かを判定してもよい。その場合、対象物領域検出部１１７は、各画素の高さ情報に示される高さが高いほど対象物度合いが高くなり、高さが低いほど対象物度合いが低くなるように、対象物度合いを算出する。さらに、対象物領域検出部１１７は、各画素の色成分と背景の色成分との差が大きいほど対象物度合いが高くなり、その色成分と背景の色成分との差が小さいほど対象物度合いが低くなるように、対象物度合いを算出する。これにより、対象物領域検出部１１７は、より精度良く対象物を検出することができる。
【０１２４】
または、対象物領域検出部１１７は、各画素の高さ情報に基づいてエッジ画像を生成し、エッジ画像に基づいて対象物を検出してもよい。その場合、対象物領域検出部１１７は、投影入力画像内の各画素の高さ情報に示される高さについて、水平又は垂直方向の両隣の画素の高さの差の絶対値（以下、隣接差分値と称する）を算出する。対象物領域検出部１１７は、水平又は垂直方向における隣接差分値が閾値を越える画素をエッジ画素として抽出し、エッジ画素からなる画像をエッジ画像として生成する。対象物領域検出部１１７は、生成したエッジ画像において、各エッジ画素をラベリングによりグループ化し、グループ化されたエッジ画素により囲まれる領域を対象物領域として検出する。これによっても、対象物領域検出部１１７は、精度良く対象物を検出することができる。
【０１２５】
また、対象物領域検出部１１７は、非投影入力画像内の各画素の色成分に基づいて対象物領域を検出するのではなく、投影入力画像内の各画素の色成分に基づいて対象物領域を検出してもよい。その場合、推定背景領域抽出部１１４は、投影入力画像内の各画素の高さ情報に基づいて、投影入力画像から推定背景領域を抽出する。色成分抽出部１１５は、推定背景領域内の画素に基づいて、投影入力画像内の背景の色成分を決定するとともに、投影入力画像内の各画素の色成分を抽出する。そして、対象物領域検出部１１７は、投影入力画像内の背景の色成分及び各画素の色成分に基づいて、対象物領域を検出する。
【０１２６】
以上詳述したように、図５、６、９、１１、１３に示したフローチャートに従って動作することによって、画像処理システム１は、対象物が撮像された画像において対象物領域を容易且つ高精度に検出することが可能となった。特に、画像処理システム１は、高さ情報を用いることにより、対象物の全体又は一部の色と背景の色が類似している場合でも、対象物領域を高精度に検出することが可能となった。また、画像処理システム１は、ブルーバックのような特殊な背景設備、バックライトのような特殊な照明設備を用いることなく対象物領域を検出することが可能となった。
【符号の説明】
【０１２７】
１    画像処理システム
１００    画像読取装置
１１１    投影制御部
１１２    入力画像取得部
１１３    高さ情報算出部
１１４    推定背景領域抽出部
１１５    色成分抽出部
１１６    影領域検出部
１１７    対象物領域検出部
１１８    切出し部
２００    画像投影装置
【図１Ａ】
2016199253.tif 000011
【図１Ｂ】
2016199253.tif 000012
【図２】
2016199253.tif 000013
【図３】
2016199253.tif 000014
【図４】
2016199253.tif 000015
【図５】
2016199253.tif 000016
【図６】
2016199253.tif 000017
【図７Ａ】
2016199253.tif 000018
【図７Ｂ】
2016199253.tif 000019
【図７Ｃ】
2016199253.tif 000020
【図７Ｄ】
2016199253.tif 000021
【図８】
2016199253.tif 000022
【図９】
2016199253.tif 000023
【図１０】
2016199253.tif 000024
【図１１】
2016199253.tif 000025
【図１２Ａ】
2016199253.tif 000026
【図１２Ｂ】
2016199253.tif 000027
【図１３】
2016199253.tif 000028
【国際調査報告】
2016199253.tif 000029
2016199253.tif 000030
2016199253.tif 000031