(57)【要約】【課題】背景除去を行う画像の枚数が多い場合でも短時間で背景除去を行う。【解決手段】  被写体Ｏを直交する２方向から撮影した２枚の撮影画像である第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とを入力し、第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とから、被写体Ｏに外接する概略形状Ｓを求め、第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２とは別の方向から被写体Ｏを撮影した第３の撮影画像Ｐｎを入力し、第３の撮影画像Ｐｎと概略形状Ｓとから、第３の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求め、第３の撮影画像Ｐｎにおける処理領域Ａから、被写体Ｏ以外の領域を除去する処理を行う。【選択図】  図２
2006331349.tif 000002
【特許請求の範囲】
【請求項１】
被写体Ｏを撮影した画像から被写体Ｏ以外の領域を除去する処理を行う画像処理装置が実行する画像処理方法であって、
被写体Ｏを直交する２方向から撮影した２枚の撮影画像である第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とを入力する初期画像入力ステップと、
第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とから、被写体Ｏに外接する概略形状Ｓを求める概略計算ステップと、
第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２とは別の方向から被写体Ｏを撮影した第３の撮影画像Ｐｎを入力する画像入力ステップと、
第３の撮影画像Ｐｎと概略形状Ｓとから、第３の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求める処理領域計算ステップと、
第３の撮影画像Ｐｎにおける処理領域Ａから、被写体Ｏ以外の領域を除去する背景除去ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記概略計算ステップは、
第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２から被写体Ｏ以外の部分をそれぞれ除去した画像である第１の背景除去画像Ｐｓ１と第２の背景除去画像Ｐｓ２を求める初期背景除去ステップと、
第１の背景除去画像Ｐｓ１及び第２の背景除去画像Ｐｓ２において、被写体Ｏに外接する第１の矩形領域Ｓ１と第２の矩形領域Ｓ２を求める領域計算ステップと、
前記領域計算ステップで求めた第１の矩形領域Ｓ１と第２の矩形領域Ｓ２とから概略形状Ｓを求める概略形状生成ステップと
を有する請求項１に記載の画像処理方法。
【請求項３】
前記概略計算ステップに替えて、
第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２を表示し、ユーザにより指定されたそれらの画像上の被写体領域を入力し、入力された被写体領域から前記概略形状Ｓを求める概略計算ステップを有する請求項１に記載の画像処理方法。
【請求項４】
前記初期画像入力ステップに替えて、それぞれ異なる方向から被写体Ｏを撮影した３枚以上の撮影画像を入力するステップを有し、前記概略計算ステップにおいて、当該３枚以上の撮影画像に基づき概略形状Ｓを求める請求項１ないし３のうちいずれか１項に記載の画像処理方法。
【請求項５】
被写体Ｏを撮影した画像から被写体Ｏ以外の領域を除去する処理を行う画像処理装置であって、
被写体Ｏを直交する２方向から撮影した２枚の撮影画像である第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とを入力する初期画像入力手段と、
第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とから、被写体Ｏに外接する概略形状Ｓを求める概略計算手段と、
第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２とは別の方向から被写体Ｏを撮影した第３の撮影画像Ｐｎを入力する画像入力手段と、
第３の撮影画像Ｐｎと概略形状Ｓとから、第３の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求める処理領域計算手段と、
第３の撮影画像Ｐｎにおける処理領域Ａから、被写体Ｏ以外の領域を除去する背景除去手段と
を有することを特徴とする画像処理装置。
【請求項６】
前記概略計算手段は、
第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２から被写体Ｏ以外の部分をそれぞれ除去した画像である第１の背景除去画像Ｐｓ１と第２の背景除去画像Ｐｓ２を求める初期背景除去手段と、
第１の背景除去画像Ｐｓ１及び第２の背景除去画像Ｐｓ２において、被写体Ｏに外接する第１の矩形領域Ｓ１と第２の矩形領域Ｓ２を求める領域計算手段と、
前記領域計算ステップで求めた第１の矩形領域Ｓ１と第２の矩形領域Ｓ２とから概略形状Ｓを求める概略形状生成手段と
を有する請求項５に記載の画像処理装置。
【請求項７】
前記概略計算手段に替えて、
第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２を表示し、ユーザにより指定されたそれらの画像上の被写体領域を入力し、入力された被写体領域から前記概略形状Ｓを求める概略計算手段を有する請求項５に記載の画像処理装置。
【請求項８】
前記初期画像入力手段に替えて、それぞれ異なる方向から被写体Ｏを撮影した３枚以上の撮影画像を入力する手段を有し、前記概略計算手段において、当該３枚以上の撮影画像に基づき概略形状Ｓを求める請求項５ないし７のうちいずれか１項に記載の画像処理装置。
【請求項９】
被写体Ｏを撮影した画像から被写体Ｏ以外の領域を除去する処理を行う画像処理装置の機能をコンピュータに実現させるためのプログラムであって、コンピュータを、
被写体Ｏを直交する２方向から撮影した２枚の撮影画像である第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とを入力する初期画像入力手段、
第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とから、被写体Ｏに外接する概略形状Ｓを求める概略計算手段、
第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２とは別の方向から被写体Ｏを撮影した第３の撮影画像Ｐｎを入力する画像入力手段、
第３の撮影画像Ｐｎと概略形状Ｓとから、第３の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求める処理領域計算手段、
第３の撮影画像Ｐｎにおける処理領域Ａから、被写体Ｏ以外の領域を除去する背景除去手段、
として機能させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実物から３次元ＣＧ用データを生成するために用いられる技術に関し、特に被写体を撮影した撮影画像から被写体と背景を切り分ける画像処理技術に関するものである。
【背景技術】
【０００２】
近年、インターネットの普及や画像処理能力の向上に伴い、商品等のプレゼンテーションに３次元モデルデータが用いられるようになってきた。例えば３次元モデルデータを商品紹介に用いることにより、顧客は、実際に目の前に商品がなくても、パーソナルコンピュータ等の画面上で、商品を好きな角度及び方向から見ることができる。
【０００３】
商品等の被写体を３次元ＣＧデータとして表現するために、商品の表面を複数のポリゴンで表すジオメトリベースの３次元表現手法が一般に用いられている。しかし、この手法では、被写体の細部を忠実に表現するには膨大な量のポリンゴンが必要であり、そのデータ生成コスト及びデータ量が膨大となる。
【０００４】
そこで、予め被写体をあらゆる方向から写真撮影しておき、ユーザが被写体の見たい方向から撮影した写真を提示して３次元的に見せるイメージベースの表現手法がある。QuickTimeVR等はその代表的なアプリケーションであり、写真を用いているので、被写体をありのままに表示することができる。しかし、この手法で作成したデータを用いて、別の背景画像上に合成する等して仮想空間を構築するためには、撮影した画像から背景を正確に切り出す必要がある。
【０００５】
背景を切り出す一般的な手法の一つに、クロマキー法がある。この手法は、背景をある決められた単色にして撮影して、背景と同じ同色の部分を切り取る手法である。しかしながら、この手法では、撮影環境等により背景に色むらが生じたり、また、被写体に背景色に近い色が使われている場合、うまく切り出しを行うことができないという問題がある。これらの問題を解決するためには、被写体との境界を探索するアルゴリズム等を追加する必要があるが、処理時間が長くなり、被写体の撮影枚数が多い場合、その処理に膨大な時間が必要であるという問題がある。なお、本願に関連する先行技術文献として特許文献１〜３がある。
【特許文献１】特開２００４−４６７７６号公報
【非特許文献１】N. R. Pal and S. K. Pal, "A review on image segmentation techniques," Pattern Recognition, vol. 26, no. 9, pp. 1277-1294, 1993.
【非特許文献２】Y. Deng, B.S. Manjunath, and H. Shin, "Color image segmentation," Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 446-451, 1999.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、被写体の撮影枚数が多い場合、背景除去を行う画像の枚数が多くなり、従来のセグメンテーション手法ではその処理に膨大な時間がかかるという問題がある。
【０００７】
本発明は上記の点に鑑みてなされたものであり、背景除去を行う画像の枚数が多い場合でも短時間で背景除去を行うことを可能した画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題は、被写体Ｏを撮影した画像から被写体Ｏ以外の領域を除去する処理を行う画像処理装置が実行する画像処理方法であって、被写体Ｏを直交する２方向から撮影した２枚の撮影画像である第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とを入力する初期画像入力ステップと、第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２とから、被写体Ｏに外接する概略形状Ｓを求める概略計算ステップと、第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２とは別の方向から被写体Ｏを撮影した第３の撮影画像Ｐｎを入力する画像入力ステップと、第３の撮影画像Ｐｎと概略形状Ｓとから、第３の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求める処理領域計算ステップと、第３の撮影画像Ｐｎにおける処理領域Ａから、被写体Ｏ以外の領域を除去する背景除去ステップとを有することを特徴とする画像処理方法により解決される。
【０００９】
また、前記概略計算ステップは、第１の撮影画像Ｐｏ１及び第２の撮影画像Ｐｏ２から被写体Ｏ以外の部分をそれぞれ除去した画像である第１の背景除去画像Ｐｓ１と第２の背景除去画像Ｐｓ２を求める初期背景除去ステップと、第１の背景除去画像Ｐｓ１及び第２の背景除去画像Ｐｓ２において、被写体Ｏに外接する第１の矩形領域Ｓ１と第２の矩形領域Ｓ２を求める領域計算ステップと、前記領域計算ステップで求めた第１の矩形領域Ｓ１と第２の矩形領域Ｓ２とから概略形状Ｓを求める概略形状生成ステップとを備えて構成することができる。
【００１０】
また、前記画像処理方法において、前記概略計算ステップに替えて、第１の撮影画像Ｐｏ１と第２の撮影画像Ｐｏ２を表示し、ユーザにより指定されたそれらの画像上の被写体領域を入力し、入力された被写体領域から前記概略形状Ｓを求める概略計算ステップを備えてもよい。
【００１１】
また、前記初期画像入力ステップに替えて、それぞれ異なる方向から被写体Ｏを撮影した３枚以上の撮影画像を入力するステップを有し、前記概略計算ステップにおいて、当該３枚以上の撮影画像に基づき概略形状Ｓを求めるようにしてもよい。
【００１２】
また、本発明によれば、上記画像処理方法の実施に適した画像処理装置、当該画像処理装置の機能をコンピュータに実現させるプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００１３】
本発明によれば、概略形状Ｓを用いることにより、任意の撮影画像Ｐｎ上で被写体Ｏが含まれる領域である処理領域Ａを求め、処理領域Ａでのみ被写体Ｏ以外の領域を除去する背景除去処理を実行することとしたので、背景除去処理を画像全体で行う必要がなくなり、１画像あたりの背景除去処理時間を短縮できる。よって、背景除去を行う画像の枚数が多い場合でも短時間で背景除去を行うことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態について説明する。
【００１５】
（システム構成）
図１に本実施の形態におけるシステム構成例を示す。図１に示すように、このシステムは、被写体を撮影するカメラＣと、カメラＣで撮影した画像から被写体O以外の背景を除去する処理を行う画像処理装置１０とを有している。
【００１６】
また、画像処理装置１０は、被写体Ｏの概略形状Ｓを計算する概略計算手段１１、概略形状Ｓを用いて被写体Ｏに対応する処理領域Ａを計算する処理領域計算手段１２、処理領域Ａを用いて被写体Ｏの所望の撮影画像の背景除去を行う背景除去処理手段１３、及び概略形状Ｓのデータ等を格納する格納手段１４を有している。また、概略計算手段１１は、初期背景除去処理手段１１１、最小領域計算手段１１２、及び座標変換手段１１３を有している。
【００１７】
なお、画像処理装置１０は、CPU、記憶装置等を備えた一般的なコンピュータに、本実施の形態で説明する処理を実行するプログラムを搭載することにより実現できる。また、当該プログラムは、メモリ等の記録媒体に格納して配布することもできるし、ネットワークを介して配布することもできる。
【００１８】
（処理の概要）
次に、画像処理装置１０の処理動作の概要を図２に示すフローチャートを参照して説明する。
【００１９】
まず、被写体Ｏを正面及び真上から撮影して得た２枚の画像Ｐｏ１、Ｐｏ２を画像処理装置１０に入力し、画像処理装置１０は、これらの画像を用いて被写体の概略形状Ｓを求め、概略形状Ｓのデータを保持する（ステップ１：概略計算ステップ）。
【００２０】
そして、所望の方向から被写体Oを撮影した画像Ｐｎを画像処理装置１０に入力し、画像処理装置１０は、画像Ｐｎ上に概略形状Ｓを透視投影し、概略形状Ｓが写し込まれた領域である被写体の処理領域Ａを求め、処理領域Ａのデータを保持する（ステップ２：処理領域計算ステップ）。
【００２１】
続いて、画像Ｐｎから処理領域Ａでない部分を全て背景とみなし、処理領域内のみクロマキー法等の背景除去アルゴリズムを用いて背景除去を行い、被写体領域を抽出する（ステップ３：背景除去処理ステップ）。
【００２２】
複数の方向から撮影した複数枚の画像から被写体領域を抽出する場合には、ステップ１で求めた概略形状Sを用いて、複数の方向から撮影した画像毎にステップ２と３の処理を実行すればよい。
【００２３】
上記の方法では、一度概略形状を求めておけば、任意の方向から撮影した画像における被写体が存在する領域を絞り込むことができるので、背景除去のための処理を画面全体で行う必要がなくなり、１画像あたりの背景除去処理時間を短縮できる。従って、背景除去を行う画像枚数が多い場合に膨大な処理時間がかかるという従来の問題を解決できる。
【００２４】
（処理の詳細）
次に、図３を参照してステップ１（概略計算ステップ）の処理をより詳細に説明する。ここではカメラを２台用い、被写体Ｏの正面のカメラをＣ１、真上のカメラをＣ２とする。また、被写体ＯとカメラＣ１との距離をｄ１、被写体ＯとカメラＣ２との距離をｄ２とし、カメラＣ１により撮影した画像をＰｏ１、カメラＣ２で撮影した画像をＰｏ２とする。なお、１台のカメラを用い、被写体の向き等を変えることにより画像Ｐｏ１、Ｐｏ２を取得してもよい。
【００２５】
そして、これらの画像から被写体以外の部分を除去した背景除去画像Ｐｓ１、Ｐｓ２を求める（ステップ１１）。ここでの背景除去の方法としては、例えば、クロマキー手法、背景を変えて撮影した複数枚の画像から背景を除去する手法（特許文献１等）、被写体の境界を色彩等の情報で求める手法（特許文献２、３等）等を用いることができる。なお、背景を変えて撮影した複数枚の画像を用いる場合には、背景除去画像Ｐｓ１、Ｐｓ２のそれぞれについて、背景を変えて撮影した複数枚の画像を用いる。
【００２６】
次に、背景除去画像Ｐｓ１、Ｐｓ２のそれぞれから、撮影した画像の被写体部分を囲む最小の長方形の領域Ｓ１、Ｓ２を求める最小領域計算処理を行う（ステップ１２）。例えば、長方形の上辺を求める場合は、画像の一番上の１ライン上に被写体があるかどうか調べ、無ければラインを１ピクセル下げて被写体の有無を調べ、被写体が見つかるまでラインを下げる。同様の処理を、右辺、左辺、下辺で行うことで、被写体を囲む最小の領域を求めることができる。矩形領域Ｓ１の４頂点をV11〜14とし、矩形領域Ｓ２の４頂点をV21〜24とする。
【００２７】
続いて、座標変換処理を行う（ステップ１３）。まず、上記背景除去画像Ｐｓ１、Ｐｓ２の矩形領域Ｓ１、Ｓ２から、矩形領域Ｓ１、Ｓ２それぞれの４頂点V11〜14、V21〜24のピクセル座標（画面上の座標）を求める。V11〜14のピクセル座標をVp11=(xp11, yp11), Vp12=(xp12, yp11), Vp13=(xp12, yp12), Vp14=(xp11, yp12)とし、V21〜24のピクセル座標をVp21=(xp21, yp21), Vp22=(xp22, yp21), Vp23=(xp22, yp22), Vp24=(xp21, yp22)とする。
【００２８】
次に、矩形領域Ｓ１の４頂点V11〜14をカメラＣ１のカメラ座標系の座標値に変換する。このとき、矩形領域Ｓ１の４頂点V11〜14は、カメラＣ１から距離ｄ１離れた位置（被写体が存在する位置）のスクリーンに投影したものとする（図３の概略形状Ｓにおける矩形Vo11〜14を参照）。
【００２９】
頂点V11〜14のカメラ座標系の座標値は、Vc11=(xc11, yc11, -d1), Vc12=(xc12, yc11, -d1), Vc13=(xc12, yc12, -d1), Vc14=(xc11, yc12, -d1)で表される。
【００３０】
更に、被写体Ｏの中心を原点とし、オブジェクトからカメラＣ１への方向をＺ軸、カメラＣ１のＸ軸をＸ軸、カメラＣ１のＹ軸をＹ軸とするオブジェクト座標系に変換すると、変換後の４頂点V11〜14の座標は、Vo11=(xc11, yc11, 0), Vo12=(xc12, yc11, 0), Vo13=(xc12, yc12, 0), Vo14=(xc11, yc12, 0)となる。
【００３１】
矩形領域Ｓ１と同様に、矩形領域Ｓ２の４頂点V21〜24をカメラＣ２のカメラ座標系の座標値に変換すると、Vc21=(xc21, yc21, -d2), Vc22=(xc22, yc21, -d2), Vc23=(xc22, yc22, -d2), Vc24=(xc21, yc22, -d2)で表される。また、これらの座標を上記のオブジェクト座標系に変換すると、Vo21=(xc21, 0, -yc21), Vo22=(xc22, 0, -yc21), Vo23=(xc22, 0, -yc22), Vo24=(xc21, 0, -yc22)となる。これより、図３に示す概略形状Ｓのオブジェクト座標系の８頂点の座標Vs1〜Vs8として、Vs1=(xc11, yc11, -yc21), Vs2=(xc12, yc11, -yc21), Vs3=(xc12, yc12, -yc21), Vs4=(xc11, yc12, -yc21), Vs5=(xc11, yc11, -yc22), Vs6=(xc12, yc11, -yc22), Vs7=(xc12, yc12, -yc22), Vs8=(xc11, yc12, -yc22)を求める。
【００３２】
なお、被写体Ｏの撮影画像Ｐｏ１、Ｐｏ２を操作者に提示して、矩形領域Ｓ１、Ｓ２の４辺をグラフィカルユーザインタフェースにより手動で指定することにより矩形領域Ｓ１、Ｓ２を決定して、概略形状Ｓを求めてもよい。この場合、画像処理装置１０は、被写体Ｏの撮影画像Ｐｏ１、Ｐｏ２を操作者に提示する手段と、操作者からの入力を受けるグラフィカルユーザインタフェース、操作者により指定された矩形領域Ｓ１、Ｓ２の頂点から概略形状Ｓを計算する手段を有する。
【００３３】
また、概略形状Ｓを求めるための２枚の画像の撮影方向は、正面と真上からの撮影方向の組み合わせだけでなく、正面と右側等、他の直交する２つの撮影方向から撮影した画像で概略形状Ｓを求めてもよい。
【００３４】
更に、２枚だけでなく更に他の方向から撮影した画像を用いることにより、より正確な概略形状Ｓを求めることができ、計算領域をより少なくすることができる。また、３枚以上の撮影画像を用いて概略形状Ｓを求める場合は、必ずしも撮影方向が互いに直交している必要はない。
【００３５】
次に、図４を参照して図２のステップ２（処理領域計算ステップ）の処理について説明する。
【００３６】
まず、概略形状Ｓを画像Ｐｎに投影する（ステップ２１）。すなわち、図３に示すような被写体Ｏを囲む位置にある概略形状Ｓを、画像Ｐｎを撮影したときと同じ方向から撮影した場合に得られる概略形状Ｓの画像と画像Ｐｎとが重ね合わされた画像を得る。続いて、概略形状の部分（外側の枠で囲まれた部分）を処理領域Ａとして抽出する（ステップ２２）。
【００３７】
図２のステップ３（背景除去処理ステップ）では、クロマキー手法や、背景を変えて撮影した複数枚の画像から背景を除去する手法等により背景除去処理を行う。例えば特許文献１に記載された背景除去手法を用いる場合、概略形状Ｓを求めた後に、複数枚の画像のそれぞれについて処理領域を求め、その処理領域内で透明度画像等を求める処理を行う。本実施の形態の手法を用いることにより、画像全体でなく処理領域内でのみ透明度画像等を求める処理を行えばよいので、処理すべき画素数が大幅に削減され、処理速度が向上する。
【００３８】
本実施の形態で説明した手法を用いることにより、被写体をあらゆる方向から撮影して仮想空間上に表示する３次元ＣＧデータを作成する場合のように被写体の撮影枚数が多くても短時間で背景除去を行うことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態におけるシステム構成図である。
【図２】本発明の実施の形態における画像処理装置の処理動作の概要を示すフローチャートである。
【図３】概略計算ステップの処理を説明するための図である。
【図４】処理領域計算ステップの処理を説明するための図である。
【符号の説明】
【００４０】
Ｃ  カメラ
Ｏ  被写体
１０  画像処理装置
１１  概略計算手段
１２  処理領域計算手段
１３  背景除去処理手段
１４  格納手段
【図１】
2006331349.tif 000003
【図２】
2006331349.tif 000004
【図３】
2006331349.tif 000005
【図４】
2006331349.tif 000006