(57)【要約】【課題】合成画像を観賞した際に、違和感を感じさせない合成画像を作成する。【解決手段】本発明に係る画像処理システムは、撮像部と、合焦距離制御部と、撮像画像を取得する撮像画像取得部と、測定画像を取得する測定画像取得部と、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、複数の位置ごとの距離を、撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、作成したオブジェクト画像を画像配置位置に合成する合成画像作成部とを備える。【選択図】図１
2007172271.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御部と、
前記合焦距離制御部が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得部と、
前記合焦距離制御部が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、
前記撮像画像取得部または前記測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
前記距離特定部が特定した複数の位置ごとの距離を、前記撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、
前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出部と、
前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
前記オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部と
を備える画像処理システム。
【請求項２】
前記撮像画像取得部が撮像画像を取得した場合、および前記測定画像取得部が測定画像を取得した場合の、前記撮像部の画角をそれぞれ取得する画角取得部を更に備え、
前記オブジェクト画像作成部は、前記距離抽出部が抽出した距離および前記画角取得部が取得した画角に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成する
請求項１に記載の画像処理システム。
【請求項３】
オブジェクトの実サイズを示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部を更に備え、
前記オブジェクト画像作成部は、
前記距離抽出部が抽出した距離に対応する実際の位置にオブジェクトが存在するとした場合に、前記テンプレート画像格納部が格納しているオブジェクトの実サイズを示す情報および前記画角取得部が取得した画角から、撮像画像における当該オブジェクトの大きさを算出するオブジェクトサイズ算出部を有し、
前記オブジェクトサイズ算出部が算出した当該オブジェクトの大きさにテンプレート画像の大きさを調整してオブジェクト画像を作成する
請求項２に記載の画像処理システム。
【請求項４】
前記距離特定部は、
撮像画像または測定画像のそれぞれの空間周波数分布を算出する空間周波数分布算出部と、
撮像画像または測定画像が撮像されたときに前記合焦距離制御部が設定していた合焦距離と、前記空間周波数分布算出部が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応づけて前記画像格納部に格納させる距離対応付部とを有する
請求項１に記載の画像処理システム。
【請求項５】
前記空間周波数分布算出部は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出し、
前記距離対応付部は、撮像画像または測定画像が撮像されたときに前記合焦距離制御部が設定していた合焦距離を、前記空間周波数分布算出部が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけて前記画像格納部に格納させる
請求項４に記載の画像処理システム。
【請求項６】
オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、
前記撮像部の撮像方向と水平面とがなす角度を示す情報を取得する角度情報取得部と、
前記角度情報取得部が取得した角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部と
を更に備え、
前記合成画像作成部は、前記テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成する
請求項１に記載の画像処理システム。
【請求項７】
前記テンプレート画像格納部は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を更に格納し、
前記テンプレート画像抽出部は、前記角度情報取得部が取得した角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出する
請求項６に記載の画像処理システム。
【請求項８】
撮像画像から予め定められたオブジェクトを抽出するオブジェクト抽出部と、
複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納しているマッチング画像格納部と、
前記マッチング画像格納部が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する面方向取得部と、
オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、
前記面方向取得部が取得したオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部と
を更に備え、
前記合成画像作成部は、前記テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成する
請求項１に記載の画像処理システム。
【請求項９】
撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御段階と、
前記合焦距離制御段階が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得段階と、
前記合焦距離制御段階が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得段階と、
前記撮像画像取得段階または前記測定画像取得段階が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、
前記距離特定段階が特定した複数の位置ごとの距離を、前記撮像画像取得段階が取得した撮像画像および撮像画像内の位置に対応づけて画像格納部に格納する画像格納段階と、
前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、
前記合成位置取得段階が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出段階と、
前記距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、
前記オブジェクト画像作成段階が作成したオブジェクト画像を、撮像画像の前記合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階
を備える画像処理方法。
【請求項１０】
撮像画像を処理する画像処理システム用の画像処理プログラムであって、前記画像処理システムを、
撮像部と、
前記撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御部と、
前記合焦距離制御部が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得部と、
前記合焦距離制御部が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、
前記撮像画像取得部または前記測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
前記距離特定部が特定した複数の位置ごとの距離を、前記撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、
前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出部と、
前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
前記オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部
として機能させる画像処理プログラム。
【請求項１１】
撮像装置が撮像した撮像画像を処理する画像処理装置であって、
撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定部が特定した距離から抽出する距離抽出部と、
前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
前記オブジェクト画像作成部が作成したオブジェクト画像を、前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部と
を備える画像処理装置。
【請求項１２】
撮像装置が撮像した撮像画像を処理する画像処理方法であって、
前記撮像画像の内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、
前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、
前記合成位置取得段階が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定段階が特定した距離から抽出する距離抽出段階と、
前記距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、
前記オブジェクト画像作成段階が作成したオブジェクト画像を、前記合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階
を備える画像処理方法。
【請求項１３】
撮像装置が撮像した撮像画像を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
前記撮像画像の内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定部が特定した距離から抽出する距離抽出部と、
前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
前記オブジェクト画像作成部が作成したオブジェクト画像を、前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部
として機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、オブジェクトのテンプレート画像を背景となる画像に合成する画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
撮像画像に含まれる複数の被写体の前後関係を保ちながら、画像を合成する画像入力装置および画像合成方法について提案されている（例えば、特許文献１参照）。特許文献１に係る発明においては、撮像画像から被写体の画素領域を抽出して、撮像画像中の複数の被写体ごとに、撮像部から被写体までの距離を計測および算出する。そして、算出した撮像部から被写体までの距離を被写体の画素データに奥行きデータとして付帯させることにより、複数の被写体を含む画像を合成する場合において、複数の被写体の前後関係を保った画像を出力する。
【特許文献１】特許３１９３９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の被写体の奥行きデータに基づいて被写体を背景に配置する特許文献１に記載の発明においては、複数の被写体の奥行きデータは固定されているので、複数の被写体を合成した画像においては、複数の被写体の位置関係は固定されている。したがって、複数の被写体を合成して画像を生成させる場合の合成画像のバリエーションは狭いものとなる場合があり、ユーザが所望する合成画像を作成することができない場合がある。また、例えば、ユーザが被写体を背景中の所望の位置に配置した画像の合成を所望した場合には、被写体を配置する場所によっては、被写体が背景の地面から浮いているように見えたり、被写体が背景の地面等にめり込んでいるように見える画像が合成され得る。係る合成画像は、当該合成画像を観賞したユーザに、著しい違和感を感じさせる。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理システムであって、撮像部と、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御部と、合焦距離制御部が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得部と、合焦距離制御部が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、撮像画像取得部または測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、距離特定部が特定した複数の位置ごとの距離を、撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部とを備える。
【０００６】
また、撮像画像取得部が撮像画像を取得した場合、および測定画像取得部が測定画像を取得した場合の、撮像部の画角をそれぞれ取得する画角取得部を更に備え、オブジェクト画像作成部は、距離抽出部が抽出した距離および画角取得部が取得した画角に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。そして、オブジェクトの実サイズを示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部を更に備え、オブジェクト画像作成部は、距離抽出部が抽出した距離に対応する実際の位置にオブジェクトが存在するとした場合に、テンプレート画像格納部が格納しているオブジェクトの実サイズを示す情報および画角取得部が取得した画角から、撮像画像における当該オブジェクトの大きさを算出するオブジェクトサイズ算出部を有し、オブジェクトサイズ算出部が算出した当該オブジェクトの大きさにテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。
【０００７】
更に、距離特定部は、撮像画像または測定画像のそれぞれの空間周波数分布を算出する空間周波数分布算出部と、撮像画像または測定画像が撮像されたときに合焦距離制御部が設定していた合焦距離と、空間周波数分布算出部が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応づけて画像格納部に格納させる距離対応付部とを有していてもよく、空間周波数分布算出部は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出し、距離対応付部は、撮像画像または測定画像が撮像されたときに合焦距離制御部が設定していた合焦距離を、空間周波数分布算出部が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけて画像格納部に格納させてもよい。
【０００８】
そして、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、撮像部の撮像方向と水平面とがなす角度を示す情報を取得する角度情報取得部と、角度情報取得部が取得した角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部とを更に備え、合成画像作成部は、テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成してもよい。また、テンプレート画像格納部は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を更に格納し、テンプレート画像抽出部は、角度情報取得部が取得した角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出してもよい。
【０００９】
また、撮像画像から予め定められたオブジェクトを抽出するオブジェクト抽出部と、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納しているマッチング画像格納部と、マッチング画像格納部が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する面方向取得部と、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、面方向取得部が取得したオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部とを更に備え、合成画像作成部は、テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成してもよい。
【００１０】
また、本発明の第２の形態においては、画像処理方法であって、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御段階と、合焦距離制御段階が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得段階と、合焦距離制御段階が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得段階と、撮像画像取得段階または測定画像取得段階が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、距離特定段階が特定した複数の位置ごとの距離を、撮像画像取得段階が取得した撮像画像および撮像画像内の位置に対応づけて画像格納部に格納する画像格納段階と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、合成位置取得段階が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出段階と、距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、オブジェクト画像作成段階が作成したオブジェクト画像を、撮像画像の合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階を備える。
【００１１】
また、本発明の第３の形態においては、撮像画像を処理する画像処理システム用の画像処理プログラムであって、画像処理システムを、撮像部と、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御部と、合焦距離制御部が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得部と、合焦距離制御部が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、撮像画像取得部または測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、距離特定部が特定した複数の位置ごとの距離を、撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部として機能させる。
【００１２】
また、本発明の第４の形態においては、撮像装置が撮像した撮像画像を処理する画像処理装置であって、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定部が特定した距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部とを備える。
【００１３】
また、本発明の第５の形態においては、撮像装置が撮像した撮像画像を処理する画像処理方法であって、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、合成位置取得段階が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定段階が特定した距離から抽出する距離抽出段階と、距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、オブジェクト画像作成段階が作成したオブジェクト画像を、合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階を備える。
【００１４】
また、本発明の第６の形態においては、撮像装置が撮像した撮像画像を処理する画像処理装置用のプログラムであって、画像処理装置を、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定部が特定した距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部として機能させる。
【００１５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１６】
本発明によれば、撮像部から背景となる撮像画像内における複数の位置までの距離を、撮像画像内の位置に対応づける。そして、ユーザがオブジェクトのテンプレート画像の配置を所望する撮像画像内の位置を選択すると、選択された位置の撮像部からの実際の距離と当該撮像画像が撮像されたときにおける撮像部の画角の情報から、当該位置にオブジェクトが存在した場合のオブジェクトの大きさが算出される。そして、算出された大きさにオブジェクトのテンプレート画像の大きさを調整して撮像画像に合成するので、ユーザが合成画像を鑑賞した場合に、合成画像内のオブジェクトが浮いて見える等の違和感を感じさせない合成画像を作成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１８】
図１は、本実施形態に係る画像処理システム１０の機能構成の一例を示す。画像処理システム１０は、撮像部１００、合焦距離制御部１０２、画像格納部１０４、画像選択部１０６、画像取得部１１０、距離特定部１２０、合成位置取得部１３０、距離抽出部１４０、オブジェクト画像作成部１５０、合成画像作成部１６０、画像出力部１６５、テンプレート画像格納部１７０、テンプレート画像抽出部１７２、面方向特定ユニット１８０、画角取得部１９０、および角度情報取得部１９２を備える。また、画像取得部１１０は、撮像画像取得部１１２および測定画像取得部１１４を有する。また、距離特定部１２０は、空間周波数分布算出部１２２および距離対応付部１２４を有する。そして、オブジェクト画像作成部１５０は、オブジェクトサイズ算出部１５２を有する。更に、面方向特定ユニット１８０は、オブジェクト抽出部１８２、マッチング画像格納部１８４、および面方向取得部１８６を有する。
【００１９】
本実施形態に係る画像処理システム１０は、撮像部１００から背景となる撮像画像内の複数の位置までの距離を、撮像画像内の位置に対応づける。そして、ユーザがオブジェクトのテンプレート画像の配置を所望する撮像画像内の位置を選択すると、選択された位置の撮像部１００からの実際の距離と当該撮像画像が撮像されたときの撮像部１００の画角の情報から、当該位置にオブジェクトが存在した場合におけるオブジェクトの大きさが算出される。そして、算出された大きさにオブジェクトのテンプレート画像の大きさを調整して撮像画像に合成することにより、ユーザが合成画像を鑑賞した場合に、合成画像内のオブジェクトが浮いて見える等の違和感を感じさせない合成画像を作成することを目的とする。
【００２０】
撮像部１００は、画像を撮像する。撮像部１００は、レンズおよび受光デバイスを有する。更に、受光デバイスは複数の受光素子を含んでいてよい。撮像部１００は、撮像部１００に入射する光を、レンズを通して受光デバイスに入射させる。そして、受光デバイスは、複数の受光素子において光を受光して、撮像領域の撮像画像を取得する。なお、撮像部１００が有する受光デバイスは、複数のＣＣＤセンサを含んだデバイスであってよい。また、撮像部１００が有する受光デバイスは、複数のＣＭＯＳセンサを含んでいてもよく、撮像部１００は、複数のＣＭＯＳセンサによって撮像領域の撮像画像を取得してもよい。受光デバイスは、取得された撮像画像を画像取得部１１０に供給する。
【００２１】
また、撮像部１００は、撮像部１００の撮像方向と水平面とがなす角度を計測する角度計測部を有していてもよい。角度計測部は、例えば、ジャイロセンサであってよい。撮像部１００は、画像を撮像したときの、撮像部１００の撮像方向と水平面とがなす角度を示す情報を、角度情報取得部１９２に供給する。また、撮像部１００は、画像を撮像したときの画角の情報を、画角取得部１９０に供給する。合焦距離制御部１０２は、撮像部１００の撮像範囲を変化させずに、撮像部１００の合焦距離を変化させる。ここで、撮像範囲とは、ユーザが撮像を所望する構図の撮像画像を撮像部１００が撮像するときに、ユーザが設定する撮像領域であってよい。合焦距離制御部１０２は、ユーザが設定した撮像領域と同一の撮像範囲において、撮像部１００の合焦距離を変化させる。なお、合焦距離制御部１０２は、オートフォーカス機能を有していてよい。
【００２２】
画像取得部１１０は、撮像部１００が撮像した画像を取得する。そして、画像取得部１１０は、合焦距離制御部１０２が撮像部１００を一の合焦距離に制御した場合に、撮像部１００が撮像した撮像画像を取得する撮像画像取得部１１２を有する。撮像画像取得部１１２は、ユーザが所望する撮像画像を撮像することを目的として、ユーザが決定した合焦距離において撮像部１００が撮像した撮像画像を取得してよい。そして、撮像画像取得部１１２は、撮像画像を、当該撮像画像が撮像されたときに合焦距離制御部１０２が設定していた合焦距離を撮像画像に対応づけて、撮像画像を取得する。また、撮像画像取得部１１２は、合焦距離制御部１０２が自動的に設定した合焦距離において撮像部１００が撮像した撮像画像を取得してもよい。
【００２３】
更に、画像取得部１１０は、合焦距離制御部１０２が撮像部１００を撮像画像取得部１１２が撮像画像を取得したときの当該一の合焦距離とは異なる他の合焦距離に制御した場合に撮像部１００が撮像した測定画像を、少なくとも一つ取得する測定画像取得部１１４を有する。測定画像取得部１１４は、撮像画像取得部１１２が撮像画像を取得したときの撮像範囲と同一の撮像範囲において、当該撮像画像が撮像されたときの合焦距離とは異なる複数の合焦距離において撮像された複数の測定画像を取得する。そして、測定画像取得部１１４は、測定画像を、当該測定画像が撮像されたときに合焦距離制御部１０２が設定していた合焦距離を測定画像に対応づけて取得する。また、撮像画像取得部１１２および測定画像取得部１１４は、撮像部１００の画角を一定に保った状態で撮像部１００が撮像した、撮像画像および測定画像を取得してもよい。
【００２４】
画像取得部１１０は、撮像画像取得部１１２および測定画像取得部１１４において、一回のユーザの撮像動作で、撮像画像および測定画像の双方を取得する。撮像画像取得部１１２および測定画像取得部１１４は、取得した撮像画像および測定画像を画像格納部１０４に供給する。また、撮像画像取得部１１２および測定画像取得部１１４は、合焦距離ごとに取得した撮像画像および測定画像を、それぞれの合焦距離と共にそれぞれ距離特定部１２０に供給する。なお、撮像画像取得部１１２および測定画像取得部１１４は、撮像画像および測定画像に撮像画像情報を付帯してよい。そして、撮像画像取得部１１２および測定画像取得部１１４は、撮像画像情報を付帯した撮像画像および測定画像を、画像格納部１０４に供給してよい。撮像画像情報は、撮像画像が撮像されたときの合焦距離、画角、焦点距離、撮像部１００の撮像方向と水平面とがなす角度を示す情報の他に、撮像日時、撮像場所、明度、彩度、撮像モード、光源方向および光源の種類等の光源情報、および撮像部１００を備える撮像装置の特性（レンズ種、焦点距離および画角等）等の情報であってよい。
【００２５】
画角取得部１９０は、撮像画像取得部１１２が撮像画像を取得した場合の撮像部１００の画角を撮像部１００から取得する。画角取得部１９０は、取得した画角をオブジェクト画像作成部１５０に供給する。角度情報取得部１９２は、撮像部１００の撮像方向と水平面とがなす角度を示す情報を撮像部１００から受け取る。角度情報取得部１９２は、角度を示す情報をテンプレート画像抽出部１７２に供給する。
【００２６】
距離特定部１２０は、撮像画像取得部１１２または測定画像取得部１１４が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析する。そして、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部１００から撮像範囲内の複数の位置までの距離をそれぞれ特定する。距離特定部１２０は、空間周波数分布算出部１２２および距離対応付部１２４を有していてよい。空間周波数分布算出部１２２は、撮像画像または測定画像をそれぞれ解析して、それぞれの空間周波数分布を算出する。空間周波数分布算出部１２２は、算出した空間周波数の分布の情報を、距離対応付部１２４に供給する。また、空間周波数分布算出部１２２は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出してよい。
【００２７】
例えば、空間周波数分布算出部１２２は、撮像画像および測定画像の、長手方向または短手方向に沿って、空間周波数分布をそれぞれ算出してよい。なお、撮像画像または測定画像の形状は四角形に限られず、略多角形（略三角形、略五角形、略六角形、および略八角形等）であってもよい。また、空間周波数分布算出部１２２は、撮像画像および測定画像を複数の部分領域に分割して、撮像画像および測定画像の複数の部分領域ごとに、当該複数の部分領域のそれぞれの辺と略平行な方向に沿って、当該複数の部分領域のそれぞれについて複数の空間周波数分布を算出してよい。そして、空間周波数分布算出部１２２は、撮像画像および測定画像に、撮像画像および測定画像の複数の部分領域のそれぞれについて算出した複数の空間周波数分布をそれぞれ対応づけて距離対応付部１２４に供給してもよい。
【００２８】
距離対応付部１２４は、撮像画像または測定画像が撮像されたときに合焦距離制御部１０２が設定していた合焦距離と、空間周波数分布算出部１２２が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応付ける。また、距離対応付部１２４は、撮像画像または測定画像が撮像されたときに合焦距離制御部１０２が設定していた合焦距離を、空間周波数分布算出部１２２が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけてよい。また、距離対応付部１２４が空間周波数分布算出部１２２から、撮像画像または測定画像の複数の部分領域ごとに算出した複数の空間周波数分布を受け取った場合には、撮像画像または測定画像ごとに、複数の部分領域ごとに算出した複数の空間周波数のレベルを加算してよい。そして、距離対応付部１２４は、加算した空間周波数のレベルが最大を示す位置を、当該撮像画像または当該測定画像が撮像されたときに合焦距離制御部１０２が設定していた合焦距離に対応づけてよい。距離対応付部１２４は、撮像画像中の複数の位置に合焦距離を対応づけた撮像画像を、画像格納部１０４に供給する。
【００２９】
画像格納部１０４は、距離特定部１２０から受け取った、距離特定部１２０が特定した複数の位置ごとの距離を、撮像画像取得部１１２が取得した撮像画像および撮像画像内の位置に対応づけて格納する。また、画像格納部１０４は、撮像画像が撮像されたときに、同一の撮像範囲で撮像された少なくとも一つの測定画像を、撮像画像に対応づけて格納してよい。更に、画像格納部１０４は、撮像画像に対応づけて、当該撮像画像が撮像されたときの撮像画像情報を格納してもよい。なお、画像格納部１０４は、撮像画像および測定画像のそれぞれを一意に識別できる識別子に対応づけて格納してよい。画像格納部１０４は、画像選択部１０６の制御に基づいて、撮像画像または測定画像を画像選択部１０６に供給する。また、画像格納部１０４は、オブジェクト画像作成部１５０の制御に基づいて、撮像画像情報をオブジェクト画像作成部１５０に供給してもよい。更に、画像格納部１０４は、距離抽出部１４０の制御に基づいて、撮像画像内の位置に対応づけて格納している複数の位置ごとの距離を距離抽出部１４０に供給する。
【００３０】
画像選択部１０６は、画像格納部１０４が格納している撮像画像の中から、ユーザが所望する撮像画像を選択する。画像選択部１０６は、ユーザからの指示を受け取って画像格納部１０４から撮像画像を選択してよい。例えば、画像処理システム１０は、画像格納部１０４が格納している撮像画像を表示する表示部を備えていてよい。そして、画像選択部１０６は、表示部に表示された少なくとも一つの撮像画像から、ユーザに所望の撮像画像を選択させてよい。画像選択部１０６は、選択された撮像画像を、合成画像作成部１６０および面方向特定ユニット１８０に供給する。また、画像選択部１０６は、合成位置取得部１３０の制御に基づいて、撮像画像内の位置に関する情報を、合成位置取得部１３０に供給する。更に、画像選択部１０６は、選択した撮像画像を識別する情報を距離抽出部１４０に供給してよい。
【００３１】
合成位置取得部１３０は、画像格納部１０４から画像選択部１０６が選択した撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する。合成位置取得部１３０は、ユーザからの入力を受け取ることにより、画像配置位置を取得してよい。例えば、合成位置取得部１３０は、画像選択部１０６において選択された撮像画像を表示部に表示して、ユーザに画像配置位置を選択させることにより画像配置位置を取得してよい。合成位置取得部１３０は、取得した画像配置位置を距離抽出部１４０および合成画像作成部１６０に供給する。距離抽出部１４０は、合成位置取得部１３０から受け取った画像配置位置に対応する実際の位置と撮像部１００との実際の距離を、画像選択部１０６から受け取った撮像画像を識別する情報に対応づけて画像格納部１０４が格納している距離から抽出する。距離抽出部１４０は抽出した距離を、オブジェクト画像作成部１５０に供給する。
【００３２】
面方向特定ユニット１８０は、画像選択部１０６が選択した撮像画像内に含まれるオブジェクトから求められる、オブジェクトが接する面の方向を示す情報を特定する。面方向特定ユニット１８０が有するマッチング画像格納部１８４は、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納している。具体的には、マッチング画像格納部１８４は、オブジェクトを複数の異なる方向から観察した場合のテンプレート画像を、当該オブジェクトが接する面の方向を示す情報にそれぞれ対応づけて格納してよい。より具体的には、マッチング画像格納部１８４が格納している方向を示す情報は、オブジェクトが接する面の法線方向および当該法線方向の垂直方向等であってよい。なお、マッチング画像格納部１８４は、オブジェクトの３Ｄ画像情報を格納していてもよい。マッチング画像格納部１８４は、オブジェクト抽出部１８２および面方向取得部１８６に、複数の方向の面にそれぞれ接するオブジェクトのテンプレート画像を供給する。
【００３３】
面方向特定ユニット１８０が有するオブジェクト抽出部１８２は、画像選択部１０６から受け取った撮像画像から予め定められたオブジェクトを抽出する。具体的には、オブジェクト抽出部１８２は、マッチング画像格納部１８４が格納しているオブジェクトのテンプレート画像を受け取って、当該テンプレート画像を撮像画像に含まれるオブジェクトと順次マッチングしてオブジェクトを抽出してよい。また、オブジェクト抽出部１８２は、マッチング画像格納部１８４がオブジェクトの３Ｄ画像情報を格納している場合には、オブジェクトの３Ｄ画像を用いて、撮像画像内に含まれるオブジェクトとマッチングしてもよい。そして、オブジェクト抽出部１８２は、撮像画像に含まれるオブジェクトとマッチング画像格納部１８４が格納しているテンプレート画像とをマッチングして、マッチするテンプレート画像を検出した場合には、その旨を示す情報を面方向取得部１８６に供給する。
【００３４】
面方向特定ユニット１８０が有する面方向取得部１８６は、マッチング画像格納部１８４が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する。具体的には、面方向取得部１８６は、オブジェクト抽出部１８２から、撮像画像に含まれるオブジェクトとマッチするテンプレート画像を検出した旨を示す情報を受け取った場合に、マッチング画像格納部１８４が当該テンプレート画像に対応づけて格納している方向を示す情報を取得する。面方向取得部１８６は、取得した方向を示す情報を、テンプレート画像抽出部１７２に供給する。
【００３５】
テンプレート画像格納部１７０は、オブジェクトの実サイズに対応づけてオブジェクトのテンプレート画像を格納している。また、テンプレート画像格納部１７０は、オブジェクトが撮像された画像である場合には、当該オブジェクトが画像内で示すサイズおよび当該オブジェクトが撮像されたときの撮像距離に対応づけてオブジェクトのテンプレート画像を格納してもよい。更に、テンプレート画像格納部１７０は、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納する。そして、テンプレート画像格納部１７０は、オブジェクトが人物のオブジェクトである場合には、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を格納する。なお、鉛直方向とは、重力方向であってよい。更に、オブジェクトのテンプレート画像は、撮像されたオブジェクトの画像、撮像されたオブジェクトの画像に対して画像処理を施した画像、およびユーザにより作成されたオブジェクトの画像等であってよい。テンプレート画像格納部１７０は、テンプレート画像抽出部１７２の制御に基づいて、オブジェクトのテンプレート画像をテンプレート画像抽出部１７２に供給する。また、テンプレート画像格納部１７０は、オブジェクト画像作成部１５０の制御に基づいて、オブジェクトのテンプレート画像および当該オブジェクトの実サイズを示す情報をオブジェクト画像作成部１５０に供給してよい。
【００３６】
テンプレート画像抽出部１７２は、角度情報取得部１９２から受け取った角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０が格納しているテンプレート画像を抽出する。具体的には、テンプレート画像抽出部１７２は、撮像画像が撮像されたときの撮像部１００が水平面に対して示す角度を示す情報を、ジャイロセンサ等の角度を測定するセンサが計測した角度を示す情報から算出する。そして、テンプレート画像抽出部１７２は、算出した角度を示す情報を用いて、当該撮像画面の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０が格納しているテンプレート画像を抽出してよい。また、テンプレート画像抽出部１７２は、角度情報取得部１９２から受け取った角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけてテンプレート画像格納部１７０が格納しているテンプレート画像を抽出してもよい。更に、テンプレート画像抽出部１７２は、面方向取得部１８６から受け取ったオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０が格納しているテンプレート画像を抽出してもよい。テンプレート画像抽出部１７２は、抽出したテンプレート画像をオブジェクト画像作成部１５０および合成画像作成部１６０に供給する。
【００３７】
オブジェクト画像作成部１５０は、距離抽出部１４０から受け取った距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成する。オブジェクト画像作成部１５０は、距離抽出部１４０から受け取った距離および画角取得部１９０から受け取った画角に応じてテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。また、オブジェクト画像作成部１５０が有するオブジェクトサイズ算出部１５２は、距離抽出部１４０から受け取った距離に対応する実際の位置にオブジェクトが存在するとした場合に、テンプレート画像格納部１７０から受け取ったオブジェクトの実サイズを示す情報および画角取得部１９０から受け取った画角から、撮像画像における当該オブジェクトの大きさを算出する。具体的には、ユーザが選択したオブジェクトを画像選択部１０６において選択された撮像画像中の画像配置位置に配置する場合に、オブジェクトサイズ算出部１５２は、オブジェクトの実サイズ、画像選択部１０６が選択した撮像画像が撮像されたときの画角、および距離抽出部１４０が抽出した画像配置位置までの距離から、当該撮像画像内におけるオブジェクトの大きさを算出する。そして、オブジェクト画像作成部１５０は、オブジェクトサイズ算出部１５２が算出したオブジェクトの大きさに、テンプレート画像の大きさを調整してオブジェクト画像を作成する。なお、オブジェクト画像作成部１５０は、テンプレート画像抽出部１７２が抽出したテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。
【００３８】
また、オブジェクト画像作成部１５０は、画像選択部１０６が選択した撮像画像に対応づけて画像格納部１０４が格納している、撮像画像情報を受け取ってもよい。そして、オブジェクト画像作成部１５０は、受け取った撮像画像情報に基づいて、テンプレート画像の大きさを調整して作成したオブジェクト画像に対して画像処理を施してもよい。また、オブジェクト画像作成部１５０は、距離抽出部１４０から受け取った距離に応じて、作成したオブジェクト画像に対して画像処理を施してもよい。例えば、画像配置位置が予め定められた距離以上の距離に対応する位置である場合に、オブジェクト画像作成部１５０は作成したオブジェクト画像の輪郭をぼかす処理を施してもよい。更に、オブジェクト画像作成部１５０は、作成したオブジェクト画像に対してトリミングおよび強調等の画像処理を施してもよい。オブジェクト画像作成部１５０は、作成したオブジェクト画像を合成画像作成部１６０に供給する。
【００３９】
合成画像作成部１６０は、オブジェクト画像作成部１５０から受け取ったオブジェクト画像を、撮像画像の合成位置取得部１３０から受け取った画像配置位置に合成して合成画像を作成する。また、合成画像作成部１６０は、テンプレート画像抽出部１７２から受け取ったテンプレート画像を撮像画像に合成して合成画像を作成してもよい。合成画像作成部１６０は、合成した合成画像を画像出力部１６５に供給する。また、合成画像作成部１６０は、画像選択部１０６が選択した撮像画像に対応づけて画像格納部１０４が格納している、撮像画像情報を受け取ってもよい。そして、合成画像作成部１６０は、受け取った撮像画像情報に基づいて、オブジェクト画像作成部１５０から受け取ったオブジェクト画像およびテンプレート画像抽出部１７２から受け取ったテンプレート画像に対して画像処理を施してもよい。例えば、合成画像作成部１６０は、撮像画像情報として画像選択部１０６が選択した撮像画像に対応づけて画像格納部１０４が格納している、当該撮像画像を撮像したときの光源方向および光源の種類を受け取る。そして、合成画像作成部１６０は、作成したオブジェクト画像に対して影を付ける画像処理を施してよい。
【００４０】
画像出力部１６５は、合成画像作成部１６０から受け取った合成画像を出力する。具体的には、画像出力部１６５は、合成画像をアルバム作成装置等に供給して、アルバムを作成してよい。また、画像出力部１６５は、ＤＶＤ等の記録媒体に合成画像を記憶させてもよい。更に、画像出力部１６５は、合成画像をモニタ等の外部表示装置に表示してもよい。なお、請求項に記載の画像処理装置は、画像処理システム１０の一例である。
【００４１】
本実施形態に係る画像処理システム１０は、撮像部１００から撮像画像内の複数の位置までの距離を、撮像画像内の複数の位置に対応づけて撮像画像を格納する。そして、ユーザがオブジェクトのテンプレート画像を撮像画像に合成をする場合において、ユーザが選択した撮像画像内の所望の位置の、撮像部１００からの実際の距離、撮像画像が撮像されたときの画角、およびオブジェクトの実サイズから、オブジェクトを当該位置に配置した際の撮像画像内におけるオブジェクトの大きさを算出して撮像画像内に配置できるので、ユーザに違和感を感じさせない合成画像を作成できる。
【００４２】
図２は、本実施形態に係る距離特定部１２０の処理の一例を示す。距離特定部１２０が有する空間周波数分布算出部１２２は、撮像画像および測定画像の空間周波数分布を算出する。具体的には、空間周波数分布算出部１２２は、ユーザの一回の撮像動作により撮像部１００が撮像した、撮像画像および測定画像のそれぞれの空間周波数の分布をそれぞれ算出する。なお、空間周波数分布算出部１２２は、測定画像についてだけ空間周波数分布を算出してもよい。また、空間周波数分布算出部１２２は、測定画像取得部１１４が取得した複数の測定画像の全てについて空間周波数分布を算出するのではなく、予め定められた数の測定画像を抽出して、抽出した測定画像のそれぞれについて空間周波数分布を算出してもよい。
【００４３】
例えば、ユーザが撮像画像６２０の撮像領域において撮像した場合を考える。係る場合において、撮像部１００はユーザの一回の撮像動作により、合焦距離制御部１０２の制御に応じて撮像画像６０４および複数の測定画像６００等を撮像する。そして、空間周波数分布算出部１２２は撮像画像取得部１１２および測定画像取得部１１４がそれぞれ取得した、測定画像６００、測定画像６０２、撮像画像６０４、および測定画像６０６のそれぞれについて、空間周波数の分布をそれぞれ算出する。続いて、距離対応付部１２４は、空間周波数分布算出部１２２から空間周波数分布の算出結果を測定画像ごとに受け取る。また、距離対応付部１２４は、空間周波数分布算出部１２２から撮像画像についての空間周波数分布の算出結果を受け取る。そして、距離対応付部１２４は、画像取得部１１０から受け取った撮像画像および測定画像のそれぞれが撮像されたときの合焦距離と、空間周波数分布算出部１２２から受け取った撮像画像および測定画像のそれぞれの空間周波数のレベルが最大を示す位置とを対応付ける。
【００４４】
例えば、測定画像６００において、空間周波数分布算出部１２２が算出した空間周波数のレベルが最大の位置が、矢印６１０で示す測定画像の位置である場合を考える。係る場合において、距離対応付部１２４は、空間周波数分布算出部１２２が算出した空間周波数のレベルが最大である、矢印６１０で示す測定画像中の位置と、測定画像６００が撮像されたときの合焦距離である１００ｍとを対応付ける。同様にして、距離対応付部１２４は、測定画像６０２において矢印６１２が示す測定画像中の位置と測定画像６０２が撮像されたときの合焦距離５０ｍとを対応付ける。また、距離対応付部１２４は、撮像画像６０４において矢印６１４が示す測定画像中の位置と撮像画像６０４が撮像されたときの合焦距離である１０ｍとを対応付ける。更に、距離対応付部１２４は、測定画像６０６において矢印６１６が示す測定画像中の位置と測定画像６０６が撮像されたときの合焦距離２ｍとを対応付ける。
【００４５】
これにより、距離対応付部１２４は、撮像画像６０４の複数の位置のそれぞれについて当該複数の位置に合焦距離をそれぞれ対応付けることができる。例えば、撮像画像６２０の複数の位置について、点線６３０の位置に対応する距離は１００ｍ、点線６４０の位置に対応する距離は５０ｍ、点線６５０の位置に対応する距離は１０ｍ、および点線６６０の位置に対応する距離は２ｍ等というように、距離対応付部１２４は撮像画像中の複数の位置に対して合焦距離を、撮像部１００から撮像画像中の複数の位置までの距離として対応付けることができる。
【００４６】
図３は、本実施形態に係る距離特定部１２０の処理の一例を示す。距離特定部１２０が有する空間周波数分布算出部１２２は、撮像画像および測定画像の空間周波数分布を、撮像画像および測定画像の部分領域ごとに算出して、算出した部分領域ごとの空間周波数のレベルを加算してよい。そして、距離対応付部１２４は、空間周波数分布算出部１２２が撮像画像および測定画像の部分領域ごとに算出した空間周波数のレベルを合計して算出した空間周波数のレベルが最大となる位置と、当該撮像画像または測定画像が撮像されたときの合焦距離とを対応づけてよい。
【００４７】
具体的には、空間周波数分布算出部１２２は、測定画像７００の辺と略平行の方向に沿って、測定画像７００の複数の領域ごとに空間周波数分布を算出してよい。例えば、空間周波数分布算出部１２２は、測定画像７００の短手方向に沿った複数の領域ごとに、模式図７０２、模式図７０４、模式図７０６、および模式図７０８等に示すように複数の領域ごとに空間周波数の分布を算出する。そして、空間周波数分布算出部１２２は、複数の領域ごとに算出した空間周波数のレベルをそれぞれ加算して、模式図７１０に示すように空間周波数のレベルの合計値が最大となる、矢印７２０で示す位置を検出する。そして、距離対応付部１２４は、空間周波数分布算出部１２２が算出した矢印７２０の位置と、測定画像７００が撮像されたときの合焦距離とを対応付ける。続いて、空間周波数分布算出部１２２は撮像画像および測定画像のそれぞれについて、上記と同様に、撮像画像および測定画像の部分領域ごとに算出した空間周波数のレベルの加算値が最大を示す位置と、撮像画像および測定画像のそれぞれが撮像されたときの合焦距離とをそれぞれ対応付けてよい。
【００４８】
図４は、本実施形態に係る合成画像作成部１６０の処理の一例を示す。まず、テンプレート画像格納部１７０は、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納している。具体的には、テンプレート画像格納部１７０は、オブジェクトが接する面の法線方向または当該法線方向に垂直な方向に対応づけて、オブジェクトのテンプレート画像を格納する。テンプレート画像格納部１７０は、特定のオブジェクトについて、複数の方向を示す情報を対応づけてオブジェクトの複数のテンプレート画像を格納してよい。例えば、テンプレート画像格納部１７０は、自動車８１０のテンプレート画像８００を格納する。テンプレート画像８００は、自動車８１０が接する面の法線方向８０２および法線方向８０２に垂直な方向である自動車８１０が接する面の方向８０４を対応づけて、自動車８１０のテンプレート画像を格納する。なお、テンプレート画像格納部１７０は、自動車８１０のテンプレート画像を、面の方向８０４が水平面となす角度、すなわち、自動車８１０が接する面の水平面に対してなす角度８０６に対応づけて格納してもよい。また、テンプレート画像格納部１７０は、同一のオブジェクトを異なる方向から観察した場合の複数のテンプレート画像を格納してよい。例えば、自動車８１０と同一の自動車８１０を異なる方向から観察した場合の自動車８２２を示すテンプレート画像８２０を格納してよい。なお、テンプレート画像格納部１７０は、テンプレート画像８２０と、自動車８２２が接する面の法線方向８２４および法線方向８２４に垂直な面の方向８２６とを対応づけて格納してもよい。
【００４９】
ここで、撮像画像８３０に自動車のテンプレート画像を合成する場合を考える。係る場合において、撮像画像８３０に含まれる面が向く方向、例えば、面の法線方向８３２および法線方向８３２に対して垂直な面の方向８３４は、角度情報取得部１９２が取得した、撮像部１００の撮像方向と水平面とがなす角度を示す情報から求めてよい。そして、テンプレート画像抽出部１７２は、角度情報取得部１９２から受け取った角度を示す情報から求められる、撮像画像８３０の水平面の方向（面の方向８３４）と一致する方向を示す情報（面の方向８０４）に対応づけてテンプレート画像格納部１７０が格納している自動車のテンプレート画像８００を抽出する。続いて、オブジェクトサイズ算出部１５２は、ユーザが指定した画像配置位置にテンプレート画像８００に含まれる自動車８１０を配置した場合に、当該画像配置位置に対応する実際の位置に、実際に自動車８１０を配置した場合に、撮像画像８３０内で自動車８１０が示す大きさを算出する。そして、オブジェクト画像作成部１５０は、オブジェクトサイズ算出部１５２が算出した大きさに、テンプレート画像８００に含まれる自動車８１０の大きさを調整してオブジェクト画像を作成する。そして、合成画像作成部１６０は、ユーザが指定した画像配置位置に、オブジェクト画像作成部１５０が作成した自動車８１０のオブジェクト画像を合成して、合成画像８４０を作成する。
【００５０】
本実施形態に係る画像処理システム１０によれば、撮像画像中に含まれる面の方向に一致する方向を示す情報に対応づけられているオブジェクトのテンプレート画像を自動的に抽出して、抽出したテンプレート画像の大きさを画像配置位置にオブジェクトを配置した場合の大きさに自動的に調整して撮像画像と合成することができる。これにより、オブジェクトが接する面と撮像画像中に含まれる面とが一致した合成画像を作成できるので、合成画像をユーザが鑑賞した場合に、オブジェクトが地面から浮いて見える等の違和感を感じさせることがなくなり、ユーザの満足度を高めることができる。
【００５１】
図５は、本実施形態に係る合成画像作成部１６０の処理の一例を示す。まず、テンプレート画像格納部１７０は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトの複数のテンプレート画像を格納している。具体的には、テンプレート画像格納部１７０は、人物のオブジェクトの鉛直方向に対応づけて、複数の姿勢を有する人物のオブジェクトの複数のテンプレート画像を格納している。なお、鉛直方向とは、重力方向であってよい。例えば、テンプレート画像格納部１７０は、人物９０４のテンプレート画像９００を、鉛直方向９０２に対応づけて格納してよい。
【００５２】
ここで、撮像画像９１０に人物のテンプレート画像を合成する場合を考える。係る場合において、撮像画像９１０に含まれる面が向く方向、例えば、面の法線方向９１４および鉛直方向９１２は、角度情報取得部１９２が取得した、撮像部１００の撮像方向と水平面とがなす角度を示す情報から求めてよい。そして、テンプレート画像抽出部１７２は、角度情報取得部１９２から受け取った角度を示す情報から求められる、撮像画像９１０の鉛直方向９１２と一致する鉛直方向に対応づけてテンプレート画像格納部１７０が格納しているテンプレート画像９００を抽出する。なお、撮像画像９１０に含まれる面の法線方向９１４と鉛直方向９１２とが一致する画像配置位置をユーザが選んだ場合には、テンプレート画像抽出部１７２は、撮像画像９１０の面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０が格納している人物のオブジェクトのテンプレート画像を抽出してもよい。
【００５３】
続いて、オブジェクトサイズ算出部１５２は、ユーザが指定した画像配置位置にテンプレート画像９００に含まれる人物９０４を配置した場合に、当該画像配置位置に対応する実際の位置に、実際に人物９０４を配置した場合に、撮像画像９１０内で人物９０４が示す大きさを算出する。そして、オブジェクト画像作成部１５０は、オブジェクトサイズ算出部１５２が算出した大きさに、テンプレート画像９００に含まれる人物９０４の大きさを調整してオブジェクト画像を作成する。そして、合成画像作成部１６０は、ユーザが指定した画像配置位置に、オブジェクト画像作成部１５０が作成した人物９０４のオブジェクト画像を合成して、合成画像９２０を作成する。
【００５４】
なお、オブジェクト画像作成部１５０は、オブジェクトが人物である場合には、当該人物が接する面が含まれる予め定められた領域に、当該人物を除く他のオブジェクトのテンプレート画像または当該オブジェクトのオブジェクト画像を、人物のオブジェクト画像に重畳して人物のオブジェクト画像を作成してもよい。例えば、オブジェクト画像作成部１５０は、まず、人物のオブジェクトのテンプレート画像の大きさを調整して、当該人物のオブジェクト画像を作成する。また、オブジェクトサイズ算出部１５２は、当該人物を除く他のオブジェクトについても、距離抽出部１４０から受け取った距離および画角取得部１９０から受け取った画角から、撮像画像における当該人物を除く他のオブジェクトの大きさを算出する。そして、オブジェクト画像作成部１５０は、オブジェクトサイズ算出部１５２が算出した大きさに当該人物を除く他のオブジェクトのテンプレート画像の大きさを調整して、当該人物を除く他のオブジェクト画像を作成する。そして、オブジェクト画像作成部１５０は、当該人物のオブジェクト画像において、例えば、当該人物の足首部分を含む領域に、当該人物を除く他のオブジェクトを当該人物の前面に重畳してオブジェクト画像を作成してもよい。
【００５５】
例えば、画像処理システム１０は、人物の体の特徴的な部分のテンプレート画像を複数格納する部分テンプレート画像格納部を供えていてよい。人物の体の特徴的な部分は、足首およびひざ等の関節部分等であってよい。そして、画像処理システム１０は、部分テンプレート画像格納部が格納する、人物の体の部分のテンプレート画像を用いて人物のオブジェクト画像とマッチングすることにより、人物の足首部分等を含む領域を特定してよい。そして、オブジェクト画像作成部１５０は、上記のように人物のオブジェクト画像を作成してよい。これにより、人物のオブジェクト画像を、例えば、坂道に配置した場合であっても、人物の足の関節等の不自然さを隠すことができる。
【００５６】
本実施形態に係る画像処理システム１０によれば、撮像画像に合成するオブジェクトが人物のオブジェクトである場合であって、ユーザが指定した画像配置位置が坂などの傾斜面である場合には、坂の面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０が格納している人物のオブジェクトのテンプレート画像ではなく、撮像画像の鉛直方向と一致する鉛直方向に対応づけてテンプレート画像格納部１７０が格納している人物のオブジェクトのテンプレート画像を抽出して、撮像画像に合成できるので、人物の姿勢が不自然な合成画像を作成することを防ぐことができ、ユーザに違和感を感じさせることがなくなる。
【００５７】
図６は、本実施形態に係る面方向特定ユニット１８０の処理の一例を示す。まず、マッチング画像格納部１８４は、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納している。特定のオブジェクトは、例えば、自動車、バイク、および列車等、並びにガードレールおよび歩道の縁石等であってよい。例えば、特定のオブジェクトが自動車である場合には、マッチング画像格納部１８４は、複数の方向を向く面にそれぞれ接する自動車のテンプレート画像をそれぞれ格納してよい。例えば、マッチング画像格納部１８４は、自動車１００４のテンプレート画像１０００を面の方向１００２に対応づけて格納する。そして、マッチング画像格納部１８４は、テンプレート画像１０００とは異なる面の方向１０１２に対応づけて、自動車１０１４のテンプレート画像１０１０を格納する。また、マッチング画像格納部１８４は、面の方向１０２２に対応づけて、自動車１０２４のテンプレート画像１０２０を格納する。更に、マッチング画像格納部１８４は、面の方向１０３２に対応づけて、自動車１０３４のテンプレート画像１０３０を格納する。このように、マッチング画像格納部１８４は、複数の面の方向に対応づけて、オブジェクトのテンプレート画像を複数格納してよい。
【００５８】
ここで、撮像画像１０４０に自動車１０４２が含まれている場合を考える。係る場合において、面方向特定ユニット１８０が有するオブジェクト抽出部１８２は、マッチング画像格納部１８４が格納しているオブジェクトのテンプレート画像を用いて、当該テンプレート画像と撮像画像１０４０に含まれるオブジェクトとをマッチングする。係る場合において、オブジェクト抽出部１８２は、自動車１０４２を含む、予め定められた範囲を撮像画像１０４０からトリミングして、トリミング後の画像に含まれる自動車１０６０についてマッチングをしてもよい。また、オブジェクト抽出部１８２は、撮像画像に複数のオブジェクトが含まれている場合には、複数のオブジェクトのそれぞれを抽出して、抽出したオブジェクトのそれぞれについてマッチングしてもよい。オブジェクト抽出部１８２は、自動車１０４２とマッチしたテンプレート画像１０１０を抽出する。続いて、オブジェクト抽出部１８２はテンプレート画像１０１０を抽出した旨を示す情報を面方向取得部１８６に供給する。そして、面方向取得部１８６は、テンプレート画像１０１０の面の方向１０１２を取得する。面方向取得部１８６は取得した面の方向を、テンプレート画像抽出部１７２に供給する。
【００５９】
本実施形態に係る画像処理システム１０によれば、面方向特定ユニット１８０において、撮像画像に含まれているオブジェクトと複数の方向に対応づけて予めマッチング画像格納部１８４が格納しているテンプレート画像とをマッチングすることにより、撮像画像に含まれる面の方向を特定することができる。これにより、撮像画像中に面の方向が異なる複数の面が含まれている場合でも、複数の面のそれぞれについて面の方向を特定できる。そして、合成画像を作成する場合に、特定した面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部１７０に格納されているテンプレート画像を自動的に抽出して、抽出したテンプレート画像を撮像画像に合成するので、ユーザが鑑賞した場合に違和感を感じさせない合成画像を作成できる。
【００６０】
図７は、本実施形態に係る画像処理システム１０のハードウェア構成の一例を示す。本実施形態に係る画像処理システム１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００６１】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６２】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理システム１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００６３】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理システム１０が起動時に実行するブート・プログラム、画像処理システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６４】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理システム１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理システム１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理システム１０を、図１から図６にかけて説明した撮像部１００、合焦距離制御部１０２、画像格納部１０４、画像選択部１０６、画像取得部１１０、距離特定部１２０、合成位置取得部１３０、距離抽出部１４０、オブジェクト画像作成部１５０、合成画像作成部１６０、画像出力部１６５、テンプレート画像格納部１７０、テンプレート画像抽出部１７２、面方向特定ユニット１８０、画角取得部１９０、角度情報取得部１９２、撮像画像取得部１１２、測定画像取得部１１４、空間周波数分布算出部１２２、距離対応付部１２４、オブジェクトサイズ算出部１５２、オブジェクト抽出部１８２、マッチング画像格納部１８４、および面方向取得部１８６として機能させる。
【００６５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６６】
【図１】画像処理システム１０の機能構成を示すブロック図である。
【図２】距離特定部１２０の処理を示す図である。
【図３】距離特定部１２０の処理を示す図である。
【図４】合成画像作成部１６０の処理を示す図である。
【図５】合成画像作成部１６０の処理を示す図である。
【図６】面方向特定ユニット１８０の処理を示す図である。
【図７】画像処理システム１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００６７】
１０  画像処理システム
１００  撮像部
１０２  合焦距離制御部
１０４  画像格納部
１０６  画像選択部
１１０  画像取得部
１１２  撮像画像取得部
１１４  測定画像取得部
１２０  距離特定部
１２２  空間周波数分布算出部
１２４  距離対応付部
１３０  合成位置取得部
１４０  距離抽出部
１５０  オブジェクト画像作成部
１５２  オブジェクトサイズ算出部
１６０  合成画像作成部
１６５  画像出力部
１７０  テンプレート画像格納部
１７２  テンプレート画像抽出部
１８０  面方向特定ユニット
１８２  オブジェクト抽出部
１８４  マッチング画像格納部
１８６  面方向取得部
１９０  画角取得部
１９２  角度情報取得部
６００、６０２、６０６  測定画像
６０４、６２０  撮像画像
６１０、６１２、６１４、６１６  矢印
６３０、６４０、６５０、６６０  点線
７００  測定画像
７０２、７０４、７０６、７０８、７１０  模式図
７２０  矢印
８００、８２０  テンプレート画像
８０２、８２４  法線方向
８０４、８２６  面の方向
８０６  角度
８１０、８２２  自動車
８３０  撮像画像
８３２  法線方向
８３４  面の方向
８４０  合成画像
９００  テンプレート画像
９０２  鉛直方向
９０４  人物
９１０  撮像画像
９１２  鉛直方向
９１４  法線方向
９２０  合成画像
１０００、１０１０、１０２０、１０３０  テンプレート画像
１００２、１０１２、１０２２、１０３２  面の方向
１００４、１０１４、１０２４、１０３４  自動車
１０４０  撮像画像
１０４２、１０６０  自動車
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示装置
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
【図１】
2007172271.tif 000003
【図２】
2007172271.tif 000004
【図３】
2007172271.tif 000005
【図４】
2007172271.tif 000006
【図５】
2007172271.tif 000007
【図６】
2007172271.tif 000008
【図７】
2007172271.tif 000009