(57)【要約】【課題】  撮影画像から被写体領域を精度よく抽出できるようにすること。【解決手段】  本発明は、撮影手段が撮影を行った際の位置情報および方位情報を撮影条件として取得し、この撮影条件に基づいてモデル画像を生成する。そして、生成したモデル画像に基づいて、撮影画像から被写体領域を抽出する。【選択図】  図４
2019045993.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段により被写体が撮影された撮影画像を取得する第１の取得手段と、
前記取得された撮影画像を撮影したときの前記撮影手段の位置情報および方位情報を撮影条件として取得する第２の取得手段と、
前記取得した撮影条件に基づいて、前記被写体のモデル画像を生成する生成手段と、
前記生成したモデル画像に基づいて、前記撮影画像から前記被写体の領域を抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記モデル画像に含まれる前記被写体の領域と前記撮影画像とをフィッティングすることにより前記撮影画像から前記被写体の領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の取得手段は、前記撮影条件として、更に、前記取得された撮影画像を撮影したときの環境情報、光源情報、および前記撮影手段の撮影パラメータのうちの少なくとも１つを取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記取得した撮影条件に基づいて、前記被写体に関する情報を取得する第３の取得手段を更に有し、
前記生成手段は、前記取得した撮影条件と前記被写体に関する情報とに基づいて前記モデル画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第３の取得手段は、前記被写体に関する情報として、前記被写体の表面反射特性に係る情報を更に取得し、
前記生成手段は、前記取得した表面反射特性に係る情報に更に基づいて前記モデル画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記被写体に関する情報を追加する追加手段を更に有することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記撮影画像から抽出された前記被写体の領域に対して画像処理を行う画像処理手段を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮影画像から、ユーザによって登録された物体を検出する検出手段を更に有し、
前記画像処理手段は、更に、前記検出された物体の領域に対して画像処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記撮影画像から抽出された前記被写体の領域に基づいて、前記撮影手段の撮影パラメータまたは撮影するときの構図の少なくとも一方をユーザに提示する提示手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、複数の前記被写体のモデル画像を生成することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記抽出手段が被写体の領域を抽出した結果に基づいて、前記撮影条件の少なくとも１つを推定する推定手段を更に有し、
前記抽出手段は、前記推定された撮影条件に基づいて前記生成手段により生成されたモデル画像に基づいて、前記撮影画像から前記被写体の領域を抽出することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記抽出手段が被写体の領域を抽出した結果に基づいて、前記被写体の時間的な変化を評価する評価手段を更に有することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮影手段により被写体が撮影された撮影画像を取得するステップと、
前記取得された撮影画像を撮影したときの前記撮影手段の位置情報および方位情報を撮影条件として取得するステップと、
前記取得した撮影条件に基づいて、前記被写体のモデル画像を生成するステップと、
前記生成したモデル画像に基づいて、前記撮影画像から前記被写体の領域を抽出するステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から被写体領域を抽出する技術に関する。
【背景技術】
【０００２】
画像認識手法のひとつとして、撮影により得られた画像を複数の領域に分割して、分割した領域毎に被写体の分類に関するクラスを識別する手法がある。この手法は、各領域から抽出される特徴量に基づいて、各領域のクラスを識別する。適切に画像を領域分割することは、被写体の認識やシーンの認識、被写体に応じた画質の補正等の多くの画像処理を容易にする。
【０００３】
しかしながら、各領域の特徴量のみに基づいて識別を行うと信頼度が高い（識別スコア、識別尤度が高い）にも関わらず誤検出する場合がある。たとえば、青い空と青い壁は人間には容易に区別することができるが、空の一部を切り出した領域と青い壁の一部を切り出した領域を識別器で区別することは難しい。
【０００４】
そこで、特許文献１には、カメラで撮影する際に得られるＧＰＳ情報や撮影情報に基づいて被写体のカテゴリや部分を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５６５５８２１号公報
【非特許文献】
【０００６】
【非特許文献１】Ｒ．Ｓｏｃｈｅｒ，“Ｐａｒｓｉｎｇ  Ｎａｔｕｒａｌ  Ｓｃｅｎｅｓ  ａｎｄ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  ｗｉｔｈ  Ｒｅｃｕｒｓｉｖｅ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ２０１１．
【非特許文献２】Ｐ．Ｋｒａｈｅｎｂｕｈｌ，“Ｅｆｆｉｃｉｅｎｔ  Ｉｎｆｅｒｅｎｃｅ  ｉｎ  Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  ＣＲＦｓ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  Ｅｄｇｅ  Ｐｏｔｅｎｔｉａｌｓ”，Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  ２０１１．
【非特許文献３】Ｊ．Ｔｉｇｈｅ，“ＳｕｐｅｒＰａｒｓｉｎ：Ｓｃａｌａｂｌｅ  Ｎｏｎｐａｒａｍｅｔｒｉｃ  Ｉｍａｇｅ  Ｐａｒｓｉｎｇ  ｗｉｔｈ  Ｓｕｐｅｒｐｉｘｅｌｓ”，Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２０１０．
【非特許文献４】Ｙ．Ｔａｉｇｍａｎ，“ＤｅｅｐＦａｃｅ：Ｃｌｏｓｉｎｇ  ｔｈｅ  Ｇａｐ  ｔｏ  Ｈｕｍａｎ−Ｌｅｖｅｌ  Ｐｅｒｆｏｒｍａｎｃｅ  ｉｎ  Ｆａｃｅ  Ｖｅｒｉｆｉｃａｔｉｏｎ”，Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２０１４．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術のように、ＧＰＳ情報や撮影情報から得られる情報だけでは、撮影画像内の被写体領域を精度よく抽出することができない場合がある。そこで、本発明は、撮影画像から被写体領域を精度よく抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮影手段により被写体が撮影された撮影画像を取得する第１の取得手段と、前記取得された撮影画像を撮影したときの前記撮影手段の位置情報および方位情報を撮影条件として取得する第２の取得手段と、前記取得した撮影条件に基づいて、前記被写体のモデル画像を生成する生成手段と、前記生成したモデル画像に基づいて、前記撮影画像から前記被写体の領域を抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影画像から被写体領域を精度よく抽出できるようになる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る画像処理システムの構成例を示す図。
【図２】第１の実施形態において被写体領域を抽出した画像の一例を示す図。
【図３】第１の実施形態に係る画像処理装置のハードウェア構成を示す概略ブロック図。
【図４】各実施形態に係る画像処理装置の機能構成を示す概略ブロック図。
【図５】第３の実施形態に係る画像処理装置の機能構成を示す概略ブロック図。
【図６】各実施形態に係る画像処理装置の機能構成を示す概略ブロック図。
【図７】各実施形態に係る画像処理装置により実行される処理を示すフローチャート。
【図８】第１の実施形態における被写体モデルの一例を示す図。
【図９】第１の実施形態における被写体モデル画像の一例を示す図。
【図１０】第１の実施形態における被写体モデル画像の他の一例を示す図。
【図１１】本実施形態における被写体領域抽出工程の処理の詳細を説明する図。
【図１２】第１の実施形態における被写体モデル座標系の一例を示す図。
【図１３】第１の実施形態におけるエッジベースの３次元モデルフィッティングの一例を示す図。
【図１４】第１の実施形態における線分情報を利用して３次元モデルの位置及び姿勢を算出する方法を説明する図。
【図１５】第３の実施形態に係る登録物体画像設定部の機能構成を示す概略ブロック図。
【図１６】第３の実施形態に係る登録物体画像設定部による処理を示すフローチャート。
【図１７】第３の実施形態において登録物体領域の設定の例を示す図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、本実施形態に係る画像処理装置を備えたシステムの概略的な構成例を示す図である。図１のシステムは、カメラ１０と、画像処理装置２０とが、ネットワーク１５を介して接続されている。なお、画像処理装置２０とカメラ１０は、一体に構成されていてもよい。
【００１２】
カメラ１０は、画像処理装置２０による画像処理の対象となる画像を撮影する。図１は、木（ｔｒｅｅ）３０ａ、自動車（ｃａｒ）３０ｂ、建物（ｂｕｉｌｄｉｎｇ）３０ｃ、空（ｓｋｙ）３０ｄ、道（ｒｏａｄ）３０ｅ、人体（ｂｏｄｙ）３０ｆ等が画角（撮影範囲）内に存在するシーン３０を、カメラ１０が撮影する例を示している。画像処理装置２０は、カメラ１０で撮影されたシーン３０における各被写体領域を抽出する。
【００１３】
図２は、被写体領域を抽出した画像の一例を示す図である。図２（ａ）は撮影された識別対象画像１００を示しており、この画像には被写体１０１〜１０５が映っている。この識別対象画像１００から抽出された被写体領域を、図２（ｂ）の２００で示している。図２（ｂ）では、建物１０１の被写体領域２００のみを抽出した例を示しているが、複数の被写体領域を抽出してもよい。図２（ｃ）に複数の被写体領域２０１、２０２を抽出している例を示す。被写体領域２００〜２０２を抽出する方法、抽出された被写体領域２００〜２０２およびその他領域１０２〜１０６に対する処理方法に関しては後述する。
【００１４】
図３は、本実施形態に係る画像処理装置２０のハードウェア構成の一例を示す概略ブロック図である。ＣＰＵ４０１は、画像処理装置２０全体を制御する。ＣＰＵ４０１がＲＯＭ４０３やＨＤ４０４等に格納されたプログラムを実行することにより、後述する画像処理装置２０の機能構成及び画像処理装置２０に係るフローチャートの処理が実現される。ＲＡＭ４０２は、ＣＰＵ４０１がプログラムを展開して実行するワークエリアとして機能する記憶領域である。ＲＯＭ４０３は、ＣＰＵ４０１が実行するプログラム等を格納する記憶領域である。ＨＤ４０４は、ＣＰＵ４０１が処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域である。操作部４０５は、ユーザによる入力操作を受け付ける。表示部４０６は、画像処理装置２０の情報を表示する。ネットワークＩ／Ｆ４０７は、画像処理装置２０と、外部の機器とを接続する。
【００１５】
図４は各実施形態における画像処理装置２０の機能構成を示す概略ブロック図であり、図４（ａ）が本実施形態におけるブロック図である。なお、図４（ａ）には、画像処理装置２０内の各機能ブロックの他に、カメラ１０に相当する撮影部５００も示している。撮影部５００は、カメラ１０に相当し、識別対象画像を取得する。本実施形態の画像処理装置２０は、撮影画像取得部５０１、撮影条件取得部５０２、被写体情報取得部５０３、被写体モデル画像生成部５０４、被写体領域抽出部５０５、画像処理部５０６、被写体情報保持部５０７を有している。なお、被写体情報保持部５０７は、不揮発性の記憶装置として計算機２０と接続された構成としてもよい。画像処理装置２０が有するこれらの各機能の詳細については、後述する。
【００１６】
図７は各実施形態における画像処理装置２０により実行される処理の概要を示すフローチャートであり、図７（ａ）が本実施形態のフローチャートである。図７（ａ）のフローチャートにおいて、撮影画像取得工程Ｓ１１０では、撮影画像取得部５０１が撮影部５００によって撮影された識別対象画像を入力データとして受信する。取得された識別対象画像は被写体モデル画像生成部５０４および被写体領域抽出部５０５に送信される。
【００１７】
次に、撮影条件取得工程Ｓ１２０では、撮影条件取得部５０２が撮影部５００によって撮影された識別対象画像に対応する撮影条件を取得する。撮影情報の具体的な内容については後述する。取得された撮影条件は被写体情報取得部５０３および被写体モデル画像生成部５０４に送信される。次に、被写体情報取得工程Ｓ１３０では撮影条件取得工程Ｓ１２０で取得された撮影部の位置情報と方位情報（方角・向き）から推定される被写体の三次元モデルおよび各面の表面反射特性情報（テクスチャ情報）を被写体情報保持部５０７から取得する。詳細については後述する。取得された被写体情報である被写体の３次元モデルおよび各面の表面反射特性情報（テクスチャ情報）は被写体モデル画像生成部５０４に送信される。
【００１８】
次に、被写体モデル画像生成工程Ｓ１４０では、撮影条件取得部５０２で取得された撮影条件と被写体情報取得部５０３で取得された被写体情報に基づいて被写体モデル画像を生成する。生成方法に関しては後述する。生成された被写体モデル画像は撮影画像取得部５０１で取得された撮影画像と同じサイズであり、同じ被写体に関する画像である。生成された被写体モデル画像は被写体領域抽出部５０５に送信される。次に、被写体領域抽出工程Ｓ１５０では、被写体モデル画像生成部５０４によって生成された被写体モデル画像と撮影画像取得部５０１によって取得された撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出する。具体的な方法については後述する。抽出された被写体領域の情報は画像処理部５０６に送信される。
【００１９】
最後に、画像処理工程Ｓ１６０では被写体領域抽出部５０５によって抽出された被写体領域に基づいて画像処理を行う。具体的な処理内容については後述する。以上の処理によって、撮影画像中の被写体領域を抽出し、その被写体領域やその領域の輪郭に基づいて画像を画像処理する。
【００２０】
次に、図７（ａ）に示したフローチャートを参照しつつ、各処理の具体的な流れを説明する。撮影画像取得工程Ｓ１１０では、図１で示したようなシーン３０を撮影部５００が撮影した画像を、識別対象画像１００として取得する。なお、識別対象画像は、図示しない外部装置に格納されている画像であってもよい。その場合、入力部５０１は外部装置から読み出された画像を識別対象画像として取得する。外部装置に格納されている画像は、例えば撮影部５００等で予め撮影された画像であってもよいし、ネットワーク等を経由するなどの他の方法で取得されてから格納された画像であってもよい。その場合には、撮影画像の他に撮影時の撮影パラメータなどの情報（撮影情報）を予め保存しておく必要がある。撮影情報の具体的な内容については次の撮影条件取得工程Ｓ１２０で説明する。
【００２１】
撮影条件取得工程Ｓ１２０では、図１で示したようなシーン３０を撮影部５００が撮影した際の撮影条件を取得する。撮影条件とはＧＰＳ情報などに基づいて得られる撮影部５００の位置情報、識別対象画像１００を撮影した際の撮影部５００の方位（方角・向き）、画角やシャッタースピードなどの撮影パラメータなどを示している。また、撮影時の光源情報や環境情報を取得してもよい。例えば、カメラなどで撮影をした場合にカメラのセンサで取得している測光値、色温度やＡＦなどの値でよい。また、ＧＰＳ情報などを用いてネットワークを介して天気や気温などの環境情報を取得してもよい。それらの情報は被写体モデル画像を生成する際に利用され、より高精細な被写体モデル画像を生成することができる。
【００２２】
被写体情報取得工程Ｓ１３０では、撮影条件取得工程Ｓ１２０において取得された撮影条件に基づいて被写体情報を取得する。撮影条件の中でも特にＧＰＳ情報などで取得される位置情報に基づいて被写体情報を取得する。さらに、被写体自体が情報を保持し、それをＲＦＩＤタグなどに保持していてその情報を画像処理装置が受信することで被写体情報を取得してもよい。それにより例えば、移動している被写体に対する被写体情報を取得することができる。いずれにしても、本実施形態において、被写体情報とは次の被写体モデル画像生成工程Ｓ１４０において利用される情報である。図８は本実施形態における被写体モデルの一例を示しており、被写体情報とは例えば、図８（ａ）に示す３００〜３０２のように被写体の３次元モデルや、各面の色・テクスチャ情報、各面の反射率や透明度・屈折率などを表す。この情報に基づいて現在の撮影条件における被写体モデル画像を生成する。
【００２３】
本実施形態においては被写体の３次元モデルを取得するとするが、被写体モデル画像が生成できればよいので、各視点から得られる被写体のモデル画像を保持しておいてもよい。図８（ｂ）に示すような人物やキャラクターなどの多関節物体の場合には、各パーツのモデルを別々に保持しておいてもよい。
【００２４】
被写体モデル画像生成工程Ｓ１４０では、先の撮影条件取得工程Ｓ１２０、被写体情報取得工程Ｓ１３０で得られた撮影条件および被写体情報を用いて被写体モデル画像を生成する。生成するにはレイトレーシングなどのレンダリング技術などを用いればよい。撮影装置の位置情報や方位、画角や撮影パラメータ、撮像装置や被写体が存在する環境の情報を利用することで、撮影画像に近い被写体モデル画像を生成することができる。図９、図１０は本実施形態における被写体モデル画像の一例を示す図であり、図８（ａ）に示すような被写体モデルの場合には、図９（ａ）、（ｂ）に示すような被写体モデル画像が生成される。また、図８（ｂ）に示すような多関節物体の被写体モデルの場合には、図１０（ａ）〜（ｄ）に示すように撮影装置の位置情報や方位、撮影パラメータなどの他に各パーツ間の関節角度のパラメータもあるため複数の被写体モデル画像を生成する。生成方法に関してはランダムで生成してもよいし、被写体モデル情報として被写体がよくとる姿勢（各関節角度の頻度）を予め記憶しておいて、それに基づいて生成してもよい。また図９、図１０では、単一の被写体モデルから被写体モデル画像を生成しているが、複数のモデルを用いて被写体モデル画像を生成してもよい。
【００２５】
被写体領域抽出工程Ｓ１５０では、撮影画像取得工程Ｓ１１０において取得された撮影画像と被写体モデル画像生成工程Ｓ１４０で取得された被写体モデル画像をフィッティングすることで被写体領域を抽出する。図１１は、本実施形態における被写体領域抽出工程の処理の詳細を説明する図である。図１１に示すように撮影画像１００に対して、被写体モデル画像で取得された被写体モデルの輪郭６００をフィッティングさせることで被写体領域を抽出する。
【００２６】
本実施形態では、エッジベースの３次元モデルフィッティングを行うことで被写体領域を抽出する。この方法により被写体領域と同時に予め定義しておいた座標系における３次元位置姿勢を算出することができる。図１２は本実施形態における被写体モデル座標系の一例を示している。ここでは、図１２に示すように被写体モデル３００のある位置を原点とする被写体モデル座標系３０４を定義し、その被写体モデル座標系３０４におけるカメラ１０の３次元位置姿勢を算出する。本実施形態では、被写体を１０１のみとして説明するが、複数の被写体に対して行ってもよいし、１つの被写体に対してフィッティングを行って、その被写体との相対的な位置姿勢の関係を用いて他の被写体領域を抽出してもよい。
【００２７】
図１３は、本実施形態におけるエッジベースの３次元モデルフィッティングの一例を示す図である。図１３に示すように、エッジベースの３次元モデルフィッティングはモデルの各エッジを等間隔に分割した各分割点において処理を行う。処理は３次元モデルを画像平面上に投影して、画像平面上で行う。各分割点５２において、３次元モデルの各投影線５１に垂直かつ分割点を通過する線分（以下、探索ライン５３）上において被測定対象物体のエッジを探索する。すべての分割点について処理が終ったら、３次元モデルの位置及び姿勢を算出する。ここで、分割点の中で対応をとることができた対応点の総数をＮＣとする。３次元モデルの位置及び姿勢は、繰り返し計算により補正することで算出する。
【００２８】
次に、線分（エッジ）の情報を利用して３次元モデルの位置及び姿勢を算出する方法を説明する。図１４は、線分の情報を利用して３次元モデルの位置及び姿勢を算出する方法を説明する図である。図１４では、画像の水平方向をｕ軸、垂直方向をｖ軸にとっている。ある分割点５２の座標を（ｕｋ、ｖｋ）、該分割点が所属する線分５１の画像上での傾きをｕ軸に対する傾きθで表す。また、線分５１の法線ベクトルを（ｓｉｎθ、―ｃｏｓθ）とする。さらに、該分割点５２に対する被測定対象物体のエッジ上にある対応点６０の座標を（ｕ´ｋ、ｖ´ｋ）とする。ここで、該分割点５２から該対応点６０までの距離を計算する。ここで線分５１上の点（ｕ、ｖ）は数式１を満たす。
【００２９】
【数１】
2019045993.tif 000003
【００３０】
ただし、
【００３１】
【数２】
2019045993.tif 000004
【００３２】
である。該対応点６０を通り、線分５１に平行な直線上の点（ｕ、ｖ）は数式３を満たす。
【００３３】
【数３】
2019045993.tif 000005
【００３４】
ただし、
【００３５】
【数４】
2019045993.tif 000006
【００３６】
である。よって、該分割点５２と該対応点６０までの距離はｄ−ｒで計算される。該対応点６０の画像座標系における座標値は３次元モデルの位置・姿勢の関数である。３次元モデルの位置・姿勢の自由度は６自由度である。ここで３次元モデルの位置及び姿勢を表すパラメータをｐで表す。ｐは６次元ベクトルであり、３次元モデルの位置を表す３つの要素と、姿勢を表す３つの要素からなる。姿勢を表す３つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す３次元ベクトルなどによって表現される。
【００３７】
（ｕ、ｖ）を分割点５２の画像座標系における座標として（ｕｋ、ｖｋ）の近傍で１次のテイラー展開によって近似すると数式５のように表せる。
【００３８】
【数５】
2019045993.tif 000007
【００３９】
ここで偏微分係数∂ｕ／∂ｐｉ、∂ｖ／∂ｐｉは画像ヤコビアンである。
【００４０】
数式５によって表される（ｕ、ｖ）が数式３で表される直線上に存在するように、３次元モデルの位置・姿勢パラメータｐの補正値Δｐを算出する。数式５を数式３に代入すると、数式６のようになる。
【００４１】
【数６】
2019045993.tif 000008
【００４２】
数式６を整理すると数式７のように表せる。
【００４３】
【数７】
2019045993.tif 000009
【００４４】
数式７は、ＮＣ個の分割点について成り立つため、数式８のようなΔｐに対する線形連立方程式が成り立つ。
【００４５】
【数８】
2019045993.tif 000010
【００４６】
ここで数式８を数式９のように簡潔に表す。
【００４７】
【数９】
2019045993.tif 000011
【００４８】
数式９より、行列Ｊの一般化逆行列（ＪＴ・Ｊ）−１を用いてΔｐが求められる。最終的にはΔｐが閾値以下になるまで繰り返し計算を行う。繰り返し計算ののち、被写体領域が抽出される。被写体モデル画像生成工程Ｓ１４０において複数の被写体モデル画像を生成した場合には、各被写体モデル画像と撮影画像をフィッティングさせた結果の中でΔｐが最も小さくなったときの被写体領域を最適な被写体領域とすればよい。なお、多関節物体の場合には、パーツごとに３次元モデルフィッティングを行えばよい。または、図１０（ａ）〜（ｄ）のように複数の被写体モデル画像に対して、各々３次元モデルフィッティングを行い、Δｐが最も小さくなったときの被写体領域を最適な被写体領域とすればよい。
【００４９】
なお、本実施形態では被写体モデルを保持している被写体に関しての領域だけを抽出したが、それ以外の領域に関しても抽出してもよい。その場合には非特許文献１や２に開示されているような領域分割の手法を用いて領域分割およびカテゴリ識別を行えばよい。もしくは非特許文献３に開示されているような識別対象画像のグローバル特徴量に基づいた類似画像検索によって選択された類似画像に基づいて識別対象画像の各小領域のクラスを決定してもよい。その類似画像を検索する際に、撮影情報取得工程Ｓ１２０において取得されたカメラの位置情報や、被写体情報取得工程Ｓ１３０において取得された被写体情報に基づいて検索してもよい。
【００５０】
本実施形態では、被写体領域を抽出するためにエッジベースの３次元モデルフィッティングを用いて行ったが、被写体領域を前景、それ以外の領域を背景としてグラフカットを行い被写体領域を抽出する方法を用いてもよい。また、エッジ以外の画像特徴量を用いたフィッティングを行ってもよい。
【００５１】
画像処理工程Ｓ１６０では、被写体領域抽出工程Ｓ１５０において抽出された被写体領域を用いて撮影画像に対して高画質化処理を行う。具体的な処理について、図２（ｂ）のように被写体１０１に対して被写体領域２００が抽出された場合で説明する。被写体領域２００が抽出された被写体１０１に対しては被写体モデルの各面の色情報を用いて、色調補正やホワイトバランスの調整、ノイズの調整などを行う。また、被写体１０１以外の被写体１０６などの不要物に対しては不要物除去やぼかし処理などを行う。不要物除去を行う場合には被写体モデル画像を用いて背景を補間する。また、図２（ｃ）のように複数の被写体領域２０１、２０２を抽出した場合には、各被写体領域に対して別々の処理を行うこともできる。
【００５２】
また、先に述べたように被写体モデルを保持している被写体以外の領域も抽出した場合には、そのカテゴリや領域に従って高画質化処理を行ってもよい。例えば、図２（ｃ）の場合には人物１０３、木１０６が抽出出来た場合には、人物や木に合わせた高画質化処理を行えばよい。
【００５３】
以上のように、本実施形態によれば、画像処理装置２０は撮影時の撮影条件から被写体の３次元モデルを取得し、被写体モデル画像を生成する。生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出し、その被写体領域に基づいて、領域ごとに高画質化処理を行うことができるようになる。被写体の３次元モデルと撮影条件から被写体モデル画像を生成することによって、精度よく識別対象画像内の被写体領域を抽出することができる。
【００５４】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態では、一度生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出したあと、被写体領域の抽出結果より撮影部の位置・方位もしくは光源情報、環境情報の再推定を行う。そして、再推定されたそれらの情報から再度被写体モデル画像を生成し、撮影画像とフィッティングさせることで撮影画像中の被写体領域を精度よく推定する。以下、図面を参照しつつ、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００５５】
図４（ｂ）に、本実施形態における画像処理装置２０の機能構成を示す。第１の実施形態と異なる点は、撮影条件再推定部５０８、被写体領域再抽出部５０９が追加されていることである。
【００５６】
第１の実施形態では撮影条件および被写体モデルを用いて、被写体モデル画像を１つないし複数作成して被写体モデル画像と撮影画像をフィッティングさせることで被写体領域を抽出していた。一方、本実施形態ではフィッティング結果をフィードバックして、撮影条件を再推定し、再度被写体領域を抽出する。この方法によりＧＰＳなどが得られる位置情報やカメラのセンサ情報などから得られる環境情報が正確ではない場合や、粗い場合にも位置情報などの撮影情報を正確に推定し、被写体領域も高精度に抽出することができる。
【００５７】
図７（ｂ）は、本実施形態における画像処理装置による処理を示すフローチャートである。本実施形態の撮影画像取得工程Ｓ２１０〜被写体領域抽出工程Ｓ２５０、画像処理工程Ｓ２８０における処理内容は、第１の実施形態における撮影画像取得工程Ｓ１１０〜被写体領域抽出工程Ｓ１５０、画像処理工程Ｓ１６０と同様である。本実施形態においてはそれ以外に撮影条件再推定工程Ｓ２６０、被写体領域再抽出工程Ｓ２７０が追加されている。
【００５８】
撮影条件再推定工程Ｓ２６０では、撮影条件再推定部５０８が被写体領域抽出工程Ｓ２５０において抽出された被写体領域推定結果から撮影条件を再推定する。再推定された撮影条件は被写体領域再抽出部５０９に送信される。次に被写体領域再抽出工程Ｓ２６０では、被写体領域抽出部５０９が撮影条件再推定工程Ｓ２６０において再推定された撮影条件から被写体モデル画像を再生成して、被写体モデル画像と撮影画像を用いて被写体領域を抽出する。抽出された被写体領域は画像処理部５０６に送信される。
【００５９】
次に、撮影条件再推定工程Ｓ２６０、被写体領域再抽出工程Ｓ２７０の具体的な処理内容を説明する。撮影条件再推定工程Ｓ２６０では、被写体領域抽出工程Ｓ２５０において抽出された被写体領域を抽出した結果から撮影条件を再推定する。具体的には、図１２で示したように被写体モデルの３次元的な位置を原点とする被写体モデル座標におけるカメラの位置・姿勢を用いる。推定された被写体モデル座標におけるカメラの位置・姿勢から、ＧＰＳ情報などから得られる位置情報に変換するために予め被写体の世界座標系における位置・姿勢情報は得ておく。得られる世界座標系におけるカメラの位置姿勢は、撮影条件取得工程Ｓ２２０において取得されたカメラの位置・姿勢より高精度な位置・姿勢となる。また、被写体の各面のテクスチャ情報も保持しておけば、撮影画像の各面のテクスチャおよび先の世界座標系におけるカメラの位置姿勢より、撮影条件取得工程Ｓ２２０において取得された環境情報より高精度な環境情報、光源情報を取得することができる。
【００６０】
被写体領域再抽出工程Ｓ２７０では、撮影条件再推定工程Ｓ２６０において再推定された撮影条件を用いて、再度被写体モデル画像を生成し、被写体モデル画像と撮影画像を用いて再度３次元モデルフィッティングを行う。それにより、被写体領域抽出工程Ｓ２５０において抽出された被写体領域よりも高精度な被写体領域を抽出することができる。
【００６１】
以上のように、本実施形態によれば、画像処理装置２０は撮影時の撮影条件から被写体の３次元モデルを取得し、被写体モデル画像を生成する。生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出し、その被写体領域に基づいて、再度撮影条件を推定する。再度推定された撮影条件から被写体モデル画像を再度生成して、撮影画像とフィッティングすることで精度よく識別対象画像内の被写体領域を抽出することができる。
【００６２】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態では、画像処理装置２０は被写体モデルを用いた被写体領域の他に、予めユーザが登録した登録物体を検出する。被写体領域の他に登録物体を検出することで、被写体領域と登録物体の両方を利用して画像処理を行うことや撮影アシストが可能になる。以下、図面を参照しつつ、本発明の第３の実施形態について説明する。なお、第１、第２の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００６３】
図５は、本実施形態における画像処理装置２０の機能構成を示す概略ブロック図である。図５（ａ）は画像処理を行う際のブロック図であり、図５（ｂ）は撮影アシストを行う際のブロック図である。図５（ａ）では、第１の実施形態の構成に加えて、登録物体検出部５１０が追加され、図５（ｂ）では、登録物体検出部５１０が追加され、画像処理部５０６の代わりに撮影アシスト部５１１が追加されている。第１、第２の実施形態においては予め被写体情報保持部に記憶されている被写体の情報を用いて被写体領域を抽出する。これに対し、本実施形態においてはユーザがそれ以外の被写体に関する情報を予め登録しておくことで、撮影時に登録された物体に関しても検出を行うことができる。
【００６４】
図７（ｃ）、（ｄ）は、本実施形態における画像処理装置２０により実行される処理を示すフローチャートである。図７（ｃ）は被写体領域と登録物体の両方を利用して画像処理を行う際のフローチャートであり、図７（ｄ）は撮影アシストを行う際のフローチャートである。図７（ｃ）、（ｄ）において、撮影画像取得工程Ｓ３１０〜被写体領域抽出工程Ｓ３５０における処理内容は、第１の実施形態の撮影画像取得工程Ｓ１１０〜被写体領域抽出工程Ｓ１５０と同様である。図７（ｃ）では、第１の実施形態の処理に加えて登録物体検出工程Ｓ３６０が追加され、画像処理工程Ｓ３７０の処理内容が異なっている。一方、図７（ｄ）では、第１の実施形態の処理に加えて登録物体検出工程Ｓ３６０が追加され、画画像処理工程Ｓ３７０の代わりに撮影アシスト工程Ｓ３８０が追加されている。
【００６５】
図７（ｃ）のフローチャートにおいて、登録物体検出工程Ｓ３６０では、登録物体検出部５１０が登録物体情報保持部に保持されている登録物体の情報を用いて撮影画像中の登録物体を検出する。検出された登録物体の検出位置および領域情報は画像処理部５０６に送信される。画像処理工程Ｓ３７０では、写体領域抽出工程Ｓ３５０で抽出された被写体領域および登録物体検出工程Ｓ３６０で検出された登録物体の検出情報に基づいて高画質化処理を行う。具体的な処理内容については後述する。
【００６６】
図７（ｄ）の場合には、登録物体検出部５１０における処理内容は図７（ｃ）と同様であるが、画像処理工程Ｓ３７０の代わりに撮影アシスト工程Ｓ３８０が追加されている。撮影アシスト工程Ｓ３８０では、撮影アシスト部５１１は被写体領域抽出工程Ｓ３５０で抽出された被写体領域および登録物体検出工程Ｓ３６０で検出された登録物体の検出情報に基づいてユーザに対して撮影アシストを行う。
【００６７】
次に、図７（ｃ）のフローチャートに従い、登録物体検出工程Ｓ３６０および画像処理工程Ｓ３７０の処理内容をより具体的に説明する。登録物体検出工程Ｓ３６０では、ユーザが予め登録していた物体や人物を検出する。例えば、ユーザが子供の写真を登録すれば撮影した撮影画像から被写体モデルを用いて抽出する被写体以外に、子供領域を検出する。
【００６８】
ここで、先に登録物体の登録方法について説明する。図１５に、本実施形態における登録物体画像設定部２１の機能構成の概略ブロック図を示す。また、登録物体画像設定部２１による処理を示すフローチャートを図１６に示す。登録物体画像取得工程Ｔ１１０では、撮影部５００で撮影された登録物体画像を取得する。ここでは、撮影部によって撮影することによって登録物体画像を取得することにしているが、予め撮影部によって撮影しておいた画像を登録してもよい。また登録物体検出精度を向上するため複数枚登録することが望ましい。次に、登録物体情報設定工程Ｔ１２０では、登録物体画像取得工程Ｔ１１０で取得された登録物体の情報を設定する。例えば、ユーザが子供の写真を登録する場合には、ユーザインターフェースなどを用いて“子供”というタグを付与する。その他にも“犬”や“車”などのタグを付与する。図１７は、本実施形態における登録物体領域の設定の例を示す図である。図１７（ａ）、（ｂ）に示すように、ユーザがその登録物体７０１に対して登録物体領域７０２を設定してもよい。また、登録物体情報保持部５１５に登録物体の画像を保持してもよいが、登録された登録物体の画像もしくは登録物体領域から特徴量を取得して保持しておけばよい。特徴量の例としては画像（領域）内の色特徴やテクスチャ特徴の統計量を用いればよい。例えば、
・ＲＧＢ、ＨＳＶ、Ｌａｂ、ＹＣｂＣｒ色空間の各成分
・Ｇａｂｏｒ  ｆｉｌｔｅｒ、ＬｏＧのフィルタ応答
を用いるとする。色特徴は４（色空間）×３（成分）の１２次元となる。また、フィルタ応答に関してはＧａｂｏｒ  ｆｉｌｔｅｒ、ＬｏＧフィルタの数に対応した次元数となる。画像（領域）の特徴づけを行うため、画像（領域）の内の画素ごとに得られる特徴量から統計量を求める。用いる統計量は、平均、標準偏差、歪度、尖度の４つを用いるとする。歪度は分布の非対称性の度合いを示し、尖度は分布が平均の近くに密集している度合いを示す統計量である。よって、色特徴は４（色空間）×３（成分）×４（統計量）の４８次元となり、テクスチャ特徴の次元数は（フィルタ応答数）×４（統計量）となる。この特徴量と登録物体情報を登録物体情報保持部に保持しておけばよい。
【００６９】
次に、設定された登録物体の情報に従って、撮影画像から登録物体を検出する方法について説明する。撮影画像から登録物体情報設定工程Ｔ１２０で設定した特徴量を取得する。登録物体の領域を設定した場合には、画像から同サイズの領域を切り出してその領域から特徴量を取得すればよい。その取得された特徴量と登録された特徴量とを比較して類似度が閾値以上であれば登録物体であると判断する。登録物体であると判断された場合にはその登録物体の位置および領域の情報は、次の画像処理工程Ｓ３７０で利用される。本実施形態では特徴量を比較して登録物体であるかを判断したが、顔などを登録した場合には非特許文献４に示されているような顔認証技術を用いてもよい。
【００７０】
画像処理工程Ｓ３７０では、被写体領域抽出工程Ｓ３５０、登録物体検出工程Ｓ３６０で抽出、検出された被写体領域、登録物体検出情報を用いて撮影画像に対して高画質化処理を行う。具体的には、被写体領域および登録物体領域に合わせてホワイトバランスを調整したり、その領域のコントラストが最大になるように現像パラメータを調整する。被写体領域および登録物体領域以外の領域に対しては、第１の実施形態と同様に不要物除去するか、領域分割の手法を適用してカテゴリに応じた高画質化処理を行う。
【００７１】
次に、図７（ｄ）のフローチャートに従い、撮影画像に高画質化処理を行うのではなく、ユーザに対して撮影パラメータや構図を提示する撮影アシストを行う場合の処理の詳細について説明する。
【００７２】
撮影アシスト工程Ｓ３８０では、被写体領域抽出工程Ｓ３５０、登録物体検出工程Ｓ３６０で抽出、検出された被写体領域、登録物体検出情報を用いてユーザに対して撮影アシストを行う。具体的には、被写体領域および登録物体領域、またその位置に従いユーザに対してその被写体および登録物体を好適な構図で撮影できるようにカメラ位置、アングルもしくは登録物体の位置をユーザに提示する。被写体領域抽出工程Ｓ３５０の処理の際に３次元モデルフィッティングを用いた場合には、被写体とカメラの３次元位置姿勢が詳細に得られているため、正確にカメラ位置をアシストすることができる。また、被写体の３次元位置および登録物体のおよその３次元位置から、その２つの領域を被写界深度に収める撮影パラメータをユーザに提示することができる。その他、第１の実施形態と同様に、被写体および登録物体の色情報からそれを現在の環境において撮影するのに好適なパラメータを提示してもよい。
【００７３】
以上のように、本実施形態によれば、画像処理装置２０は撮影時の撮影条件から被写体の３次元モデルを取得し、被写体モデル画像を生成する。生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出する。さらに、予めユーザが登録した物体を検出し、その物体検出結果と被写体領域に基づいて高画質化処理を行うことができるようになる。また、その物体検出結果と被写体領域に基づいてユーザに対して撮影アシストを行うことができるようになる。
【００７４】
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態では、被写体領域を抽出したあと、抽出された被写体領域と保持されている被写体モデルとを比較し、被写体の時間的な変化を検出する。被写体とモデルの差異が大きい場合には、被写体モデルの該当部分を更新するか、もしくは撮影画像中の被写体の該当部分を被写体モデルの該当部分に変更する。これにより、モデルの更新を可能にしたり、被写体が劣化した場合に被写体モデルを利用して撮影画像を生成することができる。以下、図面を参照しつつ、本発明の第４の実施形態について説明する。なお、第１〜第３の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００７５】
図６は、各実施形態における画像処理装置２０の機能構成を示す概略ブロック図であり、図６（ａ）が本実施形態の概略ブロック図である。本実施形態の画像処理装置２０では、第１の実施形態の構成に加えて、被写体情報評価部５１２が追加されている。被写体情報評価部の具体的な処理内容については後述する。
【００７６】
本実施形態の画像処理装置２０による画像処理を示すフローチャートを図７（ｅ）に示す。本実施形態の撮影画像取得工程Ｓ４１０〜被写体領域抽出工程Ｓ４５０における処理内容は、第１の実施形態における撮影画像取得工程Ｓ１１０〜被写体領域抽出工程Ｓ１５０と同様である。本実施形態においては、それ以外に被写体情報評価工程Ｓ４６０が追加されている。また、画像処理工程Ｓ４７０の処理内容が変更されている。
【００７７】
被写体情報評価工程Ｓ４６０では、被写体情報評価部５１２が被写体領域抽出工程Ｓ４５０において抽出された被写体領域の情報と被写体情報保持部５０７に保持された被写体の情報を比較して、現状の被写体の状態を評価する。評価結果は画像処理部５０６に送信する。画像処理工程Ｓ４７０では、被写体領域抽出工程Ｓ４５０において抽出された被写体領域と被写体情報評価工程Ｓ４６０において評価された現状の被写体情報を用いて撮影画像に対して高画質化処理を行う。
【００７８】
次に、図７（ｅ）のフローチャートに従い、被写体情報評価工程Ｓ４６０および画像処理工程Ｓ４７０の処理内容を具体的に説明する。
【００７９】
被写体情報評価工程Ｓ４６０では、被写体領域抽出工程Ｓ４５０において抽出された被写体領域の情報と被写体情報保持部５０７に保持された被写体の情報を比較して、現状の被写体の状態を評価する。具体的には、被写体の３次元位置・姿勢情報から撮影画像上の各被写体面のテクスチャと被写体情報保持部に保持されている各被写体面のテクスチャを比較する。そして、大きく違う面および面の一部があれば次の画像処理工程Ｓ４６０において被写体モデル保持部に保持されている被写体モデルの該当箇所の色情報・テクスチャ情報で置換する。もしくは被写体モデル情報を現状の被写体の状態に合わせて更新する。他の画像処理工程の処理内容については、第１〜第３の実施形態と同様であるため、説明を省略する。
【００８０】
以上のように、本実施形態によれば、画像処理装置２０は撮影時の撮影条件から被写体の３次元モデルを取得し、被写体モデル画像を生成する。生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出する。その被写体領域抽出結果に基づいて、被写体モデルの表面反射特性情報と撮影画像中の被写体領域を比較し、モデルとの差異を検出する。これによりモデルの更新を可能にしたり、被写体が劣化した場合に被写体モデルを利用して撮影画像を生成することができる。
【００８１】
［第５の実施形態］
次に、本発明の第５の実施形態について説明する。本実施形態では、被写体モデルを追加することを可能にした構成について説明する。以下、図面を参照しつつ、本発明の第５の実施形態について説明する。なお、第１〜第４の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００８２】
本実施形態における画像処理装置２０の機能構成を示す概略ブロック図を図６（ｂ）に示す。本実施形態の画像処理装置２０では、第１の実施形態の構成に加えて被写体情報追加部５１３が追加されている。被写体情報追加部の具体的な処理内容については後述する。
【００８３】
図７（ｆ）に、本実施形態の画像処理時により実行される処理を示すフローチャートを示す。本実施形態の撮影画像所得工程Ｓ５１０〜被写体領域抽出工程Ｓ５５０における処理内容は、第１の実施形態の撮影画像取得工程Ｓ１１０〜被写体領域抽出工程Ｓ１５０と同様である。また、本実施形態においては、それ以外に被写体情報追加工程Ｓ５６０が追加されている。被写体情報追加工程Ｓ５６０では、被写体情報追加部５１３が被写体領域抽出工程Ｓ５５０において抽出された被写体領域の情報に基づいて被写体情報を被写体情報保持部に追加する。追加された被写体情報は他の撮影画像の高画質化処理の際に利用される。
【００８４】
次に、図７（ｆ）のフローチャートに従い、被写体情報追加工程Ｓ５６０の処理内容をより具体的に説明する。被写体情報追加工程Ｓ５６０では、被写体領域抽出工程Ｓ５５０において抽出された情報に基づいて被写体情報を追加する。追加する情報はカメラの３次元位置・姿勢、被写体を撮影した環境および光源情報、撮影パラメータ、被写体の各面のテクスチャ情報などである。それらを被写体情報保持部に保持しておくことで、次回以降に撮影した際にその情報を利用することができる。
【００８５】
以上のように、本実施形態によれば、画像処理装置２０は撮影時の撮影条件から被写体の３次元モデルを取得し、被写体モデル画像を生成する。生成された被写体モデル画像と撮影画像をフィッティングさせることで撮影画像中の被写体領域を抽出する。その抽出した被写体領域の情報を画像処理装置の被写体情報保持部に追加登録することで、より多くの被写体情報を高画質化処理に利用することができる。さらに、このような手法を適用することでユーザがその被写体をよく撮るカメラの位置・姿勢や撮影パラメータでのデータを効果的に増やすことができ、高画質化処理の精度を向上することができる。
【００８６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
５０１  撮影画像取得部
５０２  撮影条件取得部
５０３  被写体情報取得部
５０４  被写体モデル画像生成部
５０５  被写体領域抽出部
５０６  画像処理部
５０７  被写体情報保持部
【図１】
2019045993.tif 000012
【図２】
2019045993.tif 000013
【図３】
2019045993.tif 000014
【図４】
2019045993.tif 000015
【図５】
2019045993.tif 000016
【図６】
2019045993.tif 000017
【図７】
2019045993.tif 000018
【図８】
2019045993.tif 000019
【図９】
2019045993.tif 000020
【図１０】
2019045993.tif 000021
【図１１】
2019045993.tif 000022
【図１２】
2019045993.tif 000023
【図１３】
2019045993.tif 000024
【図１４】
2019045993.tif 000025
【図１５】
2019045993.tif 000026
【図１６】
2019045993.tif 000027
【図１７】
2019045993.tif 000028