(57)【要約】【課題】オブジェクトの輪郭抽出について、従来は抽出結果が間違っていた場合の影響が考慮されておらず、「できる限り正確に抽出する」だけのアプローチとなっていた。言い換えると、誤差が保証されない輪郭抽出となっていた。【解決手段】概略抽出部で、原画像中のオブジェクトの大まかな輪郭（概輪郭）を抽出する。概輪郭を基に、形状抽出部で詳細な輪郭（詳細輪郭）を抽出する。概略抽出条件決定部は、テンプレートサイズなどの設定条件と必要な画像処理内容を決定し、概略算出部が設定条件で概輪郭を算出する。形状抽出条件決定部は、詳細輪郭の抽出に必要な条件の設定を行い、形状算出部で詳細輪郭を抽出する。このとき、予め決められた誤差範囲内に抽出結果が収まるよう、テンプレートサイズをはじめとする設定条件や詳細抽出条件などが決定される。【選択図】図１
2006133941.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
画像中の物体の概略を抽出する概略抽出部を有し、
前記概略抽出部が概略を抽出した前記物体の形状を抽出する形状抽出部を有し、
前記形状抽出部は前記物体の境界に対し、
前記概略抽出部が概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出することを特徴とする画像処理装置。
【請求項２】
前記物体は人間の顔もしくは頭部であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記所定の量の範囲を前記物体の大きさを用いて所定の算出式で決定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記物体は人間の顔もしくは頭部であり、
前記所定の量の範囲を前記顔の大きさもしくは頭部の大きさを用いて所定の算出式で決定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像処理装置であって、
前記物体は複数であることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の画像処理装置であって、
抽出された前記輪郭の形状を基に、前記輪郭が正しく前記物体を抽出できているかどうかを判定する抽出結果判定部を有し、
抽出結果を出力する抽出結果出力部を有し、
前記抽出結果判定部が正しく抽出できていると判定した場合に前記抽出結果出力部を介して前記輪郭情報を出力することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
抽出された前記輪郭の形状を基に前記抽出結果判定部が正しく前記物体を抽出できていないと判定した場合に、前記概略抽出部もしくは前記形状抽出部の少なくとも一つにフィードバックされ、前記概略抽出部もしくは前記形状抽出部では、フィードバックされた情報を基にそれぞれの抽出時における処理条件を変更し再び抽出処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の画像処理装置であって、
前記概略抽出部は、概略抽出条件決定部と概略抽出画像処理部と概略算出部を有し、
前記概略算出部は、所定の条件に伴って概略の抽出処理を行い、
前記概略抽出画像処理部は、
前記概略算出部での概略の抽出処理に用いる画像に対して所定の処理を行い
前記概略抽出条件決定部は、
前記概略算出部での概略の抽出処理に必要な前記所定の条件を設定し、
前記概略画像処理部での画像の処理に必要な前記所定の処理を設定することを
特徴とする画像処理装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の画像処理装置であって、
前記形状抽出部は、形状抽出条件決定部と形状抽出画像処理部と形状算出部を有し、
前記形状算出部は、所定の条件に伴って対象物の抽出処理を行い、
前記形状抽出画像処理部は、前記形状算出部での対象物の抽出処理に用いる画像に対して所定の処理を行い、
前記形状抽出条件決定部は、前記形状算出部での対象物の抽出処理に必要な前記所定の条件を設定し、前記形状画像処理部での画像の処理に必要な前記所定の処理を設定することを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置であって、
前記概略算出部は、テンプレートマッチングに基づいて概略位置と形状を算出し、
前記概略抽出画像処理部は、マッチングを行う領域の切り出し、もしくはモザイク化、もしくはフィルタ処理、もしくはノイズ除去、もしくは階調変更処理、の少なくとも一つを行い、
前記形状抽出条件決定部は、マッチングを行う為の領域のサイズ、もしくはテンプレートのサイズ、もしくはモザイク化するサイズ、もしくはフィルタ処理の種類・段数・フィルタサイズ・フィルタ係数の少なくとも一つ、もしくはノイズ除去の手法・ノイズ除去サイズの少なくとも一つ、もしくは階調変更処理の変更後の階調数、の少なくとも一つを決定することを特徴とする画像処理装置。
【請求項１１】
請求項８に記載の画像処理装置であって、
前記概略算出部は、ニューラルネットに基づいて概略位置と形状を算出し、
前記概略抽出画像処理部は、ニューラルネットに入力する領域の切り出し、もしくはモザイク化、もしくはフィルタ処理、もしくはノイズ除去、もしくは階調変更処理、の少なくとも一つを行い、
前記形状抽出条件決定部は、ニューラルネットに入力する領域サイズ、もしくはモザイク化するサイズ、もしくはフィルタ処理の種類・段数・フィルタサイズ・フィルタ係数の少なくとも一つ、もしくはノイズ除去の手法・ノイズ除去サイズの少なくとも一つ、もしくは階調変更処理の変更後の階調数、の少なくとも一つを決定することを特徴とする画像処理装置。
【請求項１２】
請求項９に記載の画像処理装置であって、
前記形状算出部は、反復的な収束演算によって動的な動作を行う輪郭抽出手段に基づいて輪郭を抽出し、
前記形状抽出画像処理部は、ノイズ除去、もしくはフィルタ処理、もしくはモフォロジ変換処理、もしくは階調変更処理、の少なくとも一つを行い、
前記形状抽出条件決定部は、前記収束演算の制御項の種類、もしくは前記収束演算の前記制御項の重み付け、もしくは前記収束演算の最大反復回数、もしくはノイズ除去の手法・ノイズ除去サイズの少なくとも一つ、もしくはモザイク化するサイズ、もしくはフィルタ処理の種類・段数・フィルタサイズ・フィルタ係数の少なくとも一つ、もしくはモフォロジ変換処理の作用子の種類・サイズの少なくとも一つ、もしくは階調変更処理の変更後の階調数、の少なくとも一つを決定することを特徴とする画像処理装置。
【請求項１３】
請求項１から請求項９のいずれか一項に記載の画像処理装置であって、
抽出条件入力部を有し、
前記所定の量の範囲は前記抽出条件入力部を介して入力され、
前記抽出条件入力部を介して前記所定の量の範囲が入力された場合には、前記入力された値を前記所定の量の範囲として優先して用い、
前記抽出条件入力部を介して前記所定の量の範囲が入力されなかった場合には、後段で前記物体の概略情報に基づき決定される前記所定の量の範囲を用いて、前記形状抽出部が対象物の形状を抽出することを特徴とする画像処理装置。
【請求項１４】
請求項１０または請求項１１に記載の画像処理装置であって、
抽出条件入力部を有し、
前記所定の量の範囲は前記抽出条件入力部を介して入力され、
複数の前記所定の量の範囲が設定された場合には、前記入力された値を前記所定の量の範囲として優先して用い、
前記形状抽出条件決定部は前記サイズの決定、もしくは前記種類の決定、もしくは前記係数の決定、もしくは前記段数の決定、もしくは前記階調数の決定、の少なくとも一つを、前記所定の量の範囲に応じて決定することを特徴とする画像処理装置。
【請求項１５】
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記形状抽出ステップは前記物体の境界に対し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出することを
特徴とする画像処理方法。
【請求項１６】
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出し、
前記物体は特に人間の顔もしくは頭部であることを
特徴とする画像処理方法。
【請求項１７】
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出し、
前記所定の量の範囲を前記物体の大きさを用いて所定の算出式で決定することを
特徴とする画像処理方法。
【請求項１８】
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出し、
前記物体は特に人間の顔もしくは頭部であり、
前記所定の量の範囲を前記顔の大きさもしくは頭部の大きさを用いて所定の算出式で決定することを
特徴とする画像処理方法。
【請求項１９】
請求項１５から請求項１８のいずれか一項に記載の画像処理方法であって、
前記物体は複数であることを
特徴とする画像処理方法。
【請求項２０】
請求項１５から請求項１９のいずれか一項に記載の画像処理方法であって、
抽出された前記輪郭を基に前記物体を変形させるための物体変形ステップを有することを
特徴とする画像処理方法。
【請求項２１】
請求項２０に記載の画像処理方法であって、
前記物体変形ステップはモーフィングもしくはアフィン変換を用いて前記物体を変形させることを
特徴とする画像処理方法。
【請求項２２】
請求項１５から請求項１８のいずれか一項に記載の画像処理方法であって、
量指定ステップを有し、
前記量指定ステップは前記所定の量の範囲を指定することができ、
更に、抽出不能通知ステップを有し、
前記抽出不能通知ステップは、
前記量指定ステップで指定された前記所定の量の範囲内で
前記形状抽出ステップが輪郭情報を抽出できなかった場合に、
外部に所定の通知を行うこと
特徴とする画像処理方法。
【請求項２３】
コンピュータに請求項１５に含まれる全てのステップを実行させるためのプログラム。
【請求項２４】
コンピュータに請求項１６に含まれる全てのステップを実行させるためのプログラム。
【請求項２５】
コンピュータに請求項１７に含まれる全てのステップを実行させるためのプログラム。
【請求項２６】
コンピュータに請求項１８に含まれる全てのステップを実行させるためのプログラム。
【請求項２７】
コンピュータに請求項１９に含まれる全てのステップを実行させるためのプログラム。
【請求項２８】
コンピュータに請求項２０に含まれる全てのステップを実行させるためのプログラム。
【請求項２９】
コンピュータに請求項２１に含まれる全てのステップを実行させるためのプログラム。
【請求項３０】
コンピュータに請求項２２に含まれる全てのステップを実行させるためのプログラム。
【請求項３１】
画像表示装置を有する携帯型端末であって、
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記形状抽出ステップは前記物体の境界に対し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を
前記物体の輪郭情報として抽出する画像処理ステップを有する
ことを特徴とする携帯型端末。
【請求項３２】
画像表示装置を有する携帯型端末であって、
画像中の物体の概略を抽出する概略抽出ステップを有し、
前記概略抽出ステップが概略を抽出した前記物体の形状を抽出する形状抽出ステップを有し、
前記形状抽出ステップは前記物体の境界に対し、
前記概略抽出ステップが概略を抽出した前記物体の概略情報に基づき
所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出し、
前記物体は特に人間の顔もしくは頭部であり、
前記所定の量の範囲を前記顔の大きさもしくは頭部の大きさを用いて所定の算出式で決定することを
特徴とする携帯型端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の輪郭抽出技術に類するものである。画像中の人や物・動物・建造物といった物体を抽出する際に物体の輪郭抽出の精度を保証することで、抽出結果を利用するシステム・アプリケーションが目的に応じた境界を取得することを可能とし、各種アプリケーションの品質を大きく向上させるものである。
【背景技術】
【０００２】
従来の静止画から輪郭情報を得る方法（特に顔情報）としては、似顔絵を作成するためのシステムとして特許文献１が挙げられる。
【０００３】
また、被写体を抽出するシステムとして特許文献２が挙げられる。
【０００４】
また、顔の特徴量を抽出するシステムとして特許文献３が挙げられる。
【０００５】
また、顔の位置を検出する既存技術のサーベイとして非特許文献１、非特許文献２が挙げられる。
【特許文献１】特開２０００−３１１２４８号公報
【特許文献２】特開２００１−１９７２８９号公報
【特許文献３】特開平８−７７３３４号公報
【非特許文献１】Ｍ．−Ｈ．Ｙａｎｇ，  Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ  ａｎｄ  Ｎ．Ａｈｕｊａ，“Ｄｅｔｅｃｔｉｎｇ  ｆａｃｅｓ  ｉｎ  ｉｍａｇｅｓ：  ａ  ｓｕｒｖｅｙ”，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．１，２００２，３４−５８．
【非特許文献２】Ｅ．Ｈｊｅｌｍ，Ａ．Ｗ．Ｍ．Ｓｍｅｓ  ａｎｄ  Ｂ．Ｋｅｅ  Ｌｏｗ，“Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ：  ａ  ｓｕｒｖｅｙ”，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ，Ｖｏｌ．８３，Ｎｏ．３，２００１，２３６−２７４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、何れの場合においても、顔もしくは物体の特徴量、特に輪郭の抽出について従来よりも安定した抽出が行われることを謳っているが、抽出された結果を利用する段階において抽出結果が間違っていた場合に対する影響が考慮されておらず、「できる限り正確に抽出する」だけのアプローチとなっていた。
【０００７】
実際の利用シーンを考えた場合、輪郭抽出結果の間違いによる影響は必ずしも無視できる程度に収まるとは限らない。特に人物の顔を用いたアプリケーションなどでは、問題は重大なものになる。
【０００８】
例えば、静止状態の顔（静止画中の顔）の輪郭などを抽出し、輪郭を用いて顔をモーフィング等で動かす例を考えると、輪郭が大きく外れている場合は論外であり、ほぼ正しく抽出できている場合においても、輪郭線に顔外部の背景が含まれているなどした場合には非常に実行時の品質が劣って見える結果となる。
【０００９】
言い換えると、輪郭を抽出する際に１ドットの狂いも無く輪郭を抽出できるのであれば何の問題も発生しないが、実用上、ある程度の誤差が発生することは避けられない。
【００１０】
すなわち、従来の抽出技術では誤差に対する検討が不十分であり、結果としてそれを用いたアプリケーション等を考えた場合に品質低下を招くという問題がある。
【００１１】
図２の画像例（Ａ）に対して、オブジェクトを抽出した従来例をオブジェクト抽出例（Ｂ）として模式的に示している。抽出結果を利用するアプリケーションから見ると、このような結果ではアプリケーション自身の品質低下を招きかねないが、従来は、オブジェクトの抽出に対して「どれだけの誤差を許容するか」といった観点での条件付けを行うものが存在せず、誤差の吸収は結果を利用するアプリケーションに任されていた。
【課題を解決するための手段】
【００１２】
上記の従来課題を解決するために、本発明に係る画像処理装置は、画像中の物体の形状を抽出する形状抽出部を有し、前記形状抽出部は前記物体の境界に対し、所定の量の範囲だけ内部（内側）もしくは外部（外側）を前記物体の輪郭情報として抽出することができる。
【００１３】
本構成によって、画像処理装置が物体の輪郭を抽出する際に、物体の輪郭に対する抽出精度が事前に予測でき、その精度誤差を吸収したシステムの構築が可能となる。常に物体の内部もしくは外部を所定の量の範囲の誤差で（例えば１０ピクセル以内などで）抽出することが保証されるために、アプリケーションの品質向上が期待できる。
【００１４】
また、本発明に係る画像処理装置は、特に対象物を物体は特に人間の顔もしくは頭部であることとしても良い。また、対象物の大きさを用いて所定の算出式で所定の量の範囲を決定しても良く、対象物が複数であっても良い。
【００１５】
これらの構成により、さらに抽出精度の向上が見込め、抽出精度の予測も高まり、更なるアプリケーションの品質向上が期待できる。
【００１６】
また、本発明に係る画像処理装置は、抽出された前記輪郭を基に前記物体を変形させるための物体変形部を有しても良い。また、前記物体変形部はモーフィングもしくはアフィン変換を用いて前記物体を変形させることもできる。
【００１７】
これらの構成により、更に正規化された情報として物体の情報を提供することができるとともに、抽出された物体が動作しているように表示することも可能となり、アプリケーションの品質向上が期待できる。
【００１８】
また、本発明に係る画像処理装置は抽出される物体が複数であっても良い。
【００１９】
これらの構成により、更に抽出の手間が削減され、ユーザの利便性が向上し、システム処理の高速化が期待できる。
【発明の効果】
【００２０】
本発明の画像処理装置によれば、抽出される物体の境界線が物体の内部もしくは外部にあることが保障される。それによりアプリケーションの目的に応じた境界を取得することが可能になり、各種アプリケーションの品質が大きく向上する。
【発明を実施するための最良の形態】
【００２１】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（実施の形態１）
図１に、本実施の形態における画像処理装置のブロック構成を模式的に示す。
【００２３】
まず、処理対象となる原画像は画像入力部１０１より入力される。また、外部アプリケーションやシステム、ユーザが抽出に対して要求条件がある場合には、抽出条件入力部１０４を通じて入力しても良い。
【００２４】
画像入力部１０１及び抽出条件入力部１０４から入力されたデータから、概略抽出部１１０で、原画像中のオブジェクトの大まかな輪郭（概輪郭）が抽出される。
【００２５】
概略抽出部１１０で抽出された概輪郭を基に、形状抽出部１２０で原画像中のオブジェクトの詳細な輪郭（詳細輪郭）が抽出される。
【００２６】
抽出された詳細輪郭が正常かどうかを抽出結果判定部１０６で判定し、正常であれば抽出結果出力部１０８を介して、抽出結果を出力する。
【００２７】
また、正常ではないと判断された場合にも、そのまま抽出結果出力部１０８を介して抽出結果を出力しても良いが、抽出条件入力部１０４や後述する概略抽出条件決定部１１１、形状抽出条件決定部１２１に抽出精度を向上できるように、情報をフィードバックし、再度抽出を行うこともできる。
【００２８】
さて、次に概略抽出部１１０と形状抽出部１２０それぞれの内部動作を示す。
【００２９】
概略抽出部１１０では、概略抽出の条件を決定する概略抽出条件決定部１１１で、与えられた抽出要件に必要な、テンプレートのサイズなどの設定条件と、それに必要な画像処理内容を決定する。
【００３０】
概略抽出画像処理部１１２では、概略抽出条件決定部１１１で決定された条件を基に概輪郭を抽出する為の画像処理が行われる。
【００３１】
概略算出部１１４では、概略抽出画像処理部１１２で処理された画像に対して、概略抽出条件決定部１１１で決められた設定条件で概輪郭を算出する。この際、概輪郭抽出に必要なテンプレート等のデータを、概略抽出用設定ＤＢ部１１３に格納しておき、必要に応じて概略算出部１１４がロードして利用することもできる。
【００３２】
概略算出部１１４の概略抽出方法として、テンプレートマッチングやニューラルネットなどにより、オブジェクトのおおよその位置を抽出する方法などを用いることができる。もちろん、手法はこれらに限ること無く既存の任意の手法を用いることができる。
【００３３】
更に、概略算出部１１４が複数の抽出手法を持っていても良く、概略抽出条件決定部１１１が、要求条件に応じて適切な手法を都度概略算出部１１４で用いる概略抽出方法として選択決定しても良い。例えば、演算量の比較的大きい処理と比較的小さい処理が有った場合に、速度優先か精度優先かで選択することもできる。
【００３４】
概略算出部１１４の動作例として、テンプレートマッチングを用い輪郭抽出の対象とするオブジェクトが人物（顔）であるとした場合を、図９に模式的に示している。この例では、画像例（Ａ）のような人物の顔を対象としている。この画像例（Ａ）を所定の大きさでモザイク化したものが画像処理例（Ｂ）である。ここで、検出対象のテンプレートのサイズ及び粒度が検出精度（特に位置）の精度を左右する。また、サイズに応じた粒度に入力された画像を変換（モザイク化）することはテンプレートマッチングの一般的な手法であるが、ここでモザイク化する大きさ（粒度）は、概略抽出条件決定部１１１で決めても良い。
【００３５】
例えば、要求されている誤差範囲に応じてモザイクの粒度を決めることができる。
【００３６】
たとえば、要求されている誤差精度が「プラスマイナスｎピクセル」であった場合、ｎ×ｎピクセル以下にモザイクサイズ及びテンプレートサイズを設定することで、テンプレートマッチングを行った際の検出位置精度を対象の「プラスマイナスｎピクセル」以内に収めることができる。この際のポイントは、既存の手法を用いると、物体の（形状ではなく）概略位置を要求誤差以内に検出することが可能であるという点である。逆に言うと、要求誤差以内に物体の形状を抽出することができないことがポイントであり、本発明が解決したい課題である。
【００３７】
要求誤差精度について、模式的に示したものが図３である。図３（Ａ）は顔を対象とした場合の正解輪郭例を示している。正解輪郭線例３０２に対して、オブジェクトの高さ及び幅を基準にして一定の範囲だけ、内部に抽出限界を設定した例が図３（Ｂ）である。ここでは、オブジェクト幅推定線３０４として目の高さの横線を、オブジェクト高さ推定線３０６として鼻と眉間を結ぶ縦線を設定している。この縦横線を基準に、内部方向に所定の範囲（例えば５％）だけ内部に輪郭線を縮小したものを抽出限界領域線３０８として模式的に示している。同様に図４では、オブジェクト外部に限界線を設定した例を示している。
【００３８】
図３と同様、抽出限界領域線４０２はオブジェクト外部方向に所定の範囲（例えば５％）だけ拡大したものを模式的に示している。
【００３９】
ユーザやシステムは、このような詳細輪郭の抽出限界を設定し、もしくはこのような抽出限界内での抽出結果出力を要求することで、出力結果を認識や認証、分類、アプリケーション、エンターテイメント向け応用、ＦＡなどにより安定した条件で用いることが可能となる。アプリケーション例として、オブジェクトに顔を想定した場合の例を図５に示す。図５では、原画像での顔の傾きを顔傾き線Ａ（５０２）で示している。顔の輪郭を抽出した後、顔を「傾ける」処理を加えた例を模式的に示した図である。先の顔傾き線Ａ（５０２）が、顔傾き線Ｂ（５０４）になるように変形されている。ここで、アプリケーションは輪郭抽出処理に対して所定誤差範囲内での抽出処理を要求し、もしくは輪郭抽出処理が所定誤差範囲内での抽出処理結果の出力を保証することで、他の背景等への影響をより抑えた加工処理が可能となる（もしくは予め誤差範囲が予測できるので、影響が予想される範囲だけフィルタ等で表示をぼかす等の事前／事後処理を行うことができる。）。
【００４０】
実際には、対象となるオブジェクトの形が事前に判らない場合も多い。図３や図４のように正解輪郭に対して抽出限界を設定することが困難になる場合も発生し得るが、このときは概輪郭の横幅・縦幅に対して限界値を設定することもできる。
【００４１】
なお、先に述べたようなテンプレートマッチングのサイズやテンプレートなどを変えることによる検出位置のずれを所定範囲内に収める方法と組み合わせることで、よりユーザ要求（誤差範囲要求）に対して柔軟な対応も可能でなる。
【００４２】
図６（Ｂ）には、概輪郭に対して詳細輪郭の抽出領域を設定する場合の例を示している。概形輪郭線例６０２が概輪郭として抽出された場合に、概形最大横幅６０４と概形最大縦幅６０６をそれぞれ概形輪郭線例６０２の最も長い縦幅・横幅から算出し、それをもとに先の図３、図４の例のように所定の範囲だけ拡大縮小して抽出領域を設定することが可能である。このとき、概輪郭抽出のベースとしてテンプレートマッチを用いれば、この所定の検索範囲をテンプレートマッチによる検出位置のずれ量と組み合わせることにより、より抽出精度を高めることもできる。テンプレートによる検出精度を詳細輪郭の抽出領域の設定に対応付けるのである。例えば、図９（Ｂ）の各モザイクが８×８ピクセルの小ブロックであるとした場合、（０，０）から（７，７）の位置の画素が左上のモザイクの１ブロックを形成するが、ここでｊ＝０〜７，ｋ＝０〜７のｊ，ｋによって（ｊ，ｋ）から（ｊ＋７，ｋ＋７）の位置の画素でブロックを別途モザイク画像を生成すると考える。少しずつ縦横にずれた複数のモザイク画が用意されることになる。この複数のモザイク画に対して、それぞれテンプレートマッチングを実施すると、さきの（０，０）から（７，７）を１ブロックとした場合と違った出力が得られる。この偏移分布を詳細輪郭の存在確率とみなし、例えば横方向に偏移量が少なく、縦方向に偏移量が多かった場合には、詳細領域の抽出領域を横方向には限定的に設定することにより、より精度の高い抽出が望まれる。もちろん、これは端的な例であり、詳細輪郭の抽出領域を設定がこの例に限定されるものでないことは言うまでもない。
【００４３】
ところで顔の検出については、実際には、テンプレートマッチによる検出位置の正誤を肌色情報を用いて事前判定／追加判定する例や、ニューラルネットによる検出結果をＢＯＯＳＴＩＮＧ等の判定機を（場合によっては複数段）用いることにより高精度に位置の検出を行う例など、物体に特化した特徴を用いて、認識段階の失敗を減らすような努力が行われている。詳しくは例えば非特許文献１や非特許文献２に技術サーベイが記述されている。また、ＢＯＯＳＴＩＮＧ等の判定式設計については、例えば以下の文献に詳しい（Ａｎｉｌ  ｋ．Ｊａｉｎ，Ｒｏｂｅｒｔ  Ｐ．Ｗ．  Ｄｕｉｎ，  Ｊｉａｎｃｈａｎｇ  Ｍａｏ，“Ｓｔａｔｉｓｔｉｃａｌ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ：  Ａ  Ｒｅｖｉｅｗ”，  Ｖｏｌ．２２，  Ｎｏ．１，  ｐｐ．４−３７，２０００．）。
【００４４】
しかし、上記の何れの文献で参照されている技術についても、輪郭の検出精度について言及されたものが無いことに重ねて注目されたい。
【００４５】
さて、このように抽出された対象物のおおよその位置・大きさに応じて概略算出部１１４では概輪郭を形成する。例えば図６の概形輪郭例（Ａ）に概形輪郭線例６０２のように形成する。ここで概輪郭の形成方法は任意の数学的手段を用いることができるが、例えば概形輪郭線例６０２のように曲線として形成しても良く、また図９の概略抽出例（Ｃ）の概略領域９０８のようにテンプレートに合わせた形状（この場合は８角形）にしても良い。
【００４６】
また、画像中に複数の候補があっても良く、図７の概略輪郭候補１（７０２）、概略輪郭候補２（７０４）、概略輪郭候補３（７０６）、概略輪郭候補４（７０８）のように複数の概略輪郭候補が検出され、これを任意の手法で選択・選別しても良い。例えば選択手法としては、システムを介して（ユーザインタフェースを介して）ユーザに選択させる方法がある（図面無し）。また選別方法としては、先の肌色情報による判定方法、ＢＯＯＳＴＩＮＧによる判別方法など一般的な手法を用いることができる。
【００４７】
更に、複数の候補が有る場合として、図８のように複数の対象物が存在する場合もある。この例では、概略輪郭候補１（８０２）、概略輪郭候補２（８０４）、概略輪郭候補３（８０６）、概略輪郭候補４（８０８）、概略輪郭候補５（８１０）の５つが概輪郭の候補として表示されている。先の図７の例と同様にこれを任意の手法で選択・選別しても良い。また、抽出したい対象者を指定しても良い。
【００４８】
次に形状抽出部１２０の内部動作を示す。
【００４９】
形状抽出条件決定部１２１では、詳細輪郭の抽出に必要な条件の設定を行う。先に図３や図４，図６で示した詳細輪郭の抽出領域の設定や、対象となるオブジェクトの情報が事前に判っている場合には、それらに特有の情報を設定する。後段の形状算出部１２４で詳細輪郭を抽出する際に、そこで用いる手法に依存する各種の設定も形状抽出条件決定部１２１で行う。同時に形状算出部１２４で詳細輪郭が抽出しやすいように、形状抽出条件決定部１２１の決定に基づいて形状抽出画像処理部１２２で画像処理を行うこともできる。形状抽出画像処理部１２２での画像処理例としては、例えばノイズ除去やダイナミックレンジの補正・正規化、エッジ強調や抽出、モフォロジ変換、２値化などがあるがこの限りではなく任意の画像処理を用いることができる。
【００５０】
形状算出部１２４での詳細輪郭の抽出手法としては、パターンマッチやニューラルネットといった検出手法を詳細輪郭の抽出領域内に限定して用いる方法や、Ｓｎａｋｅｓに代表される動的な輪郭抽出方法を用いることもできる。
【００５１】
Ｓｎａｋｅｓは、柔軟性に富む輪郭抽出方法として有名である。例えば、Ｓｎａｋｅｓを形状算出部１２４の詳細抽出方法として用いる場合、輪郭（オブジェクト）のエネルギ定義（距離エネルギや輝度エネルギ、滑らかさエネルギなど）や、各エネルギの重み付け、各エネルギの計算範囲の決定などが必要となる。
【００５２】
これらを形状抽出条件決定部１２１で決定することができる。
【００５３】
例えば、抽出対象が顔と判っている場合であれば、エネルギ定義として楕円エネルギ（滑らかさエネルギの変形ともいえる）を付け加えることもできる。顔は楕円状になることが多いため、楕円に近い場合にエネルギを低くなるような関数として楕円エネルギを定義すると、より顔の形状に近い輪郭の抽出が可能となる。
【００５４】
ここで、Ｓｎａｋｅｓはエネルギ収束に基づく手法のため、対象物に対するモデリングが不正確であると、正しく対象物に収束しまう場合や、局所解に落ち込んでしまう場合、演算が発散して計算が終了しない場合などが起こり得る。
【００５５】
これらの問題を解決した手法として、対象物を限定することで、Ｓｎａｋｅｓの始動状態（初期輪郭）を対象物の周囲に設定し安定性と高速収束性を両立する手法が知られている。例えば、「動的輪郭モデルによる超音波心左室容積計測法」（山内他、２００２年６月、電子情報通信学会予稿集、ＭＥとバイオサイバネティクス研究会）などに記載されている手法がそうである。
【００５６】
この例でも開示されているように、抽出条件の決定（詳細輪郭の抽出領域の決定など）と形状算出用の画像処理（ノイズ除去やダイナミックレンジの補正・正規化、エッジ強調や抽出、モフォロジ変換、２値化など）は相互に関係して決定することができる。
【００５７】
例えば抽出条件として、エネルギ関数を緩やかにエッジ付近に収束するような関数として決定した場合、画像処理もエッジ付近に収束しやすいように孤立点を除去するようなノイズ除去（モフォロジ処理など）を行った後、エッジ強調し、抽出領域をガウシアンフィルタなどでぼかすことにより、エネルギ関数がエッジ近傍以外で局所値を持ちにくい画像とすることなどがある。
【００５８】
もちろん、これは形状抽出部１２０内部構成の一例であり、対象物の属性と画像の状態に応じて、任意に画像処理と抽出手法を組み合わせて用いて良いことは言うまでもない。
【００５９】
また、形状算出部１２４での輪郭抽出処理において、各種の変換処理（例えば周波数変換やモフォロジ変換など）を行う場合などに、変換用のテーブル（係数のルックアップテーブルやモフォロジ作用子など）を形状抽出用設定ＤＢ部１２３に保存しておき、必要に応じて読み出すこともできる。
【００６０】
もちろん、形状算出部１２４にはこれ以外にも輪郭抽出処理に必要な任意のデータを保存し、もしくは書き込み／読み出すことができることは言うまでもない。
【００６１】
例えば、過去の抽出結果を書き込み、将来の抽出に反映する、という学習型のデータベースとして機能しても良い。
【００６２】
また、抽出領域の設定例を、図１２・図１３で模式的に記している。図１２の概略領域１２０２に対して、それぞれ幅ｎ、幅ｍを持つ外側探索範囲境界１２０１と内側探索範囲境界１２０３がそれにあたる。この幅ｎ、幅ｍは要求誤差に応じて決定される。これをより具体的に記したものが図１３である。図６（Ａ）の概形輪郭線例６０２のように抽出された概輪郭（概略領域１３０２）から、探索範囲を所定の誤差範囲（ここではプラスマイナス１５％と仮定）内に収まるように設定している。外側探索範囲境界１３０１と内側探索範囲境界１３０３との間が探索範囲に相当する。この探索範囲内で詳細輪郭を抽出した例が抽出輪郭１３０４である。
【００６３】
さて、次に抽出結果判定部１０６の動作を示す。
【００６４】
抽出された詳細輪郭が正常かどうかを判定する部分が抽出結果判定部１０６であるが、具体的な例を図１０から図１４の模式図を用いて説明する。
【００６５】
図１０（Ａ）は、原画像例である。ここで顔領域の詳細な輪郭を得たいとする。
【００６６】
出力に対する要求誤差は顔幅（抽出対象となるオブジェクトの幅）のプラスマイナス１５％程度であるとする。
【００６７】
図１０（Ｂ）には概輪郭の抽出例として概略領域１００４を示している。また、図１０（Ｃ）には別な概略領域の抽出例として概略領域１００６を示している。
【００６８】
また、それぞれの場合の詳細領域抽出例として、図１４（Ａ）及び図１４（Ｂ）を模式的に示している。
【００６９】
概略領域１００４のような概輪郭が抽出された場合は図１４（Ａ）の正常抽出例のように抽出輪郭１４０４が抽出される。また、概略領域１００６のような概輪郭が抽出された場合は、図１４（Ｂ）のように異常抽出例として、抽出輪郭１４０６が抽出される。
【００７０】
ここで、この例における抽出結果判定部１０６の判定動作であるが、この例では抽出対象が顔（もしくは顔状の楕円形に近い対象物）であると判っているため、抽出された詳細輪郭の円形度（楕円度）を計測することにより抽出輪郭１４０４及び抽出輪郭１４０６の判定を行うことができる。円形度の算出は任意の手法を用いて良いが、例えば、長谷川他“画像処理の基本技法”，技術評論社，１９８６などに詳しい。
【００７１】
このとき、例えば円形度に対して所定の閾値を設けることで、抽出輪郭１４０４と抽出輪郭１４０６とを区分することができる。他にも、凸曲線であるか凹曲線であるかなどを判断基準としても良い。もちろん、異常・正常を判定する手段はこの限りでなく、抽出された輪郭の特徴を抽出し、特徴量を先に出たＳＶＭ、ＢＯＯＳＴＩＮＧ等を用いて分類するなど、既存の手法を用いることができる。
【００７２】
同様に顔を抽出対象とした場合に、顔以外の画像が入力された場合を図１１に示す。図１１（Ａ）は原画像例を示す。この画像に対して、図９（Ｂ）と同様にモザイク化し、テンプレートマッチングを行った場合、濃淡の分布が図９（Ｂ）と同様の分布となりえる。その例を図１１（Ｂ）に示す。この図１１の例において概略領域を抽出すると、概略領域１１０４のようになることが予想される。これに対して、詳細輪郭を抽出すると、例えば、図１５のようになる。
【００７３】
顔を抽出する場合と同様に輪郭を抽出すると、抽出輪郭１５０４のような結果が得られるが、この場合は先の図１４（Ｂ）の例と同じく異常とみなされる。
【００７４】
また、システム全体に対して次のような場合も考えることができる。
【００７５】
例えば、ここでユーザもしくはシステムから抽出に関する条件（個数・位置・大きさなど、任意の制限・許容項目）を、抽出条件入力部１０４を介して入力することもできる。
【００７６】
なお、外部からの抽出条件指定が無い場合には、本実施の形態において任意のデフォルト値で代用しても良い。また、この抽出条件入力部１０４は本実施の形態において必須の構成要素ではなく、任意に設置できるものである。抽出条件入力部１０４無しの場合でも、抽出条件を固定的に設定して運用することや抽出条件を入力画像に応じて動的に変化させながら運用できることは言うまでも無い。
【００７７】
なお、本実施の形態において抽出結果判定部１０６は必須の構成要素ではなく、任意に設置できるものである。抽出結果判定部１０６無しの場合でも、概略抽出部１１０、形状抽出部１２０を通じて得られた詳細輪郭を抽出結果出力部１０８を通じて出力できることは言うまでも無い。
【００７８】
なお、本実施の形態において、概略抽出用設定ＤＢ部１１３や形状抽出用設定ＤＢ部１２３に代わり、任意のデフォルト値で代用しても良い。また、抽出対象が決まっている場合や、未知の場合でもおおよその条件がわかっている場合には、概略抽出条件決定部１１１や形状抽出条件決定部１２１を省略したり、任意のデフォルト処理で置き換えても良い。
【００７９】
同様に、概略抽出画像処理部１１２及び形状抽出画像処理部１２２についても対象が特定されている場合など、処理を可変にする必要がない場合には、任意のデフォルト処理で代用しても良く、また、必要に応じて省略しても良い。
【００８０】
なお、概略算出部１１４や形状算出部１２４はその処理結果に応じて処理を抽出結果出力部１０８にフィードフォワードすることもできる。例えば、それぞれの算出部で十分な精度で抽出できたと判断できる場合や、逆に抽出できないと判断できた場合などに、その旨の情報を添えてフィードフォワードすることができる。
【００８１】
なお、抽出結果判定部１０６は、形状抽出条件決定部１２１や概略抽出条件決定部１１１、抽出条件入力部１０４など、図１中の任意の部にフィードバックすることもできる。例えば、抽出結果判定部１０６で精度が不十分であると判断された場合に、より精度が高まるように情報を各決定部にフィードバックすることができる。
【００８２】
例えば、顔を対象とした場合に、抽出して得られた結果の形状が顔らしくない場合に、より、顔の形状に近づけるように詳細輪郭の算出条件を変えられるように形状抽出条件決定部１２１に情報をフィードバックすることもできる。輪郭が凹曲線となっている場合に、凹になりにくいエネルギ定義もしくは重み付けが再設定できるように凹曲線になっていること／その度合いをフィードバックする、など輪郭に関する任意の情報、特徴量及びそれらを組み合わせて得られる解析結果をフィードバックすることができる。
【００８３】
また、抽出結果の位置に顔が無いと判断された場合、特に間違った位置で抽出していた場合で、画像内の他の位置に顔がある可能性が残っている場合には、概略抽出条件決定部１１１にフィードバックすることにより、概略位置の補正を行うこともできる。
【００８４】
また、それらを組み合わせて、抽出条件そのものを変更することもできる。
【００８５】
この場合は抽出条件入力部１０４にフィードバックすることになる。
【００８６】
また、ユーザにフィードバック情報を開示し、抽出条件入力部１０４を介してフィードバック情報に対し、ユーザからの選択や変更などを反映して処理を行うこともできる。
【００８７】
なお、本発明で説明した処理手順をＣＰＵに実行させるためのプログラムとし、ＣＰＵに実行させることによっても実現することが出来る。この場合、当該プログラムを記録媒体に格納し、その内容を記憶した装置の記憶装置（ハードディスクなど）から実行させても良いし、記録媒体から直接実行しても良い。ここでの記録媒体は、ＲＯＭやＲＡＭ、フラッシュメモリなどの半導体メモリ、フレキシブルディスクやハードディスクなどの磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤなどの光ディスク、メモリカードなどの記録媒体をいう。
【００８８】
また、本発明は携帯型端末で実行しても良い。画像を応用したアプリケーションは様々なものが想定されるが、携帯型端末の特徴的な点として演算性能や記憶容量がパソコン等と比較して貧弱であるという問題がある。つまり、携帯型端末に搭載する各アプリケーションが輪郭抽出結果のブレを吸収することは、ハードスペック的（ＣＰＵ性能やメモリ容量）にも、ソフトスペック的（プログラムサイズを大きく出来ない）にも非常に困難であり、携帯型端末は従来技術の課題が顕著に現れると言える。本発明によりこの点が解決されることは自明である。
【００８９】
また、携帯型端末では、ユーザインタフェースもパソコン等と比較して貧弱といえる。輪郭抽出結果が歪んでいた場合には、その修正が非常に困難であることが予見される。本発明では、抽出精度が事前に予測できることから、修正用のインタフェースを簡略化することも可能となる。
【００９０】
更に、携帯型端末での具体的なアプリケーション例として、入力された画像データから必要な物体の輪郭を抽出し、モーフィング等で変形したり（顔を切り出して顔が動いているように見せるなど）、抽出した物体の位置を動かしたり（合成写真の生成、クロマキー化など）、パン／ズームなどの処理を行ったり（スライドショー機能など）といった、処理・機能を実現するために用いることもできる。
【産業上の利用可能性】
【００９１】
本構成によって、画像処理装置が物体の輪郭を抽出する際に、物体の輪郭に対する抽出精度が事前に予測でき、その精度誤差を吸収したシステムの構築が可能となる。常に物体の内部もしくは外部を所定の量の範囲の誤差で（例えば１０ピクセル以内などで）抽出することが保証することができる。
【００９２】
更には、本発明により、画像中の人や物・動物・建造物といった物体を抽出する際に物体の輪郭抽出の精度を保証され、抽出結果を利用するシステム・アプリケーションが目的に応じた境界を取得することを可能とし、各種アプリケーションの品質を大きく向上させることが可能となる。
【図面の簡単な説明】
【００９３】
【図１】本実施の形態における画像処理装置のブロック構成を模式的に示した図
【図２】原画像例及び従来手法でのオブジェクト抽出例を示す図
【図３】正解輪郭抽出例と抽出領域の内側を設定する例を示す図
【図４】抽出領域の外側を設定する例を示す図
【図５】抽出した輪郭線を用いて加工した例を示す図
【図６】概形を輪郭抽出した例と幅・高さなどの設定例を示した図
【図７】概略輪郭候補例を示した図
【図８】概略輪郭候補例を示した図
【図９】概略抽出の仕組みを模式的に示した図
【図１０】概略抽出の例、特に間違った抽出が行われる例を対比的に模式図で示した図
【図１１】概略抽出の例、特に間違った抽出が行われる例を模式的に示した図
【図１２】概略抽出された領域を基に詳細抽出の探索範囲を設定する例を模式的に示した図
【図１３】詳細抽出の探索範囲を画像例上に模式的に当てはめた図
【図１４】詳細抽出例の模式図
【図１５】詳細抽出例の模式図
【符号の説明】
【００９４】
１０１    画像入力部
１０４    抽出条件入力部
１０６    抽出結果判定部
１０８    抽出結果出力部
１１０    概略抽出部
１１１    概略抽出条件決定部
１１２    概略抽出画像処理部
１１３    概略抽出用設定ＤＢ部
１１４    概略算出部
１２０    形状抽出部
１２１    形状抽出条件決定部
１２２    形状抽出画像処理部
１２３    形状抽出用設定ＤＢ部
１２４    形状算出部
２０２    オブジェクト
３０２    正解輪郭線例
３０４    オブジェクト幅推定線
３０６    オブジェクト高さ推定線例
３０８    抽出限界領域線
４０２    抽出限界領域線
６０２    概形輪郭線例
６０４    概形最大横幅
６０６    概形最大縦幅
７０２    概略輪郭候補１
７０４    概略輪郭候補２
７０６    概略輪郭候補３
７０８    概略輪郭候補４
８０２    概略輪郭候補１
８０４    概略輪郭候補２
８０６    概略輪郭候補３
８０８    概略輪郭候補４
８１０    概略輪郭候補５
９０４    分割領域
９０５    高濃度領域
９０６    中濃度領域
９０８    概略領域
１００４    概略領域
１００６    概略領域
１１０４    概略領域
１２０１    外側探索範囲境界
１２０２    概略領域
１２０３    内側探索範囲境界
１３０１    外側探索範囲境界
１３０２    概略領域
１３０３    内側探索範囲境界
１３０４    抽出輪郭
１４０４    抽出輪郭
１４０６    抽出輪郭
１５０４    抽出輪郭
【図１】
2006133941.tif 000003
【図２】
2006133941.tif 000004
【図３】
2006133941.tif 000005
【図４】
2006133941.tif 000006
【図５】
2006133941.tif 000007
【図６】
2006133941.tif 000008
【図７】
2006133941.tif 000009
【図８】
2006133941.tif 000010
【図９】
2006133941.tif 000011
【図１０】
2006133941.tif 000012
【図１１】
2006133941.tif 000013
【図１２】
2006133941.tif 000014
【図１３】
2006133941.tif 000015
【図１４】
2006133941.tif 000016
【図１５】
2006133941.tif 000017