(57)【要約】【課題】対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することが可能な画像処理装置等を提供する。【解決手段】本発明の画像処理装置は、スムージング部と、係数算出部とを備える。前記スムージング部は、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出する。前記スムージングは、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で行われる。前記係数算出部は、前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算する。【選択図】図４
2014115725.tif 000002
【特許請求の範囲】
【請求項１】
任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出するスムージング部と、
前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算する係数算出部と
を備える、
画像処理装置。
【請求項２】
前記スムージング部は、前記計量テンソル及び前記スムージング画像を変数として定義される目的関数の最適解を導出する、
請求項１に記載の画像処理装置。
【請求項３】
前記目的関数は、前記計量テンソルを用いて表される、前記スムージング画像と前記対象画像との差分と、前記計量テンソルを用いて表される、前記スムージング画像の滑らかさの指標とを組み合わせて定義される、
請求項２に記載の画像処理装置。
【請求項４】
前記スムージング部は、前記目的関数の前記最適解が見つかるまで、前記計量テンソル及び前記スムージング画像を連動させて少しずつ変化させる、
請求項２又は３に記載の画像処理装置。
【請求項５】
第１対象画像及び第２対象画像のそれぞれに対して前記スムージング部及び前記係数算出部により算出された前記変換係数に基づいて、前記第１対象画像の視点を前記第２対象画像の視点に一致させる特定のアフィン変換の変換係数を算出し、前記特定のアフィン変換の変換係数に基づいて、前記第１対象画像又前記第１対象画像の前記スムージング画像に前記特定のアフィン変換を施すアフィン変換部
をさらに備える、
１から４のいずれかに記載の画像処理装置。
【請求項６】
前記第１対象画像又は前記第１対象画像の前記スムージング画像に対し前記特定のアフィン変換が施された画像と、前記第２画像又は前記第２画像の前記スムージング画像とを比較し、前記比較の結果に基づいて、画像認識及び／又は画像検索を行う演算部
をさらに備える、
請求項５に記載の画像処理装置。
【請求項７】
前記対象画像から前記スムージング画像を導出することには、前記対象画像の輪郭線から前記スムージング画像の輪郭線を導出することが含まれる、
請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出するステップと、
前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算するステップと
をコンピュータに実行させる画像処理プログラム。
【請求項９】
任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出するステップと、
前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算するステップと
を備える、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像をスムージングする画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
被写体を正面からではなく斜めから撮影すると、撮影画像上で被写体は歪んで捉えられる。例えば、正面から撮影すると正方形に写る被写体であっても、斜めから撮影すると長方形や、平行四辺形、台形等に歪んでしまう。画像処理の分野においては、このような視点の移動による幾何学的歪みを評価することは重要な課題の１つであるが、その方法の１つとして、この歪みをアフィン変換による歪みと捉えて処理する方法が提案されている（例えば、特許文献１等）。特許文献１では、アフィン変換の変換係数が算出され、この変換係数に基づいて対象画像が逆変換されることにより、歪みが補正されたアフィン変換前の画像が導出される。
【０００３】
ところで、従来、画像をスムージングする方式としては、ガウス関数型のフィルタを用いて画像をフィルタリングする方式が一般的である。しかしながら、この方式は、アフィン変換に対し共変な性質を有していない。言い換えると、この方式では、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換した結果とが一致しない（図１参照）。このことは、スムージングという処理が被写体を捉える視点の位置に依存していることを意味する。そして、通常、画像認識等の処理は、スムージング後の画像に対して行われるが、スムージングが視点の位置に依存していると、画像認識等の処理も、視点の位置に影響されることになり、好ましくない。例えば、同じ被写体を異なる視点から撮影した２枚の画像が存在する場合において、これらをスムージングした後、両者の視点を一致させるようなアフィン変換を行ったとする。この場合、アフィン変換により視点が一致しているにも関わらず、スムージングの作用により、２枚のスムージング後の画像は異なるものとなる。従って、視点の位置に依存するスムージングの方式では、異なる視点から撮影した２枚の画像の類似性を正確に評価することができず、画像認識等の処理の精度の低下を招くことになる。
【０００４】
ここで、非特許文献１に開示される曲線発展と呼ばれる方式は、アフィン変換に対して不変な性質を有する微分方程式によって時々刻々曲線を変化させながら、曲線をスムージングする方式であり、アフィン変換に対して共変な性質を有している。すなわち、この方式によれば、視点の位置に依存しないスムージングが実現されることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３１７０３３号公報
【非特許文献】
【０００６】
【非特許文献１】“Affine Invariant Detection: Edges, Active Contours, and Segments”, Peter J Olver, Guillermo Sapiro and Allen Tannenbaum, Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition, p520-p525, 1996
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の方式では、視点の位置に依存しないスムージングが行われるものの、画像がどのようにアフィン変換されたのかという情報、すなわち、アフィン変換の変換係数（変換行列等）が算出されることはない。言い換えると、画像の視点を把握した上で、画像を詳細に調べることができない。
【０００８】
本発明は、対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１観点に係る画像処理装置は、スムージング部と、係数算出部とを備える。前記スムージング部は、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出する。前記スムージングは、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で行われる。前記係数算出部は、前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算する。なお、対象画像に固有のアフィン変換とは、正方形や正三角形や真円のような正規形から対象画像への歪みを表すアフィン変換である。
【００１０】
ここでは、任意のアフィン変換に対し共変な性質を有する方式で、対象画像がスムージングされる。すなわち、このスムージング方式によれば、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致する。従って、このスムージングは、被写体を捉える視点の位置に依存しない。また、ここでは、このスムージングの結果として、スムージング画像とともに、対象画像に固有の計量テンソルが導出される。この計量テンソルは、対象画像に固有のアフィン変換の変換係数へ変換可能である。従って、対象画像が正方形や正三角形や真円のような正規形に見える視点を基準としたときに、対象画像がどのような視点からの画像であるのかを特定する情報であると言える。以上より、ここでは、対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することができる。
【００１１】
本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記スムージング部は、前記計量テンソル及び前記スムージング画像を変数として定義される目的関数の最適解を導出する。なお、最適解を導出することには、最適解の近似解を導出することが含まれる。
【００１２】
ここでは、スムージングとは、対象画像に固有の計量テンソル及びスムージング画像の少なくとも２変数の関数である目的関数を最適化する処理である。すなわち、このスムージングによれば、目的関数に最適解を与える変数の値として、スムージングの結果であるスムージング画像と、対象画像に固有のアフィン変換の変換係数へ換算可能な計量テンソルとが得られる。従って、対象画像をスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することができる。
【００１３】
本発明の第３観点に係る画像処理装置は、第２観点に係る画像処理装置であって、前記目的関数は、前記計量テンソルを用いて表される、前記スムージング画像と前記対象画像との差分と、前記計量テンソルを用いて表される、前記スムージング画像の滑らかさの指標とを組み合わせて定義される。
【００１４】
ここでは、スムージング時に最適化される目的関数が、スムージング画像と対象画像との差分と、スムージング画像の滑らかさの指標とを組み合わせて定義される関数である。従って、この目的関数を最適化することで、スムージング画像がスムージング前の対象画像と余り変わらない範囲で、スムージング画像を滑らかにすることができる。なお、スムージング画像の滑らかさの指標とは、例えば、スムージング画像の輪郭線の長さ（輪郭線の長さが短いほど、滑らか）や、スムージング画像の画素値の関数の表面積（表面積が小さいほど、滑らか）等として表すことができる。
【００１５】
本発明の第４観点に係る画像処理装置は、第２観点又は第３観点に係る画像処理装置であって、前記スムージング部は、前記目的関数の前記最適解が見つかるまで、前記計量テンソル及び前記スムージング画像を連動させて少しずつ変化させる。
【００１６】
ここでは、スムージング時に、計量テンソル及びスムージング画像をともに少しずつ変化させながら、目的関数の最適解が探索される。従って、複雑な目的関数に対しても、最適解を見つけることができる。
【００１７】
本発明の第５観点に係る画像処理装置は、第１観点から第４観点のいずれかに係る画像処理装置であって、アフィン変換部をさらに備える。前記アフィン変換部は、第１対象画像及び第２対象画像のそれぞれに対して前記スムージング部及び前記係数算出部により算出された前記変換係数に基づいて、前記第１対象画像の視点を前記第２対象画像の視点に一致させる特定のアフィン変換の変換係数を算出し、前記特定のアフィン変換の変換係数に基づいて、前記第１対象画像又前記第１対象画像の前記スムージング画像に前記特定のアフィン変換を施す。
【００１８】
ここでは、２枚の対象画像のそれぞれに固有のアフィン変換の変換係数に基づいて、２枚の対象画像の一方に対し、２枚の対象画像間又はそのスムージング画像間の視点を一致させるような特定のアフィン変換が施される。従って、２枚の対象画像間又はこれらのスムージング画像間で、視点のずれの影響をキャンセルすることができる。
【００１９】
本発明の第６観点に係る画像処理装置は、第５観点に係る画像処理装置であって、演算部をさらに備える。前記演算部は、前記第１対象画像又は前記第１対象画像の前記スムージング画像に対し前記特定のアフィン変換が施された画像と、前記第２画像又は前記第２画像の前記スムージング画像とを比較し、前記比較の結果に基づいて、画像認識及び／又は画像検索を行う。
【００２０】
ここでは、視点のずれの影響がキャンセルされた画像（対象画像又はスムージング画像）どうしを比較することにより、画像認識及び／又は画像検索が行われる。従って、画像認識及び／又は画像検索を精度よく行うことができる。
【００２１】
本発明の第７観点に係る画像処理装置は、第１観点から第６観点のいずれかに係る画像処理装置であって、前記対象画像から前記スムージング画像を導出することには、前記対象画像の輪郭線から前記スムージング画像の輪郭線を導出することが含まれる。
【００２２】
ここでは、対象画像の輪郭線からスムージング画像の輪郭線が導出される。従って、対象画像に写る被写体の輪郭線をスムージングすることができる。
【００２３】
本発明の第８観点に係る画像処理プログラムは、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出するステップと、前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算するステップとをコンピュータに実行させる。前記スムージングは、前記対象画像を任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で行われる。
【００２４】
ここでは、任意のアフィン変換に対し共変な性質を有する方式で、対象画像がスムージングされる。すなわち、このスムージング方式によれば、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致する。従って、このスムージングは、被写体を捉える視点の位置に依存しない。また、ここでは、このスムージングの結果として、スムージング画像とともに、対象画像に固有の計量テンソルが導出される。この計量テンソルは、対象画像に固有のアフィン変換の変換係数へ変換可能である。従って、対象画像が正方形や正三角形や真円のような正規形に見える視点を基準としたときに、対象画像がどのような視点からの画像であるのかを特定する情報であると言える。以上より、ここでは、対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することができる。
【００２５】
本発明の第９観点に係る画像処理方法は、対象画像をスムージングしたスムージング画像を導出しながら、前記対象画像に固有の計量テンソルを導出するステップと、前記計量テンソルを前記対象画像に固有のアフィン変換の変換係数に換算するステップとを備える。前記スムージングは、任意のアフィン変換に対し、前記対象画像をアフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致するようなスムージング方式で行われる。
【００２６】
ここでは、任意のアフィン変換に対し共変な性質を有する方式で、対象画像がスムージングされる。すなわち、このスムージング方式によれば、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致する。従って、このスムージングは、被写体を捉える視点の位置に依存しない。また、ここでは、このスムージングの結果として、スムージング画像とともに、対象画像に固有の計量テンソルが導出される。この計量テンソルは、対象画像に固有のアフィン変換の変換係数へ変換可能である。従って、対象画像が正方形や正三角形や真円のような正規形に見える視点を基準としたときに、対象画像がどのような視点からの画像であるのかを特定する情報であると言える。以上より、ここでは、対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することができる。
【発明の効果】
【００２７】
本発明によれば、対象画像を視点の位置に依存しない方式でスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定することができる。
【図面の簡単な説明】
【００２８】
【図１】アフィン変換に対し共変な性質を有さない方式でスムージングされる場合の従来技術の問題点を説明するための概念図。
【図２】本発明の第１実施形態に係る画像処理装置の構成を示すブロック図。
【図３】アフィン変換に対し共変な性質を有する方式でスムージングされる本発明の第１実施形態の特徴を説明するための概念図。
【図４】本発明の第１実施形態に係るスムージング処理の流れを示すフローチャート。
【図５】図４に示す処理に含まれるステップＳ２の詳細な流れを示すフローチャート。
【図６】対象画像間の類似性を判断する処理の流れを示すフローチャート。
【図７】本発明の第２実施形態に係る画像処理装置の構成を示すブロック図。
【図８】本発明の第２実施形態に係るスムージング処理の流れを示すフローチャート。
【図９】図８に示す処理に含まれるステップＳ５１の詳細な流れを示すフローチャート。
【発明を実施するための形態】
【００２９】
以下、図面を参照しつつ、本発明のいくつかの実施形態に係る画像処理装置、画像処理プログラム及び画像処理方法について説明する。
＜１．第１実施形態＞
＜１−１．画像処理装置のハードウェア構成＞
図２に示す画像処理装置１は、本発明の第１実施形態に係る画像処理装置である。画像処理装置１は、ハードウェアとしては、汎用のパーソナルコンピュータであり、ここにＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体５から、又はインターネット、ＬＡＮ等のネットワーク６を介して別の装置から画像処理プログラム２がインストールされることにより製造される。画像処理プログラム２は、本発明の第１実施形態に係る画像処理プログラムであり、画像をスムージングする機能を有するアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
【００３０】
画像処理装置１は、表示部１０、入力部２０、記憶部３０、制御部４０および通信部５０を備えている。これらの部１０〜５０は、互いにバス線７で接続されており、相互に通信可能である。本実施形態では、表示部１０は、液晶ディスプレイ等で構成されており、適当な画面をユーザに対し表示するユーザーインターフェースである。また、入力部２０は、マウス、キーボード等で構成されており、画像処理装置１に対するユーザからの操作を受け付けるユーザーインターフェースである。通信部５０は、画像処理装置１をネットワーク６に接続するほか、ＵＳＢメモリやメモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。
【００３１】
記憶部３０は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されている。記憶部３０内には、画像処理プログラム２が格納されているとともに、計量テンソル記憶領域３１及び輪郭線記憶領域３２が確保されている。これらの領域３１，３２の役割については、後述する。
【００３２】
制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されており、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に輪郭抽出部４１、スムージング部４２、係数算出部４３、アフィン変換部４４及び演算部４５として動作する。各部４１〜４５の動作については、後述する。
【００３３】
＜１−２．画像処理装置の動作＞
＜１−２−１．スムージング処理＞
画像処理装置１は、対象画像に写る被写体の輪郭線をスムージングする機能を有している。ここでのスムージング形式は、任意のアフィン変換に対し共変な性質を有する方式であり、従って、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致する（図３参照）。ここで、画像をアフィン変換するとは、画像内の被写体を捉える視点の位置を移動させることである。従って、ここでのスムージングは、視点の位置に依存しないスムージングであると言うことができ、さらに言うならば、被写体の世界でのスムージングである。また、画像処理装置１は、対象画像をスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定する情報として、対象画像に固有のアフィン変換（以下、対象アフィン変換）の変換係数へ変換可能な、対象画像に固有の計量テンソル（以下、対象計量テンソル）を導出する。なお、対象アフィン変換とは、正方形や正三角形や真円のような正規形から対象画像への歪みを表すアフィン変換である。以下、図４を参照しつつ、スムージングの処理の流れについて、詳細に説明する。
【００３４】
図４に示すスムージングの処理は、ユーザの指定により入力部１０を介して手動で、又は何らかの処理の中で自動的に、スムージングの対象となる対象画像が特定された場合に開始する。
【００３５】
まず、ステップＳ１として、輪郭抽出部４１が対象画像から輪郭線ｌ１を抽出する。なお、画像に含まれる輪郭線を抽出するアルゴリズムとしては、様々なものが公知であり、本実施形態においても当業者が適宜選択することが可能であるから、ここでは、詳しい説明を省略する。
【００３６】
以下、ステップＳ１で抽出された、対象画像が存在するｘ−ｙ平面上における輪郭線ｌ１上の点を（ｘ（ｓ），ｙ（ｓ））と表す。ここで、ｓは、媒介変数であり、例えば、０からｓ0の値をとり、点（ｘ（ｓ），ｙ（ｓ））は、ｓ＝０のときに輪郭線Ｌ１の始点から出発し、ｓが大きくなるにつれて輪郭線ｌ１上を時計回りに辿って行き、ｓ＝ｓ0のときに輪郭線ｌ１の終点に達する。ここで、輪郭線ｌ１が閉じた線である場合には、始点と終点が一致し、ｘ（０）＝ｘ（ｓ0）かつｙ（ｓ）＝ｙ（ｓ0）となる。
【００３７】
続いて、ステップＳ２として、スムージング部４２が、ステップＳ１で抽出された輪郭線ｌ１をスムージングすることにより、スムージング後の輪郭線Ｌ１を導出する。以下では、上記ｘ−ｙ平面上における輪郭線Ｌ１上の点を（Ｘ（ｓ），Ｙ（ｓ））と表す。
【００３８】
具体的には、ステップＳ２では、以下の数１の式のとおり定義される評価関数Ｊ（Ｘ（ｓ），Ｙ（ｓ），ｇ11，ｇ12，ｇ22）を最小化するようなＸ（ｓ），Ｙ（ｓ），ｇ11，ｇ12，ｇ22を導出することにより、スムージング後の輪郭線Ｌ１を表すＸ（ｓ），Ｙ（ｓ）を得る。
【数１】
2014115725.tif 000003
【００３９】
ここで、ｇ11，ｇ12，ｇ22は、対象計量テンソルである。対象計量テンソルは、より正確には、以下の数２の行列式で表される。
【数２】
2014115725.tif 000004
すなわち、評価関数Ｊは、スムージング後の輪郭線Ｌ１及び対象計量テンソルを変数とする関数である。
【００４０】
数１の式に示されるとおり、評価関数Ｊの第１項は、対象計量テンソルｇ11，ｇ12，ｇ22を用いて、スムージング後の輪郭線Ｌ１の長さを表したものである。ここで、輪郭線Ｌ１が短くなればなるほど、輪郭線ｌ１の凸凹が消失していることになるため、第１項は、スムージング後の輪郭線Ｌ１の滑らかさの指標であると言える。一方、評価関数Ｊの第２項は、対象計量テンソルｇ11，ｇ12，ｇ22を用いて、スムージング後の輪郭線Ｌ１の描く軌跡（図形）と、スムージング前の輪郭線ｌ１の描く軌跡（図形）との差分を表したものである。また、評価関数Ｊは、このような第１項と第２項とが単純に加算される態様で組み合わされている。従って、評価関数Ｊを最小化するということは、スムージング後の輪郭線Ｌ１の描く軌跡（図形）が、スムージング前の輪郭線ｌ１の描く軌跡（図形）と余り変わらない範囲で、スムージング後の輪郭線Ｌ１を滑らかすることを意味している。すなわち、ステップＳ２では、評価関数Ｊの最小化により、対象画像と余り変わらない範囲で、スムージング後の対象画像（以下、スムージング画像）が滑らかにされる。
【００４１】
なお、評価関数Ｊの第１項及び第２項は、ともに対象計量テンソルｇ11，ｇ12，ｇ22を用いて表されているため、評価関数Ｊの値は、任意のアフィン変換に対して不変である。
【００４２】
以下、図５を参照しつつ、評価関数Ｊを最小化するＸ（ｓ），Ｙ（ｓ），ｇ11，ｇ12，ｇ22を導出するためのアルゴリズムについて、詳細に説明する。
なお、本実施形態では、計算負荷が過大にならないように、面積の不変なアフィン変換のみを考える。そして、この前提の下では、対象計量テンソルを表す３つの変数ｇ11，ｇ12，ｇ22は、以下の数３の関係式を満たすことになるから、対象計量テンソルを表す未知数を１つ減らすことができる。
【数３】
2014115725.tif 000005
【００４３】
図５の説明に戻ると、まず、ステップＳ２１として、スムージング部４２は、計量テンソル記憶領域３１内にｇ11，ｇ12，ｇ22の初期値を格納するとともに、輪郭線記憶領域３２内にＸ（ｓ），Ｙ（ｓ）の初期値を格納する。なお、これらの初期値としては、当業者が適宜選択することが可能であるが、例えば、ｇ11＝１，ｇ12＝０（従って、ｇ22＝１）、Ｘ（ｓ）＝ｘ（ｓ），Ｙ（ｓ）＝ｙ（ｓ）と設定することができる。
【００４４】
次に、ステップＳ２２として、スムージング部４２は、ｇ11及びｇ12（従って、数３の式に基づいてｇ22も）を少しずつ変化させながら、評価関数Ｊを最小化するｇ11，ｇ12，ｇ22を算出し、計量テンソル記憶領域３１内のｇ11，ｇ12，ｇ22の値を算出された値で更新する。また、スムージング部４２は、このときのｇ11，ｇ12，ｇ22の更新量（変化量）を計量テンソル記憶領域３１内に別途記憶しておく。なお、ステップＳ２２で変化させられる変数は、ｇ11，ｇ12，ｇ22のみであり、Ｘ（ｓ），Ｙ（ｓ）の値は、輪郭線記憶領域３２内の現在値に固定されたまま、演算が進められる。
【００４５】
次に、ステップＳ２３として、スムージング部４２は、最急降下法により、評価関数Ｊを極小化するＸ（ｓ），Ｙ（ｓ）を算出し、輪郭線記憶領域３２内のＸ（ｓ），Ｙ（ｓ）を算出された値で更新する。すなわち、スムージング部４２は、以下の数４の式に従って、Ｘ（ｓ），Ｙ（ｓ）を少しずつ変化させてゆき、δＪ／δＸ及びδＪ／δＹが０又は十分に小さな所定値以下になったときのＸ（ｓ），Ｙ（ｓ）を、評価関数Ｊを極小化するＸ（ｓ），Ｙ（ｓ）と判断する。
【数４】
2014115725.tif 000006
ここで、ηは、正の小さな定数である。
【００４６】
また、スムージング部４２は、このときのＸ（ｓ），Ｙ（ｓ）の更新量（変化量）を輪郭線記憶領域３２内に別途記憶しておく。なお、ステップＳ２３で変化させられる変数は、Ｘ（ｓ），Ｙ（ｓ）のみであり、ｇ11，ｇ12，ｇ22の値は、計量テンソル記憶領域３１内の現在値に固定されたまま、演算が進められる。
【００４７】
また、計算負荷が過大にならないように、他の実施形態では、δＪ／δＸ及びδＪ／δＹが０又は十分に小さな所定値以下になったときのＸ（ｓ），Ｙ（ｓ）ではなく、所定の回数Ｘ（ｓ），Ｙ（ｓ）を変化させた後のＸ（ｓ），Ｙ（ｓ）の値で、輪郭線記憶領域３２内のＸ（ｓ），Ｙ（ｓ）を更新してもよい。
【００４８】
次に、ステップＳ２４では、スムージング部４２は、計量テンソル記憶領域３１及び輪郭線記憶領域３２を参照することにより、直前のステップＳ２２及びステップＳ２３でのＸ（ｓ），Ｙ（ｓ），ｇ11，ｇ12，ｇ22の更新量（変化量）がそれぞれ所定の閾値より小さいか否かを判断する。ここで、全ての更新量（変化量）が所定の閾値より小さいと判断されれば、ステップＳ２を終了してステップＳ３に進み（図４参照）、そうでなければ、ステップＳ２２に戻る。すなわち、ステップＳ２２，Ｓ２３は、ステップＳ２２，Ｓ２３でのＸ（ｓ），Ｙ（ｓ），ｇ11，ｇ12，ｇ22の更新量（変化量）の全てが所定の閾値より小さくなるまで、繰り返されることになる。
【００４９】
次に、ステップＳ３では、係数算出部４３は、以下の数５の式に従って、計量テンソル記憶領域３１内のｇ11，ｇ12，ｇ22の現在値を、対象アフィン変換の変換係数ａ11，ａ12，ａ21，ａ22（対象アフィン変換の変換行列の要素）に換算する。変換係数ａ11，ａ12，ａ21，ａ22は、記憶部５０内の所定の領域に格納される。
【数５】
2014115725.tif 000007
【００５０】
そして、ステップＳ３が終了すると、図４のスムージング処理が終了する。スムージング処理が終了した時点の輪郭線記憶領域３２内のＸ（ｓ），Ｙ（ｓ）の現在値は、輪郭線ｌ１をスムージングした輪郭線Ｌ１を表すものである。
【００５１】
＜１−２−２．用途＞
上述のスムージング処理の結果であるスムージング画像（より正確には、スムージング後の輪郭線Ｌ１を表すＸ（ｓ），Ｙ（ｓ））及び対象アフィン変換の変換係数ａ11，ａ12，ａ21，ａ22は、様々な画像処理の中で利用することができる。例えば、画像認識及び／又は画像検索の処理の中で、複数の画像間の類似性を判断するのに利用することにより、画像認識及び／又は画像検索の精度を向上させることができる。
【００５２】
なお、画像認識及び／又は画像検索等の画像処理の中で、複数の画像間の類似性が判断される場合とは、例えば、対象画像に対し所定の正解画像を用いてパターンマッチングを行うことにより、対象画像に写っている物体を認識する場合や、検索対象となる画像群の中からクエリ画像に類似する画像を検索する場合等である。以下、図６を参照しつつ、複数の対象画像間の類似性を判断する場合を例として、上述のスムージング処理の用途について詳細に説明する。
【００５３】
まず、ステップＳ４１として、演算部４５は、類似性の判断の対象となる対象画像群として、ユーザが入力部１０を介して手動で指定した画像群、又は何らかの処理の中で自動的に特定された画像群を特定する。なお、対象画像群は、記憶部３０内に記憶されている画像群の中から選択される場合もあれば、通信部５０を介して接続されている他の外部記憶装置（ネットワーク６上の装置であってもよい）が保持している画像群の中から選択される場合もある。
【００５４】
続くステップＳ４２では、ステップＳ４１で特定された各対象画像に対し、上述のスムージング処理が実行され、スムージング画像及び変換係数ａ11，ａ12，ａ21，ａ22が導出される。その結果、ステップＳ４２が終わると、各対象画像からノイズが除去される等しており、対象画像どうし（より正確には、スムージング画像どうし）の比較がし易い状態になっている。
【００５５】
次に、ステップＳ４３として、演算部４５は、ステップＳ４２で導出された各スムージング画像から任意のアフィン変換に不変な特徴を抽出する。任意のアフィン変換に不変な特徴の例としては、直線上に並ぶ３つ以上の点の比が挙げられる。アフィン変換の前後では、任意の直線上の点の比が保存されるからである。続いて、演算部４５は、ここで抽出された特徴に注目してスムージング画像どうしを比較することにより、ステップＳ４２で導出されたスムージング画像群の中から類似性の高い画像群（以下、一次選択画像群）を選択する。なお、ステップＳ４３において、アフィン変換に不変な特徴、すなわち、視点の位置に依存しない特徴に基づいて比較が行われるのは、原則として比較の対象となるスムージング画像どうしの視点が異なっているからである。
【００５６】
次に、ステップＳ４４として、アフィン変換部４４は、ステップＳ４３で導出された一次選択画像群に含まれる２枚の画像の各組合せに対し、その組合せに係る第１画像の視点を第２画像の視点に一致させる特定のアフィン変換の変換係数ｂ11，ｂ12，ｂ21，ｂ22を算出する。なお、第１画像の視点を第２画像の視点に一致させるアフィン変換とは、仮に両画像が同じ被写体を異なる視点から捉えたものである場合に、第１画像を第２画像に変換するアフィン変換である。具体的には、変換係数ｂ11，ｂ12，ｂ21，ｂ22は、以下の数６の式に従って算出される。ただし、第１画像に対応する変換係数ａ11，ａ12，ａ21，ａ22をａ(1)11，ａ(1)12，ａ(1)21，ａ(1)22とし、第２画像に対応する変換係数ａ11，ａ12，ａ21，ａ22を、ａ(2)11，ａ(2)12，ａ(2)21，ａ(2)22とする。
【数６】
2014115725.tif 000008
【００５７】
続いて、アフィン変換部４４は、変換係数ｂ11，ｂ12，ｂ21，ｂ22を用いて、一次選択画像群に含まれる２枚の画像の各組合せの第１画像に対しアフィン変換を実行し、第３画像を導出する。
【００５８】
続いて、ステップＳ４５として、演算部４５は、ステップＳ４３で導出された一次選択画像に含まれる２枚の画像の各組合せに対し、第２画像と第３画像とを比較する。ここで、第２画像と第３画像は、ステップＳ４４でのアフィン変換により、互いに視点が一致している。そのため、ステップＳ４５で比較される特徴は、アフィン変換に不変な特徴である必要はなく、従って、ステップＳ４５では、ステップＳ４３で比較することができなかった様々な特徴に基づいて、第２画像と第３画像とを比較することができる。よって、演算部４５は、ステップＳ４３で導出された一次選択画像群から、ステップＳ４３で用いられた以外の特徴を抽出し、様々な観点から一次選択画像どうしをより詳細に比較する。そして、演算部４５は、一次選択画像どうしの類似性に基づいて、元の対象画像どうしの類似性を判断する。
【００５９】
＜２．第２実施形態＞
以下、図７〜図９を参照しつつ、本発明の第２実施形態に係る画像処理装置１０１について説明する。ここで、画像処理装置１０１は、第１実施形態に係る画像処理装置１と同様に、任意のアフィン変換に対し共変な性質を有する方式で、対象画像をスムージングする機能を有している。そのため、画像処理装置１０１は、画像処理装置１と同様の構成要素を多々有するが、そのような構成要素については、同じ参照符号を付して説明を省略する。
【００６０】
図７に示すように、画像処理装置１０１では、画像処理装置１における画像処理プログラム２の代わりに、画像処理プログラム１０２がインストールされている。また、画像処理装置１０１では、輪郭線抽出部４１が省略され、スムージング部４２及び輪郭線記憶領域３２がそれぞれスムージング部１４２及びスムージング画像記憶領域１３２に置換されている。
【００６１】
画像処理装置１０１と画像処理装置１との主な機能上の相違点は、画像処理装置１では対象画像中の輪郭線ｌ１がスムージングされたのに対し、画像処理装置１０１では対象画像全体が画素単位でスムージングされる点にある。以下では、両者の主な差異となるスムージング処理の詳細について説明する。なお、スムージング処理の結果の用途については、第１実施形態と同様であるため、説明を省略する。
【００６２】
＜２−１．スムージング処理＞
画像処理装置１０１は、上記のとおり、対象画像全体をスムージングする機能を有している。ここで、第１実施形態と同じく、第２実施形態におけるスムージング形式も、任意のアフィン変換に対し共変な性質を有する方式であり、任意のアフィン変換に対し、アフィン変換後にスムージングした結果と、スムージング後にアフィン変換を行った結果とが一致する（図３参照）。また、画像処理装置１と同じく、画像処理装置１０１も、対象画像をスムージングしながら、同時に対象画像がどのような視点からの画像であるのかを特定する情報として、対象アフィン変換の変換係数へ変換可能な対象計量テンソルを導出する。
【００６３】
図８に示す第２実施形態に係るスムージング処理は、ユーザの指定により入力部１０を介して手動で、又は何らかの処理の中で自動的に、スムージングの対象となる対象画像が特定された場合に開始する。
【００６４】
まず、ステップＳ５１として、スムージング部１４２が、対象画像全体をスムージングすることにより、スムージング画像を導出する。なお、以下では、対象画像の画素値の関数をＩ（ｘ，ｙ）と表し、スムージング画像の画素値の関数をＩ’（ｘ，ｙ）と表す。ここで、ｘ−ｙ座標系は、対象画像及びスムージング画像が存在する座標系であり、（ｘ，ｙ）を特定することにより、対象画像及びスムージング画像中の画素が特定される。
【００６５】
具体的には、ステップＳ５１では、以下の数７の式により定義される評価関数Ｊ（Ｉ’（ｘ，ｙ），ｇ11，ｇ12，ｇ22）を最小化するようなＩ’（ｘ，ｙ），ｇ11，ｇ12，ｇ22を導出することにより、スムージング画像を表すＩ’（ｘ，ｙ）を得る。ここで、第１実施形態と同様に、ｇ11，ｇ12，ｇ22は、対象計量テンソルである。
【数７】
2014115725.tif 000009
すなわち、評価関数Ｊは、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）及び対象計量テンソルを変数とする関数である。
【００６６】
数７の式に示されるとおり、評価関数Ｊの第１項は、対象計量テンソルｇ11，ｇ12，ｇ22を用いて、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）の表面積を表したものである。ここで、この表面積が小さくなればなるほど、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）の表面形状の凸凹が消失していることになるため、第１項は、関数Ｉ’（ｘ，ｙ）の表面形状の滑らかさの指標であると言える。一方、評価関数Ｊの第２項は、対象計量テンソルｇ11，ｇ12，ｇ22を用いて、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）の表面形状と、対象画像の画素値の関数Ｉ（ｘ，ｙ）の表面形状との差分を表したものである。また、評価関数Ｊは、このような第１項と第２項とが単純に加算される態様で組み合わされている。従って、評価関数Ｊを最小化するということは、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）の表面形状が、スムージング前の対象画像の画素値の関数Ｉ（ｘ，ｙ）の表面形状と余り変わらない範囲で、スムージング画像の画素値の関数Ｉ’（ｘ，ｙ）の表面形状を滑らかすることを意味している。すなわち、ステップＳ５１では、評価関数Ｊの最小化により、対象画像と余り変わらない範囲で、スムージング画像が滑らかにされる。
【００６７】
なお、評価関数Ｊの第１項及び第２項は、ともに対象計量テンソルｇ11，ｇ12，ｇ22を用いて表されているため、評価関数Ｊの値は、任意のアフィン変換に対して不変である。
【００６８】
以下、図９を参照しつつ、評価関数Ｊを最小化するＩ’（ｘ，ｙ），ｇ11，ｇ12，ｇ22を導出するためのアルゴリズムについて、詳細に説明する。
なお、第１実施形態と同様に、第２実施形態でも、計算負荷が過大にならないように、面積の不変なアフィン変換のみを考える。従って、対象計量テンソルを表す３つの変数ｇ11，ｇ12，ｇ22は、数３の関係式を満たすことになるから、対象計量テンソルを表す未知数を１つ減らすことができる。
【００６９】
図９の説明に戻ると、まず、ステップＳ６１として、スムージング部１４２は、計量テンソル記憶領域３１内にｇ11，ｇ12，ｇ22の初期値を格納するとともに、スムージング画像記憶領域１３２内にＩ’（ｘ，ｙ）の初期値を格納する。なお、これらの初期値としては、当業者が適宜選択することが可能であるが、例えば、ｇ11＝１，ｇ12＝０（従って、ｇ22＝１）、Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）と設定することができる。
【００７０】
次に、ステップＳ６２として、スムージング部１４２は、ｇ11及びｇ12（従って、数３の式に基づいてｇ22も）を少しずつ変化させながら、評価関数Ｊを最小化するｇ11，ｇ12，ｇ22を算出し、計量テンソル記憶領域３１内のｇ11，ｇ12，ｇ22の値を算出された値で更新する。また、スムージング部１４２は、このときのｇ11，ｇ12，ｇ22の更新量（変化量）を計量テンソル記憶領域３１内に別途記憶しておく。なお、ステップＳ６２で変化させられる変数は、ｇ11，ｇ12，ｇ22のみであり、Ｉ’（ｘ，ｙ）の値は、スムージング画像記憶領域１３２内の現在値に固定されたまま、演算が進められる。
【００７１】
次に、ステップＳ６３として、スムージング部１４２は、最急降下法により、評価関数Ｊを極小化するＩ’（ｘ，ｙ）を算出し、スムージング画像記憶領域１３２内のＩ’（ｘ，ｙ）を算出された値で更新する。すなわち、スムージング部１４２は、以下の数８の式に従って、Ｉ’（ｘ，ｙ）を少しずつ変化させてゆき、δＪ／δＩ’が０又は十分に小さな所定値以下になったときのＩ’（ｘ，ｙ）を、評価関数Ｊを極小化するＩ’（ｘ，ｙ）と判断する。
【数８】
2014115725.tif 000010
ここで、ηは、正の小さな定数である。
【００７２】
また、スムージング部１４２は、このときのＩ’（ｘ，ｙ）の更新量（変化量）をスムージング画像記憶領域１３２内に別途記憶しておく。なお、ステップＳ６３で変化させられる変数は、Ｉ’（ｘ，ｙ）のみであり、ｇ11，ｇ12，ｇ22の値は、計量テンソル記憶領域３１内の現在値に固定されたまま、演算が進められる。
【００７３】
また、計算負荷が過大にならないように、他の実施形態では、δＪ／δＩ’が０又は十分に小さな所定値以下になったときのＩ’（ｘ，ｙ）ではなく、所定の回数Ｉ’（ｘ，ｙ）を変化させた後のＩ’（ｘ，ｙ）の値で、スムージング画像記憶領域１３２内のＩ’（ｘ，ｙ）を更新してもよい。
【００７４】
次に、ステップＳ６４では、スムージング部１４２は、計量テンソル記憶領域３１及びスムージング画像記憶領域１３２を参照することにより、直前のステップＳ６２及びステップＳ６３でのＩ’（ｘ，ｙ），ｇ11，ｇ12，ｇ22の更新量（変化量）がそれぞれ所定の閾値より小さいか否かを判断する。ここで、全ての更新量（変化量）が所定の閾値より小さいと判断されれば、ステップＳ５１を終了してステップＳ５２に進み（図８参照）、そうでなければ、ステップＳ６２に戻る。すなわち、ステップＳ６２，Ｓ６３は、ステップＳ６２，Ｓ６３でのＩ’（ｘ，ｙ），ｇ11，ｇ12，ｇ22の更新量（変化量）の全てが所定の閾値より小さくなるまで、繰り返されることになる。
【００７５】
次に、ステップＳ５２では、係数算出部４３は、上述の数５の式に従って、計量テンソル記憶領域３１内のｇ11，ｇ12，ｇ22の現在値を、対象アフィン変換の変換係数ａ11，ａ12，ａ21，ａ22（対象アフィン変換の変換行列の要素）に換算する。変換係数ａ11，ａ12，ａ21，ａ22は、記憶部５０内の所定の領域に格納される。
【００７６】
そして、ステップＳ５２が終了すると、図８のスムージング処理が終了する。スムージング処理が終了した時点のスムージング画像記憶領域１３２内の’（ｘ，ｙ）の現在値は、スムージング画像を表すものである。
【００７７】
＜３．変形例＞
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
＜３−１＞
上記実施形態では、数１及び数７の式により評価関数Ｊを定義したが、評価関数Ｊは、適宜変更可能である。例えば、第１項及び第２項の係数を変更してもよいし、第１項の式と第２項の式とを乗算したものを評価関数Ｊとしてもよい。
【００７８】
＜３−２＞
上述のスムージング処理の結果の用途の別の例として、上述のステップＳ４４，Ｓ４５を以下のように変更することができる。
【００７９】
すなわち、ステップＳ４３の後、ステップＳ４４として、アフィン変換部４４が、ステップＳ４３で導出された各一次選択画像に対し、変換係数ａ11，ａ12，ａ21，ａ22に基づいて対象アフィン変換の逆変換を実行し、正規化された一次選択画像（以下、正規化一次選択画像）を導出する。
【００８０】
続いて、ステップＳ４５として、演算部４５は、ステップＳ４４で導出された正規化一次選択画像どうしを比較する。ここで、これらの正規化一次選択画像どうしは、ステップＳ４４での逆変換により、互いに視点が正規化されている。そのため、ステップＳ４５で比較される特徴は、アフィン変換に不変な特徴である必要はなく、従って、ステップＳ４５では、ステップＳ４３で比較することができなかった様々な特徴に基づいて、正規化一次選択画像どうしを比較することができる。よって、演算部４５は、ステップＳ４４で導出された正規化一次選択画像群から、ステップＳ４３で用いられた以外の特徴を抽出し、様々な観点から正規化一次選択画像どうしをより詳細に比較する。そして、演算部４５は、正規化一次選択画像どうしの類似性に基づいて、元の対象画像どうしの類似性を判断する。
【００８１】
以上のとおり、本変形例では、アフィン変換部４４が、変換係数ａ11，ａ12，ａ21，ａ22に基づいて、対象アフィン変換の逆変換の変換係数を算出する。さらに、アフィン変換部４４は、この逆変換の変換係数を用いて、スムージング画像に対し対象アフィン変換の逆変換を行うことにより、スムージング画像から対象アフィン変換による歪みが取り除かれた正規化されたスムージング画像を導出する。その結果、演算部４５は、対象アフィン変換による歪み、すなわち、視点の移動による歪みが取り除かれた正規化されたスムージング画像に基づいて、精度よく画像認識及び／又は画像検索等の画像処理を実行することが可能になる。
【００８２】
＜３−３＞
上記実施形態では、ステップＳ４３〜Ｓ４５において、スムージング画像どうしを比較することにより対象画像が比較されたが、スムージング画像ではなく対象画像に対しアフィン変換を施すことにより、対象画像どうしを直接比較してもよい。変形例３−２の場合も同様である。
【符号の説明】
【００８３】
１，１０１  画像処理装置
２，１０２  画像処理プログラム
４２，１４２  スムージング部
４３  係数算出部
４４  アフィン変換部
４５  演算部
【図１】
2014115725.tif 000011
【図２】
2014115725.tif 000012
【図３】
2014115725.tif 000013
【図４】
2014115725.tif 000014
【図５】
2014115725.tif 000015
【図６】
2014115725.tif 000016
【図７】
2014115725.tif 000017
【図８】
2014115725.tif 000018
【図９】
2014115725.tif 000019