(57)【要約】【課題】本発明は、画像処理装置及び方法を提供する。【解決手段】かかる装置は、スティッチング待ちの画像のうちの第一画像のシームラインを得るユニット；前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させるユニット；前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域で前記交差点に対応する座標点を見つけるユニット；及び、前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うユニットを含む。【選択図】図１
2018147471.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
スティッチング待ちの画像のうちの第一画像のシームラインを得るためのシームライン取得ユニット；
前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、前記ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させるための分割ユニット；
前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域において、前記交差点に対応する座標点を見つけるためのマッチングユニット；及び
前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うための統合ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記分割ユニットは、
前記延伸方向に沿って、前記第一画像のシームラインに対してスキャニングを行うためのスキャニングユニット；
前記スキャニングにより、前記第一画像のシームラインが黒色の画素であり、且つ前記黒色の画素の後に連続した黒色の画素が存在し、且つ連続した黒色の画素の数量が所定閾値よりも大きいと確定されたときに、前記黒色の画素を、前記ブロックと前記第一画像のシームラインとの１つの交差点と設定する第一設定ユニット；及び
前記スキャニングにより、前記第一画像のシームラインが黒色の画素から白色の画素に変わり、且つ前記黒色の画素の前に連続した黒色の画素が存在し、且つ連続した黒色の画素の数量が所定閾値よりも大きいと確定されたときに、前記黒色の画素を、前記ブロックと前記第一画像のシームラインとの１つの交差点と設定するための第二設定ユニットを含む、装置。
【請求項３】
請求項1に記載の装置であって、
前記中心領域中の面積が所定値よりも大きい連通領域を得るための連通領域取得ユニットを更に含み、
前記分割ユニットは、前記中心領域を、前記ブロックの境界が前記連通領域を通過しないように前記ブロックに分割する、装置。
【請求項４】
請求項3に記載の装置であって、
前記連通領域取得ユニットは、
前記第一画像の勾配画像を計算するための第一計算ユニット；
前記勾配画像に基づいて、前記第一画像の２値画像を計算するための第二計算ユニット；及び
前記２値画像に基づいて、前記連通領域を計算するための第三計算ユニットを含む、装置。
【請求項５】
請求項1に記載の装置であって、
前記シームライン取得ユニットは、
前記第一画像と前記第二画像を粗略にアラインメントし、前記第一画像と前記第二画像の重畳領域を得るためのアラインメントユニット；及び
前記重畳領域中で前記シームラインを、前記シームラインが最小数量の前景画素を通過するように取得するための取得ユニットを含む、装置。
【請求項６】
請求項5に記載の装置であって、
前記アラインメントユニットは、テンプレートマッチング又はキーポイントマッチングにより、前記第一画像と前記第二画像を粗略にアラインメントする、装置。
【請求項７】
請求項5に記載の装置であって、
前記取得ユニットは、動的経路計画法により、前記重畳領域中で前記シームラインを取得する、装置。
【請求項８】
請求項1に記載の装置であって、
前記統合ユニットは、補間法により、前記第一画像及び前記第二画像に対して画像統合を行う、装置。
【請求項９】
請求項1に記載の装置であって、
統合後の画像に対してブラー処理を行うための処理ユニットを更に含む、装置。
【請求項１０】
画像処理方法であって、
スティッチング待ちの画像のうちの第一画像のシームラインを取得し；
前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、前記ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させ；
前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域で、前記交差点に対応する座標点を見つけ；及び
前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うことを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術分野に関し、具体的には、画像に対してシームレススティッチング（seamless  stitching）を行う画像処理装置及び方法に関する。
【背景技術】
【０００２】
大規模の古い新聞紙のスティッチング、多重フォーカス画像の統合（fusion）及び図書館のファイルのデジタル化などのような様々の分野では、ファイル画像スティッチング技術が既に用いられている。しかし、画像スティッチングの効果が往々にして不安定であるため、高精度の結果を得ることは困難であり、また、スティッチング後の画像が良いものでない場合もある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示の目的は、２つの画像の重畳領域における任意の位置上でこの２つの画像をスティッチングすることができ、安定なパフォーマンス及び高精度の結果を実現し、且つスティッチングされた画像をシームレスにすることもできる、画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
本開示の一側面によれば、画像処理装置が提供され、該装置は、スティッチング待ちの画像のうちの第一画像のシームラインを得るためのシームライン取得ユニット；前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させるための分割ユニット；前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域において、前記交差点に対応する座標点を見つけるためのマッチングユニット；及び、前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うための統合ユニットを含む。
【０００５】
本開示のもう１つの側面によれば、画像処理方法が提供され、該方法は、スティッチング待ちの画像のうちの第一画像のシームラインを取得し；前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させ；前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域において、前記交差点に対応する座標点を見つけ；及び、前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うことを含む。
【０００６】
本開示の他の側面によれば、コンピュータ可読記憶媒体が提供され、その中には、コンピュータプログラムが記憶されており、前記プログラムは、コンピュータにより実行されるときに、コンピュータに、本開示の上述した画像処理方法を実行させることができる。
【０００７】
本開示の画像処理装置及び方法によれば、２つの画像の共通領域における任意の位置をスティッチングすることができ、また、シームレスのスティッチング効果を得ることもできる。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施例による画像処理装置の構成図である。
【図２】本開示の実施例による画像処理装置中の分割ユニットの構成図である。
【図３】本開示のもう１つの実施例による画像処理装置の構成図である。
【図４】本開示の実施例による画像処理装置中の連通領域取得ユニットの構成図である。
【図５】本開示の実施例による画像処理装置中のシームライン取得ユニットの構成図である。
【図６】本開示の他の実施例による画像処理装置の構成図である。
【図７】本開示の実施例による画像処理方法のフローチャートである。
【図８】本開示の実施例による画像処理装置及び方法を実現し得る汎用コンピュータの構成図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、以下に開示の実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１０】
図1は、本開示の実施例による画像処理装置100の構造を示す。図1に示すように、本開示の実施例による画像処理装置100は、シームライン取得ユニット110、分割ユニット120、マッチングユニット130及び統合ユニット140を含んでも良い。
【００１１】
シームライン取得ユニット110は、スティッチング待ちの画像のうちの第一画像のシームライン（seam  line）を得ることができる。当業者が理解すべきは、画像のシームラインとは、画像スティッチング時に形成される線（ライン）を指すということである。
【００１２】
第一画像のシームラインの延伸方向に沿って、分割ユニット120は、第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界（境界線）と第一画像のシームラインとの交差点を強勾配領域に位置させることができる。
【００１３】
本開示では、画像の中心領域（即ち、所定領域）は、画像のシームラインを含む領域と設定される。例えば、２つの画像に対して左右にスティッチングを行う時に、画像のシームラインは、上から下へ延伸することができる。このとき、分割ユニット120は、垂直方向に沿って、第一画像の中心領域をブロックに分割し、且つブロックの境界は、水平に延伸する。水平に延伸するブロックの境界は、上から下へ延伸するシームラインと交差して交差点（intersection）を形成することができる。他方では、２つの画像に対して上下にスティッチングを行う時に、画像のシームラインは、水平に延伸することができる。このとき、分割ユニット120は、水平方向に沿って、第一画像の中心領域をブロックに分割し、且つブロックの境界は、垂直に延伸する。垂直に延伸するブロックの境界は、水平に延伸するシームラインと交差して交差点を形成することができる。
【００１４】
また、分割ユニット120は、ブロックの境界と第一画像のシームラインとの交差点を強勾配領域に位置させることができる。当業者が理解すべきは、強勾配領域とは、勾配の変化が激しい（例えば、所定の閾値よりも大きい）領域を指すということである。画像上の領域の勾配の変化が激しい時に、往々にして、該領域が画像中の前景オブジェクトのエッジに位置することを意味する。分割ユニット120が交差点を強勾配領域に位置させる時に、ブロックの境界が画像中の前景オブジェクトを通過するのをできるだけ避けることができる。
【００１５】
続いて、マッチングユニット130は、ブロックの境界と第一画像のシームラインとの交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、第一画像のシームラインに対応する位置領域において、交差点に対応する座標点を見つけることができる。マッチングユニット130が実行するキーポイントマッチングにより、第二画像中で座標点を見つけることができ、該座標点は、第二画像の、第一画像のシームラインに対応する位置領域に位置し、且つブロックの境界と第一画像のシームラインとの交差点に対応する。
【００１６】
その後、統合ユニット140は、交差点及び座標点に基づいて、第一画像及び第二画像に対して画像統合を行い、統合後（即ち、スティッチング後）の画像を得ることができる。本開示の好ましい実施例によれば、統合ユニット140は、補間法を用いて、第一画像及び第二画像に対して画像統合を行うことができる。補間法は、当業者にとって周知であるため、ここでは、その詳しい説明を省略する。
【００１７】
本開示の実施例による画像処理装置100では、スティッチング待ちの画像のシームラインを含む中心領域がブロックに分割され、また、ブロックの境界とシームラインとの交差点が強勾配領域に位置する。このようにして、ブロックの境界が画像中の前景オブジェクトを通過するのをできるだけ避けることができる。ランダムに選択された交差点に比べ、本開示の実施例による画像処理装置100が得たスティッチング後の画像は、安定なパフォーマンス、高精度及びシームレスの効果を実現することができる。
【００１８】
本開示の技術案をより良く理解し得るために、以下、本開示の画像処理装置についてさらに詳細に説明する。
【００１９】
図2は、本開示の実施例による画像処理装置中の分割ユニット200を示す。図2に示す分割ユニット200は、図1に示す分割ユニット120に対応する。
【００２０】
図2に示すように、分割ユニット200は、スキャニングユニット210、設定ユニット220（第一設定ユニット）及び設定ユニット230（第二設定ユニット）を含んでも良い。
【００２１】
まず、スキャニングユニット210は、第一画像のシームラインの延伸方向に沿って、該シームラインに対してスキャニングを行うことができる。
【００２２】
スキャニングプロセスでは、スキャニングにより、第一画像のシームラインが黒色の画素であり、且つ該黒色の画素の後に連続した黒色の画素が存在し、且つこれらの黒色の画素の数量が所定閾値よりも大きいと確定された時に、設定ユニット220は、該黒色の画素を、ブロックと第一画像のシームラインとの１つの交差点と設定することができる。
【００２３】
他方では、スキャニングにより、第一画像のシームラインが黒色の画素から白色の画素になり、且つ該黒色の画素の前に連続した黒色の画素が存在し、且つこれらの黒色の画素の数量が所定閾値よりも大きいと確定された時に、設定ユニット230は、該黒色の画素を、ブロックと第一画像のシームラインとの１つの交差点と設定することができる。
【００２４】
当業者が理解すべきは、黒色の画素が位置する領域は強勾配領域であり、白色の画素が位置する領域は弱勾配領域であるということである。図2に示す分割ユニット200により、第一画像のシームラインが白色の画素から黒色の画素に変わり、又は、黒色の画素から白色の画素に変わる時に、設定ユニット220又は230は、該黒色の画素を、ブロックとシームラインとの１つの交差点と設定することができる。換言すると、ブロックの境界が強勾配領域のエッジに対応することで、ブロックの境界が画像中の前景オブジェクトを通過しないようにさせることができる。また、設定ユニット220及び230は、さらに、連続した黒色の画素の数量が所定閾値よりも大きいことを規定し、これにより、ノイズによる干渉を排除することができる。
【００２５】
図3は、本開示のもう１つの実施例による画像処理装置300を示す。連通領域取得ユニット310を除き、図3に示す画像処理装置300の構造は、図1に示す画像処理装置100の構造と同じである。画像処理装置300の、画像処理装置100と同じ部品の説明については、ここで省略する。
【００２６】
図3に示す画像処理装置300により、連通領域取得ユニット310は、第一画像のシームラインを含む中心領域中の面積が所定値よりも大きい連通領域を得ることができる。なお、ここでの連通領域とは、強勾配領域を指す。連通領域取得ユニット310の取得した連通領域の面積が所定値よりも大きいようにすることで、ノイズによる干渉を排除することができる。
【００２７】
連通領域取得ユニット310が得た連通領域に基づいて、分割ユニット120は、中心領域をブロックに分割し、ブロックの境界が連通領域取得ユニット310の得た連通領域を通過しないようにさせることができ、これにより、ブロックの境界が画像中の前景オブジェクトを通過するのをさらに避けることができる。
【００２８】
図4は、本開示の実施例による画像処理装置中の連通領域取得ユニット400を示す。図4に示す連通領域取得ユニット400は、図3に示す連通領域取得ユニット310に対応する。
【００２９】
図4に示すように、連通領域取得ユニット400は、計算ユニット410（第一計算ユニット）、計算ユニット420（第二計算ユニット）及び計算ユニット430（第三計算ユニット）を含んでも良い。
【００３０】
計算ユニット410は、スティッチング待ちの画像のうちの第一画像に対して処理を行い、第一画像の勾配画像を計算（取得）することができる。なお、本開示では、勾配画像の計算方法について限定せず、当業者は、既存の任意の方法を用いて画像の勾配画像を計算することができる。
【００３１】
続いて、計算ユニット420は、計算ユニット410が計算した勾配画像に基づいて、第一画像の２値画像を計算（取得）することができる。同様に、本開示では、２値画像の計算方法について限定せず、当業者は、既存の任意の方法を用いて画像の２値画像を計算することができる。
【００３２】
その後、計算ユニット430は、計算ユニット420が計算した２値画像に基づいて、連通領域を計算（取得）することができる。同様に、本開示では、連通領域の計算方法について限定せず、当業者は、既存の任意の方法を用いて画像の連通領域を計算することができる。
【００３３】
図4に示す連通領域取得ユニット400により、スティッチング待ちの画像のうちの第一画像の連通領域を得ることができ、これにより、分割ユニットは、中心領域をブロックに分割することができる。連通領域取得ユニット400が取得した連通領域に基づいて、分割ユニットは、中心領域をブロックに分割し、ブロックの境界が連通領域取得ユニット400の取得した連通領域を通過しないようにさせ、これにより、ブロックの境界が画像中の前景オブジェクトを通過するのをさらに避けることができる。
【００３４】
図5は、本開示の実施例による画像処理装置中のシームライン取得ユニット500を示す。図5に示すシームライン取得ユニット500は、図1及び図3に示すシームライン取得ユニット110に対応する。
【００３５】
図5に示すように、シームライン取得ユニット500は、アラインメントユニット510及び取得ユニット520を含む。
【００３６】
アラインメントユニット510は、第一画像及び第二画像の粗略なアラインメントを行い、これにより、第一画像と第二画像との重畳領域を得ることができる。本開示の好適な実施例によれば、アラインメントユニット510は、テンプレートマッチング方法又はキーポイントマッチング方法により、第一画像及び第二画像を粗略にアラインメントすることができる。テンプレートマッチング方法及びキーポイントマッチング方法は、当業者にとって周知であるため、ここでは、その詳しい説明を省略する。
【００３７】
その後、取得ユニット520は、アラインメントユニット510が得た重畳領域中で、スティッチング待ちの画像のうちの第一画像のシームラインを、該シームラインが最小数量の前景画素を通過するように得ることができる。本開示の好ましい実施例により、取得ユニット520は、動的経路計画法を用いて重畳領域においてシームラインを得ることができる。動的経路計画法は、当業者にとって周知であるので、ここでは、その詳細な説明を省略する。
【００３８】
図5に示すシームライン取得ユニット500により、スティッチング待ちの画像のうちの第一画像のシームラインを得ることができる。
【００３９】
図6は、本開示のもう１つの実施例による画像処理装置600を示す。処理ユニット610を除き、図6に示す画像処理装置600の構造は、図1に示す画像処理装置100の構造と同じである。画像処理装置600の、画像処理装置100と同じ部品の説明は、ここで省略される。
【００４０】
図6に示す画像処理装置600により、処理ユニット610は、統合後の画像に対してブラー（blur）処理を行うことで、処理後の画像がより自然に見えるようにさせることができる。本開示では、画像をブラー処理する方法について限定せず、当業者は、既存の任意の方法を用いて画像をブラー処理することができる。
【００４１】
以下、図7を参照しながら本開示の実施例による画像処理方法を説明する。本開示の方法は、画像に対してシームレススティッチングを行うことができる。
【００４２】
図7に示すように、本開示の実施例による画像処理方法は、ステップS110でスタートする。ステップS110では、スティッチング待ちの画像のうちの第一画像のシームラインを得る。
【００４３】
続いて、ステップS120では、第一画像のシームラインの延伸方向に沿って、第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と第一画像のシームラインとの交差点を強勾配領域に位置させる。
【００４４】
続いて、ステップS130では、交差点に基づいてキーポイントマッチングを行い、これにより、スティッチング待ちの画像のうちの第二画像の、上述のシームラインに対応する位置領域で、上述の交差点相に対応する座標点を探し出す。
【００４５】
続いて、ステップS140では、上述の交差点及び上述の座標点に基づいて、第一画像及び第二画像に対して画像統合を行うことができる。その後、プロセスをエンドする。
【００４６】
本開示の好ましい実施例により、第一画像のシームラインを含む中心領域をブロックに分割するステップは、延伸方向に沿って第一画像のシームラインに対してスキャニングを行い；スキャニングにより、第一画像のシームラインが黒色の画素であり、且つ黒色の画素の後に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと分かった（確定された）時に、黒色の画素を、ブロックと第一画像のシームラインとの１つの交差点と設定し；及び、スキャニングにより、第一画像のシームラインが黒色の画素から白色の画素に変わり、且つ黒色の画素の前に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと分かった時に、黒色の画素を、ブロックと第一画像のシームラインとの１つの交差点と設定することを含む。
【００４７】
本開示の好適な実施例により、該方法は、さらに、中心領域中の面積が所定値よりも大きい連通領域を取得し；及び、中心領域をブロックに分割し、ブロックの境界が連通領域を通過しないようにさせることを含む。
【００４８】
本開示の好ましい実施例により、中心領域中の面積が所定値よりも大きい連通領域を得るステップは、第一画像の勾配画像を計算し；勾配画像に基づいて第一画像の２値画像を計算し；及び、２値画像に基づいて連通領域を計算することを含む。
【００４９】
本開示の好適な実施例により、スティッチング待ちの画像のうちの第一画像のシームラインを得るステップは、第一画像と第二画像を粗略にアラインメントすることで、第一画像と第二画像の重畳領域を取得し；及び、重畳領域中でシームラインを取得し、シームラインが最小数量の前景画素を通過するようにさせることを含む。
【００５０】
本開示の好ましい実施例により、テンプレートマッチング方法又はキーポイントマッチング方法により、第一画像と第二画像を粗略にアラインメントすることができる。
【００５１】
本開示の好適な実施例により、動的経路計画法を用いて、重畳領域中でシームラインを得ることができる。
【００５２】
本開示の好ましい実施例により、補間法で第一画像及び第二画像に対して画像統合を行うことができる。
【００５３】
本開示の好適な実施例により、該方法は、さらに、統合後の画像をブラー処理することができる。
【００５４】
本開示の実施例による画像処理方法の上述のステップの各種の具体的な実施方式は、前に既に詳細に説明されているので、ここでは、重複説明を省略する。
【００５５】
もちろん、本開示による画像処理方法の各処理プロセスは、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムにより実現されても良い。
【００５６】
また、本開示の目的は、下述の方式で実現されても良く、即ち、上述の実行可能なプログラムコードを記憶した記憶媒体を直接又は間接的にシステム又は装置に提供し、該システム又は装置中のコンピュータ又は中央処理装置（CPU）により、上述のプログラムコードを読み出して実行する。このとき、該システム又は装置がプログラムを実行する機能を有すれば、本開示の実施方式は、プログラムに限定されず、また、該プログラムは、任意の形式であっても良く、例えば、オブジェクトプログラム、インタープリターが実行するプログラム、又は操作システムに提供するスクリプトプログラムなどであっても良い。
【００５７】
上述のコンピュータ可読記憶媒体は、各種の記憶器と記憶ユニット、半導体装置、ディスクユニット、例えば光、磁気及び光磁気ディスク、並びに情報を記憶可能な他の媒体などを含んでも良いが、これらに限定されない。
【００５８】
また、上述の方法及び装置は、ソフトウェア、ファームウェア、ハードウェア又はそれらの任意の組む合せの方式で実現されても良い。ソフトウェア又はファームウェアにより実現する場合、まず、記憶媒体又はネットワークから、専用ハードウェア構造を有するマシン（例えば、図8に示す汎用コンピュータ1300）に該ソフトウェア又はファームウェアのプログラムをインストールし、それから、該マシンは、各種のプログラムがインストールされている時に、上述の方法及び装置の各種の機能を実行することができる。
【００５９】
図8は、本開示の実施例による画像処理装置及び方法を実現し得る汎用コンピュータ1300の構成図である。
【００６０】
図8に示すように、中央処理ユニット（ＣＰＵ）1301が、リードオンリーメモリ（ＲＯＭ）1302に記憶されているプログラム、又は、記憶部1308からランダムアクセスメモリ（ＲＡＭ）1303にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ1303は、ニーズに応じて、ＣＰＵ1301が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ1301、ＲＯＭ1302及びＲＡＭ1303は、バス1304を経由して互いに接続される。また、入力／出力インターフェース1305もバス1304に接続される。
【００６１】
入力／出力インターフェース1305には、入力部1306（キーボードやマウスなどを含む）、出力部1307（表示器、例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部1308（ハードディスクなどを含む）、及び通信部1309（ネットワーク接続カード、例えばＬＡＮカード、モデムなどを含む）が接続される。通信部1309は、ネットワーク、例えばインターネットを経由して通信処理を行う。また、ドライブ1310がニーズに応じて入力／出力インターフェース1305に接続されても良い。また、ニーズに応じて、取り外し可能な媒体1311、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ1310にセットすることにより、その中から読み出したコンピュータプログラムを記憶部1308にインストールしても良い。
【００６２】
ソフトウェアにより上述の処理を実現する場合は、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体1311から、このソフトウェアを構成するプログラムをインストールしても良い。
【００６３】
なお、当業者が理解すべきは、このような記憶媒体は、その中にプログラムが記憶されており、ユーザにプログラムを提供するように装置と独立して配られる図8に示すような取り外し可能な媒体1311に限定されないということである。取り外し可能な媒体1311の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ1302、記憶部1308に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られても良い。
【００６４】
また、本発明は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行される時に、上述の実施例による方法を実行することができる。
【００６５】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【００６６】
本発明の上述の実施例による方法は、明細書に記載の又は図面に図示の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に又は独立して実行しても良い。よって、本明細書又は図面に記載の方法の実行順序は、本発明の技術的範囲を限定しない。
【００６７】
また、もちろん、本発明の上述の方法の各処理プロセスは、各種のマシン可読記憶媒体に保存されたコンピュータ実行可能なプログラムの方式により実現されても良い。
【００６８】
また、本発明の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、且つ、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されても良い。
【００６９】
また、該システム又は装置はプログラムを実行する機能を有すれば、本発明の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステム操作システムに提供するスクリプトプログラムなどであっても良い。
【００７０】
上述のマシン可読記憶媒体は、各種の記憶装置及び記憶ユニット、半導体装置、ディスユニット例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。
【００７１】
また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本発明の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本発明を実現することもできる。
【００７２】
また、以上の複数の実施例に関し、さらに、次のような付記も開示する。
【００７３】
（付記1）
画像処理装置であって、
スティッチング待ちの画像のうちの第一画像のシームラインを得るためのシームライン取得ユニット；
前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させるための分割ユニット；
前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域において、前記交差点に対応する座標点を見つけるためのマッチングユニット；及び
前記交差点及び前記座標点に基づいて、前記第一画像及び前記第二画像に対して画像統合を行うための統合ユニットを含む、装置。
【００７４】
（付記2）
付記1に記載の装置であって、
前記分割ユニットは、
前記延伸方向に沿って、前記第一画像のシームラインに対してスキャニングを行うためのスキャニングユニット；
スキャニングにより、前記第一画像のシームラインが黒色の画素であり、且つ前記黒色の画素の後に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと分かった時に、前記黒色の画素を、ブロックと前記第一画像のシームラインとの１つの交差点と設定する第一設定ユニット；及び
スキャニングにより、前記第一画像のシームラインが黒色の画素から白色の画素に変わり、且つ前記黒色の画素の前に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと分かった時に、前記黒色の画素を、ブロックと前記第一画像のシームラインとの１つの交差点と設定するための第二設定ユニットを含む、装置。
【００７５】
（付記3）
付記1に記載の装置であって、更に、
前記中心領域中の面積が所定値よりも大きい連通領域を得るための連通領域取得ユニットを含み、
前記分割ユニットは、前記中心領域をブロックに分割し、前記ブロックの境界が前記連通領域を通過しないようにさせる、装置。
【００７６】
（付記4）
付記3に記載の装置であって、
前記連通領域取得ユニットは、
前記第一画像の勾配画像を計算するための第一計算ユニット；
前記勾配画像に基づいて、前記第一画像の２値画像を計算するための第二計算ユニット；及び
前記２値画像に基づいて、前記連通領域を計算するための第三計算ユニットを含む、装置。
【００７７】
（付記5）
付記1に記載の装置であって、
前記シームライン取得ユニットは、
前記第一画像と前記第二画像を粗略にアラインメントし、前記第一画像と前記第二画像の重畳領域を得るためのアラインメントユニット；及び
前記重畳領域中で前記シームラインを取得し、前記シームラインが最小数量の前景画素を通過するようにさせるための取得ユニットを含む、装置。
【００７８】
（付記6）
付記5に記載の装置であって、
前記アラインメントユニットは、テンプレートマッチング方法又はキーポイントマッチング方法により、前記第一画像と前記第二画像を粗略にアラインメントする、装置。
【００７９】
（付記7）
付記5に記載の装置であって、
前記取得ユニットは、動的経路計画法により、前記重畳領域中で前記シームラインを取得する、装置。
【００８０】
（付記8）
付記1に記載の装置であって、
前記統合ユニットは、補間法により、前記第一画像及び前記第二画像に対して画像統合を行う、装置。
【００８１】
（付記9）
付記1に記載の装置であって、更に、
統合後の画像に対してブラー処理を行うための処理ユニットを含む、装置。
【００８２】
（付記10）
画像処理方法であって、
スティッチング待ちの画像のうちの第一画像のシームラインを取得し；
前記第一画像のシームラインの延伸方向に沿って、前記第一画像のシームラインを含む中心領域をブロックに分割し、ブロックの境界と前記第一画像のシームラインとの交差点を強勾配領域に位置させ；
前記交差点に基づいてキーポイントマッチングを行い、スティッチング待ちの画像のうちの第二画像の、前記シームラインに対応する位置領域で、前記交差点に対応する座標点を見つけ；及び
前記交差点及び前記座標点に基づいて前記第一画像及び前記第二画像に対して画像統合を行うことを含む、方法。
【００８３】
（付記11）
付記10に記載の方法であって、
前記第一画像のシームラインを含む中心領域をブロックに分割するステップは、
前記延伸方向に沿って前記第一画像のシームラインに対してスキャニングを行い；
スキャニングにより、前記第一画像のシームラインが黒色の画素であり、且つ前記黒色の画素の後に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと確定された時に、前記黒色の画素を、ブロックと前記第一画像のシームラインとの１つの交差点を設定し；及び
スキャニングにより、前記第一画像のシームラインが黒色の画素から白色の画素に変わり、且つ前記黒色の画素の前に連続した黒色の画素が存在し、且つその数量が所定閾値よりも大きいと確定された時に、前記黒色の画素を、ブロックと前記第一画像のシームラインとの１つの交差点と設定することを含む、方法。
【００８４】
（付記12）
付記10に記載の方法であって、さらに、
前記中心領域中の面積が所定値よりも大きい連通領域を取得し；及び
前記中心領域をブロックに分割し、前記ブロックの境界が前記連通領域を通過しないようにさせることを含む、方法。
【００８５】
（付記13）
付記12に記載の方法であって、
前記中心領域中の面積が所定値よりも大きい連通領域を取得するステップは、
前記第一画像の勾配画像を計算し；
前記勾配画像に基づいて前記第一画像の２値画像を計算し；及び
前記２値画像に基づいて前記連通領域を計算することを含む、方法。
【００８６】
（付記14）
付記10に記載の方法であって、
スティッチング待ちの画像のうちの第一画像のシームラインを取得するステップは、
前記第一画像と前記第二画像を粗略にアラインメントし、前記第一画像及び前記第二画像の重畳領域を取得し；及び
前記重畳領域中で前記シームラインを取得し、前記シームラインが最小数量の前景画素を通過するようにさせることを含む、方法。
【００８７】
（付記15）
付記14に記載の方法であって、
テンプレートマッチング方法又はキーポイントマッチング方法により、前記第一画像と前記第二画像を粗略にアラインメントする、方法。
【００８８】
（付記16）
付記14に記載の方法であって、
動的経路計画法により、前記重畳領域中で前記シームラインを取得する、方法。
【００８９】
（付記17）
付記10に記載の方法であって、
補間法により、前記第一画像及び前記第二画像に対して画像統合を行う、方法。
【００９０】
（付記18）
付記10に記載の方法であって、更に、
統合後の画像に対してブラー処理を行う、方法。
【００９１】
（付記19）
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータに、付記10〜18のうちの任意に１項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【００９２】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2018147471.tif 000003
【図２】
2018147471.tif 000004
【図３】
2018147471.tif 000005
【図４】
2018147471.tif 000006
【図５】
2018147471.tif 000007
【図６】
2018147471.tif 000008
【図７】
2018147471.tif 000009
【図８】
2018147471.tif 000010