(57)【特許請求の範囲】
【請求項１】
ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップと、
前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得するステップと、
隣接画像を色調整して色調整された隣接画像を取得するステップと、
前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップと、
を含み、
前記隣接画像を色調整して色調整された隣接画像を取得するステップは、
隣接画像の重複領域を決定するステップと、
隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定するステップと、
前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得するステップと、
を含む、
ことを特徴とするユーザ端末に用いられるパノラマ画像生成方法。
【請求項２】
前記隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップは、
隣接画像を予め設定された個数の領域に分割し、各領域内で、個数が予め設定された数値より小さい特徴点を抽出するステップと、
隣接画像内で抽出された特徴点に基づいて特徴マッチングし、マッチングされた特徴点対を取得するステップと、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータとして再最適化するステップと、
前記再最適化が失敗し、また画像が３つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化するステップと、
上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化するステップと、
を更に含む、
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップは、
前記色調整された隣接画像を縮小処理して、縮小された画像を取得するステップと、
前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定するステップと、
前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスクマップを生成するステップと、
隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、前記構成部分及び前記融合された部分をパノラマ図に組み合わせるステップと、
を含む、
ことを特徴とする請求項１〜３のいずれかに記載の方法。
【請求項５】
前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをそれぞれ処理するようにするステップをさらに含む、
ことを特徴とする請求項４項に記載の方法。
【請求項６】
ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するマッチングモジュールと、
前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する最適化モジュールと、
隣接画像を色調整して、色調整された隣接画像を取得する調整モジュールと、
前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する接合モジュールと、
を含み、
前記調整モジュールは、具体的には、
隣接画像の重複領域を決定し、
隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定し、
前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する、
ことを特徴とするユーザ端末に用いられるパノラマ画像生成装置。
【請求項７】
前記マッチングモジュールが隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、
隣接画像を予め設定された個数の領域に分割し、各領域内で個数が予め設定された数値より小さい特徴点を抽出することと、
隣接画像内で抽出された特徴点に基づいて特徴マッチングし，マッチングされた特徴点対を取得することと、
を含む、
ことを特徴とする請求項６に記載の装置。
【請求項８】
カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期値として再最適化し、前記再最適化が失敗し、且つ画像が３つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化し、上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する処理モジュールを更に含む、
ことを特徴とする請求項６または７に記載の装置。
【請求項９】
前記接合モジュールは、具体的には、
前記色調整された隣接画像を縮小処理して、縮小された画像を取得し、
前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定し、
前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスクマップを生成し、
隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、前記構成部分及び前記融合された部分をパノラマ図に組み合わせる、
ことを特徴とする請求項６〜８のいずれかに記載の装置。
【請求項１０】
前記接合モジュールは、更に、
前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをそれぞれ処理するようにする、
ことを特徴とする請求項９項に記載の装置。
【請求項１１】
一つまたは複数のプロセッサーと、
メモリと、
一つまたは複数のプログラムと、を含み、
前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、請求項１〜５のいずれかに記載の方法を実行する、
ことを特徴とするユーザ端末。
【請求項１２】
一つまたは複数のプログラムが記憶され、
前記一つまたは複数のプログラムが実行される場合、
請求項１〜５のいずれかに記載の方法を実行する、
ことを特徴とする不揮発性コンピューター記憶媒体。
【発明の詳細な説明】
【交差引用】
【０００１】
本出願は、バイドゥオンラインネットワークテクノロジーリミテッドカンパニーにより２０１５年６月３０日付けで提出された発明の名称が「ユーザ端末のパノラマ画像生成方法及び装置」であり、中国特許出願番号が「２０１５１０３７７２５１.６」である特許出願の優先権を主張するものである。
【技術分野】
【０００２】
本発明は、画像処理技術に関し、特にユーザ端末のパノラマ画像生成方法及び装置に関する。
【背景技術】
【０００３】
パノラマ図は、広角ショットにより取得されるが、撮影するハードウェアに限定され、より多くのパノラマ図は複数の画像を接合することにより取得され、できるだけ多くの周囲の環境を表示する。従来技術において、一般的に以下のようないくつかの方法を使用して複数の画像を接合することによりパノラマ画像を取得する。一つは、通用接合方法であり、当該方法はスケール不変特徴変換（Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）特徴及びバンドル調整（ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔ）最適化を用いて画像接合することである。もう一つは、携帯電話に対する接合方法であり、携帯電話の内蔵のセンサーを用いて携帯電話の実行トラックを記録して画像接合を加速することと、及び重複領域に対して色と照明補償することにより、接合の画像品質を向上させるという二つに分かれる。
【０００４】
しかしながら、現在の一般的な接合方法及び携帯電話に対する接合方法はいずれも接合スピードが遅い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、少なくともある程度に従来の技術での技術問題の一つを解決しようとする。
【０００６】
そのため、本発明の一つの目的は、ユーザ端末のパノラマ画像生成方法を提出することであり、当該方法は画像の接合スピードを向上させることができる。
【０００７】
本発明のもう一つの目的は、ユーザ端末のパノラマ画像生成装置を提出することである。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る第１側面の実施形態の実施例は、ユーザ端末のパノラマ画像生成方法を提出し、当該方法は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するステップと、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて最適化されたカメラパラメータを取得するステップと、隣接画像を色調整して色調整された隣接画像を取得するステップと、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成するステップと、を含む。
【０００９】
本発明に係る第１側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成方法は、複数の画像の間の隣接関係を決定し、また隣接画像を特徴抽出を行うことにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができるので、画像の接合スピードを向上させる。
【００１０】
上記の目的を達成するために、本発明に係る第２側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成装置は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得するマッチングモジュールと、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて最適化されたカメラパラメータを取得する最適化モジュールと、隣接画像を色調整して色調整された隣接画像を取得する調整モジュールと、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する接合モジュールと、を含む。
【００１１】
本発明に係る第２側面の実施形態の実施例により提出するユーザ端末のパノラマ画像生成装置は、複数の画像の間の隣接関係を決定し、また隣接画像を特徴抽出を行うことにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができるので、画像の接合スピードを向上させる。
【００１２】
本発明の実施形態の実施例はさらにユーザ端末を提出し、当該ユーザ端末は、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のプログラムと、を含み、前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、本発明第１側面のいずれかに記載の方法を実行する。
【００１３】
本発明の実施形態の実施例はさらに不揮発性コンピューター記憶媒体を提出し、当該不揮発性コンピューター記憶媒体は、一つまたは複数のモジュールが記憶され、前記一つまたは複数のモジュールが実行される場合、本発明第１側面のいずれかに記載の方法を実行する。本発明の付加方面と利点は、下記の説明にて部分的に示され、一部は下記の説明にて明らかになり、または本発明の実践により理解される。
【図面の簡単な説明】
【００１４】
本発明の上記および／または付加的な方面と利点は、下記の図面を結合しつつ実施例に対する説明を行う過程にて明らかで理解しやすくなる。その中で、
【図１】本発明に係る一つの実施例により提出するユーザ端末のパノラマ画像生成方法のフローチャートである。
【図２】本発明に係る実施例でＳ１１のフローチャートである。
【図３】本発明に係る実施例でＳ１２のフローチャートである。
【図４】本発明に係る実施例でＳ１３のフローチャートである。
【図５】本発明に係る実施例でＳ１４のフローチャートである。
【図６ａ】本発明に係る実施例で接合を行う画像の概略図である。
【図６ｂ】本発明に係る実施例で画像に対応するｍａｓｋ図の概略図である。
【図６ｃ】本発明に係る実施例で接合されたパノラマ図の概略図である。
【図７】本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。
【図８】本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。
【発明を実施するための形態】
【００１５】
以下に、本発明の実施例を詳細に説明する。前記実施例の例示が図面において示されるが、一貫して同一または類似する符号は、同一又は類似の部品、又は、同一又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施例は例示性のものであり、本発明を解釈するためだけに用いられるものであって、本発明を限定するように理解されてはならない。逆に、本発明の実施例は、添付される特許請求の範囲に置かれる原理及び含意における全ての変化、修正及び同等物を含む。
【００１６】
図１は、本発明に係る一つの実施例により提出するユーザ端末のパノラマ画像生成方法のフローチャートである。当該方法は、Ｓ１１と、Ｓ１２と、Ｓ１３と、Ｓ１４と、を含む。
【００１７】
Ｓ１１において、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得する。
その中で、ユーザ端末のカメラを使用して周囲の環境を撮影して異なる状態（例えば、角度および照明）の複数の画像を取得する。
【００１８】
一つの実施例において、計算量を低減するために、隣接画像の間のマッチング関係のみ計算し，隣接していない画像の間のマッチング関係に対して計算しない。従って、まずは隣接画像を決定してもよい。
【００１９】
選択的に、ユーザ端末がモバイルデバイスであることを例として、図２を参照すると、Ｓ１１を実現するフローチャートである。その中で、前記複数の画像から隣接画像を決定するステップは、Ｓ２１を含む。
【００２０】
Ｓ２１において、各画像に対応して、前記画像を撮影する場合、前記モバイルデバイス内に設置されているセンサーの情報を取得し、前記センサーの情報に基づいて隣接画像を決定する。
その中で、センサーは、例えば、ジャイロセンサーと、地磁気計と、重力センサーとなどである。
【００２１】
例えば、一つの画像を撮影する毎に、当該画像に対応するセンサー情報を記録し、その後この情報に基づいて隣接画像を決定する。例えば、第１の画像の角度が第１角度であり、第２の画像の角度が第２角度であり、第３の画像の角度が第３角度であり、第１角度と第２角度との数値差が第３角度と第１角度との数値差より小さいと仮定すると、第１画像と第２画像とが隣接することであると決定できる。もちろん、理解できるのは、上記の隣接画像を決定する方式は、ただ一つの簡略化した例であり、他の方式を使用して実現してもよい。
【００２２】
本実施例において、モバイルデバイス内の装置を使用することによりモバイルデバイス自身のリソースを十分に利用することができ、便利で、ショートカットに隣接画像を決定できる。
【００２３】
隣接画像を決定した後、隣接画像での各画像に対してぞれぞれに特徴抽出を行い、特徴マッチングを完了する。
【００２４】
一つの実施例において、図２を参照すると、その中での、隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、Ｓ２３を含む。
【００２５】
Ｓ２３において、隣接画像を予め設定された個数の領域に分割し、また各領域内で、個数が予め設定された数値より小さい特徴点を抽出する。
【００２６】
例えば、隣接画像での各画像を四つの領域に分かれ、各領域から限定数の特徴点を抽出する。
特徴点は、具体的にＳＩＦＴ特徴点でもよい。
【００２７】
Ｓ２４において、隣接画像内で抽出された特徴点に基づいて、特徴マッチングし、マッチングされた特徴点対を取得する。
【００２８】
例えば、ランダムサンプルコンセンサス（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを使用して隣接画像でのＳＩＦＴ特徴点に対してマッチングし、マッチングした徴点対を取得する。
【００２９】
本実施例において、特徴点の個数を限定することにより、計算量を低減して接合スピードを向上させる。
【００３０】
一つの実施例において、特徴点を抽出する前に、まずは画像に対して前処理し、及び/又は、特徴点対のマッチング後、ミスマッチングされた一部の特徴点対を除去する。
【００３１】
図２を参照すると、Ｓ２２を更に含む。
Ｓ２２において、隣接画像を前処理し、前記前処理は、色強調、及び/又はサイズスケーリングを含んでもよい。
【００３２】
その中で、色強調とは、暗い画像に対して強調することである。例えば、一つの画像のピクセルの輝度値が予め設定された数値より小さい場合、当該輝度値に対して所定の増分を増加させる。
【００３３】
サイズスケーリングとは、モバイルデバイスの処理に適当なサイズまで元画像をスケーリングするサイズであり、その中で、当該サイズはモバイルデバイスの種類によって決定される。
【００３４】
前処理されて、前処理された画像に対して特徴抽出し且つ特徴マッチングし、具体的には、前記の係る説明を参照し、ここでは繰り返さない。
【００３５】
本実施例において、前処理に基づいて処理効果を向上させることができ、且つモバイルデバイスに適合する。
【００３６】
ＲＡＮＳＡＣを使用してマッチングされた特徴点対を得た後、ミスマッチングされた特徴点対存在する可能性があるので、その後ミスマッチングされた特徴点対を除去してもよい。
【００３７】
一つの実施例において、図２を参照すると、更にＳ２５を含んでもよい。
Ｓ２５において、前記マッチングされた特徴点対に対してフィルター処理し、ミスマッチングされた特徴点対を除去する。
【００３８】
その中で、ヒューリスティックアルゴリズムを使用してフィルター処理を行ってもよい。
【００３９】
例えば、二対の特徴点対がそれぞれにＡとＢ、ＣとＤ、及び、ＥとＦなどであると仮定した場合、ＡとＢを接続して線分ＡＢを取得する。同様に、線分ＣＤ、ＥＦなども取得される。その後、それらの線分を比較して、ほぼ同じ長さ、且つほぼ平行関係である線分に対応する特徴点対を残して、他の特徴点対は除去する。その中で、除去された特徴点対は、一般的にはミスマッチングされたＳＩＦＴ特徴点対及びミスしたＲＡＮＳＡＣ内点（ｉｎｌｉｅｒｓ）を含み、一般的にこれらのミスマッチングされたＳＩＦＴ特徴点対はほぼ平行しない。一般的にこれらの間違ったＲＡＮＳＡＣ内点は線分の長さがほぼ同じではない。
【００４０】
フィルター処理に基づいて、フィルター処理されてマッチングした特徴点対を取得され、その後の処理において、使用しているマッチングした特徴点対とはフィルター処理されてマッチングした特徴点対である。
【００４１】
本実施例において、フィルター処理に基づいて、マッチングされた特徴点対の精度を向上でき、画像接合の精度を向上させる。
【００４２】
Ｓ１２において、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する。
【００４３】
その中で、バンドル調整（ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔ）アルゴリズムを使用してグローバルなカメラパラメータの最適化する。
【００４４】
ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔアルゴリズムは非線形方程式であり、すべての画像の間のマッチングされた特徴点対のプロジェクション差が最小になることで、カメラパラメータを最適化する。
【００４５】
ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔアルゴリズムはレーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ）反復アルゴリズムを用いて解けたのである。非線形最適化は初期値に対して非常に敏感するので、与えられた初期値がよくなければ、局所最適解しか得られないので、接合されたパノラマ図は転位又はゴーストされる。
【００４６】
そのため、一つの実施例において、図３を参照すると、グローバル最適化カメラパラメータのプロセスは、Ｓ３１と、Ｓ３２と、を含む。
【００４７】
Ｓ３１において、前記初期カメラパラメータを決定する。前記初期カメラパラメータを決定するステップは、各画像を撮影する場合、前記モバイルデバイス内に設置されたセンサーの情報を取得し、また前記情報に基づいて各画像の初期カメラパラメータを決定する。
【００４８】
その中で、カメラパラメータは、焦点距離、回転行列などを含んでもよい。
【００４９】
従来技術において、初期カメラパラメータはランダムな初期値を使用する。本実施例のセンサー情報に基づいて取得された初期カメラパラメータを使用すば、もっとよい最適解を取得され、接合の転位又はゴーストを低減することは、実験により表示される。
【００５０】
Ｓ３２において、前記初期カメラパラメータ及びフィルターされてマッチングした特徴点対に基づいて、最適化されたカメラパラメータを取得する。
【００５１】
例えば、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを使用して、最適化されたカメラパラメータを解ける。
【００５２】
一方、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを使用いて、最適化を解ける場合、最適化が失敗（アルゴリズムが収束しない）する可能性がある。従来技術において、最適化が失敗された場合の解決策を提供していないが、本発明の一つの実施例において、図３を参照すると、更にＳ３３を含む。
【００５３】
Ｓ３３において、最適化が失敗されてから、失敗解決策を使用する。失敗解決策は、次のようである。
【００５４】
カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータとして再最適化する。
【００５５】
その中で、理想的なカメラパラメータは次のような方式を使用して決定できる。ユーザ端末（例えば、モバイルデバイス）の各層で撮影した画像のフォーマットを決定し、更に各図が位置する角度のドロー予測を行って、この角度に基づいて理想的なカメラパラメータを取得する。
【００５６】
前記再最適化が失敗し、且つ、前記複数の画像が3つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化する。
【００５７】
理想的なカメラパラメータを初期カメラパラメータとしても最適化が失敗された場合、一部の画像に対応する特徴点対を除去する。例えば、一般的に携帯電話を用いて撮影する場合、三つの層の画像を撮影され、本実施例において、まずは最底層の画像を除去してい、上方の２層の画像を最適化して、上方の２層の画像接合が正しいことを確保する。
【００５８】
その中で、上方の２層の画像を最適化する場合、具体的には、上方の２層の画像のマッチング特徴点対及び初期カメラパラメータに基づいて最適化してもよい。また、初期カメラパラメータは、優先に本実施例の上記センサー情報に基づいて決定された初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。
【００５９】
上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する。
【００６０】
例えば、上方の２層が最適化されなければ、中間の１層の画像のみ最適化されることを保証し、中間の１層の画像接合が正しいことを確保する。従って、その場合、中間の１層の画像に対応する特徴点対及び初期カメラパラメータを使用して計算を行って、且つ計算する場合、初期カメラパラメータは、優先に本実施例の上記センサー情報を使用して決定された初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。
【００６１】
本実施例において、センサー情報に基づいて取得された初期カメラパラメータを使用するこにより、最適解の精度を向上させることができ、接合效果を向上させる。また、上記最適化失敗された処理策を使用することにより、ロバスト性を向上させることができる。
【００６２】
Ｓ１３において、前記隣接画像を色調整して色調整された隣接画像を取得する。
【００６３】
携帯電話で写真を取るプロセスに、各イメージのパラメータ、例えば、露光及びホワイトバランスなどは、いずれも再計算されたものである。シーンが異なる領域の光の変化は、隣接イメージの異なる露光度を招く。当時に、シーンが異なる領域の異なる色の物体もホワイトバランスの設置に影響を与えるので、同じ物体が隣接イメージで異なる外観を示し、いくつかは明るい、いくつかは暗くなる。付加的な照明や色処理がなければ、パノラマ図の重複領域に色ムラが発生するので、接合する前に元画像に対して色及び照明の補償する必要がある。
【００６４】
一つの実施例において、図４を参照すると、前記隣接画像を色調整して色調整された隣接画像を取得することは、Ｓ４１と、Ｓ４２と、Ｓ４３と、を含む。
【００６５】
Ｓ４１において、隣接画像の重複領域を決定する。
【００６６】
二枚の画像の重複領域を決定するアルゴリズムとして、既存の技術を使用して実現してもよい。
【００６７】
Ｓ４２において、隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定する。
【００６８】
例えば、隣接画像はＡとＢであり、ＡとＢの重複領域はＤであれば、ＡのＤ領域内のピクセル点の画素値、及びＢのＤ領域内のピクセル点の画素値を取得でき，その後最小二乗アルゴリズムを使用して、この２組の画素値の数値差が最小になる場合のＡとＢそれぞれに対応する補正パラメータを計算する。補正パラメータは、例えば、Ｇａｍｍａ補正パラメータである。
【００６９】
Ｓ４３において、前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する。
【００７０】
例えば、ＡとＢの補正パラメータを決定した後、それぞれに、Ａの補正パラメータを利用してＡに対して色補正し、Ｂの補正パラメータを利用してＢに対して色補正してもよい。
【００７１】
本実施例において、色補正することにより、パノラマ図の色ムラの状況を解決することができる。
【００７２】
Ｓ１４において、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する。
【００７３】
隣接画像をカメラパラメータの最適化し且つ色調整してから、隣接画像を接合し、パノラマ図を生成する。
【００７４】
一つの実施例において、図５を参照すると、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成することは、Ｓ５１と、Ｓ５２と、Ｓ５３と、Ｓ５４と、を含む。
【００７５】
Ｓ５１において、前記色調整された隣接画像を縮小処理して縮小された画像を取得する。
【００７６】
例えば、隣接画像での各画像を元の１/８に縮小する。
【００７７】
Ｓ５２において、前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定する。
【００７８】
その中で、画像を決定した後、隣接画像に基づいて各画像内の接合継ぎ目を決定することは、従来技術を使用してもよい。
【００７９】
従来技術と異なるのは、従来技術において一般的に元の大きさの画像を使用するが、本実施例は画像を縮小し、縮小されたイメージの上で接合継ぎ目を決定することにより、低い解像度の画像上で接合継ぎ目を決定でき、作業負荷を低減し、時間を節約することができる。
【００８０】
Ｓ５３において、前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ構成部分及びつなぎ合わせ部分を含むマスク（ｍａｓｋ）パターンを生成する。
【００８１】
その中で、最適化されたカメラパラメータにより各画像がパノラマ図の位置を決定でき、当該位置及び接合継ぎ目を決定した後、一枚の画像のマスクマップを決定でき、当該マスクマップは構成部分及びつなぎ合わせ部分で構成される。
【００８２】
例えば、画像接合を行う４枚の画像は図６ａに示したように、この４枚の画像に対応するｍａｓｋ図は図６ｂに示したようである。その中で、構成部分は白い領域であり、つなぎ合わせ部分は黒い領域である。
【００８３】
Ｓ５４において、隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、また前記構成部分及び前記融合された部分をパノラマ図に組み合わせる。
【００８４】
その中で、ｍａｓｋ図での構成部分を直接にパノラマ図の対応する部分で使用してもよい。つなぎ合わせ部分は隣接画像において重複があるので、処理する必要がある。本実施例において、従来の多層混合の方式を使用し、その後、更に構成部分及び融合された部分でパノラマ図を構成してもよい。
【００８５】
また、説明すべきは、一般的にｍａｓｋ図の大きさは元のパノラマ図と一致（即ち、解像度が一致する）する大きさに選択するので、直接に構成部分及び融合された部分でパノラマ図を構成することができる。
【００８６】
例えば、接合されたパノラマ図は、図６ｃに示したようである。
【００８７】
一つの実施例において、ｍａｓｋ図をパノラマ図と一致する大きさに選択した場合、パノラマ図が接合処理する場合、三次元の形を使用して接合し、表示する場合は二次元の形で表示するので、表示する場合、一つの画像のｍａｓｋ図のつなぎ合わせ部分が大きくて、構成部分がつなぎ合わせ部分の両端に分散する。その場合、更に以下の処理を行ってもよい。
【００８８】
前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをぞれぞれ処理する。
【００８９】
例えば、その後での多層混合する場合、及び構成部分と融合された部分とが構成される場合、各小さい画像を特立した一つの画像として処理する。
【００９０】
本実施例において、ｍａｓｋ図を小さいイメージに分割することにより、処理時間を減少させる。例えば、各ｍａｓｋ図は１〜２秒の時間を減少することができ、一般的には７〜８枚のｍａｓｋ図があるので、接合スピードを明らかに向上させる。
【００９１】
本発明の上記実施例は具体的に携帯電話の画像接合に応用されてもよく、理解すべきは、本発明の上記方案は他のモバイルデバイス内に応用されてもよく、例えば、カーシステムの接合に応用される。更に、車両などの他のシーンに応用され、具体的なパラメータなどは実際状況に応じて調整してもよい。
【００９２】
本発明の実施例において、隣接画像を決定し、また隣接画像を特徴抽出することにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができ，画像接合スピードを向上させる。そして、本実施例の上記方法は、特にモバイルデバイスに適用し、以上の画像の前処理、特徴マッチング、グローバル最適化、グローバル色調整、及び多層混合など改良により、モバイルデバイスにおいて、素早く、高品質に多層写真をパノラマ接合することができる。実験により表示されたように、接合成功率は８０％以上、スピードは４０秒以内である。且つ、本実施例の方案は異なる種類のユーザ端末内に応用され、それらの性能を向上させることができる。
【００９３】
図７は本発明に係るもう一つの実施例により提出するユーザ端末のパノラマ画像生成装置の構造概略図である。当該装置はユーザ端末内に位置し、当該装置７０は、マッチングモジュール７１と、最適化モジュール７２と、調整モジュール７３と、接合モジュール７４と、を含む。
【００９４】
マッチングモジュール７１は、ユーザ端末により撮影された複数の画像を取得し、複数の画像の間の隣接関係を決定し、また隣接画像を特徴マッチングし、マッチングされた特徴点対を取得する。
【００９５】
その中で、ユーザ端末のカメラを使用して周囲の環境を撮影して異なる状態（例えば、角度および照明）の複数の画像を取得する。
【００９６】
一つの実施例において、計算量を低減するために、隣接画像の間のマッチング関係のみ計算し，隣接していない画像の間のマッチング関係に対して計算しない。従って、まずは隣接画像を決定してもよい。
【００９７】
選択的に、ユーザ端末がモバイルデバイスであることを例として、前記マッチングモジュール７１は前記複数の画像から隣接画像を決定することは、
各画像に対応して、前記画像を撮影する場合、前記モバイルデバイス内に設置されているセンサーの情報を取得し、前記センサーの情報に基づいて隣接画像を決定することを含む。
【００９８】
その中で、センサーは、例えば、ジャイロセンサーと、地磁気計と、重力センサーとなどである。
【００９９】
例えば、一つの画像を撮影する毎に、当該画像に対応するセンサー情報を記録し、その後この情報に基づいて隣接画像を決定する。例えば、第１の画像の角度が第１角度であり、第２の画像の角度が第２角度であり、第３の画像の角度が第３角度であり、第１角度と第２角度との数値差が第３角度と第１角度との数値差より小さいと仮定すると、第１画像と第２画像とが隣接することであると決定できる。もちろん、理解できるのは、上記の隣接画像を決定する方式は、ただ一つの簡略化した例であり、他の方式を使用して実現してもよい。
【０１００】
本実施例において、モバイルデバイス内の装置を使用することによりモバイルデバイス自身のリソースを十分に利用することができ、便利で、ショートカットに隣接画像を決定できる。
【０１０１】
隣接画像を決定した後、隣接画像での各画像に対してぞれぞれに特徴抽出を行い、特徴マッチングを完了する。
【０１０２】
選択的に、前記マッチングモジュール７１は隣接画像を特徴マッチングし、マッチングされた特徴点対を取得することは、
隣接画像を予め設定された個数の領域に分割し、また各領域内で、個数が予め設定された数値より小さい特徴点を抽出する。
【０１０３】
例えば、隣接画像での各画像を四つの領域に分かれ、各領域から限定数の特徴点を抽出する。
【０１０４】
特徴点は、具体的にＳＩＦＴ特徴点でもよい。
【０１０５】
隣接画像内で抽出された特徴点に基づいて、特徴マッチングし、マッチングされた特徴点対を取得する。
【０１０６】
例えば、ランダムサンプルコンセンサス（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを使用して隣接画像でのＳＩＦＴ特徴点に対してマッチングし、マッチングした徴点対を取得する。
【０１０７】
本実施例において、特徴点の個数を限定することにより、計算量を低減して接合スピードを向上させる。
【０１０８】
一つの実施例において、当該マッチングモジュールは、特徴点を抽出する前に、まずは画像に対して前処理し、及び/又は、特徴点対のマッチング後、ミスマッチングされた一部の特徴点対を除去する。具体的な内容は、方法実施例での係る説明を参照し、ここでは繰り返さない。
【０１０９】
最適化モジュール７２は、前記マッチングされた特徴点対及び初期カメラパラメータに基づいて、最適化されたカメラパラメータを取得する。
【０１１０】
その中で、バンドル調整（ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔ）アルゴリズムを使用してグローバルなカメラパラメータの最適化を行う。
【０１１１】
ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔアルゴリズムは非線形方程式であり、すべての画像の間のマッチングされた特徴点対のプロジェクション差が最小になることで、カメラパラメータを最適化する。
【０１１２】
ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔアルゴリズムはレーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ）反復アルゴリズムを用いて解けたのである。非線形最適化は初期値に対して非常に敏感するので、与えられた初期値がよくなければ、局所最適解しか取得されないので、接合されたパノラマ図は転位又はゴーストされる。
【０１１３】
一つの実施例において、図８を参照すると、当該装置７０は、前記初期値を決定モジュール７５を更に含み、前記決定モジュール７５は、具体的に、
各画像を撮影する場合、前記モバイルデバイス内に設置されたセンサーの情報を取得し、また前記情報に基づいて各画像の初期カメラパラメータを決定する。
【０１１４】
その中で、カメラパラメータは、焦点距離と、回転行列となどを含んでもよい。
【０１１５】
従来技術において、初期カメラパラメータはランダムな初期値を使用する。本実施例のセンサー情報に基づいて取得された初期カメラパラメータを使用すば、もっとよい最適解を取得され、接合の転位又はゴーストを低減することは、実験により表示される。
【０１１６】
一方、Ｌｅｖｅｎｂｅｒｇ-Ｍａｒｑｕａｒｄｔ反復アルゴリズムを用いて、最適化を解ける場合、最適化が失敗（アルゴリズムが収束しない）する可能性がある。従来技術において、最適化が失敗された場合の解決策を提供していない。
【０１１７】
本発明の一つの実施例において、図８を参照すると、当該装置７０は、処理モジュール７６を更に含む。
【０１１８】
処理モジュール７６は、カメラパラメータの最適化が失敗された場合、予め決定された理想的なカメラパラメータを初期カメラパラメータ初期値として再最適化する、前記再最適化が失敗し、また画像が3つの層に分かれた場合、最下方の１層の画像を除去し、上方の２層の画像を用いて最適化する、上方の２層の画像を用いた最適化が失敗された場合、中間の１層の画像のみを用いて最適化する
【０１１９】
その中で、理想的なカメラパラメータは次のような方式を使用して決定できる。ユーザ端末（例えば、モバイルデバイス）の各層で撮影した画像のフォーマットを決定し、更に各図が位置する角度のドロー予測を行って、この角度に基づいて理想的なカメラパラメータを取得する。
【０１２０】
理想的なカメラパラメータを初期カメラパラメータとしても最適化が失敗された場合、一部の画像に対応する特徴点対を除去する。例えば、一般的に携帯電話を用いて撮影する場合、三つの層の画像を撮影され、本実施例において、まずは最底層の画像を除去してい、上方の２層の画像を最適化して、上方の２層の画像接合が正しいことを確保する。
【０１２１】
その中で、上方の２層の画像を最適化する場合、その中で、カメラパラメータは、焦点距離、回転行列などを含んでもよい。初期カメラパラメータは、優先に本実施例の上記センサー情報に基づいて決定した初期値を選択した後、理想的なカメラパラメータを選択してもよい。例えば、上方の２層が最適化されなければ、中間の１層の画像のみ最適化されることを保証し、中間の１層の画像接合が正しいことを確保する。従って、その場合、中間の１層の画像に対応する特徴点対及び初期カメラパラメータを使用して計算を行って、且つ計算する場合、初期カメラパラメータは、優先に本実施例の上記センサー情報を使用して決定した初期カメラパラメータを選択した後、理想的なカメラパラメータを選択してもよい。
【０１２２】
本実施例において、センサー情報に基づいて取得された初期カメラパラメータを使用するこにより、最適解の精度を向上させることができ、接合效果を向上させる。また、上記最適化失敗された処理策を使用することにより、ロバスト性を向上させることができる。
【０１２３】
調整モジュール７３は、隣接画像を色調整して色調整された隣接画像を取得する。
【０１２４】
携帯電話で写真を取るプロセスに、各イメージのパラメータ、例えば、露光及びホワイトバランスなどは、いずれも再計算されたものである。シーンが異なる領域の光の変化は、隣接イメージの異なる露光度を招く。当時に、シーンが異なる領域の異なる色の物体もホワイトバランスの設置に影響を与えるので、同じ物体が隣接イメージで異なる外観を示し、いくつかは明るい、いくつかは暗くなる。付加的な照明や色処理がなければ、パノラマ図の重複領域に色ムラが発生するので、接合する前に元画像に対して色及び照明の補償する必要がある。
【０１２５】
一つの実施例において、前記調整モジュール７３は、具体的に、
隣接画像の重複領域を決定する。
【０１２６】
二枚の画像の重複領域を決定するアルゴリズムとして既存の技術を使用して実現してもよい。
【０１２７】
隣接画像の前記重複領域における２組の画素点の画素値に基づいて、２組の画素値の数値差が最小になる補正パラメータを決定する。
【０１２８】
例えば、隣接画像はＡとＢであり、ＡとＢの重複領域はＤであれば、ＡのＤ領域内のピクセル点の画素値、及びＢのＤ領域内のピクセル点の画素値を取得でき，その後最小二乗アルゴリズムを使用して、この２組の画素値の数値差が最小になる場合のＡとＢそれぞれに対応する補正パラメータを計算する。補正パラメータは、例えば、Ｇａｍｍａ補正パラメータである。
【０１２９】
前記補正パラメータを利用して隣接画像を色調整し、色調整された隣接画像を取得する。
【０１３０】
例えば、ＡとＢの補正パラメータを決定した後、それぞれに、Ａの補正パラメータを利用してＡに対して色補正し、Ｂの補正パラメータを利用してＢに対して色補正してもよい。
【０１３１】
本実施例において、色補正することにより、パノラマ図の色ムラの状況を解決することができる。
【０１３２】
接合モジュール７４は、前記最適化されたカメラパラメータに基づいて、前記色調整された隣接画像を接合し、パノラマ図を生成する。
【０１３３】
隣接画像をカメラパラメータの最適化し且つ色調整してから、隣接画像を接合し、パノラマ図を生成する。
【０１３４】
一つの実施例において、前記接合モジュール７４は、具体的に、
前記色調整された隣接画像を縮小処理して縮小された画像を取得する。
【０１３５】
例えば、隣接画像での各画像を元の１/８に縮小する。
【０１３６】
前記最適化されたカメラパラメータに基づいて、前記縮小された画像内の接合継ぎ目を決定する。
【０１３７】
その中で、画像を決定した後、隣接画像に基づいて各画像内の接合継ぎ目を決定することは、従来技術を使用してもよい。
【０１３８】
従来技術と異なるのは、従来技術において一般的に元の大きさの画像を使用するが、本実施例は画像を縮小し、縮小されたイメージの上で接合継ぎ目を決定することにより、低い解像度の画像上で接合継ぎ目を決定でき、作業負荷を低減し、時間を節約することができる。
【０１３９】
前記最適化されたカメラパラメータ及び前記接合継ぎ目に基づいて、各画像に対応し且つ成部分及びつなぎ合わせ部分を含むマス図を生成する。
【０１４０】
その中で、最適化されたカメラパラメータにより各画像がパノラマ図の位置を決定でき、当該位置及び接合継ぎ目を決定した後、一枚の画像のマスクマップを決定でき、当該マスクマップは構成部分及びつなぎ合わせ部分で構成される。
【０１４１】
例えば、画像接合を行う４枚の画像は図６ａに示したように、この４枚の画像に対応するｍａｓｋ図は図６ｂに示したようである。その中で、構成部分は白い領域であり、つなぎ合わせ部分は黒い領域である。
【０１４２】
隣接画像の前記つなぎ合わせ部分を多層混合・融合して、融合された部分を取得し、また前記構成部分及び前記融合された部分をパノラマ図に組み合わせる。
【０１４３】
その中で、ｍａｓｋ図での構成部分を直接にパノラマ図の対応する部分で使用してもよい。つなぎ合わせ部分は隣接画像において重複があるので、処理する必要がある。本実施例において、従来の多層混合の方式を使用し、その後、更に構成部分及び融合された部分でパノラマ図を構成してもよい。
【０１４４】
また、説明すべきは、一般的にｍａｓｋ図の大きさは元のパノラマ図と一致（即ち、解像度が一致する）する大きさに選択するので、直接に構成部分及び融合された部分でパノラマ図を構成することができる。
【０１４５】
例えば、接合されたパノラマ図は、図６ｃに示したようである。
【０１４６】
一つの実施例において、前記接合モジュール７４は、
前記マスクマップの構成部分が二つの部分に分かれ、且つそれぞれ前記つなぎ合わせ部分の両端に位置する場合、前記マスクマップを二つの小さなマップに分けて、各小さなマップをぞれぞれ処理する。
【０１４７】
例えば、その後での多層混合する場合、及び構成部分と融合された部分とが構成される場合、各小さい画像を特立した一つの画像として処理する。
【０１４８】
本実施例において、ｍａｓｋ図を小さいイメージに分割することにより、処理時間を減少させる。例えば、各ｍａｓｋ図は１〜２秒の時間を減少することができ、一般的には７〜８枚のｍａｓｋ図があるので、接合スピードを明らかに向上させる。
【０１４９】
本発明の上記実施例は具体的に携帯電話の画像接合に応用されてもよく、理解すべきは、本発明の上記方案は他のモバイルデバイス内に応用されてもよく、例えば、カーシステムの接合に応用される。更に、車両などの他のシーンに応用され、具体的なパラメータなどは実際状況に応じて調整してもよい。
【０１５０】
本発明の実施例において、隣接画像を決定し、また隣接画像を特徴抽出することにより、精度要件を満たすことができ、且つ特徴抽出の作業負荷を低減することができ，画像接合スピードを向上させる。そして、本実施例の上記方法は、特にモバイルデバイスに適用し、以上の画像の前処理、特徴マッチング、グローバル最適化、グローバル色調整、及び多層混合など改良により、モバイルデバイスにおいて、素早く、高品質に多層写真をパノラマ接合することができる。実験により表示されたように、接合成功率は８０％以上、スピードは４０秒以内である。且つ、本実施例の方案は異なる種類のユーザ端末内に応用され、それらの性能を向上させることができる。
【０１５１】
本発明の実施例は、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のプログラムと、を含み、前記一つまたは複数のプログラムは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される場合、本発明の第１側面の実施例のいずれかに記載の方法を実行するユーザ端末を更に提供する。
【０１５２】
本発明の実施例は、一つまたは複数のモジュールが記憶され、前記一つまたは複数のモジュールが実行される場合、本発明の第１側面の実施例のいずれかに記載の方法を実行する不揮発性コンピューター記憶媒体を更に提供する。
【０１５３】
説明すべきことは、本発明の説明において、用語である「第１」、「第２」は説明のためだけに用いられるものであり、比較的な重要性を指示又は暗示すると理解してはいけない。また、本発明の説明において、別途の説明がない限り、「複数」の意味は、少なくとも二つである。
【０１５４】
フローチャートまたはここで他の方式で説明されたいかなる過程や方法は、一つまたは複数の、特定ロジック性能または過程のステップを実現するに用いられる実行可能なコマンドのコードのモジュール、セクターあるいは部分を含むと理解されることができ、本発明の望ましい実施形態の範囲は、他の実現を含み、その中で、表示または討論の順序に従わなくても良く、述べられた機能に基づいて基本的に同様な方式または逆の順序でその機能を実行することを含む。これは、本発明の実施例の当業者に理解される。
【０１５５】
理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウエアまたはそれらの組み合わせで実現できる。上記の実施形態において、複数のステップまたは方法がメモリに記憶され、且つ適当なコマンド実行システムのソフトウェアまたはファームウエアで実現できる。例えば、ハードウェアで実現する場合、他の実施形態と同じように、本領域周知の下記の任意一つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する離散ロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。
【０１５６】
実施例の方法における全部または一部のステップがプログラムにより関連のハードウェアを実行することで完成されることは、本技術領域の普通の技術者に理解される。前記プログラムは一つのコンピューター読取り可能媒体に記憶されることができる。当該プログラムを実行するとき、実施例方法のステップの一つまたはそれらの組み合わせを含む。
【０１５７】
この他、本発明の各実施例における各機能ユニットは、一つの処理モジュールに集積され、または、各ユニットの単独的な物理存在であり、あるいは、二つまたは二つ以上のユニットが一つのモジュールに集積されることができる。上記の集積されたモジュールは、ハードウェアの形式、または、ソフトウェア機能モジュールの形式で実現できる。前記集積されたモジュールが、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売または使用される場合、コンピューター読取り可能媒体に記憶されることができる。
【０１５８】
上記の記憶メディアは、読み出し専用メモリ、ディスク、またはＣＤなどであって可能である。
【０１５９】
本明細書の説明において、参照用語である「一つの実施例」、「一部の実施例」、「例示」、「具体的な例示」、または「一部の例示」などの説明は、当該実施例や例示を結合して説明する具体的な特徴、構造、材料、または特点が本発明の少なくとも一つの実施例や例示に含まれることを意味する。本明細書において、上記の用語に対する黙示的な記述が必ずしも同じ実施例や例示に対することではない。また、説明された具体的な特徴、構造、材料、または特点は、任意の一つのまたは複数の実施例または例示に適当な方式で結合されることができる。
【０１６０】
本発明の実施例を示して説明したが、当業者にとって理解できるのは、上記の実施例は例示性のものであり、本発明に対する限定と理解されてはいけない。本発明の範囲で上記の実施例に対して変化、補正、切り替え及び変形を行うことができる。
【図１】
0006605049.tif 000002
【図２】
0006605049.tif 000003
【図３】
0006605049.tif 000004
【図４】
0006605049.tif 000005
【図５】
0006605049.tif 000006
【図６ａ】
0006605049.tif 000007
【図６ｂ】
0006605049.tif 000008
【図６ｃ】
0006605049.tif 000009
【図７】
0006605049.tif 000010
【図８】
0006605049.tif 000011