(57)【要約】【課題】従来の技術の代わりとなる負荷の駆動のための態様を提供する。【解決手段】説明されるものは、方法および装置である。個別画像の２つのタイプ、すなわち、同時にキャプチャーされる個別画像のセット、および時間的な連続においてキャプチャーされる個別画像の別のセットが、キャプチャーされる。前記個別の画像の２つのセットの間で、パノラマ画像を結果として生じる結合の個別の画像が選択される。【選択図】図１
2021514593.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ視野のパノラマ画像を生成するための装置であって、
全体でパノラマ視野をカバーする第１の個別画像（１Ａ、１Ｂ、１Ｃ）の第１のセットを、第１のカメラシステムのいくつかの光学チャンネルによって同時にキャプチャーし、
少なくとも１つの第２の個別画像（２Ａ、３Ａ）を、前記第１のカメラシステムの前記いくつかの光学チャンネルのうちの１つによって、前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）が全体で、もしくは、前記いくつかの光学チャンネルのうちの前記１つによってキャプチャーされた第１の個別画像と共同で、相互に時間オフセットしてキャプチャーされ、かつ前記パノラマ視野をカバーする、個別画像の第２のセットをもたらすように、キャプチャーし、
前記パノラマ画像の少なくとも１つの画像エリアについて、前記第１の個別画像（１Ａ、１Ｂ、１Ｃ）および前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）から成ると共に、前記少なくとも１つの画像エリアと重複するサブグループの中から１つ以上の画像を選択し、
前記少なくとも１つの画像エリア内の前記１つ以上の画像を使用しながら、前記パノラマ画像をレンダリングするように構成される、装置。
【請求項２】
前記サブグループは、前記第１のセットからの少なくとも１つの個別画像、および、少なくとも前記少なくとも１つの第２の個別画像を含む、請求項１に記載の装置。
【請求項３】
第１の重複エリア内で、前記パノラマ視野の少なくとも１つの部分に関連し、かつ、前記パノラマ視野内で、前記第１の重複エリア内で互いに重複する、第１の個別画像の第１のペア間の第１の差を決定し、
第２の重複エリア内で、前記パノラマ視野の前記部分に関連し、かつ、前記パノラマ視野内で、前記第２の重複エリア内で互いに重複する、前記個別画像の第２のセットからの個別画像の第２のペア間の第２の差を決定し、
前記第１の差が前記第２の差より小さい場合、前記部分内の前記パノラマ画像をレンダリングするために前記第１のペアを選択し、
前記第１の差が前記第２の差より大きい場合、前記部分内の前記パノラマ画像をレンダリングするために前記第２のペアを選択するように構成される、請求項１または請求項２に記載の装置。
【請求項４】
前記第１の個別画像は、前記パノラマ視野内で第１の方向に沿って互いに隣接して配置され、
前記装置は、前記第１の差と前記第２の差の決定と、前記決定に基づいての前記第１の方向に垂直な第２の方向に沿っての前記第１または第２のペアの選択を、前記決定が断面に細分化されて、前記第２の方向に対して横行する異なる断面についての前記選択が異なるように実行するように構成される、請求項３に記載の装置。
【請求項５】
前記第１の個別画像は、前記パノラマ視野内で第１の方向に沿って互いに隣接して配置され、
前記装置は、第１の部分的な画像エリアについての第１の１つ以上の既定の画像のグループを選択し、かつ、前記第１の方向に沿って前記第１の部分的な画像エリアと重複するが、前記第１の方向に垂直な第２の方向において前記第１の部分的な画像エリアからオフセットされる第２の部分的な画像エリアについて、前記第１のサブグループとは異なる第２の１つ以上の既定の画像のグループを選択するように構成される、請求項１〜４のいずれかに記載の装置。
【請求項６】
前記第１の個別画像は、前記パノラマ視野内で第１の方向に沿って互いに隣接して配置され、
前記装置は前記選択を、断面に細分化して、異なる断面について前記選択が異なるように、前記第１の方向に垂直な第２の方向に沿って実行するように構成される、請求項１〜５のいずれかに記載の装置。
【請求項７】
前記細分化を適応的に断面に改良するように構成される、請求項４または請求項６に記載の装置。
【請求項８】
前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）のキャプチャーは、前記個別画像の第２のセットが前記第１の個別画像の第１のセットに比べより小さい視差でキャプチャーされるように実行される、請求項１〜７のいずれかに記載の装置。
【請求項９】
前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）のキャプチャーは、前記個別画像の第２のセットの個別画像が異なる視野角でキャプチャーされるように実行され、
前記装置は、前記個別画像の第２のセットの前記個別画像の間で、
１つの光学チャンネルもしくは前記カメラシステムを回転させること、および／または、
切替自在な光学素子を切り替えて、前記１つの光学チャンネルの光路もしくは前記カメラシステムの前記いくつかのチャンネルの光路の偏向を生じさせること、および／または、
ミラーまたはプリズムを回転させて、前記１つ以上の光学チャンネルの光路もしくは前記カメラシステムの前記いくつかのチャンネルの光路を偏向させること、によって、視野角の変化を実行するように構成される、請求項１〜８のいずれかに記載の装置。
【請求項１０】
第２のカメラシステムを含み、さらに、
前記第１のカメラシステムとの関連においてオフセットして配置されている前記第２のカメラシステムのいくつかの光学チャンネルによって、全体で前記パノラマ視野をカバーする第３の個別画像（１Ａ、１Ｂ、および１Ｃ）の第３のセットを同時にキャプチャーし、
前記第２のカメラシステムの前記いくつかの光学チャネルの１つによって少なくとも１つの第４の個別画像（２Ａ、３Ａ）をキャプチャーして、前記少なくとも１つの第４の個別画像（２Ａ、３Ａ）が、単独もしくは前記いくつかの光学チャンネルのうちの前記１つによってキャプチャーされた第３の個別画像と共同で、互いに時間オフセットされてキャプチャーされ、且つ前記パノラマ視野をカバーする個別画像の第４のセットに成り、
前記第３の個別画像の第３のセットおよび前記少なくとも１つの第４の個別画像に基づいて、別のパノラマ画像または前記パノラマ画像の深度マップをレンダリングするように構成される、請求項１〜９のいずれかに記載の装置。
【請求項１１】
前記深度マップに基づいて視差を推定し、
前記推定された視差に基づいて視差を補償するように更に構成される、請求項１０に記載の装置。
【請求項１２】
前記別のパノラマ画像の少なくとも１つの画像エリアについて、前記第３の個別画像（１Ａ、１Ｂ、１Ｃ）および前記少なくとも１つの第４の個別画像（２Ａ、３Ａ）から成るサブグループから１つ以上の画像を選択するように更に構成され、前記別のパノラマ画像の前記画像エリアについての前記選択は、前記第１の個別画像（１Ａ、１Ｂ、１Ｃ）および前記少なくとも１つの第２の個別画像から成る前記サブグループからの前記パノラマ画像の前記画像エリアについての前記選択に対応する、請求項１０に記載の装置。
【請求項１３】
第２のカメラシステムを含み、
全体で前記パノラマ視野をカバーする第３の個別画像（１Ａ、１Ｂ、および１Ｃ）の第３のセットを、前記第１のカメラシステムとの関係においてオフセットして配置されている前記第２のカメラシステムのいくつかの光学チャンネルによって同時にキャプチャーし、
前記第３の個別画像の第３のセットを使用しながら、前記パノラマ画像内の視差効果を補償するように更に構成される、請求項１〜１０のいずれかに記載の装置。
【請求項１４】
前記第１のカメラシステムの前記いくつかの光学チャンネルのうちの別の１つによって、少なくとも１つの別の個別画像をキャプチャーするように更に構成される、請求項１〜請求項１３のいずれか１つに記載の装置。
【請求項１５】
パノラマ視野のパノラマ画像を生成する方法であって、
全体で前記パノラマ視野をカバーする第１の個別画像（１Ａ、１Ｂ、および１Ｃ）の第１のセットを、第１のカメラシステムのいくつかの光学チャンネルによって同時にキャプチャーする工程と、
前記第１のカメラシステムの前記いくつかの光学チャネルのうちの１つによって少なくとも１つの第２の個別画像（２Ａ、３Ａ）をキャプチャーして、前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）が全体で、もしくは前記いくつかの光学チャンネルのうちの１つによってキャプチャーされた第１の個別画像と共同で、互いに時間オフセットしてキャプチャーされ、且つ前記パノラマ視野をカバーする個別画像の第２のセットに成るようにする工程と、
前記パノラマ画像の少なくとも１つの画像エリアについて、前記第１の個別画像（１Ａ、１Ｂ、１Ｃ）および前記少なくとも１つの第２の個別画像（２Ａ、３Ａ）から成り、かつ、前記少なくとも１つの画像エリアと重複するサブグループから１つ以上の画像を選択する工程と、
前記少なくとも１つの画像エリア内の前記１つ以上の画像を使用しながら、前記パノラマ画像を描写する工程と、を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、パノラマ画像を生成することに関し、特にアーチファクトが低減少されたパノラマ画像を生成することに関する。
【背景技術】
【０００２】
パノラマ画像では、必ずしも３６０°の視野を含まない、大きい視野角がカバーされている。パノラマ画像は、異なる視野角でキャプチャーされた、いくつかの画像をステッチすることによって主に生成される。
【０００３】
パノラマ画像を生成する１つのバリエーションにおいて、いくつかの個別の画像が連続して生成される。個別の画像の間では、カメラを少し回転させる。そのとき、個別の画像または部分的な画像は、いわゆるステッチ技術を使ってパノラマ画像を形成するために結合される。ステッチプロセスはエラーが発生する場合がある。入射瞳がカメラの回転の軸と一致しないという事実によるエラーは、設計上最小限に抑えることができる。しかしながら、すぐに取り除くことができない問題は、キャプチャーされるシーン内での物体の移動に起因する問題である。
【０００４】
１つの全体画像を形成するために個別の画像を結合することは、さらなる変形例に従って、時分割多重方式においてキャプチャーされる画像に基づいて実行することはできないが、チャンネル分割多重方式においてキャプチャーされる画像に基づいて実行することができる。ここでは、個別画像は、異なる視野角で複数のチャンネルにより同時にキャプチャーされ、その後、結合される。ここで、チャンネルが相互に隣接して配置されるので、ステッチの間に視差の問題が生じる。従って、両方の場合において、第一にキャプチャーの異なる時間によって、そして第二に光学チャンネル間の距離によって、部分的な画像の間の不整合により引き起こされるステッチング中の問題が発生する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願発明の目的は、例えば個別の部分的な画像の間の不整合を低減することによって、改善された品質を示すパノラマ画像を生成することである。
【課題を解決するための手段】
【０００６】
この目的は、独立請求項の主題により達成される。実施形態は従属請求項において定義される。
【０００７】
本出願は、２種類の個別画像がキャプチャーされ、同時にキャプチャーされた個別画像のセット−第１の個別画像のセット−と、時間的に連続してキャプチャーされた個別画像のさらなるセット−第２の個別画像のセット−をもたらすという着想に基づいている。この目的のために、同時にキャプチャーされた画像−第１の画像−は、カメラシステムの複数の光学チャンネルによって生成され、第１の個別画像および／または互いに時間的にオフセットされている−は、少なくとも１つの更なる個別画像−第２の（複数の）個別画像と呼ばれる−を有し、それらに追加された前記チャンネルの１つまたは複数によって生成される。相互時間オフセットを用いてキャプチャーされた画像のセットは、このようにして、同じ「位置」から、および／または小さな基本距離でキャプチャーされ、前記画像は、視差を示さないか、またはわずかな視差しか示さないようにすることができる。同時に生成されたキャプチャーの他のセットは、キャプチャーされた画像間の動きの不整合に悩まされることはない。それらの相補的な利点のために、前記の両方の個々の画像セットは、パノラマ画像を形成するための改善されたステッチング、すなわち改善されたパノラマ画像のレンダリングを達成するために使用されてもよい。組み合わせることで、全体的なシーンの種類に関係なく、全体的な視野内での動きを含むシーンかどうかを問わず、単に１つの画像セットでキャプチャーされた場合よりもアーチファクトのないパノラマ画像が得られる可能性がある。カメラシステムの既存の設計にもよるが、設計上の追加のオーバーヘッドは非常に小さいか、存在しないかもしれない。
【０００８】
１つの実施の形態において、装置は、第１の重複エリア内で、パノラマ視野の少なくとも１部分に関連し、かつ、パノラマ視野内で、第１の重複エリア内で、相互に重複する第１の個別画像の第１のペア間の第１の差を決定し、かつ、第２の重複エリア内で、パノラマ視野の同じ部分に関連し、かつ、パノラマ視野内で、第２の重複領域内で、相互に重複する第２の個別画像の第２のセット間の第２の差を、第２のパノラマエリア内で、決定する。第１の差が第２の差より小さいならば、第１のペアがパノラマ画像を構築するために選択され、第１の差が第２の差より大きいならば、第２のペアが部分内でパノラマ画像を構築するために選択される。第１のオーバーラップエリアと第２のオーバーラップエリアとは一致していてもよい。
【０００９】
別の実施の形態において、装置は、第１および前記第２の差の決定を実行し、それに基づいて、第１のペアまたは第２のペアを、個別の画像のペアによりカバーされる視野が互いに隣接して位置する第１の方向に垂直な第２の方向に沿って選択するように、前記決定が断面／ストライプに細分化されるように、第２の方向に対して横断する異なる断面に対する選択が異なるようにの確立される
【００１０】
実施の形態では、少なくとも１つの第２の個別画像のキャプチャーは、第２のセットの個別画像が様々な視野角でキャプチャーされるように、かつ第２のセットに個別画像の間にキャプチャーされるように実行され、かつ、第２のセットの個別画像の間には、カメラシステム全体の光チャンネルを回転することによって、あるいはカメラシステム全体を回転することによって、および／または１つの光学チャンネルの光学経路のまたはカメラシステムの複数のチャネルのそれぞれの光学経路の偏向を引き起こすことによって切り替え可能な光学素子を切り替えることによって、および／または１つ以上の光学チャンネルの光学経路またはカメラシステムの複数のチャンネルのそれぞれの光学経路の偏向のためのミラーまたはプリズムを回転させることによって、カメラシステム全体を回転させることによって生じる、視野角の変動が実行されるように、実行される。
【００１１】
さらなる実施形態では、システムは第２のカメラシステムを含み、システムは、第２のカメラシステムのいくつかの光学チャンネルによって、全体でパノラマ視野をカバーする第３の個別画像のセットを同時にキャプチャーするように構成され、第２のカメラシステムは、第１のカメラシステムに対しオフセットして配置され、第２のカメラシステムのいくつかの光学チャンネルのうちの１つによって、少なくとも１つの第４の個別画像をキャプチャーするように構成され、その結果、少なくとも１つの第４の個別画像は、相互に時間オフセットされた方法で撮影され、かつパノラマ視野をカバーする個別画像の第４のセットにおいて、全体で（すなわち、それ自体で、またはそれら自体で）または複数の光学チャンネルのうちの１つによってキャプチャーされた第３の個別画像と共同でもたらされ、第３の個別画像の第３のセットおよび少なくとも１つの第４の個別画像に基づいて、パノラマ画像またはパノラマ画像のための深度マップをレンダリングするように構成されている。
【００１２】
本願発明の実施の形態は、図を参照して以下により詳細に説明される。
【図面の簡単な説明】
【００１３】
【図１】図１は、本願発明の実施の形態によるパノラマ画像を生成するための装置の概要図である。
【図２】図２は、本願発明の実施の形態によるカメラシステムの概要図を示す。
【図３】図３は、キャプチャー対象物が移動している場合の、本願発明の実施の形態によるカメラシステムの概要図を示す。
【図４】図４は、パノラマ画像を生成するために好ましいと思われるペアについてそれを分析するための共有された重複エリアに関連する個別画像の相互に重複しているペアの概要図を示す。
【図５】図５は、パノラマ画像を生成するために好ましいと思われるペアについてそれを解析するための共有された重複エリアに関連する個別画像の相互に重複しているペアの概要図を示す。分析は部分ごとに改良される。
【発明を実施するための形態】
【００１４】
実施の形態が図面によって説明される前に、以下に記載される実施の形態がどのように利点をもたらすかを、再び、簡単に図示して説明する。
【００１５】
本明細書の冒頭において言及したように、様々な理由のために、比較的小さい視野を有するいくつかの画像をステッチしてより大きい視野を有する１つの画像を形成することは、合理的であるかもしれない。例えば、画像の全体的な解像度はより高くてもよいし、カメラシステムの寸法が小さくてもよいし、システムのフォームファクタがより有利であってもよいし、カメラシステムが特に平面的に設計されていてもよい。
【００１６】
基本的には、個別の画像をキャプチャーするために２つの方法が、利用可能である。
１．単一の光学チャンネルによって、個別の画像を、時間オフセットによりキャプチャーする方法。この目的のために、カメラ全体を回転させたり、可動ミラーによって光路を偏向させたりして、キャプチャーされる画像の間で展望方向を変更する。すべての画像は、共有された１つの場所からキャプチャーされる。
【００１７】
２．異なる固定視野角から成るいくつかの光学チャンネルによって、個別画像を同時にキャプチャーすること。この場合において、光学チャンネルは、必然的に同じ位置に配置されのではなく、相互に横方向にオフセットしている。ビームスプリッタを使用すると、いくつかの光学チャンネルが共有の節点を持つことが可能になるけれども、望ましくない光損失が発生する可能性がある。
【００１８】
第１の方法では、個別画像がキャプチャーされた時点が異なり、第２の方法では、カメラの位置が異なる。これは、パノラマ画像を形成するための個別画像のステッチングが複雑になる可能性がある。アーチファクト無しのステッチングは、以下の特性を持つシーンでのみ可能である。
【００１９】
１．静的なシーン、すなわちイメージキャプチャーの瞬間の間に、シーン内の対象物の動きが全くないこと。
【００２０】
２．情景のすべての対象物が、カメラシステムから同じ距離にあるか、または、１００以上の要素によって、カメラシステムの角度解像度に依存して、光学チャンネルのオフセットと比較して大きい距離にある。
【００２１】
別の情景の描写も試されるけれども、アルゴリズムの消費が大きくなる。仮に再構成が失敗するならば、これは、ゴースト画像や非整合エッジおよび画像の詳細をもたらす。
【００２２】
アーチファクトは、例えば、展望方向を迅速に切り替えることにより、または光学チャンネルの距離を小さくすることにより低減されてもよい。
【００２３】
以下に説明された実施の形態は、２つのセットの個々の画像をキャプチャーすることによって両方の変形例の個別の利点、および／または、シーン固有の適合性から利益を得る。−１つは同時にキャプチャーされ、もう１つは同時にキャプチャーされ、もう１つはタイムオフセット方式でキャプチャー―されるので、構築されたパノラマ画像の全体的には、シーンのタイプに関係なく、すなわちそれが個々のフレームの動きおよび／または激しい深度変動を含むかどうかに関係なく、２つのセットに基づいて改善され得る。
【００２４】
図１は、パノラマ画像を生成するための装置１００の実施形態の概略図である。装置１００は、カメラシステム１１０の複数の光学チャンネル１１０ａ〜１１０ｄの配置を含む。本実施例では、カメラシステムは４つの光学チャンネルを含むが、本願発明は４つの光学チャンネルに限定されるものではなく、２つ以上の光学チャンネルを含んでもよい。カメラシステム１１０は、チャンネル１１０ａ〜１１０ｃごとに、全体的なパノラマ視野１５０からイメージセンサ１１１のそれぞれのイメージセンサ部分またはイメージセンサ１１１のそれぞれのイメージセンサ部分まで、それぞれのチャンネルに関連付けられたそれぞれの部分エリアまたは部分視野１５０ａ〜１５０ｄを撮像する、または投影するために機能する１つ以上のレンズまたは１つ以上の他の光学素子１１５を含んでもよい。チャンネルは、それらが互いに実質的に平行である態様で、イメージセンサ１１１から、チャネルおよび／またはそれらの視野の光路を偏向させる、例えばミラーのような偏向手段まで延びていてもよい。それは、全視野が１５０である図１に示す第１の位置と、全視野が１５０'である第２の位置との間で枢動可能であり、第２の位置１５０'におけるチャンネル１１０ｄ，ｂの部分視野１５０ｄ，１５０ｂが第１の位置におけるチャンネル１１０ｃ，ａの部分視野１５０ｃ，ａと実質的に重なるように、第１の位置１５０に対してオフセットされている。この目的のために、各位置の部分視野１５０ａ〜ｄは、ここでは、例示のために、２ｘ２配列で互いに重複するように配置されており、これにより、両位置の全視野１５０，１５０'が、偏向手段１４０から上流の光路に平行な方向で、かつ偏向手段１４０の枢軸に垂直な方向の部分視野によって互いにオフセットされるようになっている。したがって、チャネル１１０ｄ、１１０ｂは、位置１５０、１５０'のシーケンスを見たときに、第１の位置１５０からの視野全体をカバーすることができる。２ｘ２の被覆への細分化および部分視野の数は重要ではなく、位置の数も増加してもよい。位置は、後述するように、パノラマ画像をキャプチャーするための役割を果たすであろう。
【００２５】
カメラシステム１１０、および／またはそのイメージセンサ１１１は、以下でより詳細に説明される特定のアプローチに従ってキャプチャーされた個々の画像のグループから、パノラマ画像を形成するためにステッチングされるべき個々の画像のセットを選択する決定器１２０に接続されている；画像のセットの選択はまた、以下で説明されるように、部分視野内の相互オフセットに横方向に、例えば変化してもよい。撮像された画像の選択によるパノラマ画像のステッチング／レンダリングは、パノラマ画像生成器１３０によって実行される。さらに、装置は、いくつかの実施の形態では、カメラシステムの「視野角」を変更する手段１４０を含んでもよい。説明したように、パノラマ画像を生成するために、パノラマ画像カメラの全視野は、回転（パンニング）されてもよい。このような回転は、ユーザが手動で行うこともできるが、もちろん、いくつかの実施形態では、パノラマキャプチャー操作の間、カメラシステムの向き、またはその全視野の向きを変更する手段によっても行うことができる。図１の代替として、これは、例えばカメラシステム１１０全体を回転させることによっても実行され得るが、ここでは、図１の偏向手段１４０における二重矢印によって示されるように、カメラシステムの各光学チャンネルの光路が偏向されるように、例えばミラーまたはプリズムのような偏向手段を回転させることによって達成される。あるいは、切り替え可能な光学素子を切り替えることによって、視野角および／または位置を変更することも可能であり、この光学素子は、光路の偏向に影響を与える。上述したように、カメラシステムの視野方向の変更は、カメラのユーザが手動で行うことも可能である。
【００２６】
偏向手段１４０の存在は、パノラマ画像を生成する目的、例えば手ぶれ補正の目的のために以下で使用されるように、位置を変更することとは異なる要求から既に生じる目的を有している可能性があることが強調されるべきであり、そのような場合には、本願に従ってパノラマ画像を生成するために、設計に関連した大きな措置をとることなく、既に存在するカメラシステムを拡張することができる。回転軸に対し横切る方向の手ブレ補正のために偏向手段１４０を二重に使用する場合、この場合、視野方向の変更が非常に短い時間内に実行され得るという事実にも利点があり、すなわち、偏向手段は、異なる方向および／または位置１５０，１５０'でキャプチャーされた画像の間にわずかな時間差しか存在しないように、位置変更を非常に高速で実行し得る。
【００２７】
図２は、一実施形態において、個々の画像の異なるセットがどのようにキャプチャーされ得るかを説明するための概略図である。説明の目的のために、図２は、位置の数を増加させ、位置間の全視野の相対的なオフセットの方向において、図１に描かれているように、位置の個数を２から３に増加させているが、隣接する２つの部分視野への細分化は、図２の位置間の全視野のオフセットの方向に対して横方向であることは、重要ではない。これから説明するように、キャプチャーされた画像のシーケンスは、カメラシステム１１０によって自動的に、例えば、システム１１０のコントローラによって制御されて、例えば、ユーザの側でキャプチャーボタンが操作されたときに、例えば、特定のパノラマキャプチャーモードで、カメラシステム１１０によって通過される可能性がある。
【００２８】
従って、図２のこの例では、図示されたカメラシステム１１０は、３つの光学チャンネルＡ、Ｂ、およびＣから構成されているが、異なる数の光学チャンネルも可能である。光学チャンネルは１台のカメラに属していてもよく、すなわち、図１に図示されているように、チャネルはハウジング内にしっかりと設置されていてもよいし、隣接して配置された３つの個別のカメラがあってもよく、そのうちの少なくとも１つ、すなわち、少なくとも１つの形成チャンネルＡは、他の２つのチャンネルＡおよびＣの部分視野に向けられるように回転可能である。図から類推されるように、３つのチャンネルＡ、ＢおよびＣは、パノラマ視野の方向に同時に個別画像をキャプチャーすることができるように、隣接して配置されており、個々の光学チャンネルのそれぞれの視野角は、それぞれキャプチャーされた個々の画像が重複エリア２２０、２３０を構成するように、互いにわずかに逸脱している。これは、例えば、位置１でのキャプチャーの間に発生し、その結果、１Ａ、１Ｂ間および１Ｂ、１Ｃ間の相互の重複を有する全視野をカバーする画像１Ａ、１Ｂ、１Ｃが得られる。
【００２９】
位置２において、チャンネルＡは、例えば左に回転することによって、位置１におけるチャンネルＢの視野角に向けられるように整列されてもよい。理想化された方法では、図２では、位置間のチャンネルＡの回転が、その節点が再び一定になるように行われると仮定されているが、これは例示に過ぎず、図１による回転、またはそこで説明されたような他の任意のビーム偏向も可能であり、パノラマ画像生成の以下の説明の概念および精神の点ではほとんど変化しないであろう。位置２において、チャンネルＡは、位置１のチャンネルＢによって画像１Ｂと同じ部分視野を本質的にカバーする画像２Ａを生成してもよい。付加的に、位置３はまた、前記視野の画像３Ａを生成するために、前記チャンネルＡの視野を前記位置１のチャンネルＣの視野の方向に持ってくることが例示されている。
【００３０】
全視野を形成するための画像１Ａ〜１Ｃ、２Ａ、３Ｂの後続処理の利点および動作モードを説明するために、図２は、シーン内のオブジェクトの例としての文字ＡおよびＢを例示している。その大きさが異なることからもわかるように、これらの文字は、シーン内の異なる距離に位置している。オブジェクトによって、位置１、２、３の間の様々なキャプチャー時間の影響、およびシーンの深度の影響、すなわちシーン内のオブジェクトの異なる深度および／またはオブジェクトの距離の影響、ならびにこの影響が画像１Ａ〜１Ｃ、２Ａ、および３Ａから生成されたパノラマ画像に悪影響を及ぼす可能性のある範囲を防止または最小化する方法が説明されている。この目的のために、文字Ｂは、文字Ａとは異なる、カメラシステム１１０からのより大きな距離に配置されている。
【００３１】
また、図２では、カメラＡとＢの撮像エリア、またはカメラＡとＣの撮像エリアが第１の位置で重なっている環状エリア２２０、２３０が示されている。これは、例えば、重複部２２０の場合、個別画像１Ａが個別画像１Ｂとの重複を構成していることを意味する。より具体的には、個別画像１Ａは、その左側のエリアにおいて、個別画像１Ｂの右側のエリアとの重複を示す。つまり、当該エリア内では、同一の画像コンテンツが構成されていることになる。しかしながら、当該画像コンテンツは、視差効果により互いに異なる場合があり、同一の画像コンテンツではない場合がある。類推により、個々の画像１Ａと１Ｃの間には重複エリア２３０が存在し、また、個々のフレーム対１Ａ＋２Ａと１Ａ＋３Ａの間には、それぞれ１Ｂと１Ａの相互位置合わせによる重複エリア（明示的には示されていない）が存在し、３Ａと１Ｃの間には、それぞれ３Ａと１Ｃの相互位置合わせによる重複エリア（明示的には示されていない）が存在する。この重複エリアの意味については、図４を参照して以下でより詳細に説明する。
【００３２】
図２の例において、カメラシステム１１０のチャンネルＡはこのようにして画像１Ａをキャプチャーし、画像１ＢはチャンネルＢによって同時にキャプチャーされ、画像１ＣはカメラＣによって同時にキャプチャーされる。これは位置１で起こる。カメラおよび／または光学チャンネルＡ、Ｂ、Ｃは、同じ位置に配置されているのではなく、相互に関係して、わずかにオフセットするように配置されているので、キャプチャーされた画像は視差を表すことができる。これは、パノラマ視野内に位置する上記の文字ＡとＢの異なる位置によって示される。
【００３３】
個別画像１Ａでは、文字Ｂは文字Ａの中央後方に位置しているように見える。視野角においてチャンネルＡの左側に位置する部分的な視野をキャプチャーし、個別画像１Ｂを生成する光学チャンネルＢは、対照的に、その節点（またはその入射瞳）がチャンネルＡのそれよりも左横方向に位置しているため、文字Ｂは文字Ａに対して左横方向にオフセットしているように見える。シーンを少し左から見ているチャンネルＣは、文字Ｂが文字Ａに対し若干右にずれているように見える個別画像１Ｃをキャプチャーする。この効果、視差効果は、光学チャンネルが互いに横方向にオフセットされているときに、シーンが奥行きを示すとき、すなわち、そこにあるオブジェクトが異なる距離に配置されているときに発生する。
【００３４】
なお、位置１、位置２、位置３を通過する順番は関係なく、変更される可能性もあるが、次に見るのは、個別画像２Ａをキャプチャーするために光路Ａを左に向けて回転させた位置２と、個別画像３Ａをキャプチャーするために光路Ａを右に向けて回転させた位置３である。撮像される画像の部分視野に関しては、それぞれ個別画像１Ｂ、１Ｃに対応するが、個別画像１Ｂ、１Ｃとは異なり、個別画像２Ａ、３Ａは、個別画像１Ｂに対して手元にあるのと同じ視点から撮像される。したがって、ここでは、光学チャンネルＡの位置が変化しないために、すなわち、画像２Ａ、３Ａでは、画像１Ａと同様に文字Ｂが文字Ａと重なっているために、視差効果が発生しないことが図２から分かる。従って、この場合には視差は発生しない。
【００３５】
一般に、相互に関連する文字ＡとＢの配置は異ならないので、従って、アーチファクトは全く発生しないので、画像１Ａ、２Ａ、３Ａのセットに基づいてパノラマ画像を生成することは有利である。
【００３６】
しかしながら、画像１Ａ、１Ｂ、および１Ｃのセットが同時にキャプチャーされるのに対し、画像１Ａ、２Ａ、３Ａは、キャプチャーされた個別の画像の間に、カメラおよび／または光学チャンネルＡを左または右に搖動されなければならないか、または、視野角の何らかの他の操作／切替えが行われなければならないので、相互に時間的オフセットを有して生成される必要がある画像のセットを形成していることも明らかである。
【００３７】
仮に、図２の例において、パノラマ視野内の文字Ａ、Ｂの配置が静的なものであれば、画像、または同時にキャプチャーされた個別画像２Ａと３Ａに依存する必要はないが、アーチファクトのないパノラマ画像を生成するためには、時間的に連続してキャプチャーされた個別画像１Ａ、１Ｂ、および１Ｃのセットを使用する方が有利であると考えられる。しかし、仮にパノラマ視野内の対象物が静的ではなく、動きを示す場合や、シーンが動的なものである場合には、図３に示すように状況が異なる場合がある。
【００３８】
図３は、図２において示したものと同様の配置を模式的に示しているが、この場合、文字Ａには、それに対して動きがある。具体的な例では、この文字は時計回りの回転を行う。
【００３９】
同時にキャプチャーされた３枚の個別画像１Ａ、１Ｂ、１Ｃは、結局のところ、同じ時間にキャプチャーされているので、それぞれ同じ向きでＡの文字を示している。その後、光チャンネルＡが左右に揺動した後に光路Ａによって時間オフセット的にキャプチャーされた個別画像２Ａ、３Ａは、やや回転した位置にある文字Ａを示している。このように、個別画像２Ａは、個別画像１Ａ、１Ｂ、１Ｃの後にキャプチャーされたので、個別画像２Ａは、個別画像１Ａ、１Ｂ、１Ｃにおける文字Ａの向きに関連して、文字Ａがやや右に回転していることを示している。個別画像３Ａは、個別画像２Ａのキャプチャー前にもキャプチャーされているため、個別画像３Ａ内の文字Ａは、時計回りの意味でさらに回転していることが示されている。図３は、時間的に連続してキャプチャーされた個別画像の中で、移動する物体が異なる位置でオブザーバーに提示されることの効果を明らかにするものであり、位置１、２、３を通過する順序も変化する可能性があることを改めて強調しておく。
【００４０】
現在のパノラマ画像を、個別画像１Ａ、２Ａ、３Ａのセットに基づいて生成する場合、文字Ａの連続した回転により明確な光学的アーチファクトが明確に発生する。この場合、個別画像１Ａ、１Ｂ、または１Ｃのセットに基づいてパノラマ画像を生成することが、より有利である。
【００４１】
シーンに応じて、オーバーラップエリア２２０、２３０、すなわち動きおよび／またはシーンの深さで異なるシーン状況が発生することが起こり得るので、その結果、個別画像の異なるセットが、パノラマ画像生成のための最も有利なもの、例えば個別画像１Ａ、２Ａまたは３Ａのセット、または、個別画像１Ａ、２Ａ、および１Ｃのセットに基づいて生成されるようなもの、である可能性がある。
【００４２】
個別の画像のどの組合せが、パノラマ画像を生成するために、より有利であるかを決定するために、例示的な実施の形態では、個別画像の上記重複エリア２２０、２３０をより詳細に見ること、および／または、前記重複エリアで重複する個別画像のペアを調べることは、可能である。
【００４３】
図２及びず３に示すように、個別画像１Ａは、個別画像１Ｂとの重複を、ここに示された左側に示している。また、フレーム１Ａと個別画像２Ａとから成るペアについても同様に当てはまる。類推すれば、個別画像１Ａは、フレーム１Ａの右側エリアにおいて個別画像１Ｃ、３Ａと重複するエリアを有している。
【００４４】
図４は、決定器１２０により実行されるような重複エリアの分析によって、基礎としてキャプチャーされた画像のセットの構成またはパノラマ画像の生成を決定する概念をより詳細に説明するための概要図である。図２の個別の画像１Ａ、１Ｂ、および２Ａを示す。図４の左側のエリアにおいては、個別画像１Ａおよび１Ｂが隣接するように描かれており、右側のエリアでは、個別画像１Ａおよび２Ａが示されている。
【００４５】
図４では、個々の画像について、重複エリアＯ１、Ｏ２が示されている。これらのエリアは、個々の画像１Ａ、２Ａにおいて、パノラマ視野の同じ部分に関連するエリアである。重複エリアＯ１は、重複エリアＯ２と同じ画像情報を持っていることは明らかである。これは、図２のパノラマ画像エリアは動きを示さず、従って、時間的にオフセットされた方法でキャプチャーされた個々の画像１Ａ、２Ａは、この場合、同じ視点からキャプチャーされたので視差効果が生じないので、すなわち、チャネルの位置がそれぞれの場合に同じであったので、オーバーラップエリアにおいて非常に類似しているので、驚くべきことではない。また、図４では、個別画像１Ａと１Ｂを比較している。当該個別画像のうち、重複エリアＯ１とＯ３がマークされている。ここでは、一対のフレーム１Ａ，２Ａの状況ほど重複エリアの類似性は顕著ではない。文字Ａの左半分の画像情報は、両重複エリアにおいて確かに非常に類似しているが、視差効果により、フレーム１Ａでは文字Ｂの左半分が多く見えるのに対し、オーバーラップエリアＯ３では文字Ｂはほとんど見えない。
【００４６】
重複エリアＯ１とＯ２の類似度をエリアＯ１、Ｏ３と比較すると、個別の画像１Ａと２Ａのペアの方が、より多くの類似度を示す。パノラマ画像を生成するためには、個別画像１Ａと２Ａのペアが、好まれしい組合せとなる。
【００４７】
一般に、一例として、パノラマ画像全体に対して、個別画像１Ａと１Ｂの組み合わせ、または、個別画像１Ａと個別画像２Ｂとの組み合わせのどちらが有利かを決定するために、重複エリア内のフレーム１Ａとフレーム１Ｂとの差を求め同様に、重複エリア内の個別画像１Ａと個別画像２Ａとの差を求めてもよい。２つの差のうちのどちらがより小さいかに応じて、パノラマ画像を生成するために２つの個別画像の組み合わせが選択される。
【００４８】
２つの個別画像の重複エリア内で差分、または差分値を形成するために、例えば、重複エリア内で画素ごとに個別画像を比較し、差分値の量を合計することが可能である。また、他の方法、例えば、画素ごとに決定されるべき差分値の２乗値を合計する方法、あるいは、視野が相互に隣接して配置される方向に沿って個別画像のペアの相互変位を伴う相関最大値を評価する方法を使用してもよい。
【００４９】
図５は、個別画像が、パノラマ画像を生成するために何が使用されるかについて別個の決定がなされるセグメントまたは断面に細分化されるさらなる実施の形態を概略的に示す。それらの部分／断面はそれに応じて同時にキャプチャーされるか、または時間的に連続してキャプチャーされるが視差を示さない断面である。
【００５０】
本実施例のパノラマ視野は、文字Ｂは静止しているのに対し、文字Ａには動きがあり時計回りの回転による時間的な変化を示すことを特徴としている。この場合、文字Ｂは、文字Ａの上に配置されており、その結果、パノラマ画像エリアは、動きの無い上側エリアと動きを表わす下側エリアに細分化されてもよい。
【００５１】
従って、図５において、各個別画像は、上側エリアと下側エリアとに細分化されており、例えば、個別画像１Ａは、下側エリア１Ａｕと上側エリア１ＡＯとに細分化されており、他の個別画像１Ｂ、１Ｃ、２Ａ、および３Ａについても同様に当てはまる。
【００５２】
パノラマ画像の描画に利用するために上半側または下半側の画像を選択するときには、まず、上半側のエリアに着目する。上半側画像エリアには動きがないため、図２に示すような解析を行う。上側画像エリア１Ａｏに基づいて、個別フレーム断面２Ａｏと３Ａｏには視差がなく、従って、より一貫したパノラマ画像が得られることが期待できるので、個別フレーム断面２Ａｏ、３Ａｏが、部分１Ｂｏ、１Ｃｏの上に優先的に配置される。
【００５３】
個別画像の下側エリアにおいては、個別フレーム断面２Ａｕ、３Ａｕは回転した文字Ａを構成するので、本実施例では、個別フレーム断面１Ａｕ、１Ｂｕ、および１Ｃｕに基づいて、パノラマ画像を生成することは、より有利である。人間の知覚においては、回転は、視差効果よりも回転の方が邪魔に感じることが多いのかも知れないし、回転による重複エリアの類似性が少ないので、本実施例のパノラマ画像のレンダリングには、視差を含む個別フレーム断面が好ましく使用される。
【００５４】
文字Ａの回転が明らかにより遅い非描写のケースでは、すなわち、個別画像２Ａｕは、わずかに回転しただけの文字Ａを示すことになる、この場合、個別フレーム断面２Ａｕは、個別フレーム断面１Ａｕの対応するオーバーラップエリアとの類似度が高く、この場合、１Ａｕと２Ａｕの組み合わせは、１Ａｕと１Ｂｕの視差の組み合わせに比べてより有利であることが可能であろう。しかしながら、それはまた、個別画像３Ａにおいて、文字Ａの回転が既により明確に知覚されることが可能であり、この場合、１Ａｕと１Ｃｕの組み合わせが、１Ａｕと３Ａｕの組み合わせよりも優先されることも可能であろう。
【００５５】
一般的に、静的なシーン、比較的大きな距離にある物体を含むシーン、および限らされた範囲の距離にある物体を含むシーンの評価は、比較的問題がないといえる。
【００５６】
図５に示すように、個別画像を個別フレームの断面に細分化するという概念に続いて、個別画像自体を、別の断面、例えば３つ、４つ、またはさらに多くの断面エリアに細分化することも、実現可能である。これは、個別画像が、パノラマ画像の搖動方向に垂直な方向に、静止しているか、または動きを示すエリアに、個別画像自体が細分化される場合に有用であるかもしれない。
【００５７】
改良された断面へのさらなる細分化が有益であるか否かを評価するために、そのような細分化は試験的に行われ、異なる断面の類似性の度合が計算されてもよい。断面のそれぞれの違いが重要でないことが判明した場合には、断面へのさらなる改良された細分化を行わずに、明確な違いが明らかになった場合には、断面へのより細かい細分化が有益であると結論づけて、それに応じて進めてもよい。そのようなアプローチは、比較的多くのシーンに対して有効であり、動きと深度のオフセットの両方を含む画像の詳細に対してのみ問題となる。深度のオフセットは、上述の視差効果をもたらす。
【００５８】
文献において、視差効果を測定して均等化するための配置が記載されている。手元にあるのは、異なる静観方向を持つ幾つかの光学チャンネルによる個別画像の同時キャプチャーである。しかしながら、それぞれのチャンネルは、複製としても存在し、基本的な幅は、可能な限り大きくなるように意図的に選択されている。このようにして、各部分的な視野は、２つの位置からキャプチャーされる。特定の基本的な幅と基本的な距離を持つ２台のカメラを使用して、シーンを二重にキャプチャーすると、それらの２つの視野の間に差を生じ、この差のために、視差を視野全体で補正して、最終的にアーチファクトのない全体的な画像を得ることができる。
【００５９】
しかしながら、深度推定時や補償時の早い段階で、隠蔽効果によりギャップが発生するシーンがある。その場合、深度推定ができなかったり、視差補正によって、どの光学チャンネルでもキャプチャーされなかったシーンのエリアが露出している画像部分がある。この場合、視差補正は誤差なしにはできない。シーンが静止していても、アーチファクトやエラーのないパノラマは生成できない。しかしながら、追加的に少なくとも１つのチャンネルが、前記チャンネルが視野の全てのエリアを検出するように回転または偏向されている場合、視差補正なしに静的なシーンでパノラマ画像を生成することができる。これは、上述した隠蔽の場合に有用であるが、複雑な視差補正を避けるために、隠蔽なしで発生してもよい。個々の画像をキャプチャーするための装置は、ミラーを含んでいてもよいし、視野角を偏向させるための別の手段を含んでいてもよい。この場合、機械的な要件が既に満たされているので、先に説明した方法を使用することは特に有利である。変更が必要なのは、ミラーを制御するとき、または画像評価の間だけである。
【００６０】
さらに、実施の形態においては、チャンネルＡを用いた前述の例のように、１つのチャンネルだけでなく、残りの光学チャンネルＢとＣによっても、全ての画像エリアをキャプチャーするための準備がなされる。仮に他の光学チャンネルの視野角が、最初のチャンネルの視野角と同時に変更されるため、キャプチャー時間は結果として延長されない。
【００６１】
例えば個別の画像２Ａと３Ａをキャプチャーするための展望方向の高速な切り替えは、切替え可能な光学素子、例えば調整可能レンズまたは液晶レンズまたは液状レンズによって、全体のシステムまたは少なくともカメラシステムを回転させることによって、または、光路内の鏡またはプリズムの回転および／または傾斜させることによって達成できる。そのような鏡またはプリズムは、ピエゾ制御または電動モータによって駆動されてもよい。
【００６２】
特に、切り替え可能な光学素子を使うことによって、または、鏡またはプリズムを回転または傾斜することによって、数１０ミリ秒の範囲内での切り替え時間が達成できる。それは、照明が不十分な場合の一般的な露光時間と同等である。
【００６３】
すべての場合において、回転または傾斜によって視差が全く導入されないように、あるいは、導入されたどのような視差でも少なくとも最小化されることが保証されるように、注意が払われるべきである。視差により起こされた変位は、深さ方向の精度低下より小さくすることを達成することで十分である。
【００６４】
使用するカメラシステムにオートフォーカスが搭載されている場合、全てのキャプチャーは、最初のキャプチャーの間に決定された設定を使用しながら実行することができるし、そうでなければならない。これは、キャプチャーとキャプチャーの間の経過時間を、展望方向の切り替えに必要な時間にキャプチャー短縮することができる。また、全ての部分画像のピントを同一に設定することは、パノラマ画像を構成するうえで有利である。
【００６５】
そのような本願発明のカメラシステムは、携帯電話や車載カメラに使用でき、ロボット工学、テレビ会議システム、リモートセンシング、医療アプリケーション、およびマシンビジョンに適用されてもよい。同様に、本願発明の方法は、ミラーまたは視野角を制御するための他の機構が既に存在するマルチチャネルカメラシステムに適している。これは、例えば、折り畳まれた光路を構成するシステムの場合である。
【００６６】
いくつかの態様が装置の文脈の中で記述されてきたとしても、装置の要素が対応する方法ステップまたは方法ステップの特徴として理解されるように、前述の態様は対応する方法の記述も表していることが理解される。それに関連して、方法ステップに関連して、または方法ステップとして記述されてきた態様もまた、対応する装置の対応するブロックまたは詳細または特徴の記述を表すものと理解される。方法ステップの一部または全部は、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウェア装置によって（またはハードウェア装置を使用している間に）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのいくつかは、このような装置によって実行することができる。
【００６７】
特定の実現要件に応じて、本願発明の実施形態は、ハードウェアまたはソフトウェアにおいて実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働することができる、または協働するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＥＰＲＯＭまたはＦＬＡＳＨメモリ、ハードディスク、または他の任意の磁気的または光学的メモリを用いて実行することができる。このため、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。
【００６８】
本願発明に係るいくつかの実施形態は、このようにして、本願明細書に記載された方法のいずれかを実行するように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を含むデータキャリアを備える。
【００６９】
一般に、本願発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本願発明のいずれかの方法を実行するために有効であるプログラムコードによるコンピュータプログラム製品として実施することができる。
【００７０】
プログラムコードは、例えば、機械読取可能なキャリアに記憶することもできる。他の実施形態は、本願明細書に記載された方法のいずれかを実行するためのコンピュータプログラムを含み、前記コンピュータプログラムは、機械読取可能なキャリアに記憶される。言い換えれば、本願発明の方法の一実施形態は、このように、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法のいずれかを実行するプログラムコードを有するコンピュータプログラムである。
【００７１】
したがって、本願発明の方法のさらなる実施形態は、本明細書に記載された方法のいずれかを実行するためのコンピュータプログラムが記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体またはコンピュータ読み取り可能媒体は、通常、有形および／または不揮発性、または非過渡的である。
【００７２】
さらなる実施形態は、本願明細書に記載された方法のいずれかを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを含む。
【００７３】
さらなる実施形態は、本願明細書に記載された方法のいずれかを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【００７４】
いくつかの実施形態では、本願明細書に記載された方法のいくつかまたは全ての機能の一部または全部を実行するためにプログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ、ＦＰＧＡ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法のいずれかを実行するためにマイクロプロセッサと協働することができる。一般に、いくつかの実施形態では、方法は、任意のハードウェア装置によって実行される。前記ハードウェア装置は、コンピュータプロセッサ（ＣＰＵ）のような普遍的に適用可能なハードウェアであってもよく、またはＡＳＩＣのような方法に特有のハードウェアであってもよい。
【００７５】
本明細書に記載された装置は、例えば、ハードウェア装置を使用している間に、またはコンピュータを使用している間に、またはハードウェア装置とコンピュータとの組み合わせを使用している間に実施されてもよい。
【００７６】
本明細書に記載された装置、または本明細書に記載された装置の任意の構成要素は、少なくとも部分的にはハードウェアおよび／またはソフトウェア（コンピュータプログラム）で実施されてもよい。
【００７７】
本明細書に記載された方法は、例えば、ハードウェア装置を使用している間に、またはコンピュータを使用している間に、またはハードウェア装置とコンピュータとの組み合わせを使用している間に実施されてもよい。
【００７８】
ここに説明された方法、または、ここに説明された方法のどのような組成でも、ハードウェアおよび／またはソフトウェアにおいて、少なくとも部分的に実施される。
【００７９】
上記記載された実施形態は、単に本願発明の原理を示すものである。他の当業者は、本明細書に記載された配置と詳細のいかなる修正および変形を評価するであろうと理解される。このため、本発明は、本明細書の説明および実施形態の考察によって本明細書に提示された特定の詳細によってではなく、以下の請求項の範囲によってのみ制限されることが意図される。
【図１】
2021514593.tif 000003
【図２】
2021514593.tif 000004
【図３】
2021514593.tif 000005
【図４】
2021514593.tif 000006
【図５】
2021514593.tif 000007
【国際調査報告】
2021514593.tif 000008
2021514593.tif 000009
2021514593.tif 000010
2021514593.tif 000011
2021514593.tif 000012
2021514593.tif 000013
2021514593.tif 000014