(57)【要約】  明細書および図面は、ビジュアル品質に基づいて複数の画像から電子デバイスによってパノラマ画像を構成するための新しい方法、システム、装置およびソフトウェア・プロダクトが提示する。通常、多数の近傍のビデオフレームに、パノラマに貼り付けることができる最良の可視表現を選択することができるパノラマ画像のシーンの同一の部分がキャプチャされる。電子デバイスによる複数の撮影画像からのパノラマ画像の構成は、ａ）所定の評価基準を使用して、複数の画像から、Ｋ個の連続的なフレームの画質を評価すること、ｂ）評価したフレームから、所定のルールを使用して最高の画質を有する１つのフレームを選択すること、ｃ）パノラマ画像を構成するために、その１つのフレームを他の選択されたフレームに追加すること、のステップを含むことができる。オンラインおよびオフラインのインプリメンテーションが可能である。
2009533924.tif 000002
【特許請求の範囲】
【請求項１】
所定の評価基準を使用して、複数の画像から、多数の連続的なフレームの画質を評価するステップであって、前記数が２以上の整数であるステップと、
前記評価したフレームから、所定のルールを使用して最高の画質を有する１つのフレームを選択するステップと、
電子デバイスによってパノラマ画像を構成するために、前記１つのフレームを他の選択されたフレームに追加するステップと、
を含む方法。
【請求項２】
前記数が、一定値の所定の数である、請求項１に記載の方法。
【請求項３】
前記数が、可変である、請求項１に記載の方法。
【請求項４】
前記数が、所定の評価基準を使用して、Ｋ個の連続的フレームをキャプチャするセンサーの運動量に対応して、キャプチャの間に、選択される、請求項３に記載の方法。
【請求項５】
前記数が初期値を割り当てられ、次に、所定のルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによって前記数への値の割り当てが、評価している間、繰り返される、請求項３に記載の方法。
【請求項６】
前記所定のルールを用いて、前記相対的な運動速度が閾値より小さい場合に、前記数が、所定の値だけ増加される、あるいは、前記相対的な運動速度が更なる閾値より大きい場合に、前記数が、更なる所定の値だけ減少される、請求項５に記載の方法。
【請求項７】
前記電子デバイスが、評価し、選択し、追加する前記ステップを実行するために前記複数の画像を格納するためのメモリを備える、請求項１に記載の方法。
【請求項８】
前記電子デバイスが、ネットワーク通信で前記複数の画像にアクセスするように構成される、請求項１に記載の方法。
【請求項９】
前記数の連続するフレームの前記画質評価の間、一度に１フレームのみ前記電子デバイスのメモリに保存される、請求項１に記載の方法。
【請求項１０】
前記数の連続するフレームの各々についての前記画質評価を、
ａ）シャープさ、
ｂ）レジストレーション精度、
ｃ）他のフレームとの重複量、
ｄ）運動のタイプおよび量。
の４つ画像特性の少なくとも１つを評価することによって所定の評価基準を用いて行う、
請求項１に記載の方法。
【請求項１１】
前記所定の評価基準が、４つの画像特性の全てを含む、請求項１０に記載の方法。
【請求項１２】
前記電子デバイスが、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯電子デバイス、モバイル電子デバイスまたはカメラ・フォンである、請求項１に記載の方法。
【請求項１３】
選択されたフレームの境界が除外され、実質的に前記選択されたフレームの中心部だけが他の選択されたフレームに追加される、請求項１に記載の方法。
【請求項１４】
前記選択されたフレームが、前記選択の後に格納され、前記複数の画像から前記パノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、前記パノラマ画像に追加される、請求項１に記載の方法。
【請求項１５】
前記１つのフレームが、前記選択の直後に、以前に選択されたフレームに追加される、請求項１に記載の方法。
【請求項１６】
前記コンピュータ・プログラム・コードを有するコンピュータプロセッサによる実行のために、コンピュータ・プログラムコードを具体化する計算機可読の蓄積構造であって、
前記コンピュータ・プログラムコードが、請求項１の方法を実行するための指示を含み、電子デバイスのいかなる部品にもよっても実行されることを示す、計算機可読の蓄積構造、
を備える、コンピュータ・プログラム・プロダクト。
【請求項１７】
所定の評価基準を使用して、複数の画像から、多数の連続的なフレームの画質を評価するように構成されるフレーム画質評価モジュールであって、前記数が、少なくとも２以上の整数である、フレーム画質評価モジュールと、
所定のルールを使用して最高の画質を有する前記評価されたフレームから、１つのフレームを選択するように構成されるフレーム選択モジュールと、
パノラマ画像を構成するために、前記１つのフレームを他の選択されたフレームに追加するように構成される、パノラマ画像構成ブロックと、
を備える、電子デバイス。
【請求項１８】
前記電子デバイスが、前記選択の後に選択されたフレームを記憶し、前記複数の画像から前記パノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、前記選択されたフレームを前記パノラマ画像に追加するように構成される、請求項１７に記載の電子デバイス。
【請求項１９】
前記電子デバイスが、前記選択の直後に、前記１つのフレームを前に選択されたフレームに追加するように構成される、請求項１７に記載の電子デバイス。
【請求項２０】
前記数が、定数値の所定の数である、請求項１７に記載の電子デバイス。
【請求項２１】
前記数が、可変である、請求項１７に記載の電子デバイス。
【請求項２２】
前記数が、事前に選択された評価基準を使用して、キャプチャしている間、前記Ｋ個の連続的なフレームをキャプチャしているセンサーの運動の量に対応して選択される、請求項２１に記載の電子デバイス。
【請求項２３】
前記数が初期値を割り当てられ、次に、所定のルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによって評価している間繰り返される、請求項２１に記載の電子デバイス。
【請求項２４】
評価し、選択し、追加するステップを実行するために前記複数の画像を記憶するためのメモリ、を更に備える、請求項１７に記載の電子デバイス。
【請求項２５】
前記電子デバイスが、ネットワーク通信で前記複数の画像にアクセスするように構成される、請求項１７に記載の電子デバイス。
【請求項２６】
前記数の連続するフレームの前記画質評価の間、一度に１フレームのみ前記電子デバイスのメモリに保存される、請求項２５に記載の電子デバイス。
【請求項２７】
前記数の連続するフレームの各々についての前記画質評価が、
ｅ）シャープさ、
ｆ）レジストレーション精度、
ｇ）他のフレームによる重複する量、
ｈ）運動のタイプおよび量、
の４つ画像特性の少なくとも１つを評価することによる予め定められた評価基準を使用する、請求項１７に記載の電子デバイス。
【請求項２８】
前記電子デバイスが、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯電子デバイス、モバイル電子デバイスまたはカメラ・フォンである、請求項１７に記載の方法。
【請求項２９】
複数の画像をキャプチャするための手段と、
所定の評価基準を使用して、前記複数の画像から、多数の連続的なフレームの画質を評価するように構成されるフレーム画質評価モジュールであって、前記数の連続するフレームの各々が、ネットワーク通信により電子デバイスに提供され、前記数が、少なくとも２以上の整数である、フレーム画質評価モジュールと、
所定のルールを使用して最高の画質を有する前記評価されたフレームから、１つのフレームを選択するように構成されるフレーム選択モジュールと、
パノラマ画像を構成するために、前記１つのフレームを他の選択されフレームに追加するように構成される、パノラマ画像構成ブロックと、
を含む電子デバイスと、
を備える、複数の画像からパノラマ画像を構成するために採用されたシステム。
【請求項３０】
前記ネットワーク通信が、インターネットの上のネットワーク通信である、請求項２９に記載のシステム。
【請求項３１】
キャプチャするための前記手段は、前記電子デバイスの部分であるかまたは前記電子デバイスとは別のものである、請求項２９に記載のシステム。
【請求項３２】
所定の評価基準を使用して、複数の画像から多数の連続的なフレームの画質を評価するための手段であって、前記数が、少なくとも２以上の整数である、手段と、
前記評価したフレームから、所定のルールを使用して最高の画質を有する１つのフレームを選択する手段と、
パノラマ画像を構成するために、前記１つのフレームを他の選択されたフレームに追加する手段と、
を備える、電子デバイス。
【請求項３３】
評価するための前記手段が、フレーム画質評価モジュールであり、選択のための前記手段が、フレーム選択モジュールであり、追加するための前記手段が、パノラマ画像構成ブロックである、請求項３２に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願についての優先権およびクロス・リファレンス］
本出願は、２００６年４月１０日に出願の米国特許出願番号第１１／４０２，３０６号に基づく優先度を主張するものである。
【０００２】
本発明は、一般に、電子画像に関し、特に、複数の画像からパノラマ画像を構成することに関する。
【背景技術】
【０００３】
パノラマ画像（またはモザイク画像）は、いくつかの画像を一緒に貼り合わせることによってカメラの視野を増やすために普通に用いられる。一連の重なり合った画像フレームからパノラマ画像をつくるための多くのアプローチが提案されてきた。一般に、画像フレームを、パノラマが画像に結合するプロセスは、
（ｉ）参照フレームと呼ばれるフレーム１つの座標に関して、全ての入手可能な画像フレームをレジスタすること、
（ｉｉ）異なるフレームにキャプチャされる画像間で、滑らかな移行をするために、１つ以上のフレームが重なり合った領域に配置された画像ピクセルの色を調整すること、
を含む。
【０００４】
従来技術の方法の大部分は、パノラマ画像を創作するために、最高のビジュアル品質フレームだけを選ぶということをしないで、単に、全ての利用可能な画像フレーム、すなわち、そのシーンからキャプチャされる全ての入手可能な画像フレームを使用して、張り合わせるという構成である。これらの方法では、パノラマ画像のためのソース画像がパノラマ画像を作成するのに、十分良質であると仮定している。しかし、実際には、そのようなことはなく、画像はフリーハンドでしばしば撮影され、多くの場合、ぼやけた画像になっている。
【発明の開示】
【０００５】
本発明の第１の態様によれば、複数の画像からパノラマ画像を構成する方法は、
所定の評価基準を使用して、複数の画像からＫ個の連続するフレームの画質を評価するステップであって、前記数が、２以上の整数であるステップと、評価したフレームから、所定のルールを使用して最高の画質を有する１つのフレームを選択するステップと、
パノラマ画像を構成するために、その１つのフレームを他の選択されたフレームに追加するステップと、
を含む。
【０００６】
更に、本発明の第１の態様によれば、Ｋは、定数値である所定数であってもよい。
【０００７】
更に、本発明の第１の態様によれば、Ｋは可変であってもよい。更に、Ｋは、事前に選択された評価基準を使用してキャプチャしている間、Ｋ個の連続的なフレームをキャプチャしているセンサーの運動の量に対応して選択されてもよい。さらに、Ｋは初期値を割り当てられ、次に、所定のルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによって、Ｋへの値の割り当てが、評価している間繰り返される。なお、更に、所定のルールを用いて、相対的な運動速度が閾値より小さい場合に、Ｋは、所定の値だけ増加される、あるいは、相対的な運動速度が更なる閾値より大きい場合に、Ｋは、更なる所定の値だけ減少される。
【０００８】
また更に、本発明の第１の態様によれば、電子デバイスは、評価し、選択し、追加する前記ステップを実行するために前記複数の画像を記憶するためのメモリを備えることができる。
【０００９】
更に、本発明の第１の態様によれば、電子デバイスは、ネットワーク通信で複数の画像にアクセスするように構成することができる。
【００１０】
更にまた、本発明の第１の態様によれば、Ｋ個の連続するフレームの画質評価の間、一度に１フレームのみ電子デバイスのメモリに保存することができる。
【００１１】
更にまた、本発明の第１の態様によれば、Ｋ個の連続するフレームの各々についての前記画質評価に、以下の４つ画像特性の少なくとも１つを評価することによる予め定められた評価基準を使用することができる。
ａ）シャープさ、
ｂ）レジストレーション精度、
ｃ）他のフレームとの重複量、
ｄ）運動のタイプおよび量。
更に、所定の評価基準は、４つの画像特性の全てを含むことができる。更にまた、本発明の第１の態様によれば、電子デバイスが、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯電子デバイス、モバイル電子デバイスまたはカメラ・フォンであり得る。
【００１２】
更にまた、本発明の第１の態様によれば、選択されたフレームの境界が除外され、実質的に前記選択されたフレームの中心部だけを他の選択されたフレームに追加することができる。
【００１３】
また更に、本発明の第１の態様によれば、選択されたフレームが、選択の後に記憶され、複数の画像からパノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、前記パノラマ画像に追加することができる。
【００１４】
また更に、本発明の第１の態様によれば、その１つのフレームを、選択の直後に、前に選択されたフレームに追加することができる。本発明の第２の態様によれば、コンピュータ・プログラム・プロダクトは、コンピュータ・プログラム・コードを有するコンピュータプロセッサによる実行のために、コンピュータ・プログラムコードを具体化する計算機可読の蓄積構造であって、前記コンピュータ・プログラムコードが、本発明の第１の態様を実行するための指示を含み、電子デバイスのいかなる部品にもよっても実行されることを示す、計算機可読の蓄積構造、を備える。
【００１５】
本発明の第３の態様によれば、複数の画像からパノラマ画像を構成するのに適するシステムは、所定の評価基準を使用して、複数の画像から、Ｋ個の連続的なフレームの画質を評価するように構成されるフレーム画質評価モジュールであって、Ｋが、少なくとも２以上の整数である、フレーム画質評価モジュールと、所定のルールを使用して最高の画質を有する評価されたフレームから、１つのフレームを選択するように構成されるフレーム選択モジュールと、パノラマ画像を構成するために、その１つのフレームを他の選択されたフレームに追加するように構成される、パノラマ画像構成ブロックと、を備える。
【００１６】
更に、本発明の第３の態様によれば、電子デバイスが、選択の後に選択されたフレームを記憶し、複数の画像からパノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、選択されたフレームをパノラマ画像に追加するように構成できる。
【００１７】
更に、本発明の第３の態様によれば、電子デバイスが、選択の直後に、その１つのフレームを前に選択されたフレームに追加するように構成できる。
【００１８】
また更に、本発明の第３の態様によれば、Ｋは、定数値である所定数であってもよい。
【００１９】
更に、本発明の第３の態様によれば、Ｋは、可変であってもよい。更に、Ｋは、事前に選択された評価基準を使用してキャプチャしている間、Ｋ個の連続的なフレームをキャプチャしているセンサーの運動の量に対応して選択されてもよい。さらに、Ｋは初期値を割り当てられ、次に、所定のルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによってＫへの値の割り当てが、評価している間繰り返される。
【００２０】
更にまた、本発明の第３の態様によれば、電子デバイスは、更に、評価し、選択し、追加するステップを実行するために複数の画像を記憶するためのメモリを備える。
【００２１】
更にまた、本発明の第３の態様によれば、電子デバイスは、ネットワーク通信で複数の画像にアクセスするように構成することができる。更に、Ｋ個の連続するフレームの画質評価の間、一度に１フレームのみ電子デバイスのメモリに保存することができる。
【００２２】
更にまた、本発明の第３の態様によれば、Ｋ個の連続するフレームの各々についての前記画質評価に、以下の４つ画像特性の少なくとも１つを評価することによる予め定められた評価基準を使用する。
ａ）シャープさ、
ｂ）レジストレーション精度、
ｃ）他のフレームとの重複量、
ｄ）運動のタイプおよび量。
【００２３】
更にまた、本発明の第３の態様によれば、電子デバイスが、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯電子デバイス、モバイル電子デバイスまたはカメラ・フォンであり得る。
【００２４】
本発明の第４の態様によれば、複数の画像からパノラマ画像を構成するために採用されたシステムは、複数の画像をキャプチャするための手段と、所定の評価基準を使用して、複数の画像から、Ｋ個の連続的なフレームの画質を評価するように構成されるフレーム画質評価モジュールであって、Ｋ個の連続するフレームの各々が、ネットワーク通信により電子デバイスに提供され、また、Ｋが、少なくとも２以上の整数である、所定のルールを使用して最高の画質を有する評価されたフレームから、１つのフレームを選択するように構成されるフレーム選択モジュールと、パノラマ画像を構成するために、その１つのフレームを他の選択されたフレームに追加するように構成される、パノラマ画像構成ブロックと、を含む電子デバイスと、を備える。
【００２５】
更に、本発明の第４の態様によれば、ネットワーク通信は、インターネットの上のネットワーク通信であってもよい。
【００２６】
本発明の性質および目的のより良い理解のため、以下では、図面に基づいて詳細に説明する。
【発明を実施するための最良の形態】
【００２７】
ビジュアル品質に基づいて複数の画像から電子デバイスによってパノラマ画像を構成するための新しい方法、システム、装置およびソフトウェア・プロダクトが提示される。具体的には、通常、多数の近傍のビデオフレームに、パノラマに貼り付けることができる最良の可視表現を選択することができるパノラマ画像のシーンの同一の部分がキャプチャされる。電子デバイスは、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯式電子装置、モバイル電子デバイス、カメラ・フォン、その他のものである（ただし、それらに限定するものではない）。
【００２８】
本発明の実施形態によれば、オンラインおよびオフラインのインプリメンテーションが可能である。オフラインのインプリメンテーションでは、例えば電子デバイスのメモリのようなものに、全てのビデオフレームが格納され、利用可能であることを前提とする。これらのビデオフレームは、外部の電子デバイスに格納され、ネットワーク通信でアクセスすることが可能である。他方のオンライン・インプリメンテーションは、ビデオフレームをキャプチャしている間にパノラマ画像を、生成することである。これは、必要なメモリが最小であり、可能性として（インターネットなどを用いて）ネットワーク通信を含む、すなわち、遠隔に電子デバイスから映像フレームをキャプチャし、パノラマ画像を構成すること、オンライン・インプリメンテーションは、電子デバイスが複数のイメージをキャプチャするために手段を備えるならば、ネットワーク接続なしで、同一の電子デバイス内で実行できる。
【００２９】
本発明の実施形態によれば、電子デバイスによる複数の撮影画像からのパノラマ画像の構成（または合成）は、次のステップを含むことができる。
ａ）所定の評価基準を使用して、複数の画像から、Ｋ個の連続的なフレームの画質を評価すること、
ｂ）評価したフレームから、所定のルールを使用して最高の画質を有する１つのフレームを選択すること、
ｃ）パノラマ画像を構成するために、その１つのフレームを他の選択されたフレームに追加すること。
パノラマ画像を構成する、プロセスを開始する第１のフレーム（基準フレームとも呼ぶ）は、キャプチャされた複数画像の内の最初のものであってよく、上記の選択手続きを使用するＫ個のフレームの第１グループの中から選択されたフレームであり得ることに留意する。別の実施形態では、選択されたフレームの境界は除外することができる。そして、実質的に、選択されたフレームの中心部だけはパノラマ画像の前に選択されフレームに追加される。
【００３０】
本発明の更なる実施形態によれば、Ｋは、所定の数の定数値であってもよいし、Ｋが可変であってもよい。Ｋが可変である場合には、例えば、所定の評価基準を使用して、Ｋ個の連続するフレームをキャプチャしているセンサーのキャプチャ中の運動の程度によって、変化し得る。
【００３１】
連続するフレームの各々のグループから最良のフレームを選択することは、ソフトウェア・アプローチを用いるか、ないしは、複数の画像をキャプチャしているセンサーの動作をモニタリングするために使用する運動センサから受信した情報に基づいて実行することができる。いかなる場合でも、カメラがあまり移動しないときには、期間中にキャプチャされるフレームが選択される。
【００３２】
本発明の更なる実施形態によれば、Ｋ個の連続するフレームの各々の画質を評価すること（例えば、ソフトウェア・アプローチで）には、以下の４つの画像特性の少なくとも１つあるいは全てを評価することにより、所定の評価基準を使用することができる。
ａ）シャープさ、
ｂ）レジストレーション精度、
ｃ）他のフレームとの重複量、
ｄ）運動のタイプおよび量。
他の画像特性も、所定の評価基準を確立する際に利用することができる。
【００３３】
画像フレームのシャープさは、それが含む高周波成分の量に基づいて推定することができる。高周波成分がなくなっている場合には、フレームが不鮮明であると仮定することは妥当である。これは、ハイパス空間フィルタを画像に適用し、フィルタリング後に、画像ピクセルの絶対値を合計する（例えば、フーリエ変換分析を用いる）ことによって評価することができる。
【００３４】
障害が残っているとの通知のない場合、時には、フレーム・レジストレーション・プロセスが正確でなくて、モザイク（パノラマ画像）の歪みを生じる。レジストレーション精度は、２つフレームの重ね合せ領域の差を計数することで決定する。輝度変分に対するロバスト性のために、この差は、２つのフレームの傾斜場の間で計算することができる。「導」関数が各々のイメージ・ピクセルにおいて、傾斜の大きさを返す。
【００３５】
２つのフレームの重複する領域があまりに小さい場合、レジストレーションが成功したように見えても、フレーム・レジストレーションの障害の可能性を増加する。他方では、重複する領域があまりに大きい場合、新規なフレームが、モザイク画像を、妥当な量だけ延長しないことを意味する。重複の許容範囲を確立することができる。
【００３６】
パノラマ画像のために選択したフレームにキャプチャされた移動物体は、低品質の結果の原因となる。移動物体は、その存在がわかっていない場合には、切り取られるか、あるいは、複製される。このように、フレームに、多くの動きがある場合、問題を避けるために、そのフレームを廃棄して、モザイクのために他の１つフレームを選択することが賢明である。例えば、２つの連続するフレームの差を得て、誤った運動を分離するために、しきい値に対して差分画像を比較し、次に、運動が画像の種々の部分にあるかどうか決定することによって、運動のタイプ及び量を算出することができる。
【００３７】
このように、１つの実施形態によれば、フレーム画質は、所定のルールを使用する上記の４つのパラメータを結合することで、決定することができる。１つのパラメータのための選択ルールを適用する例を、以下に示す。Ｐは、以前に選択されたフレームである、Ｃは、評価されるフレームである、ｖはフレーム品質値（例えば、値がより大きいほど、良い）である。ｃ１、ｃ２は定数である。そして、ｖはフレームのシャープさである。
【００３８】
フレームＣが移動物体を含み、Ｃの移動物体が完全には写されていない場合には、フレームＣに対して、ｖ＝ｖ−ｃｌとする。フレームＰが移動物体を含み、ＣとＰとの移動物体が重複する場合には、フレームＰに対して、ｖ＝ｖ−ｃ２とし、さもなければ、ｖ＝ｖ−（Ｃにおける移動物体の面積）とする。フレームのシャープさの値がより大きいことは、画質が良いことを示すので、フレームのシャープさの値が最大のフレーム（ＣまたはＰ）を選択する。
【００３９】
図１〜６は、本発明の異なる実施形態を示し種々の実施例をあらわしている。
【００４０】
図１ａは、本発明の実施形態による、入手可能な画像フレームを３つのフレームづつ（Ｋ＝３）の小グループに分ける場合の１つの実施例の概略を示す。パノラマ画像を作成するために各グループで選択されたフレームが、図において番号づけされている。例えば、第１のグループからは第１のフレーム、第２のグループからは第５のフレーム、などである。図１ａに示す例では、第１のフレームは、基準フレームとして選択される。
【００４１】
図１ｂは、本発明の実施形態による、入手可能な画像フレームを可変数のフレームの小グループに分ける場合の１つの実施例の概略を示す。グループ内のフレームの数は、図１ｂの例では、３ないし５で変動する。
【００４２】
図１ｃは、本発明の実施形態による、入手可能な画像フレームを可変数のフレーム数の適応的推定の小グループに分ける場合の１つの実施例の概略を示す。この実施例では、適応的なＫの推定のために純粋なソフトウェア・アプローチを利用することができる。灰色のフレームはすでに選択されており、今度は、それに続くフレームｎ＋１、・・・、ｎ＋３が、次に選択される候補である。フレームｎ＋４は離れ過ぎており、選択プロセスには含まれない。図１ｃは、モザイクのための次のフレームが、前に選択されたフレームから一定の距離の範囲内にあるＫ個のフレームのグループから選択されることを示している。この距離が多数のフレームを示さないことはここで強調する重要なことである、しかし、むしろ、それは、あるフレームと前に選んだフレームと間の位置ずれを特徴づけるものである。２つのフレーム間の重複する量（重なり合う面積）が、２つフレーム間の位置ずれの逆測定量として使うことができる。Ｋの値は、２つの選択された連続するフレーム間の重複Ｏの最小限の量を確実にするために、適応的に変動する。例えば、カメラが全く移動しない場合には、フレーム間の重複は常にＯより大きく、従って、Ｋの数（あるいは、次の選択の範囲）は、無限大である。他方、カメラが移動している場合（例えば、パニングなど）には、前に選択されたフレームがそれぞれの新しいフレームと重複する量は減少し、ある時点で、閾値（重なりの最小量）を下回ることになる。そうすると、数Ｋ（すなわち、次の選択の範囲）は、運動の速度に、自動的に適合する。すなわち、重複する最小限の量Ｏは、運動が速いが、遅いかによって、それぞれ、少数のフレームにするか多数のフレームにすることにより達成される。
【００４３】
図２ａは、本発明の一実施例による、固定数の一群の（Ｋは一定である）のフレームを評価することによって複数の画像オフラインからパノラマ画像を構成することを示しているフローチャートの例を示す。
【００４４】
図２ａのフローチャートは、可能なシナリオの１つを示すに過ぎない。図２ａにおいて表されるステップの詳細な説明は、上記のようなものである。本発明の実施形態による方法において、第１のステップ１０では、キャプチャされた複数の画像は、例えば、電子デバイスのメモリに格納される。
【００４５】
次のステップ１２において、本発明の実施形態によれば、Ｋ個の連続するフレームが、所定の評価基準を使用して画質を評価される。次のステップ１４において、評価されたフレームのうちの１つのフレームが、所定のルールを使用して、選択される。次のステップ１６において、選択されたフレームは、パノラマ画像に追加される。いくつかのシステムにおいて、フレーム・キャプチャおよび選択には、それらを選んだ直後に、リアルタイムにパノラマ画像にフレームを追加しようとするとあまりに多くの処理時間がかかる可能性があることに留意する。実際には、パノラマ画像に追加されるように選択されたフレームは、パノラマ画像に追加されるべきフレームがすべて選択されてしまうまで、たくわえておく（すなわち格納しておく）こともあり得る。その後に、選択されたフレームが、パノラマ画像へ結合される。
【００４６】
次のステップ１８において、最後にキャプチャされたフレームが評価されたかどうかが確認される。その場合、手続きは止まる。しかし、最後にキャプチャされたフレームが評価されないことが確認された場合には、次のステップ２０で、次のＫ個の連続するフレームが、所定の評価基準を使用して画質を評価され、プロ説は、ステップ１４に戻る。
【００４７】
図２ｂは、本発明の実施形態による、グループ内の可変数のフレームを評価することによって、複数の画像からパノラマ画像をオフラインで構成すること（Ｋは一定でない）を表すフローチャートの例を示す。
【００４８】
図２ｂのフローチャートは、ある得るシナリオ中の１つの可能シナリオを示すだけである。図２ｂにおいて表されるステップの詳細な説明は、上記のようなものである。本発明の実施形態による方法において、最初のステップのステップ３０において、キャプチャされた複数の画像は、メモリ、例えば、電子デバイス（または外部）のメモリ、に格納される。次のステップ３２において、Ｋにデフォルト値が、セットされる（例えば、Ｋ＝３）。次のステップ３４において、本発明の実施形態によれば、Ｋ個の連続するフレームが、所定の評価基準を使用していて、画質の評価をされる。
【００４９】
次のステップ３６において、運動速度あるいはキャプチャセンサの運動における変化が、最後のＫ個の評価されたフレームの間に、検出されたかどうかが確認される。検出されたことが確認された場合、次のステップ３８において、Ｋの値は、Ｋ＝Ｋ±Ｍと設定される。ここで、Ｍは１以上の値の整数である。プラスあるいはマイナスは、上記の実施例で説明したように、検出した変化の内容に依存する。そして、次のステップ４０において、本発明の実施形態によれば、Ｋ個の連続するフレームが、所定の評価基準を使用して画質を評価される。しかし、今回は、ステップ３４の場合とは、Ｋが異なっている（実際には、ステップ３４の結果が入手可能であり得るので、付加されたＭフレームだけを評価すれば良い）。次に、プロセスは、ステップ４２へ移る。
【００５０】
しかしながら、ステップ３６で、運動速度あるいはキャプチャセンサの運動における変化が、最後のＫ個の評価されたフレームの間に、検出されなかったことが確認された場合には、次ステップ４２で、選択のための所定のルールが、評価フレームの各々に適合するかどうかが確認される。適合する場合には、プロセスは、ステップ４８へ行く。しかしながら、選択のための所定のルールが、評価フレームのいずれにも適合しないことが確認された場合には、次のステップ４４において、パラメータＫが、その最大許容値（例えば、所定値Ｋｍａｘ）であるかどうか確認される。そうである場合には、次のステップ４５において、Ｋフレームは、例えば、廃棄することができる（それらのいずれも所定ルールに適合しなかったから）、そして、プロセスは、ステップ３２に戻り、連続的なフレームの次のグループが評価される。しかしながら、パラメータＫがその最大許容値ではないと判断される場合には、次のステップ４６において、Ｋの値はＫ＝Ｋ＋  １に設定され、プロセスは、ステップ３４へ進む。
【００５１】
ステップ４８において、評価されたフレームから１つのフレームが、所定のルールを使用して、選択される。次のステップ５０において、選択されたフレームが、パノラマ画像に追加される。次のステップ５２において、最後にキャプチャされたフレームが評価されたかどうかが確認される。そうである場合には、プロセスはストップする。しかながら、最後にキャプチャされたフレームが評価されていないことが確認された場合には、プロセスは、ステップ３２に戻り、連続するフレームの次のグループが評価される。
【００５２】
図２ａは、本発明の一実施例による、グループ中の固定数（Ｋが一定）のフレームを評価することによって複数の画像から、オフラインでパノラマ画像を構成することを示しているフローチャートの例を示す。
【００５３】
図２ｃのフローチャートは、ある得るシナリオ中の１つの可能シナリオを示すだけである。本発明の実施形態による方法において、最初のステップ５３において、全てのＮ個のキャプチャされたフレームのすべてが、メモリに格納され、連続的にレジストレーションされる。
【００５４】
次のステップ５４において、Ｎフレームの全てで、移動物体を検出し追跡する。これらのＮフレームのフレーム品質を推定する。次のステップ５５において、最初のＫ個のフレームが、適切なフレーム重複評価基準（Ｋは可変である）に基づく評価のために選択される。次のステップ５６において、Ｋ個のフレームから最良のフレームを選択する。
【００５５】
次のステップ５７において、最後にキャプチャされたフレームが選択されたかどうかが確認される。そうでない場合には、次のステップ５８において、適切なフレーム重複評価基準を使用して、最後の選択フレームの後の次のＫ個のフレームを選択する。そして、プロセスはステップ５６に戻る。しかしながら、最後のキャプチャされたフレームが選択されたことが確認された場合には、次のステップ５９において、パノラマ画像が、全ての選ばれた最良フレームから構成される。
【００５６】
図３は、本発明の実施形態による、複数の画像からパノラマ画像をオンラインで構成することを示すフローチャートである。このアプローチでは、パノラマ撮像を実行するために要求されるメモリが最小である。これは、唯一のフレームは  評価プロセスを通じて、一度に１つのフレームのみをメモリに格納すればよいからである。
【００５７】
図３のフローチャートは、ある得るシナリオ中の１つの可能シナリオを示すだけである。図３において表されるステップの詳細な説明は、上記のようなものである。本発明の実施形態による方法において、最初のステップ６０において、評価のために選択されたフレームのグループ中のフレーム数を示すパラメータｋを、１に設定する（ｋ＝１）。次のステップ６２において、グループの最初のフレームをキャプチャし、所定の評価基準を使用して画質を評価し、次にメモリに格納する。次のステップ６４において、ｋの値を、ｋ＝ｋ＋１に設定する。次のステップ６６において、グループの次のフレームについて、所定の評価基準を使用して画質の評価を行う。
【００５８】
次のステップ６８において、次のフレームがメモリに格納されたフレームより高い品質を有するかどうかが確認される。そうである場合には、次のステップ７０において、メモリに格納されたフレームは消去され、そして、次のフレーム（ステップ６６において評価されたもの）が、メモリに格納され、プロセスはステップ７２へ移る。しかしながら、次のフレームがメモリに格納されたフレームより高い品質を有しないことが確認された場合には、次のステップ７２において、パラメータｋが、評価グループ中のフレーム数の最大許容値（例えば所定の値Ｋ）であるかどうかが確認される。なお、本発明の実施形態によれば、上記のように、Ｋは一定でも可変でもあり得る（例えば、図１ａおよび１ｂを参照）。ｋ＝Ｋである場合には、プロセスはステップ６４に戻る。しかしながら、ｋ＜Ｋであった場合には、次のステップ７４において、メモリに格納されたフレームが、パノラマ画像に追加され、次のステップ７６において、最後にキャプチャされたフレームが評価されたかどうかが確認される。そうである場合には、プロセスはストップする。しかしながら、最後のキャプチャされたフレームが評価されていないことが確認された場合には、プロセスはステップ６０に戻り、次の連続するフレームのグループが評価される。
【００５９】
パノラマ画像が、ビデオカメラによりキャプチャされるのと同時に、選択されたフレームを連続的に追加することにより構成される。実際には、フレーム境界の近くの幾何学的な変形のために、いくつかの問題が起こる。この理由のために、本発明の１つの実施形態によれば、図４において例をあげたように、各フレームの中央部分だけをパノラマに含ませることが推奨される。
【００６０】
アルゴリズムの最高水準は、選択−及び−付加プロセスとして記載することができる。図５に図示したように、モザイク画像の既に存在している部分に、全体のモザイクに対して最高の画質を生じるフレームが追加される。モザイク生成は、基準フレームとしての最初のフレームを採用するか、カメラによってキャプチャされたＫ個のフレームの最初のグループから選択することができる。
【００６１】
図６は、本発明の一実施例による、複数の画像からパノラマ画像を構成するのに適合した電子デバイス８０（例えばカメラ・フォン）のブロック図の一つの例を図示する。デバイス８０は、画像生成処理ブロック８２により生成された画像を用いて、オンラインあるいはオフラインで作動することができ（例えば、カメラ・センサー８４および処理ブロック８６を用いて）、メモリ８８に格納し、例えば、図２ａ、２ｂまたは３のフローチャートで概説された手続きを用いて、それらを処理する。電子デバイス８０は、また、オンライン（同様にオフライン）で、例えば、外部からビデオフレームを受信しり受信／送信／処理ブロック９８（通常は、送信機、受信機、ＣＰＵその他を含む）を使用して作動することができ、例えば、図２ａ、２ｂまたは３のフローチャートで概説される処置を使用してそれらを処理することができる。
【００６２】
フレーム選択ブロック９１に、フレーム評価情報を提供するフレーム画質評価用モジュール９０によって、オフラインの場合およびオンラインの場合の両方について、フレーム品質評価を、実行することができる。所定のルールを使用して適切なフレームを選んだ後、選択されたフレームを、パノラマ画像構造ブロック９４によって、パノラマ画像に追加する。完了の後、パノラマ画像はメモリ８８に格納でき、および／または、ディスプレイ９６に表示できる。運動センサ９２は、パノラマ画像を構成するために使用する複数の画像をキャプチャしているカメラ・センサー８４の運動の情報を提供することができる。モジュール９０は、また、画像品質評価および／またはブロック９２からの入力を用いて、例えば、図２ｂのフローチャートで概説された手続きを用いて、１つのグループ評価されたフレームの数であるＫを調整するために用いることができる。
【００６３】
本発明の実施形態によれば、ブロック９０、９１または９４は、ソフトウェアまたはハードウェアとして、あるいはそれらの組合わせとして実装することができる。その上に、ブロック９０、９１または９４は、別々のブロックとして実装すること、あるいは、電子デバイス８０の他のいかなるブロックと組み合わせることもでき、機能性によって、いくつかのブロックに分けることもできる。フレーム画質評価モジュール９０は、一般には評価するための手段またはそれの構造的同値（または等価構造）でありえることに留意する。また、フレーム選択モジュール９１は、一般に、選択のために手段またはその構造的同値（または等価構造）であり得る。さらに、パノラマ画像構成ブロック９４は、一般に、追加するための手段またはそれの構造的同値（または等価構造）であり得る。
【００６４】
パノラマ画像が、ほとんど離れたいくつかの画像ではなく、一組のビデオフレームから構成される場合に、本発明の実施形態は主として、そのような場合について対処する。その違いは、標準フレーム率（例えば＞１０ｆｐｓ）でキャプチャされる連続的なビデオフレームは、大きく重なっている領域を含むということである。このため、場面の同じ部分が、いくつかの連続するフレーム中に存在することが非常にありそうであり、そのうちの唯一のものが、パノラマ画像に含まれるように選択される。このため、典型的にはその場面からキャプチャされた全ての画像フレームを結合する従来技術において提案された方法よりも、高いビジュアル品質のパノラマ画像を構成することが可能になる。これはまた、パノラマ画像を作りだすために、  減少した数の画像フレームだけが用いられるので、以前のアプローチよりも、複雑さが少なくなる結果となる。
【００６５】
前述したように、本発明は、方法および、その方法のステップを実行するための機能性を提供している各種モジュールから成っている装置の両方を提供する。モジュールは、ハードウェアとして実装すること、または、コンピュータプロセッサによって実行されるソフトウェアあるいはファームウェアとして実装することもできる。具体的には、ファームウェアまたはソフトウェアの場合には、本発明は、コンピュータプロセッサによって実行されるために、コンピュータ・プログラムコード（すなわちソフトウェアまたはファームウェア）を実現する計算機可読のストレッジ構造を含んでいるコンピュータプログラム製品としての提供することもできる。
【００６６】
さらに、本願明細書において詳述された本発明の各種実施形態は、別々に用いることも、結合して用いることも、あるいは、選択的に特定の応用のために組み合わせて用いることもできることに留意する。
【００６７】
上に記述した仕組みは、本発明の原理の応用の説明に過ぎないことは、当然に理解できることである。多数の変形や代替的は仕組みを、本発明の範囲内において、当業者は考案することができ、そして、添付した特許請求の範囲はそのような変形および仕組みをカバーすることを目的とする。
【図面の簡単な説明】
【００６８】
【図１ａ】本発明の実施形態による、入手可能な画像フレームを３つのフレームずつの小グループに分ける実施例の概略図である。
【図１ｂ】本発明の実施形態による、入手可能な画像フレームを、可変数のフレームの小グループに分ける実施例の概略図である。
【図１ｃ】本発明の実施形態による、入手可能な画像フレームを、適応的推定数の可変数のフレームの小グループに分ける実施例の概略図である。
【図２ａ】本発明の実施形態による、グループ内の一定数のフレームを評価することによって、複数の画像からパノラマ画像をオフラインで構成すること（Ｋは一定である）を示すフローチャートである。
【図２ｂ】本発明の実施形態による、グループ内の可変数のフレームを評価することによって、複数の画像からパノラマ画像をオフラインで構成すること（Ｋは一定である）を示すフローチャートである。
【図２ｃ】本発明の実施形態による、Ｋがフレーム間で重複する量に応じて適応的に変化する場合の、複数の画像からパノラマ画像をオフラインで構成することを示すフローチャートである。
【図３】本発明の実施形態による、複数の画像からパノラマ画像をオンラインで構成することを示すフローチャートである。
【図４】本発明の実施形態による、各々のフレームの中心部だけがパノラマ画像を構成するのに実際に使用される場合の、フレームの概略図である。
【図５】本発明の実施形態による、Ｋ個のキャプチャされたフレームの各群から選択されたフレームを追加することにより、パノラマ画像を生成するプロセスの概略図である。
【図６】本発明の実施形態による、複数の画像からパノラマ画像を構成するのに適合した電子デバイスのブロック図である。
【図１ａ】
2009533924.tif 000003
【図１ｂ】
2009533924.tif 000004
【図１ｃ】
2009533924.tif 000005
【図２ａ】
2009533924.tif 000006
【図２ｂ】
2009533924.tif 000007
【図２ｃ】
2009533924.tif 000008
【図３】
2009533924.tif 000009
【図４】
2009533924.tif 000010
【図５】
2009533924.tif 000011
【図６】
2009533924.tif 000012
【手続補正書】
【提出日】平成20年10月10日(2008.10.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のキャプチャした画像をグループに分けるステップであって、各グループが多数の連続するフレームを含む、ステップと、
所定の評価基準を使用して、複数の前記キャプチャした画像からなる前記各グループに対して前記多数の連続するフレームの画質を評価するステップであって、前記数が２以上の値であるステップと、
所定のルールを使用して、前記評価したフレームから最高の画質を有する１つのフレームを選択するステップと、
パノラマ画像を構成するために、前記各グループからの前記１つのフレームを、他の選択されたフレームに追加するステップと、
を含む方法。
【請求項２】
前記数が、すべての前記グループに対して、一定値の所定数である、請求項１に記載の方法。
【請求項３】
前記数が、前記グループに対して、可変である、請求項１に記載の方法。
【請求項４】
前記数が、所定の評価基準を使用して、キャプチャしている間、前記Ｋ個の連続するフレームをキャプチャしているセンサーの運動の量に対応して選択される、請求項３に記載の方法。
【請求項５】
前記数が初期値を割り当てられ、次に、所定のルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによって評価している間、値の割り当てが繰り返される、請求項３に記載の方法。
【請求項６】
前記所定のルールを用いて、前記相対的な運動速度が閾値より小さい場合に、前記数が、所定の値だけ増加される、あるいは、前記相対的な運動速度が更なる閾値より大きい場合に、前記数が、更なる所定の値だけ減少される、請求項５に記載の方法。
【請求項７】
前記複数の画像が、前記評価、選択、追加を実行するために、メモリに格納される、請求項１に記載の方法。
【請求項８】
前記評価、選択、追加は、ネットワーク通信を通じて前記複数の画像にアクセスすることによって電子デバイスにより実行される、請求項１に記載の方法。
【請求項９】
前記多数の連続するフレームの前記画質評価の間、一度に１フレームのみがメモリに保存される、請求項１に記載の方法。
【請求項１０】
前記数の連続するフレームの各々についての前記画質評価が、シャープさ、レジストレーション精度、他のフレームとの重複量、運動のタイプと量、の４つの画像特性の少なくとも１つを評価することによって、所定の評価基準を用いて行われる、請求項１に記載の方法。
【請求項１１】
前記所定の評価基準が、４つの画像特性の全てを含む、請求項１０に記載の方法。
【請求項１２】
前記評価、選択、追加が、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯電子デバイス、モバイル電子デバイスまたはカメラ・フォンである電子デバイスにより実行される、請求項１に記載の方法。
【請求項１３】
選択されたフレームの境界が除外され、実質的に前記選択されたフレームの中心部だけが他の選択されたフレームに追加される、請求項１に記載の方法。
【請求項１４】
前記選択されたフレームが、前記選択の後に格納され、前記複数の画像から前記パノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、前記パノラマ画像に追加される、請求項１に記載の方法。
【請求項１５】
前記１つのフレームが、前記選択の直後に、以前に選択されたフレームに追加される、請求項１に記載の方法。
【請求項１６】
コンピュータ・プログラム・コードを有するコンピュータプロセッサによる実行のために、コンピュータ・プログラムコードを含むコンピュータ・プログラムであって、
前記コンピュータ・プログラムコードが、請求項１の方法を実行するための指示を含む、コンピュータ・プログラム。
【請求項１７】
所定の評価基準を使用して、複数の画像からの多数の連続するフレームからなる各グループに対して画質を評価するように構成されるフレーム画質評価モジュールであって、
前記数が、少なくとも２以上の整数であり、前記複数のキャプチャされた画像が前記グループに分けられる、フレーム画質評価モジュールと、
所定のルールを使用して、最高の画質を有する、前記各グループから、１つのフレームを選択するように構成されるフレーム選択モジュールと、
パノラマ画像を構成するために、各前記グループの前記１つのフレームを他の選択されフレームに追加するように構成される、パノラマ画像構成ブロックと、
を備える装置。
【請求項１８】
前記装置が、前記選択の後に選択されたフレームを格納し、前記複数の画像から前記パノラマ画像に追加されるべき全てのフレームが選択されてしまった後に、前記選択されたフレームを前記パノラマ画像に追加するように構成される、請求項１７に記載の装置。
【請求項１９】
前記装置が、前記選択の直後に、前記１つのフレームを以前に選択されたフレームに追加するように構成される、請求項１７に記載の装置。
【請求項２０】
前記数が、すべての前記グループに対して、一定値の所定数である、請求項１７に記載の装置。
【請求項２１】
前記数が、前記グループに対して、可変である、請求項１７に記載の装置。
【請求項２２】
前記数が、所定の評価基準を使用して、キャプチャしている間、前記Ｋ個の連続的なフレームをキャプチャしているセンサーの運動の量に対応して選択される、請求項２１に記載の装置。
【請求項２３】
前記数が初期値を割り当てられ、次に、予め選択されたルールを使用して、隣接フレーム中の特徴物の相対的な運動速度をモニタすることによって評価している間、値の割り当てが繰り返される、請求項２１に記載の装置。
【請求項２４】
評価し、選択し、追加するステップを実行するために前記複数の画像を格納するためのメモリ、を更に備える、請求項１７に記載の装置。
【請求項２５】
前記装置が、ネットワーク通信で前記複数の画像にアクセスするように構成される、請求項１７に記載の装置。
【請求項２６】
前記多数の連続するフレームの前記画質評価の間、一度に１フレームのみが前記装置のメモリに保存される、請求項２５に記載の装置。
【請求項２７】
前記数の連続するフレームの各々についての前記画質評価が、シャープさ、レジストレーション精度、他のフレームとの重複量、運動のタイプと量、の４つ画像特性の少なくとも１つを評価することによる所定の評価基準を使用する、請求項１７に記載の装置。
【請求項２８】
前記装置が、デジタル・カメラ、通信デバイス、無線通信デバイス、携帯装置、モバイル電子デバイスまたはカメラ・フォンである、請求項１７に記載の装置。
【請求項２９】
複数の画像をキャプチャするための手段と、
所定の評価基準を使用して、複数の画像からの多数の連続的なフレームからなる各グループに対して画質を評価するように構成されるフレーム画質評価モジュールであって、前記数の連続するフレームの各々が、ネットワーク通信により電子デバイスに提供され、前記数が、少なくとも２以上の整数である、フレーム画質評価モジュールと、
前記複数のキャプチャされた画像が前記グループに分けられる、フレーム画質評価モジュールと、
所定のルールを使用して、前記各グループから最高の画質を有する１つのフレームを選択するように構成されるフレーム選択モジュールと、
パノラマ画像を構成するために、各前記グループの前記１つのフレームを他の選択されたフレームに追加するように構成される、パノラマ画像構成ブロックと、
を備える、電子デバイスと、
を備える、複数の画像からパノラマ画像を構成するために採用されたシステム。
【請求項３０】
前記ネットワーク通信が、インターネットの上のネットワーク通信である、請求項２９に記載のシステム。
【請求項３１】
キャプチャするための前記手段は、前記電子デバイスの部分であるかまたは前記電子デバイスとは別のものである、請求項２９に記載のシステム。
【請求項３２】
所定の評価基準を使用して、複数の画像から多数の連続するフレームからなるグループのそれぞれについて画質を評価するための手段であって、前記数が、少なくとも２以上の整数であり、前記複数のキャプチャされた画像が前記グループに分けられる、手段と、
所定のルールを使用して、前記各グループから、最高の画質を有する１つのフレームを選択する手段と、
パノラマ画像を構成するために、前記グループの各々の前記１つのフレームを他の選択されたフレームに追加する手段と、
を備える装置。
【請求項３３】
前記評価するための前記手段が、フレーム画質評価モジュールであり、
前記選択のための手段が、フレーム選択モジュールであり、
前記追加手段が、パノラマ画像構築ブロックである、請求項３２に記載の装置。
【国際調査報告】
2009533924.tif 000013
2009533924.tif 000014
2009533924.tif 000015
2009533924.tif 000016