(57)【要約】  パノラマ画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法は、第１の風景が映像化されている第１のデジタル画像を撮影するステップと、第１の風景とデジタルカメラを用いて眺められている変化している第２の風景との間の関係を決定するステップと、第２のデジタル画像においてデジタルカメラによって撮影されるべき適切なビューを特定するために、第１の風景とデジタルカメラを用いて眺められている第２の風景との間の関係を解析するステップと、カメラが第２のデジタル画像を撮影するため適切なビューの方へ向けられていることをユーザに指示するステップと、を備える。
2009544216.tif 000002
【特許請求の範囲】
【請求項１】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
前記第１の風景と前記デジタルカメラによって眺められており変化している第２の風景との間の関係を決定するステップと、
前記第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするために前記第２のデジタル画像において前記デジタルカメラによって撮影されるべき適切な画像を特定するために、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係を解析するステップと、
前記カメラが第２のデジタル画像を撮影するために適切なビューの方へ向けられていることをユーザに示すステップと、
を具備し、
前記指示ステップは、ユーザが感知できる信号を発信するステップを含む方法。
【請求項２】
ユーザが感知できる信号を発信する前記ステップは、前記カメラが画像を撮影するために適切なビューの方へ向けられているときに、前記信号を発信するステップを含む、請求項１に記載の方法。
【請求項３】
ユーザが感知できる信号を発信する前記ステップは、前記カメラが画像を撮影するために適切なビューの方へ向けられているときに、前記信号の発信を停止させるステップを含む、請求項１に記載の方法。
【請求項４】
ユーザが感知できる信号を発信する前記ステップは、バイブレータを駆動するステップをさらに備える、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
前記第１の風景と前記デジタルカメラによって眺められており変化している第２の風景との間の関係を決定するステップと、
前記第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするために前記第２のデジタル画像において前記デジタルカメラによって撮影されるべき適切なビューを特定するために、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係を解析するステップと、
前記カメラが第２のデジタル画像を撮影するために適切なビューの方へ向けられていることをユーザに示すステップと、
を具備し、
前記指示ステップは、音響信号を発信するステップを含む方法。
【請求項６】
前記音響信号を発信するステップは、前記カメラが画像を撮影するため適切なビューの方へ向けられているときに前記音響信号を発信するステップを含む、請求項５に記載の方法。
【請求項７】
前記音響信号を発信するステップは、前記カメラが画像を撮影するため適切なビューの方へ向けられているときに前記音響信号の発信を停止するステップを含む、請求項５に記載の方法。
【請求項８】
前記決定ステップは、前記デジタルカメラが前記デジタルカメラによって眺められている前記第２の風景を変化させるために移動されている間に、前記デジタルカメラによって眺められている前記第２の風景に関して前記第１の風景の位置を追跡するステップを含む、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
前記第２の風景に関して前記第１の風景の位置を追跡する前記ステップは、画像を比較するステップを含む、請求項８に記載の方法。
【請求項１０】
前記第２の風景に関して前記第１の風景の位置を追跡する前記ステップは、前記デジタルカメラの向きの変化を感知するステップを含む、請求項８に記載の方法。
【請求項１１】
前記デジタルカメラの実際の動きと同期している前記デジタルカメラの所望の動きのアニメーションを表示するステップをさらに具備する、請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
前記第２の風景の変化に関連した情報を前記ユーザへ通信するステップをさらに具備する、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記通信するステップは、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係の略図を表示するステップを備える、請求項１２に記載の方法。
【請求項１４】
前記カメラが適切なビューの方へ向けられているときに、第２のデジタル画像を撮影するステップをさらに具備し、前記撮影ステップは、前記デジタルカメラによって自動的に実行される、請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
前記指示ステップは、前記画像の実際の撮影より先に画像が自動的に撮影されるという情報を前記ユーザへ通信するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記解析するステップは、適切なビューを特定するために隣接した画像の間の所定の所望の重なり合いを用いる、請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
ユーザが前記デジタルカメラを前記第１の風景と部分的に重なり合う第２の風景に向けるために前記デジタルカメラを移動させることを可能にするステップと、
第２のデジタル画像が自動的に撮影されようとしていることをユーザに通知するステップと、
第２のデジタル画像を自動的に撮影するステップと、
を具備する方法。
【請求項１８】
前記自動撮影ステップは、前記通知の後の所定の期間に実行される、請求項１７に記載の方法。
【請求項１９】
前記デジタルカメラの停止された動きを検出するステップをさらに含み、
前記第２のデジタル画像を自動的に撮影するステップは、停止された動きの検出に応答して実行される、請求項１７に記載の方法。
【請求項２０】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
ユーザが前記デジタルカメラを第２の風景に向けるために前記デジタルカメラを移動させることを可能にするステップと、
前記デジタルカメラの停止された動きを検出するステップと、
停止された動きの検出に応答して第２のデジタル画像を自動的に撮影するステップと、
を具備する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラを用いて合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像を獲得する方法に関係する。
【背景技術】
【０００２】
景色の画像を撮影するためにデジタルカメラを使用するとき、広視野画像が望まれることが多い。広視野画像は、後で景色の大きい画像を作成するために一つに繋ぎ合わされる複数枚の画像を撮影することにより人工的に作成される。
【０００３】
繋ぎ合わされた画像の最も効果的な結果は、一つに繋ぎ合わされるために適した画像を撮影することにより得られることがある。この点について、画像は適切な重なり合いと良好な位置合わせとを使って撮影されるべきである。重なり合いは、画像が継ぎ目なく一つに繋ぎ合わされることを可能にさせるために必要とされる。さらに、最終的なパノラマ画像は、パノラマを形成する複数枚の画像のうちの最も低い画像の上端および最も高い画像の下端によって垂直方向に制限されている。よって、良好な位置合わせは、最終的なパノラマ画像が最大または最大付近の垂直サイズで作成されることを可能にするであろう。
【０００４】
パノラマ画像を作成するため最も適した画像を撮影することは、経験豊富な写真家であっても困難である。適切な結果を実現するため、三脚を使用することが要求されることがある。
【０００５】
したがって、パノラマ画像を形成するため適している画像を撮影する際にユーザを支援する必要性がある。米国特許出願公開第２００５／０１６８５９４号明細書には、パノラマ写真を作成する画像撮影手順の中でユーザをガイドする方法が開示されている。この方法によれば、アルゴリズムは、前に記録された画像と共に撮影されるように後の画像を位置合わせすることを助けるために、画像撮影プロセス中に、重畳されライブ画像の上で移動される印を表示する。
【０００６】
このように、ディスプレイは、前に記録された画像の一部とこれから記録される画像の一部をユーザに同時に表示する。このことは、ユーザが画像を互いに正確に位置合わせし、かつ、相関させるために役立つ。
【０００７】
ユーザのパノラマ画像獲得を支援する別の方法は、Ｐ．Ｂａｕｄｉｓｃｈ，  Ｄ．Ｔａｎ，  Ｄ．Ｓｔｅｅｄｌｙ，Ｅ．Ｒｕｄｏｌｐｈ，  Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ，  Ｃ．Ｐａｌ，  ａｎｄ  Ｒ．Ｓｚｅｌｉｓｋｉ，  “Ｐａｎｏｒａｍｉｃ  Ｖｉｅｗｆｉｎｄｅｒ”：  Ｐｒｏｖｉｄｉｎｇ  ａ  Ｒｅａｌ−Ｔｉｍｅ  Ｐｒｅｖｉｅｗ  ｔｏ  Ｈｅｌｐ  Ｕｓｅｒｓ  Ａｖｏｉｄ  Ｆｌａｗｓ  ｉｎ  Ｐａｎｏｒａｍｉｃ  Ｐｉｃｔｕｒｅｓ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＯＺＣＨＩ  ２００５に記載されている。この方法によれば、３種類の情報をユーザへ同時に見せるパノラマビューファインダが使用され、すなわち、（１）プレビューが現在の完成状況におけるパノラマを示し、（２）ビューファインダがちょうどその時に見ているものを示し、（３）リアルタイムクロッピングフレームは、ユーザがこの瞬間に撮影を停止するならば、クロッピング後にパノラマが保有することになる広がりを示す。
【０００８】
しかし、パノラマ画像は明るい環境で撮影されることが多く、画像の重なり合いを観察することを困難にさせ、したがって、ディスプレイは画像撮影過程においてユーザを支援するのに役立たない。さらに、自画像が望ましいならば、ユーザはビューファインダを見ることが不可能であり、全く支援されない。
【０００９】
したがって、一つに繋ぎ合わされるべき数枚の画像を撮影する際にユーザを支援するための改良されたユーザインタフェースが望ましい。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許出願公開第２００５／０１６８５９４号明細書
【非特許文献】
【００１１】
【非特許文献１】Ｐ．Ｂａｕｄｉｓｃｈ、Ｄ．Ｔａｎ、Ｄ．Ｓｔｅｅｄｌｙ、Ｅ．Ｒｕｄｏｌｐｈ、Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ、Ｃ．Ｐａｌ、Ｒ．Ｓｚｅｌｉｓｋｉ著、「パノラマビューファインダ：ユーザがパノラマピクチャ内の欠陥を回避するユーザを支援するためのリアルタイムプレビューの提供（Ｐａｎｏｒａｍｉｃ  Ｖｉｅｗｆｉｎｄｅｒ：  Ｐｒｏｖｉｄｉｎｇ  ａ  Ｒｅａｌ−Ｔｉｍｅ  Ｐｒｅｖｉｅｗ  ｔｏ  Ｈｅｌｐ  Ｕｓｅｒｓ  Ａｖｏｉｄ  Ｆｌａｗｓ  ｉｎ  Ｐａｎｏｒａｍｉｃ  Ｐｉｃｔｕｒｅｓ）」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＯＺＣＨＩ、２００５年
【発明の概要】
【発明が解決しようとする課題】
【００１２】
発明の目的は、合成画像に繋ぎ合わされるべき画像を撮影する際にユーザを支援する方法を提供することである。発明の特定の目的は、明るい環境において、自画像が撮影されるときに効果的である方法を提供することである。
【課題を解決するための手段】
【００１３】
以下の説明から明白になる発明の上記目的およびその他の目的は、独立請求項のいずれかによる方法を用いて少なくとも部分的に達成される。特定の実施形態は従属請求項に提示されている。
【００１４】
本願との関連において、「合成画像」という用語は、少なくとも２枚の撮影画像の組み合わせから形成される画像とみなされるべきである。撮影画像は、長方形であり、広角の風景を見せるパノラマ画像に形成されることがある。しかし、撮影画像は多少なりとも互いに関連していることがある。たとえば、撮影画像は、ｎおよびｍが任意の数であるとして、ｎ×ｍ枚の画像の行列を形成することがある。さらに、合成画像は長方形でなくてもよい。それどころか、撮影画像は任意の形状の合成画像を形成するため一つに繋ぎ合わされることがある。
【００１５】
よって、発明の第１の態様によれば、合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法は、第１の風景が映像化されている第１のデジタル画像を撮影するステップと、第１の風景とデジタルカメラを用いて眺められている変化している第２の風景との間の関係を決定するステップと、第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするため第２のデジタル画像においてデジタルカメラによって撮影されるべき適切な画像を特定するために、第１の風景とデジタルカメラによって眺められている第２の風景との間の関係を解析するステップと、ユーザが触知できる信号を発信し、カメラが第２のデジタル画像を撮影するため適切なビューの方へ向けられていることをユーザに指示するステップと、を備える。
【００１６】
この方法を用いて、デジタルカメラは、前に撮影された画像と撮影されるべき画像との間の関係を決定する。よって、カメラ自体が撮影されるべき画像内に映像化されるべきビューを決定する。ユーザはその後にカメラが画像を撮影するため適切に方向付けられているというデジタルカメラからの指示によってガイドされる。かくして、合成画像を獲得する際に支援するためのユーザのガイダンスは、明るい環境において、かつ、（たとえば、自画像を撮影するときのように）ユーザがビューファインダを見ることができないときであっても実現されることがある。
【００１７】
この方法は、映像化されるべき第２の風景がカメラによって決定されるので、ユーザから画像の撮影の制御を奪う。しかし、このことは、カメラがより効率的にユーザをガイドすることを可能にする。
【００１８】
カメラが適切なビューへ向けられているというユーザへの指示は、必ずしもユーザを第２のデジタル画像を撮影するため最適なビューにガイドしなくてもよい。この指示は、現在のビューが最適なビューからどれくらい離れているかという情報をユーザに提供することがある。ユーザは、かくして、ユーザが適切であると考えるときに、第２のデジタル画像の撮影を制御するためにこの情報を使用することがある。さらに、この情報は、カメラが第２の画像の適当なビューから遠ざかる向きへ移動されているときに状況をユーザに知らせることがある。この状況では、カメラが適当なビューから非常に遠くへ移動され、撮影画像が繋ぎ合わされるために全く不適当になる前に、第２の画像が撮影されるべきであるという指示が与えられることがある。このようにして、指示は、繋ぎ合わせのため特に適しているビューを表現しないが、第１の画像に繋ぎ合わせることが可能であるビューを表現している第２の画像を強制的に撮影させることがある。
【００１９】
人体は触覚に非常に素早く反応する。したがって、ユーザによって感知される何らかのメッセージまたは信号を発信することにより、ユーザは信号に非常に素早く反応することがある。
【００２０】
触覚信号は様々な方式で実現されることがある。触覚信号は、小さい電気パルス、温度の変化、または、感じられる振動の形式でもよい。
【００２１】
たとえば、この発信は、第１の風景と第２の風景との間の関係をユーザに知らせるためにバイブレータを作動させることを含むことがある。バイブレータは、デジタルカメラが移動されているときに追跡中に作動され、カメラが画像を撮影するため適切なビューに向けられていることを指示するために停止されることがある。このことは、ユーザがカメラの移動中に連続的にガイドされることがあることを意味している。ユーザはカメラを保持している自分の手によってバイブレータの停止を感知するので、ガイダンスは明るい環境または雑音の多い環境による影響を受けない。ユーザは、したがって、カメラが適切に方向付けられていることを知るであろう。
【００２２】
当然ながら、バイブレータはユーザと通信するためその他の方式で使用されてもよい。バイブレータは逆の方式で使用されてもよく、すなわち、バイブレータは、カメラが適切に方向付けられているときに短時間に亘って作動される。代案としてバイブレータの強度は、カメラが適切なビューまたは最適なビューの向きからどれくらい離れている方へ向けられているかをユーザに通信するために変化させられてもよい。
【００２３】
発明の第２の態様によれば、合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法は、第１の風景が映像化されている第１のデジタル画像を撮影するステップと、第１の風景とデジタルカメラによって眺められている変化している第２の風景との間の関係を決定するステップと、第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするため第２のデジタル画像においてデジタルカメラによって撮影されるべき適切なビューを特定するために、第１の風景とデジタルカメラによって眺められている第２の風景との間の関係を解析するステップと、音響信号を発信し、カメラが第２のデジタル画像を撮影するため適切なビューの方へ向けられていることをユーザに指示するステップと、を備える。
【００２４】
この方法を用いて、デジタルカメラは、前に撮影された画像と撮影されるべき画像との間の関係を決定する。よって、カメラ自体が撮影されるべき画像内に映像化されるべきビューを決定する。ユーザはその後にカメラが画像を撮影するため適切に方向付けられているというデジタルカメラからの指示によってガイドされる。かくして、合成画像を獲得する際に支援するためのユーザのガイダンスは、明るい環境において、かつ、（たとえば、自画像を撮影するときのように）ユーザがビューファインダを見ることができないときであっても実現されることがある。
【００２５】
この方法は、映像化されるべき第２の風景がカメラによって決定されるので、ユーザから画像の撮影の制御を奪う。しかし、このことは、カメラがより効率的にユーザをガイドすることを可能にする。
【００２６】
カメラが適切なビューへ向けられているというユーザへの指示は、必ずしもユーザを第２のデジタル画像を撮影するため最適なビューにガイドしなくてもよい。この指示は、現在のビューが最適なビューからどれくらい離れているかという情報をユーザに提供することがある。ユーザは、かくして、ユーザが適切であると考えるときに、第２のデジタル画像の撮影を制御するためにこの情報を使用することがある。さらに、この情報は、カメラが第２の画像の適当なビューから遠ざかる向きへ移動されているときに状況をユーザに知らせることがある。この状況では、カメラが適当なビューから非常に遠くへ移動され、撮影画像が繋ぎ合わされるために全く不適当になる前に、第２の画像が撮影されるべきであるという指示が与えられることがある。このようにして、指示は、繋ぎ合わせのため特に適しているビューを表現しないが、第１の画像に繋ぎ合わせることが可能であるビューを表現している第２の画像を強制的に撮影させることがある。
【００２７】
たとえば、音響信号の発信は、第１の風景と第２の風景との間の関係をユーザに知らせるため音響信号を発信することを含むことがある。音響信号の発信はデジタルカメラが移動されているときに追跡中に作動され、カメラが画像を撮影するため適切なビューに向けられていることを指示するために停止されることがある。ユーザは、したがって、カメラが適切に方向付けられていることを知るであろう。このことは、ユーザがカメラの移動中に連続的にガイドされ、ガイダンスが明るい環境による影響を受けないことを意味している。
【００２８】
当然ながら、音響信号はユーザと通信するためその他の方式で使用されてもよい。音響信号は、たとえば、バイブレータは逆の方式で使用されてもよく、すなわち、音響信号の発信は、カメラが適切に方向付けられているときに短時間に亘って作動される。音響信号の強度は、カメラが適切なビューまたは最適なビューの向きからどれくらい離れている方へ向けられているかをユーザに通信するために代案として変化させられてもよい。
【００２９】
第２の風景は様々な方式で変化することがある。情景はカメラの前で起こる動きによって変化することがある。このような場合、カメラは静止して保持されているが、カメラの前の風景が変化している。したがって、数枚の画像が静止したカメラによって撮影されることがある。背景に関する動きはそのとき合成画像内に示されることがある。したがって、合成画像は、互いのトップに位置するいくつかの画像の合成の場合がある。
【００３０】
代替的に、第２の風景は移動されているカメラによって変化することがある。決定は、デジタルカメラがデジタルカメラによって眺められている第２の風景を変化させるため移動される間に前記デジタルカメラによって眺められている第２の風景に対して第１の風景の位置を追跡することを含むことがある。この場合、カメラが動かされるので、カメラによって眺められている風景が変化させられる。第１の風景と変化している第２の風景との間の関係は、第１の画像に繋ぎ合わせるため適した第２の画像が撮影されることを可能にするために監視される。
【００３１】
一実施形態によれば、第２の風景に対して第１の風景の位置を追跡することは、画像を比較することを含む。このことは、カメラが向けられているビューを比較することによってカメラの動きが監視されることを意味している。このことは、たとえば、ビューファインダによって撮影されている一時的な小さい画像を連続的に比較することにより実現されることがある。比較は、第２の風景と第１の風景との間の関係を絶えず更新するために前に撮影された一時的な画像のいずれかに対して行われることがある。
【００３２】
別の実施形態によれば、第２の風景に対して第１の風景の位置を追跡することは、デジタルカメラの向きの変化を感知することを含む。感知は、たとえば、デジタルカメラの何らかの回転を検出するジャイロスコープを用いて実現されることがある。代替的に、感知はコンパスを用いて実現されることがあり、それによって、地磁場に対する回転が検出されることがある。デジタルカメラの視角を知ることにより、デジタルカメラの許容回転が設定されることがある。
【００３３】
この方法は、第２の風景の変化に関係した情報をユーザに通信することをさらに含む。このことは、カメラがカメラの動きの状態の情報をユーザに与え、その結果、カメラが風景の適切な部分の方へ向けられるように動きをガイドすることを意味している。
【００３４】
一実施形態によれば、通信することは、第１の風景とデジタルカメラによって眺められている第２の風景との間の関係の略図を表示することを含む。このことは、ビューファインダの細部を見分けることが困難であるときに明るい環境においてユーザがガイドされることを可能にする。
【００３５】
この方法は、カメラが適切なビューの方へ向けられているときに、デジタルカメラによって自動的に実行されて第２のデジタル画像を撮影することをさらに含む。
【００３６】
このようにして、合成画像を自動的に獲得する方法が実現される。よって、ユーザは、第２の画像および後続の画像を獲得する間に撮影ボタンを押下する必要がないであろう。このことは、撮影ボタンが押下されることによってカメラが位置を外れることがないことを意味している。その代わり、ユーザは正確な向きにカメラを向けることに完全に集中することができる。
【００３７】
さらに、カメラの動きに関係する情報のユーザへの通信は、画像が獲得されるべきであることを指示されるときに、ユーザが様々な位置でカメラの動きを一時的に停止することを可能にさせる。かくして、モーションブラーが防止され、高品質シャープ画像が獲得されるであろう。
【００３８】
この方法は、合成画像を形成することになる数枚の画像が非常に素早く撮影されることを可能にする。ユーザは、画像の獲得を開始するために単に撮影ボタンを押下し、その後に、映像化されるべき風景にわたってカメラをスイープさせる。ユーザは、別の画像が撮影できるようにするため、カメラのスイープを一時的に停止できるときに連続的にガイドされる。
【００３９】
これは、ユーザが合成画像の作成のための画像を獲得するために役立つ高度に自動化された方法である。ユーザは画像を撮影すべきときに関する何らかの決定を行う必要がないであろう。実際に、ユーザが合成画像を獲得する手順を一旦開始すると、ユーザはカメラによって通信される指示に従うだけでよい。特に、ユーザは、カメラのビューファインダを覗く必要がなく、かつ、このようにして明るい環境または暗い環境において自画像または合成画像を獲得するであろう。
【００４０】
指示することは、実際の画像の撮影より前に画像が自動的に撮影されるであろうという情報をユーザに通信することを含むことがある。このことは、第２のデジタル画像が撮影される前に、ユーザがデジタルカメラの動きを停止可能であることを意味している。かくして、モーションブラーが効果的に取り除かれることがある。
【００４１】
自動撮影は、第２の画像がまさに撮影されようとしているという情報がユーザに通信された後に所定の期間に実行されてもよい。代替的に、自動撮影は、カメラの動きが停止したという検出に応答して実行されてもよい。
【００４２】
解析は適切なビューを特定するため隣接した画像の間で所定の望ましい重なり合いを使用する。この重なり合いは、カメラの光学セットアップを適合させるために設定されることがあり、このようにして、最適な合成画像が画像を獲得するためのプログラムされたアルゴリズムを使用することにより得られることがある。
【００４３】
代替案によれば、解析は、第２のデジタル画像を撮影するため適している条件が成立するかどうかを決定することを含む。たとえば、解析は、カメラが殆ど移動されていないことを検出する。このような場合に、条件は第２の画像が適切に撮影され得るというような条件である。カメラは僅かしか移動されていないので、仮に全く移動されていないならば、モーションブラーは回避されることがある。よって、カメラが繋ぎ合わせのため適していると思われるビューに向けられ、カメラのこれらの非移動条件が成立するならば、第２のデジタル画像を撮影する決定が行われるであろう。代替案として、解析は、カメラが前に撮影された画像に繋ぎ合わせるため特に適しているビューの方へ向けられていることを検出することがある。このことは、カメラが同時に移動されているとしても、第２のデジタル画像を撮影する適切な条件として検出されてもよい。画像が直ぐに撮影され、ユーザが適切な位置でカメラの動きを停止することを許可するという指示がユーザに通知されることがある。その後に、第２のデジタル画像が撮影される。
【００４４】
この方法は、デジタルカメラの実際の動きと同期した、デジタルカメラの所望の動きのアニメーションを表示することをさらに含むことがある。このアニメーションは、カメラの動かし方をユーザに容易に理解させる。たとえば、アニメーションは、パノラマ画像が撮影されるべきであるならば、カメラが単に回転されるだけであること、および、カメラの直線移動あるいはカメラの傾斜移動が少しも行われないことをユーザに提示する。
【００４５】
発明の第３の態様によれば、合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法は、第１の風景が映像化されている第１のデジタル画像を撮影するステップと、ユーザがデジタルカメラを第１の風景と部分的に重なり合う第２の風景に向けるためにデジタルカメラを移動させることを可能にするステップと、第２のデジタル画像が自動的に撮影されようとしていることをユーザに通信するステップと、第２のデジタル画像を自動的に撮影するステップとを備える。
【００４６】
この方法は、モーションブラーを防止しつつ合成画像を形成するために画像を獲得する際にユーザを支援する。ユーザは、画像が実際に撮影される前にデジタル画像が撮影されるべきであるということが知らされるので、ユーザはカメラの動きを停止させることが可能であろう。第２の画像の自動撮影は、モーションブラーがユーザによる撮影ボタンの押下に起因して形成されないことを意味している。
【００４７】
さらに、数枚の後続の画像が撮影されるべきであるとき、ユーザへの通信は一定間隔で行われることがある。このことは、ユーザが風景をスイープし、繋ぎ合わせのため適した画像を撮影する際に支援されることを意味している。ユーザはカメラの適切な向きに関する決定を行う必要がないので、ユーザは、安定した均一の方式でカメラを移動させてもよい。このことは、隣接した画像間の視角の差が風景のスイープの全体に亘って一定でも構わないことを意味している。その結果、ユーザは、画像の撮影中に映像化された風景の間の関係に関する解析が行われないとしても、合成画像に繋ぎ合わせるため適した画像を取得するためにカメラによって支援される。
【００４８】
ユーザへの通信は、発明の第１の態様および第２の態様を参照して上述されているように多種多様の方法で実現されることがある。
【００４９】
第２のデジタル画像の自動撮影は前記通信後の所定の期間に実行されることがある。所定の期間は、第２のデジタル画像が撮影される前にユーザがカメラの動きを停止することを可能にさせる適当な期間であればよい。この所定の期間は典型的に１秒未満でもよい。
【００５０】
代替的に、この方法は、デジタルカメラの停止された動きを検出することをさらに含み、第２のデジタル画像の自動撮影は停止された動きの検出に応答して実行される。このことは、第２のデジタル画像が全くモーションブラーを含んでいないことが確実に補償されることを意味している。
【００５１】
発明の第４の態様によれば、合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法は、第１の風景が映像化されている第１のデジタル画像を撮影するステップと、ユーザがカメラを第２の風景に向けるためにデジタルカメラを移動させることを可能にするステップと、デジタルカメラの停止された動きを検出するステップと、停止された動きの検出に応答して第２のデジタル画像を自動的に撮影するステップとを備える。
【００５２】
発明の本態様によれば、ユーザは画像が撮影されるときのカメラの位置決めを制御する。カメラの動きを停止させることにより、ユーザは画像の撮影を開始するであろう。このことは、画像が全くモーションブラー無しで撮影されることを意味している。さらに、画像はデジタルカメラの検出された停止した動きに応答して自動的に撮影されるので、画像は非常に素早く撮影されることがある。このことは、ユーザがカメラを素早く移動させることを可能にさせ、それによって、ユーザはカメラを安定した均一の方式で移動させることが可能になる。さらに、第２の画像の自動撮影は、ユーザによる撮影ボタンの押下に起因してモーションブラーが形成されないことを意味している。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態による方法のフローチャートである。
【図２】この方法で使用されるべきデジタルカメラの概略図である。
【発明を実施するための形態】
【００５４】
本発明は次に一例として添付図面を参照してさらに詳細に記載される。
【００５５】
今度は図１を参照して、合成画像に繋ぎ合わされるべきデジタル画像を獲得する際にユーザをガイドする方法が説明される。
【００５６】
ユーザは、デジタルカメラの合成画像撮影モードにおいて撮影ボタンを押下することによりデジタル画像の獲得を開始する（ステップ１０）。カメラは、このように、デジタルカメラによって眺められる第１の風景の第１の画像を撮影するために駆動される（ステップ１２）。さらに、カメラは、合成画像を形成するためさらなる風景の適切なビューの方へカメラを向ける際にユーザをガイドするために駆動される。
【００５７】
カメラは、カメラが移動されているときに、カメラによって眺められている風景の一時的な画像を記録する（ステップ１４）。これらの一時的な画像はビューファインダに表示される。さらに、前に記録された画像が一時的な画像と比較され、前に記録された画像内に映像化されている風景の位置が追跡される（ステップ１６）。カメラは、前に記録されたデジタル画像内に映像化された風景と眺められている風景との間の関係を解析する（ステップ１８）。この解析に基づいて、カメラは、カメラがその後の画像を撮影するため適切なビューの方へ向けられているかどうかを決定する。カメラが適切なビューの方へ向けられているとき、カメラはデジタル画像を自動的に撮影する（ステップ２０）。
【００５８】
連続的に撮影されている一時的な画像は、どのようにカメラが移動されたかを連続的に更新するため互いに比較され得る。このことは、小さい画像だけが互いに比較され、追跡の計算複雑性を比較的低く保つことを意味している。前に記録された画像内に映像化されている風景の位置は、画像を撮影した直後にビューファインダ内に登録されている第１の一時的な画像によってモデル化されることがある。
【００５９】
所定の重なり合いはカメラにプログラムされていることがある。このようにして、カメラは、重なり合いを決定するために眺められている風景と映像化されている風景の重なり合いを解析する。カメラの移動中に、重なり合いは連続的に減少する。重なり合いが所定のレベルに到達するとき、解析は、カメラが適切なビューの方へ向けられていることを決定する。
【００６０】
所定の重なり合いは、カメラの光学セットアップを適合させるためにカメラが適切にプログラムされることを可能にする。しかし、ユーザは、合成画像を撮影する前に所定の重なり合いを変化させることが許されてもよい。
【００６１】
追跡は非常に小さいビューファインダの画像を使用するので、追跡はリアルタイムで実行されることがある。追跡は、当業者によって理解されるように、前に記録された画像をビューファインダ内の一時的な画像と比較し照合するために適当な方式で実行されてもよい。たとえば、オプティカルフローアルゴリズムまたは２次元相関アルゴリズムが、別の画像を撮影することが適切であるというような仕方で画像が相関しているかどうかを決定するために、画像を互いに比較するため使用されてもよい。
【００６２】
所定の重なり合いを使用することの代替案として、解析は、第２のデジタル画像を撮影するため適している条件が成立するかどうかを決定することを含むことがある。たとえば、解析は、カメラが殆ど移動されていないことを検出することがある。このような場合に、条件は、第２の画像が適切に撮影されることがあるような条件である。カメラは僅かしか移動されていないので、仮に全く移動されていないならば、モーションブラーは回避されることがある。よって、カメラが繋ぎ合わせのため適しているかもしれないビューに向けられ、カメラのこれらの非移動条件が成立するならば、第２のデジタル画像を撮影する決定が行われるであろう。
【００６３】
さらなる代替案として、解析は、カメラが前に撮影された画像に繋ぎ合わせるため特に適しているビューの方へ向けられていることを検出してもよい。このことは、カメラが同時に移動されているとしても、第２のデジタル画像を撮影するため適切な条件として検出されることがある。そのとき画像が直ぐに撮影されるであろうことをユーザに通信し、ユーザがカメラの動きを適切な位置で停止させることを可能にする指示があるかもしれない。その後に、第２のデジタル画像が撮影される。
【００６４】
カメラは、カメラが適切なビューの方へ向けられていることを解析が決定したとき、後の画像を自動的に撮影するために設計されている。このことは、ユーザが、撮影ボタンを押下するといったさらなる入力をカメラに供給する必要がないことを意味している。このようにして、ユーザはカメラを正確に方向付けることに集中し、特に、ボタンが押下されるときに揺れるユーザに起因して位置から外れるカメラの動きは起こらない。
【００６５】
しかし、代替的な実施形態によれば、ユーザは、ユーザがカメラを適切なビューの方へ向けるためにカメラによってガイドされたときに、ボタンを押下することにより各画像の撮影を開始してもよい。
【００６６】
風景の様々な部分の画像を撮影するためのカメラの移動中に、カメラは移動中にユーザを連続的にガイドする。このように、ステップ１４−２０と同時に、カメラは、カメラの動かし方をユーザに通知する。カメラは、ユーザがカメラを移動させるべき方法のアニメーションを表示する（ステップ２２）。さらに、カメラは、画像を撮影するため動きが一時的に停止すべきときを指示する（ステップ２４）。
【００６７】
カメラは動きが多種多様の方式で一時的に停止されるべきときを指示する。第１の代替案によれば、カメラは、カメラが移動されている間にバイブレータを駆動する。カメラが画像を撮影するため適切に方向付けられているとき、バイブレータが停止される。第２の代替案によれば、カメラは、カメラが画像を撮影するため適切に方向付けられているときにバイブレータを駆動する。
【００６８】
このようにして、ユーザはカメラを保持している自分の手で駆動されているバイブレータを感知するであろう。このことは、ユーザとの視覚的または聴覚的な通信が不必要であり、明るい環境若しくは暗い環境、または、雑音の多い環境において合成画像を撮影するときに有利であることを意味している。さらに、触覚刺激に対する物理的な応答は非常に敏感であり、その結果、ユーザ感知された通信に素早く反応を示す可能性がある。バイブレータはユーザと通信するため多種多様の方式で使用されることがある。たとえば、振動の強度は、適切なビューが近づくにつれて増大され、または、代替的に、振動の強度は、適切なビューが近づくにつれて減少される。よって、ユーザは、カメラが適切なビューの方へ向けられる状態からどれくらい離れているかに関するフィードバックを得ることができる。
【００６９】
第３の代替案によれば、カメラが画像を撮影するため適切に方向付けられているとき、カメラは音響信号を発信する。第４の代替案によれば、カメラが移動されている間にカメラは音響信号を発信する。カメラが画像を撮影するため適切に方向付けられているとき、音響信号は停止される。
【００７０】
このように、ユーザは作動されている音響信号を聴取するであろう。このことは、ユーザとの視覚的な通信が不必要であり、明るい環境または暗い環境において合成画像を撮影するときに有利であるかもしれないことを意味している。
【００７１】
音響信号はユーザと通信するため多種多様の方式で使用されることがある。たとえば、音響信号の音量は、適切なビューが近づくにつれて増大されることがあり、または、代替的に、音響信号の音量は、適切なビューが近づくにつれて減少されることがある。このようにして、ユーザは、カメラが適切なビューの方へ向けられる状態からどれくらい離れているかに関するフィードバックを得ることができる。
【００７２】
上記の代替案は、ユーザが視覚的な指示を観察するのに困難がある条件において特に有利である。たとえば、このことは、ビューファインダが覗かれていないときにパノラマ自画像またはその他の合成画像を撮影しやすくする。
【００７３】
さらなる代替案によれば、カメラは、眺められている風景に対する前に記録された画像内に映像化されている風景の関係の略図を表示する。前に記録された画像は第１の長方形によって表現され、眺められている風景は第１の長方形と相対的に移動されている第２の長方形によって表現されることがある。撮影されるべき後の画像の所望の位置を示している第３の長方形もまた表示されることがある。このようにして、ユーザは、眺められている風景の部分が後の画像を撮影するための適切なビューに近づいている程度を連続的に知ることができる。このことは、カメラビューが後の所望のビューにどの程度接近しているかについてのフィードバックをユーザに与え、カメラを正確に向けるユーザの能力を改善することができる。
【００７４】
２つ以上の上記の代替案が相互に併せて使用されてもよい。このような方式では、ユーザのガイダンスがさらに改善されるであろう。
【００７５】
合成画像内に映像化されるべき風景全体がスイープされたとき、画像撮影過程が終了される（ステップ２６）。ユーザは、ボタンを押下することにより、または、カメラの動きを停止することにより過程を停止することがある。代替的に、この過程は、一つに繋ぎ合わされるべき所定の枚数の画像が撮影されたときに停止されることもある。
【００７６】
必要とされる全画像が撮影されたとき、画像は１枚の大きい合成画像を形成するために一つに繋ぎ合わされる（ステップ２８）。撮影された画像は照合しやすくするために処理されてもよい。たとえば、画像の円筒投影およびレンズ補正が実行されてもよい。そのとき、撮影され処理された画像は、それらの画像をまとめて適切にマッチングするために解析される。このことは、当業者によって認められるように、適当なマッチングアルゴリズムを使用して実行され得る。
【００７７】
代替的な実施形態によれば、画像が撮影されるべきであるという指示は一定の時間間隔でユーザに与えられることがある。このことは、前に記録された画像内に映像化されている風景の位置の追跡が行われないことを意味している。さらに、カメラが適切なビューの方へ向けられているかどうかについての解析が行われない。ユーザは、カメラがモーションブラー無しで画像を撮影することを可能にさせるために、一定の時間間隔でカメラの動きを停止させるために支援されるだけである。その後に、撮影された画像は合成画像へ一緒に繋ぎ合わされることがある。これらの画像の繋ぎ合わせは、画像の許容可能な重なり合いが存在するという制御が画像の撮影中に行われないので、より多くの計算を必要とするかもしれない。しかし、画像の撮影の規則的なタイミングは、繋ぎ合わせの優れた結果が達成され得る可能性を高める。
【００７８】
別の代替的な実施形態によれば、ユーザは画像が撮影されるべきときをさらに制御するであろう。プロセッサは、カメラの動きが停止されたときを検出するために構成されている。この非移動に応答して、画像が撮影されるであろう。このようにして、撮影された画像中にモーションブラーが存在しないであろう。カメラの動きを適切な位置で停止させることにより、ユーザはこれらの位置でカメラに画像を強制的に撮影させることができる。画像の撮影は、非移動の検出が行われるときに自動的に実行される。
【００７９】
非移動はビューファインダによって撮影された一時的な画像を互いに比較することにより検出されることがある。２枚の後に続く一時的な画像の間の差が存在しないか、または、差が不十分であるとき、このことは、カメラが移動されていないとして解釈できる。非移動の検出をより確実に行うために、３枚以上の後に続く一時的な画像の間の差が全く存在しないか、または、不十分な差しか存在しないことが要され得る。
【００８０】
さらに別の代替的な実施形態によれば、合成されるべき画像は、カメラの動きを全く生じさせることなく撮影されることがある。その代わりに、カメラは対象物が移動している風景の方へ向けられることがある。カメラは、このようにして、動きが発生している共通の背景を有するビューの数枚の画像を撮影することがある。これらの画像は、対象物の動きが共通の背景に関して明らかにされるように互いの上に合成されることがある。この場合、前に記録された画像と眺められている風景との間の差は、ステップ１６−１８を参照して上述された方法と同様の方法で追跡されることがある。差が所定のスレッショルドより大きいことが判定されるとき、新しい画像が撮影されてもよい。
【００８１】
今度は図２を参照して、上述の方法に従って合成画像を撮影するのに使用されることがあるカメラが説明される。携帯電話機カメラは素早くかつ簡単な方式で画像を獲得するため特に使用されるので、カメラ４０は携帯電話機に組み込むために特に適している。しかし、この方法はいかなる種類のデジタルカメラで実施されてもよい。カメラ４０は、カメラのビューが撮像されるビューファインダ４２を備える。ビューファインダ４２は、ディスプレイ４４の一部を形成し、カメラのビューのライブ画像を表示する。ディスプレイ４４は、合成画像を撮影する際にユーザをガイドするためさらに構成されている。ディスプレイ４４は、カメラが移動されるべき方法のアニメーションを表示することがあり、ディスプレイ４４は、前に記録された画像の略図をカメラの現在のビューにさらに表示し得る。
【００８２】
カメラ４０は、カメラの移動中にユーザをガイドするため駆動され、停止され得るバイブレータ４６をさらに備える。カメラ４０は、音響信号がユーザをガイドするため発信できるようにスピーカー４８をさらに備え得る。
【００８３】
カメラ４０はプロセッサユニット５０をさらに備える。プロセッサユニット５０は、前に記録された画像をカメラの現在のビューと比較し、カメラが後に続く画像を撮影するため適切なビューの方へ向けられているかどうかを決定する。プロセッサユニット５０は、画像をより大きい合成画像に繋ぎ合わせるために全ての撮影された画像をさらに処理する。撮影された画像は、画像撮影過程中に、かつ、画像が一つに繋ぎ合わされている間に、ＲＡＭメモリ５２に一時的に記憶されることがある。合成画像が作成されたとき、合成画像は永久メモリ５４に記憶されてもよい。
【００８４】
本書に記載されている好ましい実施形態は決して制限的でないこと、および、多数の代替的な実施形態が特許請求の範囲によって定められた保護の範囲内で可能であることが強調されるべきである。
【００８５】
たとえば、カメラが後に続く画像を撮影するため適切なビューの方へ向けられているかどうかという決定は、カメラの向きを検出するセンサを使用して実行されてもよい。このセンサは、たとえば、ジャイロスコープでもよく、または、コンパスでもよい。このセンサは、したがって、前の画像を撮影したときのカメラの向きについての情報を記憶する。向きの変化がスレッショルドを超えるとき、後の画像を撮影すべき時であるという指示が与えられることがある。
【図１】
2009544216.tif 000003
【図２】
2009544216.tif 000004
【手続補正書】
【提出日】平成20年11月4日(2008.11.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
前記第１の風景と前記デジタルカメラによって眺められており変化している第２の風景との間の関係を決定するステップと、
前記第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするために前記第２のデジタル画像において前記デジタルカメラによって撮影されるべき適切な画像を特定するために、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係を解析するステップと、
前記カメラが第２のデジタル画像を撮影するために適切なビューの方へ向けられていることをユーザに示すステップと、
を具備し、
前記指示ステップは、ユーザが感知できる信号を発信するステップを含む方法。
【請求項２】
ユーザが感知できる信号を発信する前記ステップは、前記カメラが画像を撮影するために適切なビューの方へ向けられているときに、前記信号を発信するステップを含む、請求項１に記載の方法。
【請求項３】
ユーザが感知できる信号を発信する前記ステップは、前記カメラが画像を撮影するために適切なビューの方へ向けられているときに、前記信号の発信を停止させるステップを含む、請求項１に記載の方法。
【請求項４】
ユーザが感知できる信号を発信する前記ステップは、バイブレータを駆動するステップをさらに備える、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
前記第１の風景と前記デジタルカメラによって眺められており変化している第２の風景との間の関係を決定するステップと、
前記第１のデジタル画像および第２のデジタル画像の繋ぎ合わせを実現しやすくするために前記第２のデジタル画像において前記デジタルカメラによって撮影されるべき適切なビューを特定するために、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係を解析するステップと、
前記カメラが第２のデジタル画像を撮影するために適切なビューの方へ向けられていることをユーザに示すステップと、
を具備し、
前記指示ステップは、音響信号を発信するステップと、前記カメラが画像を撮影するため適切なビューの方へ向けられているときに前記音響信号の発信を停止させるステップと、を含む方法。
【請求項６】
前記決定ステップは、前記デジタルカメラが前記デジタルカメラによって眺められている前記第２の風景を変化させるために移動されている間に、前記デジタルカメラによって眺められている前記第２の風景に関して前記第１の風景の位置を追跡するステップを含む、請求項５に記載の方法。
【請求項７】
前記第２の風景に関して前記第１の風景の位置を追跡する前記ステップは、画像を比較するステップを含む、請求項６に記載の方法。
【請求項８】
前記第２の風景に関して前記第１の風景の位置を追跡する前記ステップは、前記デジタルカメラの向きの変化を感知するステップを含む、請求項６に記載の方法。
【請求項９】
前記デジタルカメラの実際の動きと同期している前記デジタルカメラの所望の動きのアニメーションを表示するステップをさらに具備する、請求項６〜８のいずれか一項に記載の方法。
【請求項１０】
前記第２の風景の変化に関連した情報を前記ユーザへ通信するステップをさらに具備する、請求項５〜９のいずれか一項に記載の方法。
【請求項１１】
前記通信するステップは、前記第１の風景と前記デジタルカメラによって眺められている前記第２の風景との間の関係の略図を表示するステップを備える、請求項１０に記載の方法。
【請求項１２】
前記カメラが適切なビューの方へ向けられているときに、第２のデジタル画像を撮影するステップをさらに具備し、前記撮影ステップは、前記デジタルカメラによって自動的に実行される、請求項５〜１１のいずれか一項に記載の方法。
【請求項１３】
前記指示ステップは、前記画像の実際の撮影より先に画像が自動的に撮影されるという情報を前記ユーザへ通信するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記解析するステップは、適切なビューを特定するために隣接した画像の間の所定の所望の重なり合いを用いる、請求項５〜１３のいずれか一項に記載の方法。
【請求項１５】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
ユーザが前記デジタルカメラを前記第１の風景と部分的に重なり合う第２の風景に向けるために前記デジタルカメラを移動させることを可能にするステップと、
第２のデジタル画像が自動的に撮影されようとしていることをユーザに通知するステップと、
前記通知の後の所定の期間に第２のデジタル画像を自動的に撮影するステップと、
を具備する方法。
【請求項１６】
合成画像に繋ぎ合わされるべき少なくとも２枚のデジタル画像をデジタルカメラによって獲得する方法であって、
第１の風景が画像化されている第１のデジタル画像を撮影するステップと、
ユーザが前記デジタルカメラを第２の風景に向けるために前記デジタルカメラを移動させることを可能にするステップと、
前記デジタルカメラの停止された動きを検出するステップと、
停止された動きの検出に応答して第２のデジタル画像を自動的に撮影するステップと、
を具備する方法。
【国際調査報告】
2009544216.tif 000005
2009544216.tif 000006
2009544216.tif 000007
2009544216.tif 000008