(57)【要約】最適化手ぶれ補正用システムであって、イメージスタビライザーを備えるカメラユニットのフォーカスロックが検出され、この検出に応答して手ぶれ補正が中断される、システムが提供される。イメージスタビライザーの目標位置が決定され、イメージスタビライザーはその目標位置に駆動される。シャッター開放の検出に応答して、手ぶれ補正が継続される。【選択図】図４
2015518180.tif 000002
【特許請求の範囲】
【請求項１】
命令を含むメモリと、
プロセッサを備え、前記プロセッサは前記命令に基づいて：
手ぶれ補正機能を持つイメージスタビライザーを備えるカメラユニットのフォーカスロックを検出することと；
前記フォーカスロックの検出に応答して、手ぶれ補正を中断することと；
前記イメージスタビライザーの目標位置を決定することと；
前記イメージスタビライザーを前記目標位置に駆動することと；
露光中に前記手ぶれ補正を継続すること
を遂行するように構成される、装置。
【請求項２】
前記プロセッサは、前記命令に基づいて、シャッターの開放（ｒｅｌｅａｓｅ）を検出することと、前記シャッターの開放に応答して、前記手ぶれ補正を継続することを遂行するよう更に構成される、請求項１に記載の装置。
【請求項３】
前記イメージスタビライザーは、光学式、センサシフト式、ミラーシフト式、またはソフトウェア式のイメージスタビライザーである、請求項１または２に記載の装置。
【請求項４】
前記フォーカスロックの検出は、前記カメラユニットの光学系の焦点距離が固定されたことの検出を含む、請求項１から３の何れかに記載の装置。
【請求項５】
前記目標位置は、シャッター開放時に必要な補正移動を予測する位置である、請求項１から４の何れかに記載の装置。
【請求項６】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの向きを検出するよう更に構成される、請求項１から５の何れかに記載の装置。
【請求項７】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットのユーザを認識するよう更に構成される、請求項１から６の何れかに記載の装置。
【請求項８】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの構成を検出するよう更に構成される、請求項１から７の何れかに記載の装置。
【請求項９】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの動きを検出するよう更に構成される、請求項１から８の何れかに記載の装置。
【請求項１０】
前記プロセッサは、有効な条件に従って選択された少なくとも１つの予測パラメータを用いて、前記目標位置を決定するよう更に構成される、請求項１から９の何れかに記載の装置。
【請求項１１】
前記プロセッサは、ユーザ履歴を保持するよう更に構成される、請求項１から１０の何れかに記載の装置。
【請求項１２】
前記ユーザ履歴は、前記ユーザが前記カメラユニットを用いて撮影する際に前記ユーザによって生じる動きに関する情報を含む、請求項１１に記載の装置。
【請求項１３】
前記プロセッサは、前記ユー作履歴から前記少なくとも１つの予測パラメータを計算するよう更に構成される、請求項１１または１２に記載の装置。
【請求項１４】
前記プロセッサは、ユーザが希望する画像をフレームに収めるのに適切な時期をユーザに通知するよう更に構成される、請求項１から１３の何れかに記載の装置。
【請求項１５】
手ぶれ補正機能を持つイメージスタビライザーを備えるカメラユニットのフォーカスロックを検出することと；
前記フォーカスロックの検出に応答して、手ぶれ補正を中断することと；
前記イメージスタビライザーの目標位置を決定することと；
前記イメージスタビライザーを前記目標位置に駆動することと；
露光中に前記手ぶれ補正を継続すること
を含む、方法。
【請求項１６】
シャッターの開放（ｒｅｌｅａｓｅ）を検出することと、前記シャッターの開放に応答して、前記手ぶれ補正を継続することを更に含む、請求項１５に記載の方法。
【請求項１７】
前記手ぶれ補正は、光学式、センサシフト式、ミラーシフト式、またはソフトウェア式の手ぶれ補正である、請求項１５または１６に記載の方法。
【請求項１８】
前記フォーカスロックの検出は、前記カメラユニットの光学系の焦点距離が固定されたことの検出を含む、請求項１５から１７の何れかに記載の方法。
【請求項１９】
前記目標位置は、シャッター開放時に必要な補正移動を予測する位置である、請求項１５から１８の何れかに記載の方法。
【請求項２０】
前記目標位置の決定前に前記カメラユニットの向きを検出することを更に含む、請求項１５から１９の何れかに記載の方法。
【請求項２１】
前記目標位置の決定前に前記カメラユニットのユーザを認識することを更に含む、請求項１５から２０の何れかに記載の方法。
【請求項２２】
前記目標位置の決定前に前記カメラユニットの構成を検出することを更に含む、請求項１５から２１の何れかに記載の方法。
【請求項２３】
前記目標位置の決定前に前記カメラユニットの動きを検出することを更に含む、請求項１５から２２の何れかに記載の方法。
【請求項２４】
前記目標位置は、有効な条件に従って選択された少なくとも１つの予測パラメータを用いて決定される、請求項１５から２３の何れかに記載の方法。
【請求項２５】
ユーザ履歴を保持することを更に含む、請求項１５から２４の何れかに記載の方法。
【請求項２６】
前記ユーザ履歴は、前記ユーザが前記カメラユニットを用いて撮影する際に前記ユーザによって生じる動きに関する情報を含む、請求項２５に記載の方法。
【請求項２７】
前記少なくとも１つの予測パラメータは、前記ユーザ履歴から計算される、請求項２５または２６に記載の方法。
【請求項２８】
ユーザが希望する画像をフレームに収めるのに適切な時期をユーザに通知することを更に含む、請求項１５から２７の何れかに記載の方法。
【請求項２９】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、請求項１５から２８の何れかに記載の方法を遂行するコードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は一般に手ぶれ補正に関する。
【背景】
【０００２】
カメラでは通常、手ぶれによる画像のぶれが手ぶれ補正を用いて軽減される。これは、カメラが僅かに揺り動かされたとしても、画像の各部がカメラに向かう所定の狭ビームに対応するように結像しようとするものである。機械式手ぶれ補正では、カメラの光学ユニットを適切に動かして手ぶれ補正画像が得られる。デジタル画像の場合、これとは別に、または加えて、イメージセンサを動かして手ぶれ補正画像を得る。
【０００３】
現在のカメラは通常、レンズ鏡筒内での１枚以上のレンズのティルト（ｔｉｌｔ）により光学式手ぶれ補正を実装している。一眼レフ（ＳＬＲ）カメラの典型的なカメラレンズは、軽く１０枚以上のレンズを備える。こうしたレンズの１枚以上を僅かにティルトすることは、カメラ画像を大きく歪めずに露光指数で３から４だけレンズ絞りを絞ることと等価であって、これにより、手ぶれを打ち消すことができる。
【摘要】
【０００４】
本発明の種々の例示的態様は特許請求の範囲に提示されている。
【０００５】
本発明の第１の態様によれば、次の装置が提供される。この装置は、
命令を含むメモリと、
プロセッサを備え、前記プロセッサは前記命令に基づいて：
手ぶれ補正機能を持つイメージスタビライザーを備えるカメラユニットのフォーカスロックを検出することと；
前記フォーカスロックの検出に応答して、手ぶれ補正を中断することと；
前記イメージスタビライザーの目標位置を決定することと；
前記イメージスタビライザーを前記目標位置に駆動することと；
シャッターの開放（ｒｅｌｅａｓｅ）を検出することと；
前記シャッターの開放に応答して、前記手ぶれ補正を継続すること
を遂行するように構成される。
【０００６】
イメージスタビライザーを目標位置に駆動した後、ユーザは、イメージスタビライザーが目標位置に駆動されるようにユーザが希望する画像をフレームに収めることができる。
【０００７】
前記イメージスタビライザーは、光学式、センサシフト式、ミラーシフト式、またはソフトウェア式の何れか１つ以上のイメージスタビライザーを含んでもよい。
【０００８】
前記フォーカスロックの検出は、前記カメラユニットの光学系の焦点距離が固定されたことの検出を含んでもよい。
【０００９】
前記目標位置は、シャッター開放時に必要な補正移動を予測する位置でもよい。
【００１０】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの向きを検出するよう更に構成されてもよい。
【００１１】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットのユーザを認識するよう更に構成されてもよい。
【００１２】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの構成を検出するよう更に構成されてもよい。
【００１３】
前記プロセッサは、前記目標位置の決定前に前記カメラユニットの動きを検出するよう更に構成されてもよい。
【００１４】
前記プロセッサは、有効な条件に従って選択された少なくとも１つの予測パラメータを用いて、前記目標位置を決定するよう更に構成されてもよい。
【００１５】
前記装置は、ユーザ履歴を保持するよう更に構成されてもよい。
【００１６】
前記ユーザ履歴は、前記ユーザが前記カメラユニットを用いて撮影する際に前記ユーザによって生じる動きに関する情報を含んでもよい。
【００１７】
前記プロセッサは、前記ユー作履歴から前記少なくとも１つの予測パラメータを計算するよう更に構成されてもよい。
【００１８】
前記装置は、ユーザが希望する画像をフレームに収めるのに適切な時期をユーザに通知するよう更に構成されてもよい。
【００１９】
本発明の第２の態様によれば、次の方法が提供される。この方法は、
手ぶれ補正機能を持つイメージスタビライザーを備えるカメラユニットのフォーカスロックを検出することと；
前記フォーカスロックの検出に応答して、手ぶれ補正を中断することと；
前記イメージスタビライザーの目標位置を決定することと；
前記イメージスタビライザーを前記目標位置に駆動することと；
前記カメラユニットのシャッターの開放（ｒｅｌｅａｓｅ）を検出することと；
前記シャッターの開放に応答して、前記手ぶれ補正を継続すること
を含む、方法。
【００２０】
前記手ぶれ補正は、光学式、センサシフト式、ミラーシフト式、またはソフトウェア式の何れか１つ以上の手ぶれ補正を含んでもよい。
【００２１】
前記フォーカスロックの検出は、前記カメラユニットの光学系の焦点距離が固定されたことの検出を含んでもよい。
【００２２】
前記目標位置は、シャッター開放時に必要な補正移動を予測する位置でもよい。
【００２３】
前記方法は、前記目標位置の決定前に前記カメラユニットの向きを検出することを更に含んでもよい。
【００２４】
前記方法は、前記目標位置の決定前に前記カメラユニットのユーザを認識することを更に含んでもよい。
【００２５】
前記方法は、前記目標位置の決定前に前記カメラユニットの構成を検出することを更に含んでもよい。
【００２６】
前記方法は、前記目標位置の決定前に前記カメラユニットの動きを検出することを更に含んでもよい。
【００２７】
前記目標位置は、有効な条件に従って選択された少なくとも１つの予測パラメータを用いて決定されてもよい。
【００２８】
前記方法は、ユーザ履歴を保持することを更に含んでもよい。
【００２９】
前記ユーザ履歴は、前記ユーザが前記カメラユニットを用いて撮影する際に前記ユーザによって生じる動きに関する情報を含んでもよい。
【００３０】
前記少なくとも１つの予測パラメータは、前記ユーザ履歴から計算されてもよい。
【００３１】
前記方法は、ユーザが希望する画像をフレームに収めるのに適切な時期をユーザに通知することを更に含んでもよい。
【００３２】
本発明の第３の態様によれば、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、本発明の例示的態様の方法を遂行するコードを含む、コンピュータプログラムが提供される。
【００３３】
本発明の第４の態様によれば、本発明の第３の態様のコンピュータプログラムを含む記憶媒体が提供される。
【００３４】
本発明の非限定的な例示的態様および例示的実施形態を幾つか示してきたが、これらの例示的実施形態は、本発明の実施において利用されうる態様やステップを選択して説明したものに過ぎない。例示的実施形態によっては、本発明における特定の例示的態様を参照してのみ示されることもある。そのため、対応する例示的実施形態が他の例示的態様にも適用可能であることを理解すべきである。
【図面の簡単な説明】
【００３５】
本発明の例示的実施形態をより詳細に理解するために、次の添付図面と合わせて以下の説明を参照されたい。
【００３６】
【図１】複数の例示的実施形態を説明するために参照として使用される模式的なシステムを示す。
【００３７】
【図２】ある例示的実施形態の装置のブロック図を示す。
【００３８】
【図３】ある例示的実施形態のカメラユニットのブロック図を示す。
【００３９】
【図４】ある例示的実施形態の方法のフローチャートを示す。
【００４０】
【図５】図５ａ〜５ｃを含み、ある例示的実施形態のシステムの動作に関する概略的かつ拡大された実施例を示す。
【図６】図６ａ及び６ｂを含み、ある例示的実施形態のシステムの動作に関する概略的かつ拡大された実施例を示す。
【詳細説明】
【００４１】
図１は、複数の例示的実施形態を説明するために参照として使用される模式的なシステム１００を示す。このシステム１００には、視野１３０を撮像できるカメラユニット１２０を備えるデバイス１１０が含まれる。こうしたデバイスは例えば、カメラ付き携帯電話やゲーム機器、携帯情報端末、タブレットコンピュータ、カメラ等である。デバイス１１０はディスプレイ１４０も備える。図１は、カメラユニット１２０により撮像される被写体１５０も示している。
【００４２】
図２は、ある例示的実施形態の装置２００のブロック図を示す。この装置２００は、デバイス１１０として動作するのに適している。装置２００は、通信インタフェースモジュール２２０と、通信インタフェースモジュール２２０に接続されるホストプロセッサ２１０、ホストプロセッサ２１０に接続されるメモリ２４０を備える。
【００４３】
メモリ２４０は、作業メモリと不揮発性メモリを含む。不揮発性メモリは、読出し専用メモリやフラッシュメモリ、光学メモリ、磁気メモリ等である。メモリ２４０、典型的には、少なくとも最初の不揮発性メモリにはソフトウェア２５０が格納されている。ソフトウェア２５０はプロセッサ２１０によりロードされ、実行される。ソフトウェア２５０は１つ以上のソフトウェアモジュールを含んでもよく、記憶媒体に格納されたソフトウェアであるコンピュータプログラム製品の形態をとることもできる。装置２００は更に、カメラユニット２６０とビューファインダー２７０を備え、これらはそれぞれホストプロセッサ２１０に接続されている。カメラユニット２６０とプロセッサ２１０はカメラインタフェース２８０を介して接続している。
【００４４】
ホストプロセッサという用語は装置２００のプロセッサを表わし、カメラユニット２６０内の１つ以上のプロセッサとは区別される。これらは図３でカメラプロセッサ３３０（複数の場合もある）として表わされる。実装に応じて様々な例示的実施形態があるが、画像情報の処理とカメラユニット２６０の制御は例示的実施形態の間で共有である。ただし、こうした処理や制御は、カメラユニットとカメラユニット外の１つ以上のプロセッサとの間で異なっている。またこうした処理は、ある例示的実施形態ではオンザフライで行われ、別の例示的実施形態ではバッファを使用して行われる。さらに、所定量の画像または画像情報がオンザフライで処理され、その後、別の例示的実施形態のようなバッファ処理モードが使用されるという形態も可能である。
【００４５】
本願における接続とは、機能的または動作可能な接続を意味するものと理解すべきである。したがって、明記されていない限り、接続される要素間に介在する部品や回路が存在することもある。
【００４６】
通信インタフェースモジュール２２０は、１つ以上のローカルリンクを通じてローカル通信を行えるように構成される。こうしたリンクは有線および／または無線リンクでもよい。あるいは、または加えて、通信インタフェースモジュール２２０は、他のユーザとのリンクを確立したり、インターネット等でデータを転送したりするのに適した遠隔通信リンクを実装してもよい。このような遠隔通信リンクは、無線ローカルエリアネットワークリンクやブルートゥース、超広域通信リンク、携帯通信リンク、衛星通信リンクの何れかを用いるリンクでもよい。通信インタフェース２２０は装置２００自身に統合されていたり、装置２００の適切なスロットやポートに挿入されるアダプタやカードのようなものに統合されていたりしてもよい。図２では通信インタフェース２２０は１つしか描かれていないが、装置は、複数の通信インタフェース２２０を備えてもよい。
【００４７】
ホストプロセッサ２１０は例えば、中央処理ユニット（ＣＰＵ）やマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、グラフィックスプロセッシングユニット、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ、マイクロコントローラでもよく、こうした要素を組合せたものでもよい。図２において、ホストプロセッサ２１０は１つしか描かれていないが、装置２００は、複数のホストプロセッサを備えてもよい。
【００４８】
前述のように、メモリ２４０は揮発性メモリおよび不揮発性メモリを含んでよく、例えば、読み取り専用メモリ（ＲＯＭ）やプログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去・プログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、データディスク、光学記憶装置、磁気記憶装置、スマートカード等であってもよい。例示的実施形態によっては、装置２００に揮発性メモリのみまたは不揮発性メモリのみしか存在しない場合もある。また例示的実施形態によっては、装置は複数のメモリを備える。例示的実施形態によっては、様々な要素が統合されることもある。例えば、メモリ２４０が装置２００の一部として構成されてもよいし、装置のスロットやポート等に挿入されるものであってもよい。また更に、メモリ２４０がデータの格納という単一の目的のために使用されてもよいし、データ処理等様々な目的のために働く装置の一部として構成されてもよい。同様の選択事項は他の様々な要素の関しても考えられる。
【００４９】
当業者には明らかなことであろうが、装置２００は、図２に描かれた要素以外にも様々な要素を備えることができる。例えばマイクロフォンやディスプレイ、入出力（Ｉ／Ｏ）回路のような追加回路、メモリチップ、特定用途向け集積回路（ＡＳＩＣ）、特定目的のための処理回路等を備えることができる。また、そのような処理回路には、ソースの符号化／復号用回路、チャネル符号化／復号用回路、暗号化／平文化回路等が含まれてもよい。さらに装置２００は、外部からの電源供給が不可能な場合に電力供給するための、使い切り式や充電式のバッテリーを備えていてもよい（図示されていない）。
【００５０】
本願において、装置という用語が様々な観点で使用されていると理解することも有用である。広範は特許請求の範囲および実施例の中には、装置が図２に示された特徴の部分要素しか表わしていないこともある。あるいは、図２に示された特徴を１つも用いずに実装されることもある。ある例示的実施形態では、装置という用語がプロセッサ２１０を表わすこともある。この場合、プロセッサ２１０の入力はカメラユニットからの情報を受取るように構成され、プロセッサ２１０の出力はビューファインダーに情報を提供するように構成される。またある例示的実施形態では、装置は、第１の入力を介してイメージセンサから画像情報を受取り、サブ画像を画像プロセッサの第２の入力に与えるデバイスを表わしてもよい。ここで、画像プロセッサは生成されたサブ画像を使用する任意の回路でもよい。例えば、画像プロセッサはプロセッサを備え、問題のデバイスは図３に示されるカメラプロセッサ３３０とカメラインタフェース２８０を備えてもよい。
【００５１】
図３は、例示的実施形態のカメラユニット２６０のブロック図を示す。カメラユニット２６０は、カメラレンズ３１０とイメージスタビライザー３１５、イメージセンサ３２０、カメラプロセッサ３３０、メモリ３４０等の光学要素を備える。メモリはデータ３４４とソフトウェア３４２を含み、このメモリと共にカメラプロセッサ３３０はカメラユニット２６０の動作を管理できる。カメラプロセッサ３３０は、例示的実施形態の画像処理回路として動作する。カメラインタフェース２８０の入出力も、カメラユニット２６０とホストプロセッサ２１０との間で情報交換できるように提供される。さらなる例示的実施形態では、イメージスタビライザーインタフェース３５０の入出力が更に、イメージスタビライザー３１５と外部制御ユニット（図示せず）との間で情報交換できるように提供される。またある例示的実施形態では、カメラユニットがイメージセンサ３２０の代わりに感光フィルム媒体を備えてもよい。
【００５２】
例示的実施形態では、メモリ３４０に格納されたデータ３４４は、手ぶれ補正を最適化するための予測パラメータを含んでもよい。さらなる例示的実施形態では、予測パラメータがメモリ３４０に格納されたユーザプロファイルデータに割当てられてもよい。またさらなる例示的実施形態では、予測パラメータとユーザプロファイルデータはメモリ２４０やメモリ３４０、または両方のメモリ２４０，３４０に格納されてもよい。両方のメモリには、完全な予測パラメータおよびユーザプロファイルデータが含まれるか、あるいは予測パラメータおよびユーザプロファイルデータの一部が含まれる。さらなる例示的実施形態では、追加メモリが、例えばイメージスタビライザー３１５に接続していて、予測パラメータおよび／またはユーザプロファイルデータを格納するのに使用されてもよい。
【００５３】
イメージセンサ３２０は例えば、電荷結合素子（ＣＣＤ）や相補性金属酸化膜半導体（ＣＭＯＳ）ユニットである。ＣＭＯＳユニットの場合、イメージセンサ３２０は、それと共通のシリコンチップに実装された内蔵型アナログ−デジタル変換を備えることもできる。別の例示的実施形態では、イメージセンサ３２０とカメラプロセッサ３３０との間に別個のアナログ−デジタル変換（Ａ／Ｄ）が備えられてもよい。例示的実施形態において、カメラプロセッサ３３０は例えば、次の機能の１つ以上を処理できる：ピクセル色補間；ホワイトバランス補正；エッジ強調；画像のアンチエイリアス；ヴィネッティング補正；高ダイナミックレンジ画像のための後続画像結合；ベイヤー再構成フィルタリング；色収差補正；ダスト効果補償。
【００５４】
例示的実施形態では、装置２００はユーザインタフェース（Ｕ／Ｉ）２３０を更に備える。ユーザインタフェースは、ユーザが装置２００とカメラユニット２６０を操作するための１つ以上の要素を備える。こうした要素は例えば、シャッターボタンやメニューボタン、タッチスクリーン等を含む。シャッターボタンとメニューボタンはハードウェアボタンでもよく、あるいは、タッチスクリーンに表示されるボタン等でもよい。イメージスタビライザー３１５は、必要に応じた高速の動きによって、カメラレンズ３１０がイメージセンサ３２０に投影する画像を安定化させるように構成される。イメージスタビライザー３１５は、カメラユニット２６０または装置２００全体の振動を相殺するようイメージセンサ３２０までの光学経路を変化させるために、装置２００の一部または複数部分を動かすように構成される。こうした振動は通常手ぶれによって起こされる。つまり、装置２００を操作するユーザが装置２００を操作することで振動が起きる。ある例示的実施形態では、イメージスタビライザー３１５は、１枚または複数枚のレンズを動かすように構成された光学式イメージスタビライザーである。あるいは、イメージスタビライザー３１５がイメージセンサ３２０やミラーを動かすように構成されてもよい。さらなる例示的実施形態では、イメージスタビライザーは手ぶれ補正方法のソフトウェアと合わせて実装されてもよい。例示的実施形態によっては、複数の異なる手ぶれ補正技術を用いたり、前述の手ぶれ補正技術を複数組合せたりすることもできる。
【００５５】
イメージスタビライザー３１５は、ジャイロスコープ３１９検出器と加速度センサ３１７に接続されていてもよい。加速度センサ３１７は複数方向、例えば互いに直交する３方向の加速度を検出する。こうして、任意方向の加速度を測定することができる。ジャイロスコープは装置２００の向きを検出する。加速度センサ３１７とジャイロスコープ３１９で検出された加速度と向きは、イメージスタビライザー３１５に直接伝送されてもよく、例えばカメラプロセッサ３３０を通じて間接的に伝送されてもよい。
【００５６】
ある例示的実施形態では、装置２００のユーザはユーザプロファイルを持ってもよい。ユーザプロファイルには、装置を使用する際、カメラユニット２６０のデフォルト設定といった装置を構成する個人の好みが含まれている。ある例示的実施形態では、ホストプロセッサ２１０、カメラプロセッサ３３０および／またはイメージスタビライザー３１５は、ユーザが装置２００のカメラユニット３００を操作する度に、データを収集してメモリ２４０，３４０に格納するように構成されてもよい。例示的実施形態によっては、収集および格納されたデータ、すなわちユーザ履歴は、シャッターボタンが押されたときに測定された装置の加速度と向き、すなわち撮影中にユーザの手ぶれによって生じた振動を含む。また、収集および格納されたデータは、ホワイトバランスや焦点距離、露光時間等の各撮像操作に関する撮像パラメータを含んでもよい。さらなる例示的実施形態では、例えば装置が単独ユーザ用である場合、ユーザプロファイルが格納されなくてもよい。あるいは、または加えて、イメージスタビライザーが遂行するものと記述された動作は、別の実施形態では、ホストプロセッサ２１０、カメラプロセッサ３３０および／またはイメージスタビライザー３１５等の他の異なる装置で遂行されてもよい。
【００５７】
ある例示的実施形態では、装置２００のユーザは装置を２００の使用前にユーザプロファイルを選択してもよい。またある例示的実施形態では、装置２００はユーザを認識し、対応するユーザプロファイルを自動的に選択するように構成されてもよい。またある例示的実施形態では、ユーザ認識は音声解析および／または指紋認証に基づいてもよく、および／または手ぶれプロファイル等の事前に収集された撮像操作データに基づいてもよい。
【００５８】
ある例示的実施形態では、イメージスタビライザー３１５は、手ぶれ補正を最適化するための予測パラメータを取得するように構成されてもよい。予測パラメータは例えば、収集データから取得されてもよい。またある例示的実施形態では、予測パラメータが格納され、ユーザプロファイルが格納されていたら、特定のユーザプロファイルに割当てられてもよい。予測パラメータは例えば、統計解析手法を用いて取得されてもよい。１つまたは複数の予測パラメータは、装置２００のそれぞれの向きや光の状態等に対して、異なる撮像状態に割当てられてもよい。イメージスタビライザー３１５は更に、各撮像動作後に予測パラメータを更新するように構成されてもよい。ある例示的実施形態では、各ユーザプロファイルは更に、別の異なる予測パラメータに割当てられてもよい。こうした別の予測パラメータは収集データから取出され、対応するユーザプロファイルを用いて実行された撮像動作から格納される。
【００５９】
またある例示的実施形態では、イメージスタビライザー３１５は、撮影環境および／またはユーザに対応する予測パラメータに基づいて、例えば１枚または複数枚のカメラレンズ３１０に関する目標位置と、現在位置から目標位置に動かすのに必要な移動量を決定するように構成されてもよい。目標位置とは、イメージスタビライザーが露光中、予測パラメータに基づいて必要だと予測された動きを遂行できるようにするものである。ある例示的実施形態では、目標位置の決定は目標位置を計算することで行われてもよい。
【００６０】
図４は、手ぶれ補正を最適化する例示的実施形態のフローチャートを示す。カメラユニット３００はオートフォーカスでピントを合わせているため、イメージスタビライザー３１５は通常モードで動作している（４１０）。そしてイメージスタビライザー３１５は、必要に応じた高速の動きによって、カメラレンズ３１０がイメージセンサ３２０に投影する画像を安定化させようとする。例えば、被写体にピントを合わせて固定しようとユーザがシャッターボタンを半押しし、カメラユニットがフォーカスロックを実行したとき（４１５）、手ぶれ補正の補償シフトが使用されるか否かが決定される（４２０）。使用されない場合、手ぶれ補正は通常モードで動作し続け、シャッターを開放（ｒｅｌｅａｓｅ）して（４８０）、露光する（４７５）。ある例示的実施形態では、フォーカスロックが行われたとき、カメラレンズ３１０の焦点距離も事実上固定される。またある例示的実施形態では、カメラユニット３００がオートフォーカスおよびフォーカスロック用に構成されていないが、２段階シャッターボタンを備えていてもよい。ここで、シャッターボタンの第１段階はユーザがシャッターを切りたいことを示し、第２段階でシャッターを開放する。このような場合、例示的実施形態に従う最適化手ぶれ補正を参照すれば、ユーザがシャッターを切りたいという意思表示がフォーカスロックに対応する。
【００６１】
イメージスタビライザー３１５の補償シフトが使用される場合、手ぶれ補正の通常動作が中断される（４２５）。予測パラメータに基づいて、カメラレンズの目標位置と、手ぶれ補正動作が中断されたときのカメラレンズの位置から目標位置に到達するために必要なシフトが決定される（４３５）。使用される予測パラメータは、各撮影状況、すなわち有効な条件に従って選択される。ユーザプロファイルが選択されている場合、ユーザ履歴に従って予測パラメータも選択される。ある例示的実施形態では、目標位置は各予測パラメータにより要求される目標位置の組合せである。例えば、装置の向きによって特定のシフトが要求されてもよく、ユーザによって追加シフトが要求されてもよい。目標位置とシフトの決定後、イメージスタビライザー３１５はカメラレンズを目標位置に駆動する（４４０）。これにより、イメージセンサ３２０によって形成される画像もシフトするが、ユーザは好みの画像を収めることによりこのシフトを相殺できる。また、ピントは通常画像の中央で合わせられるため、ユーザは何れにせよ、この段階でフレームの最終調整を行わなくてはならない。ある例示的実施形態では、目標位置が取得され、ユーザが望む方法で画像をフレームに収めなくてはならないことを、視覚的または聴覚的通知等でユーザに知らせてもよい。次に、例えばユーザがシャッターボタンを完全に押下することで、機械式か否かに関係なくカメラユニットのシャッターが開放される（４４５）。シャッターが開放された後、目標位置で通常の手ぶれ補正動作が継続される（４５５）。これにより、イメージスタビライザー３１５は、露光中（４６０）に予測される外乱に応じた高速の動きによって、カメラレンズ３１０がイメージセンサ３２０に投影する画像を安定化することができる。    
【００６２】
次に、最適化手ぶれ補正に関する所定の例示的実施形態に関連する使用事例を示す。図５ａから６ｂは、ある例示的実施形態に従う最適化手ぶれ補正の第１の使用事例を示す。カメラ付き携帯電話等の装置１１０のユーザは、視野１３０にある被写体１５０を撮影したいとする。装置１１０のカメラユニット１２０はイメージスタビライザー３１５を備える。第１の使用事例では、装置１１０はランドスケープモードであり、従来のカメラの方式でシャッターボタンは装置の上面にあるハードウェアボタンである。図５ｂは、カメラユニットのカメラレンズ位置の拡大ビューを示す。イメージスタビライザーは手ぶれ等で生じる振動を相殺するために移動することができる（５２０）。カメラユニットの光学経路位置またはカメラレンズの中心位置（５１０）が示され、ここではイメージスタビライザーの位置を表わす。左側は例示的実施形態に従う最適化手ぶれ補正がオフになっていた場合であり、右側は例示的実施形態に従う最適化手ぶれ補正がオンになっていた場合である。どちらもピントが合っている間は、違いはない。どちらの場合も、手ぶれ補正は、手ぶれによって生じた画像の動きを抑制しようとする。これらは例えば、ディスプレイ１４０が表示するビューファインダー２７０の視野として示されている。
【００６３】
図５ｃは、ピントが固定されたときのイメージスタビライザーの位置の拡大ビューを示す。左側は手ぶれ補正の最適化が無効になっている。そのため、イメージスタビライザーは補償移動（５３０）を続け、イメージスタビライザーの位置５１５はスタビライザー領域５０１の端部になる。右側は手ぶれ補正の最適化が有効になっている。そのため、イメージスタビライザーの通常動作は中断され、イメージスタビライザーは、目標位置５５０と目標位置に到達するために必要なシフト５４０を決定する。これは前述のように、例えば予測パラメータに基づいて行われる。説明された使用事例で目標位置がスタビライザー領域５０１の下部にあるのは、シャッターボタンを押すときの手ぶれが予想されるからである。これは例えば、装置の過去の使用データの統計解析に基づいて、図６ａに示す下方ティルトを行うものでもよい。
【００６４】
図６ｂは、シャッターボタンが押され、シャッターが開放して露光を開始する状況を示す。左側は手ぶれ補正の最適化が無効になっている。そのため、イメージスタビライザー３１５は、シャッターボタンを押すことで生じた下方への傾きを補正しようとするが、イメージスタビライザーの位置５１５が既にスタビライザー領域５０１の端部にあるため、その位置から必要な移動６２０を行うことができない。右側は手ぶれ補正の最適化が有効になっていて、イメージスタビライザー３１５は目標位置５５０からの移動６２０の補正を行う。その結果、手ぶれ補正は十分大きな移動の自由度を持ち、生じた傾き全てを相殺できて、手ぶれの発生を抑制できる。
【００６５】
第２の使用事例では、シャッターボタンがカメラ付き携帯電話等の装置のタッチスクリーンに備えられる。シャッターボタンはポートレートモードで装置の下部に備えられるとする。スクリーンをタッチすることでシャッターボタンを押すと、上方への傾きが生じやすく、イメージスタビライザー３１５で補正する必要がある。その結果、第２の使用事例におきて露光開始時での目標位置は、スタビライザー領域５０１の上部にある。
【００６６】
第３の使用事例では、露光時の目標開始位置がカメラの向きに基づいて決定されるだけでなく、ユーザプロファイルの予測パラメータからも決定される。この第３の使用事例では、カメラのユーザは小さな子どもで、実際に大人よりも大きな手ぶれが想定される。装置は、選択されたユーザプロファイルや、例えばユーザの手の大きさが小さいことを認識することの何れかによって、そのユーザが子どもであることを認識する。手の大きさは例えば、装置に１つ以上のタッチセンサ面を形成することで検出できる。子ども用予測パラメータは、必要な予測補償移動をより大きくする。その結果、露光開始時におけるイメージスタビライザーの目標位置は大人のユーザのときとは異なる。
【００６７】
第４の使用事例では、露光時におけるイメージスタビライザーの目標位置は、ユーザ履歴に基づいて、すなわちユーザプロファイルに格納された予測パラメータから選択される。ユーザ認識は例えば、次の１つ以上に基づいて行われてもよい：これまでに選択されたユーザプロファイル；ユーザ固有の声や指紋、手ぶれ等の認識；日時。ユーザプロファイルは、ユーザが行った前の撮像操作、すなわちユーザ履歴から計算された予測パラメータを含む。予測パラメータは、例えば新規操作の度毎に更新されてもよい。その結果、露光時におけるイメージスタビライザーの目標位置が状況毎に選択される。例えば、ポートレートモードで光が少ない状況では、ユーザは特定の方法で装置を傾け易いことが知られている。
【００６８】
第５の使用事例では、イメージスタビライザー３１５はジャイロスコープ３１９や加速度センサ３１７からカメラの向きと動きに関する情報を受取る。その結果、露光時におけるイメージスタビライザーの目標位置は、ユーザがパンする動きを行ったり、あるいは乗り物に乗って移動していたりという状況に関する予測パラメータから決定される。また更なる使用事例では、イメージスタビライザー３１５は他のセンサから測定データを受取ってもよい。例えば、室外で使用される場合、カメラ付き携帯電話のマイクロフォンが風の状況を検出するために使用されてもよく、および／または、ボートの揺れ等を相殺するために、ユーザが海洋上を浮動している状況を定める衛星測位システムが使用されてもよい。
【００６９】
本願で開示される１つ以上の例示的実施形態における技術的効果は、状況に依存しない最適な画像品質を達成することである。ただしこのことは、以降に記載する特許請求の範囲や解釈、適用を如何様にも限定するものではない。本願で開示される１つ以上の例示的実施形態における別の技術的効果は、ユーザ毎に個別の補正を行い、ユーザ体験を向上させることである。本願で開示される１つ以上の例示的実施形態におけるまた別の技術的効果は、複雑なハードウェアを適応せずに手ぶれ補正を向上することである。  
【００７０】
必要に応じて、本出願で開示した様々な機能が異なる順序で、および／または同時に実行されてもよい。さらに必要に応じて、前述の機能の１つ以上が任意選択できたり、統合されたりしてもよい。    
【００７１】
本発明の様々な態様が独立請求項に記載されているが、前述の実施形態からの特定事項の他の組合せ、および／または独立請求項の特定事項を備える従属請求項を、請求項に明記された単なる組合せとは別に、本発明の他の態様が備えてもよい。
【００７２】
前述の通り、本発明の例示的実施形態が説明されてきたが、これらの記述を限定的な意味で見るべきでないことにも留意されたい。それよりも、添付の特許請求の範囲に定義される発明の範囲を逸脱することなしに、様々な変化や修正が存在する。
【図１】
2015518180.tif 000003
【図２】
2015518180.tif 000004
【図３】
2015518180.tif 000005
【図４】
2015518180.tif 000006
【図５】
2015518180.tif 000007
【図６】
2015518180.tif 000008
【国際調査報告】
2015518180.tif 000009
2015518180.tif 000010
2015518180.tif 000011
2015518180.tif 000012