(57)【特許請求の範囲】
【請求項１】
撮像素子により第１の画像を撮像する撮像手段と、
加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段と、
前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出する算出手段と、
前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更する制限手段と、
前記制限手段による変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させる領域修正手段と、
前記第１の画像における、前記領域修正手段により縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す読み出し手段と
を備える画像処理装置。
【請求項２】
前記制限手段は、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を変更後の第１の補正量とする
請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第１の領域を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出し、
前記読み出し手段は、前記縮小された前記第１の領域を、前記変更後の前記第１の補正量と、前記歪み補正量とに基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す
請求項１に記載の画像処理装置。
【請求項４】
前記制限手段は、前記第１の領域を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記ラインの歪み補正量を前記値に変更する
請求項３に記載の画像処理装置。
【請求項５】
撮像素子により第１の画像を撮像し、
加えられた振動を検出し、その振動の大きさを示す振動量を出力し、
前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出し、
前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更し、
変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させ、
前記第１の画像における、縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す
ステップを含む画像処理方法。
【請求項６】
撮像素子により第１の画像を撮像する撮像ステップと、
加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出ステップと、
前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出する算出ステップと、
前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更する制限ステップと、
変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させる領域修正ステップと、
前記第１の画像における、縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す読み出しステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、動画像の撮影中に静止画像を撮像する場合に用いて好適な画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
携帯可能なデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置が、一般的に使用されるようになってきている。このような撮像装置においては、例えば、CCD（Charge Coupled Device）センサに代表される電荷転送型の固体撮像素子や、CMOS（Complementary Metal Oxide Semiconductor）センサに代表されるＸ‐Ｙアドレス型の固体撮像素子が撮像素子として用いられている。
【０００３】
撮像装置には、動画像の撮影中に手振れなどの振動が加えられたときに、その振動による影響を打ち消す機能（手振れを補正する機能）を有しているものもあり、その方法としては、加えられた振動の分だけレンズを移動させる方法と、撮像素子の有効画素領域上において、動画像のフィールドを構成する静止画像のデータを読み出す領域を、加えられた振動の分だけシフト（移動）させて、電子的に手振れを補正する方法（例えば、特許文献１参照）とがある。
【０００４】
レンズを移動させて振動による影響を打ち消す方法では、撮像装置には、レンズを移動させるためのアクチュエータが設けられているため、その分だけ撮像装置の大きさが大きくなり、消費電力も大きくなってしまう。そのため、振動による影響を打ち消す機能（手振れを補正する機能）を有する撮像装置においては、電子的に手振れを補正する構成とされる場合が多い。
【０００５】
また、近年では、動画像の撮影中に静止画像も撮像したいという要求も高まってきている。動画像を撮影すると同時に、静止画像を撮像する場合、図１に示すように、撮像素子の有効画素領域１１上において、動画像のフィールドを構成する静止画像のデータ（画像データ）を読み出す領域１２（以下、動画像領域とも称する）よりも、動画像の撮影中に撮像される静止画像のデータ（画像データ）を読み出す領域１３（以下、静止画像領域とも称する）の方が大きい領域とされることがある。
【０００６】
図１に示すように、動画像領域１２を有効画素領域１１よりもある程度小さい領域とすると、有効画素領域１１上において、手振れによる影響を補正するための余剰な領域を十分に設けることができる。また、動画像領域１２をある程度小さい領域として、各フィールドを構成する静止画像の画素数を少なくすることで、各フィールドの画像データのデータ量を小さくすることができるので、動画像の撮影時における処理時間を短くすることができる。これに対して、静止画像領域１３を有効画素領域１１よりもわずかに小さい領域とすると、静止画像の撮像時に、より画角が広い高解像度の静止画像を撮像することができる。
【０００７】
撮影される動画像を電子的に補正する場合、図２の左側に示されるように、有効画素領域１１における被写体の位置が、加えられた振動によって図中、有効画素領域１１の中央から時間の経過とともに右下に移動すると、撮像装置は加えられた振動を検出し、検出された振動の影響を打ち消すように動画像領域をシフトさせる。
【０００８】
図２の左側では、撮影開始時、すなわち最初のフィールドの動画像領域２１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域２２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域２３は、動画像領域２２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされるので、図中、中央に示すように、各フィールドの静止画像上において、被写体の位置が静止画像上の中央となるように手振れの補正が行われ、図中、右側に示すように、動画像が再生されて表示される表示画面上において、被写体の位置は表示画面の中央となり、ユーザに対して被写体がぶれて見えることがなくなる。
【０００９】
これに対して、静止画像においては、動画像のように、複数のフィールドの静止画像を連続的に表示することはないので、表示画面に表示される被写体がぶれて見えることはない。そのため、動画像の撮影中に、静止画像を撮像する場合、被写体が静止画像領域１３内に位置していれば（静止画像として写っていれば）よいとされていた。すなわち、静止画像に対して手振れの補正を行うことにより得られる効果は少なく、静止画像に対する手振れの補正は、一般的には意義が少ないものとされていた。
【００１０】
【特許文献１】特開２００５−１７５５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来、動画像の撮影中に、撮像装置に加えられた振動（手振れ）の影響を電子的に補正する場合、図３に示すように、撮影される動画像に対しては、手振れの補正が行われていたが、静止画像に対しては、手振れの補正が行われていなかった。なお、図３において、図２と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【００１２】
図３の左側では、動画像の撮影開始時、すなわち動画像の最初のフィールドの動画像領域２１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域２２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域２３は、動画像領域２２よりもさらに右下にシフトされている。これに対して、静止画像に対しては手振れの補正はなされないので、静止画像領域１３はシフトされない。
【００１３】
したがって、各時刻における動画像領域の中心と、静止画像領域の中心とは一致するとは限らない。図３の中央に示すように、各フィールドの動画像領域２１乃至動画像領域２３のそれぞれにおける被写体の位置は、動画像領域２１乃至動画像領域２３の中央となるが、静止画像領域１３における被写体の位置は、静止画像が撮像される時刻により異なる。
【００１４】
動画像に対しては手振れの補正が行われるので、図３の右側に示すように、動画像の撮影時に撮像装置の表示画面３１に表示される被写体の位置は表示画面３１の中央となるが、各時刻における動画像領域の中心と、静止画像領域の中心とは必ずしも一致せず、図３の右下に示すように、静止画像上における被写体の位置が、静止画像の図中、右下などの中央ではない位置となってしまうことがあった。
【００１５】
ユーザは、撮像装置により撮影された動画像が表示される表示画面３１を見て画角を確認しながら静止画像（動画像）の撮像を行うので、ユーザには、被写体が表示画面３１の中央に写っているように見えても、実際に撮像されて得られた静止画像においては、被写体が中央に写っているとは限らず、ユーザにとって不便であった。
【００１６】
そこで、図４の中央に示すように、静止画像領域も動画像領域と同じだけシフトさせることによって、各時刻における静止画像領域の中心の位置と、動画像領域の中心の位置とを一致させ、各時刻において撮像された静止画像に写っている被写体の位置が、ユーザが撮像時に見ていた撮像装置の表示画面３１上における被写体の位置と同じ位置となるようにすることができる。
【００１７】
図４の中央では、動画像領域２１乃至動画像領域２３のそれぞれの中心と、動画像領域２１乃至動画像領域２３のそれぞれのフィールドが撮影された時刻に、同時に撮像された静止画像の静止画像領域４１乃至静止画像領域４３のそれぞれの中心とが一致するように、動画像および静止画像の手振れの補正が行われている。
【００１８】
したがって、図中、右側に示すように、各時刻において撮像された静止画像に写っている被写体は、ユーザが撮像時に見ていた撮像装置の表示画面３１上における被写体と同じように、静止画像の中央に位置することとなる。
【００１９】
しかしながら、図１に示したように、有効画素領域１１上における静止画像領域１３は、動画像領域１２よりも大きく設けられているため、静止画像領域１３を動画像領域１２と同じだけシフトさせて手振れの補正を行うと、図５に示すように、シフト後（補正後）の静止画像領域が有効画素領域１１からはみ出してしまう場合があった。
【００２０】
図５の左側では、動画像の最初のフィールドの動画像領域５１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域５２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域５３は、動画像領域５２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされる。
【００２１】
また、静止画像領域も、動画像領域と同様に、検出された振動の影響を打ち消すようにシフトされる。図中、中央の左側には、手振れを補正するために動画像領域と同じだけシフトされた静止画像領域が示されている。すなわち、静止画像領域６１乃至静止画像領域６３のそれぞれは、動画像領域５１乃至動画像領域５３の動画像の撮影時刻のそれぞれと同じ時刻に撮像された静止画像の静止画像領域を表わしている。
【００２２】
図中、中央に示すように、静止画像領域６１および静止画像領域６２の中心と、動画像領域５１および動画像領域５２の中心とは同じ位置であり、図中、右側に示すように、静止画像領域６１および静止画像領域６２の静止画像に写っている被写体は、ユーザが撮像時に見ていた撮像装置の表示画面上における被写体と同じように、静止画像の中央に位置している。
【００２３】
ところが、図中、中央の下側に示すように、静止画像領域６３の中心と、動画像領域５３の中心とは同じ位置であり、動画像領域５３は、有効画素領域１１内の領域となっているが、静止画像領域６３は、有効画素領域１１からはみ出してしまっている。ここで、図中、静止画像領域６３内の斜線の部分は、有効画素領域１１からはみ出してしまっている領域を表わしている。
【００２４】
このように、静止画像領域６３の有効画素領域１１からはみ出した部分は、画像データのない領域であり、画像データを読み出すことはできないので、静止画像上において黒くなってしまったり、静止画像領域６３内の有効画素領域１１の端の部分が引き伸ばされた画像となってしまったりして、静止画像が不自然なものとなってしまう。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像を、違和感を与えることのないより自然な画像とすることができるようにするものである。
【課題を解決するための手段】
【００２６】
本発明の一側面の画像処理装置には、撮像素子により第１の画像を撮像する撮像手段と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段と、前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出する算出手段と、前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更する制限手段と、前記制限手段による変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させる領域修正手段と、前記第１の画像における、前記領域修正手段により縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す読み出し手段とが設けられている。
【００２７】
前記制限手段には、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を変更後の第１の補正量とさせるようにすることができる。
【００２８】
前記算出手段には、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第１の領域を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出させ、前記読み出し手段には、前記縮小された前記第１の領域を、前記変更後の前記第１の補正量と、前記歪み補正量とに基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出させるようにすることができる。
【００２９】
前記制限手段には、前記第１の領域を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記ラインの歪み補正量を前記値に変更させるようにすることができる。
【００３０】
本発明の一側面の画像処理方法またはプログラムは、撮像素子により第１の画像を撮像し、加えられた振動を検出し、その振動の大きさを示す振動量を出力し、前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出し、前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更し、変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させ、前記第１の画像における、縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出すステップを含む。
【００３１】
本発明の一側面においては、撮像素子により第１の画像が撮像され、加えられた振動が検出され、その振動の大きさを示す振動量が出力され、前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とが前記振動量から算出される。そして、前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量が変更され、変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさが縮小され、前記第１の画像における、縮小された前記第１の領域が、前記変更後の前記第１の補正量に基づいて移動され、その移動後の前記第１の領域の画像が、前記第２の画像として読み出される。
【発明の効果】
【００３２】
以上のように、本発明の一側面によれば、静止画像を撮像することができる。特に、本発明の一側面によれば、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像をより自然な画像とすることができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
本発明の一側面の画像処理装置は、撮像素子により第１の画像を撮像する撮像手段（例えば、図６の撮像素子１１１）と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段（例えば、図６の振動検出部１１８）と、前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出する算出手段（例えば、図６の補正量算出部１１９）と、前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更する制限手段（例えば、図６の補正量算出部１１９）と、前記制限手段による変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させる領域修正手段（例えば、図６の領域修正部１３１）と、前記第１の画像における、前記領域修正手段により縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す読み出し手段（例えば、図６の画像補間部１１４）とを備える。
【００３５】
前記制限手段（例えば、図１７のステップＳ５１の処理乃至ステップＳ５４の処理を実行する補正量算出部１１９）には、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を変更後の第１の補正量とさせるようにすることができる。
【００３６】
前記算出手段（例えば、図１３のステップＳ１３の処理を実行する補正量算出部１１９）には、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第１の領域を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出させ、前記読み出し手段（例えば、図１８のステップＳ８３の処理を実行する画像補間部１１４）には、前記縮小された前記第１の領域を、前記変更後の前記第１の補正量と、前記歪み補正量とに基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出させるようにすることができる。
【００３７】
前記制限手段（例えば、図１３のステップＳ１６の処理を実行する補正量算出部１１９）には、前記第１の領域を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記ラインの歪み補正量を前記値に変更させるようにすることができる。
【００３８】
本発明の一側面の画像処理方法またはプログラムは、撮像素子により第１の画像を撮像し（例えば、図１３のステップＳ２０）、加えられた振動を検出し、その振動の大きさを示す振動量を出力し（例えば、図１３のステップＳ１１）、前記第１の画像の第１の領域から抽出され、動画像の撮影中に撮像された静止画像として出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第１の領域の位置を移動させる移動量を示す第１の補正量と、前記第１の画像における前記第１の領域よりも小さい第２の領域から抽出され、前記動画像の１つのフィールドを構成する静止画像として出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の領域の位置を移動させる移動量を示す第２の補正量とを前記振動量から算出し（例えば、図１３のステップＳ１２）、前記第１の補正量に基づいて前記第１の領域を移動させた場合に、移動後の前記第１の領域が前記第１の画像内の領域となるように、前記第１の補正量を変更し（例えば、図１３のステップＳ１５）、変更後の前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記変更後の前記第１の補正量に基づいて移動させた前記第１の領域の中心から、前記第２の補正量に基づいて移動させた前記第２の領域の中心までの距離が短くなるように、前記第１の領域の大きさを縮小させ（例えば、図１３のステップＳ１８）、前記第１の画像における、縮小された前記第１の領域を、前記変更後の前記第１の補正量に基づいて移動させ、その移動後の前記第１の領域の画像を、前記第２の画像として読み出す（例えば、図１８のステップＳ８３）ステップを含む。
【００３９】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００４０】
図６は、本発明を適用した画像処理装置の構成例を示すブロック図である。
【００４１】
画像処理装置１００は、撮像素子１１１、AFE（Analog Front End）１１２、信号処理部１１３、画像補間部１１４、ＴＧ（Timing Generator）１１５、メモリコントローラ１１６、メモリ１１７、振動検出部１１８、補正量算出部１１９、およびメモリ１２０を含むように構成される。
【００４２】
撮像素子１１１は、例えば、電荷転送型の固体撮像素子（CCDセンサなど）や、Ｘ‐Ｙアドレス型の固体撮像素子（CMOSセンサなど）により構成される。撮像素子１１１により撮像された被写体の画像のデータ（静止画像または、動画像のフィールドを構成する静止画像の画像データ）は、AFE１１２に供給される。
【００４３】
AFE１１２は、供給された画像データをデジタル信号の画像データに変換し、信号処理部１１３またはメモリ１２０に供給する。信号処理部１１３は、AFE１１２またはメモリ１２０から供給された画像データから、輝度信号と色差信号を算出し、その算出したそれぞれの信号を、画像補間部１１４に供給する。
【００４４】
画像補間部１１４に供給される画像データは、撮像素子１１１により撮像された被写体の画像のデータであるが、撮像素子１１１により撮像された画像の全てのデータが、画像補間部１１４に供給されるわけではなく、ＴＧ１１５からのタイミングに従って読み出された画像データのみが、画像補間部１１４に供給される。
【００４５】
画像補間部１１４に供給されたデータは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。逆にメモリ１１７に記憶されたデータは、メモリコントローラ１１６の指示により読み出され、画像補間部１１４に供給される。画像補間部１１４は、供給された画像データに対して、手ぶれの補正を行うための処理などを施し、図示されていない記録媒体に出力して、画像データを記録させたり、図示されていないディスプレイなどに出力し、静止画像または動画像を表示させたりする。
【００４６】
なお、ここでは、画像処理装置１００に加えられる振動として、ユーザの手振れを例に挙げて説明するが、手振れ以外の振動であっても、本発明を適用することはできる。
【００４７】
画像補間部１１４、ＴＧ１１５、およびメモリコントローラ１１６は、振動検出部１１８により検出された振動量に応じ、補正量算出部１１９により算出された手振れ補正量に基づいた制御を行う。
【００４８】
振動検出部１１８は、例えば、角速度センサなどのセンサを用いた方法や、画像処理等によるセンサレスの手ぶれ検出の方法などが用いられ、動画像の撮影中に画像処理装置１００に加えられた振動の量（振動量）を検出する。例えば、振動検出部１１８が、角速度センサにより構成されていた場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータを補正量算出部１１９に供給する。
【００４９】
補正量算出部１１９は、手振れに伴う動きを補正するための手振れ補正量を算出する。例えば、補正量算出部１１９は、振動検出部１１８から供給されたデータを用いて、撮像素子１１１の有効画素領域上において、静止画像領域または動画像領域を何画素（ピクセル）移動させれば加えられた手振れによる影響を低減できるかというシフト量を手振れ補正量として算出する。
【００５０】
また、補正量算出部１１９は、領域修正部１３１を備えている。補正量算出部１１９の領域修正部１３１は、必要に応じて、有効画素領域から静止画像の画像データを読み出す静止画像領域を修正（変更）する。
【００５１】
メモリ１２０は、AFE１１２から供給された画像データを記憶する。また、メモリ１２０は、補正量算出部１１９から供給されたシフト量、修正された静止画像領域を示す領域情報などを記憶する。メモリ１２０は、記憶している画像データ、シフト量、領域情報などを、信号処理部１１３を介して画像補間部１１４に供給する。
【００５２】
ところで、画像処理装置１００の撮像素子１１１が、CMOSセンサなどのＸ‐Ｙアドレス型の固体撮像素子により構成されている場合、動画像の撮影中に静止画像を撮像するときにはメカシャッタを用いることができないので、フォーカルプレーンシャッタ方式（ローリングシャッタ方式）と称される露光方式により静止画像が撮像される。
【００５３】
フォーカルプレーンシャッタ方式においては、１ライン単位で露光が行われるので、静止画像（静止画像領域）を構成する画素のラインごとに露光期間にずれ（時間差）が生じる。そのため、静止画像の撮像中に画像処理装置１００に振動が加えられると、その振動の影響により撮像された静止画像に歪みが生じてしまう。ここで、ラインとは、静止画像（静止画像領域）を構成する複数の画素が所定の方向に並べられた画素の列をいう。
【００５４】
例えば、図７の左側に示すように、有効画素領域１５１における被写体の位置が、加えられた振動によって図中、有効画素領域１５１の中央から時間の経過とともに右下に移動すると、加えられた振動が検出され、検出された振動の影響を打ち消すように動画像領域がシフトされる。
【００５５】
図７の左側では、動画像の最初のフィールドの動画像領域１６１は、有効画素領域１５１の中央とされており、その次のフィールドの動画像領域１６２は、有効画素領域１５１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域１６３は、動画像領域１６２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされる。
【００５６】
また、静止画像領域も、動画像領域と同様に、検出された振動の影響を打ち消すようにシフトされる。図中、中央の左側には、手振れを補正するために動画像領域と同じだけシフトされた静止画像領域が示されている。すなわち、静止画像領域１７１乃至静止画像領域１７３のそれぞれは、動画像領域１６１乃至動画像領域１６３の動画像の撮影時刻のそれぞれと同じ時刻に撮像された静止画像の静止画像領域を表わしている。
【００５７】
また、図中、中央に示すように、各時刻における有効画素領域１５１上の被写体は歪んで写っている。また、静止画像領域１７１および静止画像領域１７２の中心と、動画像領域１６１および動画像領域１６２の中心とは同じ位置となっている。
【００５８】
ところが、図中、中央に示すように、静止画像領域１７３の中心と、動画像領域１６３の中心とは同じ位置であり、動画像領域１６３は、有効画素領域１５１内の領域となっているが、静止画像領域１７３は、有効画素領域１５１からはみ出してしまっている。ここで、図中、静止画像領域１７３内の斜線の部分は、有効画素領域１５１からはみ出してしまっている領域を表わしている。
【００５９】
画像処理装置１００は、静止画像領域が有効画素領域１５１からはみ出さないように、静止画像領域のシフト量を制限する。さらに、画像処理装置１００は、フォーカルプレーンシャッタ方式により生じる被写体の歪みを補正するために、静止画像領域（動画像領域）のラインごとに、そのライン（の画像）を何画素（ピクセル）移動させれば被写体の歪みを低減できるかという歪み補正量を手振れ補正量として算出し、静止画像（動画像）の補正を行う。
【００６０】
ここで、歪み補正量とは、被写体の歪みを低減させるために、静止画像領域（動画像領域）の中心のラインを基準として、中心のラインに対して他のラインを移動させる相対的なシフト量をいう。シフト量および歪み補正量の詳細については後述する。
【００６１】
また、以下では、撮像素子１１１がＸ‐Ｙアドレス型の固体撮像素子により構成されており、画像処理装置１００が、シフト量および歪み補正量を、手振れによる影響を低減させるための手振れ補正量として算出し、静止画像（動画像）の補正を行うものとして説明を続ける。なお、撮像素子１１１が電荷転送型の固体撮像素子により構成される場合には、手振れによる被写体の歪みは生じないので、手振れ補正量としてシフト量だけが算出されて、静止画像（動画像）の補正が行われる。
【００６２】
次に、図８乃至図１２を参照して、動画像の撮影中に撮像された静止画像に対する手振れの補正について説明する。
【００６３】
まず、図８に示すように、画像処理装置１００の撮像素子１１１の有効画素領域２０１に対して、有効画素領域２０１よりもある程度小さい領域を動画像領域２０２とし、有効画素領域２０１よりもわずかに小さく、動画像領域２０２よりも大きい領域を静止画像領域２０３とする。そして、画像処理装置１００は、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域２０３のシフト量、および静止画像領域２０３のラインごとの歪み補正量を算出して手振れの補正を行う。
【００６４】
図８では、動画像領域２０２よりも静止画像領域２０３の方が大きいので、動画像領域２０２をシフト（移動）させることができる距離は、静止画像領域２０３をシフト（移動）させることができる距離よりも長くなる。
【００６５】
例えば、算出されたシフト量が０である場合、図９に示すように、画像処理装置１００は、静止画像領域２０３の中心をシフトさせずに、各ラインの歪み補正量に基づいて各ラインをシフトさせ、手振れによる静止画像の歪みを補正する。その結果、歪み補正量に基づいて各ラインがシフトされた静止画像領域２１１から画像データが読み出され、静止画像の画像データとされる。
【００６６】
また、算出されたシフト量が０でない場合、図１０に示すように、画像処理装置１００は、静止画像領域２０３（の中心）を算出されたシフト量により示される距離だけシフトさせ、さらに、歪み補正量に基づいて各ラインをシフトさせて手振れを補正する。
【００６７】
図１０では、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２２１および静止画像領域２２２は、シフト後（補正後）の動画像領域および静止画像領域を表わしている。また、図中、中央に示される矢印は、動画像領域２０２および静止画像領域２０３をシフトさせたシフト量を示しており、図１０では、動画像領域２０２のシフト量および静止画像領域２０３のシフト量は同じとされている。
【００６８】
さらに、算出されたシフト量に基づいて静止画像領域２０３をシフトさせると、静止像領域２０３が有効画素領域２０１からはみ出てしまう場合、画像処理装置１００は、図１１に示すように、静止画像領域２０３のシフト量を制限する。
【００６９】
図中、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２３１および静止画像領域２３２は、シフト後（補正後）の動画像領域および静止画像領域を表わしている。また、中央に示される実線の矢印は、動画像領域２０２をシフトさせたシフト量を示しており、点線の矢印は、静止画像領域２０３をシフトさせたシフト量を示している。
【００７０】
図１１では、静止画像領域２０３は、図中、右下の方向にシフトされており、シフト後の静止画像領域が、有効画素領域２０１内となるように、図中、下方向および右方向のシフト量が制限されている。具体的には、シフト後の静止画像領域２３２の一番下のラインが、有効画素領域２０１の一番下の位置となり、シフト後の静止画像領域２３２の一番右側が、有効画素領域２０１の一番右の位置となるように静止画像領域２０３のシフト量が制限されている。
【００７１】
このように、図１１の例においては、動画像領域２０２のシフト量は制限されないが、静止画像領域２０３のシフト量は制限されるので、静止画像領域２０３のシフト量は、動画像領域２０２のシフト量よりも小さくなる。
【００７２】
さらに、動画像領域２０２のシフト量と、静止画像領域２０３のシフト量とが大きく異なる場合には、シフト後の動画像領域の中心の位置と、静止画像領域の中心の位置とが大きく異なるため、画像処理装置１００は、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を縮小する。
【００７３】
例えば、静止画像領域２０３のシフト量と、動画像領域２０２のシフト量との差が、予め定められた所定の閾値以上である場合、画像処理装置１００は、図１２に示すように、静止画像領域を縮小する。
【００７４】
図中、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２５１は、シフト後（補正後）の動画像領域を表わしている。また、一転鎖線で示される静止画像領域２６１は、シフト後の静止画像領域を表わし、実線で示される静止画像領域２７１は、シフト後にさらに縮小された静止画像領域を表わしている。
【００７５】
さらに、図中、左上の矢印は、シフト後の静止画像領域２６１が縮小される方向を示しており、中央に示される実線の矢印は、動画像領域２０２をシフトさせたシフト量を示しており、点線の矢印は、静止画像領域２０３をシフトさせたシフト量を示している。
【００７６】
図１２では、静止画像領域２０３は、図中、右下の方向にシフトされて、さらに、シフト後の静止画像領域２６１の中心の位置が、シフト後の動画像領域２５１の中心の位置により近い位置となるように、静止画像領域２６１が縮小されている。具体的には、シフト後の静止画像領域２６１の図中、上側の端が、下方向に移動し、左側の端が図中、右方向に移動するように静止画像領域２６１が縮小される。このとき、静止画像領域２６１の図中、下側の端および右側の端はそのままの位置とされている。
【００７７】
このように、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を縮小させることによって、静止画像領域を有効画素領域２０１内の領域とし、撮像により得られる静止画像上の被写体の位置を、ユーザが画像処理装置１００の表示画面において確認した被写体の位置により近いものとすることができる。
【００７８】
ユーザが画像処理装置１００を操作して、動画像の撮影を指示すると、画像処理装置１００は、その操作に応じて動画像の撮影を開始する。すなわち、撮像素子１１１は、被写体を撮像して、これにより得られた画像データを、AFE１１２および信号処理部１１３を介して画像補間部１１４に供給する。画像補間部１１４は、信号処理部１１３から供給された画像データを、メモリコントローラ１１６を介してメモリ１１７に供給し、メモリ１１７は供給された画像データを記憶する。
【００７９】
また、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、動画像の手振れを補正するためのシフト量および歪み補正量を算出する。補正量算出部１１９は、算出したシフト量および歪み補正量を、メモリコントローラ１１６を介してメモリ１１７に供給する。そして、画像補間部１１４は、メモリ１１７から画像データ、シフト量、および歪み補正量を取得して、シフト量および歪み補正量に基づいて動画像領域をシフト（移動）させる。画像補間部１１４は、動画像を構成するフィールドごとの動画像領域から画像データを読み出して、図示せぬ記録媒体に供給し、これを動画像データとして記録させる。
【００８０】
このようにして、画像処理装置１００は、ユーザの操作に応じて、動画像を撮影する。さらに、画像処理装置１００が動画像を撮影しているときに、ユーザが画像処理装置１００を操作して、静止画像の撮像を指示すると、画像処理装置１００は、静止画像を撮像するとともに、静止画像の手振れ補正量を算出する処理である手振れ補正量の算出処理を行う。以下、図１３のフローチャートを参照して、画像処理装置１００による手振れ補正量の算出処理について説明する。
【００８１】
ステップＳ１１において、補正量算出部１１９は、振動検出部１１８から、振動検出部１１８において検出された振動量（のデータ）を取得する。
【００８２】
例えば、図１４に示すように、図中、右方向をＸ方向とし、下方向をＹ方向とすると、補正量算出部１１９は、Ｘ方向およびＹ方向の振動量を取得する。なお、図１４において、有効画素領域２０１および静止画像領域２０３は、図８における場合と同様であるため同一の符号を付してあり、繰り返しになるのでその説明は省略する。
【００８３】
また、図中、矢印ＸＳは、静止画像領域２０３の右端から、有効画素領域２０１の右端までの距離を示している。すなわち、ＸＳは、有効画素領域２０１上において、静止画像領域２０３をＸ方向にシフト（移動）させることができる余剰の大きさを示している。同様に、矢印ＹＳは、静止画像領域２０３の上端から、有効画素領域２０１の上端までの距離を示している。すなわち、ＹＳは、有効画素領域２０１上において、静止画像領域２０３をＹ方向にシフトさせることができる余剰の大きさを示している。以下、矢印ＸＳおよび矢印ＹＳにより示される距離を単にＸＳおよびＹＳと称する。
【００８４】
また、振動検出部１１８においては、Ｘ方向またはＹ方向の振動量として、例えば、図１５に示すように振動量が検出されて、補正量算出部１１９に供給される。
【００８５】
図１５に示した例では、振動検出部１１８により、１画面（静止画像領域２０３）が９つのラインで構成され、その１画面において、それぞれのライン毎に９つの振動量が取得される場合を示している。すなわち、ライン８のときに振動量Ｐ８が、ライン７のときに振動量Ｐ７が、ライン６のときに振動量Ｐ６が、ライン５のときに振動量Ｐ５が、ライン４のときに振動量Ｐ４が、ライン３のときに振動量Ｐ３が、ライン２のときに振動量Ｐ２が、ライン１のときに振動量Ｐ１が、ライン０のときに振動量Ｐ０が、それぞれ取得される。
【００８６】
なお、ここでは、説明の都合上、１画面が９ラインで構成されるとしているが、実際には９ライン以上のライン数で構成されている。また、ここでは９ライン毎に振動量が取得されるとするが、実際には、振動量を取得するサンプリング周波数と、ラインの読み出しのタイミングにはずれがあるため（露光時間などに読み出し時間は依存し、変化するために、サンプリング周波数などの一定の周期を有するタイミングとは一致しないときがあるため）、ライン毎に露光時間の中央で振動量が取得できるとは限らない。
【００８７】
そこで、所定のラインで取得された振動量は、そのラインを含む数ラインで共通して用いられる。または、取得された離散的な振動量を用いて補間を行い、ライン毎の振動量が生成される。
【００８８】
図１３のフローチャートの説明に戻り、ライン毎にＸ方向およびＹ方向の振動量が取得されると、ステップＳ１２において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、Ｘ方向およびＹ方向のシフト量を算出する。
【００８９】
例えば、補正量算出部１１９は、振動検出部１１８から供給された振動量のうち、画面（静止画像領域２０３）の中心のラインのＸ方向およびＹ方向の振動量を基に、それぞれＸ方向およびＹ方向のシフト量を算出する。
【００９０】
シフト量とは、振動量を、振動のない状態（振動による影響が低減された状態）にするために、どれだけの補正を行えば良いのかを表す画素（ピクセル）単位の値である。静止画像領域２０３のシフト量は、静止画像領域２０３の中心のラインの露光時に検出された振動量を基に算出される。
【００９１】
例えば、図１５がＸ方向の振動量を示した例であるとすると、画面の中心のラインはライン４であるので、ライン４のＸ方向の振動量がＰ４ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわちこの場合、−Ｐ４ピクセルがＸ方向のシフト量として算出されるようにすれば良い。また、Ｘ方向のシフト量と同様にして、補正量算出部１１９は、振動検出部１１８から供給されたＹ方向の振動量のうち、画面の中心のラインの振動量を基に、Ｙ方向のシフト量を算出する。
【００９２】
ステップＳ１３において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、Ｘ方向およびＹ方向のラインごとの歪み補正量を算出する。歪み補正量とは、被写体の歪みのない状態にするために、画面の中心のラインに対して、画面を構成する各ラインをどれだけシフトさせて補正を行えば良いかを表す画素（ピクセル）単位の値である。
【００９３】
例えば、図１５がＸ方向の振動量を示した例であるとして、ライン８のＸ方向の歪み補正量を算出する場合を考える。画面の中心のラインはライン４であり、ライン４のＸ方向の振動量がＰ４ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわち−Ｐ４ピクセルだけライン４をシフトさせればよい。同様に、ライン８のＸ方向の振動量がＰ８ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわち−Ｐ８ピクセルだけライン８をシフトさせればよい。したがって、被写体がＸ方向に歪みのない状態にするためには、ライン８をライン４に対して、Ｘ方向にＰ４−Ｐ８（＝（−Ｐ８）−（−Ｐ４））ピクセルだけシフトさせればよいので、補正量算出部１１９は、Ｐ４−Ｐ８をライン８のＸ方向の歪み補正量として算出する。
【００９４】
補正量算出部１１９は、ライン０乃至ライン７についても、ライン８における場合と同様に、Ｘ方向の歪み補正量を算出する。また、補正量算出部１１９は、Ｘ方向の歪み補正量と同様にＹ方向の歪み補正量も算出する。さらに、補正量算出部１１９は、ステップＳ１１の処理乃至ステップＳ１４の処理を行って、静止画像（静止画像領域２０３）に対するシフト量および歪み補正量を算出すると同時に、上述したように、動画像（動画像領域２０２）に対するシフト量および歪み補正量も算出する。
【００９５】
補正量算出部１１９は、シフト量および歪み補正量を算出すると、算出したシフト量および歪み補正量をメモリ１２０に供給する。また、補正量算出部１１９は、予め定められた静止画像領域２０３を示す領域情報を生成して、メモリ１２０に供給する。ここで、領域情報は、例えば、図１４の静止画像領域２０３のＸ方向の大きさ、Ｙ方向の大きさ、静止画像領域２０３の左上の頂点の有効画素領域２０１上の位置などの情報が含まれる情報とすることができる。
【００９６】
ステップＳ１４において、メモリ１２０は、補正量算出部１１９から供給された領域情報、シフト量、および歪み補正量を記憶する。
【００９７】
ステップＳ１５において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、シフト量の制限処理を行う。なお、シフト量の制限処理の詳細は後述するが、シフト量の制限処理において、補正量算出部１１９は、シフト後の静止画像領域が、有効画素領域２０１からはみ出さないように（有効画素領域２０１内の領域となるように）、算出されたＸ方向のシフト量およびＹ方向のシフト量を制限する。補正量算出部１１９は、シフト量を制限すると、制限されたシフト量をメモリ１２０に供給する。
【００９８】
なお、より詳細には、シフト後の静止画像領域が、有効画素領域２０１からはみ出さない場合には、シフト量の制限処理においてシフト量は制限されないが、以下では、シフト量の制限処理前のシフト量と、シフト量の制限処理後のシフト量とを区別するため、シフト量の制限処理後のシフト量を、制限されたシフト量と称する。
【００９９】
ステップＳ１６において、補正量算出部１１９は、メモリ１２０に記憶されているＸ方向およびＹ方向の歪み補正量と、制限されたＸ方向およびＹ方向のシフト量に基づいて、各ラインのＸ方向およびＹ方向の歪み補正量を制限する。
【０１００】
例えば、補正量算出部１１９は、静止画像領域２０３を構成する所定のラインを、ステップＳ１５において制限されたＸ方向のシフト量だけシフトさせ、さらに、そのラインをＸ方向の歪み補正量だけシフトさせた場合に、そのラインが有効画素領域２０１内にあるとき、算出されたＸ方向の歪み補正量を制限せずに、そのままＸ方向の歪み補正量として用いる。
【０１０１】
これに対して、静止画像領域２０３を構成する所定のラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、そのラインをＸ方向の歪み補正量だけシフトさせた場合に、そのラインが有効画素領域２０１内にないとき、すなわち、ラインの端が有効画素領域２０１からはみ出すとき、そのラインが有効画素領域２０１内となるように、Ｘ方向の歪み補正量を制限する。
【０１０２】
例えば、図１４に示した静止画像領域２０３を構成する所定のラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、Ｘ方向の歪み補正量だけシフトさせると、そのラインの図中、右端が有効画素領域２０１の右端よりも右側の位置となってしまう場合、補正量算出部１１９は、そのラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、Ｘ方向の歪み補正量だけシフトさせたときに、ラインの右端の位置が、有効画素領域２０１の右端の位置となるように、Ｘ方向の歪み補正量を制限する。
【０１０３】
例えば、制限された静止画像領域２０３のＸ方向のシフト量をＰＸとすると、静止画像領域２０３の所定のラインのＸ方向の歪み補正量が正の値であり、ＸＳ−ＰＸの値よりも大きい場合には、そのラインは、有効画素領域２０１からはみ出てしまうので、そのラインのＸ方向の歪み補正量をＸＳ−ＰＸとして、歪み補正量を制限する。また、歪み補正量が負の値であり、歪み補正量の絶対値がＸＳ＋ＰＸの値よりも大きい場合には、そのラインは、有効画素領域２０１からはみ出てしまうので、そのラインのＸ方向の歪み補正量を−（ＸＳ＋ＰＸ）として、歪み補正量を制限する。
【０１０４】
補正量算出部１１９は、Ｘ方向の歪み補正量を制限する場合と同様に、Ｙ方向の歪み補正量も制限する。このようにして、補正量算出部１１９は、静止画像領域２０３を構成する全てのラインについて、Ｘ方向およびＹ方向の歪み補正量を制限する。補正量算出部１１９は、歪み補正量を制限すると、制限した歪み補正量をメモリ１２０に供給する。
【０１０５】
なお、より詳細には、歪み補正量に基づくシフト後の静止画像領域が、有効画素領域２０１からはみ出さない場合にはステップＳ１６の処理において歪み補正量は制限されないが、以下では、ステップＳ１６の処理において歪み補正量を制限する前の歪み補正量と、ステップＳ１６の処理において歪み補正量が制限された後の歪み補正量とを区別するため、ステップＳ１６の処理において歪み補正量が制限された後の歪み補正量を、制限された歪み補正量と称する。
【０１０６】
ステップＳ１７において、補正量算出部１１９の領域修正部１３１は、補正量算出部１１９が算出した、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であるか否かを判定する。
【０１０７】
例えば、動画像領域２０２のＸ方向およびＹ方向のシフト量を、それぞれＭＸおよびＭＹとし、制限された静止画像領域２０３のＸ方向およびＹ方向のシフト量を、それぞれＰＸおよびＰＹとし、予め定められた所定の閾値をＴｈとすると、領域修正部１３１は、式（１）に基づいて、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であるか否かを判定する。
【０１０８】
（（ＭＸ）2＋（ＭＹ）2）1/2−（（ＰＸ）2＋（ＰＹ）2）1/2≧Ｔｈ        ・・・（１）
【０１０９】
領域修正部１３１は、ＭＸ、ＭＹ、ＰＸ、ＰＹ、およびＴｈが、式（１）の関係を満たす場合、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であると判定する。
【０１１０】
ステップＳ１７において、予め定められた所定の閾値以上であると判定された場合、シフト後の動画像領域の中心の位置と、静止画像領域の中心の位置とが大きく異なり、静止画像上の被写体の位置が、ユーザが画像処理装置１００の表示画面において確認した被写体の位置とは大きく異なるものとなってしまうので、静止画像領域の中心の位置を修正するために、ステップＳ１８に進む。
【０１１１】
ステップＳ１８において、領域修正部１３１は、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を修正する。
【０１１２】
例えば、領域修正部１３１は、図１６に示すように、シフト後の静止画像領域を縮小させて、静止画像領域を修正する。
【０１１３】
図中、矢印Ｃ１１乃至矢印Ｃ１３により示される点は、それぞれ静止画像領域の中心の点（以下、それぞれ点Ｃ１１乃至点Ｃ１３とも称する）を示している。なお、図１６において、図１４における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１１４】
点Ｃ１１は、点線で表わされる補正前の静止画像領域２０３の中心を示している。また、図中、点Ｃ１１と点Ｃ１２とを結ぶ実線の矢印は、シフト後の静止画像領域が有効画素領域２０１からはみ出さないように制限された静止画像領域２０３のシフト量（シフトさせる方向および距離）を示しており、点Ｃ１２は、制限されたＸ方向およびＹ方向のシフト量だけ静止画像領域２０３がシフトされた、シフト後の静止画像領域３０１の中心を示している。
【０１１５】
領域修正部１３１は、動画像領域２０２（図８）のシフト量と、制限された静止画像領域２０３のシフト量とが上述した式（１）の関係を満たす場合、動画像領域２０２のシフト量と、静止画像領域２０３のシフト量とが式（１）の関係を満たさなくなるように、図中、静止画像領域２０３のシフト量を示す実線の矢印を、点線の矢印に示される分だけ延長する。そして、領域修正部１３１は、点線の矢印に示される分だけ延長された位置である点Ｃ１３が、静止画像領域の中心の位置となるように、シフト後の静止画像領域３０１を縮小して、静止画像領域を修正する。
【０１１６】
図１６では、点Ｃ１３が静止画像領域の中心となるように、静止画像領域３０１の図中、上側の辺（端）が下方向に縮小され、左側の辺（端）が右方向に縮小されて、縮小された静止画像領域３０２となっている。また、静止画像領域３０１の図中、下側の辺（端）および右側の辺（端）の位置はそのままであり、縮小前（静止画像領域３０１）と縮小後（静止画像領域３０２）とで、同じ位置とされている。
【０１１７】
縮小された静止画像領域３０２は、補正前の静止画像領域が、制限されたシフト量（ステップＳ１５において定められたシフト量）だけシフトされた、シフト後の静止画像領域とされるので、補正前の静止画像領域は、点線で示される静止画像領域３０３となる。ここで、静止画像領域３０３の図中、左右方向の長さおよび上下方向の長さと、静止画像領域３０２の左右方向の長さおよび上下方向の長さとは同じ長さとされる。つまり、静止画像領域３０２は、静止画像領域３０３を、制限されたシフト量だけシフトさせた有効画素領域２０１上の領域となる。
【０１１８】
したがって、図１６に示す例においては、静止画像領域３０３が制限されたシフト量だけシフトされて静止画像領域３０２とされ、さらに、シフト後の静止画像領域３０２の各ラインが歪み補正量だけシフトされた静止画像領域の画像データが、撮像された静止画像の画像データとして読み出されることになる。
【０１１９】
領域修正部１３１は、静止画像領域を修正すると、静止画像領域３０３のＸ方向の大きさ、Ｙ方向の大きさ、静止画像領域３０３の図中、左上の頂点の有効画素領域２０１上の位置などの情報が含まれる情報を生成し、これを修正された静止画像領域の領域情報としてメモリ１２０に供給する。
【０１２０】
このように、静止画像領域を縮小して、そのサイズ（大きさ）を修正することで、図１２を参照して説明したように、シフト量に基づくシフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるようにすることができる。したがって、静止画像領域から読み出された画像データに基づく静止画像を、ユーザが画像処理装置１００の表示画面において確認した画像により近いものとすることができる。
【０１２１】
図１３のフローチャートの説明に戻り、ステップＳ１７において、予め定められた所定の閾値以上でないと判定された場合、ステップＳ１８の処理はスキップされてステップＳ１９に進む。
【０１２２】
ステップＳ１８において静止画像領域が修正されるか、ステップＳ１７において、予め定められた所定の閾値以上でないと判定されると、ステップＳ１９において、メモリ１２０は、補正量算出部１１９から供給された修正された領域情報、シフト量、および歪み補正量を記憶する。より詳細には、メモリ１２０が記憶する領域情報は、静止画像領域が修正された場合、図１６の修正された静止画像領域３０３の領域情報とされ、静止画像領域が修正されていない場合、図１６の静止画像領域２０３の領域情報とされる。また、メモリ１２０に記憶されるシフト量および歪み補正量は、制限されたシフト量および歪み補正量とされる。
【０１２３】
ステップＳ２０において、メモリ１２０は、AFE１１２を介して撮像素子１１１から供給された画像データを記憶して、手振れ補正量の算出処理は終了する。ここで、撮像素子１１１からメモリ１２０には、ユーザの操作に応じて撮像素子１１１により撮像され、図１６に示した有効画素領域２０１の全体から読み出された画像データが供給される。
【０１２４】
このようにして、画像処理装置１００は、手振れによる振動の影響を低減させるためのシフト量および歪み補正量を算出して、補正後の静止画像領域が、有効画素領域２０１からはみ出ないように、シフト量および歪み補正量を制限し、さらに、必要に応じて、静止画像領域を修正する。
【０１２５】
このように、シフト量および歪み補正量を制限することによって、補正後の静止画像領域を、常に有効画素領域２０１内の領域とすることができ、動画像の撮影中に撮像された静止画像を、違和感を与えることのない、より自然なものとすることができる。また、必要に応じて、静止画像領域（のサイズ）を修正することによって、シフト後の動画像領域の中心の位置と、シフト後の静止画像領域の中心の位置とをより近い位置とすることができ、これにより、動画像の撮影中に撮像された静止画像上の被写体の位置を、ユーザが画像処理装置１００の表示画面において確認した被写体の位置により近いものとすることができる。
【０１２６】
次に、図１７のフローチャートを参照して、図１３のステップＳ１５の処理に対応するシフト量の制限処理について説明する。
【０１２７】
ステップＳ５１において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、静止画像領域２０３のＸ方向のシフト量（の絶対値）が、予め定められた所定の値よりも大きいか否かを判定する。例えば、図１４の静止画像領域２０３のＸ方向のシフト量が、Ｘ方向の余剰の大きさＸＳよりも大きい場合、補正量算出部１１９は、予め定められた所定の値よりも大きいと判定する。
【０１２８】
ステップＳ５１において、予め定められた所定の値よりも大きいと判定された場合、ステップＳ５２に進み、補正量算出部１１９は、Ｘ方向のシフト量を制限する。
【０１２９】
例えば、図１４の静止画像領域２０３のＸ方向のシフト量（の絶対値）が、Ｘ方向の余剰の大きさＸＳよりも大きい場合、静止画像領域２０３を、Ｘ方向のシフト量だけＸ方向にシフトさせると、シフト後の静止画像領域は、有効画素領域２０１からはみ出てしまうので、Ｘ方向のシフト量の絶対値が、Ｘ方向の余剰の大きさＸＳとなるように、Ｘ方向のシフト量を制限する。したがって、Ｘ方向のシフト量が正の値であるとき、そのシフト量はＸＳとされ、Ｘ方向のシフト量が負の値であるとき、シフト量は−ＸＳとされる。
【０１３０】
このようにシフト量を制限すると、静止画像領域２０３を、制限されたシフト量であるＸＳだけＸ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１からはみ出すようなことがなくなる。
【０１３１】
これに対して、ステップＳ５１において、予め定められた所定の値よりも大きくないと判定された場合、静止画像領域２０３を、Ｘ方向のシフト量だけＸ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１内の領域となり、シフト量を制限する必要はないので、ステップＳ５２の処理はスキップされて、処理はステップＳ５３に進む。
【０１３２】
ステップＳ５１において、予め定められた所定の値よりも大きくないと判定されるか、ステップＳ５２において、Ｘ方向のシフト量が制限されると、ステップＳ５３において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、静止画像領域２０３のＹ方向のシフト量（の絶対値）が、予め定められた所定の値よりも大きいか否かを判定する。例えば、図１４の静止画像領域２０３のＹ方向のシフト量が、Ｙ方向の余剰の大きさＹＳよりも大きい場合、補正量算出部１１９は、予め定められた所定の値よりも大きいと判定する。
【０１３３】
ステップＳ５３において、予め定められた所定の値よりも大きいと判定された場合、ステップＳ５４に進み、補正量算出部１１９は、Ｙ方向のシフト量を制限し、処理は、図１３のステップＳ１６に進む。
【０１３４】
例えば、図１４の静止画像領域２０３のＹ方向のシフト量が、Ｙ方向の余剰の大きさＹＳよりも大きい場合、静止画像領域２０３を、Ｙ方向のシフト量だけＹ方向にシフトさせると、シフト後の静止画像領域は、有効画素領域２０１からはみ出てしまうので、Ｙ方向のシフト量の絶対値が、Ｙ方向の余剰の大きさＹＳとなるように、Ｙ方向のシフト量を制限する。このようにシフト量を制限すると、静止画像領域２０３を、制限されたシフト量であるＹＳだけＹ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１からはみ出すようなことがなくなる。
【０１３５】
これに対して、ステップＳ５３において、予め定められた所定の値よりも大きくないと判定された場合、静止画像領域２０３を、Ｙ方向のシフト量だけＹ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１内の領域となり、シフト量を制限する必要はないので、ステップＳ５４の処理はスキップされて、処理は、図１３のステップＳ１６に進む。
【０１３６】
このようにして、補正量算出部１１９は、静止画像領域２０３のシフト量を制限する。このように、静止画像領域２０３のシフト量を制限することによって、補正後の静止画像領域が、常に有効画素領域２０１内の領域となるようにすることができ、動画像の撮影中に撮像された静止画像をより自然なものとすることができる。
【０１３７】
メモリ１２０に画像データと、手振れを補正するためのシフト量、歪み補正量、および領域情報とが記憶されると、画像補間部１１４は、これらをメモリ１２０から読み出して静止画像の画像データを記録させる処理である、手振れ補正処理を行う。
【０１３８】
この手振れ補正処理は、既に記憶されている画像データの所定の領域を静止画像の画像データとして記録させる処理であり、特にリアルタイム性は要求されないので、いつ行われるようにしてもよい。例えば、メモリ１２０に画像データ、シフト量、歪み補正量、および領域情報が記憶されると直ちに手振れ補正処理が行われるようにしてもよく、動画像の撮影が終了してから手振れ補正処理が行われるようにしてもよい。
【０１３９】
以下、図１８のフローチャートを参照して、画像補間部１１４による手振れ補正処理について説明する。
【０１４０】
ステップＳ８１において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている画像データを取得する。メモリ１２０から読み出された画像データは、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換されて画像補間部１１４に供給される。画像補間部１１４に供給された画像データは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
【０１４１】
ステップＳ８２において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている修正された領域情報、制限されたシフト量、および制限された歪み補正量を取得する。取得された領域情報、シフト量、および歪み補正量も、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
【０１４２】
ステップＳ８３において、画像補間部１１４は、メモリ１１７に記憶された領域情報、シフト量、および歪み補正量に基づいて、画像データの読み出し位置を決定する。例えば、メモリ１２０から取得した画像データが、図１６の有効画素領域２０１の全体の画像データである場合、画像補間部１１４は、メモリ１２０から取得した領域情報、シフト量、および歪み補正量に基づいて、画像データの読み出し位置を決定する。例えば、領域情報により示される静止画像領域３０３を、メモリ１２０から取得したシフト量だけシフトさせる。そして、画像補間部１１４は、さらに、シフトされた静止画像領域３０２を構成する各ラインが、そのラインの歪み補正量だけシフトされた位置を各ラインの読み出し位置とする。
【０１４３】
ステップＳ８４において、画像補間部１１４は、メモリ１２０から取得した画像データのうち、決定された読み出し位置のデータ（画像データ）を読み出す。画像補間部１１４は、読み出した画像データに、必要に応じて画像サイズの変換処理などの処理を施し、図示せぬ記録媒体に供給する。
【０１４４】
例えば、決定された読み出し位置（シフト量および歪み補正量によるシフト後の静止画像領域）が、図１２に示した静止画像領域２７１である場合、画像補間部１１４は、静止画像領域２７１の画像データを読み出して図示せぬ記録媒体に供給する。
【０１４５】
ステップＳ８５において、画像補間部１１４は、記録媒体を制御して、記録媒体に供給した画像データを、動画像の撮影中に撮像された静止画像の画像データとして記録させて、手振れ補正処理は終了する。なお、読み出された画像データを、記録媒体に供給せずに、図示せぬディスプレイに供給して、静止画像を表示させるようにしてもよい。
【０１４６】
このようにして、画像補間部１１４は、メモリ１２０から画像データ、領域情報、シフト量、および歪み補正量を取得して、取得した領域情報、シフト量、および歪み補正量に基づいて画像データを読み出して、記録媒体に記録させる。
【０１４７】
このように、領域情報、シフト量、および歪み補正量に基づいて画像データを読み出すことで、手振れによる振動の影響がラインごとに低減された静止画像の画像データを記録させることができる。これにより、手振れによる影響が補正された静止画像をユーザに提供することができる。
【０１４８】
ところで、以上においては、ユーザが画像処理装置１００を操作して、動画像の撮影を行うと、撮影された動画像に対して手振れの補正が行われると説明したが、ユーザが画像処理装置１００を操作することによって、動画像の撮影時に、動画像に対して手振れの補正を行わせるか否かを選択することができるようにしてもよい。
【０１４９】
また、ユーザが画像処理装置１００を操作して、動画像の撮影時に、動画像に対する手振れの補正を行わない場合においても、動画像の撮影中に撮像された静止画像に対して手振れの補正を行わせるようにすることができる。
【０１５０】
以下、画像処理装置１００が、動画像に対して手振れの補正を行わず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正を行う場合について説明する。
【０１５１】
例えば、図１９Ａに示すように、画像処理装置１００の撮像素子１１１の有効画素領域３３１に対して、有効画素領域３３１よりもある程度小さい領域を動画像領域３３２とし、有効画素領域３３１よりもわずかに小さい領域を静止画像領域３３３とする。
【０１５２】
画像処理装置１００は、動画像に対しては手振れの補正を行わないので、図１９Ｂに示すように、動画像領域３３２のシフト量および歪み補正量は算出されずに、動画像領域３３２の画像データが、動画像の各フィールドの画像データとして読み出される。
【０１５３】
これに対して、画像処理装置１００は、静止画像に対しては手振れの補正を行うので、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域３３３のラインごとの歪み補正量を算出して手振れの補正を行う。
【０１５４】
図１９Ｂの例では、シフト量に基づく補正は行われずに、静止画像領域３３３のラインごとの歪み補正量に基づく補正だけが行われている。すなわち、画像処理装置１００は、シフト量に基づいて、静止画像領域３３３をシフトさせずに、算出されたラインごとの歪み補正量に基づいて、静止画像領域３３３を構成する各ラインをシフトさせる。これにより、静止画像領域３３３の中心の位置をシフトさせずに、静止画像の歪みが補正される。図１９Ｂでは、静止画像領域３３３の歪み補正量に基づくシフト後の領域は、静止画像領域３４１となる。
【０１５５】
このように、歪み補正量に基づいて、静止画像領域３３３の各ラインをシフトさせることによって、動画像領域３３２の中心の位置と、シフト後の静止画像領域３４１の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
【０１５６】
また、図２０Ａに示すように、有効画素領域３５１上の動画像領域３５２と静止画像領域３５３とを同じ領域としてもよい。なお、図２０Ａでは、有効画素領域３５１上における動画像領域３５２と、静止画像領域３５３とを見やすくするため、動画像領域３５２および静止画像領域３５３の位置は、わずかにずれされて図示されている。
【０１５７】
動画像領域３５２と静止画像領域３５３とが同じ領域である場合にも、図１９における場合と同様に、画像処理装置１００は、動画像に対しては手振れの補正を行わないので、図２０Ｂに示すように、動画像領域３５２のシフト量および歪み補正量は算出されずに、動画像領域３５２の画像データが、動画像の各フィールドの画像データとして読み出される。
【０１５８】
これに対して、画像処理装置１００は、静止画像に対しては手振れの補正を行うので、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域３５３のラインごとの歪み補正量を算出して手振れの補正を行う。
【０１５９】
図２０Ｂの例では、シフト量に基づく補正は行われずに、静止画像領域３５３のラインごとの歪み補正量に基づく補正だけが行われている。すなわち、画像処理装置１００は、シフト量に基づいて、静止画像領域３５３をシフトさせずに、算出されたラインごとの歪み補正量に基づいて、静止画像領域３５３を構成する各ラインをシフトさせる。これにより、静止画像領域３５３の中心の位置をシフトさせずに、静止画像の歪みが補正される。図２０Ｂでは、静止画像領域３５３の歪み補正量に基づくシフト後の領域は、静止画像領域３６１となる。
【０１６０】
このように、歪み補正量に基づいて、静止画像領域３５３の各ラインをシフトさせることによって、動画像領域３５２の中心の位置と、シフト後の静止画像領域３６１の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
【０１６１】
次に、図２１のフローチャートを参照して、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合に、画像処理装置１００により行われる手振れ補正量の算出処理について説明する。
【０１６２】
ステップＳ１１１において、補正量算出部１１９は、振動検出部１１８から、振動検出部１１８において検出された振動量（のデータ）を取得する。例えば、補正量算出部１１９は、図１５を参照して説明したように、静止画像領域を構成するラインごとの振動量を取得する。
【０１６３】
ステップＳ１１２において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、ラインごとの歪み補正量を算出する。例えば、補正量算出部１１９は、図１３のステップＳ１３の処理と同様の処理を行い、図１９Ａの静止画像領域３３３を構成する各ラインの、図中、左右方向および上下方向の歪み補正量を算出する。
【０１６４】
補正量算出部１１９は、歪み補正量を算出すると、算出した歪み補正量をメモリ１２０に供給する。また、補正量算出部１１９は、予め定められた静止画像領域を示す領域情報を生成して、メモリ１２０に供給する。
【０１６５】
ステップＳ１１３において、メモリ１２０は、補正量算出部１１９から供給された領域情報および歪み補正量を記憶する。
【０１６６】
ステップＳ１１４において、メモリ１２０は、AFE１１２を介して撮像素子１１１から供給された画像データを記憶して、手振れ補正量の算出処理は終了する。ここで、撮像素子１１１から供給された画像データは、例えば、図１９Ａの有効画素領域３３１の全体から読み出された画像データとされる。
【０１６７】
このようにして、画像処理装置１００は、手振れによる振動の影響を低減させるための歪み補正量を算出する。
【０１６８】
このように、シフト量を算出せずに、歪み補正量だけを算出することにより、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合においても、動画像領域の中心の位置と、シフト後の静止画像領域の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
【０１６９】
また、図１３の手振れ補正量の算出処理と、図２１の手振れ補正量の算出処理とを比較すると、図２１における手振れ補正量の算出処理においては、静止画像領域のシフト量は算出されない。また、図２１の手振れ補正量の算出処理においては、図１３のステップＳ１７の処理に対応する処理が行われないが、これは、動画像領域のシフト量および静止画像領域のシフト量が常に０であるから、常に動画像領域のシフト量と、静止画像領域のシフト量との差が閾値以上ではないと判定されるものとして、その判定の処理が省略され、静止画像領域（のサイズ）が修正されないものと考えることができる。
【０１７０】
次に、図２２のフローチャートを参照して、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合に、画像処理装置１００により行われる手振れ補正処理について説明する。
【０１７１】
ステップＳ１４１において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている画像データを取得する。メモリ１２０から読み出された画像データは、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換されて画像補間部１１４に供給される。画像補間部１１４に供給された画像データは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
【０１７２】
ステップＳ１４２において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている領域情報および歪み補正量を取得する。取得された領域情報および歪み補正量も、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
【０１７３】
その後、ステップＳ１４３の処理乃至ステップＳ１４５の処理が行われて、静止画像の画像データが読み出され、記録媒体に記録されるが、ステップＳ１４３の処理乃至ステップＳ１４５の処理のそれぞれは、図１８のステップＳ８３の処理乃至ステップＳ８５の処理のそれぞれと同様であるため、その説明は省略する。なお、ステップＳ１４３において、画像補間部１１４は、メモリ１２０から取得した領域情報および歪み補正量に基づいて、静止画像の画像データの読み出し位置を決定する。
【０１７４】
このようにして、画像補間部１１４は、メモリ１２０から画像データ、領域情報、および歪み補正量を取得して、取得した領域情報および歪み補正量に基づいて静止画像の画像データを読み出して、記録媒体に記録させる。
【０１７５】
このように、領域情報および歪み補正量に基づいて画像データを読み出すことで、手振れによる振動の影響がラインごとに低減された静止画像の画像データを記録させることができる。これにより、手振れによる影響が補正された静止画像をユーザに提供することができる。
【０１７６】
以上のように、本発明によれば、画像処理装置１００に加えられた振動量を検出して、シフト量および歪み補正量を算出し、算出されたシフト量および歪み補正量を制限するとともに、必要に応じて、静止画像領域の中心の位置が、動画像領域の中心の位置により近い位置となるように、静止画像領域を修正するようにしたので、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像をより自然な画像とすることができる。
【０１７７】
なお、AFE１１２からメモリ１２０に画像データが供給されると説明したが、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換された画像データを、メモリ１２０に供給して記憶させるようにしてもよい。また、メモリ１２０を設けずに、図６のメモリ１２０に供給させる画像データ、領域情報、シフト量、および歪み補正量をメモリ１１７に記憶させるようにしてもよい。
【０１７８】
さらに、補正量算出部１１９において算出された、領域情報、シフト量、および歪み補正量がＴＧ１１５に供給されて、ＴＧ１１５が撮像素子１１１を制御して、撮像素子１１１に、有効画素領域から、領域情報、シフト量、および歪み補正量に基づく、手振れの影響が低減されたシフト後の静止画像領域の画像データを読み出させて、AFE１１２に供給させるようにしてもよい。この場合、画像補間部１１４において行われていた手振れを補正するための処理が、撮像素子１１１において行われることになる。
【０１７９】
図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ４０１のCPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記録部４１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。
【０１８０】
CPU４１１にはまた、バス４１４を介して入出力インターフェース４１５が接続されている。入出力インターフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。
【０１８１】
入出力インターフェース４１５に接続されている記録部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記録する。通信部４１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１８２】
また、通信部４１９を介してプログラムを取得し、記録部４１８に記録してもよい。
【０１８３】
入出力インターフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部４１８に転送され、記録される。
【０１８４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４３１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記録部４１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１８６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８８】
【図１】従来の有効画素領域上における動画像領域と静止画像領域との関係を示す図である。
【図２】従来の動画像の手振れの補正について説明するための図である。
【図３】従来の静止画像の撮像について説明するための図である。
【図４】従来の静止画像の手振れの補正について説明するための図である。
【図５】従来の静止画像の手振れの補正について説明するための図である。
【図６】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図７】フォーカルプレーンシャッタ方式により生じる被写体の歪みを説明するための図である。
【図８】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図９】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図１０】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図１１】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図１２】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図１３】手振れ補正量の算出処理を説明するフローチャートである。
【図１４】静止画像領域を説明するための図である。
【図１５】振動検出部において検出される振動量を説明するための図である。
【図１６】縮小された静止画像領域を説明するための図である。
【図１７】シフト量の制限処理を説明するフローチャートである。
【図１８】手振れ補正処理を説明するフローチャートである。
【図１９】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図２０】動画像撮影中に撮像された静止画像の補正について説明するための図である。
【図２１】手振れ補正量の算出処理を説明するフローチャートである。
【図２２】手振れ補正処理を説明するフローチャートである。
【図２３】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８９】
１１１  撮像素子，  １１４  画像補間部，  １１７  メモリ，  １１８  振動検出部，  １１９  補正量算出部，  １２０  メモリ，  １３１  領域修正部，  ４１１  CPU，  ４１２  ROM，  ４１３  RAM，  ４１８  記録部，  ４３１  リムーバブルメディア
【図１】
0004446193.tif 000002
【図２】
0004446193.tif 000003
【図３】
0004446193.tif 000004
【図４】
0004446193.tif 000005
【図５】
0004446193.tif 000006
【図６】
0004446193.tif 000007
【図７】
0004446193.tif 000008
【図８】
0004446193.tif 000009
【図９】
0004446193.tif 000010
【図１０】
0004446193.tif 000011
【図１１】
0004446193.tif 000012
【図１２】
0004446193.tif 000013
【図１３】
0004446193.tif 000014
【図１４】
0004446193.tif 000015
【図１５】
0004446193.tif 000016
【図１６】
0004446193.tif 000017
【図１７】
0004446193.tif 000018
【図１８】
0004446193.tif 000019
【図１９】
0004446193.tif 000020
【図２０】
0004446193.tif 000021
【図２１】
0004446193.tif 000022
【図２２】
0004446193.tif 000023
【図２３】
0004446193.tif 000024