被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、前記演算部により算出されたデフォーカス量に基づき前記結像光学系の結像光学系駆動制御部と、前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、を具備することを特徴とする撮像装置。前記焦点検出用画素対は、複数対形成されており、前記撮像素子駆動制御部は、前記露光期間中に、互いに隣接する焦点検出用画素対の間の距離以内の距離だけ前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。前記撮像素子駆動制御部は、前記焦点検出用画素の離散度及び前記焦点検出用画素の露光時間に基づいて前記撮像素子の移動量を調整することを特徴とする請求項2に記載の撮像装置。前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第1の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第2の駆動と、を重畳させて前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。前記撮像素子駆動制御部は、前記焦点検出用画素対から出力される撮像信号における高周波成分を除去するために前記撮像素子を移動させる第1の駆動と、前記撮像装置の手ぶれ補正を行うために前記撮像素子を移動させる第2の駆動と、を切り替えて前記撮像素子を移動させることを特徴とする請求項1に記載の撮像装置。撮影用の撮像素子上で位相差AFを行う方式では、本来は撮影用の画素があるべき位置に焦点検出用の画素を形成している。ここで、焦点検出用の画素の離散度が高い場合、高周波成分が多くなる合焦点の近傍領域においてエイリアシングの影響で相関演算の誤差が大きくなって焦点検出精度が低下し易い。これに対し、合焦点の近傍領域での焦点検出精度を高めるためには、撮像素子上に焦点検出用画素を密に配置する手法や撮像素子の光入射面に光学ローパスフィルタLPFを配して高周波成分を除去したりする手法等が考えられる。しかしながら、何れの手法であっても撮影画像の画質には悪影響を与えてしまう。このように、従来の技術では焦点検出精度の向上と撮影画像の画質の向上とは両立させることが困難である。本発明は、上記の事情に鑑みてなされたもので、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することを目的とする。上記の目的を達成するために、本発明の一態様の撮像装置は、被写体からの光束に応じた撮像信号を出力する複数の画素を有し、該複数の画素の一部に、それぞれが結像光学系の異なる瞳領域を通過した光束を受光する焦点検出用画素対が形成された撮像素子と、前記焦点検出用画素対からそれぞれ出力された撮像信号から2像間隔を算出し、該算出した2像間隔から前記結像光学系の被写体に対するデフォーカス量を算出する演算部と、前記演算部により算出されたデフォーカス量に基づき前記結像光学系の結像光学系駆動制御部と、前記焦点検出用画素対に前記光束を受光させる露光期間中に前記撮像素子を移動させて前記焦点検出用画素対から出力される撮像信号における高周波成分を除去する撮像素子駆動制御部と、を具備することを特徴とする。本発明によれば、撮影用画素と焦点検出用画素とが1つの撮像素子上に形成された撮像装置において、撮影画像の画質を確保した上で焦点検出精度を向上可能な撮像装置を提供することができる。以下、図面を参照して本発明の実施形態を説明する。図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ以下、単にカメラというの構成を示す図である。図1に示すカメラは、レンズ交換式のカメラを例示しており、交換レンズ100と、カメラ本体200とを有している。交換レンズ100は、カメラ本体200に対して着脱自在に構成されている。交換レンズ100がカメラ本体200に装着されることにより、交換レンズ100とカメラ本体200とが通信自在に接続される。交換レンズ100は、レンズ101と、絞り102と、ドライバ103と、レンズ制御部104と、レンズ情報記憶部105と、通信部106とを有している。レンズ101は、フォーカスレンズを含む複数のレンズから構成されており、図示しない被写体からの光束を撮像素子202に結像させる結像光学系である。このレンズ101は、フォーカスレンズをその光軸方向に沿って駆動させることにより、焦点位置を調節可能に構成されている。絞り102は、撮像素子202に結像される被写体からの光束の光量を調節する。ドライバ103は、モータ等を有して構成されている。ドライバ103は、レンズ制御部104の制御の下、レンズ101が有するフォーカスレンズをその光軸方向に駆動させる。また、ドライバ103は、レンズ制御部104の制御の下、絞り102を開閉させる。レンズ制御部104は、カメラ本体200の制御部209の制御に従って、交換レンズ100の動作を制御する。また、レンズ制御部104は、レンズ情報記憶部105に記憶されているレンズ情報を制御部209に送信することも行う。レンズ情報記憶部105は、レンズ101の収差や焦点距離等の交換レンズ100の各種動作に必要な情報を記憶している。通信部106は、レンズ制御部104がカメラ本体200の制御部209と通信するためのインターフェイスを備えている。カメラ本体200は、シャッタ201と、撮像素子202と、アクチュエータ203と、読み出し部204と、記憶部205と、画像処理部206と、表示部207と、記録媒体208と、制御部209と、操作部210と、動き検出部211とを有している。シャッタ201は、撮像素子202の撮像面を遮光状態又は露出状態とすることで撮像素子202の露光時間を調節する機械的機構である。撮像素子202は、レンズ101を介して結像された被写体からの光束被写体像を、光束の光量に応じた電気信号以下、撮像信号というに変換するための撮像面を有している。撮像面は、複数の画素が2次元状に配置されて構成されている。また、撮像面の光入射側には、例えば原色系ベイヤ配列のカラーフィルタが設けられている。この撮像素子202は、レンズ101を介して集光された被写体像を撮像し、被写体像を電気信号として出力する。ここで、撮像素子202は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子202の露光時間を電子的に制御する機能である。図2は、本実施形態における撮像素子202の画素配列を示した図である。図2に示すように、本実施形態における撮像素子202には、撮影用画素2021と、焦点検出用画素列2022とが形成されている。撮影用画素2021は、記録媒体208に記録される撮影画像を取得するため等に用いられる画素であって、図2に示すようにして2次元状に形成されている。ここで、図2は、画素配列が原色系のベイヤ配列であり、赤色の感度を有する画素をR画素、緑色の感度を有する画素をG画素、青色の感度を有する画素をB画素として示している。しかしながら、カラーフィルタの配列は必ずしもベイヤ配列とする必要はない。焦点検出用画素列2022は、位相差AFのために用いられる画素であって、撮像素子202の撮像面の一部の領域中に形成されている。図2では、焦点検出用画素列2022を撮像素子202の水平方向に沿って形成している。本実施形態では、カメラを正位置で構えたときに地面に対して水平となる撮像素子202の方向を撮像素子202の水平方向とする。このような焦点検出用画素列2022内のG画素の位置には、複数の焦点検出用画素対が形成されている。各焦点検出用画素対は、所定間隔図2では1画素だけ離間して配置された焦点検出用画素2022lと、焦点検出用画素2022rとを有している。さらに、画素列同士で見た場合、焦点検出用画素2022l同士及び焦点検出用画素2022r同士はそれぞれ所定間隔以下、離散度というだけ離間して配置されている。図2は、離散度が8画素の例である。図3は、撮像素子202に形成された画素の詳細な構成を示す図である。ここで、図3aは、撮影用画素2021の構成を示す。また、図3bは、焦点検出用画素2022lの構成を示し、図3cは、焦点検出用画素2022rの構成を示している。図3aに示すように、撮影用画素2021は、マイクロレンズ301と、光電変換素子302とを有している。マイクロレンズ301は、レンズ101の対称に分割された異なる瞳領域を通過した光束を光電変換素子302に結像させるように設計されたレンズである。光電変換素子302は、例えばフォトダイオードであり、マイクロレンズ301を介して結像された光束を電気信号に変換して出力する。図3b及び図3cに示すように、焦点検出用画素2022lは、マイクロレンズ301と、光電変換素子302と、遮光部材303とを有している。マイクロレンズ301と光電変換素子302とは、撮影用画素2021と同様のものである。焦点検出用画素2022lの遮光部材303は、図2に示すように、マイクロレンズ301の右側領域を遮光するように形成されており、マイクロレンズ301の左側領域から入射した光束Llを光電変換素子302に結像させる。焦点検出用画素2022rの遮光部材303は、図2に示すように、マイクロレンズ301の左側領域を遮光するように形成されており、マイクロレンズ301の右側領域から入射した光束Lrを光電変換素子302に結像させる。ここで、本実施形態では、遮光部材を用いる方式で瞳分割を行っているが、マイクロレンズを偏芯させる方式や、1つの光電変換素子302を分割する方式等で瞳分割を行っても良い。ここで、図1の説明に戻る。アクチュエータ203は、レンズ101の光軸に垂直な平面内で撮像素子202を物理的に駆動させるための機械機構である。このアクチュエータ203は、モータ等の駆動部と、撮像素子202の移動機構とを有している。アクチュエータ203は、撮像素子駆動制御部212からの駆動制御信号に従って撮像素子202の駆動を実行する。読み出し部204は、撮像素子202で得られた撮像信号を読み出して各種のアナログ処理を行う。このアナログ処理としては、例えば、リセットノイズの低減処理、波形整形処理、ゲイン制御処理が含まれる。また、読み出し部204は、アナログの撮像信号をデジタル信号以下、画像データと言うに変換することも行う。記憶部205は、カメラ本体200内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する記憶部である。画像処理部206は、記憶部205に記憶された画像データを読み出し、画素欠陥補正処理や、焦点検出用画素の補間処理、歪み補正処理、デモザイキング処理、画像圧縮処理等の画像処理を施す。画素欠陥補正処理は、撮像素子202に欠陥画素がある場合に、その欠陥画素位置の撮影用の画像データを補間により得る処理である。焦点検出用画素の補間処理は、焦点検出用画素の位置に対応した撮影用の画像データを補間により得る処理である。歪み補正処理は、レンズ101の収差等に起因して撮影用の画像データに発生している歪みを補正する処理である。デモザイキング処理は、1画素が1つの色成分に対応している画像データを、1画素が3つの色成分に対応している画像データに変換する処理である。画像圧縮処理は、各種の画像処理が施された撮影用の画像データに対してJPEG方式等の所定の方式を用いて圧縮する処理である。表示部207は、例えば液晶ディスプレイLCDであり、画像処理部206によって処理された画像データに基づく画像等の各種の画像を表示する。記録媒体208は、例えばカメラ本体200に着脱自在になされたメモリカードであって、画像処理部206によって圧縮された画像データを含む画像ファイル等が記録される。制御部209は、シャッタ201、撮像素子202、撮像素子駆動制御部212の動作制御等のカメラ本体200の各種シーケンスを統括的に制御する。また、位相差AFの実行時において、制御部209は、AF演算部213で演算されたデフォーカス量や撮影者によって設定された撮影モード等に応じてレンズ101を合焦させるために必要なフォーカスレンズの駆動量や駆動速度を算出し、それらをレンズ制御信号としてレンズ制御部104に出力する。このように、制御部209とレンズ制御部104とにより、結像光学系駆動制御部が構成されている。操作部210は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。撮影者により操作部210の操作がなされると、制御部209は、その操作に対応したシーケンスを実行する。動き検出部211は、例えば3軸の加速度センサであり、カメラ本体200の動き量を検出する。撮像素子駆動制御部212は、制御部209からの手ぶれ補正指示又は位相差AF指示に従ってアクチュエータ203を駆動するための駆動制御信号を生成し、生成した駆動制御信号をアクチュエータ203に入力する。図4は、撮像素子駆動制御部212の構成を示す図である。図4に示すように、撮像素子駆動制御部212は、位相差AF用制御部2121と、手ぶれ補正用制御部2122と、重畳部2123と、撮像素子ドライバ2124とを有している。位相差AF用制御部2121は、制御部209から、位相差AF指示としての撮像素子202内の焦点検出用画素の露光時間等の情報を受け取り、焦点検出用画素の露光時間に応じた駆動制御信号を生成して重畳部2123に出力する。手ぶれ補正用制御部2122は、制御部209から手ぶれ補正指示としてのカメラ本体200の動き量の情報を受け取り、撮影時におけるカメラ本体200の揺れによる影響が軽減するように駆動制御信号を生成して重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号に位相差AF用制御部2121からの駆動制御信号を重畳して撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、重畳部2123から受け取った駆動制御信号を元にアクチュエータ203の駆動電流を生成し、生成した駆動電流をアクチュエータ203に出力する。ここで、図1の説明に戻る。AF演算部213は、焦点検出用画素2022l、2022rからそれぞれ得られた画像データを用いた相関演算によってレンズ101のデフォーカス量を算出する。例えば、焦点検出用画素列2022の配列方向が撮像素子202の水平方向である場合、被写体のある点からの光束Llは、レンズ101の左側の瞳領域を通過して焦点検出用画素2022lで受光される。また、この点と同一の点からの光束Lrは、レンズ101の右側の瞳領域を通過して焦点検出用画素2022rで受光される。ここで、レンズ101が合焦状態に近い場合、被写体の同一の点から出射された光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔が狭くなる。そして、レンズ101が合焦状態から外れるにつれて2像間隔が広くなる。このように、レンズ101の合焦状態と2像間隔とは線形関係を有しているので、2像間隔を検出することにより、レンズ101のデフォーカス量を算出することが可能である。この2像間隔を検出するための演算が相関演算である。相関演算の詳細な演算手法については従来周知の手法を用いれば良いので説明を省略する。次に、図5のフローチャートを参照して、本発明の一実施形態に係る撮像装置の動作について説明する。図5は、本実施形態の撮像装置における撮影動作のシーケンスを示すフローチャートである。撮影者の操作部210の電源ボタンの操作により、カメラ本体200の電源がオンとなると図5の動作が開始される。カメラ本体200の電源がオンされると、制御部209は、スルー画表示を実行する。スルー画表示において、制御部209は、撮像素子202の動作を開始させ、撮像素子202を介して得られる画像データに基づく画像を表示部207にリアルタイム表示させる。その後、制御部209は、撮像素子202の手ぶれ補正用駆動を実行するステップS101。この手ぶれ補正用駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、撮像素子駆動制御部212の手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量が相殺されるような撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用制御部2122からの駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。この第2の駆動としての手ぶれ補正用駆動により、撮像素子202を介して得られる画像データにおける画像ぶれが軽減される。このような手ぶれ補正用駆動を行うのは、表示部207にスルー画を表示する際に撮影者が構図をスムーズに確認できるようにするためである。手ぶれ補正用駆動の実行後、制御部209は、操作部210のシャッタボタンが押されたかどうかを判定するステップS102。シャッタボタンが押されるまでは制御部209は、ステップS101の処理を繰り返す。この場合、手ぶれ補正を伴うスルー画表示が継続される。また、シャッタボタンが押された場合、制御部209は、撮像素子202の位相差AF駆動を実行するステップS103。この第1の駆動としての位相差AF駆動において、制御部209は、動き検出部211によって検出されたカメラ本体200の動き量を、手ぶれ補正用制御部2122に出力して手ぶれ補正を指示する。この指示を受けて、手ぶれ補正用制御部2122は、入力されたカメラ本体200の動き量を相殺するような撮像素子202の駆動量に応じた駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。また、制御部209は、焦点検出用画素の露光時間等の位相差AF駆動に必要な情報を、位相差AF用制御部2121に出力して位相差AF駆動を指示する。この指示を受けて、位相差AF用制御部2121は、入力された露光時間に応じた撮像素子202の駆動量を示す駆動制御信号を生成し、生成した駆動制御信号を重畳部2123に出力する。重畳部2123は、手ぶれ補正用の駆動制御信号に位相差AF駆動用の駆動制御信号を重畳し、これにより得られた駆動制御信号を撮像素子ドライバ2124に出力する。撮像素子ドライバ2124は、受け取った駆動制御信号に応じてアクチュエータ203を駆動させる。このような位相差AF駆動の詳細については後述する。位相差AF駆動の実行後、制御部209は、位相差AF用の画像データの読み出しを指示するステップS104。これを受けて、読み出し部204は、撮像素子202の焦点検出用画素列2022から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、AF演算部213にデフォーカス量の算出を指示するステップS105。これを受けてAF演算部213は、記憶部205から画像データを読み出し、読み出した画像データから、光束Llの受光位置と光束Lrの受光位置との間隔である2像間隔を検出し、検出した2像間隔からレンズ101のデフォーカス量を算出するステップS105。AF演算部213は、算出したデフォーカス量を制御部209に出力する。その後、制御部209は、入力されたデフォーカス量が予め定めた合焦範囲内であるかどうかを判定するステップS106。ここで、合焦範囲とは、レンズ101の焦点深度に応じて設定されるものであり、レンズ101が合焦していると判断できる範囲のことである。デフォーカス量が合焦範囲外である場合、制御部209は、デフォーカス量に応じたレンズ駆動を実行するステップS107。このレンズ駆動において、制御部209は、デフォーカス量が相殺されるようなフォーカスレンズの駆動量を示すレンズ駆動制御信号を生成し、生成したレンズ駆動制御信号をレンズ制御部104に出力する。レンズ制御部104は受け取ったレンズ駆動制御信号をドライバ103に出力する。ドライバ103は、受け取ったレンズ駆動制御信号に応じてレンズ101のフォーカスレンズを駆動させる。このようなレンズ駆動により、レンズ101のデフォーカス量が小さくなる。このレンズ駆動の後、制御部209は、処理をステップS104に戻す。ステップS106において、デフォーカス量が合焦範囲内である場合、制御部209は、手ぶれ補正用駆動を再び実行するステップS108。その後、制御部209は、撮像素子202の本撮像を実行するステップS109。本撮像においては、撮像素子202の露光量を所定の適正値とするように、絞り102の絞り量や撮像素子202の露光時間シャッタ201の開放量を設定しつつ、撮像素子202による露光を実行する。本撮像の後、制御部209は、撮影用の画像データの読み出しを指示するステップS110。これを受けて、読み出し部204は、撮像素子202の全画素から画像データを読み出し、読み出した画像データを記憶部205に記憶させる。画像データの読み出し後、制御部209は、画像処理部206に画像処理の実行を指示するステップS111。これを受けて画像処理部206は、記憶部205から画像データを読み出し、読み出した画像データを用いて画素補間処理を施す。画素補間処理は、種々の手法を用いることができる。例えば、焦点検出用画素2022l、2022rの周囲の同色画素図2の例ではG画素の画像データの平均値を用いて焦点検出用画素2022l、2022rの位置の画像データを補間することができる。この他、画素補間処理の代わりに焦点検出用画素2022l、2022rの画像データをそのまま用いるようにしても良い。画素補間処理の後、画像処理部206は、画素欠陥補正処理、歪み補正処理、デモザイキング処理、画像圧縮処理等のその他の画像処理を施し、画像処理後の画像データを記憶部205に記憶させる。その後、制御部209は、記憶部205から画像処理後の画像データを読み出し、読み出した画像データに所定のヘッダ情報を付与して画像ファイルを作成し、作成した画像ファイルを記録媒体208に記録させるステップS112。その後、制御部209は、ステップ102へ処理を戻す。このようにして一連の撮影動作が行われる。次に、位相差AF駆動について詳しく説明する。まず、基本的な動きを説明するために手ぶれ補正用駆動が行われない場合を例に説明する。即ち、手ぶれ補正用制御部2122が駆動制御信号を出力せずに位相差AF用制御部2121のみが駆動制御信号を出力し、撮像素子ドライバ2124が位相差AF用制御部2121からの駆動制御信号に従ってアクチュエータ203を駆動させる例である。この時の撮像素子202の駆動の様子を示したのが図6である。本実施形態では、焦点検出用画素対の配列方向と平行になるように撮像素子202を駆動させる。図2の例では、水平方向に撮像素子202を駆動させる。ここで、図6の縦軸は、撮像素子202の変位量を示しており、右方向を正方向としている。また、図6の縦軸で示す1ELは、離散度を示している。離散度は、焦点検出用画素のサンプリングピッチに対応した量であって、図6の例では1EL=8画素である。また、図6の横軸は経過時間を示している。図6に示すように、焦点検出用画素の露光は、垂直同期信号VDに同期して行われる。図6の例では、VD信号の間隔を20msとし、4回連続で露光を行っている。ここで、図6の例では、4回の露光動作を行う例を示しているが露光回数は、4回に限定されるものではない。図6に示すように、本実施形態では、1回の露光期間中に水平方向に1ELだけ動くように撮像素子202を駆動させる。また、1回の露光期間毎に撮像素子202の移動方向を反転させるように撮像素子202を駆動させる。この場合、撮像素子202は水平方向に沿って振動するように移動する。図6の例の場合には、振動周期は40msとなり、振動周波数は25Hzとなる。図6のようにして撮像素子202を駆動させた場合の撮像素子202の様子を光軸方向から拡大して示したものが図7である。図7において、白抜きの丸で示す画素が撮影用画素2021を示し、ハッチングを施した画素が焦点検出用画素を示している。そして、Lは焦点検出用画素2022lであり、Rは焦点検出用画素2022rである。さらに、図7において括弧書きで示した番号は、図6の時間軸に沿って括弧書きで示した番号とそれぞれ対応しており、時間の経過とともに撮像素子202がどのように動くかを示している。露光開始の時点では1の状態である。この後、撮像素子202の露光開始に伴って右方向への撮像素子202の移動が開始される。露光開始から10msが経過すると2の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から12EL=4画素だけずれる。さらに、露光開始から10msが経過すると1回分の露光が終了して3の状態となる。このとき、焦点検出用画素2022l、2022rの位置が初期の位置から1EL=8画素だけずれる。この後、画像データの読み出しが行われて1回の露光動作が終了する。この1回の露光動作により、1つの焦点検出用画素を用いて、8画素分の範囲の光束を2.5msずつの露光時間でサンプリングすることが可能である。2回目の露光開始から10msが経過すると4の状態となる。4の状態は2と同一である。さらに、10msが経過すると5の状態となる。5の状態は1と同一であり、これにより撮像素子202の位置が初期状態に復帰する。以後、3回目の露光時には1回目の露光時と同様に撮像素子202が駆動され、4回目の露光時には2回目の露光時と同様に撮像素子202が駆動される。なお、位相差AFに用いる画像データは、例えば4回の露光の平均値を用いる。次に、手ぶれ補正用駆動が行われる場合の動作について説明を行う。図8は、手ぶれ補正用駆動と位相差AF用駆動とを併用した場合について説明するためのグラフである。ここで、図8においては、撮像素子202の変位を縦軸に、時間変化を横軸に示している。ここでは簡略化のために水平方向のみの変位を図示しているが、実際には垂直方向にも駆動させているものとする。図8の領域AはステップS101の期間に対応している。同様に図8の領域BはステップS103の期間に対応し、領域CはステップS108の期間に対応している。さらに、点Sのタイミングで本撮像を行っている。上述したように、領域A、Cの期間では、手ぶれ補正用の撮像素子202の駆動のみが行われる。即ち、カメラ本体200の動きによる画像のぶれを補正する方向にのみ撮像素子202を駆動する。この手ぶれ補正用駆動によって、撮影者の意図しない手ぶれによる画像ぶれの影響を軽減できる。なお、一般に人の手ぶれは、およそ数Hz~十数Hz程の振動であるので撮像素子202の駆動周期もそれと同程度となる。一方、領域Bでは、手ぶれ補正用駆動に位相差AF用駆動を重畳して撮像素子202を駆動する。両駆動の重畳の仕方は、手ぶれ補正用駆動量に応じて異ならせる。例えば、手ぶれ補正用の駆動量が位相差AF用駆動量よりも小さい場合には、図8の破線で示す手ぶれ補正用駆動量に対してさらに位相差AF用の駆動量分だけ撮像素子202を能動的に動かす。一方、手ぶれ補正用の駆動量が位相差AF用の駆動量よりも大きい場合には、手ぶれ補正用駆動のみ行う。この時、完全に手ぶれを補正してしまうと位相差AF用駆動の効果がなくなってしまうので、位相差AF用の駆動に必要な駆動量だけ撮像素子202が動くようにする。以上説明したように本実施形態では、位相差AF時に撮像素子202を能動的に駆動させることで、焦点検出用画素をその配列方向に沿ってスキャンさせることが可能である。これにより、焦点検出用画素の離散度を大きくしても、撮像面上に結像している光束を広範囲でサンプリングできる。また、このような位相差AF駆動では、実質的にローパスフィルタを用いたのと同様の効果が得られる。即ち、撮像信号における高周波成分が除去されるので、エイリアシングの影響によって相関演算の誤差が大きくなる合焦点の近傍付近でも精度良く、デフォーカス量算出を行うことができる。また、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを併用することにより、画像ぶれの低減と位相差AFの検出精度の向上とを両立させることが可能である。さらに、手ぶれ補正用の駆動機構と位相差AF用の駆動機構とを別個に設ける必要もない。なお、上述の例では、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とを並列して行うようにしているが、位相差AF用の撮像素子202の駆動と手ぶれ補正用の撮像素子202の駆動とは適宜切り替えて行うようにしても良い。また、図6の例では、焦点検出用画素の配列方向が撮像素子202の水平方向であるため、位相差AF駆動時の撮像素子202の駆動方向が水平方向となっている。しかしながら、焦点検出用画素の配列方向は必ずしも水平方向とする必要はなく、垂直方向や斜め方向に配置することもできる。また、焦点検出用画素列を複数列配置するようにしても良い。また、1回の露光期間中の撮像素子202の駆動量を1EL図2の例では8画素分としているが、0ELより大きく、1EL以内の距離であれば良い。さらに、上述した例では撮像装置の例としてレンズ交換式カメラを示しているが、必ずしもレンズ交換式とする必要はない。本実施形態の技術は、撮影用の撮像素子上で位相差AFを行う各種の撮像装置に適用可能である。以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。