(57)【特許請求の範囲】
【請求項１】
画像データに対して圧縮処理を行う圧縮部と、
前記画像データに前記圧縮処理を行った際の符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行う伸長部と、
前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行う処理部であって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行う処理部と
を有することを特徴とする撮像装置。
【請求項２】
前記圧縮部は、撮像素子に設けられており、
前記圧縮処理が行われた前記画像データが、データ伝送路を介して、前記撮像素子から前記伸長部に伝送されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理部は、前記オートフォーカス処理を、前記符号化パラメータの値の分布に基づいて適応的に行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記処理部は、前記オートフォーカス処理に適用される演算方法を、前記符号化パラメータの値の分布に応じて適応的に選択することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記符号化パラメータは、前記画像データに対して前記圧縮処理を行う際の単位である符号化ブロックの単位で割り当てられ、
前記符号化パラメータは、量子化パラメータを含み、
前記処理部は、前記量子化パラメータの値が第１の閾値より大きい前記符号化ブロックの所定領域内における数が第２の閾値以下である場合には、第１のバンドパスフィルタを用いた処理を、前記伸長処理が行われた前記画像データに対して行い、前記第１のバンドパスフィルタによる処理が行われた前記画像データを用いてコントラストの算出を行い、前記量子化パラメータの値が前記第１の閾値より大きい前記符号化ブロックの前記所定領域内における数が前記第２の閾値より大きい場合には、通過帯域の高域端が前記第１のバンドパスフィルタの通過帯域の高域端より低い第２のバンドパスフィルタを用いた処理を、前記伸長処理が行われた前記画像データに対して行い、前記第２のバンドパスフィルタによる処理が行われた前記画像データを用いて前記コントラストの算出を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記処理部は、前記オートフォーカス処理の際に適用されるレンズの駆動方法を、前記符号化パラメータの値の分布に応じて適応的に選択することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項７】
前記符号化パラメータは、前記画像データに対して前記圧縮処理を行う際の単位である符号化ブロックの単位で割り当てられ、
前記符号化パラメータは、量子化パラメータを含み、
前記処理部は、前記量子化パラメータの値が第３の閾値より小さい前記符号化ブロックの所定領域内における数が第４の閾値以下である場合には、第１の速度で前記レンズを駆動し、前記量子化パラメータの値が前記第３の閾値より小さい前記符号化ブロックの前記所定領域内における数が前記第４の閾値より大きい場合には、前記第１の速度より速い第２の速度で前記レンズを駆動することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記処理部は、前記オートフォーカス処理の際に演算の対象となる領域である、前記画像データの演算対象領域を、前記符号化パラメータの値の分布に応じて適応的に選択することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項９】
前記符号化パラメータは、前記画像データに対して前記圧縮処理を行う際の単位である符号化ブロックの単位で割り当てられ、
前記符号化パラメータは、量子化パラメータを含み、
前記処理部は、前記量子化パラメータの値が第５の閾値より小さい前記符号化ブロックの所定領域内における数が第６の閾値以下である場合には、前記伸長処理が行われた前記画像データから第１の範囲の画像データを抽出し、前記第１の範囲の前記画像データについての相関演算を行い、前記量子化パラメータの値が第５の閾値より小さい前記符号化ブロックの前記所定領域内における数が前記第６の閾値より大きい場合には、前記伸長処理が行われた前記画像データから前記第１の範囲より広い第２の範囲の画像データを抽出し、前記第２の範囲の前記画像データについての相関演算を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
画像データに対して圧縮処理を行うステップと、
前記画像データに前記圧縮処理を行った際の符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行うステップと、
前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行うステップであって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行うステップと
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータを、
画像データに圧縮処理を行った際の符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行う伸長部、
前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行う処理部であって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行う処理部、
として機能させるためのコンピュータプログラム。
【請求項１２】
撮像光学系を介して被写体からの光束を受光し、アナログの電気信号に変換する受光部と、
前記受光部から出力されるアナログの電気信号をデジタルの画像データに変換する変換部と、
前記画像データを、量子化パラメータを含む符号化パラメータに基づいて圧縮する圧縮部と、
前記符号化パラメータと、前記圧縮部により圧縮された前記画像データとを外部素子に出力する出力部と、を有することを特徴とする撮像素子。
【請求項１３】
前記出力部は、符号化データ単位毎に設けられたヘッダに前記符号化パラメータが含まれた前記画像データを前記外部素子に出力することを特徴とする請求項１２に記載の撮像素子。
【請求項１４】
撮像素子より圧縮処理がなされた画像データ及び前記圧縮処理に用いた符号化パラメータを取得する取得手段と、
前記符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行う伸長部と、
前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行う処理部であって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行う処理部と、
を有することを特徴とする画像処理装置。
【請求項１５】
前記取得手段は、前記画像データの符号化データ単位毎に設けられたヘッダに、各ブロックに対応した符号化パラメ−タが含まれた前記画像データを取得し、
前記伸長部は、前記ヘッダに含まれる前記符号化パラメータに基づいて、対応する符号化ブロックの前記画像データを伸長処理することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
撮像光学系を介して被写体からの光束を受光し、アナログの電気信号に変換するステップと、
前記アナログの電気信号をデジタルの画像データに変換するステップと、
前記画像データを量子化パラメータを含む符号化パラメータに基づいて圧縮するステップと、
前記符号化パラメータと、前記圧縮によって圧縮された前記画像データとを外部素子に出力するステップと、を有することを特徴とする撮像素子の制御方法。
【請求項１７】
撮像素子より圧縮処理がなされた画像データ及び前記圧縮処理に用いた符号化パラメータを取得するステップと、
前記符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行うステップと、
前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行うステップであって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行うステップと、
を有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法並びにコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置においては、高解像度、高速連写、動画フレームレートの向上といった性能の更なる向上が要求されている。
このような要求を実現するためには、従来よりも大量のデータを撮像装置内において高速に処理する必要がある。
しかし、大量のデータを伝送するために伝送路の容量（帯域）を大きくすると、高コスト化を招いてしまう。
【０００３】
特許文献１には、撮像素子内に画像データを圧縮する圧縮部を備え、圧縮部によって圧縮された画像データを画像処理装置にバスを介して伝送し、圧縮された画像データに対して画像処理装置内で伸長処理を行う技術が開示されている。特許文献１によれば、伝送容量の大きなバスを用いることなく、大量のデータを伝送することが可能である。
【０００４】
一方、オートフォーカス（ＡＦ）機能を有する撮像装置が、従来より知られている。オートフォーカスの方式としては、様々な方式が提案されている。様々なオートフォーカスの方式のうちの１つとして、撮像素子によって取得される信号に基づいて演算を行うことにより焦点検出を行う技術が提案されている。
【０００５】
例えば、コントラスト方式のオートフォーカスでは、レンズを駆動しながら撮像素子によって信号を取得し、レンズ位置毎の信号のコントラストの変化に基づいて焦点検出を行う。
【０００６】
また、特許文献２には、複数の光電変換部を有する画素が１つのマイクロレンズ下に配置された撮像素子を用いて視差像を取得し、当該視差像を用いて位相差方式の演算を行うことによって、焦点検出を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１０３５４３号公報
【特許文献２】特開２０１３−０７２９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、圧縮処理等が行われた画像データを用いてオートフォーカスを単に行った場合には、良好なオートフォーカスを実現することは困難である。
【０００９】
本発明の目的は、圧縮処理等が行われた画像データを用いて良好なオートフォーカスを実現し得る撮像装置及びその制御方法並びにコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様によれば、画像データに対して圧縮処理を行う圧縮部と、前記画像データに前記圧縮処理を行った際の符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行う伸長部と、前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行う処理部であって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行う処理部とを有することを特徴とする撮像装置が提供される。
本発明の他の態様によれば、画像データに対して圧縮処理を行うステップと、前記画像データに前記圧縮処理を行った際の符号化パラメータに基づいて、前記圧縮処理が行われた前記画像データに対して伸長処理を行うステップと、前記伸長処理が行われた前記画像データに基づいてオートフォーカス処理を行うステップであって、前記オートフォーカス処理を前記符号化パラメータに基づいて適応的に行うステップとを有することを特徴とする撮像装置の制御方法が提供される。
【発明の効果】
【００１１】
本発明によれば、圧縮処理等が行われた画像データを用いて良好なオートフォーカスを実現し得る撮像装置、撮像装置の制御方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態による撮像装置の構成を示すブロック図である。
【図２】圧縮部の構成を示すブロック図である。
【図３】圧縮処理を示すフローチャートである。
【図４】本発明の第１実施形態による撮像装置の符号化パラメータ解析部の構成を示すブロック図である。
【図５】本発明の第１実施形態による撮像装置のＡＦ処理部の構成を示すブロック図である。
【図６】本発明の第２実施形態による撮像装置の撮像素子の画素を示す平面図及び断面図である。
【図７】本発明の第２実施形態による撮像装置の符号化パラメータ解析部の構成を示すブロック図である。
【図８】本発明の第２実施形態による撮像装置のＡＦ処理部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
［第１実施形態］
本発明の第１実施形態による撮像装置及びその制御方法並びにコンピュータプログラムを図１乃至図５を用いて説明する。図１は、本実施形態による撮像装置の構成を示すブロック図である。
【００１５】
図１に示すように、撮像装置１００には、撮像光学系１０１と、撮像素子１０２と、画像処理部１０７と、レンズ駆動制御部１１３とが設けられている。
【００１６】
なお、ここでは、撮像光学系１０１が撮像装置１００の一部である場合を例に説明するが、撮像光学系１０１と撮像装置１００とが別個であってもよい。即ち、撮像光学系１０１が撮像装置１００から取り外し可能、即ち、撮像光学系１０１が交換可能であってもよい。
【００１７】
なお、本実施形態では、コントラスト方式のオートフォーカスを行う場合を例に説明し、後述する第２実施形態においては、位相差方式のオートフォーカスを行う場合を例に説明する。
【００１８】
本実施形態では、撮像素子１０２内において画像データの圧縮処理が行われ、圧縮処理が行われた画像データがバス（データ伝送路、データバス）１０６を介して画像処理部（外部素子）１０７に伝送される。そして、圧縮処理が行われた画像データに対する伸長処理が、画像処理部１０７において行われる。
【００１９】
撮像光学系１０１は、被写体からの光を受け、複数のレンズ群（図示せず）および絞り（図示せず）を介して、撮像素子１０２に光束を導く。撮像光学系１０１を通過した光束は、撮像素子１０２上に結像し、光学像を形成する。撮像光学系１０１は、フォーカシングレンズ（図示せず）を含んでいる。撮像光学系１０１のフォーカシングレンズは、レンズ駆動制御部１１３からの駆動制御命令によって、光軸方向に駆動される。また、フォーカスリングを手動で調節することによっても、撮像光学系１０１のフォーカシングレンズを光軸方向に駆動することが可能である。
【００２０】
撮像素子１０２は、受光部１０３と、Ａ／Ｄ変換部１０４と、圧縮部１０５とを含んでいる。撮像素子１０２は、受光部１０３において光電変換を行い、Ａ／Ｄ変換部１０４においてＡ／Ｄ変換を行う。そして、撮像素子１０２は、圧縮部１０５において所定の符号化処理（圧縮処理）を行うことによって、符号化データ（圧縮データ）を生成し、生成した符号化データを、出力部（出力ポート）１１４を介してバス１０６に出力する。なお、撮像素子１０２の詳細については、後述することとする。
【００２１】
画像処理部１０７は、伸長部１０８と、画像処理回路群１０９と、記録部１１０と、符号化パラメータ解析部１１１と、ＡＦ（オートフォーカス）処理部１１２とを含んでいる。
【００２２】
伸長部１０８は、バス１０６を介して入力される符号化データに対して伸長処理を行うものである。伸長部１０８によって伸長処理が行われた画像データは、画像処理回路群１０９及びＡＦ処理部（ＡＦ部）１１２に出力されるようになっている。また、伸長処理の際に伸長部１０８において参照された符号化パラメータが、符号化パラメータ解析部１１１に出力されるようになっている。
【００２３】
画像処理回路群１０９には、伸長部１０８によって伸長処理が行われた画像データが入力されるようになっている。画像処理回路群１０９は、各種の画像処理を行う。
【００２４】
記録部１１０には、画像処理回路群１０９によって画像処理が施された画像データが入力されるようになっている。画像処理回路群１０９によって行われる圧縮処理によって、例えばＪＰＥＧ形式等の記録用の画像データ（デジタルデータ）が生成され、こうして生成された記録用の画像データが、記録部１１０に記録される。
【００２５】
符号化パラメータ解析部１１１は、伸長部１０８から出力される符号化パラメータを受け取り、当該符号化パラメータの特徴を解析（判定）し、解析結果に基づいて決定されるＡＦ演算モード信号及びＡＦ駆動モード信号をＡＦ処理部１１２に出力する。
【００２６】
ＡＦ処理部１１２は、伸長部１０８によって伸長処理が行われた画像データ（伸長データ）と、符号化パラメータ解析部１１１による解析結果とを受け取り、オートフォーカスに関する演算処理を行い、レンズ駆動命令を出力する。なお、符号化パラメータ解析部１１１とＡＦ処理部１１２とが相俟って、オートフォーカス処理を適応的に行う処理部が実現される。
【００２７】
レンズ駆動制御部１１３は、ＡＦ処理部１１２から出力されるレンズ駆動命令を受け取り、撮像光学系１０１に設けられたフォーカシングレンズを駆動させる。
【００２８】
次に、撮像素子１０２の詳細について説明する。
撮像素子１０２は、上述したように、受光部１０３と、Ａ／Ｄ変換部１０４と、圧縮部１０５とを含んでいる。
【００２９】
受光部１０３には、画素が２次元に配置されている。受光部１０３の各画素は、受光した光を光電変換し、光電変換により得られたアナログ信号をＡ／Ｄ変換部１０４に出力する。
【００３０】
Ａ／Ｄ変換部１０４は、受光部１０３からのアナログ信号（電気信号）をＡ／Ｄ変換することにより、デジタルの画像信号であるＲＡＷデータ（画像データ）を生成する。Ａ／Ｄ変換部１０４は、生成したＲＡＷデータを所定の符号化ブロック（圧縮ブロック）単位で出力する。所定の符号化ブロックの単位でＡ／Ｄ変換部１０４から出力されるＲＡＷデータは、圧縮部１０５に入力される。
【００３１】
ここで、符号化ブロックとは、画像データに対して符号化処理（圧縮処理）を行う際の単位（かたまり）のことであり、例えば、ＪＰＥＧ画像を生成する際の圧縮アルゴリズムに用いられる８×８画素等が該当する。ここでは、説明の簡略化のため、１次元方向の符号化ブロックを用いて説明するが、符号化ブロックは２次元方向に展開されていてもよい。
【００３２】
圧縮部１０５は、符号化ブロック単位でＡ／Ｄ変換部１０４から出力されるＲＡＷデータを受け取り、当該ＲＡＷデータに対して所定の符号化処理を行うことによって、符号化データ（圧縮データ）を生成する。
【００３３】
次に、圧縮部１０５の詳細について、図２及び図３を用いて説明する。図２は、圧縮部の構成例を示すブロック図である。
【００３４】
圧縮部１０５は、量子化部２０１と、エントロピー符号化部２０２と、符号量計測部２０３と、符号量制御部２０４とを含んでいる。
【００３５】
量子化部２０１は、ＲＡＷデータにおける画素間の差分値（以下、「差分値」という）を抽出し、当該差分値の量子化データを生成するものである。量子化部２０１によって生成された量子化データは、エントロピー符号化部２０２に出力されるようになっている。
【００３６】
エントロピー符号化部２０２は、量子化部２０１から入力される量子化データ（シンボル）の出現頻度に基づいて、各々の量子化データに符号を割り当て、符号化データを生成するものである。エントロピー符号化部２０２において行われるエントロピー符号化の方式としては、例えば、特許文献１に記載されたようなゴロム符号化や、ハフマン符号化等が挙げられる。なお、エントロピー符号化部２０２において行われる符号化の方式は、これらの符号化方式に限定されるものではなく、様々な符号化方式を適宜用い得る。エントロピー符号化部２０２によって生成された符号化データは、バス１０６に出力されるとともに、符号量計測部２０３にも出力されるようになっている。
【００３７】
符号量計測部２０３は、符号化ブロック単位の符号化データ量を計測するものである。符号量計測部２０３により計測された符号化データ量、即ち、符号化データ量の計測結果は、符号量制御部２０４に入力されるようになっている。
【００３８】
符号量制御部２０４は、符号量計測部２０３により計測された符号化データ量に基づき、符号量の制御を行うものである。
【００３９】
図３は、圧縮処理を示すフローチャートである。
上述したように、圧縮部１０５の量子化部２０１には、符号化ブロック単位のＲＡＷデータが入力されるようになっている。
【００４０】
圧縮処理においては、まず、ステップＳ３０１が実行される。ステップＳ３０１では、符号化ブロック単位のＲＡＷデータにおける隣接画素間の差分値が、量子化部２０１によって算出される。この後、ステップＳ３０２に移行する。
【００４１】
ステップＳ３０２では、ステップＳ３０１において算出された差分値が、所定の値を用いて、量子化部２０１によって量子化される。かかる所定の値は、量子化ステップを決定するためのパラメータであり、符号量制御部２０４によって動的に決定される。かかる所定の値は、ＱＰ（Quantization Parameter：量子化パラメータ）と称される。差分値は、ＱＰで除算され、除算結果の小数部を四捨五入することによって量子化される。このようにして、量子化された差分値が得られることとなる。この後、ステップＳ３０３に移行する。
【００４２】
ステップＳ３０３では、量子化された差分値に対する符号の割り当て、即ち、符号化が、エントロピー符号化部２０２によって行われる。こうして、符号化データが生成されることとなる。この後、ステップＳ３０４に移行する。
【００４３】
ステップＳ３０４では、エントロピー符号化部２０２によって得られた符号化データのデータ量が、目標となる符号化データのデータ量である目標符号化データ量の範囲内に収まっているか否かが判定される。目標符号化データ量の範囲としては、バス１０６の伝送容量（帯域）に収まるような範囲が設定される。エントロピー符号化部２０２によって得られた符号化データのデータ量が目標符号化データ量の範囲内に収まっていない場合には（ステップＳ３０４においてＮＯ）、ステップＳ３０５に移行する。
【００４４】
ステップＳ３０５では、符号化データのデータ量が目標符号化データ量の範囲内に収まるようにするための制御、即ち、符号量制御が行われる。具体的には、符号化データのデータ量と目標符号化データ量との差分に応じて、ＱＰを大きくしたり小さくしたりすることにより、ＱＰ値が調整される。この後、ステップＳ３０２に戻る。
【００４５】
符号化データのデータ量が目標符号化データ量の範囲内に収まっている場合には（ステップＳ３０４においてＹＥＳ）、当該符号化データの出力が行われる（ステップＳ３０６）。なお、符号化データを出力する際には、符号化パラメータ、即ち、差分値を量子化する際に用いたＱＰや、符号化の際における符号の割り当ての情報である符号割り当て情報が、符号化データと対応付けて出力される。例えば、符号化データ（ブロック）毎に符号化パラメータを符号化データのヘッダとして付加するようにして対応付けを行う。この場合には、出力部１１４は、符号化データ単位毎に設けられたヘッダに符号化パラメータが含まれた画像データを外部素子１０７に出力する。あるいは符号化パラメータのみを後段に出力するバスを更に構成し、後段の伸長部１０８に符号化データと符号化パラメータを同期して入力するようにしてもよい。さらには、符号化データと符号化パラメータを個別に伸長部に転送し、伸長処理の際に対応付けを行うようにしてもよい。
【００４６】
次に、伸長部１０８の詳細について説明する。
【００４７】
撮像素子１０２の圧縮部１０５から出力される符号化データ及び符号化パラメータが、画像処理部１０７の伸長部１０８に入力されると、伸長部１０８はＱＰ等の伸長処理に必要な情報を当該符号化パラメータから読み取る。より具体的には、符号化データ単位毎に設けられたヘッダに含まれる符号化パラメータを読出し、エントロピー符号化に用いたパラメータを参照して伸長処理を行い、さらに量子化パラメータを参照して伸長処理を行う。
【００４８】
伸長部１０８は、読み取った伸長処理に必要な情報に基づいて、符号化データの伸長処理を行う。伸長部１０８は、伸長処理を施したデータ（画像データ）を、画像処理回路群１０９とＡＦ処理部１１２とに出力する。また、伸長部１０８は、符号化ブロック単位で各々の符号化データに割り当てられたＱＰを、符号化パラメータ解析部１１１に出力する。
【００４９】
次に、符号化パラメータ解析部１１１の動作について説明する。
符号化パラメータ解析部１１１には、符号化ブロック単位で割り当てられた符号化パラメータ、より具体的には、ＱＰが、伸長部１０８から順次入力される。符号化パラメータ解析部１１１は、ＱＰの値の分布に基づいて、取得された画像データの特徴を判定する。
【００５０】
ここで、ＱＰについて説明する。
ＱＰは、上述したように、圧縮処理の際に行われる量子化処理における量子化ステップを決定するためのパラメータである。そして、符号化データのデータ量が目標符号化データ量の範囲内に収まるまで、ＱＰが動的に調整される。比較的大きなＱＰが適用された符号化ブロックは、高周波成分を比較的多く含む符号化ブロックであり、量子化誤差が比較的大きくなっている。一方、比較的小さなＱＰが適用された符号化ブロックは、低周波成分を比較的多く含む符号化ブロックであり、量子化誤差が比較的小さくなっている。このため、ＱＰの分布に基づいて、画像データのうちの任意の領域の周波数成分や量子化誤差を推定することが可能である。
【００５１】
図４は、本実施形態による撮像装置の符号化パラメータ解析部の構成を示すブロック図である。
図４に示すように、符号化パラメータ解析部１１１は、高値ブロックカウント部４０１と、低値ブロックカウント部４０２と、解析部４０３とを含んでいる。伸長部１０８から符号化パラメータ解析部１１１に出力される符号化パラメータは、高値ブロックカウント部４０１と低値ブロックカウント部４０２とにそれぞれ入力されるようになっている。
【００５２】
高値ブロックカウント部４０１は、以下の式（１）に示す関係が成立する場合、現在の高値ブロックカウントに１を加算する。
ＱＰ  ＞  第１の閾値  ・・・（１）
【００５３】
式（１）は、高周波成分を比較的多く含む符号化ブロックか否かを判定するためのものである。第１の閾値としては、例えば、ＱＰのとり得る値の最大値を、１．５で除算することにより得られる値が用いられる。高値ブロックカウント部４０１は、式（１）に示す比較演算処理を所定領域内の符号化ブロックの全てに対して適用し、最終的なカウント結果を解析部４０３に出力する。
【００５４】
解析部４０３は、以下の式（２）に示す関係が成立するか否かに基づいて、被写体領域の特性を判定する。
高値ブロックカウントの結果  ＞  第２の閾値  ・・・（２）
【００５５】
第２の閾値としては、例えば、所定領域内の符号化ブロックの総数の８０％程度に相当する値が用いられる。
【００５６】
式（２）が真の場合、即ち、高値ブロックカウントの結果が第２の閾値より大きい場合には、入力された符号化ブロック群に対応する領域、即ち、所定領域に、全体的に高周波成分が含まれており、比較的大きな量子化誤差が分散して存在していると考えられる。このような状態になるのは、ノイズの影響を受けやすい低照度環境において撮影が行われたためと推定し得る。このような場合には、ランダムノイズや量子化誤差の影響を低減すべく、低照度モードのＡＦ処理を行うことが好ましい。従って、このような場合には、低照度モードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部４０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部４０３から出力されるＡＦ演算モード信号の内容が、「低照度モード」に設定される。なお、低照度モードでのＡＦ処理については、後述することとする。
【００５７】
一方、式（２）が偽の場合、即ち、高値ブロックカウントの結果が第２の閾値以下である場合には、通常モードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部４０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部４０３から出力されるＡＦ演算モード信号の内容が、「通常モード（通常照度モード）」に設定される。
【００５８】
低値ブロックカウント部４０２は、以下の式（３）に示す関係が成立する場合、現在の低値ブロックカウントに１を加算する。
ＱＰ  ＜  第３の閾値  ・・・（３）
【００５９】
式（３）は、低周波成分を比較的多く含む符号化ブロックか否かを判定するためのものである。第３の閾値としては、例えば、ＱＰのとり得る値の最大値を、３で除算することにより得られる値が用いられる。低値ブロックカウント部４０２は、式（３）に示す比較演算処理を所定領域内の符号化ブロックの全てに対して適用し、最終的なカウント結果を解析部４０３に出力する。
【００６０】
解析部４０３は、以下の式（４）に示す関係が成立するか否かに基づいて、被写体領域の特性を判定する。
低値ブロックカウントの結果  ＞  第４の閾値  ・・・（４）
【００６１】
第４の閾値としては、例えば、所定領域内の符号化ブロックの総数の８０％程度に相当する値が用いられる。
【００６２】
式（４）が真の場合、即ち、低値ブロックカウントの結果が第４の閾値より大きい場合には、入力された符号化ブロック群に対応する領域、即ち、所定領域に、全体的に低周波成分が分散していると考えられる。このような状態になるのは、合焦状態から著しくはずれた状態であるため、即ち、ぼけた画像になっているためと考えられる。このような場合には、比較的高速でレンズを駆動することにより、合焦状態に早く至らせるためのスキャンモード（駆動モード）、即ち、サーチスキャンモード（高速駆動モード）でのＡＦ処理を行うことが好ましい。従って、このような場合には、サーチスキャンモードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部４０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部４０３から出力されるＡＦ駆動モード信号の内容が「サーチスキャンモード」に設定される。なお、サーチスキャンモードでのＡＦ処理については、後述することとする。サーチスキャンモードにおけるフォーカシングレンズの駆動速度は、後述する通常スキャンモードにおけるフォーカシングレンズの駆動速度よりも速く設定される。
【００６３】
一方、式（４）が偽の場合、即ち低値ブロックカウントの結果が第４の閾値以下である場合には、通常スキャンモードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部４０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部４０３から出力されるＡＦ駆動モード信号の内容が、「通常スキャンモード（通常駆動モード）」に設定される。
【００６４】
なお、符号化パラメータ解析部１１１の構成は、図４に示すような構成に限定されるものではなく、適宜設定し得る。また、符号化パラメータ解析部１１１において行われる符号化パラメータの解析の方法は、上記に限定されるものではなく、適宜設定し得る。
【００６５】
次に、ＡＦ処理部１１２の詳細について、図５を用いて説明する。図５は、本実施形態による撮像装置のＡＦ処理部の構成を示すブロック図である。
【００６６】
本実施形態によるＡＦ処理部１１２は、コントラスト方式のオートフォーカスのためのものである。
【００６７】
ＡＦ処理部１１２は、符号化パラメータ解析部１１１での解析結果、即ち、特徴判定結果に基づいて、オートフォーカス制御を行うものである。ＡＦ処理部１１２は、領域抽出部５０１と、バンドパスフィルタ（ＢＰＦ）５０２，５０３と、コントラスト算出部５０４，５０５と、セレクタ５０６，５０７とを含んでいる。ＡＦ処理部１１２には、伸長部１０８によって伸長されたデータである伸長データが入力されるようになっている。また、ＡＦ処理部１１２には、符号化パラメータ解析部１１１での解析結果に基づくＡＦ制御信号、具体的には、ＡＦ演算モード信号とＡＦ駆動モード信号とが入力されるようになっている。
【００６８】
図５に示すように、伸長データが領域抽出部５０１に入力されるようになっている。領域抽出部５０１は、画像データのうちから焦点検出対象領域に対応する領域のデータを抽出するものである。
【００６９】
領域抽出部５０１によって抽出された、焦点検出対象領域に対応する領域のデータは、バンドパスフィルタ（バンドパスフィルタ回路）５０２、５０３にそれぞれ入力されるようになっている。バンドパスフィルタ５０２、５０３は、入力されたデータに対して所定の係数でフィルタ処理を行うものである。
【００７０】
バンドパスフィルタ５０３における通過帯域は、バンドパスフィルタ５０２における通過帯域よりも低い周波数帯域に設定されている。即ち、バンドパスフィルタ５０３における通過帯域の高域端は、バンドパスフィルタ５０２における通過帯域の高域端よりも低く設定されている。バンドパスフィルタ５０３の通過帯域を、バンドパスフィルタ５０２の通過帯域よりも低い周波数帯域に設定しているのは、以下のような理由によるものである。即ち、後述するように、通常モード（通常照度モード）の場合には、後述するコントラスト算出部５０４から出力されるコントラスト評価値が、ＡＦ評価値として採用される。一方、低照度モードの場合には、後述するコントラスト算出部５０５から出力されるコントラスト評価値が、ＡＦ評価値として採用される。低照度環境において撮影が行われた場合には、高周波ノイズがデータに多く含まれている。高周波ノイズの影響を低減するためには、高周波ノイズが除去されたデータ（画像データ）に基づいてコントラストを算出することが好ましい。このような理由により、バンドパスフィルタ５０３の通過帯域は、バンドパスフィルタ５０２の通過帯域よりも低い周波数帯域に設定されている。
【００７１】
バンドパスフィルタ５０２，５０３の出力は、コントラスト算出部５０４，５０５にそれぞれ入力されるようになっている。コントラスト算出部５０４，５０５は、コントラストの算出を行い、コントラストの算出結果に基づいてコントラスト評価値を出力する。コントラスト算出部５０４，５０５からそれぞれ出力されるコントラスト評価値は、セレクタ５０６に入力されるようになっている。
【００７２】
セレクタ５０６は、ＡＦ演算モード信号に基づいて動作するセレクタである。ＡＦ演算モード信号の内容が「通常モード」である場合には、セレクタ５０６は、コントラスト算出部５０４から出力されたコントラスト評価値を、ＡＦ評価値として出力する。一方、ＡＦ演算モード信号の内容が「低照度モード」である場合には、セレクタ５０６は、コントラスト算出部５０５から出力されたコントラスト評価値を、ＡＦ評価値として出力する。なお、ＡＦ評価値は、被写体像の合焦の程度を示す値であり、ＡＦ評価値に基づいてオートフォーカスの制御が行われる。
【００７３】
また、ＡＦ処理部１１２には、セレクタ５０７が設けられている。セレクタ５０７は、ＡＦ駆動モード信号に基づいて動作するセレクタである。ＡＦ駆動モード信号の内容が「通常スキャンモード」である場合には、通常スキャンステップ間隔でレンズ（フォーカシングレンズ）を駆動させるためのレンズ駆動信号が、ＡＦ処理部１１２のセレクタ５０７からレンズ駆動制御部１１３に出力される。なお、通常スキャンステップ間隔は、予め定められた第１のステップ間隔である。一方、ＡＦ駆動モード信号の内容が「サーチスキャンモード」である場合には、サーチスキャンステップ間隔でレンズ（フォーカシングレンズ）を駆動させるためのレンズ駆動信号が、ＡＦ処理部１１２のセレクタ５０７からレンズ駆動制御部１１３に出力される。なお、サーチスキャンステップ間隔は、第１のスキャンステップ間隔よりも大きいステップ間隔である第２のスキャンステップ間隔である。
【００７４】
サーチスキャンモードにおけるステップ間隔を通常スキャンモードにおけるステップ間隔よりも大きく設定するのは、以下のような理由によるものである。即ち、サーチスキャンモードは、フォーカスが合焦状態から著しくはずれている場合に設定されるモードである。この場合には、フォーカシングレンズを高速で駆動し、早く合焦状態に至らせる必要がある。このため、サーチスキャンモードにおいては、比較的大きいステップ間隔でフォーカシングレンズを駆動するように設定される。一方、通常のスキャンモードは、フォーカスが合焦状態から著しく外れていない場合に設定されるモードである。この場合には、フォーカシングレンズを過度に高速で移動させることはせず、フォーカスを高精度に合わせることが好ましい。このため、通常スキャンモードにおけるステップ間隔は、比較的小さいステップ間隔に設定される。このような理由により、サーチスキャンモードにおけるステップ間隔は、通常スキャンモードにおけるステップ間隔よりも大きく設定される。
【００７５】
このように、本実施形態によれば、圧縮処理を行った際の符号化パラメータに基づいて、オートフォーカス処理を適応的に行う。即ち、本実施形態によれば、オートフォーカス処理に適用される演算方法を、符号化パラメータの値の分布に応じて適応的に選択する。また、本実施形態によれば、オートフォーカス処理の際に適用されるレンズの駆動方法を、符号化パラメータの値の分布に応じて適応的に選択する。このため、本実施形態によれば、圧縮処理等が行われた画像データを用いて良好なオートフォーカスを実現し得る撮像装置を提供することができる。
【００７６】
［第２実施形態］
本発明の第２実施形態による撮像装置及びその制御方法並びにコンピュータプログラムについて図６乃至図８を用いて説明する。図１乃至図５に示す第１実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００７７】
本実施形態による撮像装置は、位相差方式のオートフォーカスを行うものである。
【００７８】
図６は、本実施形態による撮像装置の撮像素子の画素を示す平面図及び断面図である。図６（ａ）は、平面図であり、撮像素子１０２に設けられた複数の画素のうちの１つの画素を抜き出して示したものである。図６（ｂ）は、図６（ａ）の６Ｂ−６Ｂ線に対応する断面図である。
【００７９】
撮像素子１０２上には、撮像素子１０２の各々の画素に対応するようにマイクロレンズ６０１が配されている。マイクロレンズ６０１は、撮像光学系１０１からの光束を集光するものである。マイクロレンズ６０１の下方には、光電変換部６０２，６０３が位置している。各々の光電変換部６０２，６０３は、受光した光束を光電変換し、個別に信号を取得し得る。画素のうちの光電変換部６０２に対応する部分を分割画素Ａと称し、画素のうちの光電変換部６０３に対応する部分を分割画素Ｂと称することとする。
【００８０】
圧縮部１０５は、複数の分割画素Ａによって取得される符号化ブロックＡのデータと、複数の分割画素Ｂによって取得される符号化ブロックＢのデータとに、第１実施形態と同様の圧縮処理をそれぞれ適用し、符号化データＡと符号化データＢとを生成する。なお、符号化データＡは、符号化ブロックＡを構成する複数の分割画素Ａによって取得されるデータを符号化したものであり、符号化データＢは、符号化ブロックＢを構成する複数の分割画素Ｂによって取得されるデータを符号化したものである。
【００８１】
こうして生成される符号化データＡ，Ｂは、バス１０６を介して、画像処理部１０７の伸長部１０８に入力される。伸長部１０８は、符号化データＡ，Ｂをそれぞれ伸長することにより伸長データＡ，Ｂを生成し、生成した伸長データＡ，Ｂを画像処理回路群１０９とＡＦ処理部１１２とに出力する。また、伸長処理の際に伸長部１０８において参照された符号化パラメータＡ，Ｂが、伸長部１０８から符号化パラメータ解析部１１１に出力される。なお、符号化パラメータＡは、符号化データＡを伸長する際に伸長部１０８において参照された符号化パラメータであり、符号化パラメータＢは、符号化データＢを伸長する際に伸長部１０８において参照された符号化パラメータである。
【００８２】
図７は、本実施形態による撮像装置の符号化パラメータ解析部の構成を示すブロック図である。
図７に示すように、符号化パラメータ解析部１１１は、領域抽出部７０１と、低値ブロックカウント部７０２と、解析部７０３とを含んでいる。伸長部１０８から出力される符号化パラメータＡと符号化パラメータＢとが、領域抽出部７０１に入力されるようになっている。
【００８３】
領域抽出部７０１は、所定領域（所定範囲）内に存在する符号化ブロックＡ，Ｂを抽出する。
【００８４】
低値ブロックカウント部７０２は、以下の式（５）に示す関係が成立する場合、現在の低値ブロックカウントに１を加算する。
ＱＰ  ＞  第５の閾値  ・・・（５）
【００８５】
式（５）は、低周波成分を比較的多く含む符号化ブロックか否かを判定するためのものである。第５の閾値としては、例えば、ＱＰのとり得る値の最大値を、３で除算することにより得られる値が用いられる。低値ブロックカウント部７０２は、式（５）に示す比較演算処理を所定の範囲内の符号化ブロックＡ，Ｂの全てに対して適用し、最終的なカウント結果を解析部７０３に出力する。
【００８６】
解析部７０３は、以下の式（６）に示す関係が成立するか否かに基づいて、被写体領域の特性を判定する。
低値ブロックカウントの結果  ＞  第６の閾値  ・・・（６）
【００８７】
第６の閾値としては、例えば、所定領域内の符号化ブロックの総数の８０％程度に相当する値が用いられる。
【００８８】
式（６）が真の場合、即ち、低値ブロックカウントの結果が第６の閾値より大きい場合には、入力された符号化ブロック群に対応する領域、即ち、所定領域に、全体的に低周波成分が分散していると考えられる。
【００８９】
このような状態になるのは、合焦状態から著しくはずれた状態であるため、即ち、ぼけた画像になっているためと考えられる。このような場合には、ぼけの影響が大きいと考えられるため、広域演算モードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部７０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部７０３から出力されるＡＦ演算モード信号の内容が「広域演算モード」に設定される。なお、広域演算モードでのＡＦ処理については、後述することとする。
【００９０】
式（６）が偽の場合、即ち、低値ブロックカウントの結果が第６の閾値以下の場合には、ぼけの影響が小さいと考えられる。このため、狭域演算モードでのＡＦ処理をＡＦ処理部１１２に行わせるための信号が、符号化パラメータ解析部１１１の解析部７０３からＡＦ処理部１１２に出力される。具体的には、符号化パラメータ解析部１１１の解析部７０３から出力されるＡＦ演算モード信号の内容が「狭域演算モード」に設定される。なお、狭域演算モードでのＡＦ処理については、後述することとする。
【００９１】
図８は、本実施形態による撮像装置のＡＦ処理部の構成を示すブロック図である。
図８に示すように、ＡＦ処理部１１２は、領域抽出部８０１，８０２と、相関演算部８０３，８０４と、セレクタ８０５とを含んでいる。領域抽出部８０１には、伸長データＡと伸長データＢとが入力されるようになっている。また、領域抽出部８０２にも、伸長データＡと伸長データＢとが入力されるようになっている。
【００９２】
領域抽出部８０１，８０２は、焦点検出対象領域（演算対象領域）のデータを画像データ中から抽出するためのものである。領域抽出部８０１，８０２は、複数の分割画素Ａによって取得されたデータと、複数の分割画素Ｂによって取得されたデータとの内から、予め設定された所定の範囲に含まれるデータだけを抽出する。なお、領域抽出部８０２によって抽出が行われる領域の範囲は、領域抽出部８０１によって抽出が行われる領域の範囲よりも広く設定されている。
【００９３】
領域抽出部８０１，８０２によってそれぞれ抽出された分割画素Ａ群及び分割画素Ｂ群のデータは、相関演算部８０３，８０４に入力されるようになっている。相関演算部８０３，８０４は、複数の分割画素Ａによって取得されたデータと複数の分割画素Ｂによって取得されたデータとを対として、所定のシフト量の分だけ像をシフトしながら、相関演算を行う。
【００９４】
なお、相関演算部８０４においてシフトを行う際に用いられる所定のシフト量は、相関演算部８０３においてシフトを行う際に用いられる所定のシフト量よりも、大きく設定されている。
【００９５】
このようにして、比較的狭い演算対象領域についての相関演算結果が相関演算部８０３から出力され、比較的広い演算対象領域についての相関演算結果が相関演算部８０４から出力される。
【００９６】
相関演算部８０３，８０４から出力される相関演算結果は、セレクタ８０５に入力されるようになっている。セレクタ８０５は、ＡＦ演算モード信号（ＡＦ制御信号）に基づいて動作するセレクタである。ＡＦ演算モード信号の内容が、狭域演算モードを示している場合には、相関演算部８０３から出力される相関演算結果（位相差演算評価値）を、ＡＦ評価値として出力する。また、ＡＦ演算モード信号の内容が、広域演算モードを示している場合には、相関演算部８０４から出力される相関演算結果（位相差演算評価値）を、ＡＦ評価値として出力する。なお、上述したように、ＡＦ評価値は、被写体像の合焦の程度を示す値であり、ＡＦ評価値に基づいてオートフォーカスの制御が行われる。
【００９７】
このように、本実施形態においても、圧縮処理を行った際の符号化パラメータに基づいて、オートフォーカス処理を適応的に行う。即ち、本実施形態では、オートフォーカス処理の際に演算の対象となる領域である、画像データの演算対象領域を、符号化パラメータの値の分布に応じて適応的に選択する。このため、本実施形態によっても、圧縮処理等が行われた画像データを用いて良好なオートフォーカスを実現し得る撮像装置を提供することができる。
【００９８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９９】
１００・・・撮像装置
１０１・・・撮像光学系
１０２・・・撮像素子
１０５・・・圧縮部
１０６・・・バス
１０７・・・画像処理部
１０８・・・伸長部
１１１・・・符号化パラメータ解析部
１１２・・・ＡＦ処理部
【図１】
0006628625.tif 000002
【図２】
0006628625.tif 000003
【図３】
0006628625.tif 000004
【図４】
0006628625.tif 000005
【図５】
0006628625.tif 000006
【図６】
0006628625.tif 000007
【図７】
0006628625.tif 000008
【図８】
0006628625.tif 000009