(57)【要約】【課題】撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を実行できる画像処理装置を提供する。【解決手段】被写体の評価値分布に関連する情報を基に評価値マップを生成する距離マップ生成部と、解像度が異なる複数のチャンネルを有する被写体に係る画像が格納される遅延部と、遅延部から出力される画像に応じてフィルタ係数を変化させ、距離マップ生成部により生成された評価値マップにフィルタ処理を施し評価値マップを整形する距離マップ整形部とを有し、距離マップ整形部が画像を参照する領域に応じて、画像の各チャンネルの位相を制御し遅延部に画像を入力するようにする。【選択図】図２
2018017678.tif 000002
【特許請求の範囲】
【請求項１】
被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成手段と、
第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像が格納される遅延手段と、
前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成手段により生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形手段と、
前記整形手段が前記画像を参照する領域に応じて、前記画像の各チャンネルの位相を制御し前記遅延手段に前記画像を入力する入力手段とを有することを特徴とする画像処理装置。
【請求項２】
前記遅延手段から出力される前記画像の前記第２のチャンネルを補間する補間手段を有し、
前記整形手段は、前記補間手段により前記第２のチャンネルが補間された前記画像に応じてフィルタ係数を変化させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力手段は、前記第２のチャンネルの位相が固定となるように位相を制御することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記整形手段は、前記評価値マップの着目画素に対する周辺画素の値を平滑化し、前記画像の着目画素と周辺画素との画素値の一致度を判定して一致度の高い周辺画素について平滑化の重みを大きくすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記整形手段は、対象領域を複数に分割してフィルタ処理を行い、複数のフィルタ処理結果を加算して前記対象領域の処理結果を得ることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記入力手段は、解像度が同じ複数のチャンネルを有する第１の画像から、前記第１のチャンネルと前記第２のチャンネルとを少なくとも有する第２の画像を生成し前記遅延手段に入力することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記入力手段は、前記整形手段が前記画像を参照する領域に応じて、前記第１のチャンネルと前記第２のチャンネルの位相関係を変化させ前記遅延手段に前記画像を入力することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
前記評価値マップの評価値は、前記被写体に係る距離情報であることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記評価値マップの評価値は、前記被写体に係る領域分割情報であることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項１０】
請求項１〜９の何れか１項に記載の画像処理装置と、
前記被写体の光学像を光電変換し前記被写体に係る画像を出力する撮像手段とを有する撮像装置。
【請求項１１】
被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成工程と、
第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像を遅延手段に格納する格納工程と、
前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成工程で生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形工程と、
前記整形工程で前記画像を参照する領域に応じて、前記画像の各チャンネルの位相を制御し前記遅延手段に前記画像を入力する入力工程とを有することを特徴とする画像処理方法。
【請求項１２】
被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成ステップと、
第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像を遅延手段に格納する格納ステップと、
前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成ステップで生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形ステップと、
前記整形ステップで前記画像を参照する領域に応じて、前記画像の各チャンネルの位相を制御し前記遅延手段に前記画像を入力する入力ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。
【背景技術】
【０００２】
撮影画像に係る距離マップの被写体輪郭を、撮影画像を用いて正しい輪郭に合わせる、距離マップ整形処理が知られている。例えば、特許文献１には、低解像度の距離マップと高解像度の撮影画像を用いてジョイントバイラテラルアップサンプリングを実行し高解像度の距離マップを生成する手法が開示されている。特許文献１に記載の手法を用いると、高解像度の撮影画像の被写体輪郭情報を用いて距離マップの被写体輪郭を鮮明にして、輪郭が正しく合った高解像度の距離マップを生成することができる。
【０００３】
ジョイントバイラテラルアップサンプリングはアップサンプリング率が高くなるとフィルタ範囲が広がるが、任意サイズのフィルタ範囲のフィルタリングを実現する手法については一般によく知られている手法を用いればよい。例えば、特許文献２には、有限なフィルタ範囲を持つ空間フィルタを用いて、任意サイズを持つフィルタ範囲のフィルタリングを実現する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１５０５２１号公報
【特許文献２】特開２００４−１４５６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の特許文献に開示された手法においては、撮影画像のすべてのチャンネルを高解像度で取り扱う必要があり、回路規模が増大してしまう。また、フィルタリングの対象範囲を複数のサブフィルタ範囲に分割して処理を行う場合、サブフィルタの信号読み出し画素開始位置が奇数になる場合がある。その場合、例えば、撮影画像がＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像であると、ＵチャンネルとＶチャンネルとの位相関係（画素の対応関係）が崩れてしまい、フィルタ処理が破たんしてしまう。本発明の目的は、撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を実行できる画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成手段と、第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像が格納される遅延手段と、前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成手段により生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形手段と、前記整形手段が前記画像を参照する領域に応じて、前記画像の各チャンネルの位相を制御し前記遅延手段に前記画像を入力する入力手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における画像処理部の構成例を示す図である。
【図３】第１の実施形態における距離マップ整形部の動作を説明する図である。
【図４】第１の実施形態におけるＹＵＶ画像の例を示す図である。
【図５】第１の実施形態におけるフォーマット変換前の画像データの例を示す図である。
【図６】第１の実施形態におけるフォーマット変換後の画像データの例を示す図である。
【図７】第１の実施形態における補間部の動作を説明する図である。
【図８】本実施形態における被写体抽出マップを説明する図である。
【図９】第２の実施形態における画像処理部の構成例を示す図である。
【図１０】第２の実施形態におけるＹＵＶ画像の例を示す図である。
【図１１】第２の実施形態におけるＹＵＶ画像の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。以下では、本発明の実施形態における画像処理装置を有するデジタルカメラやビデオカメラ等の撮像装置を一例として説明するが、これに限定されるものではない。本発明は、デジタルカメラやビデオカメラ等の撮像装置に限らず、例えば、スマートフォンやタブレット等の各種携帯機器や、工業用カメラ、車載用カメラ、医療用カメラ等にも適用可能である。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置１００の構成例を示すブロック図である。制御部１０１は、例えばＣＰＵ（Central Processing Unit）である。制御部１０１は、撮像装置１００が有する各ブロック（機能部）の動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、撮像装置１００が有する各ブロックの動作を制御する。
【００１１】
ＲＯＭ（Read Only Memory）１０２は、不揮発性メモリであり、例えば撮像装置１００が有する各ブロックの動作プログラムを記憶する。また、ＲＯＭ１０２は、撮像装置１００が有する各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ（Random Access Memory）１０３は、書き換え可能な揮発性メモリであり、例えば撮像装置１００が有する各ブロックの動作において出力されたデータ等の一時的な記憶領域として用いられる。
【００１２】
光学系１０４は、レンズ等で構成された光学系である。撮像部１０５は、ＣＭＯＳセンサ等の撮像素子を有し、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をアナログ／デジタル変換部（Ａ／Ｄ変換部）１０６に出力する。アナログ画像信号は、光学系１０４の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号として出力される。
【００１３】
Ａ／Ｄ変換部１０６は、入力されるアナログ画像信号にアナログデジタル変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。画像処理部１０７は、デジタル画像データに係る各種画像処理を行う。画像処理部１０７は、例えばデジタル画像データから被写体の距離分布に関連する情報を取得して距離マップを生成する。また、画像処理部１０７は、マップ整形処理を行い、生成された距離マップを整形する。記録媒体１０８は、着脱可能なメモリカード等であり、例えばＲＡＭ１０３に記憶されている、画像処理部１０７で処理された動画やＡ／Ｄ変換部１０６でアナログデジタル変換された動画等が記録動画として記録される。
【００１４】
図２は、第１の実施形態における画像処理部１０７の構成例を示す図である。なお、図２においては、画像処理部１０７における距離マップの生成処理及び整形処理に係る構成を図示している。図２（Ａ）において、距離マップ生成部２０１は、ＲＡＭ１０３から読み出された、撮像部１０５で取得された一対の画像信号２０８、２０９から被写体の距離分布に関連する情報を取得して距離マップを生成する。また、距離マップ生成部２０１は、入力される一対の画像信号２０８、２０９に基づいて生成した距離マップ２１２をＲＡＭ１０３に書き出す。
【００１５】
距離マップ生成部２０１での距離マップの生成手法については公知の手法を用いればよい。例えば、特開２００８−１５７５４号公報には、光学系の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号から距離マップを生成する技術が開示されている。本実施形態においては、光学系の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号２０８、２０９から距離マップを生成するが、これに限定されるものではない。被写体の距離分布に関連する情報を、例えばＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式で取得し距離マップを生成するようにしてもよい。
【００１６】
画像加算部２０２は、一対の画像信号２０８、２０９を加算して、光学系の射出瞳上の全領域を通過する光束を受光することで得られる画像信号をデジタル的に再構成する。現像部２０３は、画像加算部２０２で再構成されたＲＡＷ画像からＹＵＶ画像を生成する。本実施形態において、現像部２０３は、ＹＵＶ各チャンネルのサンプル比が４：４：４であるＩＹＵ２形式のＹＵＶ画像を生成する。また、現像部２０３は、生成したＹＵＶ画像２１３をＲＡＭ１０３に書き出す。
【００１７】
図２（Ｂ）において、フォーマット変換部２０４は、ＲＡＭ１０３から読み出したＩＹＵ２形式のＹＵＶ画像２１０を、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像に変換する。フォーマット変換部２０４により変換されたＵＹＶＹ形式のＹＵＶ画像は、距離マップ整形部２０７でのフィルタ処理のタップ数に応じた遅延ラインを有する遅延部２０５に格納された後に補間部２０６に入力される。補間部２０６は、ＵＹＶＹ形式のＹＵＶ画像のＵチャンネル及びＶチャンネルを２倍にアップサンプリングする。
【００１８】
距離マップ整形部２０７は、補間部２０６によってＵチャンネル及びＶチャンネルが補間されたＹＵＶ画像と、ＲＡＭ１０３から読み出した、距離マップ生成部２０１で生成された距離マップ２１１を用いてマップ整形処理を行い、距離マップを整形する。また、距離マップ整形部２０７は、整形した距離マップ２１４をＲＡＭ１０３に書き出す。
【００１９】
距離マップ整形部２０７は、補間部２０６によってＵチャンネル及びＶチャンネルが補間された画像を参照しながら画像に応じてフィルタ係数を変化させ、距離マップ生成部２０１で生成された距離マップ２１１にジョイントバイラテラルフィルタ処理を施す。ジョイントバイラテラルフィルタ処理は、特許文献１に開示されており、着目画素位置ｐのフィルタ結果Ｊｐは、以下の式（１）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）…（１）
【００２０】
ここで式（１）において、Σはｑ∈Ω範囲の積算を示し、Ωは着目画素位置ｐを中心とする積算対象領域である。Ｉ１ｑは周辺画素位置ｑの距離マップ画素値であり、ｆは着目画素位置ｐを中心とするガウシアン関数であり、ｇは着目画素位置ｐの画像画素値Ｉ２ｐを中心とするガウシアン関数である。Ｋｐは正規化係数であり、ｆ・ｇ重みの積算値である。着目画素位置ｐの画像画素値Ｉ２ｐと周辺画素位置ｑの画像画素値Ｉ２ｑの差が小さい、つまり画像において着目画素と周辺画素との画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。このように着目画素位置ｐの画像画素値Ｉ２ｐと周辺画素位置ｑの画像画素値Ｉ２ｑの一致度を判定して一致度の高い周辺画素について平滑化の重みを大きくする。
【００２１】
図３は、距離マップ整形部２０７のフィルタ積算対象領域Ωを説明するための図である。図３において、３１１は画像の全領域であり、３１２はＲＡＭ１０３から読み出されフォーマット変換部２０４に入力される画像の領域であり、３１３は距離マップ整形部２０７が距離マップを出力する領域である。３１４は整形距離マップの開始位置であり、３１０は画素位置３１４の整形距離マップ値を計算するときのフィルタ積算対象領域Ωであり、３０１〜３０９はサブフィルタが画像を参照する領域である。
【００２２】
すなわち、本例において、メインフィルタのフィルタサイズは１５画素×１５画素であり、サブフィルタのサイズは５画素×５画素である。９個のサブフィルタ結果を加算することで、メインフィルタ結果を計算する。図示の例では、サブフィルタ３０１〜３０９でのフィルタ処理結果を加算することでメインフィルタ３１０の処理結果である画素位置３１４の整形距離マップ値が計算される。
【００２３】
ここで、１５画素×１５画素のフィルタサイズでのフィルタ処理を実現する場合、通常、遅延部２０５には１４ライン分の遅延ラインが必要になる。しかし、本実施形態では、このように複数のサブフィルタ範囲に分割することでフィルタサイズをサブフィルタの５画素×５画素に抑えることができ、遅延部２０５が有する遅延ラインも４ライン分に削減することができ、回路規模を削減することができる。
【００２４】
図４は、図３の画像の、８ライン目の画像データを示す図である。図４に示すように、ＹＵＶ各チャンネルのサンプル比が４：４：４であるＩＹＵ２形式のＹＵＶ画像である。図５は、図４に示した画像データがＲＡＭ１０３から読み出されてフォーマット変換部２０４に入力されるときの画像データを示す図である。画像データ５０１は、図３に示したサブフィルタ３０４に対応しており、画像データ５０２は図３に示したサブフィルタ３０５に対応している。
【００２５】
図６は、図５に示した画像データがフォーマット変換部２０４で変換された後の画像データを示す図である。画像データ６０１は図５に示した画像データ５０１を変換した後の画像データを示しており、画像データ６０２は図５に示した画像データ５０２を変換した後の画像データを示している。ＩＹＵ２形式の画像データ５０１、５０２が、ＵＹＶＹ形式の画像データ６０１、６０２に変換されている。
【００２６】
図７は、図６に示した画像データが補間部２０６で補間された後の画像データを示す図である。画像データ７０１は図６に示した画像データ６０１を補間処理した後の画像データを示しており、画像データ７０２は図６に示した画像データ６０２を補間処理した後の画像データを示している。画像データ７０１、７０２におけるデータＵ１＿３及びデータＵ６＿８は、左右のＵ画素から画素補間した結果である。例えば、データＵ１＿３は、画素Ｕ１の画素値と画素Ｕ３の画素値との平均（＝（Ｕ１＋Ｕ３）／２）である。同様に、画像データ７０１、７０２におけるデータＶ１＿３、Ｖ６＿８は、左右のＶ画素から画素補間した結果である。例えば、データＶ１＿３は、画素Ｖ１の画素値と画素Ｖ３の画素値との平均（＝（Ｖ１＋Ｖ３）／２）である。
【００２７】
このようにすることで、遅延部２０５が有する遅延ラインをＹＵＶのサンプル比が４：２：２であるＵＹＶＹ形式に対応する構成としても、距離マップ整形部２０７にはＹＵＶのサンプル比が４：４：４であるＩＹＵ２形式のＹＵＶ画像を入力することができる。前述した式（１）のｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）の値を計算するためにはＹＵＶのサンプル比が４：４：４である必要があるが、図２に示したような構成にすることで、この演算を正しく行うことができる。これにより、本実施形態によれば、ＹＵＶ画像におけるＵチャンネル及びＶチャンネルを低解像度で取り扱っても適切にマップ整形処理を実行することができ、距離マップの輪郭精度を向上させることができる。
【００２８】
本実施形態において、遅延部２０５が有する遅延ラインは、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式に対応する構成としているが、本発明はこれに限定されるものではない。例えばＹＵＶ各チャンネルのサンプル比が４：１：１であるＩＹＵ１形式のような形式にも対応可能であり、形式に応じて遅延部２０５が有する遅延ラインを構成すればよい。
【００２９】
また、前述した説明では、マップ整形処理の対象として被写体に係る距離情報を評価値とする距離マップを一例に説明したが、本発明はこれに限定されるものではなく、被写体の評価値分布に関連する情報を取得して生成した評価値マップに適応可能である。例えば、被写体に係る領域分割情報を評価値とする被写体抽出マップのような評価値マップでもよい。
【００３０】
図８は、被写体抽出マップを説明するための図である。図８（Ａ）において、８０１は画像であり、８０３は被写体である。被写体抽出マップは、例えばユーザーがタッチパネル操作で領域８０４のように領域指定することで作成され、図８（Ｂ）に示すような２値マップの形式で被写体抽出マップ８０２が作成される。この被写体抽出マップ８０２に対して、画像８０１を参照しながら前述した距離マップの整形処理と同等の処理を施すことで、被写体抽出マップ８０２の輪郭精度を向上させることができる。
【００３１】
第１の実施形態によれば、サブフィルタ毎にＹＵＶ画像の位相（水平画素開始位置が奇数か偶数か）が変化しても、遅延部２０５が有する遅延ラインに投入されるＹＵＶのサンプル比が４：２：２であるＵＹＶＹ形式でのＵＶ位相は崩れない。すなわち、遅延部２０５が有する遅延ラインに保持されるＵチャンネルとＶチャンネルとの位相関係は固定され、Ｕチャンネルから開始されるようにすることができる。このようにすることで、遅延部２０５における遅延ラインをＵチャンネル及びＶチャンネルを間引いた構成とすることができ、遅延部２０５が有する遅延ラインの回路規模を削減することができる。また、遅延部２０５から出力された後にＵチャンネル及びＶチャンネルを補間したＹＵＶ画像を距離マップ整形部２０７に供給するので、距離マップ整形部２０７はマップ整形処理を適切に実行することが可能である。
【００３２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態における撮像装置の構成は、図１に示した第１の実施形態における撮像装置の構成と同様である。以下では、第２の実施形態における撮像装置の画像処理部において、前述した第１の実施形態と異なる点についてのみ説明する。
【００３３】
図９は、第２の実施形態における画像処理部１０７の構成例を示す図である。なお、図９においては、画像処理部１０７における距離マップの生成処理及び整形処理に係る構成を図示している。図９において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００３４】
図９（Ａ）において、現像部９０１、９０２は、画像加算部２０２で再構成されたＲＡＷ画像からＹＵＶ画像を生成する。現像部９０１、９０２の各々は、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像を生成する。現像部９０１、９０２により現像されたＹＵＶ画像９０３、９０４はＲＡＭ１０３に書き出される。
【００３５】
図９（Ｂ）において、画像選択部９０５は、ＲＡＭ１０３から読み出した、ＹＵＶ画像９０６、９０７の一方のＹＵＶ画像を選択して出力する。ＹＵＶ画像９０６は、現像部９０１で生成されたＵＹＶＹ形式のＹＵＶ画像であり、ＹＵＶ画像９０７は、現像部９０２で生成されたＵＹＶＹ形式のＹＵＶ画像である。
【００３６】
図１０は、図３の画像の、８ライン目の画像データを示す図である。図１０に示すように、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像である。図１０において、１００１は図９に示した現像部９０１が生成するＹＵＶ画像であり、サブフィルタにおけるＹＵＶ画像の位相において水平画素開始位置が偶数の０である場合に対応している。また、１００２は図９に示した現像部９０２が生成するＹＵＶ画像であり、サブフィルタにおけるＹＵＶ画像の位相において水平画素開始位置が奇数の１である場合に対応している。
【００３７】
本実施形態では、サブフィルタに応じてＹＵＶ画像１００１もしくはＹＵＶ画像１００２が、画像選択部９０５によって選択される。つまり、読み出されるＹＵＶ画像の水平画素開始位置が奇数であるサブフィルタ（図３に示した例では３０１、３０３、３０４、３０６、３０７、３０９の場合）に対しては、画像選択部９０５がＹＵＶ画像１００２を選択する。また、読み出されるＹＵＶ画像の水平画素開始位置が偶数であるサブフィルタ（図３に示した例では３０２、３０５、３０８の場合）に対しては、画像選択部９０５がＹＵＶ画像１００１を選択する。画像選択部９０５により選択されたＹＵＶ画像は、遅延部２０５を介して補間部２０６に入力され、補間部２０６及び距離マップ整形部２０７が第１の実施形態と同様の処理を行う。
【００３８】
本実施形態において、遅延部２０５が有する遅延ラインは、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式に対応する構成としているが、本発明はこれに限定されるものではない。例えばＹＵＶ各チャンネルのサンプル比が４：１：１であるＩＹＵ１形式のような形式で構成してもよい。
【００３９】
この場合、Ｕチャンネル及びＶチャンネルのサンプル比で決まるＵチャンネル及びＶチャンネルの位相の種類は、図１１に１１０１〜１１０４で示す４種類となる。このような４種類のＹＵＶ画像１１０１〜１１０４を現像部で生成する。そして、図３に示した例におけるサブフィルタ３０１、３０４、３０７に対しては、水平画素開始位置が１であり、１÷４＝０あまり１であるので、画像選択部９０５は水平画素位置が１から始まるＹＵＶ画像１１０２を選択する。図３に示した例におけるサブフィルタ３０２、３０５、３０８に対しては、水平画素開始位置が６であり、６÷４＝１あまり２であるので、画像選択部９０５は水平画素位置が２から始まるＹＵＶ画像１１０３を選択する。
【００４０】
図３に示した例におけるサブフィルタ３０３、３０６、３０９に対しては、水平画素開始位置が１１であり、１１÷４＝２あまり３であるので、画像選択部９０５は水平画素位置が３から始まるＹＵＶ画像１１０４を選択する。同様に、水平画素開始位置が１６であるサブフィルタに対しては、１６÷４＝４あまり０であるので、画像選択部９０５は水平画素位置が０から始まるＹＵＶ画像１１０１を選択する。このように４種類のＹＵＶ画像１１０１〜１１０４の内から、サブフィルタの水平画素開始位置を４で除したときの余り値から水平画素位置が始まるＹＵＶ画像を画像選択部９０５が選択する。
【００４１】
なお、本実施形態においても、マップ整形処理の対象は距離マップに限定されるものではなく、例えば第１の実施形態で説明した被写体抽出マップを含む、被写体の評価値分布に関連する情報を取得して生成した評価値マップに適応可能である。
【００４２】
第２の実施形態によれば、サブフィルタ毎にＹＵＶ画像の位相（水平画素開始位置が奇数か偶数か）が変化しても、遅延部２０５が有する遅延ラインに投入されるＹＵＶのサンプル比が４：２：２であるＵＹＶＹ形式のＵＶ位相は崩れない。すなわち、遅延部２０５が有する遅延ラインに保持されるＵチャンネルとＶチャンネルとの位相関係は固定され、Ｕチャンネルから開始されるようにすることができる。このようにすることで、遅延部２０５における遅延ラインをＵチャンネル及びＶチャンネルを間引いた構成とすることができ、遅延部２０５が有する遅延ラインの回路規模を削減することができる。また、ＲＡＭ１０３から読み出されて画像選択部９０５に入力されるＹＵＶ画像９０６、９０７についてもＵチャンネル及びＶチャンネルが間引かれているので、単位時間当たりの読み出しデータ量を抑えることができる。したがって、ＲＡＭ１０３のメモリアクセス効率を向上させることができる。
【００４３】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４４】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４５】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４６】
１００：撮像装置  １０１：制御部  １０５：撮像部  １０７：画像処理部  ２０１：距離マップ生成部  ２０２：画像加算部  ２０３、９０１、９０２：現像部  ２０４：フォーマット変換部  ２０５：遅延部  ２０６：補間部  ２０７：距離マップ整形部  ９０５：画像選択部
【図１】
2018017678.tif 000003
【図２】
2018017678.tif 000004
【図３】
2018017678.tif 000005
【図４】
2018017678.tif 000006
【図５】
2018017678.tif 000007
【図６】
2018017678.tif 000008
【図７】
2018017678.tif 000009
【図８】
2018017678.tif 000010
【図９】
2018017678.tif 000011
【図１０】
2018017678.tif 000012
【図１１】
2018017678.tif 000013