(57)【要約】【課題】撮影画像におけるピントの状態に応じたドット配置パターンを、より確実に選択可能とすることを目的とする。【解決手段】撮像された画像を記録する記録制御装置は、記録対象の画像と、画像の各部分における被写体までの距離に基づく解析情報とを取得する。記録制御装置は、画像の記録を記録部に実行させるにおいて、画像の各画素の値と解析情報に基づいて、画像の各画素を記録するのに用いられる、画素を構成するドットの内の記録されるドットの配置を示すドット配置パターンを選択する。【選択図】  図３
2018196963.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像を記録する記録装置であって、
記録対象の画像と、前記画像の各部分における被写体までの距離に基づく解析情報とを取得する取得手段と
前記画像の記録を実行させる記録制御手段と、
前記画像の各画素の値と前記解析情報に基づいて、前記画像の各画素を記録するのに用いられる、画素を構成するドットの内の記録されるドットの配置を示すドット配置パターンを選択する選択手段と、を備えることを特徴とする記録制御装置。
【請求項２】
画素の一つの濃度に対して複数種類のドット配置パターンが存在し、
前記選択手段は、画素の値に対応する濃度の複数種類のドット配置パターンから、当該画素が所属する部分の解析情報に基づいて当該画素の記録に用いられるドット配置パターンを選択することを特徴とする請求項１に記載の記録制御装置。
【請求項３】
前記解析情報は、撮像装置において前記画像を撮像する際に取得された視差画像を元に生成されたデフォーカス量の情報であることを特徴とする請求項１に記載の記録制御装置。
【請求項４】
前記解析情報は、撮像装置において前記画像を撮像する際に取得された視差画像を元に生成された被写体までの距離の情報であることを特徴とする請求項１に記載の記録制御装置。
【請求項５】
前記解析情報は、画像内を分割して得られた複数のブロックの各々に距離に関連する情報が配置された距離マップとして提供されることを特徴とする請求項１乃至４のいずれか１項に記載の記録制御装置。
【請求項６】
前記選択手段は、前記解析情報と撮像装置の光学条件とに基づいて前記ドット配置パターンを選択することを特徴とする請求項１乃至５のいずれか１項に記載の記録制御装置。
【請求項７】
前記光学条件は、撮像装置の焦点距離、Ｆ値、被写体距離の少なくとも一つを含むことを特徴とする請求項６に記載の記録制御装置。
【請求項８】
前記解析情報とドット配置パターンの特徴を示すドット配置パターン特徴量とを対応付けるテーブルを有し、
前記選択手段は、前記テーブルを参照することにより選択されたドット配置パターン特徴量を有するドット配置パターンを選択することを特徴とする、請求項１乃至７のいずれか１項に記載の記録制御装置。
【請求項９】
前記ドット配置パターン特徴量は、所定の被覆率においてドット同士が隣り合う確率であることを特徴とする請求項８に記載の記録制御装置。
【請求項１０】
前記ドット配置パターン特徴量は、所定の被覆率におけるドットの水平、もしくは垂直方向のバラツキ量であることを特徴とする請求項８に記載の記録制御装置。
【請求項１１】
前記選択手段は、前記解析情報から判断されるボケ量が大きいほど、記録されるドットの位置の偏りが小さいドット配置パターンを選択することを特徴とする請求項１乃至１０のいずれか１項に記載の記録制御装置。
【請求項１２】
第１の焦点検出画素と第２の焦点検出画素を含む画素を有する撮像素子と、
前記撮像素子を用いて撮像された画像と、前記第１の焦点検出画素からの第１の焦点検出信号と前記第２の焦点検出画素からの第２の焦点検出信号を取得する取得手段と、
前記第１および第２の焦点検出信号に基づいて、前記撮像素子により撮像された前記画像の各部における被写体までの距離に基づく解析情報を生成する生成手段と、
前記画像と前記解析情報を関連付けて出力する出力手段と、を備えることを特徴とする撮像装置。
【請求項１３】
１つの画素に第１の焦点検出画素と第２の焦点検出画素が形成された撮像画素を有する撮像素子を用いて撮像された画像と、前記撮像された画像に関連付けられた視差画像を取得する取得手段と、前記視差画像は、前記第１および第２の焦点検出画素から得られる画像を含み、
前記画像を記録装置に記録させるための階調値情報を生成する生成手段と、
前記視差画像に基づいて、前記画像の各部における被写体までの距離に基づく解析情報を算出する算出手段と、
前記記録装置へ、前記階調値情報と、前記解析情報を出力する出力手段と、を備えることを特徴とする情報処理装置。
【請求項１４】
撮像装置と、情報処理装置と、記録装置とを含む記録システムであって、
前記撮像装置において画像を撮像する撮像手段と、
前記撮像装置において前記画像の撮影時における視差画像を取得する取得手段と、
前記情報処理装置において、前記記録装置に前記画像を記録させるための階調値情報を生成する生成手段と、
前記記録装置において前記画像の記録を実行する記録手段と、
前記撮像装置、前記情報処理装置、前記記録装置のいずれかにおいて、前記視差画像に基づいて前記画像の各部分における被写体までの解析情報を算出する算出手段と、
前記情報処理装置と前記記録装置のいずれかにおいて、前記記録手段による前記画像の記録において、前記階調値情報と前記解析情報に基づいて前記画像の各画素の記録に用いる、画素を構成するドットの内の記録されるドットの配置を示すドット配置パターンを選択する選択手段と、を備えることを特徴とする記録システム。
【請求項１５】
前記情報処理装置が、前記撮像装置に含まれていることを特徴とする請求項１４に記載の記録システム。
【請求項１６】
前記情報処理装置が、前記記録装置に含まれていることを特徴とする請求項１４に記載の記録システム。
【請求項１７】
撮像された画像を記録する記録装置の制御方法であって、
記録対象の画像と、前記画像の各部分における被写体までの距離に基づく解析情報とを取得する取得工程と、
記録手段を用いて前記画像の記録を実行させる制御工程と、
前記画像の各画素の値と前記解析情報に基づいて、前記画像の各画素を記録するのに用いられる、画素を構成するドットの内の記録されるドットの配置を示すドット配置パターンを選択する選択工程と、を有することを特徴とする記録制御装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録制御装置およびその制御方法、撮像装置、情報処理装置、ならびに記録システムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で撮影した画像を、インクジェット記録装置などの記録装置を用いて記録する機会が増えている。このような撮影画像の記録において、撮影画像中のピントがあった被写体など、高い周波数成分を含む画像には高解像度な記録が求められる。一方、撮影画像中の例えばピントがあっていないボケ領域や高い周波数成分が少ない画像については、高い解像度は必要なく、むしろ記録装置のメカばらつきによる画質劣化を吸収するためにロバスト性の高い記録が求められる場合もある。
【０００３】
上記のような記録方法を実現するために、特許文献１では、入力された画像データの空間周波数またはこれに相当する特徴量を抽出し、抽出した特徴量に基づいてドット配置を決定して記録を実行している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４０９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１に示された方法では、たとえば画像の特徴量を正しく抽出できなかった場合に、ドット配置の制御が上手くいかなくなる。そのため、必要な解像度の記録を実施することができなかったり、スジムラが目立ってしまったりすることにより、記録された画像の質が低下してしまう。
【０００６】
本発明は、撮影画像における各領域に適したドット配置パターンをより確実に選択可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の一態様による記録装置は、例えば以下の構成を備える。すなわち、
撮像された画像を記録する記録装置であって、
記録対象の画像と、前記画像の各部分における被写体までの距離に基づく解析情報とを取得する取得手段と
前記画像の記録を実行させる記録制御手段と、
前記画像の各画素の値と前記解析情報に基づいて、前記画像の各画素を記録するのに用いられる、画素を構成するドットの内の記録されるドットの配置を示すドット配置パターンを選択する選択手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、実際に撮影を行った際の解析情報に基づいてドット配置パターンが選択されるので、撮影画像における各領域に対応したドット配置パターンを、より確実に選択することが可能となる。そのため、高画質な記録結果を得るための設定が安定的に得られる。
【図面の簡単な説明】
【０００９】
【図１】（ａ）は記録システムの構成例を示す図、（ｂ）はホスト装置のハードウエア構成例を示すブロック図。
【図２】（ａ）はインクジェット記録装置の斜視図、（ｂ）はインクジェット記録装置の制御構成例を示すブロック図。
【図３】ホスト装置とインクジェット記録装置による記録処理を示す図。
【図４】実施形態で使用されるドット配置パターンの例を示す図。
【図５】（ａ）は記録対象となる撮影画像の例を示す図、（ｂ）、（ｃ）は撮影画像に対応した距離マップの例を示す図。
【図６】実施形態による撮像装置の構成例を示すブロック図。
【図７】実施形態の撮像装置における画素配列の概略図。
【図８】実施形態における画素の概略平面図と概略断面図。
【図９】実施形態における画素と瞳分割の概略説明図。
【図１０】実施形態における撮像素子と瞳分割の概略説明図。
【図１１】第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の概略関係を示す図。
【図１２】実施形態における焦点検出処理と撮像処理を示すフローチャート。
【図１３】実施形態における第１焦点検出信号と第２焦点検出信号の瞳ズレの概略図。
【図１４】（ａ）は実施形態によるドット配置パターンの選択を説明する図、（ｂ）は解析情報としてデフォーカス量を用いた距離マップの例を示す図。
【図１５】ドット配置の垂直線からのバラツキを示した図。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。実施形態は撮影画像の必要解像度に応じた記録を行うことができる撮像・記録システムを提供する。
【００１１】
［第一実施形態］
図１（ａ）は、実施形態による画像記録システムの概略構成例を示す図である。実施形態の画像記録システムは、インクジェット記録装置１０、ホスト装置３０、撮像装置１００を有する。撮像装置１００は撮影時に撮影画像とともに解析情報を生成し、ホスト装置３０に提供する。解析情報とは、画像の各部（各領域）における、例えば被写体までの距離に対応する情報を含む。解析情報の詳細については後述する。ホスト装置３０は、インクジェット記録装置１０で撮影画像を記録するための記録データを生成し、解析情報とともにインクジェット記録装置１０に提供する。インクジェット記録装置１０は、記録データに基づいて記録を実行することで、撮影画像を記録する。このとき、インクジェット記録装置１０は、記録イメージデータによって示される各画素の濃度と解析情報とに基づいてドット配置パターンを選択し、切り替えながら撮影画像を記録する。ドット配置パターンとは、画像の各画素を記録するのに用いられる、画素を構成するドットの内の記録されるドットの配置を示すパターンである。
【００１２】
なお、実施形態では、撮像装置１００が撮影画像と解析情報をホスト装置３０に提供し、ホスト装置３０がインクジェット記録装置１０に記録データを送信する構成を説明するが、これに限られるものではない。たとえば、ホスト装置３０の機能を撮像装置１００が有するようにして、撮像装置１００が記録データをインクジェット記録装置１０に送信するようにしてもよい。また、以下では、撮像装置１００、ホスト装置３０、インクジェット記録装置１０の間の通信をネットワークにより実現する構成が示されるが、これに限られるものではない。通信には、例えば、ＵＳＢが用いられてもよいし、有線および無線のいずれかが用いられてもよい。
【００１３】
図１（ｂ）はホスト装置３０のハードウエア構成例を示すブロック図である。ＣＰＵ３１は、ＲＯＭ３２またはＲＡＭ３３に格納されているプログラムを実行することにより各種処理を実現する。ＲＯＭ３２は読み出し専用の不揮発性メモリであり、ＲＡＭ３３は随時の読み書きが可能な揮発性メモリである。なお、メモリの構成はこれに限られるものではない。ディスプレイ３４は、ＣＰＵ３１の制御下で各種の表示を行う。入力部３５はたとえばキーボードおよび／またはポインティングデバイスであり、ユーザの操作入力を可能とする。格納部３６はたとえばハードディスクで構成される大容量の記憶媒体である。ネットワークインターフェース３７は、ネットワークと接続して外部機器との通信を可能にする。本実施形態では、ネットワークインターフェース３７を介して撮像装置１００とインクジェット記録装置１０との通信が行われる。バス３８は、上述した各部を相互に通信可能に接続する。
【００１４】
次に、本実施形態のインクジェット記録装置１０に関して説明する。図２（ａ）は本実施形態のインクジェット記録装置１０の斜視図である。インクジェット記録装置１０は、記録ヘッド５５とインクタンク１Ａ〜１Ｄ等とからなるヘッドカートリッジ１を搭載したキャリッジ２を具備する。キャリッジモータ４はプーリ５を回転させ、プーリ５とプーリ６に張られたベルト７を駆動する。キャリッジモータ４の駆動によって、ベルト７に装着されているキャリッジ２はガイドシャフト３に沿って一定方向に走査される。この走査の際に、記録ヘッド５５よりインク滴を吐出することにより記録が行われる。また、キャリッジ２が１走査する毎に、搬送ローラ９は記録媒体８を所定量だけ、キャリッジの走査方向に対して垂直な方向へ搬送する。このように、記録ヘッド５５の記録動作と記録媒体８の搬送動作とを交互に繰り返すことにより、記録媒体８の全体に画像を形成していく。
【００１５】
図２（ｂ）は、インクジェット記録装置１０の制御構成例を示すブロック図である。なお、本実施形態では、単機能のインクジェット記録装置を示したが、記録機能の他に、コピー機能、読取機能等、複数の機能が一体化された、いわゆるＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎａｌ  Ｐｅｒｉｐｈｅｒａｌ）であってもよい。記録制御を行う制御部１１は、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４を含み、インクジェット記録装置１０を統括的に制御して各機能を実行する。また、制御部１１は、画像データに対して各機能に応じた画像処理を実行する画像処理部５３を含む。また、制御部１１は、画像出力部１５を介して記録を制御する。画像出力部１５は、記録ヘッド５５およびそれを駆動するためのヘッド駆動回路５４を有し、インクジェット記録方式により記録媒体８への画像の記録を行う。
【００１６】
記憶部１６は、例えば、ハードディスクである。記憶部１６およびＲＯＭ１３は、撮像装置１００が動作するためのＯＳやアプリケーションプログラム、データ等を記憶する。実施形態の動作は、例えば、ＣＰＵ１２が記憶部１６やＲＯＭ１３に記憶されているプログラムをＲＡＭ１４に読み出して実行することにより実現される。なお、画像処理部５３は、ＣＰＵ１２が所定のプログラムを実行することにより実現されてもよいし、専用のハードウエアにより実現されてもよいし、ソフトウエアとハードウエアの協働により実現されてもよい。
【００１７】
送受信部１７は、不図示のＬＡＮ等のネットワークを介してホスト装置３０および撮像装置１００との通信を可能にする。例えば、送受信部１７がホスト装置３０から記録ジョブを受信し、制御部１１が記録ジョブを実行することにより、インクジェット記録装置１０の記録機能が実行される。なお、送受信部１７は、有線通信や無線通信、近距離無線通信等、ネットワークの通信形態に応じた構成を有する。
【００１８】
図３は、インクジェット記録装置１０とホスト装置３０とによる画像形成動作を説明する図である。アプリケーション５１とプリンタドライバ５２は、ホスト装置３０のオペレーティングシステム上で動作するプログラムである。アプリケーション５１はプリンタで画像データを記録するための記録データを作成する。この画像データもしくは画像データとして編集等がなされる前のデータは、種々の媒体を介してホスト装置３０に取り込むことができる。ホスト装置３０は、撮像装置１００（デジタルカメラ）で撮像した例えばＪＰＥＧ形式の画像データをフラッシュメモリなどから取り込むことができる。また、ホスト装置３０は、例えばハードディスク（ＨＤ）やＣＤ−ＲＯＭなどの外部記憶媒体に格納されている画像データを取り込むこともできる。さらには、ホスト装置３０は、インターネットからウエブ上の画像データを取り込むことができる。アプリケーション５１において記録の指示がなされると、その指示に応じて記録対象となる画像データのための記録データがプリンタドライバ５２に渡される。なお、本実施形態の記録データは、記録イメージデータと解析情報を含む。
【００１９】
インクジェット記録装置１０の記録制御を行うためのプリンタドライバ５２は、前段処理（Ｓ１１）、後段処理（Ｓ１２）、γ補正（Ｓ１３）、ハーフトーニング（Ｓ１４）、および記録データ作成処理（Ｓ１５）の各処理を行う。プリンタドライバ５２は、ＣＰＵ３１がＲＯＭ３２またはＲＡＭ３３に格納されているプログラムを実行することにより実現される。前段処理（Ｓ１１）において、プリンタドライバ５２は、色域（Ｇａｍｕｔ）のマッピングを行う。前段処理では、たとえばｓＲＧＢ規格の画像データＲ（赤）、Ｇ（緑）、Ｂ（青）によって再現される色域を、インクジェット記録装置によって再現される色域内に写像する関係を内容とする３次元ＬＵＴが用いられる。プリンタドライバ５２は、３次元ＬＵＴの参照と補間演算を併用して、８ビットの画像データＲ、Ｇ、Ｂをインクジェット記録装置１０の色域内のデータＲ、Ｇ、Ｂに変換するデータ変換を行う。後段処理（Ｓ１２）において、プリンタドライバ５２は、上記色域のマッピングがなされたデータＲ、Ｇ、Ｂに基づき、このデータが表す色を再現するインクの組み合わせ（例えば、Ｙ、Ｍ、Ｃ、Ｋ）に対応した色分解データを求める処理を行う。本実施形態では、この処理は前段処理と同様、３次元ＬＵＴと補間演算を併用して行う。なお、Ｙは黄、Ｍはマゼンタ、Ｃはシアン、Ｋは黒である。
【００２０】
γ補正（Ｓ１３）において、プリンタドライバ５２は、後段処理（Ｓ１２）によって求められた色分解データの各色のデータごとにその階調値変換を行う。具体的には、インクジェット記録装置１０の各色インクの階調特性に応じた１次元ＬＵＴを用いることにより、上記色分解データがインクジェット記録装置１０の階調特性に線形的に対応づけられるような変換を行う。
【００２１】
ハーフトーニング（Ｓ１４）において、プリンタドライバ５２は、例えば８ビットの色分解データＹ、Ｍ、Ｃ、Ｋそれぞれについて、例えば誤差拡散法を用いてビットの低減化を行う。本実施形態では、８ビット（２５６階調）を３ビット（５レベル）のデータに変換する量子化を行う。この３ビットデータは、インクジェット記録装置１０におけるドット配置のパターン化処理におけるドット配置パターンを示すためのインデックスとなるデータ（階調値情報という）である。後述の図４に示される５段階の被覆率のうちのどの被覆率のドット配置パターンを用いるかが、階調値情報にしたがって決定される。最後に、記録データ作成処理（Ｓ１５）において、プリンタドライバ５２は、上記３ビットのインデックスデータを内容とする記録イメージデータに記録制御情報と後述の解析情報を加えた記録データを作成する。
【００２２】
インクジェット記録装置１０（画像処理部５３）は、ホスト装置３０（プリンタドライバ５２）から受け取った記録データに対して、ドット配置パターン化処理（Ｓ１６）およびマスクデータ変換処理（Ｓ１７）を行う。ドット配置パターン化処理では、記録対象の画像の各画素の値と解析情報に基づいて、画像の各画素を記録するのに用いられるドット配置パターンを選択する。ドット配置パターンは、画素を構成するドットの内の記録されるドットの配置を示すパターンである。本実施形態では、画素の一つの濃度に対して複数種類のドット配置パターンが存在し、画素の値に対応する濃度の複数種類のドット配置パターンから、当該画素が所属する部分の解析情報に基づいて当該画素の記録に用いられるドット配置パターンを選択される。
【００２３】
ドット配置パターン化処理（Ｓ１６）において、画像処理部５３は、実際の記録画像に対応する画素ごとに、記録イメージデータである３ビットのインデックスデータ（階調値情報）と解析情報に対応したドット配置パターンに従ってドット配置を行う。このとき、画像処理部５３は、記録データに含まれる解析情報とインデックスデータに基づいて、記憶部１６に記憶されているドット配置パターン（図４により後述）から、画素の記録に用いるドット配置パターンを選択する。このように、ドット配置パターン化処理では、３ビットデータ（５レベル）で表現されている各画素に対し、その画素の階調値に対応したドット配置パターンが割り当てられ、画素内の複数のエリアの各々にドットのオン・オフが定義される。この処理により、１画素を構成するドットの各々の記録の有無（「１」または「０」）を示す吐出データが配置され、インクを吐出して画像形成するインクジェット記録装置１０で使用できる情報となる。
【００２４】
以上のようにして得られる１ビットの吐出データはマスクデータ変換処理（Ｓ１７）においてマスク処理がなされる。すなわち、画像処理部５３は、記録ヘッド５５により所定幅の走査領域を１または複数回走査して画像を記録させるための各走査の吐出データを、それぞれの走査に対応したマスクを用いた処理によって生成する。走査ごとの吐出データＹ、Ｍ、Ｃ、Ｋは、適切なタイミングでヘッド駆動回路５４に送られ、これにより、記録ヘッド５５が駆動されて吐出データに従ってそれぞれのインクが吐出される。
【００２５】
なお、ドット配置パターン化処理（Ｓ１６）とマスクデータ変換処理（Ｓ１７）がインクジェット記録装置１０で実行される構成を示したが、これに限られるものではない。たとえば、ドット配置パターン化処理（Ｓ１６）とマスクデータ変換処理（Ｓ１７）の一部あるいはすべてがホスト装置３０（プリンタドライバ５２）によって実行されてもよい。また、ハーフトーニング（Ｓ１４）など、プリンタドライバ５２の処理の一部がインクジェット記録装置１０（画像処理部５３）で実行されてもよい。
【００２６】
次に、ドット配置パターン化処理（Ｓ１６）について説明する。上述したハーフトーニング（Ｓ１４）では、２５６値の多値濃度情報（８ビットデータ）を５値の階調値情報（３ビットデータ）までにレベル数を下げている。しかし、インクジェット記録装置１０の記録ヘッド５５が記録できる情報は、インクを記録するか否かの２値情報である。ドット配置パターン化処理（Ｓ１６）は、３値以上の多値レベル（本例では、０〜４（３ビット）の５値）を、ドットの有無を決定する２値レベルまで低減する処理を実行する。具体的には、ドット配置パターン化処理（Ｓ１６）では、ハーフトーニング（Ｓ１４）からの出力値であるレベル０〜４の３ビットデータで表現される画素ごとに、その画素の階調値（レベル０〜４）に対応した被覆率のドット配置パターンを割当てる。これにより１画素内の走査によって記録される複数のドットの各々についてオン・オフが定義され、１画素内のドットごとに「１」または「０」の１ビットの吐出データが提供される。
【００２７】
図４は本実施形態のドット配置パターン化処理で用いられるドット配置パターンの一例を示した図である。インクジェット記録装置１０は多値の入力画像を、インク滴の有り／無しによって面積階調に変換する際に、図４に例示されるようなドット配置パターンを使用する。図４は、０〜４の各レベル（被覆率）において４×４の正方行列状にならんだマス目の中のどこにインク滴を吐出するかが示されている。また、例えば同じ２５％の被覆率（レベル１）を表すドット配置パターンには、Ａ〜Ｄの４種類があり、同様に５０％、７５％といった被覆率（レベル２，３）においても複数のパターンが用意されている。
【００２８】
インクジェット記録装置１０においては、ドットの着弾ヨレや、主液滴から分離して生まれた副液滴による画像の劣化、また記録ヘッドのメカ的なバラツキや、紙送りの変動など、画像劣化の要因となるノイズ成分が多数存在する。そういったノイズ成分を打ち消すために、ドット配置にできるだけランダム性をもたせたのが種類Ａ、Ｂに示したドット配置パターンである。一方、種類Ｃ、Ｄはドット配置が縦方向に連続しているため、上記のようなノイズ成分に弱く、少ないノイズ成分によって画像が乱れやすい。しかしドット配置に直線性があるため、縦方向の解像度を高くすることが可能である。また、このドット配置が横方向に連続している場合は、横方向の解像度を高くすることが可能である。
【００２９】
以上のように、インクジェット記録装置１０に起因したノイズ成分に強いドット配置パターンであったり、画像の解像度を高めるドット配置パターンであったりと、様々なドット配置パターンが存在する。なお、図４では説明を容易にするために４×４の正方行列のドット配置パターンを示したが、記録される１画素の大きさの範囲であれば、その形状やサイズに限定はない。たとえば、ドット配置パターンはｎ×ｎとして、いかなるサイズが用いられてもよい。また、ドット配置パターンは、ｎ×ｍの長方形としてもよく、正方行列に限られるものではない。
【００３０】
これらの様々なドット配置パターンは、記録を行う画像の特性に応じて選択されることが望ましい。ここで、画像の特性とは、例えば写真画像において合焦近傍にある被写体の背景のボケなどによる空間周波数などの特性である。本実施形態のドット配置パターン化処理（Ｓ１６）では、撮像装置１００で撮影を行って得られた写真画像を記録する際に、その写真画像とともに取得された解析情報を元にドット配置パターンを選択する。そのため、撮像装置１００は後述する構成により、画像内の各部の解析情報を取得する。ここでいう解析情報とは、撮像装置から被写体や背景それぞれの距離の値、またはそれぞれの位置におけるデフォーカス量、またはその両方である。
【００３１】
図５（ａ）は写真画像の一例である。領域４０１は本画像の主被写体が存在するフォーカスの合った領域であり、最も高い解像度で記録されるべき領域である。それに対し、領域４０２は、主被写体から少し距離が離れた位置に存在し、画像としては少しだけボケた状態となっている。また領域４０３は、主被写体から大きく距離が離れたところにあり、大ボケ状態となっている。大ボケ状態の領域４０３では、高い解像度の記録は必要ない。領域４０３のような空間周波数が低い領域においては、インクジェット記録装置のノイズ成分による画像劣化（スジやムラとなって見えるところ）が目立ちやすくなる。したがって、本実施形態では、図４に示した種類Ａ、Ｂのようなドット配置パターンが用いられる。また合焦近傍領域である領域４０１は、多少のスジやムラなどの画像劣化は目立ちにくいが、より高い解像度の記録が望ましい。よって、本実施形態では、図４に示した種類Ｃ、Ｄのようなドット配置パターンが用いられる。
【００３２】
図５（ｂ）、図５（ｃ）は画像内の解析情報の一例としての距離マップの例である。図５（ｂ）は図５（ａ）に示した元画像を所定の領域に分割した様子を示す。図５（ｃ）は、分割された所定の領域ごとの撮像装置からの距離の値を示している。図５（ｂ）の領域４０１の主被写体が撮像装置から最も近い０．５ｍのところにあると検出されている。また、図５（ｂ）の領域４０２の被写体が０．６ｍのところに、領域４０３の背景部分が無限遠と検出されている。なお、図５（ｃ）に示した距離は説明のための例示であり、図５（ｂ）に示した画像と厳密に一致するものではない。
【００３３】
この例において、フォーカスの合った被写体の距離が０．５ｍであったとする。領域４０１に示した部分（被写体の距離が０．５ｍと検出されている領域）は合焦近傍であり、図４の種類Ｃ，Ｄのドット配置パターンを選択することにより縦方向の解像度が上がり、画質が向上する。また、領域４０３に示した部分には、図４の種類Ａ，Ｂのような、できるだけランダムにドットが分散されたドット配置パターンを用いることにより、インクジェット記録装置のノイズ成分の影響を拡散させ、画像劣化を抑制することが可能となる。
【００３４】
以上説明したように、撮像装置１００で撮影した際の解析情報を元にインクジェット記録装置１０で記録を行う際に用いるドット配置パターンを選択することにより、好適な画像を得ることが可能となる。次に、撮像装置１００で解析情報を得るための構成を説明する。
【００３５】
図６は本実施形態の撮像装置１００の構成例を示すブロック図である。図６において、第１レンズ群１０１は、撮影光学系の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。第３レンズ群１０５は、光軸方向の進退により、焦点調節を行なう、いわゆるフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は２次元ＣＭＯＳフォトセンサーと周辺回路を有し、撮影光学系の結像面に配置される。
【００３６】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００３７】
電子フラッシュ１１５は、撮影時における被写体の照明に用いられる。電子フラッシュ１１５としては、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置が用いられても良い。ＡＦ補助光発光部１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００３８】
ＣＰＵ１２１は、撮像装置１００の種々の制御を司る。ＣＰＵ１２１は、不図示の演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮像、画像処理と記録等の一連の動作を実行する。また、ＣＰＵ１２１には、後述の撮像素子の出力信号を用いた焦点調節で必要となる補正値算出係数が記憶されている。この補正値算出係数は、第３レンズ群１０５の位置に対応したフォーカス状態、第１レンズ群１０１ないし第２レンズ群１０３の位置に対応したズーム状態、撮影光学系のＦ値、撮像素子の設定瞳距離、画素サイズ毎に複数用意されている。焦点調節を行う際は、撮影光学系の焦点調節状態（フォーカス状態、ズーム状態）と絞り値、撮像素子の設定瞳距離、画素サイズの組み合わせに応じて最適な補正値算出係数が選択される。そして、選択された補正値算出係数と撮像素子の像高から補正値が算出される。
【００３９】
なお、補正値算出係数をＣＰＵ１２１に記憶するように構成したがこれに限られるものではない。例えば、交換レンズ式の撮像装置においては、撮影光学系を有する交換レンズが不揮発性メモリを有し、そのメモリに上述の補正値算出係数を記憶するようにしてもよい。この場合、例えば、撮影光学系の焦点調節状態に応じて、補正値算出係数が交換レンズから撮像装置１００に送信される。
【００４０】
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像に対してγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００４１】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００４２】
表示装置１３１はＬＣＤ等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の焦点検出領域の枠や合焦状態表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。フラッシュメモリ１３３は、撮像装置１００から着脱可能であり、撮像装置１００により取得された画像を記録する。送受信部１３４は、不図示のＬＡＮ等のネットワークを介してホスト装置３０およびインクジェット記録装置１０との通信を可能にする
【００４３】
本実施形態における撮像装置１００が有する撮像素子１０７の撮像画素（及び焦点検出画素）の配列の概略図を図７に示す。図７は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子１０７）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示している。本実施形態において、図７に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。
【００４４】
図７に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。
【００４５】
図７に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図８（ａ）に示し、図８（ａ）のａ−ａ断面を−ｙ側から見た断面図を図８（ｂ）に示す。図８に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。
【００４６】
光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。
【００４７】
図８において、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、正電荷のホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００４８】
図８に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図を図９に示す。図８（ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮影光学系の射出瞳面を−ｚ側から見た図を図９に示す。図９では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図８に対して反転させている。
【００４９】
図９で、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。
【００５０】
図９で、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。
【００５１】
また、図９で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００５２】
撮像面位相差ＡＦでは、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図９で、射出瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、瞳強度分布（受光率の入射角分布）となる。
【００５３】
本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図１０に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射する。各画素に入射した光束は、２×１分割された第１焦点検出画素２０１（光電変換部３０１）と第２焦点検出画素２０２（光電変換部３０２）で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例を示したが、必要に応じて、垂直方向に瞳分割が行われても良い。
【００５４】
本実施形態の撮像素子は、第１焦点検出画素２０１と、第２焦点検出画素２０２とを有する撮像画素が複数配列されている。第１焦点検出画素２０１は、撮影光学系の第１瞳部分領域５０１を通過する光束を受光する。また、第２焦点検出画素２０２は、撮影光学系の第２瞳部分領域５０２を通過する光束を受光する。第１瞳部分領域５０１と第２瞳部分領域５０２は、互いに異なる領域である。また、撮像画素は、撮影光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する。必要に応じて、撮像画素と第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としても良い。
【００５５】
本実施形態では、撮像素子１０７の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成することにより、焦点検出が行われる。また、撮像素子１０７の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）が生成される。
【００５６】
次に、本実施形態の撮像素子により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。
【００５７】
図１１に、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係図を示す。撮像面８００に本実施形態の撮像素子１０７（不図示）が配置され、図９、図１０と同様に、撮影光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割されている。
【００５８】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図１１で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を、デフォーカス状態（｜ｄ｜＞０）と総称する。
【００５９】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、撮像面８００の手前で集光する。そして、光束はその重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００６０】
したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。
【００６１】
以下、本実施形態における位相差方式の焦点検出について説明する。
【００６２】
本実施形態の位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加するという関係性から、像ずれ量を変換係数により検出デフォーカス量に変換して焦点検出を行う。
【００６３】
図１２に、本実施形態の焦点検出処理と解析情報の生成の流れの概略図を示す。なお、図１２の動作は、撮像素子１０７、画像処理回路１２５とＣＰＵ１２１によって実行される。
【００６４】
ステップＳ１０１において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から、焦点調節を行う像高（Ｘ，Ｙ）を中心とする焦点検出領域を設定する。ステップＳ１０２において、ＣＰＵ１２１は、焦点検出領域の第１焦点検出画素の受光信号から第１焦点検出信号（Ａ像）を生成し、焦点検出領域の第２焦点検出画素の受光信号から第２焦点検出信号（Ｂ像）を生成する。Ａ像とＢ像とは、いわゆる視差画像を構成する。
【００６５】
ステップＳ１０３において、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号のそれぞれについて、列方向に３画素加算処理を行い、さらに、ベイヤー（ＲＧＢ）加算処理を行う。列方向の３画素加算処理は、処理対象となる信号データ量を抑制するために行われる。また、ベイヤー加算処理は、ＲＧＢ信号を輝度信号にするために行われる。これら２つの加算処理を合わせて画素加算処理と称する。
【００６６】
ステップＳ１０４において、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理（光学補正処理）を行う。以下、第１焦点検出信号と第２焦点検出信号の瞳ずれによる像ずれ量から検出デフォーカス量への換算に必要な変換係数の変化と、シェーディングについて説明する。
【００６７】
図１３に、基線長ＢＬ０、ＢＬ１、ＢＬ２、撮像素子１０７の周辺像高における第１焦点検出画素２０１の第１瞳部分領域５０１、第２焦点検出画素２０２の第２瞳部分領域５０２、および撮影光学系の射出瞳４００の関係を示す。図１３において、射出瞳距離Ｄｌは、撮影光学系の射出瞳４００と撮像素子１０７の撮像面との間の光軸方向における距離を示している。また、設定瞳距離Ｄｓは、周辺像高における受光感度の角度特性のうちで最も感度の高い方向と光軸３０３とが交わる位置と撮像素子１０７との間の光軸方向における距離を示している。
【００６８】
図１３（ａ）は、撮影光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮影光学系の射出瞳４００が、概ね、均等に瞳分割される。射出瞳４００内部における、それぞれ第１瞳部分領域５０１の重心と第２瞳部分領域５０２の重心との間隔である基線長をＢＬ０で示す。この時、像ずれ量から検出デフォーカス量への換算に必要な変換係数Ｋ０は、Ｋ０＝Ｄｓ／ＢＬ０で求められる。
【００６９】
これに対して、図１３（ｂ）に、撮影光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子の周辺像高では、撮影光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、撮影光学系の射出瞳４００が、不均一に瞳分割されてしまう。したがって、基線長は片側に偏ったＢＬ１となり、それに伴い、変換係数もＫ１＝Ｄｓ／ＢＬ１と変化する。
【００７０】
同様に、図１３（ｃ）に、撮影光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合を示す。この場合、撮像素子の周辺像高では、撮影光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、撮影光学系の射出瞳４００が、不均一に瞳分割されてしまう。したがって、基線長は、図１３（ｂ）と反対側に偏ったＢＬ２となり、それに伴い、変換係数もＫ２＝Ｄｓ／ＢＬ２と変化する。
【００７１】
また、周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均一になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。さらに、撮影光学系の絞り値が変わると、図１３の射出瞳４００の大きさが変化するため、絞り値に応じても変換係数とシェーディングが変化することがわかる。したがって、像ずれ量から検出デフォーカス量への変換係数、および、シェーディングは、撮影光学系の絞り値、射出瞳距離、撮像素子の瞳強度分布（光学特性）、および像高に応じて変化することがわかる。
【００７２】
次に、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（撮影光学系）のＦ値、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数をそれぞれ生成する。第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。
【００７３】
撮像面位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を基に、検出デフォーカス量の検出を行う。瞳ずれによるシェーディングが生じると第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が低下する場合がある。よって、位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を改善し、焦点検出性能を良好とするために、シェーディング補正処理（光学補正処理）を行うことが望ましい。
【００７４】
なお、上記では撮像素子１０７の設定瞳距離が同じで、撮影光学系の射出瞳距離が変化する場合の例で瞳ずれの説明を行ったが、撮影光学系の射出瞳距離が同じで、撮像素子１０７の設定瞳距離が変化する場合も同様である。撮像面位相差方式の焦点検出では、この撮像素子１０７の設定瞳距離の変化に伴い、焦点検出画素（第１焦点検出画素、第２焦点検出画素）が受光する光束と、撮像画素が受光する光束も変化する。
【００７５】
次に、ステップＳ１０５において、相関（信号の一致度）を良くして焦点検出精度を向上するために、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号に、特定の通過周波数帯域を有するバンドパスフィルター処理を行う。バンドパスフィルターの例としては、ＤＣ成分をカットしてエッジ抽出を行う｛１、０、−１｝などの差分型フィルターや、高周波ノイズ成分を抑制する｛１、２、１｝などの加算型フィルターがある。次に、ステップＳ１０６において、ＣＰＵ１２１は、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。シフト処理によるシフト量をｓ、シフト量ｓのシフト範囲をΓとして、相関量ＣＯＲは、式（１）により算出される。なお、フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。
【数１】
2018196963.tif 000003
【００７６】
シフト量ｓのシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ番目の第２焦点検出信号Ｂ（ｋ−ｓ）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ）を算出する。必要に応じて、行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。
【００７７】
ステップＳ１０７において、ＣＰＵ１２１は、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐとする。像ずれ量ｐに、焦点検出領域の像高と、撮像レンズ（撮影光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、検出デフォーカス量（Ｄｅｆ）を検出する。ステップＳ１０８において、ＣＰＵ１２１は、｜Ｄｅｆ｜と所定値を比較する。｜Ｄｅｆ｜より所定値が大きい場合（Ｓ１０８でＮＯ）、ステップＳ１０９で、ＣＰＵ１２１は、検出デフォーカス量に応じてレンズを駆動し、焦点合わせを行う。その後、ステップＳ１０１からの処理が繰り返される。他方、｜Ｄｅｆ｜が所定値以下の場合（Ｓ１０８でＹＥＳ）、ＣＰＵ１２１は、フォーカス合わせを終了し、ステップＳ１１０で撮影指示を待機する。この状態で撮影が指示されると、ＣＰＵ１２１は、ステップＳ１１１で撮像素子１０７を用いた撮像を実行する。
【００７８】
そして、ステップＳ１１２において、ＣＰＵ１２１は、撮像された画像の各部のデフォーカス量（Ｄｅｆ）を、ステップＳ１０２で取得した第１焦点検出信号と第２焦点検出信号を用いて算出する。Ｄｅｆの算出方法は、ステップＳ１０３〜Ｓ１０７で説明したとおりである。ステップＳ１１３において、ＣＰＵ１２１は、図５（ｂ）に示したような各分割領域のデフォーカス量を、ステップＳ１１２で算出したＤｅｆに基づいて算出する。たとえば、ＣＰＵ１２１は、部分領域ごとにあらかじめ設定されている１つまたは複数の位置についてＤｅｆを算出し（Ｓ１１２）、それらの平均値を算出する（Ｓ１１３）ことで、撮像画像上の各部分領域のデフォーカス量を算出する。こうして図５（ｃ）に示したような、あるいは図１４（ｂ）で後述するような解析情報（距離マップ）が生成される。
【００７９】
なお、本実施形態では、上述のような撮像素子１０７より得られた異なる視点の画像（視差画像）を用いてデフォーカス量を算出し、解析情報としたが、解析情報としてはこれに限らない。例えば、同一領域のピントの異なる複数の画像から奥行き方向の距離を算出するＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式で得られる奥行き（深さ）情報など、被写体の奥行き方向の位置関係がわかる情報は解析情報とすることができる。また、ＴＯＦ（Ｔｉｍｅ  ＯＦ  Ｆｌｉｇｈｔ）方式で得られる奥行き方向の距離情報などでもよい。また、画像信号（画像データ）から特定の特徴量に基づき特定の被写体を検出する被写体検出処理を行い、検出結果から、各被写体の大きさや周波数成分の大きさ、優先度などを判定し、解析情報として含めてもよい。
【００８０】
次に、インクジェット記録装置１０がドット配置パターンを選択する際に用いる解析情報の一例としての距離マップについて説明する。距離マップとは、画像面内における各点での距離情報をマッピングしたものである。距離マップの一例として示した図５（ｃ）は、説明を容易にするために粗いマップとなっている。距離マップにおける画像の分割数には制限はなく、撮像装置、インクジェット記録装置の処理能力や性能に応じていかなる分割数にしても良い。なお、距離マップは、撮像装置内、もしくは撮像装置で撮影した画像を処理する撮像装置の外部の画像処理装置で生成される。
【００８１】
距離マップに入る数値は、たとえば、前述した各点のデフォーカス量であってもよいし、該デフォーカス量と光学情報から計算される、撮像装置１００（撮像素子１０７の撮像面）から被写体までの距離（図５（ｂ））であってもよい。合焦している被写体とその相対位置関係が、距離マップに入っている数値から認識できれば良い。たとえば、図５（ｃ）の場合、図示の距離情報（距離マップ）とともに、合焦している被写体までの距離（たとえば、０．５ｍ）または合焦している部分領域が通知されることにより、合焦している被写体とその相対位置関係が得られることになる。
【００８２】
また、距離マップにおける距離情報の分解能も、任意に設定することができる。たとえば、図４において例示したドット配置パターンは、Ａ〜Ｄの４種類である。距離マップに応じてこれら４種類のドット配置パターンから一つを選択するために、距離マップにおける距離情報の分解能を４以上とすれば、本実施形態の効果を発揮しやすくなる。
【００８３】
次に、解析情報に基づくドット配置パターンの選択基準の一例を示す。図４のＢに示したドット配置パターンは、Ａ〜Ｄの中で、最もランダム性の高い配置となっている。反対に図４のＣに示したドット配置パターンは、最もランダム性が低く、ドット同士が垂直、もしくは水平方向に並んでいるパターンである。
【００８４】
ドット配置パターンの特徴量を定量的に定義するため、中間濃度、例えば被覆率２５％程度の状態のドット配置パターンにおいて、単位面積あたりのドット同士が垂直、もしくは水平同士に隣り合う確率（ドット隣接確率）を算出する。この算出されたドット隣接確率を、ドット配置パターン特徴量とする。
【００８５】
図４の例では、Ｂはもっともドット隣接確率が低く、打ちこまれたドット同士が隣接する確率が０となっている。このようなドット配置パターンは、インクジェット記録装置のメカ的なノイズ成分が乗っても、ドット同士が重なり合って被覆率が変動してしまう可能性が最も低いため、スジやムラとなることのないロバスト性の高いドット配置となっている。また図４のＣはドット隣接確率がもっとも高いため、水平線、水直線を印字する際にもっとも線分がまっすぐに揃いやすく、高い解像度を実現できる。
【００８６】
インクジェット記録装置１０は、ドット配置パターン化処理（Ｓ１６）において距離マップ情報とドット配置パターン特徴量とを、図１４（ａ）に示したテーブルに基づき選択する。図１４（ａ）は、デフォーカス量を用いた距離マップにおいて、それぞれどのドット配置パターンを選べばよいかを示している。すなわち、インクジェット記録装置１０は、解析情報とドット配置パターンの特徴を示すドット配置パターン特徴量とを対応付けるテーブルを有している。そして、インクジェット記録装置１０は、このテーブルを参照することにより選択されたドット配置パターン特徴量を有するドット配置パターンを選択する。
【００８７】
デフォーカス量が０ｍｍから０．５ｍｍにおいては、ドット隣接確率が１００％のドット配置パターン特徴量を持ったドット配置パターンを選択する。同様にデフォーカス量が５ｍｍ以上の大ボケ状態の領域においては、ドット隣接確率が０％のドット配置パターン特徴量を持ったドット配置パターンを選択する。このように、ドット配置パターンごとに、ドット隣接確率をあらかじめドット配置パターン特徴量として数値として保有しておき、デフォーカス量と図１４（ａ）で示した表を元にドット配置パターン（ドット隣接確率）を選択する。このように、本実施形態のドット配置パターン化処理では、解析情報から判断されるボケ量が大きいほど、記録されるドットの位置の偏りが小さいドット配置パターンが選択される。
【００８８】
たとえば、図１４（ｂ）に示されるように解析情報としてデフォーカス量の距離マップが得られている場合を考える。距離マップにおいて、たとえばデフォーカス量が０〜０．５ｍｍとなっている領域はほぼフォーカスの合った領域であり、図１４（ａ）のテーブルからドット隣接確率が１００％のパターン（図４の種類Ｃ）が選択される。また、図１４（ｂ）に示される距離マップで、デフォーカス量が５．０ｍｍ以上となっている領域はボケが大きく、ドット隣接確率が０％のパターン（図４の種類Ｂ）が選択される。
【００８９】
なお、本実施形態では、各領域（各被写体）のデフォーカス量を各領域に対応する視差信号間の相関波形より算出している。そのため、元々高い周波数成分をほとんど含まない被写体や、撮像素子の像高の高い位置に居る被写体などは、精度良くデフォーカス量が算出できない場合がある。そのような被写体のデフォーカス量については、所定範囲内の周辺領域のデフォーカス量から補間して求めるようにしてもよい。または、そのような被写体のデフォーカス量を、より画質の劣化を許容するドット配置パターンを選択するデフォーカス量として扱うようにしてもよい。
【００９０】
解析情報を用いたドット配置パターン選択の他の例としては、前述したＤＦＤやＴＯＦなどの方式を用いた距離情報に基づき、デフォーカス量と同様に選択を行う方法があげられる。また、被写体検出処理に基づいて奥行き方向の位置関係や優先度を判定して解析情報とし、主被写体の距離（フォーカスされた被写体の奥行き方向の位置）に近い被写体はより遠い被写体に比べて高解像度に記録されるようにドット配置パターンを選択するように設定しても良い。このとき、優先度の高い被写体にはより高解像度に記録されるようにドット配置パターンが選択される。
【００９１】
なお、ドット配置パターン特徴量は、上述したドット隣接確率に限られるものではない。例えば、ドットは直線に近い並びになるほど、高い解像度を得ることができるため、ドット並びの直線性を示す指標をドット配置パターン特徴量としてもよい。ドット配置パターンの直線性を示す指標としては、定性的にはドット配置直線性の「高」、「中」、「低」などで示してもよいし、縦方向、もしくは横方向におけるドット配置のバラツキを数値にしたものでもよい。
【００９２】
図１５はドット配置の垂直線からのバラツキを示した例である。図１５（ａ）と図１５（ｂ）は、共にドットの被覆率は２５％のドット配置パターンであるが、垂直線として捉えたときの水平方向のバラツキが大きく違う。図１５（ａ）においては、垂直線に対して２ドットの範囲でしかバラついていないが、図１５（ｂ）においては４ドットの範囲でバラついており、直線性が低くなっている。このようにドット配置パターン特徴量として、所定の被覆率におけるドットの水平、もしくは垂直方向のドットのバラツキの範囲（バラツキ量）が用いられてもよい。
【００９３】
また本実施形態において、ドット配置パターン特徴量の例として、所定の被覆率においてドット同士が隣接する確率を用いる例を示したが、本発明は、解析情報に基づいてドット配置パターンを選択する範疇においては、他の指標を用いてもかまわない。
【００９４】
以上、説明してきた方法を用いて、例えば図５（ａ）で示した合焦位置の付近の最も解像度を必要とする領域４０１においては、図４の種類Ｃのドット配置パターンが選択される。また、図５（ａ）の大ボケ状態の領域４０３に対しては、図４の種類Ｂで示したようなドット配置パターンが選択される。こうして、ボケ領域においてスジやムラが目立つことなく、かつ、合焦位置付近の領域において高い解像度の記録を実現することができる。
【００９５】
＜第２実施形態＞
第１実施形態では、解析情報を元にインクジェット記録装置のドット配置パターンを選択していた。第２実施形態では、解析情報（たとえば、被写体までの距離（またはデフォーカス量））に、撮影時の光学系の条件（光学条件）を加味してドット配置パターンを選択する。
【００９６】
光学条件として、具体的には、光学系の焦点距離、ならびにＦ値、被写体距離を用いるのが好適である。広く知られているとおり、撮像装置の光学系において、ボケの強度は焦点距離とＦ値の光学条件と、被写体距離に応じて変化する。撮像装置の光学系の焦点距離が長いほどボケが大きくなり、同様にＦ値が小さい（明るい）ほど、ボケが大きくなる。また被写体距離が小さくなるほどボケが大きくなる。第２実施形態では、このボケの量に応じてインクジェット記録装置１０が用いるドット配置パターンを選択する。
【００９７】
たとえば、部分領域ごとの解析情報（距離マップ）において、上述の焦点検出処理によって検出されたデフォーカス量（｜ｄｅｆ｜）を許容錯乱円の径、およびＦ値によって規格化した値（簡易ボケ量）を用いることができる。この簡易ボケ量を式（２）で表すと以下のようになる。ただし、デフォーカス量をＤｅｆ（ｍｍ）、Ｆ値をＦ、許容錯乱円径をδ（ｍｍ）とする。
（数２）
簡易ボケ量＝Ｄｅｆ／（Ｆ×δ）      （２）
【００９８】
式（２）で示した簡易ボケ量は、ボケの強度を定量的に示す手法の一例であり、その値が大きいほど、強いボケとなる。ボケの強度が強いほどランダム性の高い（例えば、隣接確率が低い）ドット配置パターンを選択することにより画質劣化が少なく、かつ高解像度な画像を得ることができる。そのため、本実施形態で示したようなＦ値と許容錯乱円で規格化した簡易ボケ量によってドット配置パターンを選択することによっても、第１実施形態と同様の効果を得ることが可能となる。また、この簡易ボケ量は、デフォーカス量に光学条件（Ｆ値と許容錯乱円径）が加味されたものとなっている。もちろん、焦点距離や被写体距離などの他の光学条件が加味されたものであってもよい。
【００９９】
＜第３実施形態＞
次に第３実施形態について説明する。第１および第２実施形態では撮像された画像をそのままインクジェット記録装置１０によって記録する際に、該画像における解析情報を用いる例を示した。昨今では、得られた視差情報を元に、光軸方向の結像位置を擬似的に変える、いわゆるリフォーカス処理を行う撮像装置が存在する。また、距離マップ情報を元に、合焦近傍領域の解像感を向上させるため、合焦近傍領域において画像の鮮鋭化の位置をずらす解像感補正処理を行うものもある。
【０１００】
第３実施形態では、そういった合焦近傍の解像感をより向上させたい画像への適用について説明する。例えば、ユーザがリフォーカス処理を行った場合には、新たなフォーカス位置と視差画像とに基づいて解析情報（距離マップ）を更新し、更新された解析情報を用いてドット配置パターンの選択が行われる。また、例えばユーザが解像感補正処理を行った場合には、合焦近傍領域において解像度を高めることができるドット配置パターンを選択することが望ましい。また解像感補正処理を行う際に、ユーザが補正処理の強度を設定できる場合、補正処理の強度に応じて、ドット配置パターンを選択してもよい。たとえば、解像感補正処理の強度の変更では、合焦近傍領域で焦点の合う距離が変更されるので、合焦近傍領域における解析情報を更新し、更新された解析情報を用いてドット配置パターンを選択する。このように、ユーザの解像度に対する要求に応えるために本発明を適用することができる。
【０１０１】
以上のように、上述の各実施形態によれば、実際の撮影を行った時の解析情報を元に画像のボケ具合が定義されることになり、画像の各部（各画素）に適用するドット配置パターンをより適切に選択することができる。
【０１０２】
＜その他の実施形態＞
以上説明してきたように、撮像装置で撮像した際の距離影情報に基づき、インクジェット記録装置のドット配置パターンを選択することにより、画質劣化が少なく、かつ高解像度な画像を得ることができる。次に、その解析情報の受け渡し方法について説明する。
【０１０３】
第１〜第３実施形態で説明したような距離マップは、撮像装置１００にて算出されたものを、画像データの中に埋め込む形で保存されてもよい。または、距離マップは画像データに添付される形で、別のファイルとして保存されてもよい。いずれにしても、撮像された画像とその撮像時に得られた解析情報が関連付けられていればよい。また距離マップは画像処理装置、パーソナルコンピュータ、スマートホン等の、ホスト装置３０として機能する情報処理装置で生成されても良い。その際には、撮像装置１００で得られた第１、第２焦点検出信号（視差画像）を含んだ画像データが撮像装置１００より情報処理装置に転送され、情報処理装置が距離マップを算出する。情報処理装置は、インクジェット記録装置１０を制御して記録を行う際に、算出した距離マップを画像データとともに送信し、記録を行う。あるいは、撮像装置１００、情報処理装置内で距離マップを生成せずに、撮像画像と視差画像を含んだ記録データを直接、インクジェット記録装置１０に転送し、インクジェット記録装置１０において距離マップを生成するようにしてもよい。いずれにせよ、インクジェット記録装置１０で記録を行う前に、撮像装置１００、情報処理装置、インクジェット記録装置１０のいずれかにおいて距離マップが生成され、生成された距離マップを元にドット配置パターンが選択されればよい。
【０１０４】
なお、上記の各実施形態では、記録方式としてインクジェット記録方式を用いた例を示したが、これに限られるものではない。１つの画素の階調を複数のドットから選択されたドットを記録することで実現する記録装置であれば、電子写真方式等、その記録方式は限定されない。
【０１０５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０６】
１０：インクジェット記録装置、１１：制御部、１５：画像出力部、１６：記憶部、３０：ホスト装置、１００：撮像装置、１０７：撮像素子
【図１】
2018196963.tif 000004
【図２】
2018196963.tif 000005
【図３】
2018196963.tif 000006
【図４】
2018196963.tif 000007
【図５】
2018196963.tif 000008
【図６】
2018196963.tif 000009
【図７】
2018196963.tif 000010
【図８】
2018196963.tif 000011
【図９】
2018196963.tif 000012
【図１０】
2018196963.tif 000013
【図１１】
2018196963.tif 000014
【図１２】
2018196963.tif 000015
【図１３】
2018196963.tif 000016
【図１４】
2018196963.tif 000017
【図１５】
2018196963.tif 000018