(57)【要約】【課題】撮像面に焦点検出用の画素を有する撮像素子を用いて位相差方式の焦点検出において、より少ないフレームでより多くの焦点検出領域における焦点検出演算結果を得ること、および合焦までの時間を短縮することを可能にすること。【解決手段】撮影光学系の瞳分割手段を有する撮像手段から取得した被写体の画素データに基づいて焦手検出を行う焦点検出装置は、分割領域に分割された焦点検出領域と、焦点検出領域においてピント状態を判定するための複数の異なる第１の領域を設定し、各分割領域の被写体像について第１の相関データを画素データから演算してメモリに保持し、各第１の領域に含まれる分割領域の第１の相関データをメモリから読み出して加算することで、各第１の領域の第２の相関データを生成し、各第１の領域の第２の相関データに基づいて、所定の順序で複数の第１の領域のピント状態を判定する。【選択図】図１
2014211491.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を形成する撮影光学系の瞳分割手段を有する撮像手段により得られた前記被写体の画素データを取得する取得手段と、
複数の分割領域に分割された焦点検出領域と、焦点検出領域においてピント状態を判定するための複数の異なる第１の領域を設定する設定手段と、
前記画素データを用いて、各分割領域の被写体像について第１の相関データを演算する演算手段と、
前記第１の相関データを分割領域ごとに保持するメモリと、
各第１の領域に含まれる前記分割領域の第１の相関データを前記メモリから読み出して加算することで、各第１の領域の第２の相関データを生成する生成手段と、
前記生成された各第１の領域の第２の相関データに基づいて、所定の順序で前記複数の第１の領域のピント状態を判定する判定手段、
を備えることを特徴とする焦点検出装置。
【請求項２】
前記設定手段は、異なる数の分割領域を含む複数の第１の領域を設定し、前記演算手段は、１フレームの画素データから各分割領域の第１の相関データを演算し、前記判定手段は、前記１フレームの画素データから演算された第１の相関データから生成された第２の相関データに基づいて、前記複数の第１の領域のピント状態を判定することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記複数の異なる第１の領域は、異なる数の分割領域を含む領域であり、前記設定手段は、同数の分割領域を含む複数の第２の領域を、前記焦点検出領域の異なる位置に設定し、前記生成手段は前記第２の相関データに基づいて、前記複数の第２の領域のいずれかを前記第１の領域の一つとして選択し、前記判定手段は、前記選択された第１の領域のピント状態を、対応する第２の相関データに基づいて判定することを特徴とする請求項１に記載の焦点検出装置。
【請求項４】
前記判定手段は、前記第２の相関データに基づいて前記被写体の画像の像ずれ量を検出し、前記像ずれ量と所定の値とを比較することでピント状態を判定し、前記焦点検出手段は、前記判定の結果に従って、前記像ずれ量に基づいた焦点調節を行う焦点調節手段をさらに備え、前記焦点調節手段が焦点調節を行ったときは、前記取得手段は新たなフレームの画素データを取得することを特徴とする請求項１乃至３のいずれか一項に記載の焦点検出装置。
【請求項５】
前記判定手段は、前記像ずれ量が前記所定の値より小さい時は、前記焦点調節手段による焦点調節を行わずに、次の第１の領域のピント状態の判定をすることを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出装置。
【請求項６】
前記焦点検出手段は、異なる焦点検出モードを有し、前記設定手段は、前記焦点検出モードに従って前記第１の領域の設定を変更することを特徴とする請求項１乃至５のいずれか一項に記載の焦点検出装置。
【請求項７】
被写体の光学像を形成する撮影光学系と、前記撮影光学系の瞳分割手段を有し、前記瞳分割手段で得られる前記撮影光学系の異なる射出瞳を通過した前記被写体の各光学像に対応する画素データを出力する撮像手段と、
前記画素データを取得して焦点検出を行う、請求項１乃至６のいずれか一項に記載の焦点検出装置と、
前記焦点調節手段により制御され、前記撮影光学系を駆動する駆動手段と、
を備えることを特徴とする撮像装置。
【請求項８】
前記瞳分割手段は、複数のマイクロレンズを二次元に配列したマイクロレンズアレイであり、前記撮像手段は、前記画素アレイ領域に二次元に配列された複数の画素を有し、各画素は、各マイクロレンズに対して分割された複数の光電変換手段を含み、前記複数の光電変換手段は、前記撮影光学系の射出瞳の第１の領域を通って瞳分割された光束を受光するための第１の光電変換部と、第１の領域からずれた第２の領域を通って瞳分割された光束を受光するための第２の光電変換部とを構成することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記瞳分割手段は、複数のマイクロレンズを二次元に配列したマイクロレンズアレイであり、前記撮像手段は、前記画素アレイ領域に二次元に配列された複数の画素を有し、前記複数の画素は、前記撮像光学系の射出瞳の第１の領域を通って瞳分割された光束のみを受光するための第１の光電変換手段を含む第１の画素と、前記射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束のみを受光するための第２の光電変換手段を含む第２の画素を含むことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記第１の光電変換部を構成する光電変換手段の画素信号を加算した前記第１の画像データを生成し、前記第２の光電変換部を構成する光電変換手段の画素信号を加算して前記第２の画像データを生成する画像処理手段をさらに備え、前記取得手段は、前記画素データとして前記第１の画像データおよび第２の画像データを取得することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記焦点検出装置の有する前記焦点検出モードを設定する手段をさらに備えることを特徴とする請求項８乃至１０のいずれか一項に記載の撮像装置。
【請求項１２】
被写体の光学像を形成する撮影光学系の瞳分割手段を有する撮像手段により得られた前記被写体の画素データに基づいて焦点検出を行う焦点検出方法において、
前記画素データを取得する取得ステップと、
複数の分割領域に分割された焦点検出領域と、焦点検出領域においてピント状態を判定するための複数の異なる第１の領域を設定する設定ステップと、
前記画素データを用いて各分割領域の被写体像について第１の相関データを演算し、前記第１の相関データを分割領域ごとにメモリに保持する演算ステップと、
各第１の領域に含まれる前記分割領域の第１の相関データを前記メモリから読み出して加算して各第１の領域の第２の相関データを生成する生成ステップと、
前記生成された各第１の領域の第２の相関データに基づいて、所定の順序で前記複数の第１の領域のピント状態を判定する判定ステップ、
を備えることを特徴とする焦点検出方法。
【請求項１３】
被写体の光学像を形成する撮影光学系の瞳分割手段を有する撮像手段により得られた前記被写体の画素データに基づいて焦点検出を行う焦点検出装置を制御するためのプログラムであり、
コンピュータを、
前記画素データを取得する取得手段、
複数の分割領域に分割された焦点検出領域と、焦点検出領域においてピント状態を判定するための複数の異なる第１の領域を設定する設定手段、
前記画素データを用いて各分割領域の被写体像について第１の相関データを演算し、前記第１の相関データを分割領域ごとにメモリと保持する演算手段、
各第１の領域に含まれる前記分割領域の第１の相関データを前記メモリから読み出して加算することで、各第１の領域の第２の相関データを生成する生成手段、
前記生成された各第１の領域の第２の相関データに基づいて、所定の順序で前記複数の第１の領域のピント状態を判定する判定手段、
として機能させるプログラム。
【請求項１４】
請求項１３のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１５】
コンピュータを、請求項１乃至６のいずれか一項に記載された焦点検出装置の各手段として機能させるプログラム。
【請求項１６】
コンピュータを、請求項１乃至６のいずれか一項に記載された焦点検出装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置のオートフォーカス機能のための焦点検出装置に関し、特に撮像面に焦点検出用の画素を有する撮像素子からの画像信号を用いて位相差方式の焦点検出を行う焦点検出装置およびそれを備えた撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置の焦点制御のための焦点検出の方法として、焦点検出素子を用いた位相差方式、撮像素子の画像のコントラスト成分を用いたコントラスト方式、など様々な方法が提案されている。また、撮像素子中の画素が撮像レンズの異なる瞳面の光を受光する構成をとることによって、撮像と同時に位相差方式の焦点検出を行う技術がある。
【０００３】
特許文献１においては、１つの画素において１つのマイクロレンズで集光される光束を、分割されたフォトダイオード（以下ＰＤ）で光電変換することによって、各々のＰＤが撮像レンズの異なる瞳面の光を受光するように構成されている。それによって、２つのＰＤの出力を比較することにより、撮像レンズでの焦点検出を行っている。
【０００４】
また、特許文献２においては、ＰＤの前面にある配線層を画素によって異ならせることで、撮像レンズの異なる瞳面の光を受光するように構成されている。
【０００５】
これらの技術では、撮像レンズの異なる瞳面の光を受光した各々のＰＤの信号から像ずれ量の検出すなわち位相差の検出を行い、像ずれ量からピントのずれ量を計算することで、焦点の検出を行っている。
【０００６】
特許文献３においては、特許文献２の方法とコントラスト方式を併用して、焦点検出を行っている。
【０００７】
コントラスト方式の焦点検出の場合、焦点検出に使用する領域を小さく設定すると、被写体のピントずれ量が小さいときに、精度があがるが、ＳＮが悪化してしまう課題がある。そして、ピントのずれ量が大きいときには、ぼけた像が焦点検出領域内に入らなくなってしまう。また、焦点検出に使用する領域を大きく設定すると、ＳＮはよくなるが、複数の被写体が焦点検出領域内に入り込みやすくなる。このため、遠い被写体と近い被写体が焦点検出領域内に混在する、いわゆる遠近競合によって、誤検知の可能性が大きくなってしまう。位相差方式においても遠近競合は発生するが、コントラスト方式は撮像素子で像を取得するため、像の大きさは、被写体の大きさだけでなく、ピントのずれ量いわゆる像のぼけの大きさにも依存する。従って、像のぼけ具合によっても最適な焦点検出領域を選択する必要がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２０１０−１５２１６１号公報
【特許文献３】特開２００９−１１５８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、撮像素子で位相差方式の焦点検出を行う場合も、像の投影される領域がピントのずれ量にも依存する。特に、撮影レンズの射出瞳の分割範囲が広ければ広いほどその影響は顕著である。
【００１０】
特許文献１のようなＰＤで分割するタイプの撮像素子上での位相差検出は、ＰＤの出力を撮影画像にも使用するので、射出瞳の分割範囲は、撮影画像に最適化され、焦点検出用に小さくすることが出来ない。その際に、焦点検出領域の大きさは、遠近競合を少なくするためにピント状態に応じて最適にする必要がある。そのために、焦点検出領域の大きさを変更して複数回の焦点検出演算を行うと、最終的な焦点検出結果を得るまでに時間がかかるといった問題がある。また、画像に対して複数回演算を行う必要があるので画像を格納するバッファが必要になるといった問題も生じる。
【００１１】
本発明は上述した課題に鑑みてなされたものであり、その目的は、より少ないフレームでより多くの異なる焦点検出領域における焦点検出演算結果を得られ、合焦までの時間を短縮することを可能にする焦点検出装置および撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明によれば、焦点検出装置は、被写体の光学像を形成する撮影光学系の瞳分割手段を有する撮像手段により得られた被写体の画素データを取得する取得手段と、複数の分割領域に分割された焦点検出領域と、焦点検出領域においてピント状態を判定するための複数の異なる第１の領域を設定する設定手段と、画素データを用いて、各分割領域の被写体像について第１の相関データを演算する演算手段と、第１の相関データを分割領域ごとに保持するメモリと、各第１の領域に含まれる分割領域の第１の相関データをメモリから読み出して加算することで、各第１の領域の第２の相関データを生成する生成手段と、生成された各第１の領域の第２の相関データに基づいて、所定の順序で複数の第１の領域のピント状態を判定する判定手段を備える。
【発明の効果】
【００１３】
本発明によれば、より少ないフレームでより多くの異なる焦点検出領域における焦点検出演算結果を得ることができ、合焦までの時間を短縮することを可能にする焦点検出装置および撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施例に係わる焦点検出装置を適用した撮像装置の構成を示す図である。
【図２】本発明の第１の実施例に係わる撮像装置で使用される撮像素子の構成を示す図である。
【図３】位相差方式における焦点検出の概念を示す図である。
【図４】本発明の第１の実施例に係る焦点検出装置の相関演算部の構成を説明するための図である。
【図５】位相差方式における焦点検出の概念を示す図である。
【図６】本発明の第１の実施例に係る焦点検出装置の相関演算部の動作を示す図である。
【図７（ａ）】本発明の第１の実施例に係る焦点検出領域と焦点検出領域における相関データを記憶するメモリの構成を示す図である。
【図７（ｂ）】本発明の第１の実施例に係る焦点検出領域と焦点検出領域における相関データを記憶するメモリの構成を示す図である。
【図８】本発明の第１の実施例に係る撮像装置の撮影動作のフローチャートを示す図である。
【図９】本発明の第１の実施例に係る焦点検出領域と焦点検出領域における相関データを記憶するメモリの構成を示す図である。
【図１０】本発明の第１の実施例に係る焦点検出領域と焦点検出領域における相関データを記憶するメモリの構成を示す図である。
【図１１】本発明の第１の実施例に係る焦点検出領域と焦点検出領域における相関データを記憶するメモリの構成を示す図である。
【図１２】本発明の第２の実施例に係る撮像装置の撮影動作を示すフローチャートを示す図である。
【図１３（ａ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｂ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｃ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｄ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｅ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｆ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｇ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｈ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１３（ｉ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１４（ａ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１４（ｂ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１４（ｃ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１４（ｄ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１５（ａ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１５（ｂ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１５（ｃ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【図１５（ｄ）】本発明の第２の実施例に係る焦点検出領域を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１６】
図１は、本発明の第１の実施例に係る焦点検出装置を適応した撮像装置の構成を示すブロック図である。同図において、１００は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する撮像素子である。撮像素子１００は後述するＣＰＵ１０３等によって制御され、静止画または動画を撮影する。１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うアナログフロントエンド（以下、これをＡＦＥと称する）である。１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御するタイミングジェネレータ（以下、これをＴＧと称する）である。本実施例では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。
【００１７】
１０６はＲＡＭである。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施例では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムを格納するＲＯＭである。ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のレベルのメモリであれば、他のメモリを適用することも可能である。１０３は、撮像装置を統括的に制御するＣＰＵである。上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのプログラムを実行する。１０８は、撮影された静止画または動画の補正・圧縮等の処理を行う画像処理部である。また、後述するＡ像データとＢ像データの加算機能や、静止画像、動画像の生成機能を備える。１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う相関演算部である。
【００１８】
１０９は、焦点検出のために、相関演算部１２０から出力される相関演算の結果を用いて焦点検出を行うＡＦ演算部である。１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施例では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリ、ハードディスク等でもよい。また、これらの記録媒体を内蔵した形態でもよい。１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う操作部である。１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う表示部である。
【００１９】
１１６は、撮影光学系（共通光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１１７は絞りで、その開口径を調節することで撮影時の光量を調節する。１１８は第２レンズ群である。そして、前記絞り１１７及び第２レンズ群１１８は一体となって光軸方向に進退し、前記第１レンズ群１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。１１９は第３レンズ群で、光軸方向の進退により、撮影光学系の焦点を調節する。
【００２０】
１１１は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施例では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。１１２は、光学系の焦点位置を変更する焦点位置変更手段であるフォーカス駆動回路で、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行なう。１１３は絞り駆動回路で、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口を制御する。相関演算部１２０、ＡＦ演算部１０９、フォーカス駆動回路１１２、ＣＰＵ１０３は、本実施例に係る焦点検出装置を構成する。
【００２１】
次に撮像素子１００の構成を、図２を参照して説明する。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が二次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直選択回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平選択回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直選択回路１００ｄ及び水平選択回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。垂直選択回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読出しパルスを、選択行において有効にする。読出し回路１００ｂは列毎に設けられアンプやメモリを有し、選択行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平選択回路１００ｃによって列方向に順に選択され、アンプ１００ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素の信号を外部に出力する。
【００２２】
撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、１００ｆはマイクロレンズアレイを構成するマイクロレンズである。１００ｇ、１００ｈは光電変換を行う光電変換手段としてのフォトダイオード（ＰＤ）であり、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。すなわち、焦点検出用画素は、１つのマイクロレンズに対して複数の光電変換部を備える。マイクロレンズ１００ｆを共有している撮像領域を１画素とした場合、画素アレイ領域には、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ１００ｇとＰＤ１００ｈで蓄積された信号は、前述した読出し動作によって別々に外部に出力される。ＰＤ１００ｇとＰＤ１００ｈは、後述する瞳分割構成により、互いに位相差を持った別々の像が入射されるため、ここではＰＤ１００ｇをＡ像用光電変換部、ＰＤ１００ｈをＢ像用光電変換部とする。なお、本実施例では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができる。
【００２３】
次に撮像素子１００のＡ像用光電変換部とＢ像用光電変換部が出力する画素信号から生成される画素データについて図３を用いて説明する。なお、同図において、図２の同じ部分は同じ符号を付して示す。
【００２４】
図３（ａ）と図３（ｂ）は、撮像素子１００におけるピント状態と位相差との関係を示す。同図において、３００ａは画素アレイ１００ａの断面を示す。１００ｆは前述したマイクロレンズ、１００ｇ、１００ｈはそれぞれＡ像用光電変換部、Ｂ像用光電変換部である。３３０は、図１に示す第１レンズ群１１６、第２レンズ群１１８、第３レンズ群１１９を合わせて１つのレンズとして考えたときの、撮影レンズである。被写体３１０から発せられた光は、光軸３２０を中心として、撮影レンズ３３０の各領域を通過し、撮像素子に結像される。ここでは射出瞳と撮影レンズの中心ないし重心は同一としている。
【００２５】
この様な構成によれば、撮像光学系をＡ像用光電変換部から見た場合とＢ像用光電変換部から見た場合とで、撮像光学系の瞳が中心に関して対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束にいわゆる瞳分割される。そして、それぞれの分割光束（第１の光束及び第２の光束）が、瞳分割された光束をそれぞれ受光するための第１の光電変換部と第２の光電変換部であるＡ像用光電変換部１００ｇ及びＢ像用光電変換部１００ｈに入射する。第１の光束は、射出瞳の第１の領域を通って瞳分割された光束であり、第２の光束は、射出瞳の第１の領域からずれた第２の領域を通って瞳分割された光束である。こうして、被写体３１０上の特定点からの光束は、光束ΦＬａと光束ΦＬｂとに分割される。前者は、Ａ像用光電変換部１００ｇ（Ａ）に対応する分割瞳を通って該Ａ像用光電変換部１００ｇ（Ａ）に入射する光束であり、後者は、Ｂ像用光電変換部１００ｈ（Ｂ）に対応する分割瞳を通って該Ｂ像用光電変換部Ｂに入射する光束ΦＬｂである。
【００２６】
これら２つの光束は、被写体３１０上の同一点から入射しているため、撮像光学系のピントが合った状態では、図３（ａ）に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用光電変換部１００ｇとＢ像用光電変換部１００ｈでそれぞれ得られる像信号は互いに一致する。しかし、図３（ｂ）に示すように、Ｙだけピントがずれている状態では、光束ΦＬａ、ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ、ΦＬｂの到達位置が互いにずれる。したがって、Ａ像用光電変換部１００ｇとＢ像用光電変換部１００ｈからそれぞれ得られる像信号には位相差が生じる。Ａ像用光電変換部１００ｇ及びＢ像用光電変換部１００ｈにより、位相差を持った２つの被写体像が光電変換されて、別々に外部へ出力さる（Ａ像信号及びＢ像信号）。それらの信号はＡＦＥ１０１でデジタル変換され、それぞれ画素データであるＡ像データとＢ像データとして後述するＡＦ動作に使用される。
【００２７】
なお、本実施例では、１つのマイクロレンズに対して複数の光電変換部を対応させて瞳分割する構成による画像信号を取得しているが、この限りではない。離散的に配置された焦点検出用画素からの信号を使用する構成でも適用可能である。
次に、図４を用いて、相関演算部１２０の構成について説明する。図４は相関演算部１２０の構成を示す図である。
【００２８】
４３０は、入力されるＡ像データとＢ像データの位相差（相関値）を算出する相関演算回路である。４３１は、相関演算回路４３０で使用する一行分のＡ像データとＢ像データを格納するラインメモリである。４３２は、ラインメモリ４３１や相関演算回路４３０の動作制御を行う演算制御回路である。４３３は相関演算回路４３０から出力される相関演算結果（相関データ）を格納するメモリである。４３４は相関データのメモリ４３３への書き込み、またはメモリ４３３からの読み出しを制御するメモリ制御部である。４３５はメモリから出力される相関データを加算する加算部である。４３６は、メモリ４３３からのデータ出力と加算部４３５からのデータのいずれかを選択するセレクタである。
【００２９】
ここで図４を参照して、相関演算部１２０の動作について説明する。演算制御回路４３２は水平同期信号に基づきラインメモリ４３１に対し制御信号を出力し、入力される１行分のＡ像データとＢ像データは、ラインメモリ４３１に書き込まれる。その後、演算制御回路４３２は、垂直同期信号を参照し、画像データの１フレームにおける垂直位置を算出する。本実施例では、焦点検出領域（ＡＦ領域）は、予めＣＰＵ１０３によって設定されているので、算出された垂直位置が設定された領域内である時に演算制御回路４３２は相関演算回路４３０に対して、垂直領域信号を出力する。相関演算回路４３０では、垂直領域信号がアクティブになっている時にＡ像データとＢ像データに対して相関演算を行う。
【００３０】
また、演算制御回路４３２は、設定されたＡＦ領域に基づき、設定に対応する位置のＡ像データとＢ像データをラインメモリ４３１から読み出し、相関演算回路４３０へ入力する。
【００３１】
この時、ＣＰＵ１０３が演算制御回路４３２に対して行う設定により、図７（ａ）に示す７００のようにＡＦ領域は分割される。この設定に基づき、演算制御回路４３２は入力されたＡ像データとＢ像データがどの分割領域内のデータに相当するかを示す領域番号を相関演算回路４３０に対して出力する。相関演算回路４３０は、この領域番号を参照し、分割領域毎に相関演算を行う。本実施例では、例として水平７分割、垂直５分割の領域分割を行うものとするが、分割の構成はこの限りではない。相関演算回路４３０では、Ａ像データとＢ像データの相関値を算出する。
【００３２】
図５（ａ）は、図３（ａ）に示すようにピントがあっている場合の１行のＡ像データとＢ像データである。横軸は、水平画素位置を表し、縦軸はデータのレベルを表す。ピントがあっている場合はＡ像データとＢ像データは一致する。図５（ｂ）は、図３（ｂ）に示すようにピントがあっていない場合の１行のＡ像データとＢ像データである。このときは、Ａ像データとＢ像データは前述した状態によって位相差を持ち、水平画素位置のずれとして像ずれ量Ｘを有する。相関演算回路４３０には、演算制御回路４３２にて指定された分割領域毎のＡ像データが図６（ａ）に示す様に水平方向にシフト移動されながら入力される。ここでは、Ａ像データを左にシフトする場合のシフト量をマイナス、Ａ像データを右にシフトする場合のシフト量をプラスとし、−ｓ〜ｓ画素のシフト移動を行う。各シフト時に、対応するＡ像データとＢ像データを比較し、水平方向の各位置における値が小さい方のデータを加算したものを１行分の相関値として算出する。なお、本実施例では相関値の算出方法はこの限りではない。Ａ像データとＢ像データの相関を示す算出方法であれば、いずれの方法でも適用することが可能である。Ａ像データとＢ像データの被写体像の位置関係が図３（ｂ）の場合、図６（ｂ）に示す様にシフト量がＸになった時に相関値が最大となる。同一の分割領域内の各行の相関値は、同一シフト量毎に加算され、１つの分割領域のシフト量毎の相関値（相関データ）として算出され、メモリ４３３へ書き込まれる（第１の相関データ）。
【００３３】
図７（ｂ）はメモリ１３３の構成を示す。図７（ａ）に示す各分割領域ａ００〜ａ４６毎に、相関演算回路４３０で算出された各シフト量（−ｓ〜ｓ）の相関データが保持される。ＣＰＵ１０３から相関データの出力命令が相関演算部１２０に入力されると、メモリ４３３から相関データが読み出されて相関演算部１２０から出力される。
【００３４】
この時、ＣＰＵ１０３によってＡＦ領域に設定された領域の相関データが加算部４３５にて加算される（第２の相関データ）。例えば、ａ００とａ０１の領域が加算されるように設定された場合には、メモリ制御部４３４はメモリに対してａ００の−ｓシフトの相関データと、ａ０１の−ｓシフトの相関データを順次読み出す制御を行い、読み出したデータを加算部４３５に入力する。加算部４３５では、ａ００の−ｓシフトの相関データとａ０１の−ｓシフトの相関データを加算し、新たな−ｓシフトの相関データとして出力する。以降−ｓ＋１シフト、−ｓ＋２シフト、というように＋ｓシフトまで同様の加算を行い、ａ００とａ０１の領域が加算された−ｓ〜ｓシフトの相関データを出力する。領域を加算する設定がされている場合には、セレクタ４３６はｂ側を選択し、加算部４３５から出力されるデータを相関演算部１２０から出力する。
【００３５】
領域の加算が設定されていない場合には、セレクタ４３６はａ側が選択され、設定された領域の−ｓ〜ｓシフトの相関データがそのまま相関演算部１２０から出力される。
【００３６】
ＡＦ演算部１０９では、相関演算部１２０から出力された相関データが入力される。ＡＦ演算部１０９では、各分割領域または加算された領域の相関データの極大値を与えるシフト量である像ずれ量を検出する。後述するフォーカス駆動の時には、このシフト量からピントのずれ量Ｙ（デフォーカス量）を算出し、Ｙから所定の計算に基づき第３レンズ群１１９の駆動距離を算出する。
【００３７】
次に、本実施例における撮像装置の撮影動作を図８のフローチャートを用いて説明する。本撮影動作は、動画撮影中に焦点調節を行って静止画を撮影できる動作である。
【００３８】
先ず、操作部１０４に含まれる動画撮影スイッチが押下されると、動画撮影を開始する。動画撮影が開始されると撮像素子１００、ＡＦＥ１０１、ＴＧ１０２に電源が投入され、ＣＰＵ１０３は動画撮影の設定をする。設定後、ＣＰＵ１０３から出力される同期信号に基づいてＴＧ１０２は撮像素子１００に読出しパルスを出力し、撮像素子１００は所定のフレームレートでの読出し動作を開始する。なお、本実施例では動画像の電荷蓄積・読出し動作はスリットローリング動作による電子シャッタ機能を使用して行われるが、この限りではない。
【００３９】
撮像素子１００から出力されたＡ像信号とＢ像信号は、ＡＦＥ１０１にてデジタル変換され、Ａ像データとＢ像データとしてＲＡＭ１０６へ転送される。その後、画像処理部１０８に転送され、同一のマイクロレンズ下にあるＰＤに対応するＡ像データとＢ像データを画素毎に加算する。これにより動画のフレームデータを作成する。その後、補正処理、圧縮等を行い、表示部１０５に動画を表示する（ライブビュー）。撮影前に、表示部１０５に表示されたメニューと操作部１０４を使用して動画記録が選択されている場合には、動画はフラッシュメモリ１１０に順次記録される。また、相関演算部１２０には、動画のフレームデータが順次入力され、ＣＰＵ１０３の制御によりフレーム毎に指定された領域の相関演算がなされ、メモリ４３３に格納される。
【００４０】
このようにして動画撮影の動作が開始されると、ステップＳ８００にて、ＣＰＵ１０３は、操作部１０４に含まれるＡＦスイッチが押下されたかどうか判断する。ＡＦスイッチが押下されたと判断すると、ステップＳ８０１へ進む。
【００４１】
ステップＳ８０１では、ＣＰＵ１０３は相関演算部１２０に対し相関データの出力命令を出し、相関演算部１２０は、そのフレームにて演算された相関データを出力する。本実施例では、この時異なる数の分割領域を含む３つの領域に対応する相関データを生成して順次出力するものとする。本実施例では、これらうちの一つを、図９（ａ）に示す斜線部の全ての分割領域について加算した相関データ（相関データＡ）、他の一つを、図１０（ａ）に示す斜線部の全ての分割領域について加算した相関データ（相関データＢ）とする。また他の一つを、図１１（ａ）に示す斜線部の分割領域単独の相関データ（相関データＣ）とする。
【００４２】
相関データＡは、図９（ｂ）に示すメモリ４３３の斜線部に格納された相関データが−ｓ〜ｓシフト毎に加算されて出力されたデータである。相関データＢは、図１０（ｂ）に示すメモリ４３３の斜線部に格納される相関データが−ｓ〜ｓシフト毎に加算されて出力されたデータである。相関データＣは、図１１（ｂ）に示すメモリ４３３の斜線部に格納される−ｓ〜ｓシフトの相関データがそのまま出力されたデータである。相関演算部１２０から出力された相関データはＡＦ演算部１０９へ入力される。
【００４３】
次にステップＳ８０２では、相関データＡから算出される像ずれ量を、予め設定した所定の閾値Ａと比較してピント状態を判定する。像ずれ量が閾値Ａより小さい場合には、ピントのずれが中程度以下と判断し、ステップＳ８０３へ進む。像ずれ量が閾値Ａより大きい場合には、ピントのずれが大きいと判断し、ステップＳ８０８へ進む。
【００４４】
ステップＳ８０８では、相関データＡから算出したピントのずれ量を用いて、フォーカス駆動回路１２２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ８０９にて、ステップＳ８０１と同様に、フォーカス駆動後の相関データＡ、Ｂ、Ｃを取得し、ステップＳ８０３へと進む。
【００４５】
次にステップＳ８０３では、次の判定の順序として相関データＢから算出される像ずれ量を、予め設定した所定の閾値Ｂと比較する。像ずれ量が閾値Ｂより小さい場合には、ピントのずれが小さいと判断し、ステップＳ８０４へ進む。像ずれ量が閾値Ｂより大きい場合には、ピントのずれが中程度と判断し、ステップＳ８１０へ進む。
【００４６】
ステップＳ８１０では、相関データＢから算出したピントのずれ量を用いて、フォーカス駆動回路１１２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ８１１にて、ステップＳ８０１と同様に、フォーカス駆動後の相関データＡ、Ｂ、Ｃを取得してステップＳ８０４へと進む。
【００４７】
次にステップＳ８０４では、相関データＣから算出される像ずれ量を所定の閾値Ｃと比較する。像ずれ量が閾値Ｃより小さい場合には、合焦していると判断し、ステップＳ８０５へ進む。像ずれ量が閾値Ｃより大きい場合には、ピントのずれが小さいと判断し、ステップＳ８１２へ進む。
【００４８】
ステップＳ８１２では、相関データＣから算出したピントのずれ量を用いて、フォーカス駆動回路１１２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ８１３にてステップＳ８０１と同様に、フォーカス駆動後の相関データＡ、Ｂ、Ｃを取得し、ステップＳ８０４に戻り、合焦と判断されるまでＳ８０４、Ｓ８１２、Ｓ８１３を繰り返す。
【００４９】
ステップＳ８０５では、ＣＰＵ１０３が、操作部１０４に含まれる静止画撮影スイッチが押下されたか否かを判断する。静止画撮影スイッチが押下された場合にはステップＳ８０６にて、ＣＰＵ１０３が動画撮影を中断し、静止画撮影を行う。その後、動画撮影を再開し、ステップＳ８０７に進む。静止画スイッチが押下されない場合にはそのままステップＳ８０７に進む。
【００５０】
ステップＳ８０７では、ＣＰＵ１０３は、前述した動画撮影スイッチが押下されたか否かを判断し、押下された場合には、動画撮影を終了する。動画撮影スイッチが押下されていない場合にはステップＳ８００へと戻り、ＡＦスイッチの押下を判断する。
【００５１】
以上述べた様に、本実施例によれば、複数の分割領域に分割された焦点検出演算範囲に設定される領域内の各分割領域の相関データを加算して新たな相関データ生成することを、設定される複数の異なる領域について一度に行うことが可能となる。これにより、少ないフレーム数で遠近競合に対応した焦点検出を行うことができる。また、最終的な合焦までの時間を短縮することができる。
【００５２】
さらには、分割された領域毎の相関データのみメモリに保持し、相関データの出力時に選択された領域を加算して出力する構成により、複数種類の相関データを保持する必要がなくメモリもしくは回路規模を抑えることができる。
【実施例２】
【００５３】
本発明の第２の実施例に係る焦点検出装置を適用した撮像装置の構成を、図１２乃至１５を参照して説明する、なお、本実施例の焦点検出装置および撮像装置の構成は、第１の実施例における構成と同様であるため、ここでの説明を省略する。第２の実施例は、撮像装置の動作において第１の実施例と異なる。以下、図１２に示すフローチャートを用いて、本発明の第２の実施例に係る撮像装置の撮影動作を説明する。本撮影動作も、動画撮影中に焦点調節を行って静止画を撮影できる動作である。
【００５４】
先ず、操作部１０４に含まれる動画撮影スイッチが押下されて動画撮影が開始される。動画撮影が開始されて、ステップ１２００でのＡＦスイッチの押下の判定までの動画撮影動作は第１の実施例と同様なので、ここでの説明は省略する。
【００５５】
動画撮影の動作が開始されると、ステップＳ１２００にて、ＣＰＵ１０３は、操作部１０４に含まれるＡＦスイッチが押下されたかどうかを判断する。ＡＦスイッチが押下されたと判断すると、ステップＳ１２０１へ進む。なお、ここでは撮像装置に対して予めＡＦモードが設定されているとする。本実施例では、通常モードに比べて画像の広範囲からピント位置を検知するサーチモードが設定されていたとする。これら焦点検出モードは、操作部１０４の操作に応じてＣＰＵ１０３が設定する。
【００５６】
ステップＳ１２０１では、ＣＰＵ１０３は相関演算部１２０に対し、どの分割領域の相関データを加算したデータを出力するかを設定する。本実施例のサーチモードでは、画像全体が水平１０分割、垂直７分割に分割されているとする。なお、分割数・分割方法についてはこの限りではない。分割された領域のうち、図１３（ａ）〜（ｉ）の斜線部として示される、同数の分割領域を含み、ＡＦ領域の異なる位置の９つの領域（第２の領域）について分割領域毎の相関データを加算し、出力する設定を行う。
【００５７】
次にステップＳ１２０２では、ＣＰＵ１０３は相関演算部１２０に対し相関データ出力命令を出し、相関演算部１２０はそのフレームデータにて演算された相関データをＡＦ演算部１０９に出力する。この時の相関データは９つの領域に対応するデータが順次出力されるものとする。これらを、図１３（ａ）〜（ｉ）に斜線部として示めされる全ての分割領域について加算した相関データをそれぞれ、相関データＡ〜相関データＩとする。ここで、取得した相関データＡ〜相関データＩを参照し、各領域における像ずれ量を算出する。図１３（ａ）〜（ｉ）に示す斜線部の領域の中から最も像ずれ量が小さい領域（第１の領域）を選択する。ここでは、例として図１３（ｆ）に示す斜線部領域を（相関データＦ）が選択されたものとする。
【００５８】
次にステップＳ１２０３では、相関データＦから算出された像ずれ量を、予め設定した所定の閾値Ａと比較して選択された領域のピント状態を判定する。像ずれ量が閾値Ａより小さい場合には、ピントのずれが中程度以下と判断し、ステップＳ１２０４へ進む。像ずれ量が閾値Ａより大きい場合には、ピントのずれが大きいと判断し、ステップＳ１２１３へ進む。
【００５９】
ステップＳ１２１３では、相関データＦから算出したピントのずれ量を用いて、フォーカス駆動回路１１２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ１２０４へと進む。
【００６０】
ステップＳ１２０４では、ＣＰＵ１０３は相関演算部１２０に対し、次にどの分割領域の相関データを加算したデータを出力するかを設定する。ここでは、前述したステップＳ１２０２にて選択された、図１３（ｆ）の斜線部の領域に含まれる、図１４（ａ）〜（ｄ）の斜線部に示す４通りの領域について領域ごとに相関データを加算し、出力する設定を行う。
【００６１】
次にステップＳ１２０５では、ＣＰＵ１０３は相関演算部１２０に対し相関データ出力命令を出し、相関演算部１２０はそのフレームデータにて演算された相関データを出力する。この時の相関データは４つの領域に対応するデータが順次出力されるものとする。これらを、図１４（ａ）〜（ｄ）に示される各斜線部の領域において全て加算した相関データをそれぞれ、相関データＪ〜相関データＭとする。ここで、取得した相関データＪ〜相関データＭを参照し、各斜線部の領域における像ずれ量を算出する。図１４（ａ）〜（ｄ）に示す斜線部の領域の中から最も像ずれ量が小さい領域（相関データ）を選択する。ここでは、例として図１４（ａ）の斜線部領域（相関データＪ）が選択されたものとする。
【００６２】
次にステップＳ１２０６では、相関データＪから算出された像ずれ量を予め設定した所定の閾値Ｂと比較する。像ずれ量が閾値Ｂより小さい場合には、ピントのずれが小さいと判断し、ステップＳ１２０７へ進む。像ずれ量が閾値Ｂより大きい場合には、ピントのずれが中程度と判断し、ステップＳ１２１４へ進む。
【００６３】
ステップＳ１２１４では、相関データＦから算出したピントのずれ量を用いて、フォーカス駆動回路１１２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ１２０７へと進む。
【００６４】
ステップＳ１２０７では、ＣＰＵ１０３は相関演算部１２０に対し、どの分割領域の相関データを出力するかを設定する。ここでは、前述したステップＳ１２０４にて選択された、図１４（ａ）に示す斜線部の領域に含まれる、図１５（ａ）〜（ｄ）に示す４通りの斜線部の領域について相関データを出力する設定を行う。
【００６５】
次にステップＳ１２０８では、ＣＰＵ１０３は相関演算部１２０に対し相関データ出力命令を行い、相関演算部１２０はそのフレームデータにて演算された相関データを出力する。この時の相関データは４つの領域に対応するデータが順次出力されるものとする。図１５（ａ）〜（ｄ）に示す分割領域の斜線部の相関データをそれぞれ、相関データＮ〜相関データＱとする。ここで、取得した相関データＮ〜相関データＱを参照し、各斜線部の領域における像ずれ量を算出する。図１５（ａ）〜（ｄ）に示す斜線部領域の中から最も像ずれ量が小さい領域を選択する。ここでは、例として図１５（ｂ）に示す斜線部の分割領域（相関データＯ）が選択されたものとする。
【００６６】
次にステップＳ１２０９では、相関データＯから算出された像ずれ量を予め設定した所定の閾値Ｃと比較する。像ずれ量が閾値Ｃより小さい場合には、合焦と判断し、ステップＳ１２１０へ進む。像ずれ量が閾値Ｃより大きい場合には、ピントのずれが小さいと判断し、ステップＳ１２１５へ進む。
【００６７】
ステップＳ１２１５では、相関データＯから算出したピントのずれ量を用いて、フォーカス駆動回路１１２を駆動する。即ち、ＣＰＵ１０３はピントずれ量からフォーカス駆動距離を算出し、その情報をフォーカス駆動回路１１２に転送する。フォーカス駆動回路１１２は駆動距離情報に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ１２０７へと進む。
【００６８】
ステップＳ１２１０では、ＣＰＵ１０３は、操作部１０４に含まれる静止画撮影スイッチが押下されたか否かを判断する。静止画撮影スイッチが押下された場合にはステップＳ１２１１にて、動画撮影を中断し、静止画撮影を行う。その後、動画撮影を再開し、ステップＳ１２１２に進む。静止画スイッチが押下されない場合にはそのままステップＳ１２１２に進む。
【００６９】
ステップＳ１２１２では、ＣＰＵ１０３は、前述した動画撮影スイッチが押下されたか否かを判断し、押下された場合には、動画撮影を終了する。動画撮影スイッチが押下されていない場合にはステップＳ１２００へと戻り、ＡＦスイッチの押下を判断する。
【００７０】
以上述べた本実施例によれば、画像の広い範囲において検出領域を指定し、相関データ取得毎に指定された領域について相関データを加算して出力する構成により、動作状況に応じたより多くの領域パターンの相関データを得ることが可能となる。これによりサーチモードのＡＦ等では、少ないフレームでより多くの領域の焦点検出と、遠近競合等の対応が可能であり、合焦までの時間を短縮することができる。また、分割された領域毎の相関データのみメモリに格納するので、メモリの規模を抑えることができ、出力する領域のパターンを増やすことができる。
【００７１】
本実施例では、ＡＦサーチモード時の動作について述べたがこの限りではない。ＡＦモードを複数持ち、モードによって相関データ取得時の加算する領域を変更する構成でもよい。
【００７２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７３】
上述した実施形態において図８および１２に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ１０３が実行することによりその機能を実現させるものである。
【００７４】
尚、上述した構成に限定されるものではなく、図８および１２に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
【００７５】
また、図８および１２に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００７６】
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。
【００７７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７８】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７９】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００８０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図１】
2014211491.tif 000003
【図２】
2014211491.tif 000004
【図３】
2014211491.tif 000005
【図４】
2014211491.tif 000006
【図５】
2014211491.tif 000007
【図６】
2014211491.tif 000008
【図７（ａ）】
2014211491.tif 000009
【図７（ｂ）】
2014211491.tif 000010
【図８】
2014211491.tif 000011
【図９】
2014211491.tif 000012
【図１０】
2014211491.tif 000013
【図１１】
2014211491.tif 000014
【図１２】
2014211491.tif 000015
【図１３（ａ）】
2014211491.tif 000016
【図１３（ｂ）】
2014211491.tif 000017
【図１３（ｃ）】
2014211491.tif 000018
【図１３（ｄ）】
2014211491.tif 000019
【図１３（ｅ）】
2014211491.tif 000020
【図１３（ｆ）】
2014211491.tif 000021
【図１３（ｇ）】
2014211491.tif 000022
【図１３（ｈ）】
2014211491.tif 000023
【図１３（ｉ）】
2014211491.tif 000024
【図１４（ａ）】
2014211491.tif 000025
【図１４（ｂ）】
2014211491.tif 000026
【図１４（ｃ）】
2014211491.tif 000027
【図１４（ｄ）】
2014211491.tif 000028
【図１５（ａ）】
2014211491.tif 000029
【図１５（ｂ）】
2014211491.tif 000030
【図１５（ｃ）】
2014211491.tif 000031
【図１５（ｄ）】
2014211491.tif 000032