(57)【要約】【課題】  撮影された映像を見づらくすることなく、当該映像においてピントの合う領域を提示することができる合焦領域表示画像生成装置を提供する。【解決手段】  合焦領域表示画像生成装置１は、フォーカスの情報を含むレンズ情報を入力して、実空間上においてカメラからピントの合う位置までの距離の範囲を算出する重み関数算出手段（合焦距離算出手段）１１と、この距離の範囲と、カメラから被写体までの距離を示す距離情報とに基づいて、被写体画像においてピントの合う領域を特定する重み分布算出手段（合焦領域特定手段）１２と、この領域、又は、当該領域を除いた領域について、画素の輝度を維持したままで異なる色となるように画素値を算出する重み付き画素値算出手段（画素値算出手段）１３とを備えることを特徴とする。【選択図】      図１
2007086481.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成する合焦領域表示画像生成装置であって、
前記レンズ情報に基づいて、実空間上において前記カメラからピントの合う位置までの距離の範囲を算出する合焦距離算出手段と、
この合焦距離算出手段によって算出された距離の範囲と、前記距離情報とに基づいて、前記被写体画像において前記合焦領域を特定する合焦領域特定手段と、
この合焦領域特定手段によって特定された合焦領域、又は、当該合焦領域を除いた前記被写体画像内の残りの領域について、前記被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する画素値算出手段と、
を備えることを特徴とする合焦領域表示画像生成装置。
【請求項２】
前記合焦距離算出手段が、前記レンズ情報に基づいて、ピント位置及び被写界深度を算出し、前記被写体画像において、当該ピント位置から前記被写界深度の範囲に対応する画素に対して、当該画素の画素値に重み付けするための重みと、前記カメラから当該画素に対応する実空間上の位置までの距離との関係を示す重み関数を算出する重み関数算出手段であり、
前記合焦領域特定手段が、前記重み関数算出手段によって算出された重み関数に基づいて、前記画素ごとに前記距離情報に対応した重みを算出する重み分布算出手段であり、
前記画素値算出手段が、前記重み分布算出手段によって算出された重みに基づいて、前記被写体画像の画素ごとに、輝度を維持するように画素値を算出する重み付き画素値算出手段であることを特徴とする請求項１に記載の合焦領域表示画像生成装置。
【請求項３】
前記重み関数算出手段が、前記カメラから前記画素に対応する実空間上の位置までの距離と、前記カメラから前記ピント位置までの距離との差が大きくなるにつれて、当該画素に対する重みが単調減少あるいは単調増加する重み関数を算出することを特徴とする請求項２に記載の合焦領域表示画像生成装置。
【請求項４】
被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成する合焦領域表示画像生成方法であって、
前記レンズ情報に基づいて、実空間上において前記カメラからピントの合う位置までの距離の範囲を算出する合焦距離算出ステップと、
この合焦距離算出ステップにおいて算出された距離の範囲と、前記距離情報とに基づいて、前記被写体画像において前記合焦領域を特定する合焦領域特定ステップと、
この合焦領域特定ステップにおいて特定された合焦領域、又は、当該合焦領域を除いた前記被写体画像内の残りの領域について、前記被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する画素値算出ステップと、
を含むことを特徴とする合焦領域表示画像生成方法。
【請求項５】
被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成するためにコンピュータを、
前記レンズ情報に基づいて、実空間上において前記カメラからピントの合う位置までの距離の範囲を算出する合焦距離算出手段、
この合焦距離算出手段によって算出された距離の範囲と、前記距離情報とに基づいて、前記被写体画像において前記合焦領域を特定する合焦領域特定手段、
この合焦領域特定手段によって特定された合焦領域、又は、当該合焦領域を除いた前記被写体画像内の残りの領域について、前記被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する画素値算出手段、
として機能させることを特徴とする合焦領域表示画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピントの情報を表示する技術に係り、特に、撮影された画像上にピントの合う領域を表示する合焦領域表示画像生成装置、合焦領域表示画像生成方法及び合焦領域表示画像生成プログラムに関する。
【背景技術】
【０００２】
近年、ハイビジョンに代表されるように、映像の高解像度化が進み、それに伴って、撮影時に精度よくピントを合わせることの要求が高まっている。しかし、カメラ用のビューファインダの映像は、物理的な制約から高解像度化することは困難である。そこで、低い解像度でも精度よくピントを合わせるために、ピントの位置を、数値やゲージを用いて撮影者に提示する方法が開示されている（特許文献１参照）。また、撮影された映像上において、ピントが合っている領域に多く含まれる高域の周波数成分にフリッカを発生させて表示する方法が開示されている（特許文献２参照）。
【特許文献１】特開平８−２８６２５４号公報（段落番号０００１〜００１０）
【特許文献２】特公平７−８７５３９号公報（第２頁右欄第１３行目〜第４頁右欄第９行目）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の方法では、ピントの位置を具体的な数値や目盛りで知ることはできるが、それが撮影された映像上のどの領域に対応するのかを撮影者が瞬時に正確に特定することは困難であった。また、特許文献２に記載の方法では、映像上においてピントが合っている領域を撮影者に提示することができるが、映像から信号処理によって高域周波数成分を抽出して表示するため、特に解像度の高い撮像素子では、実際にはピントが合っていない領域にまで誤ってフリッカが発生してしまう可能性があった。更に、フリッカを発生させる映像自体も、フリッカが輝度成分として合成されるために視覚的に見づらくなってしまうという問題があった。また、撮影者がこの映像に基づいて撮影する場合に、輝度を変化させてしまうと、明るさの変化に合わせてアイリスを調整するアイリスフォローを適切に行うことが困難になるという問題があった。
【０００４】
本発明は、前記従来技術の問題を解決するために創作されたもので、撮影された映像を見づらくすることなく、当該映像においてピントの合う領域を提示することができる合焦領域表示画像生成装置、合焦領域表示画像生成方法及び合焦領域表示画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、請求項１に記載の合焦領域表示画像生成装置は、被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成する合焦領域表示画像生成装置であって、合焦距離算出手段と、合焦領域特定手段と、画素値算出手段とを備える構成とした。
【０００６】
かかる構成によれば、合焦領域表示画像生成装置は、合焦距離算出手段によって、レンズ情報に基づいて、実空間上においてカメラからピントの合う位置までの距離の範囲を算出し、合焦領域特定手段によって、合焦距離算出手段で算出された距離の範囲と、距離情報とに基づいて、被写体画像において合焦領域を特定する。つまり、合焦領域特定手段は、距離情報によって示されるカメラから被写体までの距離が、合焦距離算出手段で算出された距離の範囲内にある被写体画像上の領域を、合焦領域として特定することができる。また、合焦領域表示画像生成装置は、画素値算出手段によって、合焦領域特定手段で特定された合焦領域、又は、当該合焦領域を除いた被写体画像内の残りの領域について、被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する。
【０００７】
これによって、合焦領域表示画像生成装置は、被写体画像において、各画素の輝度を維持しつつ、ピントの合う領域（合焦領域）とピントの合わない領域とを異なる色で示した画像を生成することができる。
【０００８】
また、請求項２に記載の合焦領域表示画像生成装置は、請求項１に記載の合焦領域表示画像生成装置において、前記合焦距離算出手段が重み関数算出手段であり、前記合焦領域特定手段が重み分布算出手段であり、前記画素値算出手段が重み付き画素値算出手段である構成とした。
【０００９】
かかる構成によれば、合焦領域表示画像生成装置は、重み関数算出手段によって、レンズ情報に基づいて、ピント位置及び被写界深度を算出し、被写体画像において当該ピント位置から被写界深度の範囲に対応する画素に対して、当該画素の画素値に重み付けするための重みと、カメラから当該画素に対応する実空間上の位置までの距離との関係を示す重み関数を算出する。また、合焦領域表示画像生成装置は、重み分布算出手段によって、重み関数算出手段で算出された重み関数に基づいて、画素ごとに距離情報に対応した重みを算出し、重み付き画素値算出手段によって、重み分布算出手段で算出された重みに基づいて、被写体画像の画素ごとに、輝度を維持するように画素値を算出する。
【００１０】
これによって、合焦領域表示画像生成装置は、ピントの合う領域の画素の画素値に重みを付けて、被写体画像において、各画素の輝度を維持しつつ、ピントの合う領域とピントの合わない領域とを異なる色で示した画像を生成することができる。
【００１１】
更に、請求項３に記載の合焦領域表示画像生成装置は、請求項２に記載の合焦領域表示画像生成装置において、前記カメラから前記画素に対応する実空間上の位置までの距離と、前記カメラから前記ピント位置までの距離との差が大きくなるにつれて、当該画素に対する重みが単調減少あるいは単調増加する重み関数を算出する構成とした。
【００１２】
これによって、合焦領域表示画像生成装置は、ピントの合う領域内においてピント位置から遠ざかるにしたがって色を変化させた画像を生成することができる。
【００１３】
また、請求項４に記載の合焦領域表示画像生成方法は、被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成する合焦領域表示画像生成方法であって、合焦距離算出ステップと、合焦領域特定ステップと、画素値算出ステップとを含むことを特徴とする。
【００１４】
この方法によれば、合焦距離算出ステップにおいて、レンズ情報に基づいて、実空間上においてカメラからピントの合う位置までの距離の範囲を算出し、合焦領域特定ステップにおいて、合焦距離算出ステップで算出された距離の範囲と、距離情報とに基づいて、被写体画像において合焦領域を特定する。また、画素値算出ステップにおいて、合焦領域特定ステップで特定された合焦領域、又は、当該合焦領域を除いた被写体画像内の残りの領域について、被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する。
【００１５】
これによって、被写体画像において、各画素の輝度を維持しつつ、ピントの合う領域とピントの合わない領域とを異なる色で示した画像を生成することができる。
【００１６】
更に、請求項５に記載の合焦領域表示画像生成プログラムは、被写体を撮影したカメラのフォーカスの情報を含むレンズ情報と、前記カメラから前記被写体までの距離を示す距離情報とを外部から入力し、前記カメラによって撮影された画像である被写体画像において、ピントの合う領域である合焦領域を示す画像を生成するためにコンピュータを、合焦距離算出手段、合焦領域特定手段、画素値算出手段として機能させることとした。
【００１７】
かかる構成によれば、合焦領域表示画像生成プログラムは、合焦距離算出手段によって、レンズ情報に基づいて、実空間上においてカメラからピントの合う位置までの距離の範囲を算出し、合焦領域特定手段によって、合焦距離算出手段で算出された距離の範囲と、距離情報とに基づいて、被写体画像において合焦領域を特定する。また、合焦領域表示画像生成プログラムは、画素値算出手段によって、合焦領域特定手段で特定された合焦領域、又は、当該合焦領域を除いた被写体画像内の残りの領域について、被写体画像の画素の輝度を維持したままで異なる色となるように画素値を算出する。
【００１８】
これによって、合焦領域表示画像生成プログラムは、被写体画像において、各画素の輝度を維持しつつ、ピントの合う領域とピントの合わない領域とを異なる色で示した画像を生成することができる。
【発明の効果】
【００１９】
本発明に係る合焦領域表示画像生成装置、合焦領域表示画像生成方法及び合焦領域表示画像生成プログラムでは、以下のような優れた効果を奏する。
請求項１、請求項４又は請求項５に記載の発明によれば、輝度を変えることなくピントの合う領域とピントの合わない領域とを異なる色で示す画像を生成するため、撮影されたものを見づらくすることなくピントの合う領域を示すことができる画像となる。そのため、ビューファインダのような物理的に大きさや解像度が制限された表示装置を用いてもピントの合う領域を撮影者に対して示すことができ、撮影者が適切にピントを合わせることが可能になるとともに、撮影された画像と比べて輝度に変化がないため、アイリスフォローも適切に行うことが可能になる。
【００２０】
請求項２に記載の発明によれば、ピントの合う領域の画素の画素値に重みを付けて、その重みと距離情報とに基づいて、輝度を変えることなくピントの合う領域とピントの合わない領域とを異なる色で示す画像を生成することができる。
【００２１】
請求項３に記載の発明によれば、ピントの合う領域内においてピント位置から遠ざかるにしたがって色が変化するため、ピント位置に近いか遠いかを示すことができる画像を生成することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。
［合焦領域表示画像生成装置の構成］
まず、図１を参照して、本発明における合焦領域表示画像生成装置１の構成について説明する。図１は、本発明における合焦領域表示画像生成装置の構成を示したブロック図である。
【００２３】
合焦領域表示画像生成装置１は、カメラＣによって撮影された映像において、フレーム画像あるいはフィールド画像ごとにピントが合っている領域である合焦領域を示す画像を生成するものである。合焦領域表示画像生成装置１は、重み関数算出手段１１と、重み分布算出手段１２と、重み付き画素値算出手段１３とを備える。
【００２４】
なお、合焦領域表示画像生成装置１には、外部から、被写体を撮影したカメラＣのフォーカスの情報を含むレンズ情報、被写体の画像である被写体画像、及び、カメラＣから被写体までの距離を示す距離情報の当該被写体画像の各画素に対応する分布を示す距離分布情報が入力される。
【００２５】
ここで、被写体画像は、カメラＣによって撮影された被写体の画像のデータであり、実空間上のある点の輝度の情報を２次元状に配列したものである。この被写体画像は、単色（モノクロ）の画像であってもよく、このとき、合焦領域表示画像生成装置１には輝度の信号が外部から入力される。また、被写体画像をカラー画像とし、合焦領域表示画像生成装置１に、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の信号（あるいは、輝度及び色差の信号）が入力されることとしてもよい。また、合焦領域とは、被写体画像においてピントが合う領域であり、カメラＣによって撮影された際に実空間上においてピントの合う位置にある被写体が、被写体画像上において撮影されている領域である。
【００２６】
また、距離分布情報は、２次元状に距離情報を配置したデータであり、各距離情報は、前記画像の各画素に対応する実空間上の点とカメラＣとの間の距離を示すものである。距離情報として、例えば、実空間上の点とカメラＣ上の代表的な点との間の距離を一意に決定できる数値を用いることができる。すなわち、例えば、実空間上の点とカメラＣのレンズの第１光学主点との距離を距離情報とすることができる。
【００２７】
重み関数算出手段（合焦距離算出手段）１１は、外部から入力されたレンズ情報に含まれるカメラＣのフォーカスの情報に基づいて、重み関数を算出するものである。重み関数は、カメラＣからレンズのピントの合う位置までの距離に対応する被写体画像の画素に対して、輝度の情報によって示される色の情報（画素値）に重み付けをするための重みを表すもので、カメラＣから被写体までの距離と重みとの関係を表す関数である。ここで算出された重み関数は、重み分布算出手段１２に出力される。なお、このピントの合う位置とは、重み関数算出手段１１によって算出される、レンズのピント位置から前方被写界深度及び後方被写界深度の範囲内の位置を示す。
【００２８】
ここで、図２を参照（適宜図１参照）して、重み関数算出手段１１によって算出される重み関数の例について説明する。図２は、重み関数算出手段によって算出される重み関数の例を示すグラフである。
【００２９】
ここで、重み関数算出手段１１は、フォーカスの情報に基づいて、カメラＣから当該カメラＣのレンズのピント位置までの距離Ｌと、前方被写界深度ｄ１及び後方被写界深度ｄ２に対応する距離とを算出する。ここでは、重み関数算出手段１１は、カメラＣからの距離ｄの関数である重み関数Ｉ（ｄ）を算出し、図２に示すように、距離ｄがカメラＣからピント位置までの距離Ｌのときに最大（図２では１）になり、距離ｄがＬより大きくあるいは小さくなるにつれて徐々に減少して、距離ｄが前方被写界深度ｄ１及び後方被写界深度ｄ２に対応する距離（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときに０になる重み関数Ｉ（ｄ）を算出する。
【００３０】
例えば、重み関数算出手段１１は、重み関数Ｉ（ｄ）を以下の式（１）のように算出することとしてもよい。
【００３１】
【数１】
2007086481.tif 000003
【００３２】
また、例えば、重み関数算出手段１１は、重み関数Ｉ（ｄ）を以下の式（２）のように算出することとしてもよい。
【００３３】
【数２】
2007086481.tif 000004
【００３４】
図１に戻って説明を続ける。重み分布算出手段（合焦領域特定手段）１２は、外部から入力された距離分布情報と、重み関数算出手段１１によって算出された重み関数Ｉ（ｄ）とに基づいて、被写体画像の各々の画素の画素値に対する重みを算出するものである。ここで、重み関数Ｉ（ｄ）は、カメラＣから被写体までの距離ｄに依存する関数であるので、重み分布算出手段１２は、距離分布情報によって示される画素ごとの距離ｄに基づいて、重み関数Ｉ（ｄ）から画素ごとの重みを算出することができる。ここで算出された重みの情報は、重み付き画素値算出手段１３に出力される。
【００３５】
ここで、図３を参照（適宜図１参照）して、重み分布算出手段１２によって算出される重みの分布の例について説明する。図３は、平面状の被写体において、図２に示す重み関数に基づいて、重み分布算出手段によって算出される重みの値の分布を模式的に示す模式図である。
【００３６】
例えば、撮影される被写体が平面の場合には、重み分布算出手段１２は、図３に示すようにカメラＣからの距離がＬ、（Ｌ−ｄ１）、（Ｌ＋ｄ２）となる位置が、各々曲線（閉曲線）ＥL、Ｅd1、Ｅd2となる重みの分布を算出する。そして、曲線Ｅd1と曲線Ｅd2によって囲まれる領域が合焦領域となる。つまり、この合焦領域は、領域内の各々の画素に対応する実空間上の点とカメラＣとの間の距離ｄが、ピント位置から前方被写界深度及び後方被写界深度の範囲内［（Ｌ−ｄ１）＜ｄ＜（Ｌ＋ｄ２）］になる領域である。このとき、曲線ＥL上において重みが最大（図２では１）、曲線Ｅd1、Ｅd2上において重みが０となり、曲線ＥLから曲線Ｅd1、Ｅd2に近づくにつれて重みは単調減少する。
【００３７】
図１に戻って説明を続ける。重み付き画素値算出手段（画素値算出手段）１３は、重み分布算出手段１２によって解析された重みに基づいて、外部から入力された被写体画像の各画素の画素値に対して重み付けし、合焦領域を示す画像を生成するものである。ここで算出された画素値の情報は外部に出力される。
【００３８】
以下、重み付き画素値算出手段１３が、合焦領域を示す画像を生成する方法について説明する。まず、重み付き画素値算出手段１３が、単色の被写体画像を入力し、合焦領域をグリーンの領域として示すように画素値を設定する場合について説明する。なお、ここでは、合焦領域をグリーンの領域として示すこととしたが、他の色の領域として示すこととしてもよい。
【００３９】
被写体画像が単色の画像である場合、入力された被写体画像の各画素の輝度信号の信号レベルＹに基づいて、被写体画像の各画素のＧ信号、Ｂ信号及びＲ信号の各々の信号レベルＧ、Ｂ、Ｒは、以下の式（３）のようになる。
Ｇ＝Ｂ＝Ｒ＝Ｙ      …（３）
ここで、輝度信号の信号レベルＹとＧ、Ｂ、Ｒ信号の信号レベルＧ、Ｂ、Ｒには、以下の式（４）の関係が成り立つ。
Ｙ＝αＧ＋βＢ＋γＲ      …（４）
ここで、α＋β＋γ＝１、α≧０、β≧０、γ≧０である。
【００４０】
そして、重み付き画素値算出手段１３は、Ｇ、Ｂ、Ｒ信号の信号レベルＧ、Ｂ、Ｒに対して、輝度の信号レベルが変化しないように重み付けを行う。ここで、重み付け後のＧ、Ｂ、Ｒ信号の信号レベルをＧ’、Ｂ’、Ｒ’とし、Ｇ、Ｂ、Ｒ信号の信号レベルの変化量をΔＧ、ΔＢ、ΔＲとすると、重み付き画素値算出手段１３は、変化量ΔＧ、ΔＢ、ΔＲを、以下の式（５）によって算出する。なお、Ｇｍは、Ｇ信号の信号レベルの取りうる最大値であり、ここでは、被写体画像のＧ信号の信号レベルＧの値によって決定されることとした。
【００４１】
【数３】
2007086481.tif 000005
【００４２】
ここで、重み関数Ｉ（ｄ）が、図２に示すように、距離ｄがカメラＣからピント位置までの距離Ｌのときに最大になり、距離ｄがＬより大きくあるいは小さくなるにつれて徐々に減少して、距離ｄが前方被写界深度ｄ１及び後方被写界深度ｄ２に対応する距離（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときには０になるような関数とした。そのため、図４に示すように、重み付き画素値算出手段１３（図１参照）は、距離ｄがＬのときにＧ信号の信号レベルＧ’をＧｍとし、距離ｄが（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときには、Ｇ信号の信号レベルＧ’を被写体画像のＧ信号の信号レベルＧ（＝Ｙ）と同じ値とする。そして、重み付き画素値算出手段１３は、距離ｄがＬより大きくあるいは小さくなるにつれて、Ｇ信号の信号レベルＧ’を、値がＧｍからＹに近づくように設定する。また、重み付き画素値算出手段１３は、距離ｄが（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときには、Ｂ信号及びＲ信号の信号レベルＢ’、Ｒ’を被写体画像のＢ信号及びＲ信号の信号レベルＢ、Ｒ（＝Ｙ）と同じ値とし、距離ｄがＬに近づくにつれてＢ信号及びＲ信号の信号レベルＢ’、Ｒ’が小さくなるように設定する。なお、図４は、単色の被写体画像において、重み付き画素値算出手段が算出するＧ、Ｂ、Ｒ信号の信号レベルと、カメラから画素に対応する実空間上の点までの距離との関係を示したグラフである。
【００４３】
これによって、重み付き画素値算出手段１３は、合焦領域内の各画素の輝度は維持しつつ、Ｇ信号の信号レベルを上げ、Ｂ信号とＲ信号との信号レベルを下げることで、合焦領域内のみにグリーン成分を強く持たせた画像を生成することができる。そして、重み付き画素値算出手段１３によって生成された画像は、ピント位置に対応する画素ではグリーン成分が強く、ピント位置から遠ざかるにしたがってグリーン成分が弱くなり、ピント位置から前方被写界深度及び後方被写界深度だけ離れた位置に対応する画素ではグリーン成分のない単色になる。
【００４４】
このように、重み付き画素値算出手段１３は、輝度を変えることなく所定の色成分を持たせることで合焦領域を示す画像を生成するため、撮影されたものを見づらくすることなくピントの合う領域（合焦領域）を示すことができるとともに、合焦領域内においてピント位置から遠ざかるにしたがってグリーン成分を弱くした画像を生成するため、ピント位置に近いか遠いかを示すことができる画像を生成することができる。
【００４５】
なお、ここでは、合焦領域をグリーンの領域として示す例について説明したが、例えば、合焦領域において、前方被写界深度側の領域と、後方被写界深度側の領域とを異なる色で示すこととしてもよい。
【００４６】
次に、重み付き画素値算出手段１３が、カラーの被写体画像を入力し、合焦領域のみをカラーの領域として示すように画素値を設定する場合について説明する。
【００４７】
被写体画像がカラーの画像である場合、入力された被写体画像の各画素の画素値は、Ｇ信号、Ｂ信号及びＲ信号の各々の信号レベルＧ、Ｂ、Ｒにおいて異なる値を持ち、以下の式（６）の関係が成り立つ。
Ｙ＝αＧ＋βＢ＋γＲ      …（６）
ここで、α＋β＋γ＝１、α≧０、β≧０、γ≧０である。
【００４８】
そして、重み付き画素値算出手段１３は、Ｇ、Ｂ、Ｒ信号の信号レベルＧ、Ｂ、Ｒに対して、輝度の信号レベルが変化しないように重み付けを行う。ここで、重み付け後のＧ、Ｂ、Ｒ信号の信号レベルをＧ’、Ｂ’、Ｒ’とし、Ｇ、Ｂ、Ｒ信号の信号レベルの変化量をΔＧ、ΔＢ、ΔＲとすると、重み付き画素値算出手段１３は、変化量ΔＧ、ΔＢ、ΔＲを、以下の式（７）によって算出する。
ΔＧ＝｛１−Ｉ（ｄ）｝（Ｙ−Ｇ）
ΔＢ＝｛１−Ｉ（ｄ）｝（Ｙ−Ｂ）      …（７）
ΔＲ＝｛１−Ｉ（ｄ）｝（Ｙ−Ｒ）
【００４９】
ここで、重み関数Ｉ（ｄ）が、図２に示すように、距離ｄがカメラＣからピント位置までの距離Ｌのときに最大になり、距離ｄがＬより大きくあるいは小さくなるにつれて徐々に減少して、距離ｄが前方被写界深度ｄ１及び後方被写界深度ｄ２に対応する距離（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときには０になるような関数とした。そのため、図５に示すように、重み付き画素値算出手段１３（図１参照）は、距離ｄがＬのときにＧ、Ｂ、Ｒ信号の信号レベルＧ’、Ｂ’、Ｒ’を、各々被写体画像のＧ、Ｂ、Ｒ信号の信号レベルＧ、Ｂ、Ｒと同じ値とし、距離ｄが（Ｌ−ｄ１）、（Ｌ＋ｄ２）のときには、Ｇ、Ｂ、Ｒ信号の信号レベルＧ’、Ｂ’、Ｒ’を、すべて被写体画像の輝度の信号レベルＹと同じ値とする。そして、重み付き画素値算出手段１３は、距離ｄがＬより大きくあるいは小さくなるにつれて、Ｇ、Ｂ、Ｒ信号の信号レベルＧ’、Ｂ’、Ｒ’を、値がＧ、Ｂ、ＲからＹに近づくように設定する。なお、図５は、カラーの被写体画像において、重み付き画素値算出手段が算出するＧ、Ｂ、Ｒ信号の信号レベルと、カメラから画素に対応する実空間上の点までの距離との関係を示したグラフである。
【００５０】
これによって、重み付き画素値算出手段１３は、重み付けの前後で各画素の輝度は維持しつつ、合焦領域以外の領域を単色にすることで、合焦領域内のみをカラーで表示した画像を生成することができる。そして、重み付き画素値算出手段１３によって生成された画像は、ピント位置に対応する画素では重み付けの前と同じ色とし、ピント位置から遠ざかるにしたがってカラーの情報を徐々に失って、ピント位置から前方被写界深度及び後方被写界深度だけ離れた位置に対応する画素では単色になる。
【００５１】
このように、重み付き画素値算出手段１３は、輝度を変えることなく合焦領域以外の領域を単色にすることで合焦領域を示す画像を生成するため、撮影されたものを見づらくすることなくピントの合う領域である合焦領域を示すことができるとともに、合焦領域内においてピント位置から遠ざかるにしたがってカラーの情報を徐々に失うため、ピント位置に近いか遠いかを示すことができる画像を生成することができる。
【００５２】
このように、重み付き画素値算出手段１３は、合焦領域のみ、あるいは、合焦領域以外の領域のみを、入力された被写体画像とは異なる色で表示した画像を生成してもよい。また、重み付き画素値算出手段１３は、合焦領域内と合焦領域以外の領域とを異なる色で表示した画像を生成することとしてもよい。
【００５３】
なお、合焦領域表示画像生成装置１（図１参照）は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、合焦領域表示画像生成プログラムとして動作させることも可能である。
【００５４】
［合焦領域表示画像生成装置の動作］
次に図６を参照（適宜図１参照）して、本発明における合焦領域表示画像生成装置１の動作について説明する。図６は、本発明における合焦領域表示画像生成装置の動作を示したフローチャートである。
【００５５】
まず、合焦領域表示画像生成装置１は、重み付き画素値算出手段１３によって被写体画像を入力し、重み関数算出手段１１によって、当該被写体画像に対応するレンズ情報を入力するとともに、重み分布算出手段１２によって当該被写体画像に対応する距離分布情報を入力する（ステップＳ１０）。
【００５６】
続いて、合焦領域表示画像生成装置１は、重み関数算出手段１１によって、ステップＳ１０において入力されたレンズ情報に基づいて、カメラＣから当該カメラＣのレンズのピント位置までの距離と、前方被写界深度及び後方被写界深度に対応する距離とを算出し、重み関数を算出する（ステップＳ１１；合焦距離算出ステップ）。
【００５７】
そして、合焦領域表示画像生成装置１は、重み分布算出手段１２によって、ステップＳ１０において入力された距離分布情報と、ステップＳ１１において算出された重み関数とに基づいて、ステップＳ１０において入力された被写体の画像の各々の画素値に対する重みを算出して、重み分布を算出する（ステップＳ１２；合焦領域特定ステップ）。このとき、ある画素に対応する実空間上の点が、ピント位置から前方被写界深度及び後方被写界深度の範囲内にあるときには、カメラＣからこの点までの距離に応じた重みが算出され、範囲内にないときには当該画素に対する重みは０になる。
【００５８】
更に、合焦領域表示画像生成装置１は、重み付き画素値算出手段１３によって、ステップＳ１２において算出された重み分布の各々の重みを、ステップＳ１０において入力された被写体画像の、対応する画素の画素値に対して重み付けし、合焦領域を示す画像の画素値として外部に出力する（ステップＳ１３；画素値算出ステップ）。そして、ステップＳ１０に戻って、次のフレーム画像（あるいはフィールド画像）となる被写体画像と、この被写体画像に対応するレンズ情報及び距離分布情報を入力する動作以降の動作を行う。
【図面の簡単な説明】
【００５９】
【図１】本発明における合焦領域表示画像生成装置の構成を示したブロック図である。
【図２】本発明における合焦領域表示画像生成装置の重み関数算出手段によって算出される重み関数の例を示すグラフである。
【図３】平面状の被写体において、本発明における合焦領域表示画像生成装置の重み関数算出手段によって算出される重みの値の分布の例を模式的に示す模式図である。
【図４】単色の被写体画像において、本発明における合焦領域表示画像生成装置の重み付き画素値算出手段が算出するＧ、Ｂ、Ｒ信号の信号レベルと、カメラから画素に対応する実空間上の点までの距離との関係を示したグラフである。
【図５】カラーの被写体画像において、本発明における合焦領域表示画像生成装置の重み付き画素値算出手段が算出するＧ、Ｂ、Ｒ信号の信号レベルと、カメラから画素に対応する実空間上の点までの距離との関係を示したグラフである。
【図６】本発明における合焦領域表示画像生成装置の動作を示したフローチャートである。
【符号の説明】
【００６０】
１      合焦領域表示画像生成装置
１１    重み関数算出手段（合焦距離算出手段）
１２    重み分布算出手段（合焦領域特定手段）
１３    重み付き画素値算出手段（画素値算出手段）
【図１】
2007086481.tif 000006
【図２】
2007086481.tif 000007
【図３】
2007086481.tif 000008
【図４】
2007086481.tif 000009
【図５】
2007086481.tif 000010
【図６】
2007086481.tif 000011