(57)【要約】【課題】異なる距離にある被写体を撮影して各被写体の鮮明な映像を形成する。【解決手段】  異なる複数の距離にある被写体Ｔ、Ｐ、Ｍを合焦して撮影した映像を細分して各映像の小領域ごとに画素値から同時生起行列の生成を経てテクスチャ特徴量が求められる。このテクスチャ特徴量に基づき各映像のうち最も鮮明な映像の小領域が決定される。こように決定された最も鮮明な映像の小領域を結合して被写体の映像を形成する。各距離の映像の小領域について最も鮮明である小領域をテクスチャ特徴量に基づき判定しているので、映像にノイズなどの外乱が含まれていても正確に鮮明度を判定することができる。【選択図】  図１
2005143063.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の距離にある被写体をそれぞれ撮影して被写体の映像を形成する映像形成方法において、各距離にある被写体を合焦して撮影し、合焦して撮影された各距離の映像をそれぞれ複数の小領域４に細分して小領域４ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、各距離の映像のテクスチャ特徴量に基づき各距離の映像の小領域４のうち最も映像が鮮明な小領域４を小領域４ごとに求め、小領域４ごとに求めた最も鮮明な映像の小領域４を結合して被写体の映像を形成することを特徴とする映像形成方法。
【請求項２】
前記各距離の映像の輝度値Ｙからテクスチャ特徴量を求めて、どの距離の映像小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
【請求項３】
請求項１項に記載する各距離の映像の明度値Ｖからテクスチャ特徴量を求めて、どの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
【請求項４】
請求項１項に記載する各距離映像の画素値のテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
【請求項５】
請求項１項に記載する各距離の映像の輝度値Ｙのテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
【請求項６】
請求項１項に記載する各距離の映像の明度値Ｖのテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
【発明の詳細な説明】
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、異なる距離にある複数の被写体を撮影した映像から、各被写体に対して合焦した映像を形成する映像形成の方法に関する。
【背景技術】
【０００２】  光学式またはデジタルカメラやビデオカメラで被写体を撮影した場合、有限の開口径をもつレンズで撮影した映像や画像には、奥行きに関する情報がぼけとして現れる。すなわち焦点距離の長いレンズを用いて近距離の被写体物を撮影し、それに合焦すれば得られた遠距離にある背景像はボケて写し出される。逆に遠距離の背景に合焦すれば近距離の被写体物はボケた像になってしまう。【０００３】  焦点距離の短い広角レンズを用いて近距離および遠距離の被写体の全てにピントを合わせる方法が考えられるが、この場合には倍率が用途に適さないことがあり、あらゆる場面で利用できる解決方法にならない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】  以上に述べた問題点を解消するために、同一の光学系で焦点を遂次ずらして画像メモリに入力し、画像処理をして全領域について焦点の合った画像を合成する手法が提案されている。このような手法を採った場合は、焦点を逐次ずらす機構などの開発が必要となる。【０００５】あるいは、例えば特開平３−８０６７６号公報にあるように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した１つの撮影系を使ってそれぞれの被写体を撮影して、後で近距離、中距離、遠距離にピントのあった映像を抽出して、各映像の高周波成分を利用して合成する方式も考えられている。【０００６】また、特開２００１−２９８６５７号公報にあるように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した撮影系を使ってそれぞれの被写体を撮影して、近距離、中距離、遠距離にピントのあった映像を抽出して、各映像の輝度値とその移動平均値との差波形を利用して合成する方式も考えられている。【０００７】しかしながら、高周波成分の多い領域を各映像から抽出して合成する場合の問題点の一つは、ノイズ等の外乱を含む映像に対して良好な合焦した映像を得ることは難しいことである。それはノイズの高周波成分と合焦のそれとが区別できないために生じており、同じような欠点は各映像の輝度値とその移動平均値との差である差波形を利用した場合も残っている。【０００８】  高周波成分の多い領域を各映像から抽出して合成する場合の第２の問題点は、周波数の算出に一般的に使われているＦＦＴあるいはＤＣＴでは、周波数の分離精度を良くするためには、小領域のサイズをある程度大きくする必要があり、したがって小領域をあまり小さくすることができない。またこれらの計算方法では有限な領域から周波数成分の算出するため問題点も内包している。【０００９】従って、本発明は、このような問題点を解決するためになされたもので、異なる距離にある被写体に合焦した複数の映像を容易にしかも正確に合成して異なる距離にある各被写体の鮮明な映画像を得ることが可能な映像形成方法を提供することをその課題とする。
【課題を解決するための手段】
【００１０】  本発明は、異なる複数の距離にある被写体をそれぞれ撮影して被写体の映像を形成する映像形成方法において、各距離にある被写体を合焦して撮影し、合焦して撮影された各距離の映像をそれぞれ複数の小領域に細分して小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうち最も映像が鮮明な領域を小領域ごとに求め、小領域ごとに求めた最も鮮明な映像の小領域を結合して被写体の映像を形成することを特徴としている。【００１１】  このようにして得られた映像は、複数の細分した領域の映像それぞれが異なる距離の映像のうち最も鮮明とされた映像で構成されているので、全体としてすべての距離にある被写体が鮮明に映し出される。その場合、各小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうちどれが最も鮮明であるかを判定しているので、ノイズなどの外乱が含まれていても正確に鮮明度を判定することができる。【００１２】  本発明と、周波数の性質を利用した場合や各映像の輝度値とその移動平均値との差である差波形を利用した場合とを比較すると、周波数の分離精度からの制限が少ないので小領域の大きさをかなり小さくすることができるし、その小領域の形状を矩形、３角形を含む多角形、或いは円形とかなり自由にとることもできる。しかもテクスチャ特徴量を利用する本発明では有限の小領域から周波数成分の算出をするために生じる問題は発生しない。【００１３】また周波数成分や各映像の輝度値とその移動平均値との差波形を利用して合成する方式では、映像に対する単一（または少数）の情報しか持たないが、テクスチャ特徴量による場合は、映像や画像の粗さや細かさ、画像の明確さ、平坦度など画像の特徴を複合的または総合的に評価・判断できる指標を与えることができ、さまざまな周波数成分を含んだ自然画像の映像やノイズなどの外乱を含んだ映像に対して適用できる利点を有している。
【発明の実施するための最良の形態】
【００１４】  以下、図面を参照して本発明を詳細に説明する。
本発明は、図２に示すように異なる複数の距離にある被写体、すなわち近距離にある木Ｔ、中距離にある人物Ｐ、及び遠距離にある山Ｍ、をそれぞれ撮影して各被写体に合焦した映像は、前記特開平３−８０６７６号公報のように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した撮影を繰返す方法、もしくは特開２００１−２９８６５７号公報にような近距離、中距離、それに遠距離の３つの異なる距離に合焦した１つ撮影系の装置を使う方法により得る。
【００１５】  図２において、符号１〜３は、近距離にある木の被写体Ｔ、中距離にある人及び遠距離にある山の被写体をそれぞれＰ、Ｍを同時に撮影し、各距離に合焦した近映像、中映像、遠映像である。
【００１６】本発明により合焦した映像を形成するに際し、各映像は前処理を行なうことが望ましい。すなわち光学系の光軸のずれ、傾きあるいは倍率（大きさ、ひずみ）に相違があると、各映像の中心、傾き、大きさが相違することにより映像の合成ができない場合が生じたり或いは不正確な合成が生じたりするからである。その前処理について前記特開２００１−２９８６５７号公報のような方法がある。
【００１７】  以下に、図１の流れを参照して、各距離映像からピントの合った部分を抽出してすべて被写体に合焦した鮮明な映像を形成する方法を説明する。
【００１８】  本発明では、各映像を複数の小領域に細分して、各小領域ごとに最も鮮明な小領域を各映像から抽出し、それを合成することにより鮮明な映像を得る。
【００１９】  各映像を複数の小領域に細分して、各小領域ごとに最も鮮明な小領域を各映像から抽出し、それを合成することにより鮮明な映像を得る場合は、あらかじめ近、中、遠距離の各映像を分割するための分割数を設定することが行われる。本発明においてもその方式を用いてもよいが、本発明では必ずしもその方式を採る必要はない。
【００２０】  本発明は、各映像の小領域ごとのテクスチャ特徴量を計算するための同時生起行列（または共起行列という）を必要とする。
【００２１】このために、まずステップＳ１で小領域のサイズ、生起行列の演算に必要となる相対的な位置ｄ（方向と距離をもつベクトル量）、走査の方法を設定する。また図１では省いているが画素値から諧調化するための量子化ステップ量はこのステップＳ１で設定する。図３は、メモリに格納されている近（中、遠）映像をラスタ走査した状態が示しており、小領域４のサイズは３×３の大きさの画素としている。
【００２２】  このステップＳ４において、各映像の小領域４の画素値は量子化の操作によってｑ階調の映像に変換される。次のステップＳ４では、図４に示すような小領域４のｑ階調の映像から、階調値ｉの点から相対的な位置がｄである点の階調値がｊである割合Ｍｄ（ｉ，ｊ），（ｉ，ｊ＝０，１，・・・，ｑ−１）をｉｊ要素とする同時生起行列を求める。
【００２３】  図５は、図４に示すような０、１、２の階調値６をもつ小領域４に対して、水平方向上にあって左から右にｄ＝１の相対距離をもつ画素のみを考えて作成された生起行列の要素値Ｍｄ（ｉ，ｊ）の例を示している。点線で囲まれた階調値（２，１）の対は、図４の例では１組しか現れないので、図５の生起行列の（ｉ，ｊ）＝（２，１）の要素値７のＭｄ（２，１）は１となる。ここで、図４の符号５は小領域の局所座標、符号６は映像の画素値から量子化された階調値を表し、図５の符号７は、より圧縮された画素値（階調値）の統計量となる同時生起行列の要素値Ｍｄ（ｉ，ｊ）である。
【００２４】  次のステップＳ５では、図５に示す生起行列から複数個のテクスチャ特徴量を算出する。代表的なテクスチャ特徴量として角２次モーメント、コントラスト、エントロピ、相関、分散などを含め１３種類の量がある。
【００２５】しかしテクスチャ特徴量に基づき各距離の映像の小領域のうち最も映像が鮮明な領域を小領域ごとに求める上で、これらのテクスチャ特徴量をすべて用いる必要はなく、映像の性質に応じて選択すればよい。一般的な映像の場合は角２次モーメント、コントラスト、エントロピを使う。
【００２６】  角２次モーメントｆ１は式１から計算され、画像中の変化の乏しい度合いを示す。この値は階調値の変化が乏しいと同時生起行列の要素値７のＭｄ（ｉ、ｊ）に偏りが生じてｆ１は大きな値になる。
【数１】
2005143063.tif 000003
コントラストｆ２は式２から計算され、ｆ２は局所的な変化が大きい場合に大きな値になる。
【数２】
2005143063.tif 000004
エントロピｆ３は式３から計算され、画像の複雑さの測度を表し、画素値が偏りなく現れる場合は大きな値になる。
【数３】
2005143063.tif 000005
【００２７】相関ｆ４は式４から計算され、画素値に一様な部分が多いとｆ４は大きな値をとり、ランダムノイズが多く含まれる場合にｆ４は小さくなる。したがってステップ６の判定の項目に相関ｆ４を入れることでノイズなどの外乱の影響を少なくできる。
【数４】
2005143063.tif 000006
ここでそれぞれｉ、ｊ方向の平均階調値をμｘ、μｙで表し、数５及び数６から計算される。
同様にｊ、ｊ方向の偏差をσｘ、σｙで表し、数７から計算される。
【数５】
2005143063.tif 000007
【数６】
2005143063.tif 000008
【数７】
2005143063.tif 000009
【００２８】ホモジニティｆ５は式８から計算し、局所的に変化に乏しいときに大きな値になる。
【数８】
2005143063.tif 000010
【００２９】その他の８つのテクスチャ特徴量を以下に示す。残る８つの特徴量を求める場合に共通して使用する２つの式を数９と式１０に示す。
【数９】
2005143063.tif 000011
【数１０】
2005143063.tif 000012
【００３０】またテクスチャ特徴量としての分散ｆ６は式１１、総和平均ｆ７は式１２、総和分散ｆ８は式１３、総和エントロピｆ９は式１４からそれぞれ計算される。
【数１１】
2005143063.tif 000013
【数１２】
2005143063.tif 000014
【数１３】
2005143063.tif 000015
【数１４】
2005143063.tif 000016
【００３１】またテクスチャ特徴量としての差分分散ｆ１０は式１５、差分エントロピｆ１１は式１６、相関情報測度ｆ１２はとｆ１３はそれぞれ式１７および式１８から計算される。
【数１５】
2005143063.tif 000017
【数１６】
2005143063.tif 000018
【数１７】
2005143063.tif 000019
【数１８】
2005143063.tif 000020
【００３２】ただし、Ｈｘ、Ｈｙ、Ｈｘｙ１、Ｈｘｙ２はそれぞれ式１９、式２０、式２１、式２２から求めた値である。
【数１９】
2005143063.tif 000021
【数２０】
2005143063.tif 000022
【数２１】
2005143063.tif 000023
【数２２】
2005143063.tif 000024
【００３３】  ステップＳ６では各映像の小領域４ごとに求めたテクスチャ特徴量から、各映像の小領域４のうち最も鮮明な映像を決定する。この決定はテクスチャ特徴量のうち１つの項目、例えばコントラストｆ２のみから決定してもよいし、あるいは角２次モーメントｆ１、コントラストｆ２とエントロピｆ３の３つの組合せのように複数個の項目から総合的に評価し決定してもよい。
【００３４】  さらに各映像の鮮明な領域と映像がぼけており鮮明でない領域において、各映像の小領域４でのコントラストｆ２のテクスチャ特徴量分布を取りその分布状態を比較すると、後者の領域は平坦な分布やまばら分布を示し明らかに分布状態は異なる。
【００３５】  この事実を利用するならば、このステップＳ６でテクスチャ特徴量の単独または複数の組合せで各映像の小領域４のうち最も鮮明な映像を決定するだけでなく、請求項４から請求項６に記載したように小領域と当該小領域近傍のテクスチャ特徴量の分布を求め、その分布を評価して各映像の小領域のうち最も鮮明な映像を決定するといっそう正確度は向上する。
【００３６】  ところでこの各映像の小領域４を一種の演算窓とみなし、走査種類の設定に基づき小領域４の演算窓の範囲を走査させ、その中に含まれる映像の画素値データから共起行列の作成とテクスチャ特徴量の算出をおこなえば各映像を分割する過程が省略できる。
【００３７】  この演算窓とみなした方式を採った場合には、テクスチャ特徴量の算出を一点ごとにできるし、また図３のように小領域４をラスタ走査させるだけでなく、ジグザグ走査、またはヒルベルト走査のような複雑な走査をして最も鮮明な映像を得ることも容易になる。
【００３８】また、ステップＳ６で求めた各小領域のデータは、最も鮮明な各映像の小領域４の画素値を直接に表示用のメモリに格納するか、もしくは各小領域を識別する記号や数字に置換して、抽出された各小領域に対応する識別記号や数字だけをメモリに記録し、合成するときその識別記号や数字を参照して対応する映像データを読み出すようにしてもよい。
【００３９】  以上の説明は映像データが画素値（カラー画像であれば一般的にはＲ、Ｇ、Ｂ値）として述べてきたが、映像データが本請求項２項と請求項３項にある輝度値Ｙおよび明度値Ｖである場合でも、テクスチャ特徴量に基づいて最も鮮明な小領域を求める基本的な過程（プロセス）は変わらない。
【００４０】各映像の小領域の輝度値Ｙにおけるテクスチャ特徴量から合焦した鮮明な小領域４を求める場合、ＲＧＢのカラー画像のＲＧＢ画素値からＮＴＳＣ方式の輝度値Ｙを求めるには数２３が使われる。ここでＩとＱは色差値である。
【数２３】
2005143063.tif 000025
【００４１】また請求項３項および請求項６項に記載の明度値ＶについてはＲＧＢ画像からＨＳＶ値への変換はやや複雑ではあるけれども変換の式が考案されている。
【発明の効果】
【００４２】  以上説明したように、本発明によれば、複数の細分した領域の各映像が異なる距離の映像のうち最も鮮明とされた映像で構成されているので、全体としてすべての距離にある被写体が鮮明に映し出される。
【００４３】その場合、各小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうちどれが最も鮮明であるかを判定しているので、ノイズなどの外乱に対しても正確に鮮明度を判定することができる。
【００４４】  周波数の性質を利用した場合や各映像の輝度値とその移動平均値との差波形を利用した場合に比較して、小領域の大きさをかなり小さくすることができるし、またその小領域の形状を比較的に自由にとることもできる。しかもテクスチャ特徴量に基づく場合は有限の小領域から周波数成分の算出をするために生じる問題点がまったく生じない。
【００４５】また高周波数成分および各映像の輝度値とその移動平均値との差波形を利用して合成する方法では、映像に対する単一（または小数）の情報しか持たないが、テクスチャ特徴量は、映像や画像の粗さや細かさ、画像の明確さ、平坦度など画像の特徴を複合的に評価・判断できる指標を与えるのでさまざまな周波数成分を含んだ自然画像の映像やノイズなどの外乱を含んだ種々の性質の映像に対して適用できる。
【図面の簡単な説明】
【図１】各映像を小領域４に細分し鮮明な小領域４を結合して被写体の映像を形成する流れを示したフローチャート図である。
【図２】近距離、中距離、遠距離にあるそれぞれの被写体に合焦した映像を示した図である。
【図３】近映像１の小領域４をラスタ走査させた状態を示した図である。
【図４】小領域４の画素値またはその階調値を例示した図である。
【図５】実施例の小領域４の階調値から水平方向について求めた同時生起行列の要素値７Ｍｄ（ｉ，ｊ）を説明した図である。
【符号の説明】
１  近映像
２  中映像
３  遠映像
４  小領域
５  局所座標
６  映像の画素値から量子化された階調値
７  同時生起行列の要素値Ｍｄ（ｉ，ｊ）
【図１】
2005143063.tif 000026
【図２】
2005143063.tif 000027
【図３】
2005143063.tif 000028
【図４】
2005143063.tif 000029
【図５】
2005143063.tif 000030