(57)【特許請求の範囲】
【請求項１】
複数の深度面の深度情報を決定するステップであって、前記複数の深度面の前記深度情報は前記複数の深度面を指示するのに用いられ、前記複数の深度面は前記複数の深度面の複数の焦点変更画像にそれぞれ対応し、前記複数の焦点変更画像は前記複数の焦点変更画像の生データに基づいて生成される、複数の深度面の深度情報を決定するステップと、
前記深度情報に従って前記複数の深度面の焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の合焦部分を含む、前記深度情報に従って前記複数の深度面の焦点変更画像を生成するステップと、
を含み、
前記複数の深度面は前記複数の焦点変更画像の前記生データにそれぞれ対応し、前記深度情報に従って前記複数の深度面の焦点変更画像を生成する前記ステップは、
前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定するステップと、
前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成するステップと、
を含み、
前記複数の焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
前記複数の焦点変更画像の前記生データに従って、前記複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を直接生成するステップと、
前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
を含む、画像処理方法。
【請求項２】
前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
前記複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて前記複数の焦点変更画像の前記生データに基づいてリフォーカシング処理を行うステップと、
前記複数の深度面の前記焦点変更画像を生成するように、前記複数の焦点変更画像を組み合わせるステップと、
を含む、請求項1に記載の画像処理方法。
【請求項３】
前記複数の焦点変更画像を組み合わせる前記ステップは、
画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせるステップ、
を含む、請求項2に記載の画像処理方法。
【請求項４】
画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせる前記ステップは、
前記複数の焦点変更画像の画素の点広がり関数を決定するステップと、
前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップであって、前記融合重みテンプレートは前記画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップと、
前記融合重みテンプレートに従って前記複数の焦点変更画像に対して画像融合を行うステップと、
を含む、請求項3に記載の画像処理方法。
【請求項５】
前記複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含み、前記複数の焦点変更画像を組み合わせる前記ステップは、
前記複数の焦点変更画像内の各焦点変更画像から前記合焦部分および前記非合焦部分を選択するステップと、
前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
を含む、請求項2から4のいずれか一項に記載の画像処理方法。
【請求項６】
すべての深度面の焦点変更画像の生データに従って、前記すべての深度面に対応する前記焦点変更画像を生成するステップであって、前記すべての深度面は前記すべての深度面の前記焦点変更画像にそれぞれ対応する、前記すべての深度面に対応する前記焦点変更画像を生成するステップ、
をさらに含み、前記深度情報に従って前記複数の深度面の焦点変更画像を生成する前記ステップは、
前記複数の深度面の前記深度情報に従って前記すべての深度面の前記焦点変更画像の中から前記複数の深度面の前記焦点変更画像を選択するステップと、
前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成するステップと、
を含む、請求項1から5のいずれか一項に記載の画像処理方法。
【請求項７】
前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
前記すべての焦点変更画像の画素の点広がり関数を決定するステップと、
前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップであって、前記融合重みテンプレートは前記すべての焦点変更画像の前記画素の融合重みを含み、前記複数の焦点変更画像の画素の融合重みは前記すべての焦点変更画像内の前記複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、前記複数の焦点変更画像内の高合焦度の画素の融合重みは前記複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップと、
前記融合重みテンプレートに従って前記すべての焦点変更画像に対して画像融合を行うステップと、
を含む、請求項6に記載の画像処理方法。
【請求項８】
前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、
前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
を含む、請求項6または7に記載の画像処理方法。
【請求項９】
深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるステップであって、前記合焦部分および前記非合焦部分は、前記深度面の前記深度または前記画素座標を前記インデックスとして用いて前記クエリテーブルに記憶されている、前記クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるステップ、
をさらに含み、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
前記複数の深度面の前記焦点変更画像のものである前記合焦部分と前記非合焦部分とをつなぎ合わせるステップ、
を含む、請求項6から8のいずれか一項に記載の画像処理方法。
【請求項１０】
前記合焦部分と前記非合焦部分とをつなぎ合わせる前記ステップは、
前記合焦部分の画像および前記非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行うステップ、
を含む、請求項1から5、8、または9のいずれか一項に記載の画像処理方法。
【請求項１１】
前記複数の焦点変更画像内の焦点変更画像を表示するステップと、
前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップであって、前記複数のユーザ入力は前記複数の深度面に対応する、前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、
前記複数の深度面の前記生成された焦点変更画像を表示装置上で出力するステップと、
をさらに含み、複数の深度面の深度情報を決定する前記ステップは、
前記複数のユーザ入力に従って前記複数の深度面の前記深度情報を決定するステップ、
を含む、請求項1から10のいずれか一項に記載の画像処理方法。
【請求項１２】
前記ユーザ入力は、
ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；
入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または
入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、
のうちの1つである、請求項11に記載の画像処理方法。
【請求項１３】
複数の深度面の深度情報を決定する前記ステップは、
既定の入力に従って、前記既定の入力に対応する前記複数の深度面を決定するステップ、
を含み、前記方法は、
表示装置上で、前記既定の入力に対応する前記複数の深度面の前記焦点変更画像を出力するステップ、
をさらに含む、請求項1から10のいずれか一項に記載の画像処理方法。
【請求項１４】
複数の深度面の深度情報を決定するように構成された決定モジュールであって、前記複数の深度面の前記深度情報は前記複数の深度面を指示するのに用いられ、前記複数の深度面は前記複数の深度面の複数の焦点変更画像にそれぞれ対応する、決定モジュールと、
前記深度情報に従って前記複数の深度面の焦点変更画像を生成するように構成された生成モジュールであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の合焦部分を含む、生成モジュールと、
を含み、
前記複数の深度面は前記複数の焦点変更画像の生データにそれぞれ対応し、前記生成モジュールは、前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定し、前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成し、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含み、
前記生成モジュールは、前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定し、前記複数の焦点変更画像の前記生データに従って、前記複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を直接生成し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、画像処理装置。
【請求項１５】
前記生成モジュールは、前記複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて前記複数の焦点変更画像の前記生データに基づいてリフォーカシング処理を行い、前記複数の深度面の前記焦点変更画像を生成するように、前記複数の焦点変更画像を組み合わせる、請求項14に記載の画像処理装置。
【請求項１６】
前記生成モジュールは、画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせる、請求項15に記載の画像処理装置。
【請求項１７】
前記生成モジュールは、前記複数の焦点変更画像の画素の点広がり関数を決定し、前記画素の前記点広がり関数に従って融合重みテンプレートを生成し、前記融合重みテンプレートに従って前記複数の焦点変更画像に対して画像融合を行い、前記融合重みテンプレートは前記画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、請求項16に記載の画像処理装置。
【請求項１８】
前記生成モジュールは、前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、請求項15から17のいずれか一項に記載の画像処理装置。
【請求項１９】
前記生成モジュールは、すべての深度面の焦点変更画像の生データに従って、前記すべての深度面に対応する前記焦点変更画像をさらに生成し、前記複数の深度面の前記深度情報に従って前記すべての深度面の前記焦点変更画像の中から前記複数の深度面の前記焦点変更画像を選択し、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成し、前記すべての深度面は前記すべての深度面の前記焦点変更画像にそれぞれ対応し、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、請求項14から18のいずれか一項に記載の画像処理装置。
【請求項２０】
前記生成モジュールは、前記すべての焦点変更画像の画素の点広がり関数を決定し、前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成し、前記融合重みテンプレートに従って前記すべての焦点変更画像に対して画像融合を行い、前記融合重みテンプレートは前記すべての焦点変更画像の前記画素の融合重みを含み、前記複数の焦点変更画像の画素の融合重みは前記すべての焦点変更画像内の前記複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、前記複数の焦点変更画像内の高合焦度の画素の融合重みは前記複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、請求項19に記載の画像処理装置。
【請求項２１】
前記生成モジュールは、前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、請求項19または20に記載の画像処理装置。
【請求項２２】
深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるように構成された問い合わせモジュール、をさらに含み、前記合焦部分および前記非合焦部分は前記深度面の前記深度または前記画素座標を前記インデックスとして用いて前記クエリテーブルに記憶されており、前記生成モジュールは、前記複数の深度面の前記焦点変更画像のものである前記合焦部分と前記非合焦部分とをつなぎ合わせる、
請求項19から21のいずれか一項に記載の画像処理装置。
【請求項２３】
前記生成モジュールは、前記つなぎ合わせを行うときに、前記合焦部分の画像および前記非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う、請求項14から18、21、または22のいずれか一項に記載の画像処理装置。
【請求項２４】
前記複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュールと、
前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュールと、
をさらに含み、前記複数のユーザ入力は前記複数の深度面に対応し、前記表示モジュールは、前記複数の深度面の前記生成された焦点変更画像を表示装置上で出力し、前記決定モジュールは、前記複数のユーザ入力に従って前記複数の深度面の前記深度情報を決定する、請求項14から23のいずれか一項に記載の画像処理装置。
【請求項２５】
前記ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである、請求項24に記載の画像処理装置。
【請求項２６】
前記決定モジュールは、既定の入力に従って、前記既定の入力に対応する前記複数の深度面を決定し、前記画像処理装置は、
表示装置上で、前記既定の入力に対応する前記複数の深度面の前記焦点変更画像を出力するように構成された、表示モジュール、
をさらに含む、請求項14から25のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照によりその全体が本明細書に組み入れられる、2014年5月28日付で中国特許庁に出願された、「IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS」という名称の中国特許出願第201410230506．1号の優先権を主張するものである。
【０００２】
本発明は、画像処理技術の分野に関し、詳細には、画像処理方法および画像処理装置に関する。
【背景技術】
【０００３】
一般的な写真技術では、被写体シーンを強調するために、被写体シーンはセンサ上に鮮明に画像化されるが別の深度面内の物体の画像はぼやけるように、カメラは普通、被写体シーンが位置する深度面上に焦点を合わせられる。
【０００４】
ディジタルイメージング技術、画像処理、およびマシンビジョンが発展するにつれて、リフォーカシング技術が浮上してきている。リフォーカシング技術によれば、画像が形成された後で、ユーザの必要に応じて、焦点面または被写界深度を再選択することができ、被写界深度とは撮像デバイスが鮮明な画像化を提供することのできる範囲をいう。
【０００５】
例えば、リフォーカシング技術はライト・フィールド・カメラで用いられる。ライト・フィールド・カメラにはマイクロ・レンズ・アレイが含まれる。撮影が行われるときに、マイクロ・レンズ・アレイ内の各マイクロレンズはセンサ上に画像を形成し、したがって、画像アレイが得られる。加えて、画像アレイは、深度面の焦点変更画像を得るように、リフォーカシングアルゴリズムを用いて処理することもできる。焦点変更画像が形成された後で、ユーザは、その都度必要に応じてある深度面におけるシーンの合焦画像を得ることができる。このようにして、ユーザにはある深度面においてのみシーンの鮮明な画像が見え、別の深度面におけるシーンのユーザに見える画像はぼやける。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態は、複数の深度面におけるシーンの鮮明な画像を同時に得ることができるような、画像処理方法および画像処理装置を提供する。
【０００７】
第1の態様によれば、画像処理方法が提供され、本画像処理方法は、複数の深度面の深度情報を決定するステップであって、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される、複数の深度面の深度情報を決定するステップと、深度情報に従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、深度情報に従って複数の深度面の焦点変更画像を生成するステップと、を含む。
【０００８】
第1の態様に関連して、第1の可能な実施態様において、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、深度情報に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定するステップと、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップと、を含む。
【０００９】
第1の可能な実施態様に関連して、第2の可能な実施態様において、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップは、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行うステップと、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせるステップと、を含む。
【００１０】
第2の可能な実施態様に関連して、第3の可能な実施態様において、複数の焦点変更画像を組み合わせるステップは、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせるステップ、を含む。
【００１１】
第3の可能な実施態様に関連して、第4の可能な実施態様において、複数の焦点変更画像の画素の点広がり関数を決定するステップと、画素の点広がり関数に従って融合重みテンプレートを生成するステップであって、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、画素の点広がり関数に従って融合重みテンプレートを生成するステップと、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行うステップと。
【００１２】
第2から第4のいずれか1つの可能な実施態様に関連して、第5の可能な実施態様において、複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含み、複数の焦点変更画像を組み合わせるステップは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
【００１３】
第1から第5のいずれか1つの可能な実施態様に関連して、第6の可能な実施態様において、複数の深度面の深度情報および複数の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定するステップと、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
【００１４】
第1の態様、または、第1から第6のいずれか1つの可能な実施態様に関連して、第7の可能な実施態様において、第1の態様の方法は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像を生成するステップであって、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する、すべての深度面に対応する焦点変更画像を生成するステップ、をさらに含み、深度情報に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択するステップと、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップと、を含む。
【００１５】
第7の可能な実施態様に関連して、第8の可能な実施態様において、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、すべての焦点変更画像の画素の点広がり関数を決定するステップと、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成するステップであって、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成するステップと、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行うステップと、を含む。
【００１６】
第7または第8の可能な実施態様に関連して、第9の可能な実施態様において、複数の深度面の複数の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
【００１７】
第7から第9のいずれか１つの可能な実施態様に関連して、第10の可能な実施態様において、第1の態様の方法は、深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップであって、合焦部分および非合焦部分は、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに記憶されている、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップ、をさらに含み、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせるステップ、を含む。
【００１８】
第5、第6、第9、または第10の可能な実施態様に関連して、第11の可能な実施態様において、合焦部分と非合焦部分とをつなぎ合わせるステップは、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行うステップ、を含む。
【００１９】
第1の態様または前述の可能な実施態様のいずれか1つに関連して、第12の可能な実施態様において、第1の態様の方法は、複数の焦点変更画像内の焦点変更画像を表示するステップと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップであって、複数のユーザ入力は複数の深度面に対応する、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、複数の深度面の生成された焦点変更画像を表示装置上で出力するステップと、をさらに含み、複数の深度面の深度情報を決定するステップは、複数のユーザ入力に従って複数の深度面の深度情報を決定するステップ、を含む。
【００２０】
第12の可能な実施態様に関連して、第13の可能な実施態様において、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
【００２１】
第1の態様または前述の可能な実施態様のいずれか1つに関連して、第14の可能な実施態様において、複数の深度面の深度情報を決定するステップは、既定の入力に従って、既定の入力に対応する複数の深度面を決定するステップ、を含み、本方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するステップ、をさらに含む。
【００２２】
第2の態様によれば、画像処理装置が提供され、本画像処理装置は、複数の深度面の深度情報を決定するように構成された決定モジュールであって、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される、決定モジュールと、深度情報に従って複数の深度面の焦点変更画像を生成するように構成された生成モジュールであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、生成モジュールと、を含む。
【００２３】
第2の態様に関連して、第1の可能な実施態様において、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、生成モジュールは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【００２４】
第1の可能な実施態様に関連して、第2の可能な実施態様において、生成モジュールは、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
【００２５】
第2の態様の第2の可能な実施態様に関連して、第3の可能な実施態様において、生成モジュールは、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
【００２６】
第2の態様の第3の可能な実施態様に関連して、第4の可能な実施態様において、生成モジュールは、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
【００２７】
第2の態様の第2から第4のいずれか1つの可能な実施態様に関連して、第5の可能な実施態様において、生成モジュールは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
【００２８】
第2の態様の第1から第5のいずれか1つの可能な実施態様に関連して、第6の可能な実施態様において、生成モジュールは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
【００２９】
第2の態様、または、第2の態様の第1から第6のいずれか1つの可能な実施態様に関連して、第7の可能な実施態様において、生成モジュールは、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像を生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応し、生成モジュールは、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【００３０】
第2の態様の第7の可能な実施態様に関連して、第8の可能な実施態様において、生成モジュールは、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
【００３１】
第2の態様の第7または第8の可能な実施態様に関連して、第9の可能な実施態様において、生成モジュールは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
【００３２】
第2の態様の第7から第9のいずれか1つの可能な実施態様に関連して、第10の可能な実施態様において、第2の態様の画像処理装置は、深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるように構成された、問い合わせモジュール、をさらに含み、合焦部分および非合焦部分は深度面の深度または画素座標をインデックスとして用いてクエリテーブルに記憶されており、生成モジュールは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせる。
【００３３】
第5、第6、第9、または第10の可能な実施態様に関連して、第11の可能な実施態様において、生成モジュールは、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
【００３４】
第2の態様または前述の可能な実施態様のいずれか1つに関連して、第12の可能な実施態様において、第2の態様の画像処理装置は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュールと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュールと、をさらに含み、複数のユーザ入力は複数の深度面に対応し、表示モジュールは、複数の深度面の生成された焦点変更画像を表示装置上で出力し、決定モジュールは、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
【００３５】
第12の可能な実施態様に関連して、第13の可能な実施態様において、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
【００３６】
第2の態様または前述の可能な実施態様のいずれか1つに関連して、第14の可能な実施態様において、決定モジュールは、既定の入力に従って、既定の入力に対応する複数の深度面を決定し、本画像処理装置は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、表示モジュール、をさらに含む。
【００３７】
本発明の技術的解決策においては、複数の深度面の焦点変更画像を深度情報に従って生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。
【００３８】
本発明の実施形態における技術的解決策をより明確に説明するために、以下で、本発明の実施形態を説明するのに必要とされる添付の図面について簡単に説明する。明らかに、以下の説明における添付の図面は単に本発明のいくつかの実施形態を示すにすぎず、当業者は、これら添付の図面から難なく他の図面をさらに導出することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態による画像処理方法の概略的流れ図である。
【図２】本発明の別の実施形態による画像処理プロセスの概略的流れ図である。
【図３】深度面とユーザ入力との対応関係を示す概略図である。
【図４】本発明の一実施形態による二重平面表現法における2つの平面の概略図である。
【図５】本発明の一実施形態による合成画像写真技術の原理の概略図である。
【図６】本発明の一実施形態による合成画像写真技術の原理モデルの幾何関係の概略図である。
【図７】本発明の別の実施形態による画像処理プロセスの概略的流れ図である。
【図８】本発明の別の実施形態による画像処理プロセスの概略的流れ図である。
【図９】本発明の別の実施形態による画像処理プロセスの概略的流れ図である。
【図１０】本発明の一実施形態による画像処理装置の概略的構造図である。
【図１１】本発明の別の実施形態による画像処理装置の概略的構造図である。
【発明を実施するための形態】
【００４０】
以下で、本発明の実施形態における添付の図面に関連して、本発明の実施形態における技術的解決策を明確かつ十分に説明する。明らかに、説明される実施形態は本発明の実施形態の全部ではなく一部にすぎない。本発明の実施形態に基づいて当業者によって難なく得られる他のすべての実施形態は、本発明の保護範囲内に含まれるものとする。
【００４１】
本発明の実施形態において、深度はシーンとカメラとの距離を指す場合がある。複数の深度面は深度が連続する場合もあり、これらは本発明の実施形態においては限定されず、例えば、複数の深度面は深度が不連続である場合もある。各深度面は1つの焦点面に対応する場合もあり、1つの被写界深度に対応する場合もあることを理解すべきである。本明細書における「複数の」は2以上を含むものであることに留意すべきである。
【００４２】
本発明の実施形態はカメラに適用することもでき、または、別のユーザ端末（例えば携帯電話やコンピュータ）に適用することもでき、カメラまたは別のユーザ端末は、複数の深度面の焦点変更画像を生成するように、焦点変更画像の生データを処理するように構成されている。
【００４３】
図1は、本発明の一実施形態による画像処理方法の概略的流れ図である。図1の方法は画像処理装置によって実行することができる。図1の方法は以下の内容を含む。
【００４４】
110．複数の深度面の深度情報を決定し、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される。
【００４５】
深度情報は、深度面に関する情報、画素座標に関する情報、画素色に関する情報、画素の点広がり関数に関する情報、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはこれらの情報の任意の組み合わせのうちの少なくとも1つを含むことができる。複数の深度面の深度情報を決定するための方法は本発明の本実施形態では限定されない。深度情報はユーザ入力から得ることもでき、または、事前定義することもできる。
【００４６】
画像処理装置は、ユーザ入力または既定の入力に従って、焦点変更を必要とする領域に対応する深度面を得ることができる。例えば、焦点変更を必要とする領域に対応する深度面は、ユーザインターフェース上でのユーザのリアルタイムの入力または選択に従って決定される。ユーザがユーザインターフェース上で複数の領域を選択するときに、それら複数の領域は深度面に対応しており、画像処理装置は、これに従って、焦点変更を必要とする領域に対応する深度面を知ることができる。本発明の本実施形態によれば、複数の深度面の深度情報を決定するための方法はそれだけに限定されず、画像処理装置は既定の情報に従って複数の深度面の深度情報を決定することもできる。
【００４７】
120．深度情報に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【００４８】
例えば、各深度面に対応する焦点変更画像において、画像の一部分は焦点が合っており、すなわち、画像の一部分は鮮明であるが、画像の別の部分は焦点が合っておらず、すなわち、画像の別の部分はぼやけている。複数の深度面の深度情報を決定することは、含まれる画像が焦点変更を必要とする深度面を決定することである。その場合、複数の深度面の焦点変更画像を生成するプロセスは、複数の深度面に対応する合焦部分を組み合わせることとすることができる。加えて、複数の深度面の生成された焦点変更画像において、複数の深度面に対応する合焦部分と非合焦部分とを組み合わせることができ、したがって、完全な画像を提示することができる。
【００４９】
本発明の本実施形態によれば、深度情報に従って複数の深度面の焦点変更画像を生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。
【００５０】
120で、画像処理装置は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成することができ、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【００５１】
例えば、深度面に対応する焦点変更画像の生データをユーザによって入力された深度情報に従って決定することもでき、または、焦点変更を必要とする深度面および深度面に対応する焦点変更画像の生データを既定の深度情報に従って決定することもできる。ユーザ入力または既定の入力に従って焦点変更深度面に関する情報を得るための方法は、生データの種類によって異なりうる。
【００５２】
画像処理装置は、焦点変更画像の生データに従って合焦部分を生成することもでき、焦点変更画像の生データに従って非合焦部分を生成することもでき、または、焦点変更画像の生データに従って合焦部分と非合焦部分の両方を生成することもできる。例えば、生データは、マイクロ・レンズ・アレイを備えるカメラモジュール（例えばライト・フィールド・カメラ）による撮影によって得ることができる。各深度面は深度面の焦点変更画像の生データを有し、生データは、必要に応じて、深度面に対応する焦点変更画像を生成するのに用いられる。
【００５３】
本発明の本実施形態によれば、複数の深度面の焦点変更画像を複数の深度面に対応する複数の焦点変更画像の生データに従って生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。加えて、複数の深度面のものであり、前述の複数の深度空間に対応する焦点変更画像が深度情報に従って生データに基づいて生成されるため、すべての焦点変更画像を生成する必要がない。したがって、大量の記憶空間が節約される。
【００５４】
前述の焦点変更画像の生データは、それだけに限らないが、以下の画像データまたは以下の画像データの組み合わせを含む、焦点変更画像を生成するのに用いられる任意のデータとすることができる。
【００５５】
例えば、前述の生データは一般的なカメラモジュールによって撮影された1つまたは複数の画像とすることができる。前述の複数の画像は、異なる撮影パラメータ設定、例えば、異なる焦点距離、異なる絞り、異なる露光、および異なる感知波長の下で同じシーンについて撮影された画像をいい、または異なる位置で同じシーンについて撮影された画像をいう。
【００５６】
あるいは、別の実施形態において、前述の生データは、開口マスクプレート、位相マスクプレート、または別の種類のマスクプレートを備えるカメラモジュールによって撮影された1つまたは複数の開口符号化画像とすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて開口符号化画像を処理することによって得られた画像とすることもできる。
【００５７】
あるいは、別の実施形態において、前述の生データは、マイクロ・レンズ・アレイまたは開口アレイを備えるカメラモジュールによって撮影された1つまたは複数の画像アレイとすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて画像アレイを処理することによって得られた画像、例えば、単一深度面の焦点変更画像、全焦点画像、および仮想ピンホール画像とすることもできる。
【００５８】
あるいは、別の実施形態において、前述の生データは、同じ構成または異なる構成を備える複数のカメラモジュールによって構成された画像撮影アレイによって撮影された1つまたは複数の画像アレイとすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて画像アレイを処理することによって得られた画像とすることもできる。
【００５９】
あるいは、別の実施形態において、前述の生データは、同じシーンについて深度感知デバイスとカメラモジュールとによってそれぞれ得られた深度情報と画像との組み合わせとすることもできる。深度感知デバイスは、光の飛行時間、光の位相差、構造化光の照明といった原理を用いて深度感知を実施するあらゆるデバイスを含む。
【００６０】
120で、画像処理装置は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせることができる。
【００６１】
本発明の本実施形態によれば、リフォーカシングアルゴリズムは、畳み込みアルゴリズム、逆畳み込みアルゴリズム、融合アルゴリズム、スプライシングアルゴリズム、光線トレースアルゴリズム、フィルタリングアルゴリズム、単一深度面の別のリフォーカシングアルゴリズム、またはこれらのアルゴリズムの組み合わせとすることができる。
【００６２】
120で、複数の焦点変更画像の合焦部分は画像融合（Image Fusion）法を用いて組み合わせられる。
【００６３】
例えば、画像融合法は画像解析法である。画像処理装置は画像融合法を用いて2つ以上の画像を組み合わせて1つの画像にすることができる。同じシーンの複数の画像に関する情報は冗長で、相補的であるため、画像融合法を用いて得られる合成画像は画像をより広範囲にわたって正確に表すことができる。画像融合法は、グレースケールベースのアルゴリズム（例えば、直接平均法、加重平均法、中央値フィルタリング法、多分解能スプライン技術）、関心対象の領域に基づく画像融合アルゴリズム、色空間変換に基づく融合アルゴリズム、および変換領域に基づく融合アルゴリズムを含む。
【００６４】
120で、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせるときに、画像処理装置は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行うことができ、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。すなわち、画素の合焦度は融合重みに比例する。このようにして、複数の深度空間に対応する合焦部分が鮮明に提示される。
【００６５】
例えば、合焦度は鮮明度とも呼ばれ、合焦度のレベルは点広がり関数を用いて測定することができる。加えて、合焦度は合焦評価関数を用いて評価することもできる。
【００６６】
本発明の本実施形態によれば、複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含む。120で、複数の焦点変更画像が組み合わされるときに、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択することができ、合焦部分と非合焦部分とはつなぎ合わされる。例えば、合焦部分および非合焦部分は、複数の焦点変更画像内の各焦点変更画像から選択することができる。
【００６７】
あるいは、画像をランダムに選択することもでき、複数の深度面に対応する複数の焦点変更画像の合焦部分は、合焦部分と非合焦部分との間の遷移がより自然になるように、各画像と融合される。
【００６８】
120では、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分が複数の焦点変更画像の生データに従って生成され、合焦部分と非合焦部分とがつなぎ合わされる。
【００６９】
すなわち、合焦部分および非合焦部分は生データに基づいて直接生成される。その場合には、合焦部分および非合焦部分を取り込むステップが省かれ、画像処理が簡素化される。
【００７０】
本発明の本実施形態によれば、120で、画像処理装置は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成することができ、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【００７１】
すなわち、深度情報が決定され、複数の深度面の焦点変更画像が生成される前に、すべての焦点変更画像が事前生成される。このようにして、対応する焦点変更画像を、深度情報が決定された後で事前生成された焦点変更画像の中から選択することができ、それによって、複数の深度面の焦点変更画像を生成する時間が短縮され、ユーザ体験が向上する。
【００７２】
本発明の本実施形態によれば、120で、画像処理装置は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成することができ、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きく、また画像処理装置は、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行うことができる。
【００７３】
すなわち、複数の焦点変更画像のものであり、深度情報に従って決定される融合重みは、その他の焦点変更画像の重みより大きく、複数の焦点変更画像について、画素の合焦度は融合重みに比例する。このようにして、複数の深度空間に対応する合焦部分が鮮明に提示される。
【００７４】
本発明の本実施形態によれば、120で、画像処理装置は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせることができる。
【００７５】
あるいは、別の実施形態において、図1の方法は、すべての焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに合焦部分および非合焦部分を記憶するステップと、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップと、をさらに含み、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせるステップ、を含む。
【００７６】
例えば、深度面の深度は、各深度面と基準面（例えばカメラ）との距離であり、各深度面は1つの深度距離に対応しうる。画像上にある、各深度面に対応する部分は複数の画素を含みうる。各画素の座標は1つの深度面に対応しうる。各深度面は複数の画素の座標に対応しうる。深度面の深度もしくは画素座標と合焦部分との間の対応関係および／または深度面の深度もしくは画素座標と非合焦部分との間の対応関係を、合焦部分と非合焦部分とがつなぎ合わされる前に確立することができ、前述の対応関係はクエリテーブルに記憶される。対応関係を確立するためのタイミングは本発明の本実施形態では限定されず、例えば、対応関係は撮影プロセスにおいて、または撮影プロセス後に確立することができ、または、合焦部分と非合焦部分とがつなぎ合わされる前にいつでも確立することができる。例えば、すべての深度面の合焦部分と深度面の深度または画素座標との間の対応関係、およびすべての深度面の非合焦部分と深度面の深度または画素座標との間の対応関係を事前に確立することができる。このようにして、ユーザ入力がユーザインターフェース上で受け取られたときに、深度面の深度または画素座標をユーザ入力に従ってまず決定することができ、次いで、深度面の深度または画素座標に従ってクエリテーブルから合焦部分および非合焦部分を取得することができ、合焦部分と非合焦部分とは複数の深度面の焦点変更画像へとつなぎ合わされ、それによってユーザ体験が向上する。加えて、記憶空間を節約するために、ユーザによって選択された深度面に対応する生データのものである合焦部分と非合焦部分との対応関係および深度面の深度または画素座標を単独で記憶することもできる。
【００７７】
本発明の本実施形態によれば、合焦部分と非合焦部分とがつなぎ合わされるときに、合焦部分の画像および非合焦部分の画像に対して、前処理、画像位置合わせ、および画像融合を行うことができる。
【００７８】
あるいは、別の実施形態において、図1の方法は、複数の焦点変更画像内の焦点変更画像を表示するステップと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、複数の深度面の生成された焦点変更画像を表示装置上で出力するステップと、をさらに含み、複数のユーザ入力は複数の深度面に対応し、深度情報が決定されるときには、複数のユーザ入力に従って複数の深度面の深度情報を決定することができる。
【００７９】
例えば、複数の深度面の焦点変更画像が表示される前に、単一深度面の焦点変更画像をユーザインターフェース上で表示することができる。画像処理装置は、ユーザの必要に応じて複数の異なる深度面内のオブジェクトまたは複数の不連続の深度面内のオブジェクトに対してリフォーカシングを行い、複数の深度面の焦点変更画像を表示装置上で出力し、または異なる深度面内の焦点変更シーンの画像を出力することができる。本発明の本実施形態では、複数の深度面の生成された焦点変更画像を単独で表示することもでき、または複数の深度面の焦点変更画像が完全に生成される前に、元の画像および／または、異なる深度面のものであり、中間状態で生成された焦点変更画像を表示することもできる。
【００８０】
任意選択で、別の実施形態において、複数の深度面の焦点変更画像が生成された後で、複数の深度面の焦点変更画像はユーザインターフェース上で直ちに表示される。
【００８１】
本発明の本実施形態によれば、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
【００８２】
110で、既定の入力に対応する複数の深度面を既定の入力に従って決定することができる。図1の方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するステップ、をさらに含む。
【００８３】
以下で、本発明の実施形態を、具体例を参照してより詳細に説明する。
【００８４】
図2は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図2の実施形態は図1の画像処理方法の一例である。図3は、深度面とユーザ入力との対応関係を示す概略図である。
【００８５】
210．ユーザインターフェース上で画像を表示する。
【００８６】
例えば、ユーザデバイス（例えばカメラ）のユーザインターフェース上で画像を表示することができる。画像は一般的な画像とすることができる。画像は異なる深度面に位置するシーンを表示することができるが、鮮明に表示することができるのはただ1つの深度面におけるシーンだけである。ユーザデバイスは、異なる深度面の焦点変更画像の生データを記憶することができる。画像上の各シーンの領域または位置は当該シーンが位置する深度面に対応する。
【００８７】
220．ユーザインターフェース上でユーザ入力を取得する。
【００８８】
例えば、ユーザがユーザインターフェース上に表示された画像の複数の領域または位置をタップし、またはタッチするときに、ユーザ入力を複数の領域または位置において受け取ることができる。前述のユーザ入力は、入力デバイスを用いてユーザによって入力された不連続の命令、例えば、マウスのクリック、マウスのダブルクリック、ボタンを押すこと、またはタッチスクリーン上でスタイラスを軽く押すこと、とすることができる。あるいは、前述のユーザ入力は、入力デバイスを用いてユーザによって入力された連続した命令、例えば、単にマウスを動かしてマウスの位置を記録し、それによって連続クリック動作を実施すること、とすることもできる。本発明の本実施形態における入力デバイスは、マウス、タッチパッド、多指感知タッチスクリーン、タブレットもしくは画面上で用いられるスタイラス、視線追跡デバイス、ジョイスティック、4方向ボタンナビゲーション制御、感圧方向ナビゲーション制御、スライダ、スクロールホイール、円形タッチパッド、赤外線体性感覚デバイスなどとすることができる。
【００８９】
複数の深度面は深度間隔を構成しうることを理解すべきである。したがって、複数の深度面は、複数の深度間隔を選択する方法で選択することができる。図3を参照すると、ユーザインターフェース上に表示された画像上のものである領域1および領域2はそれぞれ深度間隔1および深度間隔2に対応する。このようにして、ユーザは、2つの深度間隔に対応する領域を選択することにより、2つの深度間隔に対応する深度面を選択することができる。ユーザは、より多くの深度面の焦点変更画像を得るように、画像上のより多くの領域または位置を選択し、またはタップすることもできることを理解すべきである。
【００９０】
230．ユーザ入力に従って複数の深度面の深度情報を決定する。
【００９１】
深度情報は、位置変更を必要とする複数の深度面に関する情報を指示するのに用いられる。深度情報は、深度面に関する情報、画素座標に関する情報、画素色に関する情報、画素の点広がり関数に関する情報、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはこれらの情報の任意の組み合わせのうちの1つを含むことができる。
【００９２】
焦点変更画像の生データは、マイクロ・レンズ・アレイもしくは開口アレイを備えるカメラモジュールによって撮影された1つもしくは複数の画像アレイ、同じ構成もしくは異なる構成を備える複数のカメラモジュールによって構成された画像撮影アレイによって撮影された1つもしくは複数の画像アレイ、または異なる位置において同じシーンについて単一のカメラモジュールによって撮影された複数の画像、とすることができる。画像アレイ内の視覚的差異はシーンの深度情報を含むため、必要な深度面情報を得るために、ブロックマッチング法、グラフカット（Graph Cuts）法、マルチベースライン（Multi−Baseline）法といった方法を用いて画素の深度情報を得ることができる。各画素に対応するオブジェクト点に関する深度情報（例えば、深度と画素座標との間の対応関係）を、深度抽出法を用いて得ることができる。ユーザ入力は選択画素の座標を指示することができる。選択された深度面に関する情報は、ユーザによって選択された画素の座標に基づいて得ることができる。
【００９３】
焦点変更画像の生データは、単一の一般的なカメラモジュールによって撮影された複数の画像とすることができる。複数の画像とは異なるパラメータ設定、例えば、レンズの異なる焦点距離、異なる絞り、異なる露光、レンズとセンサとの異なる距離、レンズ間の異なる距離、レンズの異なる曲率、または異なる感知波長の下で同じシーンについて撮影された画像をいう。シーンが異なる深度面にあるときには画像の合焦度および／または光強度情報が異なるため、そうした情報を用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は画素座標に関する情報を指示する。画素の異なる合焦度は異なる深度情報に対応し、したがって、ユーザによって選択された深度面に関する情報をユーザ入力に従って得ることができる。
【００９４】
焦点変更画像の生データは、開口マスクプレート、位相マスクプレート、または別の種類のマスクプレートを備えるカメラモジュールによって撮影された1つまたは複数の開口符号化画像とすることもできる。オブジェクトが異なる深度面にあるときには符号化画像が異なるため、そうした情報を用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は画素座標に関する情報を指示し、異なる深度の画素に基づいて生成された符号化画像が異なり、画素の深度情報を符号化画像の特徴から推定することができる。
【００９５】
焦点変更画像の生データは、同じシーンについて深度感知デバイスとカメラモジュールとによってそれぞれ得られた深度情報と画像との組み合わせとすることができる。深度感知デバイスは、光の飛行時間、光の位相差、構造化光の照明といった原理を用いて深度感知を実施するあらゆるデバイスとすることができる。したがって、深度感知デバイスによって提供された深度マップを用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は選択された画素座標に関する情報を指示し、ユーザによって選択された深度面に関する情報は、画素座標に関する情報と画素の深度情報との対応関係（すなわち深度マップ）が決定されることを条件として決定することができる。
【００９６】
前述のいくつかの方法においては、画素座標に関する情報と画素の深度情報とのマッピング関係または対応関係が異なる方法で得られる。
【００９７】
240．決定された深度情報に従って対応する生データを決定する。
【００９８】
焦点変更を必要とする深度面は決定された深度情報に従って決定することができ、したがって、焦点変更を必要とするそれら深度面に対応する生データを決定することができる。
【００９９】
250．決定された生データに基づいて、異なる深度面（または平面）の焦点変更画像を生成するためにリフォーカシング操作を行う。
【０１００】
異なる深度面の焦点変更画像を生成するための方法は、畳み込みアルゴリズム、逆畳み込みアルゴリズム、融合アルゴリズム、スプライシングアルゴリズム、光線トレースアルゴリズム、フィルタリングアルゴリズム、単一深度面のリフォーカシングアルゴリズム、または前述のアルゴリズムの任意の組み合わせを含む。異なるリフォーカシングアルゴリズムに従って、異なる深度面の焦点変更画像が生成される前に、画素の合焦度、錯乱円の半径、点広がり関数、勾配、強度差、または構造テンソル、またはそれらの任意の組み合わせを取得することができる。画素の合焦度、錯乱円の半径、点広がり関数、勾配、強度差、および構造テンソルは、畳み込み、逆畳み込み、フーリエ変換、逆フーリエ変換、補間、もしくは導出、もしくはそれらの任意の組み合わせによって計算することもでき、または、機械学習、統計、理論エミュレーションといった方法を用いて得ることもできる。
【０１０１】
本発明の本実施形態では、異なる深度面の焦点変更画像を、光照射野再構築、3次元再構築、合成開口といった技術を用いて得ることができる。リフォーカシング操作の具体例に関する詳細については、図6の実施形態を参照されたい。
【０１０２】
操作を減らすために、ユーザ入力が受け取られたときに、ユーザ入力に従って選択された複数の深度面に対応する焦点変更画像のみが生成される。本発明の本実施形態はそれだけに限定されず、例えば、すべての深度面の焦点変更画像を事前生成することができ、次いで、ユーザ入力が受け取られたときに、ユーザ入力に従って選択された複数の深度面の焦点変更画像をこれらの焦点変更画像の中から直接選択することもできる。
【０１０３】
260．複数の深度面の焦点変更画像を得るように、複数の焦点変更画像を組み合わせる。
【０１０４】
本発明の本実施形態では、画像融合法を用いて複数の焦点変更画像を組み合わせることができる。画像融合法では、重みベースの融合を用いることができる。本発明の本実施形態では、異なる深度面の焦点変更画像が融合される前に融合重みを計算することができる。計算を減らすために、選択された複数の深度面に対応する焦点変更画像だけが融合される。融合重みに関する情報を焦点変更画像と同じファイルに記憶することもでき、または、融合重みテンプレートもしくはクエリテーブルを別に形成し、別のファイルに分けて記憶することもできる。
【０１０５】
あるいは、本発明の本実施形態では、画像スプライシング法を用いて複数の焦点変更画像を組み合わせることもできる。
【０１０６】
270．複数の深度面の生成された焦点変更画像を表示する。
【０１０７】
例えば、異なる深度面の焦点変更画像を生成した後で、カメラは複数の深度面の生成された焦点変更画像をユーザインターフェース上で直ちに表示することができる。加えて、複数の深度面の生成された焦点変更画像が表示されるときに、複数の深度面の焦点変更画像が完全に生成される前に、元の画像および／または、異なる深度面のものであり、中間状態で生成された焦点変更画像を表示することもできる。例えば、複数の画像を同じユーザインターフェース上に分割画面方式で表示することもできる。
【０１０８】
異なる深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像が合成によって得る前の任意のステップにおいて行うことができ、例えば、撮影プロセスにおいて行うこともでき、撮影プロセスが完了した後で直ちに行うこともでき、または、複数の深度面の焦点変更画像が合成によって得られる必要があるときに行うこともできる、これは本発明の本実施形態では限定されないことを理解すべきである。
【０１０９】
以下で、一例としてライト・フィールド・カメラを用いて異なる深度面の焦点変更画像をどのようにして生成すべきか説明する。図4は、本発明の一実施形態による二重平面表現法における2つの平面の概略図である。図5は、本発明の一実施形態による合成画像写真技術の原理の概略図である。図6は、本発明の一実施形態による合成画像写真技術の原理モデルの幾何関係の概略図である。
【０１１０】
ライト・フィールド・カメラは、マスタレンズとイメージセンサ（図示されていない）とを含み、マスタレンズとイメージセンサとの間にマイクロ・レンズ・アレイが配置されている。イメージセンサは各マイクロ・レンズ・アレイで形成された小画像を記録し、複数の小画像は画像アレイを構成する。ライト・フィールド・カメラは、記録された画像アレイを再構築して、ユーザに受け入れられうる一般的な画像形態にし、異なる深度面上で合焦を行った結果および異なる視点からシーンを見た結果を提示するように、対応する画像処理ソフトウェアをさらに備えることができる。撮影プロセスが完了した後で、ライト・フィールド・カメラは、ユーザの必要に応じて、ソフトウェアを用いて、ユーザによって選択された深度面上でリフォーカシングを行うことができる。画像の焦点深度は固定されない場合があり、ユーザの必要に応じて変更されうる。光線の強度情報を記録することに加えて、ライト・フィールド・カメラは光線の角度情報も記録する。光線の角度情報はシーンにおけるシーンの深度情報を含む。すなわち、ライト・フィールド・カメラはシーンに関する3次元情報（例えば3次元光照射野データ）を収集する。シーンに関する3次元情報を取得した後で、ライト・フィールド・カメラは、ユーザの必要に応じて、リフォーカシングアルゴリズムを用いて異なる深度面に別々の焦点を合わせることができる。ユーザがユーザインターフェース上に表示された画像内の（シーン内の深度面に対応する）領域を選択したときに、カメラはリフォーカシングアルゴリズムを用いて画像を処理し、最終的には選択された深度面に合焦する効果を示すことができる。ユーザがユーザインターフェース上に表示された画像内の複数の領域を選択したときに、カメラは、複数の深度面の焦点変更画像が生成される前に、生データに従って、複数の領域に対応する複数の深度面の焦点変更画像をまず生成し、次いで、焦点変更画像を融合し、またはつなぎ合わせて、複数の深度面の焦点変更画像を得ることができる。
【０１１１】
図4に示すように、二重平面表現法は光照射野を表すのに用いることができ、すなわち、光線Lの座標は、光線が2つの平行な平面u−vおよびs−tにあるときに形成される交点の座標である。例えば、ライト・フィールド・カメラによって収集された光照射野情報がL（u，v，s，t）を用いて表され、ライト・フィールド・カメラの合成光照射野の光照射野情報がL’（u’，v’，s’，t’）を用いて表される。ライト・フィールド・カメラによって収集された光照射野情報と合成光照射野の光照射野情報との関係が図5に示されている。
【０１１２】
合成画像面の放射照度画像の値は、
【０１１３】
【数１】
0006736471.tif 000002
【０１１４】
であり、式中、Dは合成画像面と合成開口との距離であり、Aは開口関数であり、例えば、開口内側の値は1であり、開口外側の値は0であり、θは合成画像面と光線（u’，v’，s’，t’）との間の入射角である。近軸近似の原理によれば、前述の式内のcos4θは無視することができ、1／D2が無視された後で、以下の式が得られる。
【０１１５】
【数２】
0006736471.tif 000003
【０１１６】
LとL’との関係が図6に示されており、フィールド情報L（u，v，s，t）は式（2）を表すのに用いることができる。合成画像写真技術の原理によれば、LとL’との関係は以下のように得ることができる。
【０１１７】
【数３】
0006736471.tif 000004
【０１１８】
【数４】
0006736471.tif 000005
【０１１９】
式中、αは、マスタレンズ面と合成画像面との距離の比例係数を表し、βは、合成開口面とマイクロレンズ面との距離の比例係数を表す。
【０１２０】
合成画像写真技術の式は式（4）および式（2）に従って得られる。
【０１２１】
【数５】
0006736471.tif 000006
【０１２２】
異なる深度面の焦点変更画像は、式（5）に従って画像を描くことによって得ることができる。
【０１２３】
図7は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図7の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。図7のステップ710からステップ740はそれぞれ図2のステップ210からステップ240と同様であり、ここでは詳細を省略する。
【０１２４】
710．ユーザインターフェース上で画像を表示する。
【０１２５】
720．ユーザインターフェース上でユーザ入力を取得する。
【０１２６】
730．ユーザ入力に従って対応する深度情報を決定する。
【０１２７】
740．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
【０１２８】
745．複数の焦点変更画像の画素の点広がり関数を決定する。
【０１２９】
750．画素の点広がり関数に従って融合重みテンプレートを生成する。
【０１３０】
760．融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行う。
【０１３１】
770．複数の深度面の生成された焦点変更画像を表示する。
【０１３２】
ステップ745の画素の点広がり関数を決定するステップは、画素の合焦度、錯乱円の半径、勾配、強度差、構造テンソル、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはそれらの任意の組み合わせを決定するステップで置き換えることができることを理解すべきである。すなわち、点広がり関数はこれらのパラメータで置き換えることができる。
【０１３３】
点広がり関数を決定するステップは、融合重みテンプレートが生成される前の任意のステップにおいて行うことができることを理解すべきである。
【０１３４】
図8は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図8の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。図8のステップ810からステップ840はそれぞれ図2のステップ210からステップ240と同様であり、ここでは詳細を省略する。
【０１３５】
810．ユーザインターフェース上で画像を表示する。
【０１３６】
820．ユーザインターフェース上でユーザ入力を取得する。
【０１３７】
830．ユーザ入力に従って対応する深度情報を決定する。
【０１３８】
840．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
【０１３９】
850．焦点変更画像の画素の合焦度に従って画素の融合重みを決定し、高合焦度の画素の融合重みは同じ焦点変更画像内の低合焦度の画素の融合重みより大きい。
【０１４０】
860．複数の深度面の融合重みに従って複数の焦点変更画像に対して画像融合を行う。
【０１４１】
870．複数の深度面の生成された焦点変更画像を表示する。
【０１４２】
図9は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図9の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。
【０１４３】
910．ユーザインターフェース上で画像を表示する。ステップ910は図2のステップ210と同様であり、ここでは詳細を述べない。
【０１４４】
920．ユーザインターフェース上でユーザ入力を取得する。ステップ920は図2のステップ220と同様であり、ここでは詳細を述べない。
【０１４５】
930．ユーザ入力に従って対応する深度情報を決定する。
【０１４６】
例えば、深度情報は深度面の深度または画素座標を含むことができ、深度面および画素座標は各ユーザ入力領域に対応する。画素座標は当該領域内の任意の画素の座標とすることができ、例えば、当該領域の中央点の座標とすることができる。
【０１４７】
940．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
【０１４８】
945．異なる深度面の焦点変更画像から合焦部分および非合焦部分を取り込み、それらの合焦部分および非合焦部分をそれぞれ合焦部分クエリテーブルおよび非合焦部分クエリテーブルに記憶する。
【０１４９】
あるいは、別の実施形態においては、すべての深度面の焦点変更画像を生データに従って（例えば、ユーザ入力が受け取られる前に）事前生成することができ、次いで、合焦部分および非合焦部分がすべての深度面の焦点変更画像から取り込まれ、合焦部分クエリテーブルおよび非合焦部分クエリテーブルにそれぞれ記憶され、または、すべての深度面のものである合焦部分および非合焦部分が生データに従って事前生成され、合焦部分および非合焦部分は合焦部分クエリテーブルおよび非合焦部分クエリテーブルにそれぞれ記憶される。その場合には、ステップ940およびステップ945を省略することができる。
【０１５０】
前述の合焦部分クエリテーブルには、深度面の深度または画素座標と合焦部分との対応関係が記憶される。前述の非合焦部分クエリテーブルには、深度面の深度または画素座標と非合焦部分との対応関係が記憶される。
【０１５１】
950．深度情報に従って、各ユーザ入力の深度面の深度または画素座標を決定し、深度面の深度または画素座標に従ってクエリテーブルに問い合わせることによって、ユーザ入力に対応する深度面のものである合焦部分および非合焦部分を得る。
【０１５２】
960．複数の深度面に対応する合焦部分と非合焦部分を組み合わせて複数の深度面の焦点変更画像にする。
【０１５３】
本発明の本実施形態では、複数の深度面に対応する合焦部分と非合焦部分とを、画像スプライシング法を用いて組み合わせて複数の深度面の焦点変更画像にすることができる。例えば、合焦領域および非合焦領域を画像から取り込むことができ、複数の深度面の焦点変更画像は前述の領域をつなぎ合わせることによって生成される。各合焦領域および各非合焦領域は少なくとも1つの画素を別個に含む。画像スプライシングプロセスは主に、前処理、位置合わせ、および融合という3つのステップを含む。前処理は、画像ノイズ除去、画像補正、および画像投影を含む。画像投影は、平面投影法、球体投影法、立方体投影法、または円筒投影法を用いて行うことができる。画像ノイズ除去は、近隣平均法、空間領域低域フィルタリング法、または空間領域非線形フィルタリング法を用いて行うことができる。画像補正は、グレースケール値偏差についての補正、または幾何変形についての補正とすることができる。例えば、グレースケール値偏差についての補正法は以下のとおりである。正規化画像グレースケール値は、
【０１５４】
【数６】
0006736471.tif 000007
【０１５５】
であり、式中、fは、基準画像のグレースケールを表し、μfは、基準画像の平均グレースケールを表し、σfは、基準画像の標準偏差を表し、gは、つなぎ合わされるべき画像のグレースケールを表し、μgは、つなぎ合わされるべき画像の平均グレースケールを表し、σgは、つなぎ合わされるべき画像の標準偏差を表す。画像位置合わせのための方法は、ブロック・マッチング・アルゴリズム、高速フーリエ変換に基づく画像位置合わせ法、フーリエ変換に基づく位相相関画像位置合わせ法、輪郭特徴に基づくアルゴリズム、コーナ検出アルゴリズム、スケール不変特徴量変換（Scale−invariant feature transform、SIFT）アルゴリズム、スピード・アップ・ロバスト特徴（Speeded Up Robust Features、SURF）アルゴリズム、オプティカルフローに基づく方法、またはSIFTフローに基づく方法とすることができる。つなぎ合わされるべき画像の対応する位置は位置合わせアルゴリズムを用いて決定することができ、画像間の変形関係が決定された後で再サンプリングが行われ、次いで、画像をつなぎ合わせることができる。画像変形モデルは、画像の変換、回転、変倍、反射、または、せん断またはそれらの任意の組み合わせとすることができる。
【０１５６】
970．複数の深度面の生成された焦点変更画像を表示する。ステップ970は図2のステップ270と同様であり、ここでは詳細を述べない。
【０１５７】
以上では本発明の実施形態による画像処理方法および画像処理プロセスを説明した。本発明の実施形態による画像処理装置を、図10および図11に関連して以下で説明する。
【０１５８】
図10は、本発明の一実施形態による画像処理装置1000の概略的構造図である。画像処理装置1000は、決定モジュール1010と生成モジュール1020とを含む。
【０１５９】
決定モジュール1010は、複数の深度面の深度情報を決定するように構成されており、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される。生成モジュール1020は、深度情報に従って複数の深度面の焦点変更画像を生成するように構成されており、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１６０】
本発明の本実施形態によれば、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、生成モジュール1020は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１６１】
生成モジュール1020は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
【０１６２】
本発明の本実施形態によれば、生成モジュール1020は、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
【０１６３】
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
【０１６４】
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を取り込み、合焦部分と非合焦部分とをつなぎ合わせる。
【０１６５】
本発明の本実施形態によれば、生成モジュール1020は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
【０１６６】
本発明の本実施形態によれば、生成モジュール1020は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する。生成モジュール1020は、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１６７】
本発明の本実施形態によれば、生成モジュール1020は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
【０１６８】
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
【０１６９】
任意選択で、別の実施形態において、画像処理装置1000は、記憶モジュール1030と、選択モジュール1040と、問い合わせモジュール1050と、をさらに含む。選択モジュール1040は、すべての焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するように構成されている。記憶モジュール1030は、深度面の深度または画素座標をインデックスとして用いて合焦部分および非合焦部分をクエリテーブルにそれぞれ記憶するように構成されている。問い合わせモジュール1050は、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせる。生成モジュール1020は、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせる。
【０１７０】
本発明の本実施形態によれば、生成モジュール1020は、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
【０１７１】
任意選択で、別の実施形態において、画像処理装置1000は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュール1070と、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュール1060と、をさらに含み、複数のユーザ入力は複数の深度面に対応する。表示モジュール1030は、複数の深度面の焦点変更画像を表示装置上で出力する。決定モジュール1010は、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
【０１７２】
本発明の本実施形態によれば、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
【０１７３】
任意選択で、本発明の別の実施形態において、決定モジュール1010は、既定の入力に従って、既定の入力に対応する複数の深度面を決定する。画像処理装置1000は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、表示モジュール1030、をさらに含む。
【０１７４】
画像処理装置1000の各ユニットの動作および機能については、図1の方法を参照することができる。反復を避けるために、ここでは詳細を述べない。
【０１７５】
図11は、本発明の別の実施形態による画像処理装置1100の概略的構造図である。画像処理装置1100は、プロセッサ1110と、メモリ1120と、通信バス1130と、を含む。
【０１７６】
通信バス1130を用いてメモリ1120に記憶されたコードを呼び出すことによって、プロセッサ1110は、複数の深度面の深度情報を決定するように構成されており、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成され、またプロセッサ1110は、深度情報に従って複数の深度面の焦点変更画像を生成するように構成されており、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１７７】
本発明の本実施形態によれば、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、プロセッサは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１７８】
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
【０１７９】
本発明の本実施形態によれば、プロセッサ1110は、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
【０１８０】
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
【０１８１】
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
【０１８２】
本発明の本実施形態によれば、プロセッサ1110は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
【０１８３】
本発明の本実施形態によれば、プロセッサ1110は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する。プロセッサ1110は、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
【０１８４】
本発明の本実施形態によれば、プロセッサ1110は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
【０１８５】
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
【０１８６】
本発明の本実施形態によれば、プロセッサ1110は、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
【０１８７】
任意選択で、別の実施形態において、画像処理装置1100は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、モニタ1140と、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、入力インターフェース1150と、をさらに含み、複数のユーザ入力は複数の深度面に対応する。モニタ1140は、複数の深度面の生成された焦点変更画像を出力する。プロセッサ1110は、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
【０１８８】
本発明の本実施形態によれば、ユーザ入力は、ユーザによるモニタ1140のタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
【０１８９】
任意選択で、別の実施形態において、プロセッサ1110は、既定の入力に従って、既定の入力に対応する複数の深度面を決定する。本方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、モニタ1140、をさらに含む。
【０１９０】
画像処理装置1100の各ユニットの動作および機能については、図1の方法を参照することができる。反復を避けるために、ここでは詳細を述べない。
【０１９１】
本明細書で開示される実施形態において記述される例と組み合わせて、各ユニットおよびアルゴリズムステップを電子ハードウェアによって、またはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現することができることを、当業者は理解するであろう。各機能が果たされるのがハードウェアによってか、それともソフトウェアによってかは、技術的解決策の個々の用途および設計上の制約条件に依存する。当業者は、様々な方法を使用して個々の用途ごとに記述された機能を実現することができるが、そうした実施態様は本発明の範囲を超えるものとみなすべきではない。
【０１９２】
説明を簡便にするために、前述のシステム、装置、およびユニットの詳細な作動プロセスについては、前述の方法実施形態における対応するプロセスを参照することができることを当業者は明確に理解することができ、ここでは詳細を述べない。
【０１９３】
本出願において提供されるいくつかの実施形態においては、開示のシステム、装置、および方法を他のやり方で実現することもできることを理解すべきである。例えば、説明された装置実施形態は単なる例示にすぎない。例えば、ユニット分割は単なる論理的機能分割にすぎず、実際の実装に際しては他の分割も可能である。例えば、複数のユニットまたはコンポーネントが組み合わされ、または統合されて別のシステムになる場合もあり、いくつかの特徴が無視され、または実行されない場合もある。加えて、表示された、または論じられた相互結合または直接結合または通信接続を、いくつかのインターフェースを使用して実現することもできる。装置間またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形態として実現することができる。
【０１９４】
別々の部品として記述されたユニットは物理的に分離している場合もそうでない場合もあり、ユニットとして表示された部品は、物理的ユニットである場合もそうでない場合もあり、一箇所に位置する場合もあり、複数のネットワークユニット上に分散される場合もある。ユニットの一部または全部を、各実施形態の解決策の目的を達成するための実際の必要に従って選択することもできる。
【０１９５】
加えて、本発明の各実施形態における機能ユニットが1つの処理ユニットへ統合される場合もあり、ユニットの各々が物理的に独立して存在する場合もあり、または2つ以上のユニットが1つのユニットへ統合される。
【０１９６】
各機能がソフトウェア機能ユニットの形態で実現され、独立した製品として販売され、または使用される場合に、それらの機能は、コンピュータ可読記憶媒体に記憶することができる。そうした理解に基づき、本発明の技術的解決策を本質的に、または先行技術に寄与する部分を、または技術的解決策の一部を、ソフトウェア製品の形態で実現することができる。ソフトウェア製品は記憶媒体に記憶され、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどとすることができる）コンピュータデバイスに、本発明の実施形態において記述されている方法のステップの全部または一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能ハードディスク、読取り専用メモリ（ROM、Read−Only Memory）、ランダム・アクセス・メモリ（RAM、Random Access Memory）、磁気ディスク、光ディスクといった、プログラムコードを記憶することができる任意の媒体を含む。
【０１９７】
以上の説明は、単に、本発明の具体的実施態様であるにすぎず、本発明の保護範囲を限定するためのものではない。本発明で開示される技術範囲内で当業者によって容易に考案されるいかなる変形も置換も、本発明の保護範囲内に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきものとする。
【符号の説明】
【０１９８】
1000  画像処理装置
1010  決定モジュール
1020  生成モジュール
1030  記憶モジュール
1040  選択取り込みモジュール
1050  問い合わせモジュール
1060  取得モジュール
1070  表示モジュール
1100  画像処理装置
1110  プロセッサ
1120  メモリ
1130  通信バス
1140  モニタ
1150  入力インターフェース
【図１】
0006736471.tif 000008
【図２】
0006736471.tif 000009
【図３】
0006736471.tif 000010
【図４】
0006736471.tif 000011
【図５】
0006736471.tif 000012
【図６】
0006736471.tif 000013
【図７】
0006736471.tif 000014
【図８】
0006736471.tif 000015
【図９】
0006736471.tif 000016
【図１０】
0006736471.tif 000017
【図１１】
0006736471.tif 000018