(57)【要約】本開示の実施例は、目標フィルタカーネルを決定するステップと、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得するステップと、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得するステップと、を含む画像処理方法を開示する。本開示の実施例の技術的手段は、短い時間で背景がぼかされ且つ玉ボケ効果を有する背景をぼかした画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
2022500792.tif 000002
【特許請求の範囲】
【請求項１】
目標フィルタカーネルを決定するステップと、
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得するステップと、
前記非背景領域と前記ぼかし背景領域を混合して背景をぼかした画像を取得するステップと、を含む画像処理方法。
【請求項２】
目標フィルタカーネルを決定する前記ステップは、
第１のテンプレート画像を取得するステップと、
前記第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得するステップと、
前記第２のテンプレート画像に対応する２次元配列を前記目標フィルタカーネルとするステップと、を含む請求項１に記載の画像処理方法。
【請求項３】
目標フィルタカーネルを決定する前記ステップの前に、
玉ボケ類型を含む選択コマンドを受信するステップを含み、
第１のテンプレート画像を取得する前記ステップは、前記選択コマンドの玉ボケ類型に基づいて前記第１のテンプレート画像を決定するステップを含む請求項２に記載の画像処理方法。
【請求項４】
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得する前記ステップは、
前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得するステップと、
前記被写界深度情報に基づいて前記ぼかし画像の背景領域と非背景領域、前記入力画像の背景領域と非背景領域を分割するステップと、
前記ぼかし画像の背景領域を前記ぼかし背景領域とするステップと、を含む請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得する前記ステップは、
所定の輝度変換方式に従って前記入力画像に対して輝度ストレッチ変換を行って第１の画像を取得するステップと、
前記目標フィルタカーネルに基づいて前記第１の画像に対してフィルタリング処理を行って第２の画像を取得するステップと、
前記所定の輝度変換方式に従って前記第２の画像に対して輝度ストレッチ逆変換を行って前記ぼかし画像を取得するステップと、を含む請求項４に記載の画像処理方法。
【請求項６】
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得する前記ステップは、
前記被写界深度情報に基づいて前記入力画像の背景領域と非背景領域を分割するステップと、
前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得するステップと、を含む請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項７】
前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得する前記ステップは、
所定の輝度変換方式に従って前記入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得するステップと、
前記目標フィルタカーネルに基づいて前記第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得するステップと、
前記所定の輝度変換方式に従って前記第２の背景領域に対して輝度ストレッチ逆変換を行って前記ぼかし背景領域を取得するステップと、を含む請求項６に記載の画像処理方法。
【請求項８】
目標フィルタカーネルを決定するように構成される決定部と、
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得するように構成される取得部と、
前記非背景領域と前記ぼかし背景領域を混合して背景をぼかした画像を取得するように構成される結像部と、を含む画像処理装置。
【請求項９】
前記決定部は、具体的には、第１のテンプレート画像を取得し、前記第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得し、前記第２のテンプレート画像に対応する２次元配列を前記目標フィルタカーネルとするように構成される請求項８に記載の画像処理装置。
【請求項１０】
玉ボケ類型を含む選択コマンドを受信するように構成される受信部を更に含み、
前記決定部により第１のテンプレート画像を取得するステップは、前記選択コマンドの玉ボケ類型に基づいて前記第１のテンプレート画像を決定するステップを含む請求項９に記載の画像処理装置。
【請求項１１】
前記取得部は、具体的には、前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得し、前記被写界深度情報に基づいて前記ぼかし画像の背景領域と非背景領域、前記入力画像の背景領域と非背景領域を分割し、前記ぼかし画像の背景領域を前記ぼかし背景領域とするように構成される請求項８〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記取得部は、具体的には、所定の輝度変換方式に従って前記入力画像に対して輝度ストレッチ変換を行って第１の画像を取得し、前記目標フィルタカーネルに基づいて前記第１の画像に対してフィルタリング処理を行って第２の画像を取得し、前記所定の輝度変換方式に従って前記第２の画像に対して輝度ストレッチ逆変換を行って前記ぼかし画像を取得するように構成される請求項１１に記載の画像処理装置。
【請求項１３】
前記取得部は、具体的には、前記被写界深度情報に基づいて前記入力画像の背景領域と非背景領域を分割し、前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得するように構成される請求項８〜１１のいずれか一項に記載の画像処理装置。
【請求項１４】
前記取得部は、具体的には、所定の輝度変換方式に従って前記入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得し、前記目標フィルタカーネルに基づいて前記第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得し、前記所定の輝度変換方式に従って前記第２の背景領域に対して輝度ストレッチ逆変換を行って前記ぼかし背景領域を取得するように構成される請求項１３に記載の画像処理装置。
【請求項１５】
プロセッサ、メモリ、及び通信バスを含み、
前記通信バスが、前記プロセッサと前記メモリとの接続通信を実現するように構成され
前記プロセッサが、前記メモリに記憶された画像処理プログラムを実行して、請求項１〜７のいずれか一項に記載の画像処理方法を実現するように構成される、
電子機器。
【請求項１６】
前記電子機器が、携帯電話又はタブレットコンピュータである、
請求項１５に記載の電子機器。
【請求項１７】
１つ又は複数のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行されて請求項１〜７のいずれか一項に記載の画像処理方法を実現可能であるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号が２０１８１１２７８９９７．１で、出願日が２０１８年１０月３０日で、出願の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、この中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本開示は、画像処理技術に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
電子技術の発展につれて、端末は、通信という単一の機能のみに限定されなくなっており、余暇活動、通信及び娯楽等の機能を一体に統合した機器になった。例えば、一般的な端末には、ユーザが写真を撮ったり、動画を撮ったりするという要求を満足するためのカメラを備えている。
【０００４】
現在、携帯電話、タブレットコンピュータ等の端末は、体積が制限されているので、関連光学素子が搭載不可能であって、端末において一般的にはソフトウェアアルゴリズムを用いて画像に対して後処理を行って背景ぼかし効果を取得するようになっている。現在、玉ボケ効果を奏する一般のソフトウェアアルゴリズムは、プロセスが複雑であり、多くの時間がかかり、ライブプレビューを図ることができない。
【発明の概要】
【０００５】
本開示の実施例では画像処理方法及び装置、電子機器並びに記憶媒体を提供することが望まれており、入力画像に対してフィルタリングをして分割処理を行い、取得されたぼかし背景領域と入力画像の非背景領域を混合することによって、短い時間で玉ボケ効果を有する背景をぼかした画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
【０００６】
本開示の実施例の技術的手段は以下のように実現される。
【０００７】
本開示の実施例は、
目標フィルタカーネルを決定するステップと、
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得するステップと、
前記非背景領域と前記ぼかし背景領域を混合して背景をぼかした画像を取得するステップと、を含む画像処理方法を提供する。上記態様では、目標フィルタカーネルを決定する前記ステップの前に、前記画像処理方法は、
第１のテンプレート画像を取得するステップと、
前記第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得するステップと、
前記第２のテンプレート画像に対応する２次元配列を前記目標フィルタカーネルとするステップと、を更に含む。
【０００８】
上記態様では、目標フィルタカーネルを決定する前記ステップの前に、
玉ボケ類型を含む選択コマンドを受信するステップを含み、
第１のテンプレート画像を取得する前記ステップは、前記選択コマンドの玉ボケ類型に基づいて前記第１のテンプレート画像を決定するステップを含む。
【０００９】
上記態様では、前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得する前記ステップは、
前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得するステップと、
前記被写界深度情報に基づいて前記ぼかし画像の背景領域と非背景領域、前記入力画像の背景領域と非背景領域を分割するステップと、
前記ぼかし画像の背景領域を前記ぼかし背景領域とするステップと、を含む。
【００１０】
上記態様では、前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得する前記ステップは、
所定の輝度変換方式に従って前記入力画像に対して輝度ストレッチ変換を行って第１の画像を取得するステップと、
前記目標フィルタカーネルに基づいて前記第１の画像に対してフィルタリング処理を行って第２の画像を取得するステップと、
前記所定の輝度変換方式に従って前記第２の画像に対して輝度ストレッチ逆変換を行って前記ぼかし画像を取得するステップと、を含む。
【００１１】
上記態様では、前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得する前記ステップは、
前記被写界深度情報に基づいて前記入力画像の背景領域と非背景領域を分割するステップと、
前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得するステップと、を含む。
【００１２】
上記態様では、前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得する前記ステップは、
所定の輝度変換方式に従って前記入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得するステップと、
前記目標フィルタカーネルに基づいて前記第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得するステップと、
前記所定の輝度変換方式に従って前記第２の背景領域に対して輝度ストレッチ逆変換を行って前記ぼかし背景領域を取得するステップと、を含む。
【００１３】
本開示の実施例は、
目標フィルタカーネルを決定するように構成される決定部と、
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得するように構成される取得部と、
前記非背景領域と前記ぼかし背景領域を混合して背景をぼかした画像を取得するように構成される結像部と、を含む画像処理装置を提供する。
【００１４】
上記画像処理装置において、前記決定部は、具体的には、第１のテンプレート画像を取得し、前記第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得し、前記第２のテンプレート画像に対応する２次元配列を前記目標フィルタカーネルとするように構成される。
【００１５】
上記画像処理装置において、玉ボケ類型を含む選択コマンドを受信するように構成される受信部を更に含み、
前記決定部により第１のテンプレート画像を取得するステップは、前記選択コマンドの玉ボケ類型に基づいて前記第１のテンプレート画像を決定するステップを含む。
【００１６】
上記画像処理装置において、前記取得部は、具体的には、前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得し、前記被写界深度情報に基づいて前記ぼかし画像の背景領域と非背景領域、前記入力画像の背景領域と非背景領域を分割し、前記ぼかし画像の背景領域を前記ぼかし背景領域とするように構成される。
【００１７】
上記画像処理装置において、前記取得部は、具体的には、所定の輝度変換方式に従って前記入力画像に対して輝度ストレッチ変換を行って第１の画像を取得し、前記目標フィルタカーネルに基づいて前記第１の画像に対してフィルタリング処理を行って第２の画像を取得し、前記所定の輝度変換方式に従って前記第２の画像に対して輝度ストレッチ逆変換を行って前記ぼかし画像を取得するように構成される。
【００１８】
上記画像処理装置において、前記取得部は、具体的には、前記被写界深度情報に基づいて前記入力画像の背景領域と非背景領域を分割し、前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得するように構成される。
【００１９】
上記画像処理装置において、前記取得部は、具体的には、所定の輝度変換方式に従って前記入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得し、前記目標フィルタカーネルに基づいて前記第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得し、前記所定の輝度変換方式に従って前記第２の背景領域に対して輝度ストレッチ逆変換を行って前記ぼかし背景領域を取得するように構成される。
【００２０】
本開示の実施例は、前記メモリに記憶された画像処理プログラムを実行して、上記画像処理方法を実現するように構成されるプロセッサと、
メモリと、
前記プロセッサと前記メモリとの接続通信を実現するように構成される通信バスと、を含む電子機器を提供する。
【００２１】
上記電子機器において、前記電子機器は携帯電話又はタブレットコンピュータである。
【００２２】
本開示は、１つ又は複数のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行されて上記画像処理方法を実現可能であるコンピュータ可読記憶媒体を提供する。
【００２３】
以上から分かるように、本開示の実施例の技術的手段では、画像処理装置は、目標フィルタカーネルを決定し、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得し、入力画像の非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得する。つまり、本開示の実施例の技術的手段では、入力画像に対してフィルタリングをして分割処理を行い、取得されたぼかし背景領域と非背景領域を混合することによって、短い時間で背景がぼかされ且つ玉ボケ効果を有する画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
【図面の簡単な説明】
【００２４】
【図１】本開示の実施例で提供される画像処理方法のフローを模式的に示す図である。
【図２】本開示の実施例で提供される目標フィルタカーネルを決定するフローを模式的に示す図である。
【図３（ａ）】本開示の実施例で提供される例示的な第１のテンプレート画像の模式図１である。
【図３（ｂ）】本開示の実施例で提供される例示的な第１のテンプレート画像の模式図２である。
【図４】本開示の実施例で提供される例示的な所定の輝度変換方式の変換を模式的に示す曲線である。
【図５（ａ）】本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図１である。
【図５（ｂ）】本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図２である。
【図５（ｃ）】本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図３である。
【図６】本開示の実施例で提供される画像処理装置の構成模式図である。
【図７】本開示の実施例で提供される電子機器の構成模式図である。
【発明を実施するための形態】
【００２５】
以下、本開示の実施例における図面を参照しながら、本開示の実施例における技術的手段を明瞭且つ全面的に説明する。
【００２６】
（実施例１）
本開示は、画像処理方法を提供する。図１は本開示により提供される画像処理方法のフローを模式的に示す図である。図１に示すように、主に以下のステップを含む。
【００２７】
Ｓ１０１において、目標フィルタカーネルを決定する。
【００２８】
本開示の実施例では、画像処理装置は、先に後続の入力画像の処理ステップを実行するための目標フィルタカーネルを決定してよい。
【００２９】
図２は本開示の実施例で提供される目標フィルタカーネルを決定するフローを模式的に示す図である。図２に示すように、画像処理装置により目標フィルタカーネルを決定する具体的なステップは以下のとおりである。
【００３０】
Ｓ２０１において、第１のテンプレート画像を取得する。
【００３１】
本開示の実施例では、画像処理装置は、第１のテンプレート画像を取得できる。ここで、第１のテンプレート画像は、目標フィルタカーネルに対応する原画像テンプレートである。
【００３２】
本開示の実施例では、画像処理装置は、目標フィルタカーネルを決定する前に、ユーザから送信される、玉ボケの形状と向きのような玉ボケ類型を含む選択コマンドを受信でき、画像は、選択コマンドの玉ボケ類型に基づいて他の記憶装置から、又は任意の方式で対応の第１のテンプレート画像を取得できることを説明する必要がある。具体的な選択コマンドと第１のテンプレート画像の取得方法は本開示の実施例で限定されない。
【００３３】
図３（ａ）は本開示の実施例で提供される例示的な第１のテンプレート画像の模式図１である。本開示の実施例では、目標フィルタカーネルが五芒星形フィルタカーネルであってよく、画像処理装置は五芒星形フィルタカーネルを決定するために、先に図３（ａ）に示すような第１のテンプレート画像を取得する必要がある。
【００３４】
図３（ｂ）は本開示の実施例で提供される例示的な第１のテンプレート画像の模式図２である。本開示の実施例では、目標フィルタカーネルがハート型フィルタカーネルであってよく、画像処理装置はハート型フィルタカーネルを決定するために、先に図３（ｂ）に示すような第１のテンプレート画像を取得する必要がある。
【００３５】
Ｓ２０２において、第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得する。
【００３６】
本開示の実施例では、画像処理装置は第１のテンプレート画像を取得した後、第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得することができる。
【００３７】
本開示の実施例では、画像処理装置には、生成するフィルタカーネルの具体的な大きさを限定するための所定のフィルタカーネルの大きさが記憶されていることを説明する必要がある。具体的な所定のフィルタカーネルの大きさは本開示の実施例で限定されない。
【００３８】
一例として、本開示の実施例では、所定のフィルタカーネルの大きさが９×９であり、従って、画像処理装置は第１のテンプレート画像を取得した後、第１のテンプレート画像を９×９にスケーリングする。
【００３９】
本開示の実施例では、第１のテンプレート画像が大き過ぎたり、小さ過ぎることがあるので、更に適切なフィルタカーネルを生成できるように、画像処理装置は第１のテンプレート画像を実際に要求される大きさにスケーリングし、即ち所定のフィルタカーネルの大きさにスケーリングする必要があることが理解可能である。
【００４０】
Ｓ２０３において、第２のテンプレート画像に対応する２次元配列を目標フィルタカーネルとする。
【００４１】
本開示の実施例では、画像処理装置は第２のテンプレート画像を取得した後、第２のテンプレート画像に対応する２次元配列を目標フィルタカーネルとする。
【００４２】
本開示の実施例では、第２のテンプレート画像に対応する２次元配列内の各数値は第２のテンプレート画像における対応領域の画素値を表すことを説明する必要がある。具体的な第２のテンプレート画像に対応する２次元配列は本開示の実施例で限定されない。
【００４３】
一例として、本開示の実施例では、目標フィルタカーネルが五芒星形フィルタカーネルであり、所定のフィルタカーネルの大きさが９×９であり、従って、画像処理装置により取得された第１のテンプレート画像が図３（ａ）に示すようになり、第１のテンプレート画像を９×９の大きさにスケーリングして第２のテンプレート画像を取得した後、第２のテンプレート画像に対応する２次元配列を五芒星形フィルタカーネルとし、具体的な五芒星形フィルタカーネルは式（１）に示される。
【００４４】
【数１】
2022500792.tif 000003
【００４５】
一例として、本開示の実施例では、目標フィルタカーネルがハート型フィルタカーネルであり、所定のフィルタカーネルの大きさが９×９であり、従って、画像処理装置により取得された第１のテンプレート画像が図３（ｂ）に示すようになり、第１のテンプレート画像を９×９の大きさにスケーリングして第２のテンプレート画像を取得した後、第２のテンプレート画像に対応する２次元配列をハート型フィルタカーネルとし、具体的なハート型フィルタカーネルは式（２）に示される。
【００４６】
【数２】
2022500792.tif 000004
【００４７】
本開示の実施例では、画像処理装置により決定される目標フィルタカーネルは円形フィルタカーネル、即ち円形の玉ボケ効果を有するフィルタカーネルであってよく、円形が規則的な図形であるので、ステップＳ２０１〜Ｓ２０３によって円形フィルタカーネルを生成できるだけでなく、従来技術における円形フィルタカーネルに関連する数式を直接利用できることが理解可能である。五芒星形フィルタカーネルとハート型フィルタカーネル等の不規則的な形状の玉ボケ効果が要求されるフィルタカーネルについては、大量の計算により数式を用いることによって表現できるが、複雑であるので、上記ステップＳ２０１〜Ｓ２０３で提供されたテンプレート変換による手法で対応のフィルタカーネルを決定できる。具体的な目標フィルタカーネルの決定方式は本開示の実施例で限定されない。
【００４８】
従来技術では、一眼レフカメラを用いて背景がぼかされた画像を取得する時に、一般的には画像に円形玉ボケ効果が存在し、画像の表示上の美感が向上しており、本開示の実施例では、画像処理装置は画像に円形玉ボケ効果を生成させる円形フィルタカーネルを提供できるだけでなく、更に他の様々な形状のフィルタカーネル、例えば、ハート型フィルタカーネル、五芒星形フィルタカーネル等を提供でき、画像にハート型玉ボケ又は五芒星形玉ボケが生成可能になることが理解可能である。
【００４９】
Ｓ１０２において、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得する。
【００５０】
本開示の実施例では、画像処理装置は目標フィルタカーネルを決定した後、更に入力画像に対応する被写界深度情報を取得でき、それにより目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得する。
【００５１】
本開示の実施例では、入力画像が画像処理装置の現在プレビュー画面に表示されている画像であり、即ち画像処理装置により撮影する時に画角範囲内に入った画像であることを説明する必要がある。具体的な入力画像は本開示の実施例で限定されない。
【００５２】
本開示の実施例では、画像処理装置は入力画像を取得する時に、入力画像に対応する被写界深度情報を同時に取得できることを説明する必要がある。ここで、入力画像に対応する被写界深度情報は入力画像における異なる物体の遠近を表すことができる。具体的な入力画像に対応する被写界深度情報は本開示の実施例で限定されない。
【００５３】
本開示の実施例では、画像処理装置において目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得するステップは、目標フィルタカーネルに基づいて入力画像に対してフィルタリング処理を行ってぼかし画像を取得するステップと、被写界深度情報に基づいてぼかし画像の背景領域と非背景領域、入力画像の背景領域と非背景領域を分割するステップと、ぼかし画像の背景領域をぼかし背景領域とするステップと、を含む。
【００５４】
本開示の実施例では、目標フィルタカーネルが円形フィルタカーネル、ハート型フィルタカーネル又は五芒星形フィルタカーネルであってよいので、画像処理装置においてこれらの目標フィルタカーネルに基づいて入力画像を処理して取得されるぼかし画像が対応の玉ボケ形状を有するものであることを説明する必要がある。
【００５５】
具体的には、本開示の実施例では、玉ボケ効果がより望ましいぼかし画像を取得するために、画像処理装置において目標フィルタカーネルに基づいて入力画像に対してフィルタリング処理を行ってぼかし画像を取得するステップは、所定の輝度変換方式に従って入力画像に対して輝度ストレッチ変換を行って第１の画像を取得するステップと、目標フィルタカーネルに基づいて第１の画像に対してフィルタリング処理を行って第２の画像を取得するステップと、所定の輝度変換方式に従って第２の画像に対して輝度ストレッチ逆変換を行ってぼかし画像を取得するステップと、を含む。
【００５６】
本開示の実施例では、画像処理装置には、入力画像に対して輝度ストレッチ変換を行い第２の画像に対して輝度ストレッチ逆変換を行うための所定の輝度変換方式が記憶されていることを説明する必要があり、具体的な所定の輝度変換方式は本開示の実施例で限定されない。
【００５７】
本開示の実施例では、画像処理装置において入力画像に対して先に輝度ストレッチ変化を行って第１の画像を取得することで、第１の画像からフィルタリング処理時に玉ボケを増加した領域を高速に確定できることが理解可能である。画像処理装置による第２の画像のストレッチ逆変換は、実際には第２の画像の輝度を正常な表示範囲内に回復して、輝度が正常な表示範囲内にあるぼかし画像を取得することである。
【００５８】
一例として、本開示の実施例では、所定の輝度変換方式は式（３）に示される。
【００５９】
【数３】
2022500792.tif 000005
【００６０】
ただし、画像処理装置において式（１）に従って入力画像に対して輝度ストレッチ変換を行って第１の画像を取得する時に、ｘが入力画像における画素点の輝度値であり、ｙが第１の画像における画素点の輝度値であり、式（３）に従って第２の画像に対して輝度ストレッチ逆変換を行ってぼかし画像を取得する時に、ｙが第２の画像における画素点の輝度値であり、ｘがぼかし画像における画素点の輝度値である。
【００６１】
図４は本開示の実施例で提供される例示的な所定の輝度変換方式の変換を模式的に示す曲線である。図４に示すように、式（３）に示す所定の輝度変換方式については、画像処理装置において式（３）に示す所定の輝度変換方式に従って入力画像に対して輝度ストレッチ変換を行う時に、入力画像では、輝度値が１２８以下である画素点の、第１の画像での対応輝度値が変わらなく、輝度値が１２８より大きい画素点の、第１の画像での対応輝度値が指数関数的に増大し、即ち変換を模式的に示す曲線はｘが１２８以下である時に、ｙが小さく、ｘが１２８より大きい時に、ｙが速やかに増大する。
【００６２】
本開示の実施例では、目標フィルタカーネルが玉ボケ効果を有することが可能であるので、画像処理装置において第１の画像を取得した後、目標フィルタカーネルを用いて第１の画像に対してフィルタリング処理を行って取得された第２の画像は玉ボケ効果を有し、即ち、第２の画像は目標フィルタカーネルに対応する玉ボケ形状を有することが理解可能である。更に、画像処理装置において所定の輝度変換方式に従って第２の画像に対して輝度ストレッチ逆変換を行って取得されたぼかし画像も玉ボケ効果を有する。
【００６３】
一例として、本開示の実施例では、画像処理装置により決定された目標フィルタカーネルがハート型フィルタカーネルであり、ハート型フィルタカーネルがハート型玉ボケ効果を有する。画像処理装置は式（３）に示す輝度変換方式により入力図形に対して輝度ストレッチ変化を行って第１の画像を取得した後、ハート型フィルタカーネルを用いて第１の画像に対してフィルタリング処理を行って第２の画像を取得し、最後に、再度式（３）に示す輝度変換方式により第２の画像に対して輝度ストレッチ逆変換を行ってぼかし画像を取得する。ここで、第２の画像とぼかし画像はいずれもハート型玉ボケ効果を有する。
【００６４】
本開示の実施例では、画像処理装置により入力画像に対応する被写界深度情報を取得でき、ぼかし画像が入力画像に対してフィルタリングを行ってから取得された画像であるので、画像の焦点深度が変わらないため、ぼかし画像に対応する被写界深度情報は実際に入力画像に対応する被写界深度情報と同じものであることを説明する必要がある。画像処理装置は直接入力画像に対応する被写界深度情報に基づいてぼかし画像の背景領域と非背景領域、入力画像の背景領域と非背景領域を分割し、更にぼかし画像の背景領域をぼかし背景領域とすることができる。
【００６５】
本開示の実施例では、画像処理装置において目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得するステップは、被写界深度情報に基づいて入力画像の背景領域と非背景領域を分割するステップと、目標フィルタカーネルに基づいて入力画像の背景領域に対してフィルタリング処理を行ってぼかし背景領域を取得するステップと、を更に含んでよい。
【００６６】
具体的には、本開示の実施例では、画像処理装置において目標フィルタカーネルに基づいて入力画像の背景領域に対してフィルタリング処理を行ってぼかし背景領域を取得するステップは、所定の輝度変換方式に従って入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得するステップと、目標フィルタカーネルに基づいて第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得するステップと、所定の輝度変換方式に従って第２の背景領域に対して輝度ストレッチ逆変換を行ってぼかし背景領域を取得するステップと、を含む。
【００６７】
本開示の実施例では、画像処理装置において目標フィルタカーネルに基づいて入力画像の背景領域に対してフィルタリング処理を行うプロセスは入力画像に対して直接フィルタリング処理を行う上記プロセスと完全に同様であり、所定の輝度変換方式も上記式（３）に示すようになっていてもよく、単に処理対象が異なることが相違点であることを説明する必要があり、ここで詳細な説明は割愛する。
【００６８】
本開示の実施例では、画像処理装置による入力画像のフィルタリング・分割処理については、分割処理を実行してからフィルタリング処理を実行してもよく、フィルタリング処理を実行してから分割処理を実行してもよく、即ち、上記の２種のフィルタリング処理プロセスがあり、しかしながら、いずれにしても画像処理装置は非背景領域とぼかし背景領域を取得できることが理解可能である、具体的な実行形態は本発明の実施例で限定されない。
【００６９】
Ｓ１０３において、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得する。
【００７０】
本開示の実施例では、画像処理装置は入力画像の非背景領域とぼかし背景領域を取得した後、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得することができる。
【００７１】
本開示の実施例では、画像処理装置には、非背景領域と背景領域を混合するための所定の混合方式が記憶されていてよいことを説明する必要があり、具体的な所定の混合方式は本開示の実施例で限定されない。
【００７２】
本開示の実施例では、画像処理装置は、実際には入力画像の背景領域に対してぼかし処理を行い、且つぼかされた後のぼかし背景領域に玉ボケ効果を持たせることを目的とすることが理解可能である。入力画像にとって、その背景領域がぼかされていないが、ぼかし背景領域がぼかされて玉ボケ効果を有するようになったので、非背景領域とぼかし背景領域の両方を所定の混合方式で混合して取得された背景をぼかした画像は、入力画像の背景領域がぼかされ、前景に入力画像の鮮明度が保持され、ぼかされた後の背景領域に玉ボケ効果を有することを実現したものである。
【００７３】
一例として、本開示の実施例では、所定の混合方式はアルファブレンディング（Ａｌｐｈａ  Ｂｌｅｎｄｉｎｇ）であり、画像処理装置は入力画像の非背景領域とぼかし背景領域を取得した後、Ａｌｐｈａ  Ｂｌｅｎｄｉｎｇにより非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得することができる。
【００７４】
本開示の実施例では、Ａｌｐｈａ  Ｂｌｅｎｄｉｎｇは画像内の物体に透明感を発生し得る技術であり、非背景領域とぼかし背景領域をバランスよく融合することができることを説明する必要がある。具体的なＡｌｐｈａ  Ｂｌｅｎｄｉｎｇは従来技術であって、ここで詳細な説明は割愛する。
【００７５】
本開示の実施例では、玉ボケ効果を有するフィルタカーネル及び輝度ストレッチ変換、逆変換により玉ボケ効果をシミュレートし、且つ端末で加速処理を行うので、少ない時間がかかり、従って、画像処理装置は背景をぼかした画像を取得した後、背景をぼかした画像をライブプレビューで表示することができることを説明する必要がある。
【００７６】
図５（ａ）は本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図１である。図５（ａ）に示すように、背景をぼかした画像は背景領域が既にぼかされて円形玉ボケを有するようになっており、即ち、目標フィルタカーネルが円形フィルタカーネルである。
【００７７】
図５（ｂ）は本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図２である。図５（ｂ）に示すように、背景をぼかした画像は背景領域が既にぼかされてハート型玉ボケ効果を有するようになっており、即ち、目標フィルタカーネルがハート型フィルタカーネルである。
【００７８】
図５（ｃ）は本開示の実施例で提供される例示的な背景をぼかした画像のライブプレビュー表示の模式図３である。図５（ｃ）に示すように、背景をぼかした画像は背景領域が既にぼかされて五芒星形玉ボケ効果を有するようになっており、即ち、目標フィルタカーネルが五芒星形フィルタカーネルである。
【００７９】
本開示の実施例は、画像処理装置により目標フィルタカーネルを決定し、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得し、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得する画像処理方法を提供する。つまり、本開示の実施例の技術的手段では、入力画像に対してフィルタリングをして分割処理を行い、取得されたぼかし背景領域と非背景領域を混合することによって、短い時間で玉ボケ効果を有する背景をぼかした画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
【００８０】
（実施例２）
本開示の実施例は画像処理装置を提供する。図６は本開示の実施例で提供される画像処理装置の構成模式図であり、図６に示すように、前記画像処理装置は
目標フィルタカーネルを決定するように構成される決定部６０１と、
前記目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて前記入力画像に対してフィルタリングをして分割処理を行って、前記入力画像の非背景領域とぼかし背景領域を取得するように構成される取得部６０２と、
前記非背景領域と前記ぼかし背景領域を混合して背景をぼかした画像を取得するように構成される結像部６０３と、を含む。
【００８１】
選択可能に、前記決定部６０１は、具体的には、第１のテンプレート画像を取得し、前記第１のテンプレート画像を所定のフィルタカーネルの大きさにスケーリングして第２のテンプレート画像を取得し、前記第２のテンプレート画像に対応する２次元配列を前記目標フィルタカーネルとするように構成される。
【００８２】
選択可能に、前記画像処理装置は、玉ボケ類型を含む選択コマンドを受信するように構成される受信部６０４を更に含み、
前記決定部６０１により第１のテンプレート画像を取得するステップは、前記選択コマンドの玉ボケ類型に基づいて前記第１のテンプレート画像を決定するステップを含む。
【００８３】
選択可能に、前記取得部６０２は、具体的には、前記目標フィルタカーネルに基づいて前記入力画像に対してフィルタリング処理を行ってぼかし画像を取得し、前記被写界深度情報に基づいて前記ぼかし画像の背景領域と非背景領域、前記入力画像の背景領域と非背景領域を分割し、前記ぼかし画像の背景領域を前記ぼかし背景領域とするように構成される。
【００８４】
選択可能に、前記取得部６０２は、具体的には、所定の輝度変換方式に従って前記入力画像に対して輝度ストレッチ変換を行って第１の画像を取得し、前記目標フィルタカーネルに基づいて前記第１の画像に対してフィルタリング処理を行って第２の画像を取得し、前記所定の輝度変換方式に従って前記第２の画像に対して輝度ストレッチ逆変換を行って前記ぼかし画像を取得するように構成される。
【００８５】
選択可能に、前記取得部６０２は、具体的には、前記被写界深度情報に基づいて前記入力画像の背景領域と非背景領域を分割し、前記目標フィルタカーネルに基づいて前記入力画像の背景領域に対してフィルタリング処理を行って前記ぼかし背景領域を取得するように構成される。
【００８６】
選択可能に、前記取得部６０２は、具体的には、所定の輝度変換方式に従って前記入力画像の背景領域に対して輝度ストレッチ変換を行って第１の背景領域を取得し、前記目標フィルタカーネルに基づいて前記第１の背景領域に対してフィルタリング処理を行って第２の背景領域を取得し、前記所定の輝度変換方式に従って前記第２の背景領域に対して輝度ストレッチ逆変換を行って前記ぼかし背景領域を取得するように構成される。
【００８７】
本開示の実施例は、目標フィルタカーネルを決定し、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得し、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得する画像処理装置を提供する。つまり、本開示の実施例で提供される画像処理装置は、入力画像に対してフィルタリングをして分割処理を行い、取得されたぼかし背景領域と非背景領域を混合することによって、短い時間で玉ボケ効果を有する背景をぼかした画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
【００８８】
本開示の実施例は電子機器を提供する。図７は本開示の実施例で提供される電子機器の構成模式図であり、図７に示すように、前記電子機器は、
前記メモリ７０２に記憶された画像処理プログラムを実行して上記画像処理方法を実現するように構成されるプロセッサ７０１と、
メモリ７０２と、
前記プロセッサ７０１と前記メモリ７０２との接続通信を実現するように構成される通信バス７０３と、を含む。
【００８９】
選択可能に、前記電子機器は、携帯電話又はタブレットコンピュータである。
【００９０】
本開示の実施例では、上記画像処理装置における決定部６０１、取得部６０２、結像部６０３及び受信部６０４が実際に上記電子機器におけるプロセッサ７０１に対応することを説明する必要がある。上記画像処理装置における決定部６０１、取得部６０２、結像部６０３及び受信部６０４に実行されるステップが上記電子機器におけるプロセッサ７０１に実行されるステップと同様である。
【００９１】
本開示の実施例は、１つ又は複数のプログラムを記憶したコンピュータ可読記憶媒体であって、前記１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行されて上記画像処理方法を実現可能であるコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）であってもよく、又は、例えば、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ、ＨＤＤ）又はソリッドステートディスク（Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｄｒｉｖｅ、ＳＳＤ）のような非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）であってもよく、更に例えば、携帯電話、コンピュータ、タブレットデバイス、携帯情報端末など、上記メモリの１種又は任意の組合を含む様々な機器であってもよい。
【００９２】
当業者であれば、本開示の実施例が方法、システム又はコンピュータプログラム製品として提供されてよいことを理解すべきである。従って、本開示は、ハードウェア実施例、ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用してよい。また、本開示は、コンピュータに利用可能なプログラムコードを含む１つ又は複数のコンピュータに利用可能な記憶媒体（ディスクメモリや光学的メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してよい。
【００９３】
本開示は本開示の実施例に係る方法、機器（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明している。なお、フローチャートおよび／またはブロック図におけるそれぞれのフローおよび／またはブロック、ならびにフローチャートおよび／またはブロック図におけるフローおよび／またはブロックの組み合わせはコンピュータプログラム命令によって実現できることを理解すべきである。これらのコンピュータプログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラマブル信号処理装置のプロセッサへ提供されてもよく、それにより、コンピュータまたは他のプログラマブル信号処理装置のプロセッサによって実行される命令は、フローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックにおいて指定された機能を実現する手段を創出する。
【００９４】
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブル信号処理装置を特定の方式で動作させるように指導可能なコンピュータ読み取り可能メモリに記憶されてもよく、それによって該コンピュータ読み取り可能メモリに記憶された命令は、フローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックにおいて指定された機能を実現する命令手段を含む製品を創出する。
【００９５】
これらのコンピュータプログラム命令はコンピュータまたは他のプログラマブルデータ処理装置にロードすることにより、コンピュータ実行処理を生成するように、コンピュータまたは他のプログラマブル装置において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータまたは他のプログラマブル装置において実行される命令はフローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックにおいて指定された機能を実現するためのステップを提供する。
【００９６】
以上は本開示の好ましい実施例に過ぎず、本開示の保護範囲を限定するものではない。
【産業上の利用可能性】
【００９７】
本開示の実施例の技術的手段では、目標フィルタカーネルを決定し、目標フィルタカーネルと入力画像に対応する被写界深度情報とに基づいて入力画像に対してフィルタリングをして分割処理を行って、入力画像の非背景領域とぼかし背景領域を取得し、非背景領域とぼかし背景領域を混合して背景をぼかした画像を取得する。つまり、本開示の実施例の技術的手段では、入力画像に対してフィルタリングをして分割処理を行い、取得されたぼかし背景領域と非背景領域を混合することによって、短い時間で玉ボケ効果を有する背景をぼかした画像を取得でき、それによりこの背景をぼかした画像のライブプレビュー表示を図り、撮影して得られる効果が見る効果と一致することを実現する。
【図１】
2022500792.tif 000006
【図２】
2022500792.tif 000007
【図３（ａ）】
2022500792.tif 000008
【図３（ｂ）】
2022500792.tif 000009
【図４】
2022500792.tif 000010
【図５（ａ）】
2022500792.tif 000011
【図５（ｂ）】
2022500792.tif 000012
【図５（ｃ）】
2022500792.tif 000013
【図６】
2022500792.tif 000014
【図７】
2022500792.tif 000015
【国際調査報告】
2022500792.tif 000016
2022500792.tif 000017
2022500792.tif 000018
2022500792.tif 000019