(57)【特許請求の範囲】
【請求項１】
画像処理装置が原始撮影画像及び前記原始撮影画像に対応する深度画像を取得する工程であって、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含む、工程と、
前記画像処理装置が前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶する工程と、
前記画像処理装置が前記画像ライブラリから関連付けて記憶された前記原始撮影画像と前記深度画像を読み出しする工程と、
前記画像処理装置がユーザ対話インターフェースによってユーザの指定したぼかしパラメータデータを取得し、前記ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程と、
前記画像処理装置が前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程と、を含む画像処理方法。
【請求項２】
前記ぼかしパラメータデータは、合焦データ及びぼかし強度データを含み、前記画像処理装置が前記ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程には、
前記画像処理装置が前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程と、
前記画像処理装置が前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得する工程と、を含む請求項１に記載の方法。
【請求項３】
前記画像処理装置が前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程には、
前記画像処理装置が前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定する工程であって、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さい、工程を含む請求項２に記載の方法。
【請求項４】
前記画像処理装置が前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程には、
前記画像処理装置が各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定する工程を含む請求項２に記載の方法。
【請求項５】
前記ぼかし程度データは、ぼかし半径データを含み、
前記画像処理装置が前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程には、
前記画像処理装置が前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する工程を含む請求項４に記載の方法。
【請求項６】
前記画像処理装置が、前記後処理結果画像を表示し、及び／又は、前記後処理結果画像を記憶する工程を更に含む請求項１〜５の何れか１項に記載の方法。
【請求項７】
前記画像処理装置が前記深度画像の指示する前記原始撮影画像における少なくとも１つの画素点の原始深度値に対して調整処理を行う工程の前に、
前記画像処理装置が、ユーザの指定した前記合焦データを取得し、及び／又は、ユーザの指定した前記ぼかし強度データを取得する工程を更に含む請求項２〜５の何れか１項に記載の方法。
【請求項８】
前記画像処理装置が前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶する工程には、前記画像処理装置が前記原始撮影画像と前記深度画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶し、或いは、前記原始撮影画像と前記深度画像を前記画像ライブラリの第１の合成画像ファイルに記憶する工程を含む請求項１に記載の方法。
【請求項９】
前記画像処理装置が前記原始撮影画像と前記深度画像を記憶する工程には、前記画像処理装置が前記原始撮影画像、前記深度画像及び原始撮影効果画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶する工程を含む請求項１に記載の方法。
【請求項１０】
前記画像処理装置が前記原始撮影画像と前記深度画像を記憶する工程には、前記画像処理装置が前記原始撮影画像、前記深度画像及び原始撮影効果画像を第２の合成画像ファイルに記憶する工程を含む請求項１に記載の方法。
【請求項１１】
前記画像処理装置が前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶する工程には、
前記画像処理装置が前記原始撮影画像及び前記深度画像を前記原始撮影効果画像の後に書き込む工程を含む請求項１０に記載の方法。
【請求項１２】
前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む請求項１０又は１１に記載の方法。
【請求項１３】
前記画像処理装置が画像表示コマンドに応答して、前記原始撮影効果画像の大きさによって前記第２の合成画像ファイルから前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示する工程を更に含む請求項１０〜１２の何れか１項に記載の方法。
【請求項１４】
原始撮影画像及び前記原始撮影画像に対応する深度画像を取得するように構成される画像取得モジュールであって、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含む、画像取得モジュールと、
前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶するように構成される記憶モジュールと、
前記画像ライブラリから関連付けて記憶された前記原始撮影画像と前記深度画像を読み出し、ユーザ対話インターフェースによってユーザの指定したぼかしパラメータデータを取得し、前記ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定し、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成される後処理モジュールと、を含む画像処理装置。
【請求項１５】
コンピュータプログラムコマンドが記憶されるコンピュータ読み取り可能記憶媒体であって、前記プログラムコマンドはプロセッサーにより実行される場合に請求項１〜１３の何れか１項に記載の画像処理方法を実現するコンピュータ読み取り可能記憶媒体。
【請求項１６】
コンピュータプログラムコマンドを含むコンピュータプログラムであって、前記プログラムコマンドはプロセッサーにより実行される場合に請求項１〜１３の何れか１項に記載の画像処理方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１７年１２月２０日に出願された、出願番号２０１７１１３８７９２７．５の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
【０００２】
本開示の実施形態は画像処理技術に関し、特に、画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器に関する。
【背景技術】
【０００３】
カメラ（携帯電話におけるカメラを含む）で写真を撮る過程で、カメラのパラメータ（例えば、合焦点）に対する調整は、写真の品質に大きい影響を与える可能性がある。しかしながら、写真を撮る場合、非専門的なユーザであれば、所望の撮影効果を達成するように、これらのパラメータをよく調整できないことは常にある。最近に現れた画像背景のぼかし技術により、ユーザが一眼レフカメラの大きい絞りのぼかし効果をまねる写真を撮影できるようになる。
【０００４】
しかしながら、多くの場合に、撮影する途中で画像背景のぼかし技術を使用しても、使用者の要求を満足できない。
【発明の概要】
【０００５】
本開示の実施形態は、画像処理技術を提供する。
【０００６】
本開示の実施形態の第１の態様によれば、
原始撮影画像及び前記原始撮影画像に対応する深度画像を取得する工程と、
前記原始撮影画像と前記深度画像を記憶する工程と、
記憶された前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程と、を含む画像処理方法を提供する。
【０００７】
具体的に、原始撮影画像及び前記原始撮影画像に対応する深度画像を取得して記憶し、メモリから記憶された前記原始撮影画像及び前記深度画像を抽出し、抽出された前記深度画像を利用して原始撮影画像に対してぼかし処理を行い、後処理結果画像を得る。
【０００８】
いくつかの例において、深度センサーを利用して原始撮影画像の対応する深度画像を取得する。
【０００９】
いくつかの例において、原始撮影画像を処理することで、原始撮影画像の対応する深度画像を得る。
【００１０】
いくつかの例において、原始撮影画像は、例えば、左側面図及び右側面図の２つの画像を含み、左側面図及び右側面図を処理することで、原始撮影画像の対応する深度画像を得る。
【００１１】
いくつかの例において、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含み、前記前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程には、
ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程と、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程と、を含む。
【００１２】
いくつかの例において、前記ぼかしパラメータデータは、合焦データ及びぼかし強度データを含み、前記ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程には、
前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程と、
前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得する工程と、を含む。
【００１３】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、
前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定し、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さい工程を含む。
【００１４】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、
各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定する工程を含む。
【００１５】
いくつかの例において、前記ぼかし程度データは、ぼかし半径データを含み、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する前記工程には、
前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する工程を含む。
【００１６】
いくつかの例において、前記後処理結果画像を表示し、及び／又は、前記後処理結果画像を記憶する工程を更に含む。
【００１７】
いくつかの例において、前記深度画像の指示する前記原始撮影画像における少なくとも１つの画素点の原始深度値に対して調整処理を行う工程の前に、ユーザの指定した前記合焦データを取得し、及び／又は、ユーザの指定した前記ぼかし強度データを取得する工程を更に含む。
【００１８】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶する工程を含む。
【００１９】
いくつかの例において、前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶する前記工程には、前記原始撮影画像と前記深度画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶し、或いは、前記原始撮影画像と前記深度画像を前記画像ライブラリの第１の合成画像ファイルに記憶する工程を含む。
【００２０】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像、前記深度画像及び原始撮影効果画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶する工程を含む。
【００２１】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶する工程を含む。
【００２２】
いくつかの例において、前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶する前記工程には、
前記原始撮影画像及び前記深度画像を前記原始撮影効果画像の後に書き込む工程を含む。
【００２３】
いくつかの例において、前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【００２４】
いくつかの例において、前記方法は、画像表示コマンドに応答して、前記原始撮影効果画像の大きさによって前記第２の合成画像ファイルから前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示する工程を更に含む。
【００２５】
本開示の実施形態に係る第２の態様によれば、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得する工程と、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程と、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程と、を含む画像処理方法を提供する。
【００２６】
いくつかの例において、前記ぼかしパラメータデータは合焦データ及びぼかし強度データを含み、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する前記工程には、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程と、前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得する工程と、を含む。
【００２７】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定し、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さい工程を含む。
【００２８】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定する工程を含む。
【００２９】
いくつかの例において、前記ぼかし程度データは、ぼかし半径データを含み、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する前記工程には、前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する工程を含む。
【００３０】
いくつかの例において、該画像処理方法は前記後処理結果画像を表示し、及び／又は、前記後処理結果画像を記憶する工程を更に含む。
【００３１】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程の前に、ユーザの指定した前記合焦データを取得し、及び／又は、ユーザの指定した前記ぼかし強度データを取得する工程を更に含む。
【００３２】
いくつかの例において、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得する前記工程には、記憶された原始撮影画像及び前記少なくとも１つの画素点の原始深度情報を含む対応する深度画像を取得する工程を含む。
【００３３】
いくつかの例において、前記原始撮影画像と前記深度画像は関連付けて画像ライブラリに記憶される。
【００３４】
いくつかの例において、前記原始撮影画像と前記深度画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶され、或いは、前記原始撮影画像と前記深度画像は前記画像ライブラリにおいて第１の合成画像ファイルに記憶される。
【００３５】
いくつかの例において、前記原始撮影画像、前記深度画像及び原始撮影効果画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶される。
【００３６】
いくつかの例において、前記原始撮影画像及び前記深度画像と前記原始撮影効果画像は第２の合成画像ファイルに記憶され、原始撮影画像及び対応する深度画像を取得する前記工程には、画像ライブラリから前記第２の合成画像ファイルを読み出して、また前記第２の合成画像ファイルからそれぞれ前記原始撮影画像及び前記深度画像を抽出する工程を含む。
【００３７】
いくつかの例において、前記原始撮影画像及び前記深度画像は前記原始撮影効果画像の後に書き込まれる。
【００３８】
いくつかの例において、前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【００３９】
いくつかの例において、前記方法は、画像表示コマンドに応答して、前記画像ライブラリから前記第２の合成画像ファイルを読み出して、前記原始撮影効果画像の大きさによって前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示する工程を更に含む。
【００４０】
本開示の実施形態に係る第３の態様によれば、原始撮影画像及び前記原始撮影画像に対応する深度画像を取得するように構成される原始深度画像取得モジュールと、前記原始撮影画像と前記深度画像を記憶するように構成される記憶モジュールと、前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成される後処理モジュールと、を含む画像処理装置を提供する。
【００４１】
いくつかの例において、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含み、前記後処理モジュールは、
ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定するように構成されるぼかし程度確定モジュールと、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成されるぼかし処理モジュールと、を含む。
【００４２】
本開示の実施形態に係る第４の態様によれば、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得するように構成される画像データ取得モジュールと、ぼかしパラメータデータ及び前記画像データ取得モジュールの取得した前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定するように構成されるぼかし程度確定モジュールと、前記ぼかし程度確定モジュールにより確定された少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成されるぼかし処理モジュールと、を含む画像処理装置を提供する。
【００４３】
本開示の実施形態に係る第５の態様によれば、プロセッサー、メモリ、通信素子及び通信バスを含む電子機器において、前記プロセッサー、前記メモリ及び前記通信素子が前記通信バスによって互いの通信を完成し、前記メモリが少なくとも１つの実行可能なコマンドを保存することに用いられ、前記実行可能なコマンドによって前記プロセッサーに何れの前記画像処理方法を実行させる電子機器を提供する。
【００４４】
本開示の実施形態に係る第６の態様によれば、コンピュータプログラムコマンドが記憶されるコンピュータ読み取り可能記憶媒体において、前記プログラムコマンドがプロセッサーにより実行される場合に何れの前記画像処理方法を実現するコンピュータ読み取り可能記憶媒体を提供する。
【００４５】
本開示の実施形態に係る第７の態様によれば、コンピュータプログラムコマンドを含むコンピュータプログラムにおいて、前記プログラムコマンドがプロセッサーにより実行される場合に何れの前記画像処理方法を実現するコンピュータプログラムを提供する。
【００４６】
本開示の実施形態に係る第８の態様によれば、コンピュータ読み取り可能コマンドを記憶するためのコンピュータプログラム製品において、前記コマンドが実行される場合にコンピュータに上記何れの可能な実現形態における前記の画像処理方法を実行させるコンピュータプログラム製品を提供する。
【００４７】
いくつかの例において、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体であり、別の選択的な実施形態において、前記コンピュータプログラム製品は、具体的に例えば、ＳＤＫ等のソフトウェア製品である。
【００４８】
上記実施形態によれば、先に撮影した原始撮影画像に対して、改めて確定されたぼかしパラメータ及び原始撮影画像の対応する深度情報に基づいて、原始撮影画像における少なくとも１つの画素点に対してぼかし程度データを取得してから、取得したぼかし程度データに基づいて、前記原始撮影画像における画素点に対してぼかし処理を行い、後処理結果画像を生成して、原始撮影画像に対する処理によって所望の効果を有する後処理結果画像を得ることができる。
【図面の簡単な説明】
【００４９】
【図１Ａ】本開示の実施形態に係る画像処理方法を示すフローチャートである。
【図１Ｂ】本開示の実施形態に係る画像処理方法を示すフローチャートである。
【図２】本開示の実施形態に係る画像処理方法を示すフローチャートである。
【図３】本開示の実施形態に係る画像処理方法を示すフローチャートである。
【図４】本開示の実施形態に係る合成画像の例示的な構造を示す。
【図５】本開示の実施形態に係る画像撮影方法を示すフローチャートである。
【図６】本開示の実施形態に係る画像撮影方法を示すフローチャートである。
【図７】本開示の実施形態に係る画像撮影方法の処理を示す模式図である。
【図８】本開示の実施形態に係る画像処理方法により取得された処理効果を示す模式図である。
【図９Ａ】本開示の実施形態に係る画像処理装置を示す論理ブロック図である。
【図９Ｂ】本開示の実施形態に係る画像処理装置を示す論理ブロック図である。
【図１０】本開示の実施形態に係る画像処理装置を示す論理ブロック図である。
【図１１】本開示の実施形態に係る電子機器を示す構造模式図である。
【発明を実施するための形態】
【００５０】
本開示において、「複数の」とは２つ以上であり、「少なくとも１つ」とは１つ、２つ以上である。本開示に言及される何れの部材、データ又は構造については、１つと明確に限定されない場合、１つ又は複数と理解してよい。以下、図面を参照しながら、本開示の実施形態の例示的実施形態を詳細に説明する。
【００５１】
図１Ａは、本開示の実施形態に係る画像処理方法を示すフローチャートである。該方法は、画像に対する後処理に用いられる。
【００５２】
図１Ａを参照すると、Ｓ１１０において、原始撮影画像及び原始撮影画像における少なくとも１つの画素点の原始深度情報を取得する。
【００５３】
ここで、原始撮影画像は、撮影装置によって撮影された原始画像であり、ここで、いくつかの例において、撮影装置は、特定の撮影設定によって撮影してよく、例えば、特定の合焦データ及び／又はぼかし絞りデータ等によって撮影して、該原始撮影画像を得てよい。撮影装置の撮影設定によって、同じ場面から撮影した複数の原始撮影画像は、異なる効果を有することがある。例えば、異なる撮影レンズ或いは異なる撮影パラメータ値（例えば、焦点距離、絞り、白露光等）を使用すれば、撮影した原始撮影画像は異なる効果を有する。
【００５４】
この少なくとも１つの画素点は、該原始撮影画像における１つ又は複数の画素点であってよく、例えば、該原始撮影画像における全ての画素点であってよく、或いは、該原始撮影画像における一部の画素点であってもよいが、これは限定されない。
【００５５】
１つ又は複数の例において、この少なくとも１つの画素点のうちの各々の画素点の原始深度値を取得してよく、ここで、ある画素点の原始深度値とは、該画素点の原始撮影画像での対応する深度値を指してよく、或いは、この少なくとも１つの画素点のうちの各々の画素点の原始深度値を指示するためのパラメータを取得してよく、或いは、原始撮影画像の対応する深度画像を取得してよく、ここで、該深度画像は該少なくとも１つの画素点のうちの各々の画素点の原始深度値を含んでよく、或いは、取得した該原始深度情報は、他の形態で体現されてもよいが、これは限定されない。
【００５６】
選択的な実施形態によれば、撮影して原始撮影画像を得る途中或いは原始撮影画像を得た後で、少なくとも１つの画素点の原始深度情報を更に得ることができる。１つ又は複数の選択的な一例において、撮像装置又はセンサーを使用して、少なくとも１つの画素点の原始深度情報を得ることができる。例えば、ｉｐｈｏｎｅ１０構造光、マイクロソフトのｋｉｎｅｃｔ、飛行時間ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ：ＴＯＦ）カメラ、ある赤外線カメラ又は赤外線センサー等を使用すると、何れも深度情報を取得し、及び／又は深度画像を生成することができる。或いは、デュアルカメラによって原始撮影写真の深度情報を取得してもよく、例えば、デュアルカメラのカメラパラメータに基づいて、入力された２枚の原始写真を補正して、２枚の原始写真における対応点の位置差異によって主要な写真における画素点の対応する深度情報を算出してもよいが、これに限定されない。
【００５７】
１つ又は複数の選択的な一例において、最初に原始撮影画像及びその対応する深度画像及び／又は少なくとも１つの画素点の原始深度情報を得た後で、該原始撮影画像及び原始深度情報及び／又は深度画像を記憶してよく、それに応じて、Ｓ１１０において、記憶された原始撮影画像及び／又は原始深度情報を具体的に取得してよく、或いは、記憶された深度画像を取得して深度画像から該原始深度情報を取得してよいが、本実施形態はこれを限定しない。
【００５８】
１つ又は複数の選択的な一例において、Ｓ１１０において、予定の画像ライブラリから該原始撮影画像及び／又は少なくとも１つの画素点の原始深度情報を読み出してもよく、ユーザの指定した記憶位置から該原始撮影画像及び／又は少なくとも１つの画素点の原始深度情報を読み出してもよく、或いは、ユーザの提供した原始撮影画像及び／又は少なくとも１つの画素点の原始深度情報等を受信してもよいが、前記形態に限定されない。
【００５９】
Ｓ１２０において、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する。
【００６０】
ここで、ぼかしパラメータデータは、例えば、合焦データ、ぼかし絞り値、ぼかし強度データ等のような、原始撮影画像に対するぼかし処理に関連するパラメータデータを含んでよいが、それらに限定されない。１つ又は複数の選択的な一例において、ユーザ対話インターフェースによってユーザの指定したぼかしパラメータデータ（例えば、ユーザが画像表示インターフェースでクリックする合焦点又は合焦領域）を取得してもよく、予定の画像処理効果によって該ぼかしパラメータデータを確定してもよく、或いは、他の形態によってぼかしパラメータデータを確定してもよいが、ぼかしパラメータデータの確定形態は限定されない。
【００６１】
いくつかの例において、ぼかし程度データは、原始撮影画像における画素点に対してぼかし処理を行って達成しようとするぼかし程度を指示することができる。１つ又は複数の選択的な一例において、ぼかし程度データは、ぼかし半径又は直径等の経路長を含むが、それに限定されない。前記ぼかし経路長は、ぼかした後の画素点の錯乱円の半径又は直径等の情報を含んでよいが、それに限定されない。ぼかし程度データに含まれる具体的なパラメータタイプとしては、実際的に採用されるぼかし方法によって確定されてよく、ぼかし程度データの具体的な実現は限定されない。
【００６２】
１つ又は複数の選択的な一例において、確定されたぼかしパラメータデータに基づいて、原始深度情報の指示する少なくとも１つの画素点の原始深度値に対して調整処理を行い、この少なくとも１つの画素点の調整された深度値を得、またこの少なくとも１つの画素点の調整された深度値に基づいて、この少なくとも１つの画素点のぼかし程度データを確定してよい。
【００６３】
ここで、いくつかの例において、ある画素点の調整された深度値は、その原始深度値に等しく又は等しくなくてもよいが、これは限定されない。
【００６４】
いくつかの実施形態において、様々な形態によってこの少なくとも１つの画素点の原始深度値に対して調整処理を行ってよく、例えば、ぼかしモードによって、画素点の原始深度値に対して調整処理を行ってよいが、これは限定されない。
【００６５】
選択的な一例において、少なくとも１つの画素点における第１の画素点の調整された深度値を第１の画素点の原始深度値と合焦点の深度値との差値と設定し、また少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定してよく、ここで、第１の画素点の原始深度値が合焦点の深度値より大きく、第２の画素点の原始深度値が合焦点の深度値より小さい。
【００６６】
このように、深度値が合焦点の深度値よりも大きい画素点の深度値を該画素点の深度値と合焦点の深度値との差値に調整し、深度値が合焦点の深度値より小さい画素点の深度値を０に調整して、合焦点及び合焦点の前の領域を明瞭にし、合焦点の後の領域を合焦点から離れる次第にますます曇るようにすることができる。
【００６７】
別の選択的な一例において、画素点の調整された深度値を該画素点の原始深度値と合焦点の深度値との差の絶対値と設定してよい。このように、合焦点に対して明瞭に保持し、合焦点の前後の領域に対して曇り、合焦点から遠いほど、領域の曇る程度が高くなるようにすることができる。
【００６８】
いくつかの例において、上記の２つの例は、単に当業者に本開示の技術的形態をよりよく理解させるためのものであるが、他の形態によって画素点の深度値の調整を行ってもよいが、これは限定されない。
【００６９】
Ｓ１３０において、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する。
【００７０】
前記少なくとも１つの画素点に対してそれぞれ例えば、ぼかし半径、直径等の経路長のぼかし程度データを生成した後で、これらのぼかし程度データに基づいて原始撮影画像の相応する画素点に対して、例えば、ガウシアンぼかし処理、円形ぼかし処理等のぼかし処理を行い、所望のぼかし効果を有する後処理結果画像を生成してよい。その後、該後処理結果画像をユーザに示し、或いは例えば画像ライブラリに記憶してよい。
【００７１】
いくつかの実施形態において、例えば、円形ぼかし方法、ガウスぼかし方法又は平均化ぼかし方法等のような様々なぼかし方法によってぼかし処理を行ってよいが、これは限定されない。選択的な一例において、少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって原始撮影画像の少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。別の選択的な一例において、少なくとも１つの画素点のぼかし半径データに基づいて少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定して、平均化ぼかし方法によって原始撮影画像の少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。別の選択的な一例において、少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって原始撮影画像の少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。
【００７２】
いくつかの実施形態によると、撮影された画像（つまり原始撮影画像）に対して、所望のぼかし処理用のぼかしパラメータデータを改めて確定することで、該原始撮影画像に対してぼかし処理を行って、所望のぼかし処理効果を有する後処理結果画像を得る。このように、撮影の途中で撮影効果画像がユーザの要求に満足できないことが発生する場合に、例えば、撮影装置により自動的に算出した写真深度或いはパラメータにミスが発生して（例えば、誤って合焦点を前景の人物ではなく背景の人物に置く）、ぼかし結果が使用者の予期にかなわない等の場合に、いくつかの実施形態の提案によって後処理を行い、所望のぼかし効果を有する画像を得ることができる。また、いくつかの実施形態によると、異なるぼかしパラメータデータを定義することで、同一の原始撮影画像から処理して異なる画像効果を有する複数の後処理結果画像を取得してよい。
【００７３】
図８は、本開示の実施形態に係る画像処理方法により取得された処理効果を示す模式図である。ここで、画像８１０Ａは、撮影時にジャケットの襟の箇所を合焦領域として取得した効果画像である。画像８１０Ｂは、撮影が完成した後で、場面の遠端から選用する別の合焦領域で、Ｓ１１０〜Ｓ１３０の処理によって取得したぼかし効果画像である。同様に、画像８２０Ａは、撮影時に場面の遠端を合焦領域として処理して取得した効果画像である。画像８２０Ｂは、撮影が完成した後で、場面の近端から改めて選用する合焦領域で、Ｓ１１０〜Ｓ１３０の処理によって取得したぼかし効果画像である。これにより、本開示の実施形態に係る画像処理方法は、画像の撮影を完成した後で、原始撮影画像に対してぼかし効果を行うことで画像ぼかし処理を行い、異なる画像効果を有する後処理結果画像を取得することができることが判明される。
【００７４】
前記実施形態により提供される画像処理方法によれば、先に撮影した画像（原始撮影画像）に対して、改めて確定されたぼかしパラメータ及び原始撮影画像の対応する深度情報に基づいて、原始撮影画像における少なくとも１つの画素点に対してぼかし程度データを取得してから、取得したぼかし程度データに基づいて、前記原始撮影画像における画素点に対してぼかし処理を行い、後処理結果画像を生成して、原始撮影画像に対する処理によって所望の効果を有する後処理結果画像を得ることができる。また、繰り返して前記方法によって異なるぼかし効果を有する後処理結果画像を生成することができる。
【００７５】
図１Ｂは、本開示の実施形態に係る画像処理方法を示すフローチャートである。該方法は、画像に対する後処理に用いられる。図１Ｂを参照すると、該方法は、
原始撮影画像及び前記原始撮影画像に対応する深度画像を取得する工程Ｓ１０１と、
前記原始撮影画像と前記深度画像を記憶する工程Ｓ１０２と、
前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程Ｓ１０３と、を含む。
【００７６】
いくつかの例において、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含み、前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する前記工程には、
ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する工程と、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する工程と、を含む。
【００７７】
いくつかの例において、前記ぼかしパラメータデータは、合焦データ及びぼかし強度データを含み、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定する前記工程には、
前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する工程と、
前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得する工程と、を含む。
【００７８】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、
前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定し、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さい工程を含む。
【００７９】
いくつかの例において、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前記工程には、
各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定する工程を含む。
【００８０】
いくつかの例において、前記ぼかし程度データは、ぼかし半径データを含み、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する前記工程には、
前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成し、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する工程を含む。
【００８１】
いくつかの例において、前記後処理結果画像を表示し、及び／又は、前記後処理結果画像を記憶する工程を更に含む。
【００８２】
いくつかの例において、前記深度画像の指示する前記原始撮影画像における少なくとも１つの画素点の原始深度値に対して調整処理を行う工程の前に、ユーザの指定した前記合焦データを取得し、及び／又は、ユーザの指定した前記ぼかし強度データを取得する工程を更に含む。
【００８３】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像及び前記深度画像を関連付けて画像ライブラリに記憶する工程を含む。
【００８４】
いくつかの例において、前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶する前記工程には、前記原始撮影画像と前記深度画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶し、或いは、前記原始撮影画像と前記深度画像を前記画像ライブラリの第１の合成画像ファイルに記憶する工程を含む。
【００８５】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像、前記深度画像及び原始撮影効果画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶する工程を含む。
【００８６】
いくつかの例において、前記原始撮影画像と前記深度画像を記憶する前記工程には、前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶する工程を含む。
【００８７】
いくつかの例において、前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶する前記工程には、
前記原始撮影画像及び前記深度画像を前記原始撮影効果画像の後に書き込む工程を含む。
【００８８】
いくつかの例において、前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【００８９】
いくつかの例において、前記方法は、画像表示コマンドに応答して、前記原始撮影効果画像の大きさによって前記第２の合成画像ファイルから前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示する工程を更に含む。
【００９０】
図２は、本開示の実施形態に係る画像処理方法を示すフローチャートである。例えば、ユーザに本開示の画像処理方法を実行するための交互作用項を提供し、ユーザがある撮影された画像（例えば、原始撮影画像）に対して例えばリフォーカス又はぼかし絞り値の定義の操作を実行しようとすることを検出すると、Ｓ２１０の処理を実行するようにトリガーしてよい。
【００９１】
図２を参照すると、Ｓ２１０において、記憶された原始撮影画像及び対応する深度画像を取得する。
【００９２】
本開示の全体的な公開構想によれば、撮影が完成した原始撮影画像に対して、予期のぼかしパラメータ及び対応する深度情報に基づいて少なくとも１つの画素点の調整処理を実行し、それに応じてぼかし効果処理を実行する。そのため、撮影を完成すると、一般的に、原始撮影画像及び対応する深度情報を合わせて記憶する必要がある。いくつかの例において、前記原始撮影画像と前記深度情報を含む深度画像は関連付けて画像ライブラリに記憶される。
【００９３】
実行可能な実施形態によれば、前記原始撮影画像及び前記深度画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶される。それに応じて、ユーザが画像ライブラリを調べる場合、原始撮影画像及び対応する深度画像が見える。
【００９４】
このような形態のメリットは、少なくとも、ユーザに画像操作の柔軟性を提供することを含む。専門家とするユーザは、その専門知識に基づいて、深度画像における算出ミスを補正し、或いは例えば、専門的なシステム又はソフトウェアによって算出して取得した深度画像を使用して撮影時に算出した深度画像を取り替えて、より優れた後処理ぼかし効果を取得することができる。
【００９５】
いくつかの例において、該原始撮影画像及び対応する深度画像を画像ライブラリにおける関連する２つの隠し画像ファイルとして記憶する。例えば、特定のファイル名付け接頭語又は接尾語で深度画像及び原始撮影画像を名付けて、これらのファイルがユーザに対して不可視であるが読み出されることができるようにする。
【００９６】
別の実行可能な実施形態によると、前記原始撮影画像と前記深度画像が前記画像ライブラリにおいて第１の合成画像ファイルに記憶される。それに応じて、ユーザが画像ライブラリを調べる場合、原始撮影画像及び深度画像を含む第１の合成画像ファイルが見える。原始撮影画像を単独して取り出しようとすれば、該第１の合成画像ファイルから原始撮影画像を切り取る必要がある。
【００９７】
Ｓ２２０において、前記合焦データに基づいて、前記深度画像に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された原始深度画像を取得する。
【００９８】
ここで、ぼかしパラメータデータは、前記合焦データ、ぼかし絞り値及び／又はぼかし強度データに加えて、例えば、一眼レフぼかしモード又は明瞭ぼかしモード等の、ぼかし処理形態を指示するためのぼかしモードデータを更に含む。
【００９９】
前記合焦データに基づいて、深度画像における各画素点の深度値を調整して、原始撮影画像用の調整された原始深度画像を生成することができる。例えば、深度値が合焦データに対応する深度値よりも大きい画素点の深度値をより大きい深度値に調整し、深度値が合焦データに対応する深度値より大きくない画素点の深度値をより小さい深度値に調整して、被写界深度効果を突出させることができる。
【０１００】
選択的な実施形態によれば、Ｓ２２０において、前記深度画像における第１の画素点の調整処理値を前記第１の画素点の深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記深度画像における第２の画素点の調整処理値を０と設定し、前記第１の画素点の深度値が前記合焦点の深度値より大きく、前記第２の画素点の深度値が前記合焦点の深度値より小さい。深度画像における画素（ｘ，ｙ）の深度値をＤ（ｘ，ｙ）と表し、合焦点の深度値をＤと表し、その調整処理値をＰ（ｘ，ｙ）と表す。前記調整処理方法によれば、Ｐ（ｘ，ｙ）＝ｍａｘ（Ｄ（ｘ，ｙ）−Ｄ，０）になる。
【０１０１】
つまり、合焦データに対応する合焦点に比べると、撮影点又は撮影平面を参照として、合焦点の後に位置する画素点の調整処理値を画素点の深度値と前記合焦点の深度値との差値と設定し、合焦点及びその前に位置する画素点の調整処理値を０と設定する。このような調整処理によって、ぼかし処理された後で、合焦点及び合焦点の前に位置する画像領域が明瞭になり、合焦点の後の画像領域については遠いほど曇るようになり、このような明瞭ぼかしモードが実現される。
【０１０２】
別の選択的な実施形態によれば、Ｓ２２０において、各々の画素点の調整処理値を前記画素点の深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定する。類似的に、深度画像における画素（ｘ，ｙ）の深度値をＤ（ｘ，ｙ）と表し、合焦点の深度値をＤと表し、その調整処理値をＰ（ｘ，ｙ）と表す。前記調整処理方法によれば、Ｐ（ｘ，ｙ）＝｜Ｄ（ｘ，ｙ）−Ｄ｜となる。
【０１０３】
つまり、合焦データに対応する合焦点に比べると、撮影点又は撮影平面を参照として、合焦点の前に位置する画素点及び合焦点の後に位置する画素点の調整処理値の何れも画素点の深度値と前記合焦点の深度値との差値の絶対値と設定し、合焦点に位置する画素点の調整処理値を０と設定する。このような調整処理によって、ぼかし処理された後で、合焦点の前及びその後に位置する画像領域の何れも曇るようになり、また合焦点から遠いほど曇るようになり、それにより一眼レフカメラの撮影効果をまねて、一眼レフぼかしモードを実現する。
【０１０４】
Ｓ２３０において、前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された原始深度画像に基づいて、前記各々の画素点のぼかし程度データを取得する。
【０１０５】
ここで、ぼかし強度データは予期のぼかし強度効果を表すパラメータデータであり、ぼかし強度が強いほど、画像に対するぼかしの全体的な程度が著しくなり、ぼかし強度が弱いほど、画像に対するぼかしの全体的な程度は著しくない。一般的に、ぼかし強度は、画像に対して全体的に設定されたパラメータであり、百分率で表す数値（例えば、０〜１００％）であってもよく、離散する力強さの準位値であってもよい。例えば、１、２、３、４、５を例として、その１が弱い力強さに対応し、５が強い力強さに対応する。
【０１０６】
該ぼかし強度データをデフォルトで設定してもよく、ぼかし処理設定インターフェースによってユーザの入力又は選択したぼかし強度データを取得してもよい。ぼかし強度データを前記少なくとも１つの画素点の調整された原始深度画像に適用して、各々の画素点のぼかし程度データを取得してよい。
【０１０７】
異なる形態によって原始撮影画像に対してぼかし処理を行うように、前記Ｓ１３０に対応するＳ２４０は、下記Ｓ２４０Ａ、Ｓ２４０Ｂ及びＳ２４０Ｃの何れの工程を含んでもよい。
【０１０８】
Ｓ２４０Ａにおいて、前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する。
【０１０９】
ガウスぼかしの画像ぼかし方法によれば、画素点の周辺画素の画素値を統計してから加重平均を行って画素点の画素値を調整することで、画像平滑効果を実現する。前記各々の画素点のぼかし程度データをガウスぼかし方法におけるガウスカーネル関数の幅関数として、各々の画素点に対するぼかしの縦方向の範囲を制御し、原始撮影画像の各々の画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。
【０１１０】
Ｓ２４０Ｂにおいて、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する。
【０１１１】
平均化ぼかし方法によってぼかし処理を実行する場合、各々の画素点のぼかし程度データ（例えば、ぼかし半径値）を、例えば、各々の画素点の各々の平均カーネル幅の半分、２／３等の予定の比例で確定し、各々の画素点に対して各々の平均カーネル幅の値を確定し、更に確定された平均カーネル幅の値に基づいて各々の画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。
【０１１２】
Ｓ２４０Ｃにおいて、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成する。
【０１１３】
同様に、円形ぼかし方法によってぼかし処理を実行する場合、各々の前記画素点のぼかし程度データをその対応する円半径値として確定し、各々の画素点に対してぼかし処理を行い、後処理結果画像を生成する。
【０１１４】
Ｓ２５０において、前記後処理結果画像を表示し、及び／或いは、前記後処理結果画像を記憶する。
【０１１５】
具体的に、後処理結果画像を表示して、ユーザに後処理結果画像のプレビュー効果を調べさせ、該後処理結果画像がその所望の効果を達成したかを確定させてよい。一方、直接該後処理結果画像を画像ライブラリ或いはユーザの指定した位置に記憶し、或いは、ユーザにより該後処理結果画像がその所望の効果を達成したと確認した後で、前記後処理結果画像を記憶してよい。
【０１１６】
前記実施形態により提供される画像処理方法によれば、画像ライブラリにおける撮影された原始撮影画像に対して、改めて確定された合焦データ、ぼかし強度データ及び原始撮影画像に対応する深度画像に基づいて、原始撮影画像における少なくとも１つの画素点に対してぼかし程度データを取得してから、取得したぼかし程度データに基づいて、異なるぼかし処理方法を使用して、前記原始撮影画像の画素点に対してぼかし処理を行って、異なるぼかし効果を有する後処理結果画像を生成することができ、それにより原始撮影画像に対する処理によって所望の効果を有する後処理結果画像を得ることができる。
【０１１７】
図３は、本開示の実施形態に係る画像処理方法を示すフローチャートである。
【０１１８】
原始撮影画像が撮影される場合、撮影設定（例えば、合焦点）及び撮影機器の撮影パラメータに基づいて、効果処理（例えば、ぼかし、美顔処理等）を行った画像、つまり、ユーザが撮影して保存するように選択した画像を撮影して得ることができる。ここで、撮影時に効果処理を行った画像を原始撮影効果画像という。
【０１１９】
該実施形態によれば、前記原始撮影画像、対応する深度画像及び原始撮影効果画像を関連付けて画像ライブラリに記憶する。類似的に、選択的な一実施形態によれば、前記原始撮影画像、対応する深度画像及び原始撮影効果画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶される。それに応じて、ユーザは、原始撮影画像、対応する深度画像及び原始撮影効果画像の何れも単独して調べることができる。
【０１２０】
別の選択的な実施形態によれば、前記原始撮影画像及び前記深度画像と前記原始撮影効果画像は第２の合成画像ファイルに記憶される。それに応じて、ユーザが画像ライブラリを調べる場合、原始撮影画像、深度画像及び原始撮影効果画像を含む第２の合成画像ファイルが見える。原始撮影画像深度画像及び原始撮影効果画像の何れを単独して取り出しようとすれば、該第２の合成画像ファイルから所望の画像を切り取る必要がある。
【０１２１】
必要に応じて、任意の順序で原始撮影画像、深度画像及び原始撮影効果画像を書き込んでよい。いくつかの例において、最初に書き込まれた原始撮影効果画像又は原始撮影画像を調べるように、前記原始撮影画像及び前記深度画像を前記原始撮影効果画像の後に書き込み、或いは、深度画像及び原始撮影効果画像を原始撮影画像の後に書き込む。図４は、本開示の実施形態に係る合成画像の例示的構造を示す。図４を参照すると、合成画像４００において、順次的に原始撮影効果画像４１０、深度画像４２０及び原始撮影画像４３０が書き込まれている。
【０１２２】
ユーザが原始撮影効果画像４１０を調べようとする場合、合成画像４００から原始撮影効果画像４１０の部分のみを読み出して、ユーザに表示してよい。このように、ユーザは、深度画像４２０及び原始撮影画像４３０の存在が分からない。
【０１２３】
第２の合成画像ファイルから原始撮影画像深度画像及び原始撮影効果画像の何れを単独して切り取ることができるように、第２の合成画像ファイルに各々の画像の位置及び／又は長さの情報を記録する必要がある。そのため、いくつかの例において、第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【０１２４】
以下、図３を参照して、実施形態の画像処理方法の処理を説明する。
【０１２５】
Ｓ３１０において、画像ライブラリから前記第２の合成画像ファイルを読み出し、また前記第２の合成画像ファイルからそれぞれ前記原始撮影画像及び前記深度画像を抽出する。
【０１２６】
例えば、ユーザの対話操作によって、画像ライブラリから第２の合成画像ファイルを読み出してから、第２の合成画像ファイルのヘッダーにおける前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報に基づいて、第２の合成画像ファイルからそれぞれ前記原始撮影画像及び前記深度画像を抽出してよい。
【０１２７】
Ｓ３２０において、ユーザの指定した合焦データを取得し、及び／或いは、ユーザの指定したぼかし強度データを取得する。
【０１２８】
該実施形態によれば、例えば、ユーザ対話インターフェース或いはプログラム対話によって該合焦データ及び／又はぼかし強度データを取得して、合焦データ及び／又はぼかし強度データを動態的に設定してよい。例えば、表示される前記原始撮影効果画像でユーザによりクリックする画像領域を合焦領域として確定してよい。更に、例えば、ぼかし強度を選択するための標尺交互作用項又はぼかし強度百分率を入力するための入力ボックスを設定して、該ぼかし強度データを取得してよい。
【０１２９】
Ｓ３３０において、前記合焦データに基づいて、前記深度画像に対して調整処理を行い、調整された原始深度画像を取得する。
【０１３０】
Ｓ３４０において、ぼかし強度データ及び前記調整された原始深度画像に基づいて、少なくとも１つの画素点のぼかし程度データを取得する。
【０１３１】
前記Ｓ２２０及びＳ２３０を参照してＳ３３０及びＳ３４０の処理を実行してよい。
【０１３２】
Ｓ３５０において、取得された少なくとも１つの画素点の各々のぼかし程度データに基づいて、前記原始撮影画像の画素点に対してぼかし処理を行い、後処理結果画像を生成する。
【０１３３】
前記Ｓ２４０Ａ、Ｓ２４０Ｂ又はＳ２４０Ｃを参照してＳ３５０の処理を実行してよい。
【０１３４】
Ｓ２４０又はＳ３５０によって後処理結果画像を取得した後で、更に、後処理結果画像に対して例えば、非線形写像処理等のより多くの効果処理を行ってもよい。
【０１３５】
該実施形態によれば、画像ライブラリに合わせて記憶される第２の合成画像ファイルから原始撮影画像及び深度画像を取得して、改めて確定された合焦データ及び／又はぼかし強度データを取得して、動態的に設定された合焦データ及び／又はぼかし強度データによって、原始撮影画像における少なくとも１つの画素点に対してぼかし程度データを取得してから、異なるぼかし処理方法を使用して、前記原始撮影画像の画素点に対してぼかし処理を行って、異なるぼかし効果を有する後処理結果画像を生成して、撮影時にぼかし処理の算出ミスによりぼかし効果が予期通りに達成できないという不足を補うことができる。
【０１３６】
図５は、本開示の実施形態に係る画像撮影方法を示すフローチャートである。
【０１３７】
図５を参照すると、Ｓ５１０において、撮影装置により捕らえられた同じ場面の少なくとも１つの原始撮影画像を取得する。
【０１３８】
例えば、マルチレンズモジュールによって同じ場面の複数の原始撮影画像を捕らえ、或いは、左眼画像及び右眼画像を撮影する単一カメラモジュールによって少なくとも１つの原始撮影画像を撮影してよい。
【０１３９】
Ｓ５２０において、前記少なくとも１つの原始撮影画像に基づいて対応する深度画像を生成し、或いは、撮影して対応する深度画像を得ることができる。
【０１４０】
好適に使用される如何なる深度算出方法或いは前もって訓練した神経回路網モデルによって少なくとも１つの原始撮影画像に対して対応する深度画像を生成してもよい。或いは、撮像装置又はセンサーを使用して、同じ位置及び同一の角度から、同じ場面を撮影して、少なくとも１つの画素点の深度画像を得ることができる。
【０１４１】
Ｓ５３０において、前記深度画像及び合焦データに基づいて、前記原始撮影画像に対してぼかし処理を行い、原始撮影効果画像を生成する。
【０１４２】
該合焦データは、例えば、黙認される合焦点或いは、例えば、ユーザがクリックする焦点領域であってよい。
【０１４３】
好適に使用される如何なる画像ぼかし処理方法によって、Ｓ５３０の処理を実行してよい。
【０１４４】
Ｓ５４０において、原始撮影効果画像、深度画像及び原始撮影画像を関連付けて記憶する。
【０１４５】
前記のように、本開示の選択的な実施形態によれば、原始撮影効果画像、原始撮影画像及び対応する深度画像は画像ライブラリにおける関連する画像ファイルに記憶される。本開示の別の選択的な実施形態によれば、原始撮影画像及び前記深度画像と前記原始撮影効果画像は第２の合成画像ファイルに記憶され、ここで、該第２の合成画像ファイルのヘッダーに原始撮影効果画像、深度画像及び原始撮影画像の位置及び／又は長さの情報が記録される。
【０１４６】
いくつかの例において、該第２の合成画像ファイルにおいて、前記原始撮影画像及び前記深度画像は前記原始撮影効果画像の後に書き込まれる。
【０１４７】
該実施形態によれば、撮影装置により捕らえられた同じ場面の少なくとも１つの原始撮影画像を取得し、該原始撮影画像に対応する深度画像を取得し、また原始撮影効果画像、深度画像及び原始撮影画像を関連付けて記憶する。これにより、前記実施形態における何れの画像処理方法の実行に対して補助的作用を果たす。
【０１４８】
図６は、本開示の実施形態に係る画像撮影方法を示すフローチャートである。
【０１４９】
図６を参照すると、Ｓ６１０において、デュアルカメラ機器により捕らえられた同じ場面の２つ原始撮影画像を取得する。
【０１５０】
Ｓ６２０において、前記２つの原始撮影画像に基づいて対応する深度画像を生成する。
【０１５１】
Ｓ６３０において、前記深度画像及び合焦データに基づいて、原始撮影画像の１つに対してぼかし処理を行い、撮影効果画像を生成する。
【０１５２】
Ｓ６４０において、前記原始撮影画像の１つ、深度画像及び撮影後処理結果画像を１つの合成画像として接合し、ここで、前記原始撮影画像及び前記深度画像を前記撮影効果画像の後に書き込む。
【０１５３】
Ｓ６５０において、前記合成画像を含む第２の合成画像ファイルを画像ライブラリに記憶する。
【０１５４】
これにより、該実施形態の画像撮影方法の処理を完成する。
【０１５５】
図７は、本開示の実施形態に係る画像撮影方法の例示的処理を示す。ここで、Ｓ６１０の処理によって、同じ場面の２つの原始撮影画像７１０を取得し、Ｓ６２０の処理によって、深度画像７２０を生成し、Ｓ６３０の処理によって、撮影効果画像７３０を生成し、Ｓ６４０の処理によって、合成画像７４０を取得し、その後、Ｓ６５０において、合成画像７４０を含む第２の合成画像ファイルを画像ライブラリに記憶する。
【０１５６】
これに基づいて、ユーザが画像ライブラリにおける画像を容易に調べるように、いくつかの例において、画像表示コマンドに応答して、前記画像ライブラリから前記第２の合成画像ファイルを読み出して、前記原始撮影効果画像の大きさによって前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示する。これにより、ユーザは、原始撮影効果画像のみを調べることができ、及び／或いは、例えば、合焦領域を改めて設定し、或いはぼかし強度、ぼかし絞り値等を改めて設定するように、表示される原始撮影効果画像に基づいて改めてぼかし効果設定を行ってから、前記何れの実施形態の処理によって、新しい後処理効果画像を取得することができる。
【０１５７】
カメラ（携帯電話におけるカメラを含む）で写真を撮る過程で、カメラのパラメータ（例えば、合焦点）に対する調整は、写真の品質に大きい影響を与える可能性がある。しかしながら、写真を撮る場合、非専門的なユーザであれば、所望の効果を達成するように、これらのパラメータをよく調整できないことは常にある。従って、携帯電話のデュアルカメラによって、写真深度を算出し、パラメータを自動的に調節して、写真背景をぼかし、主要な物体を突出させる技術が登場し、それにより一般のユーザでも、一眼レフカメラの大きい絞りのぼかし効果をまねる写真を簡単に撮れるようになり、その技術をぼかし技術と省略する。
【０１５８】
しかしながら、ぼかし技術は、依然として一般の使用者の要求を完全に満足することができない。一方では、得られた写真深度或いはパラメータを自動的に算出すれば、ミスが発生して（例えば、誤って合焦点を前景の人物ではなく背景の人物に置く）、ぼかし結果が使用者の予期にかなわないことがある。他方では、従来の技術では、撮影時の設定パラメータによってぼかし写真を１枚しか発生させることができないので、珍しい場面が、一時的ですぐ消えてしまい、再び出会いにくく、使用者が１回の撮影で様々なぼかし効果の写真を完成しようとすることも、無理である。本開示の提供する実施形態は、下記問題を解決する。１、ぼかし技術によって撮影する場合、写真が発生した後で、パラメータを調節することでぼかし効果を更に調整することができない。２、ぼかし技術によって撮影する場合、写真を１回撮るたびにぼかし効果の写真を１種類しか発生させない。
【０１５９】
下記実施形態において、本開示の実施形態は、下記ことで関連技術と異なっている。（１）下記実施形態では、デュアルカメラによって取得された原始撮影画像及び算出により取得した深度画像を記憶するが、関連技術では、原始撮影画像及び深度画像をぼかし技術によって処理した後で廃棄する。（２）下記実施形態では、ぼかし時に撮影時に記憶しておく原始撮影画像及び深度を使用するので、写真を撮る過程と完全に分離することができるが、関連技術では、写真を撮る同時にしかぼかし処理を行えない。（３）下記実施形態では、使用者の要求に応じて、１枚の原始撮影画像から複数枚の異なるぼかし効果の写真を発生させることができるが、関連技術では、１枚の原始撮影画像からぼかし効果を持つ１枚の写真しか発生させない。
【０１６０】
上記相違点によると、本開示の提供する実施形態によれば、写真を撮った後でもいつでも写真のぼかし効果を調整することができる。例えば、ぼかし強度を調整して背景を更に曇らせ、主体を更に突出させる。また、同じ原始撮影画像から複数枚の異なるぼかし効果の写真を発生させることができる。例えば、図７を参照すると、女の子が小犬を抱いている１枚の写真において、合焦点が女の子に置かれて小犬及び背景をぼかした画像を発生させ、女の子の無邪気な面容を強調してもよく、合焦点が小犬に置かれて女の子及び背景をぼかした画像を発生させ、小犬の毛が柔らかく滑らかである特徴を突出させてもよく、合焦点が小犬及び女の子に置かれて背景のみをぼかした画像を発生させ、女の子及び小犬が楽しく遊んでいる様子を示してもよい。
【０１６１】
図９Ａは、本開示の実施形態に係る画像処理装置を示す論理ブロック図である。図９Ａを参照すると、本開示の実施形態に係る画像処理装置は、原始撮影画像及び前記原始撮影画像に対応する深度画像を取得するように構成される画像取得モジュール９０１と、前記原始撮影画像と前記深度画像を記憶するように構成される記憶モジュール９０２と、記憶モジュール９０２に記憶された前記深度画像によって前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成される後処理モジュール９０３と、を含む。
【０１６２】
いくつかの例において、前記深度画像は、前記原始撮影画像における少なくとも１つの画素点の原始深度情報を含み、前記後処理モジュールは、
ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定するように構成されるぼかし程度確定モジュールと、
前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成されるぼかし処理モジュールと、を含む。
【０１６３】
いくつかの例において、前記ぼかしパラメータデータは、合焦データ及びぼかし強度データを含み、前記ぼかし程度確定モジュールは、
前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得するように構成される深度調整ユニットと、
前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得するように構成されるぼかし程度取得ユニットと、を含む。
【０１６４】
いくつかの例において、前記深度調整ユニットは、
前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定し、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さいように構成される第１の深度調整サブユニットを含む。
【０１６５】
いくつかの例において、前記深度調整ユニットは、
各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定するように構成される第２の深度調整サブユニットを含む。
【０１６６】
いくつかの例において、前記ぼかし程度データは、ぼかし半径データを含み、前記ぼかし処理モジュールは、前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第１のぼかし処理ユニット、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第２のぼかし処理ユニット、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第３のぼかし処理ユニットを含む。
【０１６７】
いくつかの例において、前記装置は、
前記後処理結果画像を表示するように構成される後処理結果画像表示モジュール、及び／又は、
前記後処理結果画像を記憶するように構成される後処理結果画像記憶モジュールを更に含む。
【０１６８】
いくつかの例において、前記深度調整ユニットは、前記合焦データに基づく前記少なくとも１つの画素点の原始深度値に対して調整処理を行う前に、前記少なくとも１つの画素点のそれぞれの調整された深度値を取得するように構成され、前記ぼかし程度確定モジュールは、ユーザの指定した前記合焦データを取得するように構成される合焦データ取得ユニット、及び／又は、ユーザの指定した前記ぼかし強度データを取得するように構成されるぼかし強度取得ユニットを更に含む。
【０１６９】
いくつかの例において、前記記憶モジュールは、前記原始撮影画像と前記深度画像を関連付けて画像ライブラリに記憶するように構成される。
【０１７０】
いくつかの例において、前記記憶モジュールは、前記原始撮影画像と前記深度画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶し、或いは、前記原始撮影画像と前記深度画像を前記画像ライブラリの第１の合成画像ファイルに記憶するように構成される。
【０１７１】
いくつかの例において、前記記憶モジュールは、前記原始撮影画像、前記深度画像及び原始撮影効果画像をそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶するように構成される。
【０１７２】
いくつかの例において、前記記憶モジュールは、前記原始撮影画像、前記深度画像及び前記原始撮影効果画像を第２の合成画像ファイルに記憶するように構成される。
【０１７３】
いくつかの例において、前記記憶モジュールは、前記原始撮影画像及び前記深度画像を前記原始撮影効果画像の後に書き込むように構成される。
【０１７４】
いくつかの例において、前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【０１７５】
いくつかの例において、前記原始撮影効果表示モジュールは、画像表示コマンドに応答して、前記原始撮影効果画像の大きさによって前記第２の合成画像ファイルから前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示するように構成される。
【０１７６】
図９Ｂは、本開示の実施形態に係る画像処理装置を示す論理ブロック図である。図９Ｂを参照すると、本開示の実施形態に係る画像処理装置は、画像データ取得モジュール９１０、ぼかし程度確定モジュール９２０、ぼかし処理モジュール９３０を含む。
【０１７７】
画像データ取得モジュール９１０は、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得するように構成される。
【０１７８】
ぼかし程度確定モジュール９２０は、ぼかしパラメータデータ及び画像データ取得モジュール９１０の取得した前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定するように構成される。
【０１７９】
ぼかし処理モジュール９３０は、ぼかし程度確定モジュール９２０の確定した少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するように構成される。
【０１８０】
これにより、ある場合に撮影された原始画像に対して、例えば、改めて確定された合焦データ又はぼかし絞り値に対応するぼかし効果を有する後処理結果画像を生成して、撮影時にぼかし処理の算出ミスによりぼかし効果が予期通りに達成できないという不足を補うことができる。また、繰り返して前記方法によって異なるぼかし効果を有する後処理結果画像を生成することができる。
【０１８１】
本実施形態の画像処理装置は、前記方法の実施形態における対応する画像処理方法を実現するように構成され、対応する方法の実施形態の有用な効果を有し、ここで詳しく説明しない。
【０１８２】
図１０は、本開示の実施形態に係る画像処理装置を示す論理ブロック図である。本開示の実施形態によれば、前記ぼかしパラメータデータは、合焦データ及びぼかし強度データ等を含んでよいが、それらに限定されない。
【０１８３】
それに応じて、ぼかし程度確定モジュール９２０は、前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得するように構成される深度調整ユニット９２０１と、前記ぼかし強度データ及び前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値に基づいて、前記各々の画素点のぼかし程度データを取得するように構成されるぼかし程度取得ユニット９２０３と、を含む。
【０１８４】
いくつかの選択的な実施形態において、深度調整ユニット９２０１は、前記少なくとも１つの画素点における第１の画素点の調整された深度値を前記第１の画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差値と設定し、また前記少なくとも１つの画素点における第２の画素点の調整された深度値を０と設定し、前記第１の画素点の原始深度値が前記合焦点の深度値より大きく、前記第２の画素点の原始深度値が前記合焦点の深度値より小さいように構成される第１の深度調整サブユニット（未図示）を含む。
【０１８５】
本開示の別の選択的な実施形態によれば、深度調整ユニット９２０１は、各々の画素点の調整された深度値を前記画素点の原始深度値と前記合焦データに対応する合焦点の深度値との差の絶対値と設定するように構成される第２の深度調整サブユニット（未図示）を含む。
【０１８６】
いくつかの例において、前記ぼかし程度データは、ぼかし半径データを含む。それに応じて、ぼかし処理モジュール９３０は、前記少なくとも１つの画素点のぼかし半径データをガウスカーネル関数のパラメータ値として、ガウスぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第１のぼかし処理ユニット９３０１、或いは、前記少なくとも１つの画素点のぼかし半径データに基づいて前記少なくとも１つの画素点のうちの各々の画素点の平均カーネル幅の値を確定し、平均化ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第２のぼかし処理ユニット９３０３、或いは、前記少なくとも１つの前記画素点のぼかし半径データを円半径値として、円形ぼかし方法によって前記原始撮影画像の前記少なくとも１つの画素点に対してぼかし処理を行い、後処理結果画像を生成するように構成される第３のぼかし処理ユニット９３０５を含む。
【０１８７】
いくつかの例において、該装置は、前記後処理結果画像を表示するように構成される後処理結果画像表示モジュール９４０、及び／又は、前記後処理結果画像を記憶するように構成される後処理結果画像記憶モジュール９５０を含む。
【０１８８】
いくつかの例において、深度調整ユニット９２０１が前記合焦データに基づいて、前記少なくとも１つの画素点の原始深度情報に対応する原始深度値に対して調整処理を行い、前記少なくとも１つの画素点のうちの各々の画素点の調整された深度値を取得する前に、ぼかし程度確定モジュール９２０は、ユーザの指定した前記合焦データを取得するように構成される合焦データ取得ユニット９２０５、及び／又は、ユーザの指定した前記ぼかし強度データを取得するように構成されるぼかし強度取得ユニット９２０７を含む。
【０１８９】
いくつかの例において、画像データ取得モジュール９１０は、記憶された原始撮影画像及び前記少なくとも１つの画素点の原始深度情報を含む対応する深度画像を取得するように構成される。
【０１９０】
本開示の選択的な実施形態によれば、前記原始撮影画像と前記深度画像は関連付けて画像ライブラリに記憶される。
【０１９１】
いくつかの例において、前記原始撮影画像と前記深度画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶され、或いは、前記原始撮影画像と前記深度画像は前記画像ライブラリにおいて第１の合成画像ファイルに記憶される。
【０１９２】
いくつかの例において、前記原始撮影画像、前記深度画像及び原始撮影効果画像はそれぞれ単独した画像ファイルとして関連付けて前記画像ライブラリに記憶される。
【０１９３】
本開示の別の選択的な実施形態によれば、前記原始撮影画像及び前記深度画像と前記原始撮影効果画像は第２の合成画像ファイルに記憶される。それに応じて、画像データ取得モジュール９１０は、画像ライブラリから前記第２の合成画像ファイルを読み出して、また前記第２の合成画像ファイルからそれぞれ前記原始撮影画像及び前記深度画像を抽出するように構成される。
【０１９４】
いくつかの例において、該原始撮影画像及び前記深度画像は前記原始撮影効果画像の後に書き込まれる。
【０１９５】
いくつかの例において、前記第２の合成画像ファイルのヘッダーは、前記原始撮影効果画像及び／又は前記原始撮影画像の長さ値を指示する情報を含む。
【０１９６】
いくつかの例において、前記装置は、画像表示コマンドに応答して、前記画像ライブラリから前記第２の合成画像ファイルを読み出して、前記原始撮影効果画像の大きさによって前記原始撮影効果画像を抽出し、また前記原始撮影効果画像を表示するように構成される原始撮影効果表示モジュール９６０を更に含む。
【０１９７】
本実施形態の画像処理装置は、前記方法の実施形態における対応する画像処理方法を実現するように構成され、対応する方法の実施形態の有用な効果を有し、ここで詳しく説明しない。
【０１９８】
本開示の実施形態は、コンピュータプログラムコマンドが記憶されるコンピュータ読み取り可能記憶媒体において、前記プログラムコマンドがプロセッサーにより実行される場合に前記実施形態に記載の画像処理方法の工程を実現するコンピュータ読み取り可能記憶媒体を提供し、対応する実施形態の有用な効果を有し、ここで詳しく説明しない。
【０１９９】
本開示の実施形態は、コンピュータプログラムコマンドを含むコンピュータプログラムにおいて、前記プログラムコマンドがプロセッサーにより実行される場合に前記実施形態に記載の画像処理方法の工程を実現するコンピュータプログラムを更に提供し、対応する実施形態の有用な効果を有し、ここで詳しく説明しない。
【０２００】
図１１は、本開示の実施形態に係る電子機器を示す構造模式図である。本開示の実施形態は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバ等であってよい電子機器を提供した。以下、本開示の実施形態の端末装置又はサーバを実現することに適する電子機器１１００の構造模式図を示す図１１を参照する。例えば、図１１に示すように、電子機器１１００は、例えば、１つ又は複数の中央処理装置（ＣＰＵ）１１０１及び／又は１つ又は複数の画像処理装置（ＧＰＵ）１１１３等であり、読み出し専用メモリ（ＲＯＭ）１１０２に記憶された実行可能コマンド又は記憶部１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされた実行可能コマンドに基づいて様々の適宜な動作及び処理を実行することができる１つ又は複数のプロセッサー、及び通信素子等を含む。通信素子は、通信アセンブリ１１１２及び通信インターフェース１１０９を含む。ここで、通信アセンブリ１１１２は、ネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、通信インターフェース１１０９は、例えば、ＬＡＮカード、モデム等のネットワークインターフェースカードの通信インターフェースを含み、通信インターフェース１１０９は、例えば、インターネットのネットワークによって通信処理を実行する。
【０２０１】
プロセッサーは読み出し専用メモリ１１０２及び／又はランダムアクセスメモリ１１０３と通信して実行可能コマンドを実行することができ、バス１１０４により通信アセンブリ１１１２に接続され、通信アセンブリ１１１２を介して他の目的機器と通信し、それにより本開示の実施形態で提供されるいずれか１つの方法に対応する操作を完成し、例えば、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得し、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定し、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成する。
【０２０２】
なお、ＲＡＭ１１０３には更に装置操作に必要な様々のプログラム及びデータが記憶されていてもよい。ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３はバス１１０４により相互に接続される。ＲＡＭ１１０３が存在する場合に、ＲＯＭ１１０２は選択可能なモジュールである。ＲＡＭ１１０３は、プロセッサー１１０１に上記通信方法に対応する操作を実行させる実行可能コマンドを記憶したり、動作する時にＲＯＭ１１０２に実行可能コマンドを読み込む。入力／出力（Ｉ／Ｏ）インターフェース１１０５をもバス１１０４に接続する。通信アセンブリ１１１２は集積設置されてもよく、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有し且つバスリンクにあるように設置されてもよい。
【０２０３】
Ｉ／Ｏインターフェース１１０５には、キーボード、マウス等を含む入力部１１０６と、例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等及びスピーカー等を含む出力部１１０７と、ハードディスク等を含む記憶部１１０８と、例えばＬＡＮカード、モデム等のネットワークインターフェースカードを含む通信インターフェース１１０９とが接続される。ドライバー１１１０は必要に応じてＩ／Ｏインターフェース１１０５にも接続される。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等のようなリムーバブルメディア１１１１は、必要に応じてドライバー１１１０に実装され、それによりその中から読み出すコンピュータプログラムを必要に応じて記憶部１１０８にインストールする。
【０２０４】
図１１に示す構造が選択可能な実現態様に過ぎず、具体的な実現過程で、実際の要求に応じて上記図１１の部材の数量及び種類を選択し、削減し、増加し、取り替えるようにしてもよく、異なる機能の部材の設置について、分離設置又は集積設置等の実現態様を採用可能であり、例えば、ＧＰＵ及びＣＰＵを分離して設置してもよく、ＧＰＵをＣＰＵに集積設置してもよく、通信アセンブリ１１１２を分離して設置してもよく、ＣＰＵ又はＧＰＵに集積設置してもよいことを説明すべきである。これらの取り替え可能な実施態様は全て本開示の開示する保護範囲に含まれる。
【０２０５】
特に、本開示の実施形態によれば、以上でフローチャートを参照して記載した過程はコンピュータソフトウェアプログラムとして実現可能である。例えば、本開示の実施形態は、機器読み取り可能媒体に有形的に含まれるコンピュータプログラムを備えるコンピュータプログラム製品を含み、コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは本開示の実施形態で提供される方法のステップを対応して実行するための対応するコマンドを含んでもよく、例えば、原始撮影画像及び前記原始撮影画像における少なくとも１つの画素点の原始深度情報を取得するための実行可能なコード、ぼかしパラメータデータ及び前記少なくとも１つの画素点の原始深度情報に基づいて、前記原始撮影画像における少なくとも１つの画素点のうちの各々の画素点のぼかし程度データを確定するための実行可能なコード、前記少なくとも１つの画素点のぼかし程度データに基づいて、前記原始撮影画像に対してぼかし処理を行い、後処理結果画像を生成するための実行可能なコードを含んでもよい。このような実施形態において、該コンピュータプログラムは通信素子によりネットワークからダウンロードされインストールされ、及び／又はリムーバブルメディア１１１１からインストールされることが可能である。このコンピュータプログラムが中央処理装置（ＣＰＵ）１１０１により実行される時に、本開示の実施形態の方法で限定される上記機能が実行される。
【０２０６】
本開示の実施形態により提供される電子機器は、先に撮影した画像（原始撮影画像）に対して、改めて確定されたぼかしパラメータ及び原始撮影画像のために生成した深度情報に基づいて、原始撮影画像における少なくとも１つの画素点に対してぼかし程度データを取得してから、取得したぼかし程度データに基づいて、前記原始撮影画像における対応する各々の画素点に対してぼかし処理を行い、後処理結果画像を生成してよい。これにより、ある場合に撮影された原始画像に対して、例えば、改めて確定された合焦データ又はぼかし絞り値に対応するぼかし効果を有する後処理結果画像を生成して、撮影時にぼかし処理の算出ミスによりぼかし効果が予期通りに達成できないという不足を補うことができる。また、繰り返して前記方法によって異なるぼかし効果を有する後処理結果画像を生成することができる。
【０２０７】
実施の要求に応じて、本開示で説明される各々の部材／工程をより多くの部材／工程に分解してもよく、２つ又は複数の部材／工程或いは部材／工程の一部の操作を新しい部材／工程に組み合わせてもよいことを指摘する必要がある。
【０２０８】
１つ又は複数の選択的な実施形態において、本開示の実施形態は、実行される時にコンピュータが上記何れか１つの実施形態に記載の画像処理方法を実行するコンピュータ読み取り可能コマンドを記憶するためのコンピュータプログラム製品を更に提供した。該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア又はその組み合わせの形態で実現されてよい。選択的な一例において、前記コンピュータプログラム製品は具体的にコンピュータ記憶媒体として体現され、別の選択的な一例において、前記コンピュータプログラム製品は、具体的に、例えば、ソフトウェア開発キット等のソフトウェア製品として体現される。
【０２０９】
１つ又は複数の選択的な実施形態において、本開示の実施形態は、第１の装置により第２の装置に、第２の装置に上記何れか１つの可能な実施形態における画像処理方法を実行させる画像処理指示を発信する工程と、第１の装置により第２の装置の発信した後処理結果画像を受信する工程と、を含む別の画像処理方法及びその対応する装置及び電子機器、コンピュータ記憶媒体、コンピュータプログラム並びにコンピュータプログラム製品を更に提供した。
【０２１０】
いくつかの実施形態において、該画像処理指示は、具体的に、呼出しコマンドであってよく、第１の装置は、呼び出すことで第２の装置に画像処理を実行させるように指示してよく、それに応じて、呼出しコマンドを受信したことに応答して、第２の装置は、上記画像処理方法における任意の実施形態中の工程及び／又はプロセスを実行してよい。
【０２１１】
本開示の実施形態における「第１の」、「第２の」等の用語は、単に区別するためのものであり、本開示の実施形態に対する限定として理解してはならないことを理解すべきである。また、本開示における各々の実施形態に対する説明は各々の実施形態の間の相違点を重点的に強調し、その同一又は類似的な箇所については互いに参照してよく、簡潔にするために、繰り返して説明しないことを理解すべきである。
【０２１２】
多くの方式により本開示の方法及び装置、機器を実現することができる。例えば、ソフトウェア、ハードウェア、ファームウエア又はソフトウェア、ハードウェア、ファームウエアのいかなる組合せにより本開示の実施形態の方法及び装置、機器を実現することができる。方法のステップのための上記手順は説明するためのものに過ぎず、本開示の実施形態の方法のステップは、特に他の方式により説明しない限り、以上で具体的に記載した手順に限定されない。なお、いくつかの実施形態において、更に本開示は記録媒体に記録されるプログラムとして実施可能であり、これらのプログラムは本開示の実施形態に係る方法を実現するための機器読み取り可能コマンドを含む。従って、本開示は更に本開示に係る方法を実行するためのプログラムを記憶する記録媒体を含む。
【０２１３】
本開示の実施形態に対する記載は例を挙げ説明するためのものであり、漏れることなく、又は本開示を開示された形式に限定するものではない。多くの修正及び変化は当業者にとって明らかなことである。実施形態を選択し説明する目的は本開示の原理及び実際の適用をより好適に説明し、当業者に本開示を理解させて特定の用途に適する様々の修正を行った各種の実施形態を設計させることにある。
【図１Ａ】
0006899002.tif 000002
【図１Ｂ】
0006899002.tif 000003
【図２】
0006899002.tif 000004
【図３】
0006899002.tif 000005
【図４】
0006899002.tif 000006
【図５】
0006899002.tif 000007
【図６】
0006899002.tif 000008
【図７】
0006899002.tif 000009
【図８】
0006899002.tif 000010
【図９Ａ】
0006899002.tif 000011
【図９Ｂ】
0006899002.tif 000012
【図１０】
0006899002.tif 000013
【図１１】
0006899002.tif 000014