(57)【要約】  本発明の実施形態は、様々なズーム比率におけるズーム効果とワイド・アパーチャ効果とを実現する、端末のための撮影方法及び端末を提供する。本発明の実施形態における方法は：ターゲット・ズーム比率を取得するステップ；ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及びカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するステップを含む。
2019533957.tif 000002
【特許請求の範囲】
【請求項１】
端末のための撮影方法であって、前記端末は少なくとも2つのカメラ・レンズを含み、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、及び前記撮影方法は：
ターゲット・ズーム比率を取得するステップ；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するステップ；
を含む方法。
【請求項２】
クロッピングにより取得された前記モノクロ画像に対応する前記視野が、クロッピングにより取得された前記カラー画像に対応する前記視野と同じである場合に、クロッピングにより取得された前記モノクロ画像の解像度は、クロッピングにより取得された前記カラー画像の解像度の少なくとも1.6倍である、請求項1に記載の方法。
【請求項３】
前記ターゲット・ズーム比率は3×であり、及び前記モノクロ・カメラ・レンズと前記カラー・カメラ・レンズとの等価焦点距離は75mmと85mmとの間にある、請求項1に記載の方法。
【請求項４】
前記カラー・ズーム画像が取得された後に、前記撮影方法は：
前記カラー・ズーム画像において関心領域ROIを識別するステップ；及び
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ；
を更に含む、請求項1に記載の方法。
【請求項５】
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行する前記ステップは、具体的に：
両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算するステップ；及び
前記カラー・ズーム画像のフォアグラウンド情報と、前記モノクロ・カメラ・レンズ及び前記カラー・カメラ・レンズ各々の絞り値FUMと、前記シーン深度情報とに基づいて、前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ；
である、請求項4に記載の方法。
【請求項６】
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算する前記ステップは、具体的に：
前記モノクロ画像及び前記カラー画像から、前記モノクロ画像のコントラスト情報と、前記カラー画像のコントラスト情報と、前記端末のジャイロスコープにより収集された情報とに基づいて、最小のジッタ情報及び/又は最大のコントラスト情報を有する1つのモノクロ画像と1つのカラー画像とを選択し、及び、選択された前記モノクロ画像と、選択された前記カラー画像と、両眼立体視原理とに基づいて前記カラー・ズーム画像の前記シーン深度情報を計算するステップ；
である、請求項5に記載の方法。
【請求項７】
少なくとも2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行である、少なくとも2つのカメラ・レンズ；
ターゲット・ズーム比率を取得するように構成される取得モジュール；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュールであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするように構成されるクロッピング・モジュールであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するように構成されるフュージョン・モジュール；
を含む端末。
【請求項８】
前記端末は、更に：
前記カラー・ズーム画像において関心領域ROIを識別するように構成される識別モジュール；及び
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するように構成されるブラーリング・モジュール；
を含む請求項7に記載の端末。
【請求項９】
プロセッサと、メモリと、少なくとも2つのカメラ・レンズとを含む端末であって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、
前記プロセッサは、前記メモリに保存される動作命令を起動することにより：
ターゲット・ズーム比率を取得するステップ；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するステップ；
を実行するように構成される、端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は「端末のための撮影方法及び端末」と題する2016年10月28日付で中国特許庁に出願された第201610964290.0号、及び「端末のための撮影方法及び端末」と題する2016年12月1日付で中国特許庁に出願されたPCT/CN2016/108271号による優先権を主張しており、それらは全体的にリファレンスに組み込まれる。
【０００２】
本発明の実施形態は画像処理分野に関し、そして特に、モノクロ・カメラ・レンズとカラー・カメラ・レンズとを有する端末の撮影方法、及び端末に関する。
【背景技術】
【０００３】
移動電話機の撮影効果は、様々な移動電話機のユーザーによる選択に影響を及ぼす重要なファクターであり、そしてより良い撮影効果を有する移動電話機は消費者によりいっそう好まれる。焦点距離は移動電話機の撮影効果に大きく影響する。85mm焦点距離は画像に対する適切なキャラクタ及び環境描写を提供し得る。85mm焦点距離を利用することによりポートレートが撮影される場合、半分の長さのポートレートと全部の長さのポートレートとの間で切り替えを実行することは比較的便利であるかもしれず、最小限の射影歪が存在し、そして形は殆ど歪まない。更に、他の異なる焦点距離と比較して、85mm焦点距離は、ワイド・アパーチャを使用することにより、浅い被写界深度効果を容易に作り出す。更に、視野(Field  of  view、略称FOV)はまた、移動電話機の撮影効果に影響を及ぼす重要なファクターである。視野の大きさはカメラ・レンズの焦点距離に関連する。
【０００４】
従来技術において、アイフォン7プラスは、12メガピクセルの2つの背面カラー・カメラ・レンズを有する。広角カメラ・レンズの等価焦点距離は28mmであり、そして絞り値はf/1.8である。ロング・フォーカス・カメラ・レンズの等価焦点距離は56mmであり、そして絞り値はf/2.8である。ポートレート・モードにおいて、ロング・フォーカス・カメラ・レンズは浅い被写界深度効果を有し、そして広角カメラ・レンズは鮮明なフォアグラウンド画像を取得する。2カメラ・レンズにより、アイフォン7プラスは2×光学ズームを実現し、そして56mm焦点距離のポートレート撮影効果を達成することが可能である。
【０００５】
従来技術において、ポートレート・モードでアイフォン7プラスは56mm焦点距離のロング・フォーカス・カメラ・レンズに基づいて2×光学ズームを実現する。ロング・フォーカス・カメラ・レンズの等価焦点距離は広角カメラ・レンズのものの2倍であるため、アイフォン7プラスはズーム比率2×における光学ズーム効果のみを実現でき、そして可変ズーム比率でのズーム効果は実現できず、なぜならアイフォン7プラスのズーム比率2×は光学レンズの焦点距離によって制限されるからである。
【発明の概要】
【０００６】
本発明の実施形態は、様々なズーム比率におけるズーム効果とワイド・アパーチャ効果とを実現する、端末のための撮影方法及び端末を提供する。
【０００７】
本発明の実施形態の第1態様は、少なくとも2つのカメラ・レンズを含む端末のための撮影方法を提供し：1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、及びモノクロ・カメラ・レンズとカラー・カメラ・レンズとは端末の同じ側で平行に配置される。ターゲット・ズーム比率は、ユーザーにより実行されるズームに基づいて取得され、そしてターゲット・シーンのカラー画像とモノクロ画像とが同時に撮影される。カラー・カメラ・レンズの解像度はブラック・カメラ・レンズのものより低いので、モノクロ画像は、カラー画像により表現されるものよりも詳細な、ターゲット・シーンの情報を表現する。そして、カラー画像とモノクロ画像とはターゲット・ズーム比率に基づいて相応にクロップされ、及びクロッピングにより取得されたカラー画像とクロッピングにより取得されたモノクロ画像とが同じ視野を有することが保証される。最終的に、カラー・ズーム画像を取得するために、クロッピングにより取得されたカラー画像とクロッピングにより取得されたモノクロ画像とにフュージョンが実行される。
【０００８】
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる：
【０００９】
同時に撮影された及びターゲット・シーンの複数のモノクロ画像と複数のカラー画像とはターゲット・ズーム比率に基づいて相応にクロップされ、及びそしてカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンが実行される。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とに対応する視野は、光学ズームにより取得されたものと同じであり、光学ズームのズーム比率はターゲット・ズーム比率であり、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
【００１０】
本発明の実施形態の第1態様に関し、本発明の実施形態の第1態様の第1実装において、撮影方法は、更に：
ターゲット・シーンの深度情報に基づいて、取得したカラー・ズーム画像に背景ブラーリング処理を実行するステップを含む。
【００１１】
深度情報に基づいて、カラー・ズーム画像に背景ブラーリング処理が実行された後、撮影された対象はより鮮明になることが可能であり、そして背景は暈され、それにより撮影された対象はより明らかになる。
【００１２】
本発明の実施形態の第1態様の第1実装に関し、本発明の実施形態の第1態様の第2実装において、撮影方法は、更に：
ジャイロ・センサーにより収集された情報に基づいて、撮影環境が相対的に静的な状態にあるか否かを決定するステップを含み、その場合において、画像のコントラスト情報は、鮮明度、詳細表現、及び画像のグレースケール・レベル表現に関連し、モノクロ画像のより大きなコントラスト情報は、画像のより明らかな詳細表現及びグレースケール・レベル表現を示し、及びカラー・画像のより大きなコントラスト情報はより鮮明でより人目を引く画像及びより明るい色を示す。
【００１３】
従って、少なくとも2つのブラック画像が存在する場合に、先ず、高い画像品質を有する1つのターゲット・モノクロ画像が、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、クロッピングにより取得されたモノクロ画像から決定される。同様に、少なくとも2つのカラー画像が存在する場合に、高い画像品質を有する1つのターゲット・カラー画像が、ジャイロ・センサーにより収集された情報とカラー画像のコントラスト情報とに基づいて、クロッピングにより取得されたカラー画像から決定される。そして、深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算が実行される。
【００１４】
高い画像品質を有するターゲット・カラー画像と高い画像品質を有するターゲット・モノクロ画像とは、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とを使用することにより選択され、それにより、高品質の画像を使用することにより計算される深度情報はより正確になる。
【００１５】
選択的に、本発明の実施形態の第1態様は更に或る実装を提供し、カラー・ズーム画像が取得された後に、方法は更に：カラー・ズーム画像において関心領域ROIを識別するステップ；及びカラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップを含む。この方法では、ワイド・アパーチャ・ブラーリング効果が実現されることが可能である。
【００１６】
選択的に、本発明の実施形態の第1態様は或る実装を提供し、カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップは、具体的に：両眼立体視原理に従ってカラー・ズーム画像のシーン深度情報を計算するステップ；及びカラー・ズーム画像のフォアグラウンド情報と、モノクロ・カメラ・レンズ及びカラー・カメラ・レンズ各々の絞り値FUMと、シーン深度情報とに基づいて、カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップである。
【００１７】
選択的に、本発明の実施形態の第1態様は或る実装を更に提供し、少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、両眼立体視原理に従ってカラー・ズーム画像のシーン深度情報を計算するステップは、具体的に：モノクロ画像及びカラー画像から、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報と、端末のジャイロスコープにより収集された情報とに基づいて、最小のジッタ情報及び/又は最大のコントラスト情報を有する1つのモノクロ画像と1つのカラー画像とを選択し、及び、選択されたモノクロ画像と、選択されたカラー画像と、両眼立体視原理とに基づいてカラー・ズーム画像のシーン深度情報を計算するステップである。
【００１８】
本発明の実施形態の第2態様は端末を提供し、端末は：
少なくとも2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である、少なくとも2つのカメラ・レンズ；
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュールであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール；
ターゲット・ズーム比率を決定するように構成される第1決定モジュール；
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするように構成されるクロッピング・モジュールであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール；及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するように構成されるフュージョン・モジュールを含む。
【００１９】
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる：
【００２０】
撮影モジュールは、ターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを同時に撮影し、クロッピング・モジュールはターゲット・ズーム比率に基づいて相応にクロッピングを実行し、及びそしてフュージョン・モジュールは、カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
【００２１】
本発明の実施形態の第2態様に関し、本発明の実施形態の第1態様の第1実装において、端末は更に：
ターゲット・シーンの深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するように構成されるブラーリング・モジュールを含む。
【００２２】
背景ブラーリング・モジュールは、カラー・ズーム画像に背景ブラーリング処理を実行してもよく、それにより、背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
【００２３】
本発明の実施形態の第2態様の第1実装に関し、本発明の実施形態の第1態様の第2実装において、方法は更に：
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するように構成される第2決定モジュール；及び
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するように構成される計算モジュールを含む。
【００２４】
深度の計算は、第2決定モジュールにより決定される高品質ターゲット・カラー画像と高品質ターゲット・モノクロ画像とを使用することにより実行され、それにより、深度情報の精度は効果的に改善されることが可能である。
【００２５】
本発明の実施形態の第2態様において提供される端末は、第1態様の全ての実装において説明される方法を実行し得る。
【００２６】
本発明の実施形態の第3態様は端末を提供し、端末は：
プロセッサと、メモリと、少なくとも2つのカメラ・レンズとを含み、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行であり、
プロセッサは、メモリに保存される動作命令を起動することにより：
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
ターゲット・ズーム比率を決定するステップ；
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するステップを実行するように構成される。
【００２７】
本発明の実施形態の第3態様において提供される端末は、第1態様の全ての実装における方法を実行し得る。
【００２８】
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる：
【００２９】
プロセッサは、同時に撮影された及びターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを、ターゲット・ズーム比率に基づいて相応にクロップし、及びそしてカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
【００３０】
本発明の実施形態の第3態様に関し、本発明の実施形態の第3態様の可能な第1実装において、プロセッサは：
ターゲット・シーンの深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するステップを実行するように更に構成される。
【００３１】
プロセッサは、カラー・ズーム画像に背景ブラーリング処理を実行し、それにより背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
【００３２】
本発明の実施形態の第3態様の可能な第1実装に関し、本発明の実施形態の第3態様の可能な第2実装において、プロセッサは：
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するステップ；及び
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するステップを実行するように更に構成される。
【００３３】
プロセッサは、高品質のターゲット・カラー画像と高品質のターゲット・モノクロ画像と決定した後に、ジャイロ・センサーにより取得された情報とコントラスト情報とに基づいて深度計算を実行し、それにより、深度情報の精度は効果的に改善される。
【図面の簡単な説明】
【００３４】
【図１】図1は本発明の実施形態による端末のための撮影方法の実施形態の概略図である。
【００３５】
【図２】図2は本発明の実施形態によりブラック・カメラ・レンズによって撮影されたモノクロ画像である。
【００３６】
【図３】図3は本発明の実施形態によるカラー・カメラ・レンズによって撮影されたカラー画像である。
【００３７】
【図４】図4は本発明の実施形態による画像クロッピングの概略図である。
【００３８】
【図５】図5は本発明の実施形態によるクロッピングにより取得されたモノクロ画像である。
【００３９】
【図６】図6は本発明の実施形態によるクロッピングにより取得されたカラー画像である。
【００４０】
【図７】図7は本発明の実施形態による画像フュージョンの概略図である。
【００４１】
【図８】図8は本発明の実施形態によるカラー・ピクセルの概略図である。
【００４２】
【図９】図9は本発明の実施形態によるカラー・ピクセル・コンビネーション・プロセスの概略図である。
【００４３】
【図１０】図10は本発明の実施形態によるモノクロ・ピクセルの概略図である。
【００４４】
【図１１】図11は本発明の実施形態による背景ブラーリングの概略図である。
【００４５】
【図１２】図12は本発明の実施形態による被写界深度−距離曲線図である。
【００４６】
【図１３】図13は本発明の実施形態によるツイン・カメラ・レンズの配置の概略図である。
【００４７】
【図１４】図14は本発明の実施形態による端末の実施形態の概略図である。
【００４８】
【図１５】図15は本発明の実施形態による端末の別の実施形態の概略図である。
【００４９】
【図１６】図16は本発明の実施形態による端末の別の実施形態の概略図である。
【００５０】
【図１７】図17は本発明の実施形態によるターゲット・ズーム比率を取得する概略図である。
【発明を実施するための形態】
【００５１】
本発明の実施形態は、様々なズーム比率におけるズーム効果とワイド・アパーチャ効果とを実現する、端末のための撮影方法及び端末を提供する。
【００５２】
本発明の明細書、請求項、及び添付図面において、用語「第1」、「第2」、「第3」、「第4」等々(存在する場合)は同様な対象を区別するように意図されているが、必ずしも特定の順番又は順序を示すものではない。そのような方法で言及されるデータは、ここで説明される本発明の実施形態がここで示される又は説明される順番以外の順番で実装されることが可能であるように、適切な状況において可換であることが理解されるべきである。更に、用語「含む」、「有する」及び他の任意の変形は、非排他的な包含をカバーすることを意味し、例えば、ステップ又はユニットのリストを含むプロセス、方法、システム、プロダクト、又はデバイスは、明示的にリストされているそれらのステップ又はユニットに必ずしも限定されず、そのようなプロセス、方法、プロダクト、又はデバイスに明示的にリストされていない又は固有の他のステップ又はユニットを含んでよい。
【００５３】
移動電話機は、人々の日常生活で不可欠の電子製品となっており、そして移動電話機の撮影能力は人々に好まれている。移動電話機のより高度なピクセルはより良い撮影効果をもたらす。撮影プロセスにおいて、開口及び焦点距離は、通常、撮影される対象物をより鮮明にするように調整され得る。受け入れられる光量は開口に依存し、開口はまた被写界深度がそれに依存する重要なファクターである。より大きな開口はより小さな絞り値に対応し且つより浅い被写界深度を示し、及びより小さな開口はより大きな絞り値に対応し且つより深い被写界深度を示す。撮影される対象物の撮像サイズは焦点距離に依存する。撮影中、焦点距離は調整されてもよく、即ちズームが実行されてもよい。ズームの仕方は光学ズームとディジタル・ズームとの2種類に分類され得る。写真のピクセルは、撮影される対象物がより鮮明になるように、ズームにより改善されることが可能である。
【００５４】
本発明の実施形態における端末のための撮影方法の理解を促すために、以下、本発明の実施形態における端末のための撮影方法の実施形態を説明する。
【００５５】
端末は移動電話機であることが一例として使用される。図1を参照すると、本発明の実施形態における撮影方法の実施形態が詳細に説明されており、そして以下のステップを含む。
【００５６】
101。移動電話機がターゲット・ズーム比率を取得する。
【００５７】
この実施形態では、図17に示されるように、ユーザーはカメラ・アプリケーションを開始し、そして移動電話機はカメラのプレビュー・インターフェースを提示する。ユーザーは2本の指で摘むことによりプレビュー・インターフェースでターゲット・ズーム比率を調整してもよい。図17に示されるように、ターゲット・ズーム比率は2×である。ユーザーがズームを実行しない場合、ターゲット・ズーム比率はデフォルトにより1×である。ユーザーがズームを実行する場合、カメラのプレビュー・インターフェースはそれに応じて変わり、例えば、プレビュー・インターフェースにおける画像はズーム・イン又はズーム・アウトされる。
【００５８】
102。移動電話機がターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影する。
【００５９】
この実施形態では、移動電話機は2つのカメラ・レンズを有し、一方のレンズはモノクロ・カメラ・レンズであり、そして他方のレンズはカラー・カメラ・レンズである。ブラック・カメラ・レンズの解像度はカラー・カメラ・レンズのものの少なくとも1.6倍である。2つのカメラ・レンズは、2つのカメラ・レンズの光軸が平行であるように、平行に配置される。移動電話機のカラー・カメラ・レンズはカラー画像を撮影し、及びモノクロ・カメラ・レンズはモノクロ画像を同時に撮影し、モノクロ画像の撮影シーンはカラー・画像のものに一致している。最終的に、移動電話機は少なくとも1つのカラー画像と少なくとも1つのモノクロ画像とを取得し、例えば8フレームのカラー・画像と8フレームのモノクロ画像とを取得する。ユーザーがズームを実行する場合、ユーザーがズームを実行した後に得られる比率に基づいて画像が撮影される。ユーザーがズームを実行しない場合、撮影は、2つのカメラ・レンズのデフォルト設定に基づいて実行される。デフォルト設定は、カメラ・アプリケーション開始後にユーザーはズームを実行しないことであってもよい。
【００６０】
モノクロ・カメラ・レンズにより撮影されたモノクロ画像が図2に示されている。カラー・カメラ・レンズにより撮影されたカラー画像が図3に示されている(カラー画像が出願ファイルで使用できないので、図3に示されるカラー画像はグレースケール画像として表示されている)。図2に示されるモノクロ画像の解像度は、図3に示される画像のものの約1.6倍である。
【００６１】
103。移動電話機がターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロップする。
【００６２】
この実施形態において、移動電話機は撮影されたカラー画像の複数のフレームと撮影されたブラック画像の複数のフレームとをクロップする。具体的には、ターゲット・ズーム比率において、中心エリアが同じ視野を有することを保証するように、クロッピングが、カラー画像及びモノクロ画像の中心エリアで実行される。クロッピングの概略図が図4に示されている。ターゲット・ズーム比率がn×である場合に、カラー画像の解像度がcH*cWであり、そして対応するサイズがC*Dであると仮定すると、サイズが(C/2n)*(D/2n)である画像が、カラー画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたカラー画像であり、及びクロッピングにより取得されたカラー画像の解像度は(CH/2n)*(cW/2n)に変化する。同様に、モノクロ画像の解像度がmH*mWであり、そして対応するサイズがM*Nであると仮定すると、サイズが(M/2n)*(N/2n)である画像が、モノクロ画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたカラー画像であり、及びクロッピングにより取得された画像の解像度は(mH/2n)*(mW/2n)に変化する。そのようなクロッピングの後、クロッピングにより取得された画像に対応する視野は、ズーム比率がn×である光学ズームにより取得されたものと同じであり、そしてクロッピングにより取得されたモノクロ画像の解像度とクロッピングにより取得されたカラー画像のものとの間の倍数関係は、ブラック・カメラ・レンズの解像度とカラー・カメラ・レンズのものとの間の倍数関係と依然として同じであり、即ち、ブラック・カメラ・レンズの解像度がカラー・カメラ・レンズのものの1.6倍である場合、クロッピングにより取得されたモノクロ画像の解像度もまた、クロッピングにより取得されたカラー画像のものの1.6倍である。
【００６３】
ターゲット・ズーム比率nが3である場合に、図2におけるモノクロ画像と図3におけるカラー画像とが上記のクロッピング方法に従って相応にクロップされた後、図5に示されるモノクロ画像と図6に示されるカラー画像とが取得される(カラー画像は出願ファイルで使用できないので、図6に示されるカラー画像はグレースケール画像として表示されている)。上記のクロッピングの後、図5に示されるモノクロ画像の解像度は、依然として図6に示されるカラー画像のものの1.6倍である。
【００６４】
104。移動電話機が、カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。
【００６５】
この実施形態では、ステップ103においてカラー画像とモノクロ画像とにクロッピング処理が実行された後に、図7に示されるように、移動電話機は先ず超解像度モジュールを使用して、クロッピングにより取得されたカラー画像及びクロッピングにより取得されたモノクロ画像の各々に超解像度処理を実行し、オリジナル画像の解像度を改善し、そして次にカラー及びモノクロ・フュージョン・モジュールを使用して、超解像度処理が実行された後に取得された画像にフュージョンを実行し、カラー・ズーム画像を取得する。超解像度モジュールは、クロッピングにより取得されたカラー画像の解像度とクロッピングにより取得されたモノクロ画像の解像度とを、補間アルゴリズムを使用することにより改善するモジュールである。カラー・カメラ・レンズのピクセル分布については図8に示されるベイヤー・アレイを参照されたい。ベイヤー・アレイは、RGBR配置及びRGBW配置の2つの異なる配置を含む。図9に示されるように、ベイヤー・アレイでは、到来光が各ピクセルに入射するプロセスにおいて、幾つかの色は各ピクセルに対応する光フィルタにより選別され、及び幾つかの色の強度のみが各ピクセルで維持される。従って、後者の撮像プロセスでは、4つのRGBR又はRGBWピクセル毎をグループとして使用することにより、デ・ベイヤー処理が実行される必要があり、そして次に隣接ピクセルのカラー強度及びレッド・グリーン・ブルーの組み合わせ原理を参照して、撮影された対象物のオリジナル色を再生するためにコンビネーションが実行される。図9に示されるピクセル・コンビネーション・プロセスにおいて、到来光がピクセルに入射する場合に、ほぼ70％のエネルギーが失われる。モノクロ・カメラ・レンズのピクセル分布図については、図10を参照されたい。各々のピクセルは、撮影された対象物の画像のグレースケール情報を保存し、そして画像の詳細な情報が最大限に維持される。従って、クロッピングにより取得されたモノクロ画像の詳細解像能力は、クロッピングにより取得されたカラー画像のものより遙かに高い。結論として、一態様では、クロッピングにより取得されたモノクロ画像の画像解像度及び画像詳細解像能力の双方が、クロッピングにより取得されたカラー画像のものより高く、及び他の態様では、ターゲット・ズーム比率に基づいてクロッピングにより取得された画像に対応する視野は、同じズーム比率で光学ズームにより取得されたものに等しく、それにより、フュージョンにより最終的に得られるカラー・ズーム画像の詳細解像能力は著しく改善され、そしてこれは同じズーム比率における光学ズーム効果と等価である。
【００６６】
更に、この実施形態において、クロッピングにより取得されたモノクロ画像に対応する視野が、クロッピングにより取得されたモノクロ画像に対応する視野と同じであることは、具体的には：2つの視野の間の差が所定の誤差範囲内に収まる場合、2つの視野は同じであることと等価である。
【００６７】
105。移動電話機が、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定する。
【００６８】
この実施形態では、少なくとも2つのブラック画像が存在する場合に、移動電話機は、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、高い画像品質を有し且つ比較的静的な環境で撮影されたターゲット・モノクロ画像を選択する。同様に、少なくとも2つのカラー画像が存在する場合に、移動電話機は、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、ターゲット・カラー画像を選択する。
【００６９】
ジャイロスコープは、ユーザーが撮影を実行する場合に存在するジッタ情報を検出するように構成される。一般に、より小さなジッタ情報は、撮影により取得される、より鮮明な写真を示す。コントラストは画像の詳細度を反映するファクターである。一般に、より大きなコントラストを有する画像はより鮮明である。
【００７０】
更に、1つのブラック画像が存在する場合に、移動電話機はブラック画像をターゲット・モノクロ画像として直接的に決定することに留意すべきである。同様に、1つのカラー画像が存在する場合に、移動電話機はカラー画像をターゲット・カラー画像として直接的に決定する。
【００７１】
106。移動電話機が、深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行する。
【００７２】
この実施形態では、ターゲット・モノクロ画像とターゲット・カラー画像とを選択した後に、移動電話機は、両眼立体視原理を使用することにより、撮影シーンに対応する両眼被写界深度マップ、即ち図12に示される被写界深度−距離曲線図を計算する。被写界深度−距離曲線図は、被写界深度と距離との間における及び異なる絞り値、即ち深度情報に対応する関係曲線を含む。図12において、曲線1に対応する絞り値は、曲線2に対応する絞り値より大きい。両眼立体視は、対象物を見るために、2つのカメラ・レンズを利用することで人の両目を模倣する原理であり、そしてその原理はターゲット・シーンの深度情報を計算するために使用される。本発明のこの実施形態では、2つのカメラ・レンズの一方がモノクロMONOカメラ・レンズであり、及び他の一方がカラー・カメラ・レンズである。
【００７３】
両眼立体視原理を用いて両眼被写界深度マップを取得することにより深度計算が実行されることは、具体的には次のとおりである：ターゲット・モノクロ画像とターゲット・カラー画像とが選択された後に、先ず、ターゲット・カラー画像及びターゲット・モノクロ画像の各々に対応するピクセル視差マップが、ターゲット画像に対応する光学的流れ場を利用することにより計算され、それにより、ターゲット・モノクロ画像及びターゲット・カラー画像の各ピクセルに対応するピクセル視差値が得られ；そして次にシーン深度情報が、両眼立体視原理を利用することにより取得される計算式d=f*T/cに従って計算される。Tはモノクロ・カメラ・レンズとカラー・カメラ・レンズとの間の距離であり、cは対応するピクセルのピクセル視差値であり、及びfは実際の焦点距離である。ブラック・カメラ・レンズとカラー・カメラ・レンズとが同時に同じ対象物に焦点を合わせる場合、焦点合わせを実行した後、モノクロ・カメラ・レンズの焦点距離は、カメラ撮像原理に従ってカラー・カメラ・レンズのもの、即ち実際の焦点距離fに等しい。
【００７４】
更に、オリジナル画像の解像度がdH*dWである場合、有効シーン深度マップの解像度は(dH/m)*(dW/m)(m≧23)であり、及びワイド・アパーチャの有効深度範囲はLメートルである。ズームが実行されない場合、シーン深度計算パフォーマンスを改善するために、ダウンサンプリングが入力画像に関して直接的に実行され、解像度が(cH/m)*(dH/m)であるシーン計算オリジナル・マップを生成してもよく、そして次に両眼被写界深度マップが計算される。X×ズームが実行された後に、クロッピングにより取得された画像の解像度が、クロッピングが実行される前に存在する画像の解像度の(1/m)*(1/m)倍未満であるとすると、解像度が(dH/m)*(dW/m)であるシーン深度計算オリジナル・マップに深度計算が実行された後に取得される両眼被写界深度マップの深度精度は影響されず、シーン深度計算オリジナル・マップは、クロッピングにより取得された画像にダウンサンプリングを実行することにより取得される。この場合、ワイド・アパーチャの有効深度範囲はオリジナル有効深度範囲のX倍、即ちXLメートルである。具体的に、ターゲット・カラー画像が一例として使用される。mが8に等しい場合、ターゲット・カラー画像の解像度は3968*2976である。通常のワイド・アパーチャ・モードにおいて、ズームが実行されない場合、ターゲット・カラー画像にダウンサンプリングが実行され、解像度が496*372であるシーン深度計算オリジナル・マップを生成し、そして解像度が496*372であるシーン深度計算オリジナル・マップで深度計算が実行され、解像度が496*372である両眼深度マップを取得する。このケースでは、ワイド・アパーチャの有効距離は2メートルである。ターゲット・ズーム比率3×に基づいてズームが実行され、及びクロッピングがステップ103で実行された後、クロッピングにより取得されたターゲット・カラー画像の解像度は496*372であること、及びターゲット・カラー画像の解像度は有効範囲内に該当することが決定されてもよい。解像度が496*372であるシーン計算オリジナル・マップに深度計算が実行された後に取得される両眼深度マップの深度精度は影響されず、ターゲット・カラー画像にダウンサンプリングを実行することにより、シーン計算オリジナル・マップが取得される。このケースでは、ワイド・アパーチャの有効距離は2*3=6メートルであり、及び3×がターゲット・ズーム比率である。ターゲット・ズーム比率が3×である場合、モノクロ・カメラ・レンズ及びカラー・カメラ・レンズの等価焦点距離は75mmと85mmとの間にある。等価焦点距離は、モノクロ・カメラ・レンズとカラー・カメラ・レンズとが全体として使用される場合の等価的なカメラ・レンズの焦点距離であり、即ち1つのカメラ・レンズと等価である。
【００７５】
107。移動電話機が、深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行する。
【００７６】
この実施形態では、組み合わせによりワイド・アパーチャ・ブラーリング効果を生成するために、深度情報に基づいてカラー・ズーム画像に背景ブラーリングが実行される。図11に示されるように、被写界深度−距離曲線図が取得された後に、被写界深度制御モジュールは、焦点合わせにより選択されるフォアグラウンド位置情報に基づいてフォアグラウンド被写界深度を決定し；曲線1等のワイド・アパーチャ値に対応する被写界深度−距離曲線に基づいて、各ピクセルに対応するシーン深度値を取得し；及び曲線1を使用することにより対応するブラーリング半径を取得し、特定のフィルタを使用することによりカラー・ズーム画像にガウシアン・ブラーリング等のブラーリングを実行し、背景ブラーリングが実行されたカラー・ズーム画像を取得する。
【００７７】
更に、この実施形態において移動電話機のカメラ・レンズを配置する方法が図13に示される。モバイル電話機の背面におけるカラー・カメラ・レンズ1とモノクロ・カメラ・レンズ2とは、平行に配置され且つ同じ測沿線に配置される。移動電話機の正面におけるカラー・カメラ・レンズ3とモノクロ・カメラ・レンズ4とは、平行に配置され且つ同じ水平線に配置される。図13に示される配置方法は配置方法の1つでしかなく、及び上記の配置方法と同じ技術的効果を達成することが可能な他の配置方法はここで限定されないことに留意すべきである。
【００７８】
この実施形態において、一態様では、フュージョンにより取得されるカラー・画像の詳細解像能力は大幅に改善され、及びこれは同じズーム比率における光学ズーム効果と等価であるとしてよく；及び他の態様では、フォーカシングにより選択されるフォアグラウンド位置情報に基づいてフォアグラウンド被写界深度が決定され、ワイド・アパーチャ値に対応する曲線1等の被写界深度−距離曲線に基づいて各ピクセルに対応するシーン深度値が取得され、及び対応するブラーリング半径が曲線1を使用することにより取得され、特定のフィルタを使用することによりカラー・ズーム画像にガウシアン・ブラーリング等のブラーリングを実行し、それにより、同じターゲット・ズーム比率における光学ズーム効果とワイド・アパーチャ背景ブラーリング効果とが実現される。したがって、本発明のこの実施形態における移動電話機の撮影方法では、より鮮明な画像が取得されることが可能であり、及び移動電話機の撮影効果が改善されることが可能である。
【００７９】
ステップ104の後、本発明のこの実施形態は以下のステップを更に含んでもよい。
【００８０】
201。カラー・ズーム画像において関心領域ROIを識別する。
【００８１】
202。カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行する。
【００８２】
画像処理の分野において、関心領域(ROI、フル・ネームはregion  of  interestである)は、画像から選択される画像領域であり、及び領域は画像分析中の焦点である。例えば、画像の前景は人であり、そして背景は犬である。ユーザーが画像中の人に焦点を合わせる場合、画像中の人がROIであり；又はユーザーが画像中の犬に焦点を合わせる場合、画像中の犬がROIである。
【００８３】
関心領域以外の領域にブラーリング処理を実行することにより、ワイド・アパーチャ効果が実現される。ワイド・アパーチャ効果は、一眼レフカメラを模倣することにより得られる撮影効果である。例えば、一眼レフカメラを利用することにより撮影する間にユーザーが人に焦点を合わせる場合、画像中の人は鮮明である一方、画像中の犬は暈かされる。本発明のこの実施形態で説明されるワイド・アパーチャ効果は、一眼レフカメラ・レンズの撮影効果を模倣することにより得られる。
【００８４】
本発明の実施形態における端末のための撮影方法は、上記の実施形態で詳細に説明されており、そして、以下、本発明の実施形態における端末を詳細に説明する。
【００８５】
図14を参照すると、本発明の実施形態における端末を詳細に説明するために、移動電話機が一例として使用される。移動電話機は：
2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である、2つのカメラ・レンズ；
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュール1401であって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール；
ターゲット・ズーム比率を決定するように構成される第1決定モジュール1402；
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするように構成されるクロッピング・モジュール1403であって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール；及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するように構成されるフュージョン・モジュール1404を含む。
【００８６】
本発明のこの実施形態におけるモジュールは方法の実施形態における方法に対応しており、そして詳細はここでは説明されない。
【００８７】
この実施形態において、撮影モジュール1401は、ターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを同時に撮影し、クロッピング・モジュール1403は第1決定モジュール1402により決定されたターゲット・ズーム比率に基づいて相応にクロッピングを実行し、そして次にフュージョン・モジュール1404はカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
【００８８】
更に、図15に示されるように、移動電話機は更に：
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するように構成される第2決定モジュール1505；
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するように構成される計算モジュール1506；及び
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、ターゲット・シーンに対応する深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するように構成される背景ブラーリング・モジュール1507を含む。
【００８９】
この実施形態では、深度の計算は、第2決定モジュール1505により決定される高品質ターゲット・カラー画像と高品質ターゲット・モノクロ画像とを使用することにより実行され、それにより、深度情報の精度は効果的に改善されることが可能である。背景ブラーリング・モジュール1507は、カラー・ズーム画像に背景ブラーリング処理を実行してもよく、それにより、背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
【００９０】
図16を参照すると、本発明の実施形態における端末が説明されており、そして移動電話機16は：
入力デバイス1610と、出力デバイス1620と、プロセッサ1630と、メモリ1640と、バス1650とを含む。
【００９１】
メモリ1640は、リード・オンリ・メモリとランダム・アクセス・メモリとを含み、そして命令及びデータをプロセッサ1630に提供し得る。メモリ1640の一部は不揮発性ランダム・アクセス・メモリ(Nonvolatile  Random  Access  Memory、略称NVRAM)を更に含んでもよい。
【００９２】
メモリ1640は以下の要素を保存する：実行モジュール又はデータ構造、又はそれらの一部、又はそれらの拡張セット：
様々なオペレーション命令を含み、及び様々なオペレーションを実現するために使用されるオペレーション命令；及び
様々なシステム・プログラムを含み、及び様々な基本サービスを実現し、及びハードウェアに基づくタスクを処理するために使用されるオペレーティング・システム。
【００９３】
更に、入力デバイス1610は具体的には2つのカメラ・レンズであってもよく、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である。
【００９４】
本発明のこの実施形態において、プロセッサ1630は：
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
ターゲット・ズーム比率を決定するステップ；
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するステップのために構成される。
【００９５】
プロセッサ1630は、移動電話端末16の動作を制御し、及びプロセッサ1630はまた中央処理ユニット(Central  Processing  Unit、略称CPU)として言及されてもよい。メモリ1640は、リード・オンリ・メモリとランダム・アクセス・メモリとを含み、そして命令及びデータをプロセッサ1630に提供してもよい。メモリ1640の一部はNVRAMを更に含んでもよい。特定のアプリケーションにおいて、第1端末16の全てのコンポーネントはバス・システム1650を使用することによりともに結合され、及びデータ・バスに加えて、バス・システム1650は電力バス、制御バス、ステータス信号バス等を更に含んでもよい。しかしながら、説明の明確性のため、図中、様々なバスはバス・システム1650としてマークされている。
【００９６】
本発明のこの実施形態における装置は方法の実施形態の方法に対応しており、そして詳細はここでは説明されない。
【００９７】
本発明の上記の実施形態で開示される方法は、プロセッサ1630に適用されてもよいし、又はプロセッサ1630により実装されてもよい。プロセッサ1630は集積回路チップであってもよく、そして信号処理能力を有する。実装プロセスにおいて、上記の方法におけるステップは、プロセッサ1630におけるハードウェアの集積論理回路又はソフトウェア形式の命令により完了されてもよい。プロセッサ1630は、汎用プロセッサ、ディジタル信号プロセッサ(Digital  Signal  Processor、略称DSP)、特定用途向け集積回路(Application-Specific  Integrated  Circuit、略称ASIC)、フィールド・プログラマブル・ゲート・アレイ(Field-Programmable  Gate  Array、略称FPGA)又は他のプログラマブル論理デバイス、ディスクリート・ゲート又はトランジスタ論理デバイス、又はディスクリート・ハードウェア・アセンブリであってもよく；及び本発明の実施形態で開示される方法、ステップ、及び論理ブロック図を実装又は実行し得る。汎用プロセッサはマイクロプロセッサであってもよいし、又はプロセッサは任意の従来のプロセッサ等であってもよい。本発明の実施形態を参照して開示される方法のステップは、ハードウェア・デコーディング・プロセッサを使用することにより直接的に実行されそして完了されてもよいし、又はハードウェアとデコーディング・プロセッサにおけるソフトウェア・モジュールとの組み合わせを使用することにより実行されそして完了されてもよい。ソフトウェア・モジュールは、ランダム・アクセス・メモリ、フラッシュ・メモリ、リード・オンリ・メモリ、プログラム可能なリード・オンリ・メモリ、電気的に消去可能なプログラマブル・メモリ、又はレジスタ等の当該技術分野で成熟しているストレージ媒体に配置されてもよい。ストレージ媒体はメモリ1640に配置される。プロセッサ1630は、メモリ1640内の情報を読み込み、そしてプロセッサ1630のハードウェアとの組み合わせにおいて上記の方法のステップを完了する。
【００９８】
図16の関連する説明については、理解のため図1の方法の部分の関連する説明及び効果を参照されたい。詳細はここでは説明されない。
【００９９】
簡便及び簡潔な説明の目的により、上記のシステム、装置、及びユニットの詳細な動作プロセスについては上記の方法の実施形態における対応するプロセスを参照し、そして詳細はここで再び説明されないことは、当業者により明確に理解され得る。
【０１００】
本願で提供される幾つかの実施形態において、開示されるシステム、装置、及び方法は他の仕方で実装されてもよいことが理解されるべきである。例えば、説明される装置の実施形態は一例であるだけである。例えば、ユニットの分け方は論理的な機能的な分け方であるだけであり、及び実際の実装では他の分け方であってもよい。例えば、複数のユニット又はコンポーネントは別のシステムに組み合わせられ又は統合されてもよいし、又は幾つかの特徴は無視され又は実行されなくてもよい。更に、示される又は議論される相互のカップリング又は直接的なカップリング又は通信コネクションは、幾つかのインターフェースを使用することにより実装されてもよい。装置又はユニット間の間接的なカップリング又は通信コネクションは、電子的、機械的、又は他の形式で実装されてもよい。
【０１０１】
個々のパーツとして説明されるユニットは物理的に個別的であってもなくてもよく、及びユニットとして示されるパーツは物理的なユニットであってもなくてもよく、一箇所に配置されてもよいし、又は複数のネットワーク・ユニットに分散されてもよい。ユニットの全部又は一部は、実施形態のソリューションの課題を達成するために実際の条件に基づいて選択されてよい。
【０１０２】
更に、本発明の実施形態における機能ユニットは1つの処理ユニットに統合されてもよいし、又は各々のユニットは物理的に孤立して存在してもよいし、又は2つ以上のユニットが1つのユニットに統合される。統合されるユニットは、ハードウェアの形式で実装されてもよいし、又はソフトウェア機能ユニットの形式で実装されてもよい。
【０１０３】
統合されるユニットがソフトウェア機能ユニットの形式で実装され、そして独立した製品として販売又は使用される場合、統合されるユニットはコンピュータ読み取り可能なストレージ媒体に保存されてもよい。そのような理解に基づいて、本発明の技術的ソリューションは本質的に、又は従来技術に貢献する部分は、又は技術的ソリューションの全部又は一部は、ソフトウェア・プロダクトの形式で実装されてもよい。ソフトウェア・プロダクトは、ストレージ媒体に保存され、及び本発明の実施形態で説明される方法のステップの全部又は一部を実行するようにコンピュータ・デバイス(パーソナル・コンピュータ、サーバー、ネットワーク・デバイス等であってもよい)を命令する幾つかの命令を含む。上記のストレージ媒体は：USBフラッシュ・ドライブ、リムーバブル・ハードディスク、リード・オンリ・メモリ(ROM、Read-Only  Memory)、ランダム・アクセス・メモリ(RAM、Random  Access  Memory)、磁気ディスク、又は光ディスク等のプログラム・コードを保存することが可能な任意の媒体を含む。
【０１０４】
上記の実施形態は本発明の技術的ソリューションを説明するように意図されているだけであり、本発明を限定しない。本発明は上記の実施形態に関連して詳細に説明されているが、本発明の実施形態の技術的ソリューションの精神及び範囲から逸脱することなく、当業者は、上記の実施形態で説明される技術的ソリューションに変形を更に施し得ること、又はその幾つかの技術的特徴に均等な置換を施し得ることを、当業者は理解すべきである。
【図１】
2019533957.tif 000003
【図２】
2019533957.tif 000004
【図３】
2019533957.tif 000005
【図４】
2019533957.tif 000006
【図５】
2019533957.tif 000007
【図６】
2019533957.tif 000008
【図７】
2019533957.tif 000009
【図８】
2019533957.tif 000010
【図９】
2019533957.tif 000011
【図１０】
2019533957.tif 000012
【図１１】
2019533957.tif 000013
【図１２】
2019533957.tif 000014
【図１３】
2019533957.tif 000015
【図１４】
2019533957.tif 000016
【図１５】
2019533957.tif 000017
【図１６】
2019533957.tif 000018
【図１７】
2019533957.tif 000019
【手続補正書】
【提出日】令和1年5月31日(2019.5.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末のための撮影方法であって、前記端末は少なくとも2つのカメラ・レンズを含み、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、及び前記撮影方法は：
ターゲット・ズーム比率を取得するステップ；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するステップ；
を含む方法。
【請求項２】
クロッピングにより取得された前記モノクロ画像に対応する前記視野が、クロッピングにより取得された前記カラー画像に対応する前記視野と同じである場合に、クロッピングにより取得された前記モノクロ画像の解像度は、クロッピングにより取得された前記カラー画像の解像度の少なくとも1.6倍である、請求項1に記載の方法。
【請求項３】
前記ターゲット・ズーム比率は3×であり、及び前記モノクロ・カメラ・レンズと前記カラー・カメラ・レンズとの等価焦点距離は75mmと85mmとの間にある、請求項1に記載の方法。
【請求項４】
前記カラー・ズーム画像が取得された後に、前記撮影方法は：
前記カラー・ズーム画像において関心領域ROIを識別するステップ；及び
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ；
を更に含む、請求項1に記載の方法。
【請求項５】
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行する前記ステップは：
両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算するステップ；及び
前記カラー・ズーム画像のフォアグラウンド情報と、前記モノクロ・カメラ・レンズ及び前記カラー・カメラ・レンズ各々の絞り値FUMと、前記シーン深度情報とに基づいて、前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ；
を含む、請求項4に記載の方法。
【請求項６】
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算する前記ステップは：
前記モノクロ画像及び前記カラー画像から、前記モノクロ画像のコントラスト情報と、前記カラー画像のコントラスト情報と、前記端末のジャイロスコープにより収集された情報とに基づいて、最小のジッタ情報及び/又は最大のコントラスト情報を有する1つのモノクロ画像と1つのカラー画像とを選択し、及び、選択された前記モノクロ画像と、選択された前記カラー画像と、両眼立体視原理とに基づいて前記カラー・ズーム画像の前記シーン深度情報を計算するステップ；
を含む、請求項5に記載の方法。
【請求項７】
少なくとも2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行である、少なくとも2つのカメラ・レンズ；
ターゲット・ズーム比率を取得するように構成される取得モジュール；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュールであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロップするように構成されるクロッピング・モジュールであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するように構成されるフュージョン・モジュール；
を含む端末。
【請求項８】
前記端末は、更に：
前記カラー・ズーム画像において関心領域ROIを識別するように構成される識別モジュール；及び
前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するように構成されるブラーリング・モジュール；
を含む請求項7に記載の端末。
【請求項９】
プロセッサと、メモリと、少なくとも2つのカメラ・レンズとを含む端末であって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、
前記プロセッサは、前記メモリに保存される動作命令を起動することにより：
ターゲット・ズーム比率を取得するステップ；
前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ；
前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ；及び
カラー・ズーム画像を取得するために、クロッピングにより取得された前記モノクロ画像とクロッピングにより取得された前記カラー画像とにフュージョンを実行するステップ；
を実行するように構成される、端末。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
この実施形態において、移動電話機は撮影されたカラー画像の複数のフレームと撮影されたブラック画像の複数のフレームとをクロップする。具体的には、ターゲット・ズーム比率において、中心エリアが同じ視野を有することを保証するように、クロッピングが、カラー画像及びモノクロ画像の中心エリアで実行される。クロッピングの概略図が図4に示されている。ターゲット・ズーム比率がn×である場合に、カラー画像の解像度がcH*cWであり、そして対応するサイズがC*Dであると仮定すると、サイズが(C/2n)*(D/2n)である画像が、カラー画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたカラー画像であり、及びクロッピングにより取得されたカラー画像の解像度は(cH/2n)*(cW/2n)に変化する。同様に、モノクロ画像の解像度がmH*mWであり、そして対応するサイズがM*Nであると仮定すると、サイズが(M/2n)*(N/2n)である画像が、モノクロ画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたモノクロ画像であり、及びクロッピングにより取得された画像の解像度は(mH/2n)*(mW/2n)に変化する。そのようなクロッピングの後、クロッピングにより取得された画像に対応する視野は、ズーム比率がn×である光学ズームにより取得されたものと同じであり、そしてクロッピングにより取得されたモノクロ画像の解像度とクロッピングにより取得されたカラー画像のものとの間の倍数関係は、ブラック・カメラ・レンズの解像度とカラー・カメラ・レンズのものとの間の倍数関係と依然として同じであり、即ち、ブラック・カメラ・レンズの解像度がカラー・カメラ・レンズのものの1.6倍である場合、クロッピングにより取得されたモノクロ画像の解像度もまた、クロッピングにより取得されたカラー画像のものの1.6倍である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
更に、この実施形態において、クロッピングにより取得されたカラー画像に対応する視野が、クロッピングにより取得されたモノクロ画像に対応する視野と同じであることは、具体的には：2つの視野の間の差が所定の誤差範囲内に収まる場合、2つの視野は同じであることと等価である。
【国際調査報告】
2019533957.tif 000020
2019533957.tif 000021
2019533957.tif 000022
2019533957.tif 000023