(57)【要約】画像処理方法及び装置、電子機器並びに記憶媒体であって、前記方法は、両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む。【選択図】図１
2021530056.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、前記方法は、
両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む、画像処理方法。
【請求項２】
前記両眼画像の第１特徴マップを取得することは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることと、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることと、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることは、
第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることを含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることは、
それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得ることを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項５】
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることは、
前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得ることと、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行うことと、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得ることと、を含むことを特徴とする
請求項２から４のうちいずれか一項に記載の方法。
【請求項６】
前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成することと、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることと、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることと、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得ることと、を含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。
【請求項７】
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることは、
第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得ることを含むことを特徴とする
請求項６に記載の方法。
【請求項８】
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることは、
それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得ることを含むことを特徴とする
請求項６又は７に記載の方法。
【請求項９】
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることは、
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることと、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることと、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得ることと、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得ることと、を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。
【請求項１０】
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、
両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得ることと、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得ることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項１１】
前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることは、
第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得ることと、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項１２】
前記第１所定の方式の表現式は、
【数３１】
2021530056.tif 000031
であり、ただし、
【数３２】
2021530056.tif 000032
は、第１画像の中間融合特徴を表し、
【数３３】
2021530056.tif 000033
は、対応する要素の乗算を表し、
【数３４】
2021530056.tif 000034
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
【数３５】
2021530056.tif 000035
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【数３６】
2021530056.tif 000036
であり、ただし、
【数３７】
2021530056.tif 000037
は、第２画像の中間融合特徴を表し、
【数３８】
2021530056.tif 000038
は、対応する要素の乗算を表し、
【数３９】
2021530056.tif 000039
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
【数４０】
2021530056.tif 000040
は、第２画像のマスクマップを表すことを特徴とする
請求項１１に記載の方法。
【請求項１３】
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得ることを含むことを特徴とする
請求項１から１２のうちいずれか一項に記載の方法。
【請求項１４】
画像処理装置であって、前記装置は、
両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える、画像処理装置。
【請求項１５】
前記特徴抽出モジュールは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得て、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得て、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得るように構成される画像特徴抽出モジュールを備えることを特徴とする
請求項１４に記載の装置。
【請求項１６】
前記画像特徴抽出モジュール更に、第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得るように構成されることを特徴とする
請求項１５に記載の装置。
【請求項１７】
前記画像特徴抽出モジュールは更に、それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得るように構成されることを特徴とする
請求項１５又は１６に記載の装置。
【請求項１８】
前記画像特徴抽出モジュールは更に、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得て、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行い、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得るように構成されることを特徴とする
請求項１５から１７のうちいずれか一項に記載の装置。
【請求項１９】
前記特徴抽出モジュールは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成し、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得て、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得て、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得るように構成される奥行き特徴抽出モジュールを更に備えることを特徴とする
請求項１４から１８のうちいずれか一項に記載の装置。
【請求項２０】
前記奥行き特徴抽出モジュールは更に、第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得るように構成されることを特徴とする
請求項１９に記載の装置。
【請求項２１】
前記奥行き特徴抽出モジュールは更に、それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得るように構成されることを特徴とする
請求項１９又は２０に記載の装置。
【請求項２２】
前記特徴融合モジュールは更に、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得て、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得て、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得て、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得るように構成されることを特徴とする
請求項１４から２１のうちいずれか一項に記載の装置。
【請求項２３】
前記特徴融合モジュールは更に、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得て、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得るように構成されることを特徴とする
請求項２２に記載の装置。
【請求項２４】
前記特徴融合モジュールは更に、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得るように構成されることを特徴とする
請求項２２に記載の装置。
【請求項２５】
前記第１所定の方式の表現式は、
【数４１】
2021530056.tif 000041
であり、ただし、
【数４２】
2021530056.tif 000042
は、第１画像の中間融合特徴を表し、
【数４３】
2021530056.tif 000043
は、対応する要素の乗算を表し、
【数４４】
2021530056.tif 000044
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
【数４５】
2021530056.tif 000045
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【数４６】
2021530056.tif 000046
であり、ただし、
【数４７】
2021530056.tif 000047
は、第２画像の中間融合特徴を表し、
【数４８】
2021530056.tif 000048
は、対応する要素の乗算を表し、
【数４９】
2021530056.tif 000049
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
【数５０】
2021530056.tif 000050
は、第２画像のマスクマップを表すことを特徴とする
請求項２４に記載の装置。
【請求項２６】
前記最適化モジュールは更に、前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得るように構成されることを特徴とする
請求項１４から２３のうちいずれか一項に記載の装置。
【請求項２７】
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリとを備え、
前記プロセッサは、請求項１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項２８】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項２９】
コンピュータプログラム製品であって、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサにより実行される場合、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年０１月２２日に提出された、出願番号が２０１９１００６０２３８．６であり、名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【０００２】
本願は、画像処理分野に関するが、これに限定されず、特に、両眼画像の画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
両眼視は、スマートフォン、無人運転、無人機及びロボットなどの分野において急速に成長してきた。両眼カメラは、現在、至る所にある。また、両眼画像に基づく関連課題の検討も更に進んできた。例えば、ステレオマッチング、両眼画像超解像、両眼スタイル変換などの分野に適用されている。しかしながら、適用において、一般的には、カメラブレ、焦点外れ、物体の高速運動などの要因による画像ボケが発生することがある。これについて、両眼ボケ除去分野において検討成果が僅かであり、且つ最適化方法は、性能及び効率の点で好ましくない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願の実施例は、両眼画像の精度を向上させる画像処理方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本願の一態様によれば、画像処理方法を提供する。前記方法は、両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む。
【０００６】
本願の第２態様によれば、画像処理装置を提供する。前記装置は、両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える。
【０００７】
本願の第３態様によれば、電子機器を提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、第１態様におけるいずれか一項に記載の方法を実行するように構成される。
【０００８】
本願の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、第１態様におけるいずれか一項に記載の方法を実現させる。
【０００９】
本願の実施例の第５態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、第１態様におけるいずれか一項に記載の方法を実現させる。
【発明の効果】
【００１０】
本願の実施例は、両眼画像を入力として、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行うことで、対応する第１特徴マップを得て、両眼画像における第１画像及び第２画像の奥行きマップを得ることができる。続いて、得られた特徴を融合し、ビュー情報及び奥行き情報を含む融合特徴を得る。該融合特徴は、より豊かなピクチャ情報を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。最後に、融合特徴を最適化処理し、鮮明な両眼画像を得る。本願の実施例は、両眼画像に対してボケ除去処理を行うことで、画像の精度及び鮮明度を向上させる。上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【００１１】
【図１】本願の実施例による画像処理方法を示すフローチャートである。
【図２】本願の実施例による画像処理方法のステップＳ２０を示すフローチャートである。
【図３】本願の実施例によるる画像処理方法を実現させるニューラルネットワークモデルを示すブロック図である。
【図４】本願の実施例によるコンテキストアウェアネスユニットの構造を示すブロック図である。
【図５】本願の実施例による画像処理方法のステップＳ２３を示すフローチャートである。
【図６】本願の実施例による画像処理方法のステップＳ２０を示すもう１つのフローチャートである。
【図７】本願の実施例による画像処理方法のステップＳ３０を示すフローチャートである。
【図８】本願の実施例による融合ネットワークモジュールを示すブロック図である。
【図９】本願の実施例による画像処理方法のステップＳ３１を示すフローチャートである。
【図１０】本願の実施例による画像処理装置を示すブロック図である。
【図１１】本願の実施例による電子機器８００を示すブロック図である。
【図１２】本願の実施例による電子機器１９００を示すブロック図である。
【発明を実施するための形態】
【００１２】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【００１３】
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【００１４】
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
【００１５】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【００１６】
なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【００１７】
図１は、本願の実施例による画像処理方法を示すフローチャートである。ここで、本願の実施例の画像処理方法は、両眼画像に対してボケ除去処理を行い、鮮明な両眼画像を得るために用いられる。本願の実施例の方法は、両眼カメラ、両眼撮像装置、飛行機又は撮像機能を有する他の装置に適用可能である。又は、本願の実施例は、例えば、携帯電話、コンピュータ機器などのような、画像処理機能を有する電子機器又はサーバ機器にも適用可能である。本願は、これを具体的に限定するものではなく、両眼撮像操作又は画像処理功能を実行できるものであれば、本願の実施例を適用することができる。以下、図１を参照しながら、本願の実施例を説明する。
【００１８】
図１に示すように、本願の実施例の画像処理方法は、以下を含んでもよい。Ｓ１０において、両眼画像を取得し、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む。
【００１９】
上述したように、本願の実施例の方法は、撮像装置又は画像処理装置に適用可能である。上記装置により、両眼画像を取得することができる。例えば、撮像装置により両眼画像を収集するか又は他の装置により、両眼画像を伝送する。両眼画像は、第１画像及び第２画像を含んでもよい。実際の適用過程において、両眼ビューを収集するための撮像装置は、様々な要因（例えば、装置のブレ、撮影対象物の運動など）により、画像ボケ又は鮮明度が低いことを引き起こすことがある。本願の実施例は、両眼画像に対するボケ除去処理を行い、鮮明な両眼画像を得ることができる。ここで、撮像装置の構造によれば、両眼画像における第１画像及び第２画像は、それぞれ左側画像及び右側画像としてもよく、又は、上側ビュー又は下側ビューとしてもよい。具体的には、両眼画像を収集する撮像装置のカメラの位置によって決まる。本願の実施例は、これを具体的に限定するものではない。
【００２０】
Ｓ２０において、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得する。
【００２１】
幾つかの実施例において、前記両眼画像は、同一の時刻で１つの対象に対して収集された異なる角度の画像であってもよい。従って、両眼画像の視角差により、該対象の奥行き値を決定することができる。例えば、両眼カメラにより人間の両眼を模擬して１つの対象に対して異なる角度で画像を収集する。同一の時刻でカメラにより収集された２つの画像を前記両眼画像とすることができる。両眼画像を得た後、両眼画像における特徴マップ、奥行きマップ，及び特徴及び奥行き情報を融合した特徴マップを抽出することができる。
【００２２】
本願の実施例は、ニューラルネットワークにより、該特徴抽出機能を実現させることができる。例えば、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。該ニューラルネットワークにより、第１画像及び第２画像の第１特徴マップ及び第１奥行きマップをそれぞれ抽出する。ニューラルネットワークは、画像特徴抽出モジュールと、奥行き特徴抽出モジュールと、を備えてもよい。両眼画像を画像特徴抽出モジュールに入力することで、第１画像の第１特徴マップ及び第２画像の第１特徴マップをそれぞれ得ることができる。両眼画像を奥行き特徴抽出モジュールに入力することで、第１画像の第１奥行きマップ及び第２画像の第１奥行きマップを得ると共に、第１画像の画像特徴と奥行き特徴を融合した第２特徴マップ、及び第２画像の画像特徴と奥行き特徴を融合した第２特徴マップをそれぞれ得ることもできる。第１特徴マップは、第１画像及び第２画像の画像特徴を表す。例えば、各画素点の画素値などの情報を表す。第１奥行きマップは、第１画像及び第２画像の奥行き特徴を表す。例えば、各画素点の奥行き情報を表す。第２特徴マップに、画像特徴と奥行き特徴が融合された。また、第１奥行きマップ、第１特徴マップ及び第２特徴マップの各画素点は、一対一に対応する。
【００２３】
本願の実施例は、画像特徴抽出モジュール及び奥行き特徴抽出モジュールの構造を具体的に限定するものではない。例えば、畳み込み層、プーリング層、残差モジュール又は全結合層などの構造が含まれてもよい。当業者は、必要に応じて設定してもよい。特徴抽出を実現できるものであれば、本願の実施例とすることができる。各特徴を得た後、特徴融合処理を行い、各情報を更に融合し、より正確な特徴マップを得る。
【００２４】
Ｓ３０において、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得る。
【００２５】
本願の実施例は、ステップＳ２０で得られた各特徴により、特徴融合処理を行うことができる。つまり、オリジナル画像及び対応する第１特徴マップ、第２特徴マップ及び第１奥行きマップに対して特徴融合処理を行い、融合特徴を得ることができる。該融合特徴は、より豊かなピクチャ情報（画像特徴）を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。
【００２６】
例えば、本願の実施例的ニューラルネットワークは、融合ネットワークモジュールを備えてもよい。該融合ネットワークモジュールは、上記ステップＳ３０を実行できる。第１画像の第１特徴マップ、第１奥行きマップ及び第２特徴マップを該融合ネットワークモジュールに入力することで、第１画像の画像情報及び奥行き情報を融合した第１画像の融合特徴マップを得ることができる。対応的に、第２画像の第１特徴マップ、第１奥行きマップ及び第２特徴マップを融合ネットワークモジュールに入力することで、第２画像の画像情報及び奥行き情報を融合した第２画像の融合特徴マップを得ることができる。得られた融合特徴マップにより、より鮮明な最適化ビューを得ることができる。ここで、本願の実施例は、特徴融合モジュールの構造を限定するものでもない。例えば、畳み込み層、プーリング層、残差モジュール又は全結合層などの構造が含まれてもよい。当業者は、必要に応じて設定してもよい。特徴融合を実現できるものであれば、本願の実施例とすることができる。
【００２７】
特徴マップと奥行きマップの融合を行う場合、特徴アライメントされた特徴をステッチングするという方式で融合を実現させてもよく、特徴アライメントされた特徴に対して加重平均化などの融合演算により、特徴融合を実現させてもよい。特徴融合の方式は多種であり、ここで、更に限定しない。
【００２８】
Ｓ４０において、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得る。ここで、本願の実施例は、畳み込み処理により、第１融合特徴マップ及び第２融合特徴マップを最適化することができる。畳み込み処理により、各融合特徴マップにおける有効な情報を利用して、正確度がより高い最適化ビューを得ることができる。本願の実施例により、両眼画像のボケ除去を実現させ、ビューの鮮明度を向上させることができる。
【００２９】
ここで、本願の実施例のニューラルネットワークは、最適化モジュールを更に備えてもよい。第１画像の第１融合特徴マップ及び第２画像の第１融合特徴マップをそれぞれ最適化モジュールに入力し、最適化モジュールにより少なくとも１回の畳み込み処理を行い、２つの画像の第１融合特徴マップに対して融合及び最適化を行う。最適化された融合特徴マップのスケールは、元の両眼画像のスケールに対応する。また、元の両眼画像の鮮明度を向上させる。
【００３０】
以下、各プロセスをそれぞれ詳しく説明する。上述したように、両眼画像を得た後、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行うことができる。図２は、本願の実施例による画像処理方法のステップＳ２０を示すフローチャートである。ここで、前記両眼画像の第１特徴マップを取得することは、以下を含んでもよい。
【００３１】
Ｓ２１において、前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得る。本願の実施例において、ニューラルネットワークは、画像特徴抽出モジュール（ボケ除去ネットワークモジュール）を備えてもよい。該画像特徴抽出モジュールによりステップＳ２０を実行し、両眼画像の第１特徴マップを得ることができる。図３は、本願の実施例による画像処理方法を実現させるニューラルネットワークモデルを示すブロック図である。ここで、両眼画像を画像特徴抽出モジュールＡに入力し、両眼画像における第１画像に基づいて、第１画像の第１特徴マップＦＬを得て、第２画像に基づいて、第２画像の第１特徴マップＦＲを得る。
【００３２】
ここで、まず、第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行う。該第１畳み込み処理において、少なくとも１つの畳み込みユニットにより、対応する畳み込み処理を実行することができる。例えば、複数の畳み込みユニットを順次利用して、該第１畳み込み処理を実行する。ここで、前の畳み込みユニットからの出力は、次の畳み込みユニットへの入力とする。第１畳み込み処理により、２つの画像の第１中間特徴マップを得ることができる。ここで、第１中間特徴マップは、相応の画像の画像特徴情報をそれぞれ含んでもよい。本実施例において、第１畳み込み処理は、標準的な畳み込み処理を含んでもよい。標準的な畳み込み処理は、畳み込みカーネル又は所定の畳み込みステップ幅で実行される畳み込み操作である。各畳み込みユニットは、対応する畳み込みカーネルを利用して畳み込みを実行するか又は所定のステップ幅に応じて畳み込みを実行することで、第１画像の画像特徴情報を表す第１中間特徴マップ及び第２画像の画像特徴情報を表す第１中間特徴マップを最終的に得る。ここで、畳み込みカーネルは、１＊１の畳み込みカーネルであってもよく、３＊３の畳み込みカーネルであってもよい。当業者は、必要に応じて選択して設定してもよい。本願の実施例で用いられる畳み込みカーネルは、小さな畳み込みカーネルであってもよい。これにより、ニューラルネットワークの構造を簡潔化すると共に、画像処理の精度要件を満たすことができる。
【００３３】
Ｓ２２において、前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得る。
【００３４】
本願の実施例における特徴抽出ネットワークモジュールに、コンテキストアウェアネスユニットが備えられてもよい。第１中間特徴マップを得た後、第１中間特徴マップをコンテキストアウェアネスユニットに入力して、複数のスケールの第２中間特徴マップを得ることができる。
【００３５】
本願の実施例のコンテキストアウェアネスユニットは、第１画像の第１中間特徴マップ及び第２画像の第１中間特徴マップに対して第２畳み込み処理を行い、複数の異なるスケールの第２中間特徴マップを得ることができる。
【００３６】
つまり、第１畳み込み処理を行った後、得られた第１中間特徴マップをコンテキストアウェアネスユニットに入力する。本願の実施例のコンテキストアウェアネスユニットは、第１中間特徴マップに対して第２畳み込み処理を行ってもよい。該プロセスにおいて、循環処理を必要とせず、第１中間特徴マップに対応する複数のスケールの第２中間特徴マップを得ることができる。
【００３７】
図４は、本願の実施例によるコンテキストアウェアネスユニットの構造を示すブロック図である。ここで、コンテキストアウェアネスユニットにより、第１画像の第１中間特徴マップ及び第２画像の第１中間特徴マップに対して、更なる特徴融合及び最適化処理を行い、異なるスケールの第２中間特徴マップを得る。
【００３８】
ここで、第２畳み込み処理は、膨張畳み込み処理であってもよい。異なる膨張率で第１中間特徴マップに対して膨張畳み込みを行い、相応のスケールの第２中間特徴マップを得る。例えば、図４において、ｄ１、ｄ２、ｄ３及びｄ４という４つの異なる第１膨張率で、第１中間特徴マップに対して第２畳み込み処理を行い、４つの異なるスケールの第２中間特徴マップを得る。例えば、各第２中間特徴マップのスケールは、２倍で変動した関係にあってもよく、本願は、これを具体的に限定するものではない。当業者は、必要に応じて、異なる第１膨張率を選択して、対応する第２畳み込み処理を実行し、対応する第２中間特徴マップを得ることができる。なお、本願は、膨張率の数についても具体的に限定しない。膨張畳み込みの膨張率は、膨張畳み込みの拡張率（ｄｉｌａｔｅｄ  ｒａｔｅｓ）と呼ばれてもよい。膨張率は、膨張畳み込みにおける畳み込みカーネルによるデータ処理時の各値のピッチを定義する。
【００３９】
上記プロセスにより、第１画像の第１中間特徴マップにそれぞれ対応する複数のスケールの第２中間特徴マップ、及び第２画像の第１中間特徴マップにそれぞれ対応する複数のスケールの第２中間特徴マップをそれぞれ得ることができる。得られた第２中間特徴マップに、第１中間特徴マップの、異なるスケールでの特徴情報が含まれてもよく、後続の処理プロセスを容易にする。
【００４０】
Ｓ２３において、前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得る。
【００４１】
第１画像に対応する異なるスケールの第２中間特徴マップ、及び第２画像に対応する異なるスケールの第２特徴マップを得た後、更に、コンテキストアウェアネスユニットにより、異なるスケールの第２中間特徴マップに対してそれぞれ残差処理を行い、第１画像に対応する第１特徴マップ及び第２画像に対応する第１特徴マップを得ることができる。
【００４２】
図５は、本願の実施例による画像処理方法のステップＳ２３を示すフローチャートである。前記第１画像及び第２画像の各スケールの第２中間特徴マップに対して残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ること（ステップＳ２３）は、以下を含む。
【００４３】
Ｓ２３１において、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得る。
【００４４】
本願の実施例は、第１中間特徴マップに対して複数のスケール処理を行った後、得られた複数のスケールの第２中間特徴マップに対して接続処理を行い、異なるスケール情報を含む特徴マップを得ることができる。
【００４５】
幾つかの実施例において、第１画像の各スケールの第２中間特徴マップに対してそれぞれ接続処理を行い、第１接続特徴マップを得る。例えば、各第２中間特徴マップをチャネル情報の方向で接続する。それと同時に、第２画像の各スケールの第２中間特徴マップに対して接続処理を行い、第２接続特徴マップを得る。例えば、各第２中間特徴マップをチャネル情報の方向で接続する。これにより、第１画像及び第２画像の第２中間特徴マップの特徴を融合することができる。
【００４６】
Ｓ２３２において、前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行う。
【００４７】
ステップＳ２３１の処理結果に基づいて、畳み込みユニットにより、第１接続特徴マップ及び第２接続特徴マップに対して畳み込み処理を行う。該プロセスは、各第２中間特徴マップ内の特徴を更に融合することができる。また畳み込み処理された接続特徴マップのスケールは、第１中間特徴マップのスケールと同じである。
【００４８】
幾つかの実施例において、コンテキストアウェアネスユニットに、特徴符号化のための畳み込みユニットが更に備えられてもよい。接続処理により得られた第１接続特徴マップ又は第２接続特徴マップを該畳み込みユニットに入力して、対応する畳み込み処理を行い、第１接続特徴マップ又は第２接続特徴マップの特徴融合を実現させる。それと同時に、該畳み込みユニットにより畳み込み処理された第１特徴マップのスケールは、第１画像のスケールとマッチングし、畳み込みユニットにより畳み込み処理された第２特徴マップのスケールは、第２画像のスケールとマッチングする。第１特徴マップ及び第２特徴マップはそれぞれ、第１画像及び第２画像の画像特徴を表すことができる。例えば、画素点の画素値などの情報を表す。
【００４９】
ここで、該畳み込みユニットは、少なくとも１層の畳み込み層を含んでもよい。各層の畳み込み層は、異なる畳み込みカーネルを利用して畳み込み操作を実行することができるか、又は、同一の畳み込みカーネルを利用して畳み込み操作を実行することができる。当業者は、自由に選択することができ、本願は、これを限定するものではない。
【００５０】
Ｓ２３３において、前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得る。
【００５１】
ステップＳ２３２の処理結果に基づいて、第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して、例えば要素を対応的に加算するのような加算処理を行い、第１画像の第１特徴マップを得る。対応的に、第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、第２画像の第１特徴マップを得る。
【００５２】
上記設定により、ボケ除去ネットワークモジュールの全過程を実現させることができ、第１画像及び第２画像の特徴情報の最適化及び抽出プロセスを実現させることができる。本願の実施例は、多分岐型コンテキストアウェアネスユニットを導入することで、ネットワークモデルを増大させることなく、豊かな複数のスケール特徴を取得することができる。また、小さな畳み込みカーネルにより、ボケ除去ニューラルネットワークを設計することで、占有空間が小さく且つ高速である両眼ボケ除去ニューラルネットワークモデルを最終的に得ることができる。
【００５３】
なお、ステップＳ２０において、第１画像及び第２画像の第１奥行きマップを得ることもできる。図６は、本願の実施例による画像処理方法のステップＳ２０を示すもう１つのフローチャートである。第１画像及び第２画像の第１奥行きマップを取得することは、以下を含んでもよい。
【００５４】
Ｓ２０１において、前記第１画像と第２画像を組み合わせ、組み合わせビューを形成する。
【００５５】
本願の実施例において、ニューラルネットワークは、奥行き特徴抽出モジュールＢ（図３に示す）を更に備えてもよい。該奥行き特徴抽出モジュールにより、第１画像及び第２画像の奥行き情報を得ることができる。例えば、第１奥行きマップを得る。該第１奥行きマップは、行列の形式で表されてもよい。行列における要素は、第１画像又は第２画像に対応する画素点の奥行き値を表すことができる。
【００５６】
まず、第１画像と第２画像を組み合わせ、組み合わせビューを形成して、奥行き抽出モジュールに入力する。ここで、画像組み合わせ方式は、２つの画像を上下位置方向で接続してもよい。他の実施例において、左右方向での組み合わせ方式により、該２つの画像を接続することもできる。本願は、これを具体的に限定するものではない。
【００５７】
Ｓ２０２において、前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得る。
【００５８】
組み合わせビューを得た後、該組み合わせビューに対して畳み込み処理を行う。ここで、少なくとも１回の第３畳み込み処理を実行してもよい。同様に、該第３畳み込み処理は、少なくとも１つの畳み込みユニットを含んでもよい。各畳み込みユニットは、第３畳み込みカーネルを利用して畳み込みを行うか、又は第３所定のステップ幅に応じて畳み込みを行うことで、組み合わせビューの奥行き情報を表す第１中間奥行き特徴マップを最終的に得る。ここで、第３畳み込みカーネルは、１＊１の畳み込みカーネルであってもよく、３＊３の畳み込みカーネルであってもよい。第３所定のステップ幅は、２であってもよい。当業者は、必要に応じて選択して設定してもよい。本願の実施例は、これを限定するものではない。本願の実施例で用いられる畳み込みカーネルは、小さな畳み込みカーネルであってもよい。これにより、ニューラルネットワークの構造を簡潔化すると共に、画像処理の精度要件を満たすことができる。
【００５９】
Ｓ２０３において、前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得る。
【００６０】
更に、本願の実施例の奥行き抽出モジュールに、第１中間特徴マップの複数のスケール特徴を抽出するためのコンテキストアウェアネスユニットが備えられてもよい。つまり、第１中間特徴マップを得た後、コンテキストアウェアネスユニットを利用して、異なるスケールの第２中間奥行き特徴マップを得ることができる。ここで、奥行き抽出モジュールにおけるコンテキストアウェアネスユニットは、異なる第２膨張率で第１中間特徴マップに対して第４畳み込み処理を行うこともできる。例えば、図４において、ｄ１、ｄ２、ｄ３及びｄ４という４つの異なる第２膨張率で、第１中間奥行き特徴マップに対して第２畳み込み処理を行い、４つの異なるスケールの第２中間奥行き特徴マップを得る。例えば、各第２中間奥行き特徴マップのスケールは、２倍で変動した関係にあってもよく、本願は、これを具体的に限定するものではない。当業者は、必要に応じて、異なる膨張率を選択して、対応する第４畳み込みを実行し、対応する第２中間奥行き特徴マップを得ることができる。本願は、膨張率の数についても具体的に限定しない。本願の実施例の第１膨張率と第２膨張率は、同じであってもよく、異なってもよい。本願は、これを具体的に限定するものではない。
【００６１】
つまり、ステップＳ２０３において、第１画像の第１中間奥行き特徴マップ及び第２画像的第１中間奥行き特徴マップをそれぞれコンテキストアウェアネスユニットに入力し、コンテキストアウェアネスユニットにより、異なる第２膨張率で各第１中間奥行き特徴マップに対して膨張畳み込み処理を行い、第１画像の第１中間特徴マップに対応する複数のスケールの第２中間特徴マップ、及び第２画像の第１中間特徴マップに対応する複数のスケールの第２中間特徴マップを得る。
【００６２】
Ｓ２０４において、前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得る。
【００６３】
本願の実施例において、ステップＳ２０３の処理結果に基づいて、更に、第１画像の各スケールの第２中間奥行き特徴マップを接続することができる。例えば、チャネル方向で接続を行う。続いて、接続により得られた接続奥行きマップに対して畳み込み処理を行う。該プロセスは、各第２中間奥行き特徴マップ内の奥行き特徴を更に融合することができる。また、畳み込み処理された接続奥行きマップのスケールは、第１画像の第１中間奥行き特徴マップのスケールと同じである。対応的に、第２画像の各スケールの第２中間奥行き特徴マップを接続することができる。例えば、チャネル方向で接続を行う。続いて、接続により得られた接続奥行きマップに対して畳み込み処理を行う。該プロセスは、各第２中間奥行き特徴マップ内の奥行き特徴を更に融合することができる。また、畳み込み処理された接続奥行きマップのスケールは、第２画像の第１中間奥行き特徴マップのスケールと同じである。
【００６４】
続いて、畳み込み処理された特徴マップと対応する第１中間奥行き特徴マップに対して、例えば要素を対応的に加算するのような加算処理を行い、加算結果に対して畳み込み処理を行い、第１画像及び第２画像の第１奥行きマップをそれぞれ得る。
【００６５】
上記設定により、奥行き抽出モジュールの全過程を実現させることができ、第１画像及び第２画像の奥行き情報の抽出及び最適化プロセスを実現させることができる。本願の実施例は、多分岐型コンテキストアウェアネスユニットを導入することで、ネットワークモデルを増大させることなく、豊かな複数のスケール特徴を取得することができる。ネットワーク構造が簡単で実行速度が速いという特徴を有する。
【００６６】
ステップＳ２０において、前記第１画像及び第２画像の画像情報及び奥行き情報を含む第２特徴マップを得ることもできることに留意されたい。該プロセスは、奥行き抽出モジュールによる処理プロセスに基づいて得られる。奥行き抽出モジュールにおいて、少なくとも１回の第３畳み込み処理を実行することができる。ここで、少なくとも１層の第３畳み込み処理により、画像特徴を融合した奥行きマップを得ることができる。つまり、第１画像の画像特徴及び奥行き特徴を融合した第２特徴マップ、及び第２画像の画像特徴及び奥行き特徴を融合した第２特徴マップを得る。
【００６７】
ステップＳ２０を実行した後、得られた各特徴に対して特徴融合処理を行うことができる。図７は、本願の実施例による画像処理方法のステップＳ３０を示すフローチャートである。前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ること（ステップＳ３０）は、以下を含んでもよい。
【００６８】
Ｓ３１において、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得る。
【００６９】
本願の実施例のニューラルネットワークは、上記特徴情報の融合処理を実行するための融合ネットワークモジュールを更に備えてもよい。図８は、本願の実施例による融合ネットワークモジュールを示すブロック図である。ここで、第１画像、第１画像の第１奥行きマップ、第１画像の第１特徴マップ及び第１画像の第２特徴マップに対する融合処理の結果に基づいて、第１画像の融合特徴マップを得て、第２画像、第２画像の第１奥行きマップ、第２画像の第１特徴マップ及び第２画像の第２特徴マップに対する融合処理の結果に基づいて、第２画像の融合特徴マップを得ることができる。
【００７０】
幾つかの実施例において、上述したように、本願のニューラルネットワークは、特徴融合モジュールＣを更に備えてもよい。該特徴融合モジュールＣにより、特徴情報に対して更に融合及び最適化を行うことができる。
【００７１】
まず、本願の実施例は、両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、両眼画像における各画像の中間特徴マップを得ることができる。つまり、第１画像のキャリブレーションマップ及びマスクマップを利用して第１画像の中間融合特徴を得て、第２画像のキャリブレーションマップ及びマスクマップを利用して第２画像の中間融合特徴を得る。ここで、キャリブレーションマップは、奥行き情報によりキャリブレーション処理された特徴マップを指す。マスクマップは、画像の第１特徴マップにおける特徴情報の採択度を表す。以下、キャリブレーションマップ及びマスクマップの取得プロセスを説明する。
【００７２】
図９は、本願の実施例による画像処理方法のステップＳ３１を示すフローチャートである。ここで、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、以下を含む。
【００７３】
Ｓ３１１において、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得る。
【００７４】
本願の実施例は、第１画像の奥行き特徴を利用して第２画像のアライメント（ｗａｒｐ）処理を行い、第１画像のキャリブレーションマップを得る。第２画像の奥行き特徴を利用して第１画像のアライメント（ｗａｒｐ）処理を行い、第２画像のキャリブレーションマップを得る。
【００７５】
ここで、アライメント処理プロセスは、下記式により実現される。
【００７６】
第１奥行き特徴＝基線＊焦点距離／画素ズレ特徴
ここで、基線は、第１画像と第２画像を取得する２つのカメラ間の距離を表す。焦点距離は、２つのカメラの焦点距離を指す。上記方式により、第１画像の第１奥行きマップに基づいて、該第１奥行きマップに対応する第１画素ズレ特徴を決定し、第２画像の第１奥行きマップに基づいて、該第１奥行きマップに対応する第２画素ズレ特徴を決定することができる。ここの画素ズレ特徴は、第１奥行きマップにおける各画素点の奥行き特徴に対応する画素値の偏差を指す。本願の実施例は、該偏差を利用して画像に対してアライメント処理を行うことができる。つまり、第１画像の第１奥行きマップに対応する第１画素ズレ特徴を第２画像に作用することで、第１画像のキャリブレーションマップを得て、第２画像の第１奥行きマップに対応する第２画素ズレ特徴を第１画像に作用することで、第２画像のキャリブレーションマップを得る。
【００７７】
ここで、第１画像の第１奥行きマップに対応する第１画素ズレ量を得た後、該第１画素ズレ量に応じて、第２画像に対してアライメント処理を行うことができる。つまり、第２画像の画素特徴と第１画素ズレ量を加算し、第１画像のキャリブレーションマップを得る。該第２画素ズレ量に応じて、第１画像に対してアライメント処理を行う。つまり、第１画像の対応する画素特徴と第２画素ズレ量を加算し、第１画像のキャリブレーションマップを得る。
【００７８】
Ｓ３１２において、両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得る。
【００７９】
各画像のキャリブレーションマップを得た後、各画像と対応するキャリブレーションマップに対して差分処理を行い、該差分処理の結果を利用してマスクマップを得る。
【００８０】
ここで、第１画像と第１画像のキャリブレーションマップとの差は、
【００８１】
【数１】
2021530056.tif 000003
【００８２】
で表されてもよい。第２画像と第２画像のキャリブレーションマップとの差は、
【００８３】
【数２】
2021530056.tif 000004
【００８４】
で表されてもよい。ただし、
【００８５】
【数３】
2021530056.tif 000005
【００８６】
は、第１画像と第１画像のキャリブレーションマップとの第１差のキャリブレーションマップである。
【００８７】
【数４】
2021530056.tif 000006
【００８８】
は、第１画像を表す。
【００８９】
【数５】
2021530056.tif 000007
【００９０】
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
【００９１】
【数６】
2021530056.tif 000008
【００９２】
は、第２画像と第２画像のキャリブレーションマップとの第２差である。
【００９３】
【数７】
2021530056.tif 000009
【００９４】
は、第２画像を表す。
【００９５】
【数８】
2021530056.tif 000010
【００９６】
は、第２画像のキャリブレーションマップを表す。
【００９７】
上記プロセスにより、第１画像と第１画像のキャリブレーションマップとの差を得ることができる。例えば、第１差及び第２差を得る。該第１差及び第２差は、それぞれ行列形式であってもよく、第１画像及び第２画像の各画素点の偏差を表すことができる。この場合、特徴融合モジュールにおけるマスクネットワークモジュールにより、該差を最適化し、第１画像及び第２画像の特徴情報に対応する採択度行列、即ち、対応するマスクマップを出力する。
【００９８】
ここで、前記第１画像と第１画像のキャリブレーションマップとの第１差に基づいて、第１画像のマスクマップを得て、前記第２画像と第２画像のキャリブレーションマップとの第２差に基づいて、第２画像のマスクマップを得ることができる。前記第１画像のマスクマップは、前記第１画像の第１特徴マップにおける特徴情報の採択度を表し、前記第２画像のマスクマップは、第２画像の第１特徴マップにおける特徴情報の採択度を表す。
【００９９】
図８に示すように、第１画像とそのキャリブレーションマップとの第１差に対して畳み込み処理を行う。例えば、２回の畳み込み処理を行う。畳み込み処理の結果とオリジナル第１差を加算する。続いて、畳み込み処理を行い、第１画像の各特徴情報に対応する採択度の行列（マスクマップ）を最終的に出力する。該採択度行列は、第１画像の各画素点の第１特徴情報の採択度を表すことができる。なお、第２画像とそのキャリブレーションマップとの第２差に対して畳み込み処理を行う。例えば、２回の畳み込み処理を行う。畳み込み処理の結果とオリジナル第２差を加算する。続いて、畳み込み処理を行い、第２画像の各特徴情報に対応する採択度の行列（マスクマップ）を最終的に出力する。該採択度行列は、第２画像の各画素点の第１特徴情報の採択度を表すことができる。該採択度は、０から１の間の任意の数値であってもよい。設計又はモデルの訓練方式によって、該数値が大きいほど、採択度が高くなることであってもよく、数値が小さいほど、採択度が高くなることであってもよく、本願は、これを具体的に限定するものではない。
【０１００】
Ｓ３２において、前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得る。
【０１０１】
本願の実施例は、例えば、キャリブレーションマップ、マスクマップ及び両眼画像のような得られた上記情報を利用して、特徴融合を行い、中間融合特徴マップを得ることもできる。
【０１０２】
幾つかの実施例において、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることができる。ここで、第１所定の方式の表現式は、
【０１０３】
【数９】
2021530056.tif 000011
【０１０４】
である。
【０１０５】
ただし、
【０１０６】
【数１０】
2021530056.tif 000012
【０１０７】
は、第１画像の中間融合特徴を表す。
【０１０８】
【数１１】
2021530056.tif 000013
【０１０９】
は、対応する要素の乗算を表す。
【０１１０】
【数１２】
2021530056.tif 000014
【０１１１】
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
【０１１２】
【数１３】
2021530056.tif 000015
【０１１３】
は、第１画像のマスクマップを表す。
【０１１４】
第２所定の方式の表現式は、
【０１１５】
【数１４】
2021530056.tif 000016
【０１１６】
である。
【０１１７】
ただし、
【０１１８】
【数１５】
2021530056.tif 000017
【０１１９】
は、第２画像の中間融合特徴を表す。
【０１２０】
【数１６】
2021530056.tif 000018
【０１２１】
は、対応する要素の乗算を表す。
【０１２２】
【数１７】
2021530056.tif 000019
【０１２３】
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後に得られたキャリブレーションマップを表す。
【０１２４】
【数１８】
2021530056.tif 000020
【０１２５】
は、第２画像のマスクマップを表す。
【０１２６】
Ｓ３３において、前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得る。
【０１２７】
更に、本願の実施例は、２つの画像の第１奥行きマップの特徴融合プロセスを実行することもできる。ここで、第１画像の第１奥行きマップ及び第１画像の第２特徴マップを利用して、第１画像の奥行き特徴融合マップを得る。つまり、画像情報及び特徴情報を含む第１画像の第２特徴マップと第１奥行きマップに対して少なくとも１回の畳み込み処理を行い、各奥行き情報及びビュー情報を更に融合し、奥行き特徴融合マップを得る。
【０１２８】
対応的に、前記第２画像の第１奥行きマップ及び第２画像の第２特徴マップを利用して、第２画像の奥行き特徴融合マップを得る。つまり、ビュー情報及び特徴情報を含む第２画像の第２特徴マップと第１奥行きマップに対して少なくとも１回の畳み込み処理を行い、各奥行き情報及びビュー情報を更に融合し、奥行き特徴融合マップを得る。
【０１２９】
Ｓ３４において、前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得る。
【０１３０】
ここで、前記第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、前記第１画像の融合特徴マップを得て、前記第２画像の第１特徴マップ、第２画像の中間融合特徴マップ及び第２画像の奥行き特徴融合マップの接続結果に基づいて、前記第２画像の融合特徴マップを得ることができる。
【０１３１】
本願の実施例において、各第１特徴マップ、中間融合特徴マップ及び奥行き特徴融合マップを得た後、上記情報に対して、例えば、チャネル方向での接続のような接続を行い、対応するビューの融合特徴マップを得ることができる。
【０１３２】
上記方式で得られた融合特徴マップに、最適化処理された奥行き情報、ビュー情報、及び奥行き情報とビュー情報を融合した中間融合特徴が含まれる。対応するステップＳ４０において、融合特徴マップの畳み込み処理を更に行い、両眼画像に対応する最適化された両眼画像を得ることができる。ここで、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記第１画像の融合特徴マップに対して畳み込み処理を行い、前記最適化された第１画像を得て、前記第２画像の融合特徴マップに対して畳み込み処理を行い、前記最適化された第２画像を得ることを含む。
【０１３３】
Ｓ４０により、スケールがオリジナル両眼画像とマッチングする最適化画像を得ることができるだけでなく、各特徴を更に融合し、情報の精度を向上させることができる。
【０１３４】
画像ボケの原因は、非常に複雑であり、例えば、カメラブレ、焦点外れ、物体の高速運動などである。従来の画像編集ツールにとって、このような複雑なぼやけた画像を復元することが非常に困難である。
【０１３５】
本願の実施例は、上記技術的課題を克服し、両眼スマートフォンによる撮像に適用可能である。該方法により、ブレ又は高速運動による画像ボケを除去し、鮮明なピクチャを得ることができ、ユーザに、より好適な撮影体験を与える。なお、本願の実施例は、飛行機、ロボット又は自動運転視覚システムにも適用可能である。ブレ又は高速運動による画像ボケを除去することができ。得られた鮮明なピクチャは、例えば、障害物回避システム、ＳＬＡＭ再構成システムなどのような他の視覚システムがより良好な性能を発揮するのに寄与する。
【０１３６】
本願の実施例の方法は、車両のビデオモニタリング補助解析にも適用可能である。該方法は、高速運動によるボケに対する除去性能を大幅に向上させる。高速運動中の車両の、例えばナンバープレート番号及び運転者の外貌情報のような情報をより正確に捕捉することができる。
【０１３７】
要するに、本願の実施例は、両眼画像を入力として、両眼画像における第１画像及び第２画像に対してそれぞれ特徴抽出処理を行い、対応する第１特徴マップを得て、第１画像及び第２画像の奥行きマップを得ることができる。続いて、両眼画像の第１特徴と奥行き値を融合し、第１画像及び第２画像の画像情報及び奥行き情報を含む特徴を得る。該特徴は、より豊かなピクチャ情報を含み、且つ空間変動によるボケに対して、より高いロバスト性を有する。最後に、融合特徴をボケ除去処理の最適化処理し、鮮明な両眼画像を得る。
【０１３８】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
【０１３９】
本願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
【０１４０】
本願は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
【０１４１】
図１０は、本願の実施例による画像処理装置を示すブロック図である。図１０に示すように、前記画像処理装置は、両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュール１０と、前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュール２０と、前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュール３０と、前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュール４０と、を備える。
【０１４２】
幾つかの可能な実現形態において、前記特徴抽出モジュールは、前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得て、前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得て、前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得るように構成される画像特徴抽出モジュールを備える。
【０１４３】
幾つかの可能な実現形態において、前記画像特徴抽出モジュール更に、第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得るように構成される。
【０１４４】
幾つかの可能な実現形態において、前記画像特徴抽出モジュールは更に、それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得るように構成される。
【０１４５】
幾つかの可能な実現形態において、前記画像特徴抽出モジュールは更に、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得て、前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行い、前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得るように構成される。
【０１４６】
幾つかの可能な実現形態において、前記特徴抽出モジュールは、前記第１画像と第２画像を組み合わせ、組み合わせビューを形成し、前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得て、前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得て、前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得るように構成される奥行き特徴抽出モジュールを更に備える。
【０１４７】
幾つかの可能な実現形態において、前記奥行き特徴抽出モジュールは更に、第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得るように構成される。
【０１４８】
幾つかの可能な実現形態において、前記奥行き特徴抽出モジュールは更に、それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得るように構成される。
【０１４９】
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得て、前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得て、前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得て、前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得るように構成される。
【０１５０】
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得て、両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得るように構成される。
【０１５１】
幾つかの可能な実現形態において、前記特徴融合モジュールは更に、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得るように構成される。
【０１５２】
幾つかの可能な実現形態において、前記第１所定の方式の表現式は、
【０１５３】
【数１９】
2021530056.tif 000021
【０１５４】
であり、ただし、
【０１５５】
【数２０】
2021530056.tif 000022
【０１５６】
は、第１画像の中間融合特徴を表す。
【０１５７】
【数２１】
2021530056.tif 000023
【０１５８】
は、対応する要素の乗算を表す。
【０１５９】
【数２２】
2021530056.tif 000024
【０１６０】
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表す。
【０１６１】
【数２３】
2021530056.tif 000025
【０１６２】
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【０１６３】
【数２４】
2021530056.tif 000026
【０１６４】
であり、
ただし、
【０１６５】
【数２５】
2021530056.tif 000027
【０１６６】
は、第２画像の中間融合特徴を表す。
【０１６７】
【数２６】
2021530056.tif 000028
【０１６８】
は、対応する要素の乗算を表す。
【０１６９】
【数２７】
2021530056.tif 000029
【０１７０】
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表す。
【０１７１】
【数２８】
2021530056.tif 000030
【０１７２】
は、第２画像のマスクマップを表す。
【０１７３】
幾つかの可能な実現形態において、前記最適化モジュールは更に、前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得るように構成される。
【０１７４】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【０１７５】
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
【０１７６】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【０１７７】
本願の実施例は、コンピュータプログラム製品を開示する。前記コンピュータプログラム製品は、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、前記いずれか１つの方法を実現させる。
【０１７８】
図１１は本願の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。図１１を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。
【０１７９】
処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。
【０１８０】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【０１８１】
電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【０１８２】
マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インターフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【０１８３】
オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【０１８４】
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間のインターフェースを提供する。上記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【０１８５】
センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【０１８６】
通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。
【０１８７】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【０１８８】
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
【０１８９】
図１２は、本願の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１２を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。ぞれは１つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。
【０１９０】
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインターフェース１９５０と、入力出力（Ｉ／Ｏ）インターフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）ＴＭ、Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
【０１９１】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。
【０１９２】
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【０１９３】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【０１９４】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
【０１９５】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
【０１９６】
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【０１９７】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
【０１９８】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現させる。
【０１９９】
図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。
【０２００】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【図１】
2021530056.tif 000051
【図２】
2021530056.tif 000052
【図３】
2021530056.tif 000053
【図４】
2021530056.tif 000054
【図５】
2021530056.tif 000055
【図６】
2021530056.tif 000056
【図７】
2021530056.tif 000057
【図８】
2021530056.tif 000058
【図９】
2021530056.tif 000059
【図１０】
2021530056.tif 000060
【図１１】
2021530056.tif 000061
【図１２】
2021530056.tif 000062
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、前記方法は、
両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む、画像処理方法。
【請求項２】
前記両眼画像の第１特徴マップを取得することは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることと、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることと、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることは、
第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることを含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることは、
それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得ることを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項５】
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることは、
前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得ることと、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行うことと、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得ることと、を含むことを特徴とする
請求項２から４のうちいずれか一項に記載の方法。
【請求項６】
前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成することと、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることと、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることと、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得ることと、を含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。
【請求項７】
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることは、
第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得ることを含むことを特徴とする
請求項６に記載の方法。
【請求項８】
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることは、
それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得ることを含むことを特徴とする
請求項６又は７に記載の方法。
【請求項９】
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることは、
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることと、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることと、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得ることと、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得ることと、を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。
【請求項１０】
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、
両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得ることと、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得ることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項１１】
前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることは、
第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得ることと、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項１２】
前記第１所定の方式の表現式は、
【数３１】
2021530056.tif 000063
であり、ただし、
【数３２】
2021530056.tif 000064
は、第１画像の中間融合特徴を表し、
【数３３】
2021530056.tif 000065
は、対応する要素の乗算を表し、
【数３４】
2021530056.tif 000066
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
【数３５】
2021530056.tif 000067
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【数３６】
2021530056.tif 000068
であり、ただし、
【数３７】
2021530056.tif 000069
は、第２画像の中間融合特徴を表し、
【数３８】
2021530056.tif 000070
は、対応する要素の乗算を表し、
【数３９】
2021530056.tif 000071
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
【数４０】
2021530056.tif 000072
は、第２画像のマスクマップを表すことを特徴とする
請求項１１に記載の方法。
【請求項１３】
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得ることを含むことを特徴とする
請求項１から１２のうちいずれか一項に記載の方法。
【請求項１４】
画像処理装置であって、前記装置は、
両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える、画像処理装置。
【請求項１５】
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリとを備え、
前記プロセッサは、請求項１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項１６】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項１７】
コンピュータプログラムであって、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、請求項１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本願の実施例の第５態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサに、第１態様におけるいずれか一項に記載の方法を実現させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像処理方法であって、前記方法は、
両眼画像を取得することであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、ことと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることと、を含む、画像処理方法。
（項目２）
前記両眼画像の第１特徴マップを取得することは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることと、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることと、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることは、
第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得ることを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得ることは、
それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得ることを含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得ることは、
前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得ることと、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行うことと、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得ることと、を含むことを特徴とする
項目２から４のうちいずれか一項に記載の方法。
（項目６）
前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得することは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成することと、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることと、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることと、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得ることと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得ることは、
第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得ることを含むことを特徴とする
項目６に記載の方法。
（項目８）
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得ることは、
それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得ることを含むことを特徴とする
項目６又は７に記載の方法。
（項目９）
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得ることは、
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることと、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることと、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得ることと、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得ることと、を含むことを特徴とする
項目１から８のうちいずれか一項に記載の方法。
（項目１０）
前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得ることは、
両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得ることと、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得ることと、を含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記両眼画像における各画像に対応する前記キャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得ることは、
第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得ることと、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得ることと、を含むことを特徴とする
項目９に記載の方法。
（項目１２）
前記第１所定の方式の表現式は、
【数３１】
2021530056.tif 000073
であり、ただし、
【数３２】
2021530056.tif 000074
は、第１画像の中間融合特徴を表し、
【数３３】
2021530056.tif 000075
は、対応する要素の乗算を表し、
【数３４】
2021530056.tif 000076
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
【数３５】
2021530056.tif 000077
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【数３６】
2021530056.tif 000078
であり、ただし、
【数３７】
2021530056.tif 000079
は、第２画像の中間融合特徴を表し、
【数３８】
2021530056.tif 000080
は、対応する要素の乗算を表し、
【数３９】
2021530056.tif 000081
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
【数４０】
2021530056.tif 000082
は、第２画像のマスクマップを表すことを特徴とする
項目１１に記載の方法。
（項目１３）
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得ることは、
前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得ることを含むことを特徴とする
項目１から１２のうちいずれか一項に記載の方法。
（項目１４）
画像処理装置であって、前記装置は、
両眼画像を取得するように構成される取得モジュールであって、前記両眼画像は、同一の対象に対して同一のシーンで撮られた第１画像及び第２画像を含む、取得モジュールと、
前記両眼画像の第１特徴マップ、前記両眼画像の第１奥行きマップ、及び前記両眼画像の画像特徴と奥行き特徴を融合した第２特徴マップを取得するように構成される特徴抽出モジュールと、
前記両眼画像、前記両眼画像の第１特徴マップ、第１奥行きマップ及び前記第２特徴マップに対して特徴融合処理を行い、前記両眼画像の融合特徴マップを得るように構成される特徴融合モジュールと、
前記両眼画像の融合特徴マップに対して最適化処理を行い、ボケ除去処理された両眼画像を得るように構成される最適化モジュールと、を備える、画像処理装置。
（項目１５）
前記特徴抽出モジュールは、
前記第１画像及び第２画像に対してそれぞれ第１畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得て、
前記第１画像及び第２画像の前記第１中間特徴マップに対してそれぞれ第２畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する複数のスケールの第２中間特徴マップを得て、
前記第１画像及び第２画像の各スケールの第２中間特徴マップに対してそれぞれ残差処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１特徴マップを得るように構成される画像特徴抽出モジュールを備えることを特徴とする
項目１４に記載の装置。
（項目１６）
前記画像特徴抽出モジュール更に、第１所定畳み込みカーネル及び第１畳み込みステップ幅を利用して前記第１画像及び第２画像に対してそれぞれ畳み込み処理を行い、前記第１画像及び第２画像にそれぞれ対応する第１中間特徴マップを得るように構成されることを特徴とする
項目１５に記載の装置。
（項目１７）
前記画像特徴抽出モジュールは更に、それぞれ所定の複数の異なる第１膨張率で、前記第１画像及び第２画像の前記第１中間特徴マップに対して畳み込み処理を行い、該複数の第１膨張率にそれぞれ対応する第２中間特徴マップを得るように構成されることを特徴とする
項目１５又は１６に記載の装置。
（項目１８）
前記画像特徴抽出モジュールは更に、前記第１画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第１接続特徴マップを得て、第２画像の複数のスケールの第２中間特徴マップをそれぞれ接続して第２接続特徴マップを得て、
前記第１接続特徴マップ及び第２接続特徴マップに対してそれぞれ畳み込み処理を行い、
前記第１画像の第１中間特徴マップと畳み込み処理された第１接続特徴マップに対して加算処理を行い、前記第１画像の第１特徴マップを得て、前記第２画像の第１中間特徴マップと畳み込み処理された第２接続特徴マップに対して加算処理を行い、前記第２画像の第１特徴マップを得るように構成されることを特徴とする
項目１５から１７のうちいずれか一項に記載の装置。
（項目１９）
前記特徴抽出モジュールは、
前記第１画像と第２画像を組み合わせ、組み合わせビューを形成し、
前記組み合わせビューに対して少なくとも１層の第３畳み込み処理を行い、第１中間奥行き特徴マップを得て、
前記第１中間奥行き特徴マップに対して第４畳み込み処理を行い、複数のスケールの第２中間奥行き特徴マップを得て、
前記第２中間奥行き特徴マップと前記第１中間奥行き特徴マップに対して残差処理を行い、前記第１画像及び第２画像の第１奥行きマップをそれぞれ得て、いずれか１層の第３畳み込み処理により、前記第２特徴マップを得るように構成される奥行き特徴抽出モジュールを更に備えることを特徴とする
項目１４から１８のうちいずれか一項に記載の装置。
（項目２０）
前記奥行き特徴抽出モジュールは更に、第２所定畳み込みカーネル及び第２畳み込みステップ幅を利用して前記組み合わせビューに対して少なくとも１回の畳み込み処理を行い、前記第１中間奥行き特徴マップを得るように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
前記奥行き特徴抽出モジュールは更に、それぞれ所定の複数の異なる第２膨張率で、前記第１中間奥行き特徴マップに対して畳み込み処理を行い、該複数の第２膨張率にそれぞれ対応する第２中間奥行き特徴マップを得るように構成されることを特徴とする
項目１９又は２０に記載の装置。
（項目２２）
前記特徴融合モジュールは更に、前記両眼画像における第１画像の第１奥行きマップに基づいて、第２画像に対して、キャリブレーション処理を行い、前記第１画像のマスクマップを得て、前記両眼画像における第２画像の第１奥行きマップに基づいて、第１画像に対して、キャリブレーション処理を行い、前記第２画像のマスクマップを得て、
前記両眼画像における各画像に対応するキャリブレーションマップ及びマスクマップに基づいて、前記両眼画像における各画像の中間融合特徴をそれぞれ得て、
前記両眼画像における各画像の第１奥行きマップ及び第２特徴マップに基づいて、前記両眼画像における各画像の奥行き特徴融合マップを得て、
前記両眼画像における各画像の第１画像の第１特徴マップ、第１画像の中間融合特徴マップ及び第１画像の奥行き特徴融合マップの接続結果に基づいて、対応的に各画像の前記融合特徴マップを得るように構成されることを特徴とする
項目１４から２１のうちいずれか一項に記載の装置。
（項目２３）
前記特徴融合モジュールは更に、両眼画像における第１画像の第１奥行きマップを利用して第２画像に対してアライメント処理を行い、前記第１画像のキャリブレーションマップを得て、前記第２画像の第１奥行きマップを利用して前記第１画像に対してアライメント処理を行い、前記第２画像のキャリブレーションマップを得て、
両眼画像における各画像と対応するキャリブレーションマップとの差異に基づいて、前記第１画像及び第２画像のマスクマップをそれぞれ得るように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記特徴融合モジュールは更に、第１所定の方式で、第１画像のキャリブレーションマップ及び前記第１画像のマスクマップに基づいて、前記第１画像の中間融合特徴マップを得て、
第２所定の方式で、前記第２画像のキャリブレーションマップ及び前記第２画像のマスクマップに基づいて、前記第２画像の中間融合特徴マップを得るように構成されることを特徴とする
項目２２に記載の装置。
（項目２５）
前記第１所定の方式の表現式は、
【数４１】
2021530056.tif 000083
であり、ただし、
【数４２】
2021530056.tif 000084
は、第１画像の中間融合特徴を表し、
【数４３】
2021530056.tif 000085
は、対応する要素の乗算を表し、
【数４４】
2021530056.tif 000086
は、第１画像の第１奥行きマップを利用して第２画像のアライメント処理を行った後の結果を表し、
【数４５】
2021530056.tif 000087
は、第１画像のマスクマップを表し、
前記第２所定の方式の表現式は、
【数４６】
2021530056.tif 000088
であり、ただし、
【数４７】
2021530056.tif 000089
は、第２画像の中間融合特徴を表し、
【数４８】
2021530056.tif 000090
は、対応する要素の乗算を表し、
【数４９】
2021530056.tif 000091
は、第２画像の第１奥行きマップを利用して第１画像のアライメント処理を行った後の結果を表し、
【数５０】
2021530056.tif 000092
は、第２画像のマスクマップを表すことを特徴とする
項目２４に記載の装置。
（項目２６）
前記最適化モジュールは更に、前記両眼画像の融合特徴マップに対してそれぞれ畳み込み処理を行い、前記ボケ除去処理された両眼画像を得るように構成されることを特徴とする
項目１４から２３のうちいずれか一項に記載の装置。
（項目２７）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリとを備え、
前記プロセッサは、項目１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２８）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、項目１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目２９）
コンピュータプログラム製品であって、コンピュータプログラム命令を含み、前記コンピュータプログラム命令がプロセッサにより実行される場合、項目１から１３のうちいずれか一項に記載の方法を実現させる、コンピュータプログラム製品。
【国際調査報告】
2021530056.tif 000093
2021530056.tif 000094
2021530056.tif 000095
2021530056.tif 000096