(57)【要約】【課題】本発明は、画像処理装置、方法及び記憶媒体を提供する。【解決手段】かかる装置は、ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得するユニット；前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得するユニットであって、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示するユニット；及び、前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練するユニットであって、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なすユニットを含む。【選択図】図１
2020135879.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する装置であって、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得する第一訓練ユニット；
前記ラベル有り入力画像及び取得された前記深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得する第二訓練ユニットであって、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示する第二訓練ユニット；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練する第三訓練ユニットであって、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なす第三訓練ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記第一訓練ユニットは、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記深度ネットワークを訓練する、装置。
【請求項３】
請求項1に記載の装置であって、
前記第二訓練ユニットは、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記信頼度ネットワークを訓練する、装置。
【請求項４】
請求項3に記載の装置であって、
前記深度画像の推定深度と実深度との間の相対誤差に基づいて前記信頼度ネットワークの信頼度画像を取得する、装置。
【請求項５】
請求項1又は4に記載の装置であって、
前記信頼度ネットワークにより前記ラベル無し入力画像の信頼度画像を予測する、装置。
【請求項６】
請求項5に記載の装置であって、
前記ラベル無し入力画像の画素について、前記ラベル無し入力画像の信頼度画像における、所定閾値よりも大きい領域の推定深度を前記ラベル無し入力画像の疑似実深度とする、装置。
【請求項７】
請求項1に記載の装置であって、
前記第三訓練ユニットは、前記ラベル有り入力画像及び前記ラベル無し入力画像の深度画像の推定深度と実深度との間の距離を同時に最適化する、装置。
【請求項８】
請求項1に記載の装置であって、
前記ラベル有り入力画像及び前記ラベル無し入力画像がシングルカラー画像である、装置。
【請求項９】
画像を処理する方法であって、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得し；
前記ラベル有り入力画像及び取得された前記深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得し、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示し；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練し、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なすことを含む、方法。
【請求項１０】
コンピュータに、請求項9に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョンの技術分野に関し、特に、シングル（single-frame）画像から深度推定を行う画像処理装置及び方法に関する。
【背景技術】
【０００２】
シングル画像から深度推定を行うことが、コンピュータビジョンの分野で非常に重要な課題の１つであり、その目的は、画像中の各画素に１つの深さを割り当てることにある。画像の深度情報を正確に推定することができれば、シーンにおける物体間の空間位置情報を得ることができ、これは、シーンに対する理解及び３次元再構成にとても有利である。
【０００３】
深度の推定は、通常、有教師有り学習の方法により実現され、言い換えれば、画像及びその対応する実深度マップ（real  depth  map）を用いてモデルを訓練する必要がある。畳み込みニューラルネットワークが、教師有り学習を行うに非常に有効なモデルである。近年、畳み込みニューラルネットワークに基づく方法により、深度推定の精度が大幅に向上している。しかし、これらの深度ネットワークを訓練するに大量のラベル有りサンプルを要する。シーンの実深度を直接取得し得るためのカメラ、例えば、Kinectが存在しても、依然として、手間と時間がかなりかかる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実深度データ取得のコストが高い問題を解決するために、本発明の目的は、信頼度学習に基づく半教師有りの深度推定技術案を提供することにある。本発明による半教師有りの深度推定技術案は、まず、実深度を有するデータにより、１つの信頼度モデルを訓練し、該モデルは、入力される深度が正確な信頼度であるかを予測することができ、出力される信頼性マップにおける或る位置の信頼度が高いほど、該位置における深度の推定が実深度に近い。その後、実深度を有しないデータについて、該信頼度モデルによりその推定深度の信頼度を予測し、そして、深度マップ上で信頼度が比較的高い位置における推定深度を疑似実深度として選択する。最後に、次の反復(iteration)において、疑似実深度を有するデータ及び実深度を有するデータの両方により深度推定のネットワークを訓練する。完全な教師有り技術案に比べ、実深度を有するデータの量が同じである前提で、本発明による半教師有り技術案は、より良いパフォーマンスを得ることができ、これにより、大量の実深度への依存を軽減することができる。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、画像処理装置が提供され、それは、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得する第一訓練ユニット；
前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得する第二訓練ユニットであって、前記信頼度画像は、前記深度画像の推定深度が実深度に近い領域を指示する第二訓練ユニット；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練する第三訓練ユニットであって、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、且つ前記疑似実深度を前記ラベル無し入力画像の実深度と見なす第三訓練ユニットを含む。
【０００６】
本発明の他の側面によれば、画像処理方法が提供され、それは、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得し；
前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得し、前記信頼度画像は、前記深度画像の推定深度が実深度に近い領域を指示し；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練し、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、且つ前記疑似実深度を前記ラベル無し入力画像の実深度と見なすことを含む。
【０００７】
本発明の他の側面によれば、プログラムプロダクトが提供され、該プログラムプロダクトは、マシン可読指令コードを含み、そのうち、前記指令コードは、コンピュータにより読み取られて実行されるときに、前記コンピュータに、本発明による画像処理方法を実行させることができる。
【０００８】
本発明の他の側面によれば、マシン可読記憶媒体が提供され、その中には、本発明によるプログラムプロダクトが含まれている。
【０００９】
上述の信頼度学習に基づく半教師有り方法を用いることにより、推定深度の信頼度を予測することができ、これにより、ラベル無しデータの信頼可能な領域を取得することができる。また、これらのラベル無しデータ及びラベル有りデータの両方により深度推定モデルを訓練することもできる。完全な教師有り方法に比べ、本発明による半教師有り方法は、より良いパフォーマンスを得ることができ、これにより、大量のラベル有り訓練データへの依存を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例における画像処理装置の構成図である。
【図２】本発明の一実施例における信頼度モデル訓練システムの構成図である。
【図３】本発明の一実施例における画像処理方法のフローチャートである。
【図４】本発明の実施例における画像処理装置及び方法を実現し得る汎用コンピュータの例示的な構成図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１２】
実深度データ取得のコストが高い問題を解決するために、本発明は、信頼度学習に基づく半教師有りの深度推定方法を提供する。半教師有りとは、訓練画像データのうち、一部の画像が実深度を有し、一部の画像が実深度を有しないことを指す。
【００１３】
本発明による深度推定方法の技術思想は、まず、実深度を有するデータにより、１つの信頼度モデルを訓練し、該信頼度モデルは、入力される深度が正確な信頼度であるかを予測することができ、そのうち、出力される信頼性マップにおける或る位置の信頼度が高いほど、該位置における深度の推定値が実深度に近く；その後、実深度を有しないデータについて、該信頼度モデルによりその推定深度の信頼度を予測し、そして、深度マップ上で信頼度が比較的高い位置における推定深度を、実深度を有しないデータの疑似実深度とし；最後に、次の反復において、疑似実深度を有するデータ及び実深度を有するデータの両方により、深度推定のネットワークを訓練することにある。
【００１４】
完全な教師有り方法に比べ、実深度を有するデータの量が同じである前提で、本発明による半教師有りの深度推定方法は、より良いパフォーマンスを得ることができ、そのため、大量の実深度への依存を軽減することができる。
【００１５】
本発明の一実施例によれば、画像処理装置が提供される。前記画像処理装置は、第一訓練ユニットであって、ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得するもの；前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得する第二訓練ユニットであって、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示するもの；及び、第三訓練ユニットであって、前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練するものを含む。そのうち、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、且つ前記疑似実深度を前記ラベル無し入力画像の実深度と見なす。
【００１６】
図1に示すように、本実施例における画像処理装置100は、第一訓練ユニット101、第二訓練ユニット102及び第三訓練ユニット103を含んでも良い。
【００１７】
第一訓練ユニット101は、ラベル有り入力画像（実深度を有する画像）を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の推定深度画像を得ることができる。続いて、第二訓練ユニット102は、前記ラベル有り入力画像及び取得された推定深度画像を用いて信頼度ネットワークを訓練することで、信頼度画像を取得し、前記信頼度画像は、前記推定深度画像の推定深度が実深度に近い領域を指示する。その後、第三訓練ユニット103は、前記ラベル有り入力画像及びラベル無し入力画像の両方を用いて前記深度ネットワークを訓練することができる。そのうち、前記推定深度画像及び前記信頼度画像により、前記ラベル無し入力画像の疑似実深度を取得し、且つ前記疑似実深度を前記ラベル無し入力画像の実深度と見なす。
【００１８】
図2に示すように、本実施例における画像処理装置は、２つのネットワーク、即ち、深度ネットワーク及び信頼度ネットワークを訓練するために用いられる。深度ネットワークの入力が例えばカラー画像又はグレースケール画像であり、出力が推定の深度画像であっても良い。信頼度ネットワークの入力がカラー画像及び推定の深度画像であり、出力が信頼度画像であっても良い。信頼度画像では、各位置における信頼度（例えば、0-1の間の数値）が、推定の深度画像中の該位置における推定深度とその実深度との間の接近程度（approaching  degree）を表す。信頼度が大きいほど、両者が互いに近く、即ち、推定の深度が実深度に近い。逆に、信頼度が小さいほど、両者が互いに近づかなく、即ち、推定の深度が正確でない。言い換えると、信頼度画像が教師有り情報とされても良く、実深度を有しない画像について、深度ネットワークにより出力される推定深度画像上で深度が実深度に近い位置を取得しても良い。その後、これらの位置における推定深度を、実深度を有しない画像の疑似実深度とする（即ち、これらの疑似実深度を、実深度を有しない画像の実深度とする）ことで、深度推定における実深度を有する訓練サンプルを増加させることができる。
【００１９】
本発明の一実施例では、前記第一訓練ユニット101は、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化することで、前記深度ネットワークを訓練することができる。
【００２０】
言い換えると、前記第一訓練ユニット101は、教師有り学習を採用し、即ち、前記ラベル有り（実深度有り）の入力画像について前記深度ネットワークを訓練する。深度ネットワークの訓練の目標は、その出力の深度を、入力画像の実深度に等しくするためである。
【００２１】
例えば、本発明の一実施例によれば、前記第一訓練ユニット101の教師有り学習の損失関数Lsupは、以下のように、推定深度と実深度との間のユークリッド距離と表すことができる。
【数１】
2020135879.tif 000003
【００２２】
そのうち、nは、第n個目の入力画像を示し、pは、画素の位置を示し、Dnは、第n個目の入力画像Inの実深度を示し、Enは、該第n個目の入力画像Inの推定深度を表す。ここで、本当業者が理解すべきは、前記教師有り学習の損失関数の定義が例示に過ぎず、本発明は、これに限定されない。
【００２３】
その後、本発明の一実施例によれば、前記第二訓練ユニット102は、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化することで前記信頼度ネットワークを訓練することができる。
【００２４】
ここで、信頼度ネットワークの訓練も教師有り学習である。前記信頼度ネットワークにより出力される信頼度は、深度ネットワーク出力の推定深度の正確性を反映することができる。信頼度が高いほど、対応する推定深度の精度が高い。逆に、信頼度が低いほど、対応する推定深度の精度が低い。この目標を実現するために、以下のように、実信頼度Yを、推定深度と実深度との間の相対誤差により表すことができる。
【数２】
2020135879.tif 000004
【００２５】
そのうち、αは、定数であり、pは、画素の位置を表し、nは、第n個目の入力画像を表し、Dnは、第n個目の入力画像Inの実深度を表し、Enは、第n個目の入力画像Inの推定深度を表す。ここで、当業者が理解すべきは、リアルな信頼度を表す上記公式(2)が例示に過ぎず、本発明は、公式(2)に限られない。
【００２６】
本発明の一実施例では、画素位置における信頼度（例えば、0-1の間の数値）は、推定の深度画像中で該画素位置上の推定深度とその実深度との間の接近程度を表すために用いられる。例えば、第n個目の入力画像の、第p個目の画素におけるリアルな信頼度Yn(p)=1は、該画像における該画素の推定の深度がリアルな深度に等しいことを表すことができる。言い換えると、本実施例によれば、画素位置における信頼度が1に近いほど、該画素位置における推定の深度がその実深度に近い。また、当業者が理解すべきは、本発明の一実施例によれば、前記深度画像の推定深度と実深度との間の相対誤差に基づいて前記信頼度ネットワークの信頼度画像を得ることができる。本発明の他の実施例によれば、絶対誤差などの他の方式を用いても良く、通常、次のような２つの条件を満足すれば良く、即ち、信頼度が0-1の間にあり、及び、信頼度と誤差との間の関係が反比例であり、言い換えると、誤差が小さいほど、信頼度が大きい。そうすると、信頼度ネットワークを訓練する損失関数Lconfは、以下のように表すことができる。
【数３】
2020135879.tif 000005
【００２７】
そのうち、nは、第n個目の入力画像を示し、pは、画素の位置を示し、Cnは、信頼度ネットワークにより出力される信頼度画像である。ここで、当業者が理解すべきは、上述の信頼度ネットワークを訓練する損失関数が例示に過ぎず、本発明は、これに限られない。
【００２８】
また、当業者が理解すべきは、通常の深度推定が教師有り学習方式を採用し、即ち、訓練プロセスで実深度を有する場合に対応する。これに対して、本発明による半教師有り学習方式の深度推定は、一部の訓練データが実深度を有しない場合に対応する。
【００２９】
本発明の一実施例によれば、前記信頼度ネットワークにより、前記ラベル無し（実深度を有しない）入力画像の信頼度画像を予測することができる。
【００３０】
本実施例によれば、信頼度ネットワークの訓練は、前記信頼度ネットワーク出力の信頼度ができるだけリアルな信頼度に接近するようにさせることで、入力される任意の推定深度画像（実深度を有しない画像）についても、その信頼性のある信頼度画像を得ることができる。信頼度画像から、推定の深度画像における深度が正確である位置を判断することができ、これらの位置における推定の深度は、実深度を有しない画像の疑似実深度とされる。即ち、これらの疑似実深度を、前記実深度を有しない画像の実深度と見なすことで、深度推定における実深度を有する訓練サンプルを増加させることができる。
【００３１】
続いて、本発明の一実施例によれば、前記第三訓練ユニット103は、前記ラベル有り入力画像（実深度を有する画像）と、前記ラベル無し入力画像（実深度を有しない画像）との深度画像の推定深度と実深度との間の距離を同時に最適化することができる。
【００３２】
言い換えると、本発明は、半教師有り（一部の訓練データが実深度を有しない）方法により、深度ネットワークを訓練することができ、本発明の一実施例によれば、前記深度ネットワークを訓練する損失関数Ldepは、以下のように、教師有り訓練のための損失関数Lsup及び半教師有り訓練のための損失関数Lsemiの両者を含んでも良い。
【数４】
2020135879.tif 000006
【００３３】
そのうち、λは、両者のバランスを取るための係数（重み）である。なお、当業者は、実際の経験に基づいてこの係数を設定することができる。
【００３４】
本発明による半教師有りの訓練プロセスは、実深度及び疑似実深度を有するデータを同時に採用して訓練を行っても良く、これにより、深度推定の訓練サンプルを拡張することができる。
【００３５】
以上、教師有り訓練について説明した。以下、半教師有り訓練の、教師有り訓練との相違点について説明するが、教師有り訓練と同じである内容の記載を省略する。
【００３６】
例えば、実深度を有しない入力画像Imについて、まず、深度ネットワークによりその推定の深度画像
（外１）
2020135879.tif 000007
を取得する。その後、訓練済みの信頼度ネットワークにより、信頼度画像Cmを取得することができる。信頼度画像Cmから、深度画像
（外２）
2020135879.tif 000008
における深度推定が正確な位置を得ることができる。最後に、これらの位置における推定の深度を、実深度を有しない入力画像Imの疑似実深度とする。
【００３７】
本発明の一実施例によれば、前記ラベル無し（実深度を有しない）入力画像の画素について、前記ラベル無し入力画像の信頼度画像における、所定閾値よりも大きい領域の推定深度を、前記ラベル無し入力画像の疑似実深度とすることができる。
【００３８】
例えば、当業者が経験に基づいて１つの信頼度の閾値Tを設定し、その後、信頼度が該閾値Tよりも高い領域を取得し、そして、信頼可能な領域とし、また、次のように２値化のマスクと表すことができる。
【００３９】
初期化：Bm=0；マスク生成：Bm（Cm＞T）=1    （5）
よって、実深度を有しない画像Imについて、該方法により、マスクに基づく深度推定結果
（外３）
2020135879.tif 000009
を記録することができ、そのうち、Bmが1に等しい位置で、
（外４）
2020135879.tif 000010
のこれらの位置における推定深度を疑似実深度とする（即ち、実深度を有しない画像の実深度とする）。そうすると、半教師有り学習に基づく損失関数Lsemiは、以下のように、マスクのユークリッド距離と表すことができる。
【数５】
2020135879.tif 000011
【００４０】
そのうち、mは、第m個目の入力画像を表し、pは、画素の位置を表し、Emは、深度ネットワークにより出力される推定深度である。該公式(6)を最適化するときに、
（外５）
2020135879.tif 000012
が定数と見なされても良い。実深度を有しない画像Imについて、マスクに基づく推定結果
（外６）
2020135879.tif 000013
が訓練中に絶えず更新される。深度ネットワーク及び信頼度ネットワークが絶えず訓練されるにつれて、深度推定結果及び信頼度推定結果も次第に正確なり、これは、
（外７）
2020135879.tif 000014
の結果も次第に正確になることを意味する。よって、それは、訓練中に絶えず更新される必要がある。言い換えると、現在の反復において記録される
（外８）
2020135879.tif 000015
が次の半教師有り学習に用いられる。なお、当業者が理解すべきは、半教師有り訓練の損失関数が例示に過ぎず、本発明は、これに限定されない。
【００４１】
本発明の一実施例によれば、深度ネットワーク及び信頼度ネットワークは、畳み込み構造を有する複数のネットワークにより実現することができる。訓練のステップが以下の通りである。
【００４２】
ステップ1：教師有り訓練を行い、それは、実深度を有するデータを用いて、例えば、公式(1)を最適化することで深度ネットワークを訓練し、且つ同時に例えば公式(3)を最適化することで信頼度ネットワークを訓練する。該訓練プロセスは、N1回の反復を行っても良い。
【００４３】
ステップ2：マスクに基づく疑似実深度を記録し、そのうち、実深度を有しないデータImについて、まず、深度ネットワークによりその推定深度マップ
（外９）
2020135879.tif 000016
を取得し、その後、信頼度ネットワークによりその信頼性マップCmを取得し、最後に、Cmを2値化することでマスクBmを取得し、そして、
（外１０）
2020135879.tif 000017
を記録する。
【００４４】
ステップ3：半教師有り訓練を行い、それは、実深度を有するデータ及び記録された疑似実深度を有するデータを用いて、例えば公式(4)を最適化することで深度ネットワークを訓練し、また、実深度を有するデータを用いて、例えば公式(3)を最適化することで信頼度ネットワークを訓練する。該訓練プロセスは、N2回の反復を行っても良い。
【００４５】
ステップ2及びステップ3は、N3回繰り返す。
【００４６】
本発明による半教師有り方法によれば、実深度及び疑似実深度を有するデータを同時に採用して訓練することで、深度推定の訓練サンプルを拡張することができる。
【００４７】
以下、図3をもとに本発明の実施例における画像処理方法を説明する。図3に示すように、本発明の実施例における画像処理方法は、ステップS310でスタートする。
【００４８】
ステップS310では、ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得する。
【００４９】
続いて、ステップS320では、前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練して信頼度画像を取得し、前記信頼度画像は、前記深度画像の推定深度が実深度に近い領域を指示する。
【００５０】
その後、ステップS330では、前記ラベル有り入力画像及びラベル無し入力画像の両方を用いて前記深度ネットワークを訓練し、そのうち、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なす。
【００５１】
本発明の一実施例における画像処理方法は、さらに、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化することで、前記深度ネットワークを訓練するステップを含む。
【００５２】
本発明の一実施例における画像処理方法は、さらに、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化することで、前記信頼度ネットワークを訓練するステップを含む。
【００５３】
本発明の一実施例における画像処理方法は、さらに、前記深度画像の推定深度と実深度との間の相対誤差に基づいて、前記信頼度ネットワークの信頼度画像を得るステップを含む。
【００５４】
本発明の一実施例における画像処理方法は、さらに、前記信頼度ネットワークにより、前記ラベル無し入力画像の信頼度画像を予測するステップを含む。
【００５５】
本発明の一実施例における画像処理方法は、さらに、前記ラベル無し入力画像の画素について、前記ラベル無し入力画像の信頼度画像中の、所定閾値よりも大きい領域の推定深度を、前記ラベル無し入力画像の疑似実深度とするステップを含む。
【００５６】
本発明の一実施例における画像処理方法は、さらに、前記ラベル有り入力画像及び前記ラベル無し入力画像の深度画像の推定深度と実深度との間の距離を同時に最適化するステップを含む。
【００５７】
本発明の一実施例における画像処理方法は、そのうち、前記ラベル有り入力画像及び前記ラベル無し入力画像がシングルフレームのカラー画像である。
【００５８】
なお、本発明の実施例における画像処理方法における上述のステップの各種の具体的な実施方式について前に既に詳細に説明したので、ここでは、その重複説明を省略する。
【００５９】
もちろん、本発明による画像処理方法における各操作のプロセスは、各種のマシン可読記憶媒体に記憶されているコンピュータ可実行プログラムにより実現されても良い。
【００６０】
また、本発明の目的は、次のような方式で実現されても良く、即ち、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接的にシステム又は装置に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（CPU）により上述プログラムコードを読み出して実行する。このときに、該システム又は装置がプログラムを実行し得る機能を有すれば、本発明の実施方式は、プログラムに限定されず、また、該プログラムは、任意の形式であっても良く、例えば、オブジェクト指向プログラム、インタープリター実行可能なプログラム、OSに提供されるスクリプトプログラムなどであっても良い。
【００６１】
また、上述の一連の処理などは、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ、例えば、図4に示す汎用マシン1300（例えば、コンピュータ）に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能などを実行することができる。
【００６２】
図4は、本発明の実施例における方法や装置を実現し得る汎用マシン1300の構成ブロック図である。汎用マシン1300は、例えば、コンピュータシステムであっても良い。なお、汎用マシン1300は、例示に過ぎず、本発明による方法及び装置の応用範囲又は機能について限定しない。また、汎用マシン1300は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【００６３】
図4では、中央処理装置（CPU）1301は、ROM  1302に記憶されているプログラム又は記憶部1308からRAM  1303にロッドされているプログラムに基づいて各種の処理を行う。RAM  1303では、ニーズに応じて、CPU  1301が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU  1301、ROM  1302及びRAM  1303は、バス1304を経由して互いに接続される。入力／出力インターフェース1305もバス1304に接続される。
【００６４】
また、入力／出力インターフェース1305には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部1306、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部1307、ハードディスクなどを含む記憶部1308、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部1309である。通信部1309は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。
【００６５】
ドライブ1310は、ニーズに応じて、入力／出力インターフェース1305に接続されても良い。取り外し可能な媒体1311、例えば、半導体メモリなどは、必要に応じて、ドライブ1310にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部1308にインストールすることができる。
【００６６】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【００６７】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【００６８】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【００６９】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【００７０】
（付記1）
画像処理装置であって、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得する第一訓練ユニット；
前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得する第二訓練ユニットであって、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示する第二訓練ユニット；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練する第三訓練ユニットであって、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なす第三訓練ユニットを含む、装置。
【００７１】
（付記2）
付記1に記載の装置であって、
前記第一訓練ユニットは、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記深度ネットワークを訓練する、装置。
【００７２】
（付記3）
付記1に記載の装置であって、
前記第二訓練ユニットは、前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記信頼度ネットワークを訓練する、装置。
【００７３】
（付記4）
付記3に記載の装置であって、
前記深度画像の推定深度と実深度との間の相対誤差に基づいて前記信頼度ネットワークの信頼度画像を取得する、装置。
【００７４】
（付記5）
付記1又は付記4に記載の装置であって、
前記信頼度ネットワークにより前記ラベル無し入力画像の信頼度画像を予測する、装置。
【００７５】
（付記6）
付記5に記載の装置であって、
前記ラベル無し入力画像の画素について、前記ラベル無し入力画像の信頼度画像における、所定閾値よりも大きい領域の推定深度を前記ラベル無し入力画像の疑似実深度とする、装置。
【００７６】
（付記7）
付記1に記載の装置であって、
前記第三訓練ユニットは、前記ラベル有り入力画像及び前記ラベル無し入力画像の深度画像の推定深度と実深度との間の距離を同時に最適化する、装置。
【００７７】
（付記8）
付記1に記載の装置であって、
前記ラベル有り入力画像及び前記ラベル無し入力画像がシングルカラー画像である、装置。
【００７８】
（付記9）
画像処理方法であって、
ラベル有り入力画像を用いて深度ネットワークを訓練し、前記ラベル有り入力画像の深度画像を取得し；
前記ラベル有り入力画像及び取得された深度画像を用いて信頼度ネットワークを訓練し、信頼度画像を取得し、前記信頼度画像は前記深度画像の推定深度が実深度に近い領域を指示し；及び
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練し、前記深度画像及び前記信頼度画像を用いて前記ラベル無し入力画像の疑似実深度を取得し、前記疑似実深度を前記ラベル無し入力画像の実深度と見なすことを含む、方法。
【００７９】
（付記10）
付記9に記載の方法であって、
前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記深度ネットワークを訓練する、方法。
【００８０】
（付記11）
付記9に記載の方法であって、
前記ラベル有り入力画像の画素について、前記深度画像の推定深度と実深度との間の距離を最適化して前記信頼度ネットワークを訓練する、方法。
【００８１】
（付記12）
付記11に記載の方法であって、
前記深度画像の推定深度と実深度との間の相対誤差に基づいて前記信頼度ネットワークの信頼度画像を取得する、方法。
【００８２】
（付記13）
付記9又は付記12に記載の方法であって、
前記信頼度ネットワークにより前記ラベル無し入力画像の信頼度画像を予測する、方法。
【００８３】
（付記14）
付記13に記載の方法であって、
前記ラベル無し入力画像の画素について、前記ラベル無し入力画像の信頼度画像における、所定閾値よりも大きい領域の推定深度を前記ラベル無し入力画像の疑似実深度とする、方法。
【００８４】
（付記15）
付記9に記載の方法であって、
前記ラベル有り入力画像及びラベル無し入力画像を用いて前記深度ネットワークを訓練することは、前記ラベル有り入力画像及び前記ラベル無し入力画像の深度画像の推定深度と実深度との間の距離を同時に最適化することを含む、方法。
【００８５】
（付記16）
付記9に記載の方法であって、
前記ラベル有り入力画像及び前記ラベル無し入力画像がシングルカラー画像である、方法。
【００８６】
（付記17）
プログラムプロダクトであって、
マシン可読指令コードを含み、
前記指令コードは、コンピュータにより読み取られて実行されるときに、前記コンピュータンに付記9-16のうちの任意の1項に記載の方法を実行させる、プログラムプロダクト。
【００８７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2020135879.tif 000018
【図２】
2020135879.tif 000019
【図３】
2020135879.tif 000020
【図４】
2020135879.tif 000021