(57)【要約】  撮像方法は、露出範囲を決定すること、及び、露出範囲外の露出不足の画像を撮像する為の少なくとも１つのカメラパラメータを設定することを含む。露出不足の画像は、ニューラルネットワークを使用して処理され、画像詳細を回復する。カメラ又は被写体の動きボケによる画像欠陥を減少することができる。【選択図】  図５
2022501982.tif 000002
【特許請求の範囲】
【請求項１】
撮像方法であって、
露出範囲を決定するステップと、
前記露出範囲外の露出不足の画像を撮像する為の少なくとも１つのカメラパラメータを設定するステップと、
ニューラルネットワークを使用して前記露出不足の画像を処理し、画像詳細を回復するステップと、
を含むことを特徴とする方法。
【請求項２】
前記カメラパラメータが開口であることを特徴とする請求項１に記載の方法。
【請求項３】
前記カメラパラメータが画像センサ感度であることを特徴とする請求項１に記載の方法。
【請求項４】
前記カメラパラメータがシャッタ速度であることを特徴とする請求項１に記載の方法。
【請求項５】
露出不足が動きボケ又は被写体ボケを減少させることを特徴とする請求項１に記載の方法。
【請求項６】
露出不足が改善された長距離撮像を提供することを特徴とする請求項１に記載の方法。
【請求項７】
露出不足がフレームレートを増加させることを特徴とする請求項１に記載の方法。
【請求項８】
露出不足が改善されたバーストモード撮像を提供することを特徴とする請求項１に記載の方法。
【請求項９】
露出不足が超画像安定化を提供することを特徴とする請求項１に記載の方法。
【請求項１０】
露出不足が増加したダイナミックレンジ撮像を提供することを特徴とする請求項１に記載の方法。
【請求項１１】
露出不足が光レベルを減少させることを特徴とする請求項１に記載の方法。
【請求項１２】
露出不足が放射線を減少させることを特徴とする請求項１に記載の方法。
【請求項１３】
画像改良方法であって、
センサを有するセンサシステムの為のアナログ設定を決定するステップと、
前記センサにより画像データを収集するステップと、
前記センサにより提供された以前のデータ上でトレーニングされたニューラルネットワークを使用してノイズを減少し、収集された前記画像データから画像詳細を回復するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記アナログ設定がニューラルネットワークのトレーニング応答を改善する為に調整されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記アナログ設定が画像を露出不足にする為に調整されることを特徴とする請求項１３に記載の方法。
【請求項１６】
ニューラルネットワーク処理後に画像が圧縮されることを特徴とする請求項１３に記載の方法。
【請求項１７】
アナログ及びデジタル組み合わせシステム内の総システムゲインを改善するシステムであって、
一連のアナログ及びデジタル処理手順によって処理される画像データを収集するように構成されたセンサを有するセンサシステムと、
前記センサ又はセンサ型により提供された以前のデータ上でトレーニングされてノイズを減少し、アナログ増幅後の収集された前記画像データから画像詳細を回復するニューラルネットワークと、
を含むことを特徴とするシステム。
【請求項１８】
アナログ増幅設定がニューラルネットワークのトレーニング応答を改善する為に調整されることを特徴とする請求項１７に記載のシステム。
【請求項１９】
アナログ増幅設定が画像を露出不足にする為に調整されることを特徴とする請求項１７に記載のシステム。
【請求項２０】
ニューラルネットワーク処理後に前記画像データが圧縮されることを特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本出願は、２０１８年９月１３日に出願された米国仮特許出願第６２／７３０，７９９号及び２０１９年５月７日に出願された米国仮特許出願第６２／８４４，４９６号に対する優先権を主張するものであり、これらの文献は、全ての目的において全体が参照により本明細書に援用される。
【０００２】
本開示は、畳み込みニューラルネットワークを使用して露出不足の写真画像の解像度を向上させるシステムに関する。特に、画像品質の低下を最小限に抑えた上で、必要な開シャッタ時間を減少させ、必要な開口寸法を減少させ、又はセンサ感度を低下させる方法が記載されている。
【背景技術】
【０００３】
低光環境は、カメラセンサを適切に露出させて使用可能な画像を提供する為に十分な利用可能な光を提供しないことが多い。そのような低光写真は、センサ光感度を増加し、開口寸法を増加し、露出時間を延長し、又はフラッシュ又は他の人工照明を提供することにより、改善することができる。残念ながら、これらの解決策のそれぞれは、既知の問題を有する。センサ感度を増加するとセンサノイズが増幅する。開口寸法を増加することは、大きくて重く、高価なレンズを必要とする。露出時間を延長することは、手ぶれによる動きボケ、ローリングシャッタ方式のせん断アーティファクト、及び被写体動きボケをもたらすことがある。フラッシュ照明は高価であり、設置が困難であり、人又は被写体の不自然な露出過度の出現をもたらすことが多い。
【０００４】
低光画像の出現を改善する為に様々なコンピュータ処理技術が適用されてきた。例えば、ヒストグラム均等化及びガンマ補正等の単純な技術は、明るい領域へ影響を限定して暗い領域の輝度を増加することが多い。ノイズ除去及びボケ除去はそれぞれ、ノイズ及び動きアーティファクトを減少する為に使用することができる。例えば、照明マップ推定(illumination map estimation)、ウェーブレット変換処理 (wavelet transform processing)、又は、画像のヘイズ除去の前の逆暗チャンネル(inverse dark channel prior for image dehazing)を使用した画像レベル分析及び処理は全て、低光画像を改善することができる。
【０００５】
機械知能後処理を使用して不十分に又は下手に撮影された低光カメラ画像を復旧する為に様々な試みが行われている。例えば、コンピュータの視覚及びパターン認識に関する会議（ＣＶＰＲ２０１８年）（ａｒＸｉｖ：１８０５．０１９３４ [ｃｓ．ＣＶ]）（２０１８年５月４日）で発表されたチェン  チェン、キフェン  チェン、ジア  シュー、ブラドレン  コルトゥンによる論文「暗所で見ることの学習(Learning to See in the Dark)」には、低光画像の直接的単一画像処理の為の完全な畳み込みニューラルネットワークの使用が記載されている。
【０００６】
より複雑な機械知能処理の例として、ユーキ  エンドウ、ヨシヒロ  カナモリ、及びジュン  ミタニによる論文「ディープリバーストーンマッピング(Deep Reverse Tone Mapping)」ＡＣＭグラフィックス会報（ＳＩＧＧＲＡＰＨアジア２０１７年公表）３６、６、第１７７項（２０１７年１１月）には、露出過度又は露出不足の低ダイナミックレンジ画像を使用し、ニューラルネットワークを使用して処理し、自然に出現する高ダイナミックレンジ画像を合成することが記載されている。同様に、シン  ヤン等の論文「ディープ回帰性ＨＤＲ変換を介した画像補正(Image Correction via Deep Reciprocating HDR Transformation)」（ａｒＸｉｖ：１８０４．０４３７１ [ｃｓ．ＣＶ]）（２０１８年４月１２日発表）には、露出が不十分な画像を再構築する為の二重ニューラルネットワークによるカメラの露出不足／露出過度の補正が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、上記課題を解決する方法及びシステムを提供することである。
【課題を解決するための手段】
【０００８】
撮像方法は、露出範囲を決定すること、及び、露出範囲外の露出不足の画像を撮像する為の少なくとも１つのカメラパラメータを設定することを含む。露出不足の画像は、ニューラルネットワークを使用して処理され、画像詳細を回復する。カメラ又は被写体の動きボケによる画像欠陥を減少することができる。
【０００９】
他の実施形態において、画像改良方法は、センサを有するセンサシステムのアナログ設定を決定するステップ、及びセンサにより画像データを収集するステップを含む。センサにより提供された以前のデータ上でトレーニングされたニューラルネットワークは、ノイズを減少し、収集された画像データから画像詳細を回復する為に使用することができる。
【００１０】
１つの実施形態において、アナログ設定は、ニューラルネットワークのトレーニング応答を改善する為に調整される。
【００１１】
１つの実施形態において、アナログ設定は、画像を露出不足にする為に調整される。
【００１２】
１つの実施形態において、ニューラルネットワーク処理後に画像が圧縮される。
【００１３】
１つの実施形態において、アナログ及びデジタル組み合わせシステム内の総システムゲインを改善するシステムは、画像データを収集するように構成されたセンサを有するセンサシステムを含み、画像データは一連のアナログ及びデジタル処理手順によって処理される。ニューラルネットワークは、センサ型又はセンサにより提供された以前のデータ上でトレーニングされてノイズを減少し、アナログ増幅後の収集された画像データから画像詳細を回復する。いくつかの実施形態において、ニューラルネットワーク処理は、デジタル増幅前に実行することができ、又は代替的に、アナログ増幅及び若干のデジタル増幅後に実行することができる。
【００１４】
本開示の非限定的及び非包括的な実施形態は、以下の図を参照して説明され、これらの図において、同一の参照符号は、特段の指定がない限り、全ての図を通して同一の部分を指す。
【図面の簡単な説明】
【００１５】
【図１】カメラ画像撮像機能を改善する方法を示す図である。
【図２】ニューラルネットワーク処理を示す図である。
【図３】ニューラルネットワーク処理の他の実施形態を示す図である。
【図４Ａ】データセットの選択されたニューラルネットワークのノイズ除去を示す図である。
【図４Ｂ】データセットの選択されたニューラルネットワークのノイズ除去を示す図である。
【図４Ｃ】データセットの選択されたニューラルネットワークのノイズ除去を示す図である。
【図４Ｄ】データセットの選択されたニューラルネットワークのノイズ除去を示す図である。
【図５】カメラセンサ処理手順の実施形態を示す図である。
【図６】制御、撮像、及び表示サブシステムを有するシステムを示す図である。
【図７】ニューラルネットワークのトレーニング手順の１つの実施形態を示す図である。
【図８】実施形態の総システムゲインに対する信号対ノイズ比を示すグラフである。
【発明を実施するための形態】
【００１６】
全ての撮像システム及びセンサは、通常動作中に生成される多少の関連ノイズを有する。低光環境（例えば、低環境ルクス、高速シャッタ、又は小さい開口）においてよく見られるようなノイズ環境において、このノイズはデジタル化信号の主要部分となる。残念ながら、多くの従来及び最新のコンピュータによる画像認識アルゴリズム（例えば、物体又は顔識別、視覚的走行距離計測法(visual odometry)、視覚的同時位置決め地図作成(visual SLAM)、又は画像安定化）は、高ノイズ環境において機能しないことがある。画像ノイズを減少し、画像詳細を回復するアルゴリズム及びシステムは、通常機能しない環境においてもこれらのアルゴリズムが機能することを可能にする必要がある。
【００１７】
ノイズの減少は、機械知能ベースの画像処理の利益を得ることができる。最新の学習ベースのアルゴリズムは、トレーニングされたこれらのデータ配信セットにおいて非常によく機能する。機械学習アルゴリズムがこの配信外のデータを提示された場合、又は敵対的な例を使用した場合、これらのアルゴリズムの正確性、速度、及び他の性能評価尺度が損なわれる。画像又はデータセット内の画像センサノイズを大幅に減少出来る場合、画像又はデータセットを処理する学習アルゴリズムの性能劣化はより少なくなる。
【００１８】
ノイズに関する他の問題は、ノイズが結果として、ほぼ圧縮不可能な高エントロピー情報になることである。このことは、ノイズ環境又は状態で撮像された画像において、このシステム又はセンサストレージ媒体の圧縮比が大幅に減少されることを意味する。圧縮ファイルサイズは、通常動作条件下で同等の信号を収集した場合と比べてより大きなサイズに通常なる。
【００１９】
ノイズを減少し、通常光又は低光状態における画像精度及び詳細の回復を改善し、圧縮比を改善する為に、ニューラルネットワークを使用し、潜在的信号を回復することができる。要するに、ここに開示されているシステム及びニューラルネットワークにより処理された媒体は、画像品質が改善され、より大きな範囲で圧縮され、その結果、より小さなファイルサイズとなり、ストレージ又は帯域幅利用を減少することができる。有利なことに、正しく露出された画像でさえもこの処理ステップから利益を得ることができる。
【００２０】
図１に図示されているように、１つの実施形態において、ニューラルネットワーク処理を使用してノイズを減少し、低光カメラ撮像能力を改善するシステム及び方法１００はまず、理想的な露出又は露出範囲を決定すること（ステップ１１０）に依存する。第２のステップ１１２において、少なくとも１つの意図的に露出不足な画像が撮像される。第３のステップ１１４において、この画像がニューラルネットワーク又は他の機械知能システムを使用して処理され、システム全体の品質を改善する。最後に、ステップ１１６において、実際又は推定の画像品質に基づいて、他のカメラ動作の機能パラメータを調整することができる。例えば、低光状態に通常関連付けられる高ＩＳＯ設定の代わりに、低ＩＳＯ設定を使用することができる。他の例としては、動画アプリケーションおいて、フレームレートを増加することができる。
【００２１】
広範囲の静止画又は動画カメラが、本発明のシステム及び方法１００の使用により利益を得ることができる。カメラの種類は、限定されないが、静止画又は動画撮影能力を有する従来のデジタル一眼レフ（ＤＳＬＲ）カメラ、スマートフォン、タブレットのカメラ又はノートパソコンのカメラ、専用ビデオカメラ、ウェブカメラ、又は防犯カメラを含むことができる。いくつかの実施形態において、赤外線カメラ、熱探知カメラ、ミリ波撮像システム、Ｘ線又は他の放射線撮像装置等の専門のカメラを使用することもできる。実施形態は、赤外線、紫外線、又は他の波長を検出可能なセンサを有し、ハイパースペクトル画像処理を可能にするカメラを含むことができる。
【００２２】
カメラは、独立型、携帯用、又は固定システムであることができる。通常、カメラは、プロセッサ、メモリ、画像センサ、通信インタフェース、カメラ光学アクチュエータシステム、及びメモリストレージを含む。プロセッサは、カメラ光学センサシステムの動作等のカメラ全体の動作及び利用可能な通信インタフェースを制御する。カメラ光学センサシステムは、画像センサにより撮像された画像の露出制御等のカメラの動作を制御する。カメラ光学センサシステムは、固定レンズシステム又は調節可能なレンズシステム（例えば、ズーム及び自動フォーカス機能）を含むことができる。カメラは、取り外し可能なメモリカード、有線ＵＳＢ、又は無線データ転送システム等のメモリストレージシステムを保持することができる。
【００２３】
いくつかの実施形態において、ニューラルネットワーク処理は、専用ニューラルネットワーク処理システム、ノートパソコン、パソコン、サーバ、又はクラウドを含む遠隔計算資源へ画像データを転送した後に実施することができる。他の実施形態において、ニューラルネットワーク処理は、最適化ソフトウェア、ニューラル処理チップ、又は専用のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）システムを使用して、カメラ内で実施することができる。
【００２４】
いくつかの実施形態において、ニューラルネットワーク処理の結果は、物体認識、パターン認識、顔識別、画像安定化、ロボット又は車両走行距離計測及び位置決め、又はトラッキング又はターゲティングアプリケーションの為に開発されたものを含む他の機械学習又はニューラルネットワークシステムへの入力として使用することができる。有利なことに、そのようなニューラルネットワーク処理された画像正規化は、例えば、高ノイズ環境におけるコンピュータによる画像認識アルゴリズムの欠陥を減少し、ノイズに関連する特徴信頼性の減少により通常は欠陥が発生する環境においてもこれらのアルゴリズムが機能することを可能にすることができる。通常、この環境は、限定はされないが、低光環境、霧がかかった、ほこりっぽい、又は霞んだ環境、又はフラッシュ又はまぶしい光にさらされた環境を含むことができる。要するに、画像センサノイズがニューラルネットワーク処理により取り除かれ、それにより、その後の学習アルゴリズムの性能劣化が減少される。
【００２５】
特定の実施形態において、複数の画像センサは、上記ニューラルネットワーク処理と組み合わせてまとめて機能することができ、より広い動作及び検出エンベロープを可能にし、例えば、異なる光感度を有するセンサが協働して高ダイナミックレンジ画像を提供する。他の実施形態において、分離したニューラルネットワーク処理ノードを有する一連の光学又はアルゴリズム画像システムは、連結させることができる。さらに他の実施形態において、ニューラルネットワークシステムのトレーニングは、特定の撮像装置に関連する埋め込みコンポーネントとして動作する撮像システム全体から分離することができる。
【００２６】
露出は、センサの量子効率又はセンサの電子ウェルで収集される光子数の関数として定義することができる。収集される光子数は、現場の照明、光路の開口、及び露出時間により主に影響される。良好な露出は、アナログ−デジタル信号の中間範囲に近いと定義されている。特定の露出又は露出範囲の決定は、手動で、手動入力を含む半自動的、又は自動的に実行することができる。通常、露出は、1以上の開口、ＩＳＯ、又はシャッタ速度を設定することにより決定されるが、中性又は偏光フィルタ挿入のような露出時間に影響を与える他の改良も可能である。理想的な露出又は露出範囲が決定又は設定されると、カメラ入力（例えば、開口、ＩＳＯ、又はシャッタ速度）が意図的に調整されて画像センサを露出不足にする。露出不足は、開口の減少、ＩＳＯの減少、又はシャッタ速度の増加を含むことができる。他の露出関連設定は一定に維持されると仮定すると、開口制御による露出不足は２以上の絞り値(f-stop)の増加を含み、ＩＳＯによる露出不足は理想的な設定（例えば、ＩＳＯ３０００がＩＳＯ１００に設定される）の半分以下に設定することを含み、そして、シャッタ速度は２倍以上（例えば、１／６０秒が１／１０００秒に設定される）に設定される。上記から分かるように、これらの設定の様々な組み合わせを同時に調整することができる。
【００２７】
回帰ネットワーク、敵対的生成ネットワーク、又はディープ畳み込みネットワークを含む様々な型のニューラルネットワークを使用することができる。畳み込みニューラルネットワークは、ここに記載の画像処理アプリケーションにおいて特に有用である。図２から分かるように、畳み込みニューラルネットワーク２００は、単一の露出不足のＲＧＢ画像２１０を入力として受信することができる。ＲＡＷ方式が好ましいが、若干の品質低下を伴う圧縮ＪＰＧ画像を使用することもできる。画像は、従来のピクセル動作により事前に処理されることもでき、又は、トレーニングされた畳み込みニューラルネットワーク２００内に最小の改良を提供することもできる。
【００２８】
処理は、１以上の畳み込み層２１２、プーリング層２１４、完全接続層２１６を通して進み、改良された画像のＲＧＢ出力２１８で終わる。動作中、１以上の畳み込み層は、ＲＧＢ入力に畳み込み動作を行い、その結果を次の層に送信する。畳み込み後、ローカル又はグローバルプーリング層は、出力を次の層における単一又は少数のノードに組み合わせることができる。繰り返し畳み込み、又は一対の畳み込み／プーリングが可能である。出力前に、完全接続層２１６が１つの層内の全てのノードを他の層内の全てのノードに接続する。
【００２９】
特定のユーティリティのニューラルネットワークの１つの実施形態は、完全畳み込みニューラルネットワークである。完全畳み込みニューラルネットワークは、複数の畳み込み層から成り、通常ネットワークの端部にある完全接続層を有していない。有利なことに、完全畳み込みニューラルネットワークは、画像サイズが独立しており、トレーニングの為の入力として任意のサイズの画像を受け入れることができる。完全畳み込みニューラルネットワーク３００の例は、図３に図示されている。データは、２つの３ｘ３畳み込み（パディング無しの畳み込み）の繰返し適用を含む縮小パス上で処理され、それぞれランプ関数(rectified linear unit)（ＲｅＬＵ関数）及びダウンサンプリングの為のストライド２を含む２ｘ２最大プーリング動作が続く。各ダウンサンプリング工程において、特徴チャンネルの数が倍増する。拡張パスの全ての工程は、特徴マップのアップサンプリングから成り、特徴チャンネルの数を半減する２ｘ２畳み込み（逆畳み込み(up-convolution)）が続き、それに応じてトリミングされた２つの３ｘ３畳み込みを含む縮小パスからの特徴マップとの連結(concatenation)を提供し、それぞれＲｅＬＵ関数が続く。特徴マップのトリミングは、全ての畳み込みにおける縁ピクセルの損失を補償する。最終層には、１ｘ１畳み込みが使用され、６４成分の特徴ベクトルのそれぞれを所望の数のクラスにマッピングされる。上記のネットワークは２３個の畳み込み層を有するが、他の実施形態においては、より多くの又はより少ない畳み込み層を使用することもできる。トレーニングは、確率的勾配降下法を使用した対応するセグメンテーションマップにより、入力画像を処理することを含む。
【００３０】
ニューラルネットワーク処理に依拠するシステム及び方法の他の実施形態を採用することもできる。図４Ａに図示されているように、手順４００は、特定のセンサ又はセンサの型に特化したバイヤ画像データ４０２の使用を含む。ニューラルネットワーク処理４０４は、データ４０２のノイズを除去する為に使用され、ノイズ除去されたバイヤ画像４０６を提供する。当然のことながら、ニューラルネットワーク処理の動作及びトレーニングは、データ４０２作成に使用される特定のセンサ又はセンサの型に特化していることもできる。
【００３１】
図４Ｂに図示されているもう１つの実施形態において、手順４１０は、特定のセンサ又はセンサの型に特化したバイヤ画像データ４１２の使用を含む。ニューラルネットワーク処理４１４は、データ４１２のノイズを除去する為に使用され、ノイズ除去されたＲＧＢ画像４１６を提供する。当然のことながら、ニューラルネットワーク処理の動作及びトレーニングは、データ４１２作成に使用される特定のセンサ又はセンサの型に特化していることもできる。
【００３２】
図４Ｃに図示されているもう１つの実施形態において、手順４２０は、特定のセンサ又はセンサの型に特化したＲＧＢ画像データ４２２の使用を含む。ニューラルネットワーク処理４２４は、データ４２２のノイズを除去する為に使用され、ノイズ除去されたＲＧＢ画像４２６を提供する。当然のことながら、ニューラルネットワーク処理の動作及びトレーニングは、データ４２２作成に使用される特定のセンサ又はセンサの型に特化していることもできる。
【００３３】
図４Ｄに図示されているもう１つの実施形態において、手順４３０は、特定のセンサ又はセンサの型に特化したテンソルデータ４３２の使用を含む。ニューラルネットワーク処理４３４は、データ４３２のノイズを除去する為に使用され、ノイズ除去されたテンソルデータ４３６を提供する。当然のことながら、ニューラルネットワーク処理の動作及びトレーニングは、データ４３２作成に使用される特定のセンサ又はセンサの型に特化していることもできる。いくつかの実施形態において、ミリ波レーダシステム、マッピング圧力センサ、又は、テンソルデータセットを提供する他の適切なセンサを含む非光学的センサ又はシステムを使用することができる。
【００３４】
図５には、画像データを改良する為の撮像パイプライン５００の１つの実施形態が図示されている。画像のアナログ処理に影響を与える要因は、現場照明５０２、光路及び開口５０４、及び画像センサ５０６の特徴を含む。これらの要因の多くは、自動的に調整することができ、又は、後に続くニューラルネットワーク処理の有効性を改善する要因を好むように調整することができる。例えば、フラッシュ又は他の現場照明は、強度又は期間を増加することができ、又は、リダイレクトすることができる。フィルタは光路から除去され、開口はより広く開き、シャッタ速度は減少することができる。画像センサの効率又は増幅は、ＩＳＯ選択により調製することができる。
【００３５】
１つの実施形態において、低光画像は、アナログ−デジタル変換前に、これらのアナログ要因の１つ以上を増加することにより撮像されることができる。ノイズ又は他の不必要なアーティファクトは、アナログ−デジタル変換５０８及びＲＧＢ、ＲＡＷ、ＴＩＦＦ、ＪＰＧ等の適切なデータ構造５１０への変換後に続くニューラルネットワーク処理５１２により除去することができる。例えば、バイヤから得られたデータ構造は、結果として得られる寸法が空間的に半減し、深さが４倍になるように、色チャンネル深さをスタックするように定義されることができる。
【００３６】
画像信号プロセッサ５１４を使用した画像信号処理は、追加のデジタルスケーリング、トーンマッピング、ピクセル補正、デモザイク、ヘイズ除去等を含むことができる。いくつかの実施形態において、ニューラルネットワーク処理は、画像信号プロセッサ５１４上で実行することができ、他の実施形態においては、分離した処理コンポーネントを使用することもできる。処理された画像は、他の任意の適切な中間又は最終使用５１８に、記憶され、転送され、表示され、分類され、符号化され、又は提供されることができる。
【００３７】
図６は、撮像システム６０４及び表示システム６０６にそれぞれの制御信号を送信可能な制御及びストレージモジュール６０２を含むニューラルネットワークをトレーニングするシステム６００が図示されている。撮像システム６０４は、制御及びストレージモジュール６０２に処理された画像データを供給することができ、その上、表示システム６０６からプロファイリングデータを受信することもできる。
【００３８】
教師あり又は半教師ありのニューラルネットワークのトレーニングは、高品質のトレーニングデータを必要とする。そのようなデータを得る為に、システム６００は、自動撮像システムプロファイリングを提供する。制御及びストレージモジュール６０２は、表示システム６０６に伝送される校正データ及び未加工のプロファイリングデータを含む。校正データは、限定されないが、解像度、焦点、又はダイナミックレンジを評価するターゲットを含む。未加工のプロファイリングデータは、限定されないが、高品質撮像システム（参照システム）により撮像された自然又は人工の現場、及び手順通り生成された現場（数学的に得られた）を含むことができる。
【００３９】
表示システム６０６の例は、高品質電子ディスプレイである。ディスプレイは、輝度を調節する、又は、中性フィルタ(neutral density filter)等の物理的フィルタ素子により増加することができる。代替ディスプレイシステムは、バックライト又はフロントライトの光源のいずれかと共に使用される高品質参照プリント又はフィルタ素子を含むことができる。いずれにせよ、表示システムの目的は、撮像システムに伝送される様々な画像、又は一連の画像を生成することである。
【００４０】
プロファイリングされている撮像システムは、制御及びストレージコンピュータによりプログラムで制御され、表示システムの出力を撮像することができるように、プロファイリングシステムに統合される。開口、露出時間、及びアナログゲイン等のカメラパラメータは変更され、単一表示画像の複数の露出が得られる。結果として得られる露出は、制御及びストレージコンピュータに伝送され、トレーニングの目的で保持される。
【００４１】
システム全体は、光子「ノイズフロア」がプロファイリング中に知られているような、制御された照明環境内に配置される。
【００４２】
システム全体は、解像度限定要因が撮像システムとなるように設定される。このことは、限定されないが、撮像システムセンサピッチ、表示システムピクセル寸法、撮像システム焦点距離、撮像システム作動Ｆ値、センサピクセル数（横縦）、表示システムのピクセル数（縦横）を含むパラメータを考慮する数学的モデルにより達成される。要するに、個々のセンサ又はセンサモデルに正確に適合された高品質トレーニングデータを生成する為に、特定のセンサ、センサ型、又はセンサクラスをプロファイリングすることができる。
【００４３】
図７には、１組の入力の為の所望の出力を生成し、上記のノイズ又は低光画像データの撮像品質を改善することができるようにパラメータを操作することができるニューラルネットワークシステム７００の１つの実施形態が図示されている。ネットワークのパラメータを操作する方法の１つは、「教師ありトレーニング」によるものである。教師ありトレーニングにおいて、オペレータは、一対のソース／ターゲット７１０及び７０２をネットワークに提供し、目的関数と組み合わせた場合、あるスキーム（逆伝搬）に従ってネットワークシステム７００内のパラメータのいくらか又は全てを改良することができる。
【００４４】
図７に図示されている実施形態において、プロファイリングシステム、数学的モデル及び公共利用可能なデータセット等の様々なソースからの高品質トレーニングデータ（一対のソース７１０及びターゲット７０２）は、ネットワークシステム７００への入力の為に準備される。方法は、データパッケージ化ターゲット７０４及びソース７１２を含み、ラムダターゲット７０６及びソース７１４を処理する。
【００４５】
データパッケージ化は、１つ又は多数のトレーニングデータサンプルを収集し、決定されたスキームに従って正規化し、テンソル内のネットワークへの入力の為にデータを整理する。
【００４６】
ラムダ処理は、オペレータが、目的関数又はニューラルネットワークへの入力前のターゲットデータ又はソース入力を改良することを可能にする。このことは、データを増加し、あるスキームに従ってテンソルを拒絶し、テンソルに合成ノイズを追加し、アラインメント目的でデータに変形又はワープを実行し、又は画像データからデータラベルに変換する。
【００４７】
トレーニングされたネットワーク７１６は、実際には複数の出力が見られるが、少なくとも１つの入力及び出力を有し、それぞれが独自の目的関数を有し、相乗効果を有することができる。例えば、システムの総合目的は画像ノイズを減少することであるが、ノイズ減少性能は、テンソル内の物体を分類することを目的とする「分類ヘッド」出力を通して改善することができる。ターゲット出力データ７０８、ソース出力データ７１８、及び目的関数７２０は共に、ネットワーク損失の最小化を定義しており、その値は追加のトレーニング又はデータセット処理により改善することができる。
【００４８】
図８には、１つの実施形態の総システムゲインに対する信号対ノイズ比を示すグラフ８００である。グラフ８００から明らかなように、ノイズの増加及び信号対ノイズ比の減少という代償を払って、総システムゲイン又は増幅を増加することができる。信号の増幅は、アナログ増幅（又はゲイン）又はデジタル増幅により発生することができる。グラフ８００において、アナログ増幅に続くデジタル増幅の３つの異なるインスタンスｉ，ｉｉ，及びｉｉｉが示されている。インスタンスｉには、限定されたアナログ増幅に続くデジタル増幅が示されている。インスタンスｉｉにはアナログ増幅の増加が示されており、インスタンスｉｉｉにはアナログ増幅の更に大きな増加が示されている。最良の総システムゲインは、達成可能なアナログゲインを最大化し、その後、デジタルゲインを提供することにより提供される。このことは、本開示の１つの実施形態をサポートし、総システムゲインは、まずアナログゲインを増加又は最大化し、ニューラルネットワーク処理が続き、その後、デジタルゲインを向上することにより改善される。
【００４９】
上記方法及びシステムは、以下の多くのアプリケーションに様々な利益を提供することができる。
【００５０】
動きボケ又は被写体ボケの減少：動きボケは、シャッタが開いている間のカメラ又はターゲット物体の動きを原因とするものである。上記方法を使用することにより、シャッタ開時間をかなり減少することができる。
【００５１】
長距離撮像：シャッタが開いている間のカメラの移動は画像品質を減少する。長距離又は携帯用カメラ撮像においては、カメラの動きを原因とするボケは主要な制限である。上記方法の使用により、長距離撮像カメラの動きボケはかなり減少され、又は、重い三脚架を必要とするアプリケーションを軽い三脚架を使用する固定化、電子的、光学的、又はジャイロ式に固定化されたカメラシステム、又は携帯用カメラの使用に変換することができる。
【００５２】
フレームレートの増加：短い露出時間はより速いフレームレートを許容する。より速いフレームレートは、より小さい装置及び開口を有する「スローモーション」（速いフレームレート）撮像を可能にする。
【００５３】
バーストモード撮像：より多くの複数画像を連続して撮像することができる。このことは、高スタックのダイナミックレンジ画像が直面するカメラ又は被写体移動による問題を減少する為に使用することができる。
【００５４】
超画像安定化：速いフレームレートと組み合わされた速い露出時間は、超画像安定化を可能にする。超画像安定化は、１組の画像を安定化する演算技術である。画像内の各ピクセルはターゲット現場の描写にマッピングされ、そして、様々な演算技術は有効解像度の増加を可能にする。
【００５５】
増加したダイナミックレンジ撮像：露出不足はピクセル彩度の問題を減少するので、画像のダイナミックレンジを増加させることができる。このアプリケーションは、屋外又は高輝度コントラスト撮像において特に有用である。
【００５６】
光レベル減少：露出不足はフラッシュ輝度レベル及びフラッシュ持続期間の減少を可能にする。
【００５７】
放射線減少：露出不足は有向Ｘ線の持続期間又はミリ波放射線レベルの減少を可能にする。
【００５８】
ファイル圧縮：ノイズは高エントロピー情報であり、単純に圧縮不可能とみなすことができる。所与のセンサは、いくらかのノイズを有し、低光環境（低環境ルクス、高速シャッタ、小さい開口）において、このノイズはデジタル信号の主要部分となる。この場合、所与の媒体の圧縮比は損なわれ始め、結果として得られる圧縮ファイルのサイズは通常動作状態下で収集された同等の信号に比べてより大きくなる。しかしながら、上記ニューラルネットワーク処理が潜在的信号を回復するので、ノイズが減少され、総合的な信号対ノイズ比が改善される。実際には、ニューラルネットワーク処理されたデータはかなり圧縮することができ、結果としてより小さなファイルサイズ及び／又は減少した帯域幅利用をもたらす。有利なことに、ファイルサイズの圧縮は、（低光画像だけでなく）通常露出の画像に対しても見受けられ、雲又は空のような同様の色の領域が大きく広がる写真において特に有用である。
【００５９】
要するに、ここに記載されているカメラシステム及び方法は、ローカルに動作することができ、又は、サーバ、パソコン、ノートパソコン、タブレット、又はスマートフォン等の装置と相互作用するサブシステムに有線又は無線で接続する接続部を介して動作することができる。データ及び制御信号は、無線ネットワーク、パーソナルエリアネットワーク、セルラーネットワーク、インターネット、又はクラウド媒介データソースを含む様々な外部データソース間で受信、生成、又は転送することができる。また、ローカルデータのソース（例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、又は、ＳＲＡＭ又はＤＲＡＭ等のダイナミックメモリを含む他の任意の適切なメモリ）は、ユーザ指定の嗜好情報又はプロトコルのローカルデータストレージを可能にすることができる。１つの特定実施形態においては、多重通信システムを提供することができる。例えば、別個の４Ｇセルラー接続と同様に直接Ｗｉ−Ｆｉ接続（８０２．１１ｂ／ｇ／ｎ）を使用することもできる。
【００６０】
遠隔サーバへの接続の実施形態は、クラウドコンピューティング環境内に実装することもできる。クラウドコンピューティングは、仮想化により迅速に設定して、最小限の経営努力又はサービスプロバイダの相互作用でリリースすることができ、適宜スケール変更することができる構成可能な計算資源（例えば、ネットワーク、サーバ、ストレージ、アプリケーション、及びサービス）の共有プールへのユビキタスで便利なオンデマンドネットワークアクセスを可能にするモデルとして定義することができる。クラウドモデルは、様々な特性（例えば、オンデマンドセルフサービス、ブロードネットワークアクセス、資源プーリング、迅速な弾性、計数サービス等）、サービスモデル（例えば、サービスとしてのソフトウェア(Software as a Service)（ＳａａＳ）、サービスとしてのプラットフォーム(Platform as a Service)（ＰａａＳ）、サービスとしてのインフラストラクチャ(Infrastructure as a Service)（ＩａａＳ）等）、及び展開モデル（例えば、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウド等）から成ることができる。
【００６１】
上記記載及び添付の図面に示されている教示の利益を得た当業者には、本発明の他の実施形態及び多くの変形が思い浮かぶだろう。したがって、本発明は開示されている特定の実施形態に限定されるものではなく、上記変形及び他の実施形態も本願の特許請求の範囲内に含まれることを意図している。本発明の他の実施形態は、ここに開示されている特定の要素／ステップ無しでも実施することができることも理解される。
【図１】
2022501982.tif 000003
【図２】
2022501982.tif 000004
【図３】
2022501982.tif 000005
【図４Ａ】
2022501982.tif 000006
【図４Ｂ】
2022501982.tif 000007
【図４Ｃ】
2022501982.tif 000008
【図４Ｄ】
2022501982.tif 000009
【図５】
2022501982.tif 000010
【図６】
2022501982.tif 000011
【図７】
2022501982.tif 000012
【図８】
2022501982.tif 000013
【国際調査報告】
2022501982.tif 000014
2022501982.tif 000015