(57)【要約】  推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のためのデバイス及び方法が提供される。一例では、デバイスによって処理されているビデオ信号に基くコンテンツの表示を開始することを含む方法が提供される。この方法は、ビデオ信号に基づくコンテンツの表示の開始に続いて、少なくとも周囲光の強度の第１の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルから少なくとも第１の推定パラメータに基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択することをさらに含み得る。この方法は、さらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用することをさらに含み得る。
2021531489.tif 000002
【特許請求の範囲】
【請求項１】
デバイスによって処理されるビデオ信号に基づいてコンテンツの表示を開始するステップと；
前記ビデオ信号に基づく前記コンテンツの前記表示を開始するステップに続いて、少なくとも周囲光の強度の第１の変化又は前記周囲光の色温度の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて、前記ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するステップと；
前記ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに前記第１のマッピング関数を自動的に適用するステップと；
を含む、
方法。
【請求項２】
少なくとも前記周囲光の前記強度の第３の変化又は前記周囲光の前記色温度の第４の変化に応答して、前記ビデオ信号の前記フレームに対応するピクセルに適用可能な第２のマッピング関数を選択するステップをさらに含み、前記第２のマッピング関数は、少なくとも前記選択された機械学習モデルからの第２の推定パラメータに基づいて選択され、前記ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに前記第２のマッピング関数を自動的に適用する、
請求項１に記載の方法。
【請求項３】
前記選択された機械学習モデルは、少なくとも前記デバイスのデバイスモデルに基づいて選択される、
請求項２に記載の方法。
【請求項４】
前記ビデオ信号の前記第１のフレームのセットに対応する前記第１の複数のピクセルへの前記第１のマッピング関数の第１の適用又は前記ビデオ信号の前記第２のフレームのセットに対応する前記第２の複数のピクセルへの前記第２のマッピング関数の第２の適用のうちの少なくとも一方に続いて表示される前記コンテンツの知覚品質の変化に対応するフィードバックを提供することを前記デバイスのユーザに要求することをさらに含む、
請求項３に記載の方法。
【請求項５】
前記フィードバック、前記デバイスモデル、及び少なくとも１つの推定パラメータに関する情報を前記デバイスからリモートコンピューティングシステムに送信するステップをさらに含む、
請求項４に記載の方法。
【請求項６】
前記デバイスによる表示コンテンツの知覚品質に関する好みデータに基づいて、前記選択された機械学習モデルを含む機械学習モデルをトレーニングするステップをさらに含む、
請求項１に記載の方法。
【請求項７】
トレーニングデータに基づいて、前記選択された機械学習モデルを含む、機械学習モデルをトレーニングするステップをさらに含み、少なくとも前記トレーニングデータのサブセットは、前記デバイスモデルを有する複数のデバイスのユーザからのフィードバックに基づいて生成される、
請求項３に記載の方法。
【請求項８】
デバイスであって：
前記デバイスによって処理されているビデオ信号に基づいてコンテンツの表示を開始するように構成されるプロセッサと；
メモリであって：
前記ビデオ信号に基づく前記コンテンツの前記表示の開始に続く、少なくとも周囲光の強度の第１の変化又は前記周囲光の色温度の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて、前記ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように、及び
前記ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに、前記第１のマッピング関数を自動的に適用するように、
構成される命令を含む、少なくとも１つのモジュールを含む、
メモリと；
を有する、
デバイス。
【請求項９】
少なくとも前記周囲光の前記強度の第３の変化又は前記周囲光の前記色温度の第４の変化に応答して、前記ビデオ信号の前記フレームに対応するピクセルに適用可能な第２のマッピング関数を選択するように構成される第２の命令のセットをさらに含み、前記第２のマッピング関数は、少なくとも前記選択された機械学習モデルからの第２の推定パラメータに基づいて選択され、前記ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに前記第２のマッピング関数を自動的に適用する、
請求項８に記載のデバイス。
【請求項１０】
前記選択された機械学習モデルは、少なくとも前記デバイスのデバイスモデルに基づいて選択される、
請求項９に記載のデバイス。
【請求項１１】
前記少なくとも１つのモジュールは、前記ビデオ信号の前記第１のフレームのセットに対応する前記第１の複数のピクセルへの前記第１のマッピング関数の第１の適用又は前記ビデオ信号の前記第２のフレームのセットに対応する前記第２の複数のピクセルへの前記第２のマッピング関数の第２の適用のうちの少なくとも一方に続いて表示される前記コンテンツの知覚品質の変化に対応するフィードバックを提供することを前記デバイスのユーザに要求するように構成される第３の命令のセットを含む、
請求項９に記載のデバイス。
【請求項１２】
前記フィードバック、前記デバイスモデル、及び少なくとも１つの推定パラメータに関する情報を前記デバイスからリモートコンピューティングシステムに送信するように構成される第３の命令のセットをさらに含む、
請求項９に記載のデバイス。
【請求項１３】
前記デバイスによる表示コンテンツの知覚品質に関する好みデータに基づいて、前記選択された機械学習モデルを含む機械学習モデルをトレーニングするように構成される第４の命令のセットをさらに含む、
請求項９に記載のデバイス。
【請求項１４】
前記少なくとも１つのモジュールは、推論ブロックと、前記推論ブロックによる使用のためのトレーニングデータを生成するように構成されるトレーニングブロックとをさらに有し、少なくとも前記トレーニングデータのサブセットは、前記デバイスモデルを有する複数のデバイスのユーザからのフィードバックに基づいて生成される、
請求項１０に記載のデバイス。
【請求項１５】
ビデオ信号に基づいてコンテンツの表示をデバイスのユーザに開始するように構成される第１の命令のセットと；
前記ビデオ信号に基づく前記コンテンツの前記表示の開始に続いて、少なくとも周囲光の強度の第１の変化又は前記周囲光の色温度の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて前記ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように構成される命令の第２のセットと；
前記ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに前記第１のマッピング関数を自動的に適用するように構成される第３の命令のセットと；
を含む、
コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
ディスプレイを備えたデバイスは、多くの周囲照明条件にわたって使用されることがある。このようなデバイスのユーザは、これらの広く異なる周囲の照明条件において異なるタイプのコンテンツを見ることがある。特定のデバイスは、ユーザの環境中の周囲光の量を測定するための光センサ又は光メータを含むことがある。周辺光の量の測定に基づいて、デバイス又はユーザは、ユーザに表示されるコンテンツの輝度（brightness）を調整することがある。輝度の調整にもかかわらず、コンテンツが明瞭に見えない場合や、それ以外の点で依然として不十分である場合があるため、この調整はユーザを満足させない可能性がある。
【０００２】
従って、表示パラメータを調整するマッピング曲線の自動適用のための方法及びシステムが必要とされている。
【発明の概要】
【０００３】
一例では、本開示は、デバイスによって処理されるビデオ信号に基づいてコンテンツの表示を開始することを含む方法に関する。本方法はさらに、ビデオ信号に基づくコンテンツの表示の開始に続いて、少なくとも周囲光の強度の第１の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数（mapping  function）を選択することを含み得る。本方法はさらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用することを含み得る。
【０００４】
別の例では、本開示は、デバイスによって処理されているビデオ信号に基づいてコンテンツの表示を開始するように構成されるプロセッサを含むデバイスに関する。デバイスはさらに、（１）ビデオ信号に基づくコンテンツの表示の開始に続く、少なくとも周囲光の強度の第１の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように、及び（２）ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに、第１のマッピング関数を自動的に適用するように、構成される命令を含む、少なくとも１つのモジュールを含むメモリを含み得る。
【０００５】
さらに別の例では、本開示は、ビデオ信号に基づいてコンテンツの表示をデバイスのユーザに開始するように構成される第１の命令のセットを含むコンピュータ可読媒体に関する。コンピュータ可読媒体はさらに、ビデオ信号に基づくコンテンツの表示の開始に続いて、少なくとも周囲光の強度の第１の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいてビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように構成される命令の第２のセットを含み得る。コンピュータ可読媒体はさらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用するように構成される第３の命令のセットを含み得る。
【０００６】
この要約は、以下の詳細な説明でさらに記述される簡略化された形式で概念の選択を導入するために提供される。この要約は、請求項に記載された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求項に記載された主題の範囲を限定するために使用することを意図したものでもない。
【図面の簡単な説明】
【０００７】
本開示は、例示として示されており、添付の図面に限定されず、ここでは、同様の参照符号は同様の要素を示している。図中の要素は、簡単且つ明確さのために示されており、必ずしも縮尺通りに描かれていない。
【０００８】
【図１】一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のためのシステム環境１００の図を示す。
【図２】一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のための命令を含むメモリを示す。
【図３】一例による機械学習モデルのトレーニングデータとして使用するためのデータの収集を示すブロック図である。
【図４】一例によるマッピング関数に対応するマッピング曲線を示す。
【図５】一例に係る推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のためのブロック図を示す。
【図６】一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のための方法のフローチャートを示す。
【発明を実施するための形態】
【０００９】
本開示に記載される例は、推定パラメータに基づくビデオ信号のような信号に対応するピクセルにマッピング関数を自動的に適用することに関する。特定の例では、推定パラメータは、機械学習モデル及び対応する命令を使用することによって動的に生成され得る。ディスプレイを備えたデバイス（例えば、スマートフォン、タブレット、ラップトップ、及び他のタイプのデバイス）は、様々な周囲の照明条件で使用され得る。例として、ユーザは自宅の中でビデオを見ることを始めることがあるが、その後、自宅から出て、外でビデオを見ることを続けることがある。ユーザがビデオ再生の視認性を向上させようとするとき、デスクトップ全体のディスプレイ設定は、これまでのところユーザを得るだけであるかもしれない。一例として、明るい屋外環境では、ディスプレイの輝度が一気に上がっても、ユーザがビデオにおいて細部を確認することはほとんど不可能であろう。
【００１０】
特定のデバイスは、ユーザの環境中の周囲光の量を測定するために、光センサ又は光メータを含み得る。周辺光の量の測定に基づいて、デバイス又はユーザは、ユーザに表示されるコンテンツの輝度を調整し得る。輝度の調整にもかかわらず、コンテンツがはっきりと見えない場合や、それ以外の点では依然として不十分な場合があるため、調整がユーザを満足させない場合がある。
【００１１】
図１は、一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のためのシステム環境１００の図を示す。ユーザデバイス１５４は、ネットワーク１１０を介して、ユーザフィードバック１５６を記憶し得るクラウドコンピューティングインフラストラクチャを含む、リモートコンピューティング機能に結合され得る。テストデバイス１５２はまた、テストデバイス１５２を介して得られたフィードバックがユーザフィードバック１５６に追加され得るように、ネットワーク１１０を介して結合され得る。１つのユーザデバイス１２０の詳細は、図１に提供される。他のユーザデバイスは、同様の機能を含み得る。ユーザデバイス１２０は、プロセッサ１２２、グラフィックスプロセッサ１２４、メモリ１２６、センサ１２８、ディスプレイ１３０、及びネットワークインターフェース１３２を含み得、これらはバスシステム１４０を介して相互接続され得る。ネットワーク１１０は、有線ネットワーク、無線ネットワーク、又は有線ネットワークと無線ネットワークの両方の組み合わせであり得る。プロセッサ１２２及びグラフィックスプロセッサ１２４は、メモリ１２６に記憶された命令を実行し得る。メモリ１２６は、不揮発性記憶デバイス又は揮発性記憶デバイス（例えば、フラッシュメモリ、ＤＲＡＭ、ＳＲＡＭ、又は他のタイプのメモリ）の任意の組み合わせであり得る。センサ１２８は、タッチセンサ、光強度センサ、色温度センサ、圧力センサ、近接センサ、ＧＰＳセンサ、及び他のタイプのセンサを含み得る。ディスプレイ１３０は、ＬＣＤ、ＬＥＤ、又は他のタイプのディスプレイなど、任意のタイプのディスプレイであり得る。ネットワークインターフェース１３２は、イーサネット、セルラーラジオ、ブルートゥース（登録商標）ラジオ、ＵＷＢラジオ、又は他のタイプの無線もしくは有線通信インターフェースなどの通信インターフェースを含み得る。図１は、ある方法で配置され且つ結合されたある数の構成要素を含むものとしてシステム環境を示しているが、システム環境は、異なる方法で配置され且つ結合された、より少数の又は追加の構成要素を含んでもよい。さらに、図１は、ある方法で配置され且つ結合されたある数の構成要素を含むものとしてユーザデバイス１２０を示しているが、ユーザデバイス１２０は、異なる方法で配置され且つ結合されたより少数の又は追加の構成要素を含んでもよい。一例として、ユーザデバイス１２０は、キーボード、マウス、音声認識プロセッサ、人工知能プロセッサ、又はタッチスクリーンなどの他の構成要素を含み得る。
【００１２】
図２は、一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のための命令を含むメモリ２００を示す。この例では、命令は、ブロック又はモジュールの形態で、メモリ２００内で整理され得る。メモリ２００は、ユーザデバイス１２０のメモリ１２６であり得る。この例では、メモリ２００は、デバイスモデル情報２１０、ユーザフィードバック２２０、機械学習（ＭＬ）モデル２３０、教師付き学習ベース分析器（ＳＬＢＡ）２４０、マッピング関数２５０、光条件及び測定２６０、及びオペレーティングシステム２７０を含み得る。図２は、ある方法で編成された命令モジュールを示しているが、命令は、種々の方法で結合又は配布され得る。
【００１３】
引き続き図２を参照すると、教師付き学習ベース分析器（ＳＬＢＡ）２４０は、入力データに基づいてトレーニングすることができ、一旦トレーニングされると、トレーニングに基づいて予測又は処方を行うことができる教師付き学習アルゴリズムを実装し得る。この例では、ＳＬＢＡ２４０は、線形回帰、回帰のために設定されたサポートベクトルマシン（ＳＶＭ）、回帰のために設定されたランダムフォレスト、回帰のために設定された勾配ブーストツリー、及びニューラルネットワークなどの技法を実装し得る。線形回帰には、独立変数と従属出力変数との間の過去の関係をモデル化することが含まれ得る。ニューラルネットワークは、入力層、１つ又は複数の隠れ層、及び出力層を作り出すために使用される人工ニューロンを含み得る。各層は、ニューラルネットワークのオフライントレーニングによって得られたであろう係数又は定数の形で表現された重みの行列又はベクトルとしてエンコードされ得る。ニューラルネットワークは、リカレントニューラルネットワーク（ＲＮＮ）、長期短期記憶（ＬＳＴＭ）ニューラルネットワーク、又はゲートリカレントユニット（ＧＲＵ）として実装され得る。教師付き学習ベースのモデルによって必要とされる全ての情報は、これらの技法のいずれかに対応するベクトル表現に変換され得る。ＬＳＴＭの例では、ＬＳＴＭネットワークは、反復するＲＮＮ層又は他のタイプの層のシーケンスを含み得る。ＬＳＴＭネットワークの各層は、所与の時間ステップ、例えば、前の時間ステップからの層の状態で入力を消費し得、新しい出力又は状態のセットを生成し得る。ＬＳＴＭを使用する場合、コンテンツの単一のチャンクは、単一のベクトル又は複数のベクトルにエンコードされ得る。一例として、単語又は単語の組み合わせ（例えば、フレーズ、文、又はパラグラフ）は、単一のベクトルとしてエンコードされ得る。各チャンクは、ＬＳＴＭネットワークの個々の層（例えば、特定の時間ステップ）にエンコードされ得る。ＬＳＴＭ層は、以下の式のような一組の式を用いて記述され得る:
【数１】
2021531489.tif 000003
【００１４】
この例では、各ＬＳＴＭ層内で、必要に応じて、入力及び隠れ状態は、ベクトル演算（例えば、ドット積、内部積、又はベクトル加算）又は非線形演算の組み合わせを使用して処理され得る。
【００１５】
図２は、教師付き学習ベース分析器２４０を、命令を含むものとして説明しているが、命令は、Ａ／Ｉプロセッサに対応するハードウェアとしてエンコードされることができる。この場合、教師付き学習ベースのラッチアップ分析器に関連する機能の一部又は全部は、ハードコードされてもよく、又はＡ／Ｉプロセッサの一部として提供されてもよい。一例として、Ａ／Ｉプロセッサは、必要な機能を有するＦＰＧＡを使用して実装され得る。
【００１６】
図３は、一例による機械学習モデルのためのトレーニングデータとして使用するためのデータの収集を示すブロック図３００である。一例において、ユーザデバイス及びテストデバイスは、図３に関して説明される機能を可能にし得るモジュールに対応する命令を含み得る。一例として、デバイス１２０は、デバイス１２０のユーザへのビデオ信号の表示を開始し得る。ビデオ信号は、グラフィックス処理パイプライン３２０によって処理され、次いで出力ビデオフレーム３３０として出力され得る、入力ビデオフレーム３１０を含み得る。ビデオ信号は、Ｈ.２６４、Ｈ.２６５、ＶＰ９を含むビデオエンコーディング標準、又は他のビデオエンコーディング標準のいずれかを使用して、フレーム又は他のタイプのユニットにエンコードされ得る。ビデオ信号に対応するフレームはピクセルを含み得る。入力フレームに対応するピクセルは、まず、前処理ブロック３２２によって処理され得る。次いで、ピクセルは、少なくとも１つのマッピング関数３２４の適用によって修正され得る。次に、ピクセルは、出力ビデオフレーム３３０として出力される前に、後処理ブロック３２６によって処理され得る。出力ビデオフレームは、ビデオ信号に対応するコンテンツを表示するために使用され得る。機械学習モデルのためのトレーニングデータを作成することの一部として、又は研究若しくはテストデバイスの一部として、種々のマッピング関数がテストされ得る。一例として、デバイス１２０に類似のデバイスは、光センサ（例えば、光メータ）から周囲光強度情報を受信し、センサ生成情報を処理するように構成され得る、光測定ブロック３４２に対応する命令を含み得る。この例では、光測定ブロック３４２による処理は、光センサ生成情報を特定のクラスの周囲光に分類することを含み得る。例として、以下の表１に、９つのカテゴリへの照明条件の分類を示す。
【００１７】
【表１】
2021531489.tif 000004
【００１８】
表１は、周囲光条件の９つのカテゴリを示しているが、光測定ブロック３４２は、周囲光条件をより少ない又はより多くのカテゴリに分類し得る命令を有してもよい。更新マッピングパラメータ３４４は、光測定ブロック３４２からの入力に基づいてマッピングパラメータを更新するように構成される命令を含み得る。選択マッピング関数３４６は、更新されたマッピングパラメータに基づいてマッピング関数を選択するように構成される命令を含み得る。図３は、機械学習モデルのためのトレーニングデータを生成するために特定の方法で配置された特定のブロックを示しているが、これらのブロックは、異なるように配置されてもよい。以下の表２は、図３に関して記載される種々のブロックに関連する機能を実行するための高レベル命令を示す。
【００１９】
【表２】
2021531489.tif 000005
【００２０】
引き続き図３を参照すると、デバイス１２０に類似のデバイスを用いて他のタイプの研究をテスト又は実施することによって、種々のマッピングパラメータ及び対応するマッピング関数が得られ得る。次いで、これらに対応するデータが、エラー関数を最小化するようにニューラルネットワークモデル又は類似の機械学習モデルをトレーニングするために用いられ得る。一例では、エラー関数の最小化は、機械ベースの学習の一部として実行されるべきコンボリューション演算又は他のタイプの演算のための適切な重みを決定するために種々のマッピングパラメータ及び対応するマッピング関数に関するユーザフィードバックを得ることによって得られる。一例として、テスト環境のユーザは、既知のパラメータを有する予め選択されたマッピング関数のセットを備え、それらが好むマッピング関数又はマッピング曲線を選択するように要求され得る。一例では、ユーザは、マッピングパラメータを制御することができず、代わりに、デバイス１２０に関連する命令が、ユーザのフィードバックに基づいて適切なマッピング曲線を決定し得る。代替的には、ユーザは特定のマッピングパラメータを選択することを可能にされ得る。トレーニングされた機械学習モデルは、クラウドなどのリモートコンピューティング設備に格納され得る。異なるタイプのデバイスに対応する異なる機械学習モデルは、それぞれのユーザによってトレーニングされ得る。
【００２１】
図４は、一例によるマッピング関数に対応するマッピング曲線を示す。この例では、異なるマッピング関数に対応するマッピング曲線が示されている。この例では、パラメータのセット（例えば、赤色ピクセル、緑色ピクセル、及び青色ピクセルの強度レベルとディスプレイの輝度レベル）が、マッピング曲線の形状を規定し得る。この例では、マッピング曲線が、"BELOW  NORMAL_INDOORS（通常の屋内の下）"、"BRIGHT_INDOORS（明るい屋内）"、"DIM_OUTDOORS（薄暗い屋外）"、"CLOUDY_OUTDOORS（曇った屋外）"、"DIRECT_SUNLIGHT（直射日光）"を含む様々な照明条件に対して示されている。各マッピング曲線は入力ピクセル輝度又は強度を出力ピクセル輝度又は強度に関連付けるマッピング関数に対応している。図４は、周囲光に関する５つの異なる照明条件についての５つのマッピング曲線のみを示すが、追加の又はより少ないマッピング曲線が作成されてもよい。加えて、図示されていないが、同様のマッピング曲線が、環境の色温度におけるその要因として作成され得る。
【００２２】
図５は、一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のためのブロック図である。一例では、ユーザデバイス（例えば、ユーザデバイス１２０）は、図５に関して説明される機能を可能にし得るモジュールに対応する命令を含み得る。一例として、デバイス１２０は、デバイス１２０のユーザに対するビデオ信号の表示を開始し得る。ビデオ信号は、グラフィックス処理パイプライン５２０によって処理され得、次いで出力ビデオフレーム５３０として出力され得る入力ビデオフレーム５１０を含み得る。ビデオ信号は、Ｈ．２６４を含むビデオエンコーディング標準のいずれかを使用して、フレーム又は他のタイプのユニットにエンコードされ得る。ビデオ信号に対応するフレームはピクセルを含み得る。入力フレームに対応するピクセルは、まず、前処理ブロック５２２によって処理され得る。次いで、ピクセルは、少なくとも１つのマッピング関数５２４の適用によって修正され得る。次に、ピクセルは、出力ビデオフレーム５３０として出力される前に、後処理ブロック５２６によって処理され得る。出力ビデオフレーム５３０は、ビデオ信号に対応するコンテンツを表示するために使用され得る。
【００２３】
一例として、デバイス１２０は、光センサ（例えば、光メータ）から周囲光強度情報を受信し、センサ生成情報を処理するように構成され得る、光／色測定ブロック５４２に対応する命令を含み得る。加えて、光／色測定ブロック５４２は、周辺光の色温度を処理し得る。この例では、光／色測定ブロック５４２による処理は、光センサ生成情報を特定の種類の周囲光に分類することを含み得る。一例として、表１に示すように、光／色測定ブロック５４２は、周囲光条件を９つのカテゴリの環境光条件に分類し得る。光／色測定ブロック５４２は、周囲光条件を色温度カテゴリにも分類し得る命令を有し得る。色温度のカテゴリは、クールな（cool）環境及び暖かい（warm）環境を含み得る。色は、光の色に関連する彩度値（chromacity  values）によって定義され得る。ヒストグラム生成ブロック５４４は、入力ビデオフレーム５１０を処理し得、ビデオ信号の一部として処理されるコンテンツのタイプ、又は性質を特徴付けるために使用され得るヒストグラム値を生成し得る。特定の例では、コンテンツのこの特徴付けは、ビデオ信号が、映画、ゲーム、スポーツイベント、又は何らかの他のタイプのコンテンツに対応するかどうかを決定することを含み得る。デバイスモデル５４６は、ビデオ信号を処理するデバイスのモデル番号又はモデルタイプに関する情報を含み得る。この例では、デバイスモデル５４６は、デバイス（例えば、デバイス１２０）に関連付けられるメモリに格納され得る。
【００２４】
引き続き図５を参照すると、機械学習（ＭＬ）モデル５５０は、推論ブロック５５２及びユーザフィードバック５５６を含み得る。推論ブロック５５２は、周囲光強度値（例えば、ルックス）、周囲光の色温度、及びコンテンツヒストグラム値を入力として受信するように構成される命令を含み得る。トレーニングブロック５５４は、周囲光強度値（例えば、ルックス）、周囲光の色温度、コンテンツヒストグラム値、及びデバイスモデル情報を入力として受信するように構成される命令を含み得る。一例では、トレーニングブロック５５４に対応する命令は、以下の表３に示されるアルゴリズムを実行し得る：
【００２５】
【表３】
2021531489.tif 000006
【００２６】
依然として図５を参照すると、ビルドマッピング関数５６０は、機械学習（ＭＬ）モデル５５０に基づいて生成される推定マッピングパラメータに基づいてマッピング関数をビルド及び選択するように構成される命令を含み得る。図５は、機械学習モデルのためのトレーニングデータを生成するために、特定の方法で構成された特定のブロックを示しているが、これらのブロックは、異なるように構成することができる。以下の表４は、図５に関して説明される種々のブロックに関連する機能を実行するための高レベル命令を示す。
【００２７】
【表４】
2021531489.tif 000007
2021531489.tif 000008
【００２８】
図６は、一例による推定パラメータに基づくビデオ信号へのマッピング関数の自動適用のための方法のフローチャートを示す。ステップ６１０は、デバイスによって処理されるビデオ信号に基づいてコンテンツの表示を開始するステップを含み得る。前述したように、プロセッサ及びデバイス１２０内のメモリに記憶される対応する命令は、このステップを実行し得る。
【００２９】
ステップ６２０は、少なくとも周囲光の強度の第１の変化、又はビデオ信号に基づくコンテンツの表示の開始に続く周囲光の色温度の第２の変化に応答して、少なくとも選択された機械学習モデルからの第１の推定パラメータに基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択することを含み得る。図５に関して先に説明したように、機械学習モデルに基づく構成を含むモジュールに対応する命令が、このステップを実行するために使用され得る。したがって、周囲光センサ及び色温度センサを含むセンサ、及び対応する命令（例えば、適切なアプリケーションプログラミングインターフェース（ＡＰＩ））は、周囲光の強度の変化又は周囲光の色温度の変化を検出し得る。加えて、表４に提供される擬似コードの関連部分は、実行可能な命令に変換され、プロセッサによって処理されるとき、少なくとも選択された機械学習モデルからの推定パラメータに基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択し得る。
【００３０】
ステップ６３０は、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに、第１のマッピング関数を自動的に適用するステップを含み得る。図５に関して前述したように、マッピング関数５２４は、ピクセルが図５の前処理ブロック５２２によって前処理された後に、ピクセルを処理し得る。従って、この例では、このステップの一部として、少なくとも１つのマッピング関数が、ピクセルの強度を変更し得るピクセルに適用され得る。色相、彩度、コントラストなどを含む、ピクセルに対応する他の値も変更され得る。
【００３１】
ステップ６４０は、少なくとも周囲光の強度の第３の変化又は周囲光の色温度の第４の変化に応答して、ビデオ信号のフレームに対応するピクセルに適用可能な第２のマッピング関数を選択することを含み得、第２のマッピング関数は、少なくとも選択された機械学習モデルからの第２の推定パラメータに基づいて選択され、ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに第２のマッピング関数を自動的に適用する。このステップは、ステップ６２０と同様の方法で実行され得る。このように、ユーザの環境が光／色の条件に関して変化する場合、デバイス１２０は、環境の変化をリアルタイムで検出することによって、適切なマッピング関数を継続的に適用し得る。
【００３２】
結論として、一例では、本開示は、デバイスによって処理されているビデオ信号に基づいてコンテンツの表示を開始することを含む方法に関する。この方法はさらに、少なくともビデオ信号に基づくコンテンツの表示の開始に続く第１の周囲光の強度の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの少なくとも第１の推定パラメータに基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択することを含み得る。この方法はさらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用することを含み得る。
【００３３】
この方法はさらに、少なくとも周囲光の強度の第３の変化又は周囲光の色温度の第４の変化に応答して、ビデオ信号のフレームに対応するピクセルに適用可能な第２のマッピング関数を選択することを含み得、第２のマッピング関数は、選択された機械学習モデルからの少なくとも第２の推定パラメータに基づいて選択され、ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに第２のマッピング関数を自動的に適用する。
【００３４】
選択された機械学習モデルは、少なくともデバイスのデバイスモデルに基づいて選択され得る。本方法は、さらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルへの第１のマッピング関数の第１の適用又はビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルへの第２のマッピング関数の第２の適用のうちの少なくとも一方に続いて表示されるコンテンツの知覚品質の変化に対応するフィードバックを提供することをデバイスのユーザに要求することを含み得る。
【００３５】
この方法は、さらに、フィードバック、デバイスモデル、及び少なくとも１つの推定パラメータに関する情報をデバイスからリモートコンピューティングシステムに送信することを含み得る。
【００３６】
この方法は、さらに、デバイスによる表示コンテンツの知覚品質に関する好みデータ（preference  data）に基づいて、選択された機械学習モデルを含む、機械学習モデルをトレーニングすることを含み得る。本方法はさらに、トレーニングデータに基づいて、選択された機械学習モデルを含む、機械学習モデルをトレーニングすることを含み得、少なくともトレーニングデータのサブセット（subset）は、デバイスモデルを有する各デバイスのユーザからのフィードバックに基づいて生成される。
【００３７】
別の例では、本開示は、デバイスによって処理されているビデオ信号に基づいてコンテンツの表示を開始するように構成されるプロセッサを含むデバイスに関する。デバイスは、さらに、（１）少なくともビデオ信号に基づくコンテンツの表示の開始に続く第１の周囲光の強度の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいてビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように、及び（２）ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用するように、構成される命令を含む、少なくとも１つのモジュールを有するメモリを含み得る。
【００３８】
デバイスはさらに、少なくとも周囲光の強度の第３の変化又は周囲光の色温度の第４の変化に応答して、ビデオ信号のフレームに対応するピクセルに適用可能な第２のマッピング関数を選択するように構成される第２の命令のセットを含み得、第２のマッピング関数は、選択された機械学習モデルからの第２の推定パラメータに少なくとも基づいて選択され、ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに第２のマッピング関数を自動的に適用する。選択された機械学習モデルは、少なくともデバイスのデバイスモデルに基づいて選択され得る。
【００３９】
少なくとも１つのモジュールは、さらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに対する第１のマッピング関数の第１の適用、又はビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに対する第２のマッピング関数の第２の適用のうちの少なくとも１つに続いて表示されるコンテンツの知覚品質の変化に対応するフィードバックを提供するようデバイスのユーザに要求するように構成される第３の命令のセットを含み得る。
【００４０】
デバイスは、さらに、フィードバック、デバイスモデル、及び少なくとも１つの推定パラメータに関する情報をデバイスからリモートコンピューティングシステムに送信するように構成される第３の命令のセットを含み得る。デバイスは、さらに、デバイスによる表示コンテンツの知覚品質に関する好みデータに基づいて、選択された機械学習モデルを含む機械学習モデルをトレーニングするように構成される第４の命令のセットを含み得る。
【００４１】
少なくとも１つのモジュールはさらに、推論ブロックと、推論ブロックによる使用のためのトレーニングデータを生成するように構成されるトレーニングブロックとをさらに有し得、少なくともトレーニングデータのサブセットは、デバイスモデルを有する各デバイスのユーザからのフィードバックに基づいて生成される。
【００４２】
さらに別の例では、本開示は、ビデオ信号に基づくコンテンツの表示をデバイスのユーザに開始するように構成される第１の命令のセットを含むコンピュータ可読媒体に関する。コンピュータ可読媒体はさらに、少なくともビデオ信号に基づくコンテンツの表示の開始に続く、周囲光の強度の第１の変化又は周囲光の色の第２の変化に応答して、選択された機械学習モデルからの第１の推定パラメータに少なくとも基づいて、ビデオ信号のフレームに対応するピクセルに適用可能な第１のマッピング関数を選択するように構成される第２の命令のセットをさらに含み得る。コンピュータ可読媒体はさらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルに第１のマッピング関数を自動的に適用するように構成される第３の命令のセットを含み得る。
【００４３】
コンピュータ可読媒体は、さらに、少なくとも周囲光の強度の第３の変化又は周囲光の色温度の第４の変化に応答して、ビデオ信号のフレームに対応するピクセルに適用可能な第２のマッピング関数を選択するように構成される第４の命令のセットを含み得、第２のマッピング関数は、選択された機械学習モデルからの第２の推定パラメータに少なくとも基づいて選択され、ビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルに第２のマッピング関数を自動的に適用する。
【００４４】
選択された機械学習モデルは、少なくともデバイスのデバイスモデルに基づいて選択され得る。
【００４５】
コンピュータ可読媒体は、さらに、ビデオ信号の第１のフレームのセットに対応する第１の複数のピクセルへの第１のマッピング関数の第１の適用又はビデオ信号の第２のフレームのセットに対応する第２の複数のピクセルへの第２のマッピング関数の第２の適用のうちの少なくとも１つに続いて表示されるコンテンツの知覚品質の変化に対応するフィードバックを提供するようデバイスのユーザに要求するように構成される第５の命令のセットを含み得る。
【００４６】
コンピュータ可読媒体は、さらに、フィードバック、デバイスモデル、及び少なくとも１つの推定パラメータに関する情報をデバイスからリモートコンピューティングシステムに送信するように構成される第6の命令のセットを含み得る。コンピュータ可読媒体は、さらに、デバイスによる表示コンテンツの知覚品質に関する好みデータに基づいて、選択された機械学習モデルを含む機械学習モデルをトレーニングするように構成される第４の命令のセットをさらに含み得る。
【００４７】
本明細書に示される方法、モジュール、及び構成要素は、単なる例示的なものであることが理解されるべきである。代替的に、又は、加えて、本明細書に記載の機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行されることができる。例えば、限定されるものではないが、使用可能なハードウェアロジックコンポーネントの例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。抽象的には、なお明確な意味において、同じ機能を達成するための構成要素の配置は、所望の機能が達成されるように実質的に「関連」される。従って、特定の機能を達成するために本明細書中で組み合わされる任意の２つの構成要素は、アーキテクチャ又は中間構成要素にかかわらず、所望の機能が達成されるように、互いに「関連」すると見なすことができる。同様に、そのように関連する任意の２つの構成要素は、所望の機能を達成するために互いに「動作可能に接続」又は「結合」されると見なすこともできる。
【００４８】
本開示に記載されるいくつかの例に関連する機能は、非一時媒体に記憶される命令も含むことができる。本明細書で使用される用語「非一時媒体」は、機械を特定の態様で動作させるデータ及び／又は命令を記憶する任意の媒体を指す。例示的な非一時媒体は、不揮発性媒体及び／又は揮発性媒体を含む。不揮発性媒体には、例えば、ハードディスク、ソリッドステートドライブ、磁気ディスク又はテープ、光ディスク又はテープ、フラッシュメモリ、ＥＰＲＯＭ、ＮＶＲＡＭ、ＰＲＡＭ、又は他のそのような媒体、又はそのような媒体のネットワーク化されたバージョンが含まれる。揮発性媒体は、例えば、ＤＲＡＭなどのダイナミックメモリ、ＳＲＡＭ、キャッシュ、又は他のこのような媒体を含む。非一時媒体は、伝送媒体とは異なるが、伝送媒体と共に使用することができる。伝送媒体は、データ及び／又は命令を機械との間で転送するために使用される。伝送媒体の例としては、同軸ケーブル、光ファイバケーブル、銅線、及び電波のような無線媒体が挙げられる。
【００４９】
さらに、当業者は、上述の動作の機能の間の境界は単に例示的なものであることを認識するであろう。複数の動作の機能は、単一の動作に結合されてもよく、及び／又は単一の動作の機能は、追加の動作に分散されてもよい。さらに、代替の実施形態は、特定の動作の複数のインスタンスを含んでもよく、動作の順序は、種々の他の実施形態において変更され得る。
【００５０】
本開示は特定の例を提供するが、種々の修正及び変更は、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく行われることができる。従って、本明細書及び図面は、限定的な意味ではなく例示的な意味とみなされるべきであり、そのような修正はすべて、本開示の範囲内に含まれることが意図されている。特定の例に関して本明細書に記載されている問題に対する利益、利点、又は解決策は、いずれか又は全ての請求項の重要な、要求される、又は本質的な特徴又は要素として解釈されることを意図するものではない。
【００５１】
さらに、用語「１つの（“ａ”又は“ａｎ”）」は、本明細書で使用される場合、１つ又は１つより多いとして定義される。また、請求項中の「少なくとも１つ」及び「１つ又は複数」などの導入句の使用は、不定冠詞「１つの（“ａ”又は“ａｎ”）」による別の請求項の要素の導入が、そのように導入された請求項の要素を含む特定の請求項を、導入句「１つ又は複数」又は「少なくとも１つ」及び「１つの（“ａ”又は“ａｎ”）」などの不定冠詞を含む場合であっても、１つのみのそのような要素を含む発明に限定することを意味すると解釈されるべきではない。
【００５２】
特に示されない限り、「第１」及び「第２」のような語は、これらの語が表す要素間を任意に区別するために用いられる。従って、これらの語は必ずしも要素間の時間的又は他の優先順位を示すものではない。
【図１】
2021531489.tif 000009
【図２】
2021531489.tif 000010
【図３】
2021531489.tif 000011
【図４】
2021531489.tif 000012
【図５】
2021531489.tif 000013
【図６】
2021531489.tif 000014
【国際調査報告】
2021531489.tif 000015
2021531489.tif 000016