(57)【特許請求の範囲】
【請求項１】
処理ユニットによって可読な非一時的プログラム格納装置であって、１つ以上のプロセッサに、
第１の画像フォーマットで表される第１の画像を取得することであって、前記第１の画像内のそれぞれの要素が第１の値の範囲内の１つ以上の参照値によって定義される、前記第１の画像を取得することと、
前記第１の画像に対応し、第２の画像フォーマットで表される第２の画像を取得することであって、前記第２の画像内のそれぞれの要素が第２の値の範囲内の１つ以上の参照値によって定義され、前記第１の値の範囲は前記第２の値の範囲の真部分集合である、前記第２の画像を取得することと、
少なくとも部分的に前記第１の画像及び前記第２の画像に基づくデルタ画像を取得することと、
前記デルタ画像を、少なくとも第１のデルタ画像チャネルと第２のデルタ画像チャネルとに分離することであって、前記第１のデルタ画像チャネルは、前記第１の値の範囲よりも小さい値からなり且つ前記第１の値の範囲によって定義される前記第１の画像の色域外の前記第２の画像の色域を表し、前記第２のデルタ画像チャネルは、前記第１の値の範囲よりも大きい値からなり且つ前記第１の値の範囲によって定義される前記第１の画像の輝度レベルの範囲外の前記第２の画像の輝度レベルの範囲を表していることと、
前記第１の画像を画像ファイルのペイロード部分に符号化することと、
前記画像ファイルのメタデータ部分に前記第１のデルタ画像チャネル及び前記第２のデルタ画像チャネルを符号化することと、
をさせる命令を格納して含む、非一時的プログラム格納装置。
【請求項２】
前記第２の画像フォーマットにおける要素が、第１の画像フォーマットにおける要素よりも幅広い色域、幅広いダイナミックレンジ、及び高い精細度の内の２つまたはそれ以上を表す、請求項１に記載の非一時的プログラム格納装置。
【請求項３】
前記１つ以上のプロセッサにデルタ画像を取得するようにさせる前記命令は、前記１つ以上のプロセッサに、前記第１の画像を前記第２の画像から減算させる命令を含む、請求項１に記載の非一時的プログラム格納装置。
【請求項４】
前記第２の画像フォーマットにおける要素は、前記第１の画像フォーマットにおける要素よりも高い精細度を有する、請求項１に記載の非一時的プログラム格納装置。
【請求項５】
前記１つ以上のプロセッサに前記第１のデルタ画像チャネル及び第２のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化させる命令は、前記１つ以上のプロセッサに前記第１のデルタ画像チャネル及び第２のデルタ画像チャネルを前記画像ファイルの個別のメタデータ部分に符号化させる命令を更に含む、請求項１に記載の非一時的プログラム格納装置。
【請求項６】
前記画像ファイルが画像表示を作成するために伝送又は使用される前に、前記１つ以上のプロセッサに前記画像ファイルから前記第１のデルタ画像チャネル、前記第２のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令を更に含む、請求項５に記載の非一時的プログラム格納装置。
【請求項７】
前記画像ファイルが伝送される前に前記１つ以上のプロセッサに前記画像ファイルから前記第１のデルタ画像チャネル、前記第２のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令は、前記１つ以上のプロセッサに、受信装置又は前記受信装置への伝送媒体の１つ以上の特性に少なくとも部分的に基づいて、前記第１のデルタ画像チャネル、前記第２のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出させる命令を含む、請求項６に記載の非一時的プログラム格納装置。
【請求項８】
前記１つ以上のプロセッサに、前記画像ファイル内の前記第１の画像と、前記第１のデルタ画像チャネル及び前記第２のデルタ画像チャネルの一方又は両方とを組み合わせる命令を符号化させる命令を更に含む、請求項１に記載の非一時的プログラム格納装置。
【請求項９】
画像キャプチャ装置と、
メモリと、
前記画像キャプチャ装置及び前記メモリと動作的に連結されたプロセッサであって、
前記画像キャプチャ装置で画像を取得し、
第１の画像フォーマットで表される前記画像の第１のバージョンを作成し、前記画像の前記第１のバージョンの中のそれぞれの要素が第１の値の範囲における１つ以上の参照値によって定義され、
第２の画像フォーマットで表される前記画像の第２のバージョンを作成し、前記画像の前記第２のバージョンの中のそれぞれの要素が第２の値の範囲における１つ以上の参照値によって定義され、前記第１の値の範囲は前記第２の値の範囲の真部分集合であり、
前記画像の前記第１のバージョン及び前記第２のバージョンに少なくとも部分的に基づく、デルタ画像を取得し、
前記デルタ画像を、少なくとも第１のデルタ画像チャネルと第２のデルタ画像チャネルとに分離し、ここで前記第１のデルタ画像チャネルは、前記第１の値の範囲よりも小さい値からなり且つ前記第１の値の範囲によって定義される前記画像の前記第１のバージョンの色域外の前記画像の前記第２のバージョンの色域を表し、前記第２のデルタ画像チャネルが、前記第１の値の範囲よりも大きい値からなり且つ前記第１の値の範囲によって定義される前記画像の前記第１のバージョンの輝度レベルの範囲外の前記第２のバージョンの輝度レベルの範囲を表しており、
前記画像の前記第１のバージョンを画像ファイルのペイロード部分に符号化し、及び
前記第１のデルタ画像チャネル及び前記第２のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化する、
ように前記メモリに格納されたプログラムコードを実行するように構成されたプロセッサと、
を備える、システム。
【請求項１０】
前記プロセッサに前記第１のデルタ画像チャネル及び前記第２のデルタ画像チャネルを前記画像ファイルのメタデータ部分に符号化させる前記プログラムコードは、前記プロセッサに前記第１のデルタ画像チャネル及び前記第２のデルタ画像チャネルを前記画像ファイルの個別のメタデータ部分に符号化させるプログラムコードを更に含む、請求項９に記載のシステム。
【請求項１１】
前記プロセッサが、前記画像ファイルが画像表示を作成するために伝送又は使用される前に、受信装置又は前記受信装置への伝送媒体の１つ以上の特性に少なくとも部分的に基づいて、前記画像ファイルから第１のデルタ画像チャネル、前記第２のデルタ画像チャネル、又はこれらのデルタ画像チャネルの組合せを選択的に抽出するよう、前記メモリに格納されたプログラムコードを実行するように更に構成されている、請求項１０に記載のシステム。
【請求項１２】
プロセッサによって可読な非一時的プログラム格納装置であって、１つ以上のプロセッサに、
画像ファイルを受信することと、
前記画像ファイルのペイロード部分を復号して、基本画像フォーマットで表される第１の画像を作成することであって、前記第１の画像内の各要素が第１の値の範囲における第１の複数の参照値によって定義されることと、
前記画像ファイルのメタデータ部分を復号して少なくとも第１の追加の画像チャネル及び第２の追加の画像チャネルを作成することと、
前記第１の画像、前記第１の追加の画像チャネル及び前記第２の追加の画像チャネルを組み合わせて、拡張画像フォーマットで表される第２の画像を作成し、該第２の画像内の各要素が、第２の値の範囲における第２の複数の参照値によって定義され、前記第１の値の範囲が前記第２の値の範囲の真部分集合である、前記第２の画像を作成し、前記第１の追加の画像チャネルが、前記第１の値の範囲よりも小さい値からなり且つ前記第１の値の範囲によって定義される前記第１の画像の色域外の前記第２の画像の色域を表し、前記第２の追加の画像チャネルが、前記第１の値の範囲よりも大きい値からなり且つ前記第１の値の範囲によって定義される前記第１の画像の輝度レベルの範囲外の前記第２の画像の輝度レベルの範囲を表していることと、
をさせる命令を格納して含む、非一時的プログラム格納装置。
【請求項１３】
前記１つ以上のプロセッサに、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる命令を更に含む、請求項１２に記載の非一時的プログラム格納装置。
【請求項１４】
前記１つ以上のプロセッサに、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる前記命令は、前記１つ以上のプロセッサに、前記ペイロード部分の全て又は一部のハッシュが、前記画像ファイルの一部として格納される前記元のペイロード部分の全部又は一部のハッシュと一致するかを判定させる命令を含む、請求項１３に記載の非一時的プログラム格納装置。
【請求項１５】
前記１つ以上のプロセッサに、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定させる前記命令は、前記１つ以上のプロセッサに、前記画像ファイルに固有の識別子が含まれているかを判定させる命令を含む、請求項１３に記載の非一時的プログラム格納装置。
【請求項１６】
前記固有の識別子は、前記画像ファイルの前記ペイロード部分に符号化されるファイルフォーマット特有マーカである、請求項１５に記載の非一時的プログラム格納装置。
【請求項１７】
前記１つ以上のプロセッサに、前記メタデータ部分を復号させて、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有すると判定することに応答して、前記第１の画像、前記第１の追加の画像チャネル及び前記第２の追加の画像チャネルを組み合わせるようにさせる命令を更に含む、請求項１３に記載の非一時的プログラム格納装置。
【請求項１８】
前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有さないと判定されたときに、前記第１の画像の表示を作成する命令を更に含む、請求項１７に記載の非一時的プログラム格納装置。
【請求項１９】
装置であって、
ディスプレイ要素と、
メモリと、
前記ディスプレイ要素及び前記メモリに動作的に連結されたプロセッサであって、
画像ファイルを受信し、
前記画像ファイルのペイロード部分を復号して、基本画像フォーマットで表される第１の画像を作成することであって、前記第１の画像内の各要素が第１の値の範囲における第１の複数の参照値によって定義される前記第１の画像を作成し、
前記画像ファイルのメタデータ部分を復号して少なくとも第１の追加の画像チャネル及び第２の追加の画像チャネルを作成し、
前記第１の画像を前記第１の追加の画像チャネル及び前記第２の追加の画像チャネルと組み合わせて、拡張画像フォーマットで表される第２の画像を作成することであって、前記第２の画像内の各要素が第２の値の範囲における第２の複数の参照値によって定義され、前記第１の値の範囲が前記第２の値の範囲の真部分集合である、前記第２の画像を作成し、前記第１の追加の画像チャネルは、前記第１の値の範囲よりも小さい値からなり且つ前記第１の値の範囲により定義される前記第１の画像の色域外の前記第２の画像の色域を表し、前記第２の追加の画像チャネルが、前記第１の値の範囲よりも大きい値からなり且つ前記第１の値の範囲により定義される前記第１の画像の輝度レベルの範囲外の前記第２の画像の輝度レベルの範囲を表しており、
前記第２の画像を、前記ディスプレイ要素を用いて表示する、
ように、前記メモリに格納されたプログラムコードを実行するように構成されるプロセッサと、
を備える、装置。
【請求項２０】
前記プロセッサが、前記画像ファイルの前記ペイロード部分が前記画像ファイルの元のペイロード部分と一貫性を有するかを判定するプログラムコードを更に実行することを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
本開示は概して、多くの既存の画像ファイルフォーマットと比較して、向上した精細度、拡大したダイナミックレンジ、及びより幅広い色域を提供する、画像符号化系システム及び方法に関する。より具体的には、本開示は、既存の装置と後方互換性を有し、向上した精細度、ダイナミックレンジ、及び色域データによって、既存の装置がフェイルしない、画像符号化方法に関する。
【０００２】
周知のように、デジタル画像は、画像の特性を定義する参照値で表される。例えば、デジタル画像の各ピクセルの特性は、複数の参照値（例えば、Ｒ即ち赤、Ｇ即ち緑、及びＢ即ち青の値）によって特定されてもよい。これらの参照値は、カラーモデルによって定義される。カラーモデルは、参照値の組み合わせを用いてどのように色を表すことができるかを記述する。特定のカラーモデルによって生成可能な色の一式は、色空間である。テレビの画面、コンピュータモニタ、タブレットなどのディスプレイ装置に画像を生成する最も一般的なカラーモデルは、ＲＧＢカラーモデルである。ＲＧＢカラーモデルは、赤、緑、及び青の原色の異なるレベル（すなわち、異なる参照値）の組み合わせから生成される色の一式を定義する。
【０００３】
図１に、ＣＩＥ１９３１色空間色度図を示す。外側の曲線状の境界１０５は可視スペクトル単色を表し、波長がナノメートルで示されている。外側の曲線状の境界１０５に沿って色は、波長を増加しながら、紫、青、緑、黄、橙、及び赤の範囲を進む。特定のＲＧＢ色空間の赤、緑、及び青の原色の色度（すなわち、１つの色チャネルが非ゼロ値を有し、他の２つのチャネルはゼロ値を有する色度）は、色三角形１１５の頂点をそれぞれ形成する。ＲＧＢ色空間によって表すことができる色度の全域は、色三角１１５内にある色度によって表される。色三角１１５は、最も一般的なＲＧＢ色空間であるｓＲＧＢ色空間に対応する。頂点１１０ＡはｓＲＧＢの赤原色であり、頂点１１０ＢはｓＲＧＢの緑原色であり、頂点１１０ＣはｓＲＧＢの青原色である。全ての色チャネルが１に等しいＤ６５の白色点は、１２０で示される。
【０００４】
図１に示すように、ｓＲＧＢなどの典型的な色空間は、ヒトが見える色度の全範囲よりも実質的に小さい範囲を含む。更に、典型的な色空間は、ヒトが認識できる輝度レベルのごく一部しか表すことができない。これらの色空間の制限は、ディスプレイメディアが生成可能である色に基づいて、一般的に用いられる色空間に設計によって組み込まれている。すなわち、色空間は、テレビディスプレイ及びコンピュータモニタなどの既存のディスプレイメディアによって生成可能な色のみを含む必要がある。実際に、色空間が生成可能である色にのみ限定される場合に、（所定のデータサイズについて）色が生成可能である精細度は向上する。より幅広い色域（すなわち、より幅広い範囲の色度）及び拡大したダイナミックレンジ（すなわち、より幅広い範囲の輝度レベル）を生成することができる新しいディスプレイ技術の出現によって、より幅広い範囲の色を含む色空間によって画像を定義する必要が出てくる。しかしながら、この移行の間に、追加の色情報を保持する画像ファイルもまた、既存のデバイスによって読取り及びレンダーリング可能であることも必要である。したがって、既存の画像ファイルフォーマットと比較して、向上した精細度、拡大したダイナミックレンジ、及びより幅広い色域を提供し、既存のディスプレイ装置と互換性を有する、画像を符号化するための方法及びシステムを明示することが望ましい。
【発明の概要】
【０００５】
拡張画像コンテンツを有する画像を符号化する方法は、第１の画像フォーマットで表される第１の画像を取得すること、及び第１の画像に対応し、第２の画像フォーマットで表される第２の画像を取得すること、を含んでもよい。第１の画像の各要素は第１の範囲の参照値によって定義されてもよく、第２の画像の各要素は第２の範囲の参照値によって定義されてもよい。第１の範囲は、第１のフォーマット及び第２のフォーマットが、第１のフォーマットの参照値の全範囲にわたって一貫性を有するように、第２の範囲の真部分集合であってもよい。一実施形態では、第１の画像が次に第２の画像から減算されることで、デルタ画像を取得してもよい。第１の画像は画像ファイルの標準ペイロード部分に符号化されてもよく、デルタ画像は画像ファイルのメタデータ部分に符号化されてもよい。方法はプログラムコードに具現化され、非一時的な媒体に格納されてもよい。格納されたプログラムコードは、方法を実現するように構成されたシステムの一部、又はそれを制御する、１つ以上のプロセッサによって実行されてもよい。
【０００６】
拡張画像コンテンツを有する画像を復号する方法は、画像ファイルのペイロード部分を復号して、第１の画像を作成することを含んでもよい。第１の画像は、各画像要素が第１の範囲の参照値によって定義される基本画像フォーマットにて表されてもよい。画像ファイルのメタデータ部分を復号して、追加の画像データを作成してもよい。追加の画像データを第１の画像と組み合わせて、第２の画像を作成してもよい。第２の画像は、各画像要素が第２の範囲の参照値によって定義される拡張画像フォーマットを用いて表されてもよい。第１の範囲は、基本画像フォーマット及び拡張画像フォーマットが基本画像フォーマットの参照値の全範囲にわたって一貫性を有するように、第２の範囲の真部分集合であってもよい。方法はプログラムコードに具現化され、非一時的な媒体に格納されてもよい。格納されたプログラムコードは、方法を実現するように構成されたシステムの一部、又はそれを制御する、１つ以上のプロセッサによって実行されてもよい。
【図面の簡単な説明】
【０００７】
【図１】ｓＲＧＢ色域が明記されたＣＩＥ１９３１色空間色度図を示す。
【図２】一実施形態に係る、拡張画像フォーマットのコンポーネントを示すブロック図である。
【図３】一実施形態に係る、拡張画像フォーマットに符号化された追加情報を抽出する作業を示すブロック図である。
【図４】一実施形態に係る、拡張画像フォーマットに符号化された追加情報を抽出して、抽出された情報を異なるチャネルに分離する作業を示すブロック図である。
【図５Ａ】複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。
【図５Ｂ】複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。
【図５Ｃ】複数の実施形態に係る、拡張画像からの基本画像及び拡張画像データを、幅広くサポートされる画像フォーマットに符号化する処理を示すブロック図である。
【図６】一実施形態に係る、基本画像、抽出された追加画像データの１つ以上のチャネル、及び拡張画像を再構成するための命令を、幅広くサポートされた画像フォーマットで符号化することを示すブロック図である。
【図７】一実施形態に係る、幅広くサポートされる画像フォーマットを用いて符号化された拡張画像を復号する処理を示すフローチャートである。
【図８】一実施形態に係る、例示的な電子機器を示す。
【発明を実施するための形態】
【０００８】
この開示は、拡張画像を、既存の復号デバイスと後方互換性を有するように符号化するための、システム、方法、及びコンピュータ可読メディアに関する。一般的に、拡張画像フォーマットは、既存の画像フォーマットに一致するチャネル原色を用いるように定義される。拡張画像フォーマットが既存の画像フォーマットのチャネル原色を参照するため、拡張画像フォーマットに含まれる追加の画像情報は以下に記載する計算上高価でない作業によって抽出可能である。
【０００９】
以下の記載において、説明を目的として、本発明の概念の完全な理解を提供するために、多数の具体的な詳細について説明する。この記載の一部として、本開示の図面のいくつかは、本発明が不明瞭になるのを避けるために、構造及び装置をブロック図の形態で表す。明確性のために、本明細書には実際の実施態様の全ての特徴は示されていない。更に、本開示に使用される言語は、主に、読み易さ及び説明の目的のために選択されたもので、発明の要旨を線引き又は制限するために選択されたものではなく、このような本発明の要旨を決定するためには特許請求の範囲に依存する必要がある。本開示において「一実施形態」又は「一実施形態」を言及することは、実施形態に関して述べる特定の特徴、構造又は特性が本発明の少なくとも一実施形態に含まれることを意味し、そして「一実施形態」又は「一実施形態」を何度も言及することは、必ずしも全てが同じ実施形態を言及すると理解してはならない。
【００１０】
（任意の開発プロジェクトの場合のような）任意の実際の具現化の開発では、開発者特有の目標（例えば、システム及びビジネス関連制約との適合）を達成するために多数の判断をしなければならず、かつ、これらの目標は、具現化ごとに変動し得ることが了解されよう。また、そのような開発努力は複雑で時間がかかることがあるが、それにもかかわらず、本開示の利益を有する画像処理における当業者の日常行うべきものであることも了解されよう。
【００１１】
図２を参照すると、基本画像フォーマットは、画像ピクセルの特性を定義する参照値２０５によって画像を記述し得る。例えば、ＲＧＢフォーマットで表される画像の各ピクセルは、赤チャネル、緑チャネル、及び青チャネルについての参照値を含んでもよい。まとめて、赤、緑、及び青のチャネルの参照値は、所与の色空間（すなわち、赤、緑、及び青のチャネル原色によって定義される色空間）内のピクセルの特性を定義する。参照値は、０．０〜１．０の範囲内のノミナル値によって記述されてもよい。例えば、（（Ｒ，Ｇ，Ｂ）として表される）（１．０，０．０，０．０）の値を有する画像ピクセルは、最大の輝度を有する純粋な赤色画素（すなわち、赤チャネル原色の特性を有するピクセル）となる。図示される実施形態では、一般的な消費者向け画像フォーマットにおいて一般的であるように、各参照値は８ビットの二進数として表すことができる。当業者であれば、他のビット深度が可能であることを認識するであろう。例えば、１６ビットも可能である。
【００１２】
一実施形態では、拡張画像フォーマットは、基本画像フォーマットの参照値の範囲にわたって、基本画像フォーマットと一貫性を有する。したがって、拡張画像フォーマットは基本画像フォーマットと同一の原色を参照する（例えば、赤、緑、及び青）。しかしながら、参照値２１０のノミナル範囲は、追加の画像データ（すなわち、例えば色域、ダイナミックレンジ、及び精細度など、基本フォーマットを用いて表すことができない画像データ）を符号化するために拡張されてもよい。すなわち、基本画像フォーマットの参照値の範囲は、拡張画像フォーマットの参照値の範囲の真部分集合である。拡張画像フォーマットが、基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有するために、この範囲内の参照値（すなわち、図示される実施形態における０．０〜１．０のノミナル値）は、基本画像フォーマット又は拡張画像フォーマットのどちらでも同一の色特性を表す。図示する実施形態では、拡張画像フォーマットにおける各参照値２１０についてのノミナル範囲は、基本画像フォーマット参照値２０５と比較して２倍になる（０．０〜１．０から−０．７５〜１．２５）。この拡張されたノミナル範囲は、基本画像フォーマットを用いて生成可能なものよりも増加した輝度及びより幅広い色域を符号化するために使用されてもよい。一実施形態では、基本画像フォーマット域の外（すなわち、基本画像フォーマットの色空間の外）の色を符号化する上で、負の値を使用してもよい。例えば、（１．０，−０．７５、−０．７５）の値は、基本画像フォーマットでは表すことができない、非常に彩度の高い赤を表してもよい。１を超える値は、基本画像フォーマットを用いて表すことのできない（すなわち、基本画像フォーマットのダイナミックレンジの外の）増加した輝度を符号化するのに使用されてもよい。例えば、（１．２５，０．０，０．０）は、赤原色の非常に明るいものを表してもよい。更に、図示する実施形態では、拡張画像フォーマットについての参照値は、１０ビット２進数を用いて表される。したがって、この実施形態では、１つの追加のビットを、基本画像フォーマットと比較してノミナル範囲を２倍にするために使用し、別の追加のビットを、拡大されたノミナル範囲全体にわたっての精細度を２倍にするために、使用することができる。この手法の利点の１つは、非線形ガンマと組み合わされたときに、表示の実効的な線形範囲が拡大することである。例としては、０．０〜１．０表現における２．２ガンマ値はまだ、０．０〜１．０で線形である。対照的に、０．０〜１．２５表現における２．２ガンマ値は、０．０〜１．０の線形範囲によって提供される範囲よりも実際のところ１．６倍である。
【００１３】
なお、図示する実施形態は単なる例示として提供されている。拡張フォーマットの追加画像情報が図２に図示するように分配される（すなわち、追加範囲の７５％がより幅広い色域にあてられて、２５％は拡大したダイナミックレンジにあてられる）こと、基本及び拡張フォーマットの参照値が任意の特定のビット数で符号化されること、あるいは、参照値がＲＧＢカラーモデルに対応することは、必須ではない。この開示は、基本画像フォーマットの参照値の範囲にわたって一貫性を保ちながら、基本画像フォーマットを用いて符号化することができない画像情報を符号化するために参照値の範囲を拡張する任意の拡張画像フォーマット（任意のカラーモデルを使用）に、等しく適用可能である。
【００１４】
図３を参照すると、一実施形態において、及び以下により詳細に記載するように、基本画像フォーマットを用いて表される画像と、拡張画像フォーマットを用いて表された対応する画像との差分を識別するのが望ましい場合がある。生画像３０５は、全く処理されていない又は最小限にしか処理されていないが画像センサデータを含んでもよい。生画像３０５は、それぞれが最終的な画像フォーマットに含まれない画像情報を含み得る点で、フィルム撮影でのネガと類似し得る。例えば、画像センサによってキャプチャされて生画像３０５に含まれる情報のいくつかは、基本画像３１０又は拡張画像３１５にさえも符号化され得ない輝度レベル若しくは色を表してもよい。当業者によって理解されるように、生画像３０５を拡張画像３１５及び基本画像３１０に変換することは、ノイズリダクション、シャープニング、デモザイク処理、黒引き、ハイライト回復、トーンマッピング等を含む、本開示の範囲外の作業を含んでもよい。しかしながら、これらの処理は結果的に、参照値２０５等の基本画像フォーマットのための参照値から構成される基本画像３１０、及び参照値２１０等の拡張画像フォーマットのための参照値から構成される拡張画像を生成する。拡張画像３１５は、基本画像３１０では表すことのできない生画像３０５からの画像情報を含んでもよい。
【００１５】
更に、拡張画像フォーマットは基本画像フォーマットのための参照値の範囲にわたって基本画像フォーマットと一貫性を有しているが、生画像３０５と基本画像３１０及び拡張画像３１５との間の変換処理は結果的に、基本画像フォーマット範囲内に表すことができる色についてさえ、異なる参照値を得る可能性がある。例えば、生画像３０５が基本画像３１０の基本画像フォーマット内にて完全に再現することができない明るい黄色の対象物を描写している場合、最大参照値にて基本画像色空間の外に延びる色を丸めて平坦で不自然な外観を得るのではなく、変換処理によって基本画像色空間内の特定の色を調節して対象物のより自然な再現を得られるようにしてもよい。しかしながら、生画像３０５からより広い色空間を表すことができる拡張画像３１５に変換する場合、基本画像フォーマットでの場合と同様には、オブジェクトの色を調節する必要はない可能性がある。図３では生画像３０５を基本画像３１０及び拡張画像３１５の両方に変換することを示すが、別の実施形態では、生画像３０５は拡張画像３１５に変換されて、基本画像３１０は拡張画像３１５から作成されてもよい。基本画像３１０及び拡張画像３１５のそれぞれが作成された後に、基本画像３１０が拡張画像３１５から減算されることで、デルタ画像３２０として表される、２つの画像間の差分を抽出してもよい。
【００１６】
図４を参照すると、拡張画像３１５が基本画像３１０の参照値の全範囲にわたって基本画像３１０の基本画像フォーマットと一貫性を有する拡張フォーマットにより表されるため、基本画像３１０には含まれずに拡張画像３１５に含まれる追加情報の全てを保持するデルタ画像３２０の抽出は、簡便なピクセル単位での差分作業として行われてもよい。例えば、基本画像３１０のピクセル３１０Ａの参照値が、拡張画像３１５の対応するピクセル３１５Ａの対応する参照値から減算されてもよい。得られる参照値は、デルタ画像３２０のピクセル３２０Ａの特性を定義する。上記で例として図２について説明した拡張フォーマットを用いて、ピクセル３１５Ａのノミナル参照値は（１．２１，−０．４，−０．３）であってもよく、これは基本画像３１０の基本画像フォーマットの範囲外の明るく濃い赤色を指定する。対応するピクセル３１０Ａの参照値は（０．９８，０，０）であってもよく、これは基本画像フォーマットを用いて生成可能な最も明るく最も濃い赤に近いものを表す。ピクセル３１５Ａの参照値の１０ビット２進数表現及びピクセル３１０Ａの参照値の８ビット２進数表現の数値表現はそれぞれ、（１００３，１７９，２３０）及び（２５０，０，０）である。結果的に、これはデルタ画像３２０のピクセル３２０Ａの参照値（７５３，１７９，２３０）を得る。
【００１７】
一実施形態では、デルタ画像を、特定の特徴をそれぞれ表す複数のデルタ画像チャネルに分離することが望ましい場合がある。例えば、図示される実施形態では、デルタ画像３２０は、画像３１０に対する拡張画像３１５の追加ダイナミックレンジ、より幅広い色域、及び向上した精細度をそれぞれ表す、デルタ画像チャネル３２２、３２４、及び３２６に分離されてもよい。デルタ画像チャネルの数及び種類は、概して拡張画像フォーマットと基本画像フォーマットとの間の差分による。これらのさまざまな特徴に帰することができるデルタ画像３２０の部分を分離するために、デルタ画像３２０の各ピクセルの参照値を、拡張画像３１５の対応するピクセルの参照値と比較してもよい。例えば、図２に対して説明される拡張フォーマットを再度参照して、拡張画像フォーマットの−０．７５〜０．０のノミナル値はより幅広い色域を表すために用いられてもよく、１．０〜１．２５のノミナル値は増加された輝度を表すために用いられてもよい。これらのノミナル値は、図２の拡張画像フォーマットの１０ビット表現における０〜３９３及び８９６〜１０２３の数値に対応する。したがって、これらの範囲内の参照値の部分は、指定の特性に帰属することができる。増加した輝度に帰属可能なピクセル３１５Ａの参照値の部分が、増加した輝度のデルタ画像チャネル３２２のピクセル３２２Ａの参照値（１０７，０，０）を作成するために抽出可能である。同様に、より幅広い色域に帰属可能なピクセル３１５Ａの参照値の部分が、幅広い色域のデルタ画像チャネル３２４のピクセル３２４Ａの参照値（３８３，１７９，２３０）を作成するために抽出可能である。これらの増加した輝度及びより幅広い色域の参照値がデルタ画像３２０のピクセル３２０Ａの参照値から減算されると、得られる参照値（２６３，０，０）は基本画像フォーマットと拡張画像フォーマットとの間の向上した精細度、及び生画像から拡張画像フォーマット並びに基本画像フォーマットへの変換処理における差分を表し、精細度が向上したデルタ画像チャネル３２６のピクセル３２６Ａの参照値として、符号化することができる。図４に図示される実施形態はデルタ画像３２０を３つの異なる画像に分離することを示すが、それより多い又は少ない数の分離画像チャネルを用いてもよい。別の実施形態では、複数のデルタ画像チャネルが、帯域幅／品質を制御する目的、及び異なるデコーダの必要性に基づいて、符号化され、任意で伝送され、及び任意で復号されてもよい（すなわち、ノミナル範囲よりも幅広い色域をサポートしない装置には、−０．７５〜１．０のチャネルが伝送されなくてもよい。同様に、より高い精細度をサポートする装置は、その余分の範囲を提供するデルタ画像チャネルを受けてもよい）。デルタ画像チャネルを作成するこの手法は、ほとんどの既存のファイルフォーマット／画像表現に適用可能である。記載されるデルタ画像チャネルは明示的なメタデータとして、個別だが関連するファイル（「ｂｏｘｃａｒ」）、又はファイルシステムフォーク内に、合法な場所にファイル／ストリームにデータを「詰め込む」（例えば既存の画像の後に、ファイルフォーマットの定義に従って）ことで暗に格納させてもよい。
【００１８】
図５Ａを参照すると、拡張画像フォーマットが既存の装置と互換性を有することを確実にするために、基本画像は幅広くサポートされる画像ファイルフォーマット（例えば、ＪＰＥＧ及びＴＩＦＦ）を用いて圧縮及び符号化されてもよい。更に、（上記のように１つ以上のデルタ画像に分離されてもよい）デルタ画像は、選択されたファイルフォーマットの標準による基本画像に伴うメタデータとして、圧縮及びパッケージングされてもよい。このようにして、拡張画像フォーマットをサポートする装置は、基本画像及びデルタ画像から拡張画像を作成することができる一方で、拡張画像フォーマットをサポートしない装置は、単にデルタ画像メタデータを無視して通常通りに基本画像を復号することができる。
【００１９】
図５Ａに図示する実施形態では、基本画像５１０Ａを拡張画像５１５Ａから減算して、デルタ画像５２０Ａを作成してもよい。この場合もまた、拡張画像フォーマットが、基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有するために、減算は、上記のように計算上高価でないピクセル単位での差分作業として行われてもよい。基本画像５１０Ａは、幅広くサポートされる画像ファイルフォーマット（例えば、ＪＰＥＧファイルインターチェンジフォーマット（ＪＦＩＦ））の標準に従って、画像ファイル５４０Ａのペイロード部分として圧縮及び符号化（５３０Ａ）されてもよい。（いくつかの異なる画像チャネルに実際に分割されてもよい）デルタ画像は同様に、画像ファイル５４０Ａのメタデータ部分内に圧縮及び符号化（５３０Ａ）されてもよい。例として、ＪＦＩＦフォーマットは複数のメタデータチャネルを含む。一実施形態では、１つ以上のデルタ画像チャネルが、１つ以上のこれらのメタデータチャネルに圧縮及び格納されてもよい。ＪＦＩＦフォーマットが記載されているが、追加の幅広くサポートされる画像ファイルフォーマットもまた、同様の作業を可能としてもよい。圧縮及び符号化処理は選択されたファイルの種類に依存するものであり、当業者に周知のものであるため、これらの処理は本開示にて具体的に記載されない。
【００２０】
デルタ画像チャネルデータが著しく空間的にまとまっており、更に基本画像の大きな領域にわたって不変のＤＣレベルであり得る（そこでは生信号が基本によって表現可能である）ことが、思いがけなく見出された。結果として、デルタ画像チャネルがペイロード（すなわち、基本画像）と同一の圧縮を用いて効率的に符号化されてもよい一方で、更に助けとなる他の技術、例えばデルタ画像チャネルデータが実際に変調されるまばらな領域のみしか符号化しないクアッドツリー表現なども存在する。また、デルタ画像チャネルを別々のチャネル（すなわち、負の値、１を超えた値、及び追加の精細度）に分割して、個別のまばらなチャネルを最大限に生かすのも有利であり得る。単なる一例として、鏡面反射のハイライトは著しく１を超えた値を必要とし、濃く飽和された領域は負の値を必要としてもよい。デルタ画像チャネル情報を符号化することに対して、非可逆又は可逆符号化方法を用いることができる一方で、非可逆圧縮を用いるのが推奨され得る。非可逆圧縮が用いられるところでは、デルタ画像チャネルデータは非可逆圧縮の効果を含むように決定（算出）されてもよい。これは、例えば基本画像データを、上記の減算を行う前に圧縮、及び解凍すること、デルタチャネルにて圧縮エラーを効果的に符号化することで得られてもよく、それによって基本よりも高い品質の画像の復号を可能とする。これは、（ガンマ、レンジ、及び精細度上の）デルタチャネルの追加の使用方法であると判断されている。
【００２１】
図５Ｂを参照すると、基本画像５１０Ｂは、最初に圧縮されて（５３０Ｂ）、次に解凍されて（５３５Ｂ）、その後、圧縮／解凍によって得られる画像が拡張画像５１５Ｂから減算されてもよい。非可逆圧縮アルゴリズムの場合は、圧縮／解凍作業は、デルタ画像が、画像ファイル５４０Ｂを用いて拡張画像５１５Ｂを再構成するために用いられる基本画像のバージョンから算出されることを確実にする。これは、デルタ画像を生成するのに用いられた基本画像とは異なるバージョンを用いるときに、拡張画像再構成処理中に発生し得るエラーを減少させる。圧縮された基本画像は、幅広くサポートされる画像ファイルフォーマットの標準に従って、画像ファイル５４０Ｂのペイロード部分として符号化されてもよい。同様にデルタ画像５２０Ｂは、画像ファイル５４０Ｂのメタデータ部分に圧縮及び符号化されてもよい。
【００２２】
いくつかの実施形態では、基本画像及びデルタ画像を、選択されたファイルフォーマットに基づいて異なるカラーモデルに変換することが必要となり得る。例えば、基本画像及びデルタ画像をパッケージングするために選択されたファイルフォーマットがＪＦＩＦであり、基本画像がＲＧＢカラーモデルを用いて符号化される（拡張画像は同一のＲＧＢカラーモデルの延長として表される）場合は、基本画像及びデルタ画像はＪＦＩＦによってサポートされるＹ’ＣbＣrカラーモデルに変換される必要があり得る。これまで、この変換プロセスは、基本画像及びデルタ画像の圧縮並びに符号化の一部として仮定されていた。しかしながら、特定の実施形態では、拡張画像及び基本画像のカラーモデルを変換させて、変換された色空間において（拡張画像及び基本画像間の）差分作業を行うことが有利であり得る。選択されるファイルフォーマットのペイロード部分が基本画像の色空間よりも幅広い範囲の色を符号化することが可能（ｓＲＧＢ色空間に比べたＪＰＥＧ標準のＹ’ＣbＣr色空間の場合のように）であれば、デルタ画像の少なくとも一部を、メタデータ部分ではなく画像ファイルのペイロード部分に含むことが望ましい場合がある。０．０〜１．０ＲＧＢ単位キューブの外の値は、Ｙ’ＣｂＣｒの０〜１単位容積において表されてもよい。一般的なＹ’ＣbＣrからＲ’Ｂ’Ｇ’コンバータは典型的にＲ’Ｇ’Ｂ’値を０．０〜１．０に丸めて、後方互換性を維持するたように、拡張された範囲のＲ’Ｇ’Ｂ’値をＹ’ＣbＣrに符号化するのが「安全」であり得る。
【００２３】
図５Ｃを参照すると、基本画像５１０Ｃ及び拡張画像５１５Ｃが、第１のカラーモデルから第２のカラーモデルに変換（５５０）されてもよい。一実施形態では、第２のカラーモデルは選択されたファイルフォーマット（すなわち、画像ファイル５４０Ｃのファイルフォーマット）を用いて画像を符号化するために必要なカラーモデルであってもよい。例として、基本画像５１０Ｃ及び拡張画像５１５Ｃが、図２に対して上記で説明された基本画像フォーマット及び拡張画像フォーマットを用いて符号化され、選択されたファイルフォーマットが、画像がＹ’ＣbＣrカラーモデルを用いて符号化されることを必要とする場合、基本画像５１０Ｃ及び拡張画像５１５ＣはＲＧＢカラーモデルからＪＰＥＧのＹ’ＣbＣrカラーモデルに変換される。一実施形態では、ノミナルＲＧＢ参照値を変換する上で以下の等式を用いる：
【表１】
0006703032.tif 000002
図４に対して上記で説明された拡張画像３１５のピクセル３１５Ａの例示的なＲＧＢ参照値（１．２１，−０．４，−０．３）及び基本画像３１０のピクセル３１０Ａの例示的なＲＧＢ参照値（０．９８，０，０）は、結果的にそれぞれ（０．０９３，０．２７８，１．２９７）及び（０．２９３，０．３３４，０．９９）の変換値になる。カラーモデル変換後、変換された基本画像５１２Ｃが変換された拡張画像５１７Ｃから減算されて、デルタ画像５２０Ｃが作成される。デルタ画像５２０Ｃは、変換された色空間内に表される。デルタ画像５２０Ｃの一部を抽出して変換後基本画像５１２Ｃに加え戻すことで、調節された基本画像５１４Ｃを作成してもよい。例えば、変換後基本画像５１２Ｃの参照値は、デルタ画像５２０Ｃの一部を、調節後の基本画像５１４Ｃの得られる参照値が受容可能な範囲内である程度に加えることで、変換後の拡張画像５１７Ｃに近づくように調節されてもよい。変換後の基本画像５１２Ｃ及び変換後の拡張画像５１７Ｃに対応するピクセルの上記の例示的な参照値を再度参照すると、デルタ画像５２０Ｃの対応するピクセルの参照値は（−０．２，−０．０５６，０．３０７）であってもよい。いくつか又は全てのこれらの参照値が、結果的に得られる値がノミナル参照値の受容可能な範囲内（例えば、０〜１）となる程度にまで、変換後の基本画像５１４Ｃの対応する値に加え戻されてもよい。一実施形態では、これは結果的に、調節された基本画像５１４Ｃの参照値が（０．０９３，０．２７８，１）、及びデルタ画像５２０Ｃの対応するピクセルの残る値が（０，０，０．２９７）となり得る。調節された基本画像５１４Ｃ及びデルタ画像５２０Ｃの残りの部分（すなわち、抽出されなかった部分）は次に、ファイル５４０Ｃの画像ファイルフォーマットの標準に従って、それぞれ画像ファイル５４０Ｃペイロード部分及びメタデータ部分に圧縮及び符号化（５３０Ｃ）されてもよい。
【００２４】
図６を参照すると、一実施形態では、基本画像及びデルタ画像は並行して、ことによれば複数の符号化／復号ユニットを用いて、圧縮及び符号化されてもよい。なお、「追加」の符号化ユニットは同一でなくてもよい。すなわち、デルタチャネル情報について（基本とは）異なるハードウェアエンコーダを用いる機会があってもよく、そのために異なるコーデックのためのハードウェアアクセラレーションを許容し、得られる装置をより多用途のものにしてもよい。あるいは、デルタチャネル情報は基本画像と並行して、中央処理装置（ＣＰＵ）に基づくコーデックにて、ベースハードウェアが加速されて符号化／復号され得る。別の実施例では、デルタ及び基本画像の両方の符号化はＣＰＵに基づいてもよい（例えば、マルチコア処理装置の異なるコアを用いる）。図示される実施形態では、デルタ画像は上記のように複数のデルタ画像チャネル６２０Ａ〜６２０Ｃに分離されている。画像ファイル６４０にそれぞれの画像を符号化するために圧縮動作、書込み動作、及び読込み動作を必要とする、基本画像６１０及びデルタ画像チャネル６２０Ａ〜６２０Ｃのそれぞれの圧縮並びに保存を行うのではなく、基本画像６１０及びデルタ画像チャネル６２０Ａ〜６２０Ｃを並行して圧縮して、画像ファイル６４０に符号化してもよい。基本画像６１０は、画像ファイル６４０のペイロード部分６４５に符号化されてもよく、デルタ画像チャネル６２０Ａ〜６２０Ｃは、画像ファイル６４０の別々のメタデータチャネル６５０Ａ〜６５０Ｃに符号化されてもよい。図６では３つのデルタ画像チャネルが図示されるが、より多く又はより少ない数のデルタ画像チャネルを用いてもよい。
【００２５】
一実施形態では、デルタ画像チャネルは、基本画像６１０の第１の圧縮版とデルタ画像６１０の第２の圧縮版との差分を符号化してもよい。例えば、基本画像６１０は画像ファイルフォーマット（すなわち、画像ファイル６４０のフォーマット）の標準に従って圧縮されてもよく、改善された圧縮アルゴリズムに従って圧縮されてもよい。かかる実施形態では、２つの圧縮版の差分はデルタ画像チャネル６２０Ａ〜６２０Ｃのうちの１つとして圧縮及び符号化されてもよい。
【００２６】
一実施形態では、デルタ画像チャネル６２０Ａ〜６２０Ｃを画像ファイル６４０の個別のメタデータチャネルに分離することは、デルタ画像チャネルの選択的な伝送又は使用を可能としてもよい。一実施形態では、受信装置がデルタ画像チャネルの１つ以上を使用することができないと判定された場合は、使用可能なチャネルのみが伝送されてもよい。例えば、受信装置が、精細度デルタ画像チャネルを用いて、画像ファイル６４０によって表される表示画像の精細度を向上させることはできるものの、拡大したダイナミックレンジ、広範囲の色域、又は圧縮差分チャネルを使用することができない場合、拡大したダイナミックレンジ、広範囲の色域、及び圧縮差分に対応するデルタ画像チャネルは、画像ファイル６４０が伝送される前に抽出されてもよい。同様に、伝送媒体が限定的な帯域幅を有する場合、デルタ画像チャネルのいくつか又は全てが、画像ファイル６４０の伝送前に抽出されてもよい。ダウンストリームデコーダ性能を認識することで、伝送局にビットレートを管理してネットワーク輻輳に対応することを許容することができる。同様に、受信デコーダは周知の状況に基づいてデルタを選択的に復号してもよい（例えば、幅広い色域表示ができないときは負のデルタ値を復号しないように選択してもよい）。
【００２７】
図示される実施形態では、画像ファイル６４０は、画像ファイル６４０の別個のメタデータチャネルにそれぞれ格納される識別子６５５及び命令６６０を含む。識別子６５５は、元々符号化された基本画像６１０をデルタ画像チャネルにリンクさせてもよい。このリンクは、カタストロフィックに成り得る、基本画像６１０の変更されたバージョンにデルタ画像データが適用されることを、回避するために用いられてもよい。例えば、画像ファイル６４０が変更される（例えば、基本画像６１０の表現が９０度回転される）場合は、それに続けて、拡張画像を再度作成する試みに、デルタ画像データを使用するべきではない。一実施形態では、識別子６５５は、元のペイロード部分６４５の全て又は一部のハッシュであってもよい。別の実施形態では、識別子６５５は（個別のメタデータチャネル内ではなく）元のペイロード部分６４５内に格納される固有の識別子であってもよく、ペイロード部分６４５内のデータが元のデータであることを示す追加のＪＰＥＧリスタートマーカなどのフォーマット固有マーカを含んでもよい。識別子６５５の具体的な実施にかかわらず、ペイロード部分６４５へのいかなる変更も、ペイロード部分６４５及びメタデータチャネル６５０Ａ〜６５０Ｃを用いて拡張画像を再度作成する続く試みを中止させる、命令６６０によって使用可能である、ミスマッチを生成し得る。命令６６０はまた、いくつか又は全てのメタデータチャネル６５０Ａ〜６５０Ｃを用いて拡張画像の全て又は一部を再構成するために使用されるコードを含んでもよい。
【００２８】
図７を参照すると、画像ファイル６４０の命令６６０は、画像ファイル６４０によって表されるどのバージョンの画像が作成されたかを判定してもよい。最初に、ペイロード部分６４５におけるデータが識別子６５５に一致するかを判定してもよい（ブロック７０５）。一実施形態では、ペイロード６４５のハッシュが、識別子部分６５５に格納されるペイロード部分６４５における元の符号化されたデータのハッシュと一致するかを判定してもよい。別の実施形態では、ペイロード部分６４５が元の符号化されたペイロード部分６４５に含まれる固有の識別子を含むかを判定してもよい。ペイロード部分６４５が識別子と一貫性を有する場合（ブロック７０５の「はい」の枝）、画像を表示するのに用いられる装置が拡張画像フォーマットをサポートするかを判定してもよい（ブロック７１０）。ペイロード部分６４５が識別子に一致しない（ブロック７０５の「いいえ」の枝）又は拡張画像フォーマットがサポートされていない場合（ブロック７１０の「いいえ」の枝）は、ペイロード部分６４５は解凍されて（ブロック７１５）基本画像６１０を作成してもよい。しかしながら、拡張画像版がサポートされる場合（ブロック７１０の「はい」の枝）は、ペイロード部分６４５及びメタデータチャネル６５０Ａ〜６５０Ｃは解凍されてもよく（ブロック７２０）、得られるデルタ画像チャネルを、得られる基本画像に加算して拡張画像７３０を作成してもよい。一実施形態では、メタデータチャネル６５０Ａ〜６５０Ｃの全てよりも少ない数が、解凍されて基本画像に加算されてもよい。一実施形態では、命令６６０は、基本画像、及びデルタ画像チャネルのいずれか又は全てから拡張画像７３０を作成するために必要な変換及びシーケンスを定義するためのコードを含んでもよい。基本画像フォーマットの参照値の範囲にわたって基本画像フォーマットと一貫性を有する拡張画像フォーマットを定義し、拡張画像を基本画像と、拡張画像と基本画像との差分情報とに分離することで、拡張画像は、既存装置と後方互換性を有し、より幅広くサポートされる画像フォーマットにパッケージングすることができる。
【００２９】
次に図８を参照すると、一実施形態に係る、例示的な電子機器８００の簡単な機能ブロック図が示される。電子機器８００は、プロセッサ８０５、ディスプレイ８１０、ユーザインターフェース８１５、グラフィックハードウェア８２０、デバイスセンサ８２５（例えば、近接センサ／環境光センサ、加速度計、及び／又はジャイロスコープ）、マイクロフォン８３０、オーディオコーデック８３５、スピーカ８４０、通信回路８４５、デジタル画像キャプチャユニット８５０、ビデオコーデック８５５、メモリ８６０、格納装置８６５、及び通信バス８７０を含んでもよい。電子機器８００は、例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）、パーソナル音楽プレーヤー、携帯電話、サーバ、ノートブック、ラップトップ、デスクトップ、又はタブレットコンピュータであってもよい。より具体的には、開示される技術は、機器８００のいくつか又は全てのコンポーネントを含む装置上で実行されてもよい。
【００３０】
プロセッサ８０５は、機器８００によって遂行される多数の機能の動作を実行又は制御するのに必要な命令を実行することができる。プロセッサ８０５は、例えば、ディスプレイ８１０を駆動し、ユーザインターフェース８１５からユーザ入力を受信することができる。ユーザインターフェース８１５は、ボタン、キーパッド、ダイヤル、クリックホイール、キーボード、ディスプレイスクリーン及び／又はタッチスクリーンのような種々の形態をとることができる。また、プロセッサ８０５は、例えば、モバイル装置に見られるようなシステムオンチップでもよく、専用のグラフィック処理ユニット（ＧＰＵ）を含むことができる。プロセッサ８０５は、縮小命令セットコンピュータ（ＲＩＳＣ）若しくは複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャあるいは任意の他の適当なアーキテクチャに基づくことができ、そして１つ以上の処理コアを含み得る。グラフィックハードウェア８２０は、グラフィックを処理するための専用の計算ハードウェアであり得て、及び／又はグラフィック情報を処理するようにプロセッサ８０５を支援し得る。一実施形態では、グラフィックハードウェア８２０は、プログラム可能なグラフィック処理ユニット（ＧＰＵ）を含み得る。
【００３１】
センサ及びカメラ回路８５０は、静止画像及びビデオ画像をキャプチャすることができ、それらは、少なくとも部分的に、開示される方法に従って、ビデオコーデック８５５及び／又はプロセッサ８０５及び／又はグラフィックハードウェア８２０、並びに／あるいは回路８５０内に合体された専用の画像処理ユニットによって、処理され得る。そのようにキャプチャされた画像は、メモリ８６０及び／又は格納装置８６５に格納され得る。メモリ８６０は、装置の機能を遂行するためにプロセッサ８０５及びグラフィックハードウェア８２０により使用される１つ以上の種々の形式の媒体を含み得る。例えば、メモリ８６０は、メモリキャッシュ、リードオンリメモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）を含むことができる。格納装置８６５は、メディア（例えば、オーディオファイル、画像ファイル及びビデオファイル）、コンピュータプログラム命令又はソフトウェア、プリファレンス情報、装置プロファイル情報、並びに任意の他の好適なデータを格納することができる。格納装置８６５には、例えば、（固定、フロッピー（登録商標）、及び取り外し可能な）磁気ディスク及びテープ、ＣＤ−ＲＯＭ及びデジタルビデオディスク（ＤＶＤ）のような光学的媒体、並びに電気的にプログラム可能なリードオンリメモリ（ＥＰＲＯＭ）及び電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）のような半導体メモリデバイスを含む、１つ以上の非一時的格納媒体を含むことができる。メモリ８６０及び格納装置８６５は、１つ以上のモジュールへと編成され、かつ、任意の所望のコンピュータプログラミング言語で書かれたコンピュータプログラム命令又はコードを有形に保持するために使用することができる。例えば、プロセッサ８０５によって実行されるとき、そのようなコンピュータプログラムコードは、ここに記載する作業のうちの１つ以上を実行することができる。
【００３２】
以上の説明は、例示にすぎず、限定的なものでないことも理解されたい。材料はいかなる当業者にも本明細書に記載される発明的な概念を作成し用いることができるように提示されており、特定の実施形態の内容で提供され、その変形は当業者にすぐに明らかに分かるであろう（例えば、いくつかの開示される実施形態が互いに組み合わせて用いてもよい）。当業者が以上の説明を検討すれば、多数の他の実施形態が明らかとなるであろう。本発明の範囲は、したがって、添付の特許請求の範囲及びそのような特許請求の範囲が権利を有する均等物の全範囲から決定されなければならない。特許請求の範囲において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ  ｗｈｉｃｈ」という語は、それぞれ、「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」という用語に相当する平易な英語として使用されている。
【図１】
0006703032.tif 000003
【図２】
0006703032.tif 000004
【図３】
0006703032.tif 000005
【図４】
0006703032.tif 000006
【図５Ａ】
0006703032.tif 000007
【図５Ｂ】
0006703032.tif 000008
【図５Ｃ】
0006703032.tif 000009
【図６】
0006703032.tif 000010
【図７】
0006703032.tif 000011
【図８】
0006703032.tif 000012