(57)【要約】【課題】  相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するために要する相対輝度値と絶対輝度値との間の対応関係を、より簡便に決定するための技術を提供すること。【解決手段】  相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法からユーザ操作に応じて選択された１つの変換方法に基づいて、相対輝度値と絶対輝度値との間の変換特性を求める。該変換特性に基づいて入力画像の階調特性を変換する。【選択図】  図１
2020060626.tif 000002
【特許請求の範囲】
【請求項１】
相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法からユーザ操作に応じて選択された１つの変換方法に基づいて、相対輝度値と絶対輝度値との間の変換特性を求める算出手段と、
前記変換特性に基づいて入力画像の階調特性を変換する変換手段と
を備えることを特徴とする画像処理装置。
【請求項２】
更に、
前記複数の変換方法のそれぞれの名称をユーザに提示する提示手段を備え、
前記算出手段は、ユーザに名称を提示した前記複数の変換方法のうちユーザ操作に応じて選択された１つの変換方法に基づいて、前記変換特性を求める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、ユーザ操作により入力された相対輝度値と絶対輝度値とに基づいて変換特性を求めることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記入力画像の最大輝度値と、表示装置が出力可能な最大輝度値と、に基づいて変換特性を求めることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の算出手段が、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法からユーザ操作に応じて選択された１つの変換方法に基づいて、相対輝度値と絶対輝度値との間の変換特性を求める算出工程と、
前記画像処理装置の変換手段が、前記変換特性に基づいて入力画像の階調特性を変換する変換工程と
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調変換技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやディスプレイ等の画像入出力機器において近年、撮影・表示が可能な輝度レンジであるダイナミックレンジ（以下Ｄレンジと記す）の拡大が進んでいる。このような画像入出力機器の輝度レンジの拡大に伴い、HDR画像に対応した画像ファイルフォーマットの規格化も進んでいる。
【０００３】
代表的なHDR画像ファイルフォーマットとしては、SMPTE ST 2084で規定されるPQ（Perceptual Quantizer）や、ARIB STD-B67で規定されるHLG（Hybrid LOG Gamma）等が挙げられる。
【０００４】
これらの規格においてPQは、画像コンテンツの絶対輝度値をデジタル値に変換するための変換式であるのに対し、HLGは、相対輝度値をデジタル値に変換する変換式である。そのため、PQで量子化されたデータをHLG形式に変換する場合、あるいはその逆の変換を行う場合、絶対輝度値と相対輝度値との対応関係を設定する必要がある。
【０００５】
例えば、特許文献１には、相対値表現された映像を絶対輝度表現された映像信号に変換する場合に、変換対応関係を示す情報を、少なくとも一方の映像信号に関連付けて出力するという技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願２０１６−１７４３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術によれは、相対輝度値で表現された画像データと絶対輝度値で表現された画像データとの相互変換を一意的に決定することが可能であるものの、相対輝度値と絶対輝度値との対応関係を決定する方法については述べられていない。
【０００８】
本発明では、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するために要する相対輝度値と絶対輝度値との間の対応関係を、より簡便に決定するための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の一様態は、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法からユーザ操作に応じて選択された１つの変換方法に基づいて、相対輝度値と絶対輝度値との間の変換特性を求める算出手段と、前記変換特性に基づいて入力画像の階調特性を変換する変換手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するために要する相対輝度値と絶対輝度値との間の対応関係を、より簡便に決定することができる。
【図面の簡単な説明】
【００１１】
【図１】システムの構成例を示すブロック図。
【図２】１枚の画像の階調特性を変換するために行う処理のフローチャート。
【図３】ＧＵＩの構成例を示す図。
【図４】それぞれの変換方法に対応する変換特性を示す図。
【図５】システムの構成例を示すブロック図。
【図６】１枚の画像の階調特性を変換するために行う処理のフローチャート。
【図７】コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１３】
［第１の実施形態］
本実施形態では、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法からユーザ操作に応じて選択された１つの変換方法に基づいて、相対輝度値と絶対輝度値との間の変換特性を求める。
【００１４】
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像記憶部２と、画像処理装置１と、設定装置４と、を有する。
【００１５】
先ず、画像記憶部２について説明する。画像記憶部２は複数の画像を保持しており、必要に応じて画像処理装置１に対して該画像を提供する。画像記憶部２と画像処理装置１との間は、ＬＡＮやインターネットなどの有線および／または無線のネットワークを介して互いにデータ通信が可能なように接続されている。画像記憶部２は、ハードディスクドライブ装置などのメモリ装置であっても良いし、サーバ装置などのコンピュータ装置であっても良い。
【００１６】
次に、設定装置４について説明する。設定装置４は、相対輝度値で表される画像の階調特性を絶対輝度値で表される画像の階調特性に変換するための複数の変換方法から１つを選択するためにユーザが操作する装置である。
【００１７】
次に、画像処理装置１について説明する。画像処理装置１は、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置である。画像入力部３は、画像記憶部２から変換対象となる画像を入力画像として取得する。入力部５は、ユーザが設定装置４を操作することで選択した変換方法を取得する。算出部６は、入力部５が取得した変換方法に基づいて、相対輝度値と絶対輝度値との間の対応関係を求める。階調変換部７は、画像入力部３が取得した入力画像の階調特性を、算出部６が求めた対応関係に基づいて変換する。画像出力部８は、階調変換部７によって階調が変換された入力画像を出力する。本実施形態では、画像出力部８による入力画像の出力先を画像記憶部２としているが、画像出力部８による入力画像の出力先は画像記憶部２に限らない。
【００１８】
次に、画像処理装置１が１枚の画像の階調特性を変換するために行う処理について、同処理のフローチャートを示す図２に従って説明する。ステップＳ２０１では、画像入力部３は、画像記憶部２から変換対象となる画像を入力画像として取得する。画像入力部３が画像記憶部２からどの画像を入力画像として取得するのかについては特定の形態に限らない。例えば、画像入力部３は、画像記憶部２から順次画像を入力画像として取得するようにしても良いし、ユーザが設定装置４等を操作して指定した画像を入力画像として取得するようにしても良い。
【００１９】
ステップＳ２０２では、階調変換部７は、ステップＳ２０１で取得した入力画像の各画素の画素値（デジタル値）を相対輝度値に変換する。入力画像の各画素の画素値を相対輝度値に変換するための方法には様々な方法があり、本実施形態では特定の方法に限らない。
【００２０】
ステップＳ２０３では、入力部５は、ユーザが設定装置４を操作して上記の複数の変換方法から選択した１つの変換方法として取得する。本ステップに係る詳細については後述する。
【００２１】
ステップＳ２０４では、算出部６は、ステップＳ２０３で取得した変換方法に基づいて、相対輝度値と絶対輝度値との間の対応関係を求める。本ステップに係る詳細については後述する。
【００２２】
ステップＳ２０５では、階調変換部７は、ステップＳ２０２で変換した入力画像の各画素の画素値（相対輝度値）を、ステップＳ２０４で求めた対応関係に基づいて絶対輝度値に変換する。本ステップに係る詳細については後述する。
【００２３】
ステップＳ２０６では、階調変換部７は、ステップＳ２０５で変換した入力画像の各画素の画素値（絶対輝度値）の量子化を行うことで、該入力画像の各画素の画素値をデジタル値に変換する。ステップＳ２０７では、画像出力部８は、ステップＳ２０６にて変換された入力画像を出力する。
【００２４】
次に、上記のステップＳ２０３における処理の詳細について説明する。本実施形態では、上記の複数の変換方法から１つを選択するためのＧＵＩ（グラフィカルユーザインターフェース）を設定装置４が有する表示部に表示（提示）し、ユーザが該複数の変換方法から１つを設定装置４が有する操作部を操作して選択する。この場合、設定装置４には、表示部と操作部とを有するコンピュータ装置が適用可能であり、例えば、液晶画面やタッチパネル画面を表示部として有し、キーボードやマウスを操作部として有するコンピュータ装置が適用可能である。また例えば、設定装置４は、操作部と表示部とを兼ねたタッチパネル画面を有するコンピュータ装置であっても良い。
【００２５】
設定装置４の表示部に表示されるＧＵＩの構成例について、図３を用いて説明する。図３のＧＵＩには、３つの変換方法の名称「シーンリファード」、「アウトプットリファード」、「リニア」が、の３つがラジオボタンと共に表示されている。
【００２６】
変換方法「シーンリファード」は、シーンの輝度値を基準に変換するものであり、相対輝度値を、撮影したシーンの絶対輝度値に変換する。この時、例えば、カメラでの撮影時における露出の値を用いることにより、シーンの絶対輝度値を算出可能である。
【００２７】
変換方法「アウトプットリファード」では、表示デバイスでの再現輝度を基準に変換する。ここで、シーンの白色基準（相対輝度１００％）が、ディスプレイにおいて、１００ｃｄ／ｍ２（一般的なＳＤＲディスプレイの白色輝度）に変換されるように、相対輝度値を絶対輝度値に変換する。
【００２８】
変換方法「リニア」では、相対輝度値と絶対輝度値の最大値が一致するように線形変換する。例えば、ＨＬＧで規定された相対輝度レンジが０〜１，２００％であり、ＰＱで規定された絶対輝度レンジが０〜１０，０００ｃｄ／ｍ２であったとすると、相対輝度値１，２００％が、絶対輝度値１０，０００ｃｄ／ｍ２になるように変換する。
【００２９】
ユーザは操作部を操作して、この３つの変換方法のうち所望の変換方法に対応するラジオボタンを指定してからＯＫボタン３０１を指定する。これにより、該所望の変換方法を、相対輝度値と絶対輝度値との間の対応関係を求めるために使用する変換方法として設定することができる。図３において黒丸のラジオボタンが選択状態にあるラジオボタンを示しており、白丸のラジオボタンが非選択状態にあるラジオボタンを示している（つまり図３では、変換方法「シーンリファード」が選択されている）。ユーザはそれぞれの変換方法に対応するラジオボタンのうち１つを操作部を操作して指定することができる。
【００３０】
なお、図３のＧＵＩに示した変換方法は一例に過ぎない。例えば、グレイ基準のように、入力画像の１８％グレイが、出力画像で１８ｃｄ／ｍ２に対応付けるように変換する変換方法を、対応するラジオボタンと共にＧＵＩ上に表示するようにしても良い。
【００３１】
また図３のＧＵＩには、「数値指定」の項目も、対応するラジオボタンと共に表示されている。ユーザは操作部を用いてこの項目「数値指定」に対応するラジオボタンを指定すると、操作部を用いて相対輝度値と絶対輝度値との対応関係を数値により指定する。図３の例では、相対輝度値に対応する入力ボックス３００ａと絶対輝度値に対応する入力ボックス３００ｂとが設けられている。ユーザが操作部を操作して、入力ボックス３００ａに数値Ｘ（図３では１００）、入力ボックス３００ｂに数値Ｙ（図３では５００）を入力してＯＫボタン３０１を指定すると、相対輝度値Ｘ％が絶対輝度値Ｙｃｄ／ｍ２になるように変換する変換方法が設定される。入力部５は、このようにして設定装置４において設定された変換方法を取得することになる。
【００３２】
次に、上記のステップＳ２０４、Ｓ２０５における処理の詳細について説明する。ステップＳ２０４で算出部６は相対輝度値ごとに、該相対輝度値と、該相対輝度値を入力部５が入力した変換方法で変換した絶対輝度値と、の対応付けを行った後、図４に示す如く、対応付けをした点を通る直線として、全階調の変換特性（対応関係）を算出する。図４では、「シーンリファード」、「アウトプットリファード」、「リニア」、「数値指定」のそれぞれに対応する変換特性を示している。「数値指定」の場合は、入力ボックス３００ａに「１００」、入力ボックス３００ｂに「５００」を入力した場合における変換特性を示している。
【００３３】
ステップＳ２０５では、階調変換部７は、図４に例示する４つの変換特性のうち、入力部５が入力した変換特性に基づいて、入力画像の階調特性を変換する。ここでは一例として、相対値表現であるHLG方式で量子化された入力画像のデータを、絶対値表現であるPQ方式で量子化した画像のデータに変換するための階調変換処理について説明する。先ず、階調変換部７は、HLG方式で量子化された入力画像における各画素の画素値Ｉを、以下の式（１）に従って、相対輝度値Ｅｒｅｌに変換する。
【００３４】
【数１】
2020060626.tif 000003
【００３５】
次に階調変換部７は、入力部５が入力した変換特性に従って、相対輝度値（Ｅｒｅｌ）に対応する絶対輝度値（Ｅａｂｓ）を特定する（相対輝度値（Ｅｒｅｌ）と絶対輝度値（Ｅａｂｓ）とを対応付ける）。図４の場合、入力部５が入力した変換特性に対応する直線上で相対輝度値（Ｅｒｅｌ）に対応する値を絶対輝度値（Ｅａｂｓ）として特定する。例えば、相対輝度値（Ｙｒｅｌ）を絶対輝度（Ｙａｂｓ  ｃｄ／ｍ２）に線形に対応付けるとすると、変換式は以下の式（２）に従う。
【００３６】
【数２】
2020060626.tif 000004
【００３７】
このような処理によって階調変換部７は、相対輝度値（Ｅｒｅｌ）で表される入力画像を、対応する絶対輝度値（Ｅａｂｓ）で表される入力画像に変換することができる。そして階調変換部７は、絶対輝度値（Ｅａｂｓ）で表される入力画像に対し、以下の式（３）に従って、絶対輝度表現であるPQ方式で量子化を行う。
【００３８】
【数３】
2020060626.tif 000005
【００３９】
なお、上記の式（２）で示される対応付けの関係は、直線による線形変換に限定されるものではない。例えば、多項式や、対数等で定義される非線形な数式を用いて変換特性を算出してもよい。すなわち、対応付けをした点を通る関数であれば、その特性を限定するものではない。
【００４０】
このように、本実施形態によれば、ユーザが数値データを直接設定する方法以外に、直観的な語句で示される変換方法を選択することにより、相対輝度値で表される画像と絶対輝度値で表される画像との間の変換における対応関係を決定することが可能となる。
【００４１】
［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態に係るシステムの構成例について、図５のブロック図を用いて説明する。図５に示す如く、本実施形態に係るシステムは、第１の実施形態に係るシステムにおいて、画像処理装置１に表示装置５０１を接続し、画像処理装置１に取得部５０２を加えたものである。本実施形態では、画像を表示する機器や画像の最大輝度値等を用いて、相対輝度値と絶対輝度値との対応関係を算出する。
【００４２】
表示装置５０１は、液晶画面やタッチパネル画面により構成されており、画像出力部８が出力する画像を表示する。取得部５０２は、表示装置５０１が出力可能な最大輝度値や、画像入力部３が取得した入力画像の最大輝度値を取得する。
【００４３】
次に、画像処理装置１が１枚の画像の階調特性を変換するために行う処理について、同処理のフローチャートを示す図６に従って説明する。ステップＳ６０２では、取得部５０２は、表示装置５０１が出力可能な最大輝度値と、ステップＳ２０１で画像入力部３が取得した入力画像の最大輝度値と、を取得する。
【００４４】
本実施形態では、上記のＧＵＩにおいて変換方法「デバイスリニア」がラジオボタンと共に表示される。ユーザが変換方法「デバイスリニア」を選択し入力部５が変換方法「デバイスリニア」を取得するとステップＳ２０４で算出部６は入力画像の最大輝度値が表示装置５０１が出力可能な最大輝度値に一致するような相対輝度値から絶対輝度値への変換特性を求める。ステップＳ６０８では、画像出力部８は、変換した画像を画像記憶部２や表示装置５０１に対して出力する。
【００４５】
このように、本実施形態によれば、画像を表示する機器や画像の最大輝度値に基づき、相対輝度値で表される画像と絶対輝度値で表される画像との間の変換における対応関係を決定することが可能となる。
【００４６】
［第３の実施形態］
図１や図５に示した画像処理装置１の各機能部はハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、画像処理装置１に適用することができる。画像処理装置１に適用可能なコンピュータ装置のハードウェア構成例について、図７のブロック図を用いて説明する。
【００４７】
ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ７０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置１が行うものとして上述した各処理を実行若しくは制御する。
【００４８】
ＲＡＭ７０２は、ＲＯＭ７０３や外部記憶装置７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）７０７を介して外部から受信したデータ（画像、変換方法を示すデータなど）、を格納するためのエリアを有する。またＲＡＭ７０２は、ＣＰＵ７０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ７０２は、各種のエリアを適宜提供することができる。ＲＯＭ７０３には、コンピュータ装置の起動プログラムや設定データなどが格納されている。
【００４９】
操作部７０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ７０１に対して入力することができる。
【００５０】
表示部７０５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ７０１による処理結果を画像や文字などでもって表示することができる。なお、表示部７０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
【００５１】
例えば、上記の図３のＧＵＩを表示部７０５に表示させ、ユーザが操作部７０４を操作してＧＵＩを操作することで、変換方法の選択指示や数値入力等を行うようにしても良い。
【００５２】
外部記憶装置７０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置７０６には、ＯＳ（オペレーティングシステム）、画像処理装置１が行うものとして上述した各処理をＣＰＵ７０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置７０６に保存されているコンピュータプログラムには、図３のＧＵＩに係るコンピュータプログラムが含まれていても良い。また外部記憶装置７０６に保存されているデータには、上記の説明において既知の情報として取り扱った情報が含まれていても良い。
【００５３】
外部記憶装置７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ７０１による制御に従って適宜ＲＡＭ７０２にロードされ、ＣＰＵ７０１による処理対象となる。
【００５４】
Ｉ／Ｆ７０７は、外部の機器との間の通信を行うためのインターフェースとして機能するものであり、例えば、画像記憶部２、設定装置４、表示装置５０１のそれぞれを画像処理装置１に接続するためのインターフェースを含む。ＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、操作部７０４、表示部７０５、外部記憶装置７０６、Ｉ／Ｆ７０７は何れもバス７０８に接続されている。
【００５５】
なお、図１や図５に示した装置（画像記憶部２、画像処理装置１、設定装置４、表示装置５０１）はそれぞれ別個の装置であっても良いし、２つ以上の装置を１つの装置に一体化させても良い。
【００５６】
また、上記の各実施形態の説明で取り上げた各数値は具体的な説明を行うために例示的に挙げたものであり、上記の各実施形態がこれらの数値に限定されることを意図したものではない。
【００５７】
また、図３に示したＧＵＩの構成は一例であり、複数の変換方法のそれぞれの内容がユーザに提示できると共に、該複数の変換方法のうち所望の１つを選択することができるＧＵＩであれば、如何なるＧＵＩであっても構わない。
【００５８】
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
【００５９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
１：画像処理装置  ２：画像記憶部  ３：画像入力部  ４：設定装置  ５：入力部  ６：算出部  ７：階調変換部  ８：画像出力部
【図１】
2020060626.tif 000006
【図２】
2020060626.tif 000007
【図３】
2020060626.tif 000008
【図４】
2020060626.tif 000009
【図５】
2020060626.tif 000010
【図６】
2020060626.tif 000011
【図７】
2020060626.tif 000012