(57)【要約】【課題】コンテンツの輝度レンジが異なっても同様の機構で付加的な画像を好適に融合させる。【解決手段】電子コンテンツのメイン画像である第１画像を生成する一方（Ｓ１０）、必要に応じてコンテンツに共通の仕様で第２画像を生成し、それにアルファ値を乗算した中間画像を生成する（Ｓ１２のＮ、Ｓ１４）。第２画像の輝度空間を変換する必要がなければ中間画像を用いてアルファブレンド処理し（Ｓ１６のＮ、Ｓ２２）、変換する必要があれば中間画像から第２画像の成分を取得し、変換してからアルファブレンド処理する（Ｓ１６のＹ、Ｓ１８〜Ｓ２２）。第１画像、または第２画像を重畳させた画像を、表示画像として表示装置に出力する（Ｓ２４）。【選択図】図７
2018025996.tif 000002
【特許請求の範囲】
【請求項１】
第１画像のデータを取得する第１画像データ取得部と、
前記第１画像上に重畳表示させるべき第２画像の各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを取得する重畳データ取得部と、
前記中間画像から前記第２画像のデータを取得する第２画像データ取得部と、
前記第２画像のデータが表す輝度値を、前記第１画像のデータが表す輝度の空間における値に変換するデータ変換部と、
変換後の前記第２画像のデータを用いてアルファブレンド処理を実施することにより、前記第２画像を前記第１画像上に重畳させた表示画像のデータを生成し出力する合成処理部と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記第１画像データ取得部は、取得した前記第１画像のデータが表す輝度の空間を特定し、その結果に基づき、前記第２画像のデータが表す輝度値を変換する必要性の有無を判定することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記重畳データ取得部は、前記第２画像のデータが表す輝度値を変換する必要がないとき、前記中間画像のデータを前記合成処理部に供給し、
前記合成処理部は、前記合成処理部から前記中間画像のデータを取得したとき、当該中間画像のデータを用いてアルファブレンド処理を実施することを特徴とする請求項１または２に記載の画像合成装置。
【請求項４】
前記第１画像データ取得部は、ユーザが選択した電子コンテンツで規定される輝度空間で表された前記第１画像のデータを取得し、前記重畳データ取得部は、電子コンテンツに共通に規定される輝度空間で表された前記第２画像に基づく前記中間画像のデータを取得することを特徴とする請求項１から３のいずれかに記載の画像合成装置。
【請求項５】
電子コンテンツを実行し第１画像のデータを生成する画像生成部と、
前記第１画像上に第２画像を重畳表示させる必要が生じたとき、当該第２画像のデータを生成したうえ、各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを生成する重畳データ生成部と、
前記第１画像のデータと前記中間画像のデータを取得し、前記第２画像を前記第１画像上に重畳させた表示画像のデータを生成する画像合成部と、
前記画像生成部および前記画像合成部のどちらかから画像のデータを取得し表示装置に出力する画像出力部と、
を備え、前記画像合成部は、
前記中間画像から前記第２画像のデータを取得する第２画像データ取得部と、
前記第２画像のデータが表す輝度値を、前記第１画像のデータが表す輝度の空間における値に変換するデータ変換部と、
変換後の前記第２画像のデータを用いてアルファブレンド処理を実施することにより前記表示画像のデータを生成する合成処理部と、
を備えたことを特徴とする情報処理装置。
【請求項６】
前記合成処理部は、前記第２画像のデータが表す輝度値を変換する必要がないとき、当該中間画像のデータを用いてアルファブレンド処理を実施することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
第１画像のデータを取得するステップと、
前記第１画像上に重畳表示させるべき第２画像の各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを取得するステップと、
前記中間画像から前記第２画像のデータを取得するステップと、
前記第２画像のデータが表す輝度値を、前記第１画像のデータが表す輝度の空間における値に変換するステップと、
変換後の前記第２画像のデータを用いてアルファブレンド処理を実施することにより、前記第２画像を前記第１画像上に重畳させた表示画像のデータを生成し、表示装置に出力するステップと、
を含むことを特徴とする画像合成装置による画像合成方法。
【請求項８】
第１画像のデータを取得する機能と、
前記第１画像上に重畳表示させるべき第２画像の各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを取得する機能と、
前記中間画像から前記第２画像のデータを取得する機能と、
前記第２画像のデータが表す輝度値を、前記第１画像のデータが表す輝度の空間における値に変換する機能と、
変換後の前記第２画像のデータを用いてアルファブレンド処理を実施することにより、前記第２画像を前記第１画像上に重畳させた表示画像のデータを生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を重畳表示させる画像合成装置、それを含む情報処理装置、および画像合成方法に関する。
【背景技術】
【０００２】
従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲで表現することによって、仮想世界により臨場感を与えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
電子コンテンツの種類に関わらず、メインの画像を表示させている最中にヘルプ画面、コントロールパネル、インジケータなど、操作や表示内容に係る付加的な情報を表示させる場合がある。このような副次的な画像の表示には、装置がコンテンツに共通に提供する基本機能が呼び出され利用されることが多い。この場合、コンテンツ本体を表すメインの画像と仕様が異なり、単純に表示させるのみではコンテンツの世界観が大きく損なわれることがあり得る。メインの画像との融合を図る場合、ＳＤＲとＨＤＲのように複数の仕様のそれぞれに合わせて副次的な画像の生成機構を準備するのは効率的でない。
【０００４】
本発明はこうした課題に鑑みてなされたものであり、その目的は、コンテンツの画像の輝度レンジが異なっても、共通の生成機構を用いて別途生成した画像を好適に融合させて表示できる技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は画像合成装置に関する。この画像合成装置は、第１画像のデータを取得する第１画像データ取得部と、第１画像上に重畳表示させるべき第２画像の各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを取得する重畳データ取得部と、中間画像から第２画像のデータを取得する第２画像データ取得部と、第２画像のデータが表す輝度値を、第１画像のデータが表す輝度の空間における値に変換するデータ変換部と、変換後の第２画像のデータを用いてアルファブレンド処理を実施することにより、第２画像を第１画像上に重畳させた表示画像のデータを生成し出力する合成処理部と、を備えたことを特徴とする。
【０００６】
本発明の別の態様は情報処理装置に関する。この情報処理装置は、電子コンテンツを実行し第１画像のデータを生成する画像生成部と、第１画像上に第２画像を重畳表示させる必要が生じたとき、当該第２画像のデータを生成したうえ、各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを生成する重畳データ生成部と、第１画像のデータと中間画像のデータを取得し、第２画像を第１画像上に重畳させた表示画像のデータを生成する画像合成部と、画像生成部および画像合成部のどちらかから画像のデータを取得し表示装置に出力する画像出力部と、を備え、画像合成部は、中間画像から第２画像のデータを取得する第２画像データ取得部と、第２画像のデータが表す輝度値を、第１画像のデータが表す輝度の空間における値に変換するデータ変換部と、変換後の第２画像のデータを用いてアルファブレンド処理を実施することにより表示画像のデータを生成する合成処理部と、を備えたことを特徴とする。
【０００７】
本発明の別の態様は画像合成方法に関する。この画像合成方法は画像合成装置が、第１画像のデータを取得するステップと、第１画像上に重畳表示させるべき第２画像の各画素値に透過度を示すアルファ値を乗算した重畳用の中間画像のデータを取得するステップと、中間画像から第２画像のデータを取得するステップと、第２画像のデータが表す輝度値を、第１画像のデータが表す輝度の空間における値に変換するステップと、変換後の第２画像のデータを用いてアルファブレンド処理を実施することにより、第２画像を第１画像上に重畳させた表示画像のデータを生成し、表示装置に出力するステップと、を含むことを特徴とする。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、コンテンツの画像の輝度レンジが異なっても、共通の生成機構を用いて別途生成した画像を好適に融合させて表示できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態における情報処理システムの構成例を示す図である。
【図２】本実施の形態において情報処理装置が生成する画像を模式的に示す図である。
【図３】第１画像と第２画像を合成して表示画像を生成する画像合成装置の機能ブロックを例示す図である。
【図４】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図５】本実施の形態における情報処理装置の機能ブロックの構成を示す図である。
【図６】中間画像をそのまま変換した場合と、本実施の形態により第２画像の輝度成分を取得してから変換した場合の、表示画像の輝度を比較する図である。
【図７】本実施の形態における情報処理装置が表示画像を生成、出力する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は本実施の形態における情報処理システムの構成例を示す。情報処理システムは、情報処理装置１０、入力装置１４、表示装置１６を含む。図示するように情報処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバ等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。
【００１２】
表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、情報処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。
【００１３】
情報処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。情報処理装置１０はゲーム機、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような情報処理装置１０の形態や、ユーザが選択したアプリケーションなどに応じて、情報処理装置１０が行う処理の内容は様々であってよい。
【００１４】
例えば情報処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで生成し出力する。あるいはネットワーク８を介して動画のデータをサーバから取得し、それを逐次復号して出力してもよい。このように情報処理装置１０の使用目的は様々であってよく、それに応じて実施する情報処理の内容も異なるため、詳細な説明は省略する。以後、そのような情報処理の結果として生成された画像や、提示すべき情報を表した画像など、複数の画像を重畳表示させる手法に重点を置いて説明する。
【００１５】
図２は、本実施の形態において情報処理装置１０が生成する画像を模式的に示している。画像２００ａは例えばゲームや動画など、主として表示される画像である。画像２００ｂは必要に応じて一時的に表示される画像であり、図示する例はユーザにログインのためのアドレスとパスワードを入力させるダイアログボックスを含む。このようなダイアログボックスを表示させる必要が生じると、情報処理装置１０は、元から表示させていた画像２００ａにダイアログボックスを含む画像２００ｂを重畳させ、表示画像２０２を生成して出力する。
【００１６】
このときなるべく広い領域で、画像２００ｂを介して画像２００ａが透けて見えるようにすることで、ゲームや動画など画像２００ａの世界観が途切れることなく必要な情報を好適に融合させることができる。さらに画像２００ｂの透明度を時間変化させれば、ダイアログボックスが徐々に出現したり消滅したりする演出もできる。
【００１７】
複数の画像を重畳表示させるケースは、図示する例以外にも様々に考えられることは当業者には理解されるところである。例えばレースゲームの場合、ドライバの視野を示す主たる画像に、コース全体を俯瞰した画像を追加で表示することが考えられる。映画を表示させる場合は、あらすじや出演者などの書誌情報を示す画像や、再生、一時停止、早送りなどの操作パネルを付加的に表示することが考えられる。このように状況や表示すべき内容によって、重畳させる位置、面積、期間も様々でよい。以後、画像２００ａのように重畳時に背後に位置する画像を第１画像、画像２００ｂのように重畳時に前面に位置する画像を第２画像と呼ぶ。ただし３つ以上の画像を重ね合わせて表示しても、以下に述べる原理は同様である。
【００１８】
まず本実施の形態における情報処理装置の特徴を明らかにするため、よりシンプルな構成で表示画像２０２を生成する態様について述べる。図３は、第１画像と第２画像を合成して表示画像を生成する画像合成装置の機能ブロックを例示している。画像合成装置３００は図１で示したような情報処理装置に含まれ、ユーザからの要求などに従い第２画像を重畳表示させる際に機能する。
【００１９】
画像合成装置３００は、第１画像のデータを取得する第１画像データ取得部３０２、第２画像のデータを取得する重畳データ取得部３０４、および、第１画像上に第２画像を重畳させて合成する合成部３０６を含む。上述のとおり第１画像はゲームなど電子コンテンツの主たる画像であり、アプリケーションを実行する機能により別途生成されたり、ネットワーク８を介して外部のサーバから送信されたりする。
【００２０】
第２画像は例えば、情報処理装置が提供する機能を利用して生成される。合成部３０６は第１画像データ取得部３０２および重畳データ取得部３０４から、第１画像および第２画像のデータをそれぞれ取得し、図２で示したように合成して表示画像を生成し出力する。上述のように透過性を持たせて第２画像を重畳表示させるため、合成部３０６は次式で表されるアルファブレンド処理により、表示画像の各画素の輝度Ｆｏｕｔを決定する。
Ｆｏｕｔ＝（１−α）Ｆｂ１＋αＦｂ２        （式１）
【００２１】
ここでＦｂ１、Ｆｂ１はそれぞれ、第１画像、第２画像における当該画素の輝度、αは第２画像の当該画素に設定された一般的なα値、すなわち透過度を示す０以上１．０以下の値である。例えば画像全体においてα値を０から１まで変化させると、第１画像のみが表示されている状態から徐々に第２画像の色が濃くなっていき、最終的に第２画像が不透明に表示されることになる。α値を０より大きく１より小さい中間値とすれば、第２画像がその数値に応じた濃さで半透明の状態となり、第１画像が透けて見えることになる。
【００２２】
なお第１画像、第２画像がＲＧＢ画像であれば、輝度Ｆｂ１、Ｆｂ２は当該３チャンネルのそれぞれに設定されるが、本実施の形態ではそれらを総称して輝度Ｆｂ１、Ｆｂ２と表す。また輝度Ｆｂ１、Ｆｂ２およびα値はそれぞれ画素ごとに設定されるため、厳密には画像平面における２次元の位置座標（ｘ，ｙ）に依存するが、式１は同じ位置の画素に係る計算を前提としているため位置座標は示していない。以下の記載も同様である。
【００２３】
第２画像は当初より第１画像に重畳させることを意図して生成されるため、その見せ方を決定づけるα値とセットで提供される。すなわち重畳データ取得部３０４は、各画素の輝度Ｆｂ２とともにα値も取得し、合成部３０６に供給する。ここで第２画像とα値がセットで生成されることに鑑みれば、画素ごとに決定したα値を、第２画像の画素値として表される輝度Ｆｂ２に乗算しておくと効率がよい。すなわち第２画像が生成される段階でα値を乗算した値αＦｂ２を計算してしまえば、式１の右辺第２項が計算済みとなるため、アルファブレンド処理が実質上、分散される。
【００２４】
この場合、合成部３０６は重畳データ取得部３０４から、乗算値αＦｂ２を画素値とする重畳用の中間画像と、α値を画素値とするα画像を取得する。そしてα画像と第１画像を用いて式１の右辺第１項を算出し、当該中間画像の画素値を加算することにより表示画像の画素値が求められる。このようにすることでアルファブレンド処理を効率化でき、第１画像と第２画像を融合させた表示画像を少ないレイテンシで出力できる。
【００２５】
式１は第１画像のα値を考慮しない計算式であったが、第１画像にも透過度を設定する場合、下式により表示画像の各画素の輝度Ｆｏｕｔを計算できる。
αｏｕｔ＝（１−α２）α１＋α２
Ｆｏｕｔ＝（α１（１−α２）Ｆｂ１＋α２Ｆｂ２  ）／ αｏｕｔ                    （式２）
【００２６】
ここでα１、α２は、第１画像、第２画像の各画素にそれぞれ設定されたα値である。なお第１画像が不透明のとき、すなわちα１＝１のとき、式２は式１で表される。このように各画像のそれぞれにα値が設定されている場合も、α値と輝度値の乗算値、例えばα１Ｆｂ１、α２Ｆｂ２を画素値とする中間画像のデータをそれぞれ生成しておくことにより、合成部３０６が実施する式２の計算処理を効率化できる。
【００２７】
これらの構成において、輝度を定義する空間が第１画像と第２画像で異なる場合を考える。例えば第２画像を定常的にＳＤＲで表現している一方、処理するコンテンツがＨＤＲで表現されている場合がこれにあたる。ＳＤＲとＨＤＲでは、同じ１０ｂｉｔのデータ値であっても、それが指す輝度の値が異なる。そのため当該データを同等のものとして式１、あるいは式２にそのまま代入することはできず、その前のいずれかの段階で輝度の変換が必要となる。ＳＤＲとＨＤＲに限らず、輝度を定義する空間が異なれば、アルファブレンド処理のためにはどちらかの空間に揃える必要がある。
【００２８】
第１画像がＨＤＲ、第２画像がＳＤＲのケースでは、第１画像で表現されている、よりリアルな世界観を失うことがないよう、第２画像の輝度を、ＨＤＲの空間で表すことが望ましい。しかしながら上述の通り、合成処理の効率を上げるために画像の輝度にα値を乗算した中間画像の状態でデータを取得した場合、輝度の変換が正しくなされないことが考えられる。本実施の形態では、状況に応じた必要最小限の処理の切り替えで輝度の変換を正確に実施できるようにする。これにより、輝度空間の変化も許容しつつ第１画像に第２画像を好適に融合させるとともに、無為に処理効率が低下しないようにする。
【００２９】
図４は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、ネットワーク８などへ接続する有線または無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００３０】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、情報処理装置１０内部で生成されたデータを送信したりしてもよい。
【００３１】
ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００３２】
図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３３】
情報処理装置１０は、入力装置１４からの入力情報を取得する入力情報取得部５０、ゲームなどユーザ操作に応じた情報処理を行う情報処理部５２、第１画像のデータを生成する画像生成部５４、第２画像とα値のデータを生成する重畳データ生成部５６、第１、第２の画像を合成する画像合成部５８、および、表示画像のデータを表示装置１６に出力する画像出力部６０を含む。
【００３４】
入力情報取得部５０は入力部３８やＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置に対しなされるものでよい。このような操作の一つとして、第２画像として表される各種情報の表示要求が含まれる。
【００３５】
入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像やセンサの出力値などのデータを取得してもよい。入力情報取得部５０はまた、動画など電子コンテンツのデータをネットワーク８を介してサーバから取得してもよい。入力情報取得部５０は取得したデータを、その内容に応じて情報処理部５２、重畳データ生成部５６に適宜供給する。
【００３６】
情報処理部５２はＣＰＵ２３やメインメモリ２６などで実現され、入力情報取得部５０から供給されたデータに基づきゲームなどの情報処理を実施する。上述のとおり情報処理部５２が実施する処理は、画像の表示を伴うものであればその内容は特に限定されない。画像生成部５４はＧＰＵ２４やメインメモリ２６などで実現され、情報処理部５２からの要求に従い第１画像のデータを生成する。例えば情報処理部５２がゲームを実行する場合、画像生成部５４はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。
【００３７】
あるいは画像生成部５４は、情報処理部５２が指定した動画のデータを復号、伸張してもよい。動画のデータは情報処理装置１０内部で保持していてもよいし、ネットワーク８を介してサーバからストリーム転送されたものや撮像装置がその場で撮影したものなどでもよい。第２画像を重畳させる必要がない期間、画像生成部５４は、生成した第１画像のデータを画像出力部６０に出力する。第２画像を重畳させる必要がある期間、画像生成部５４は生成した第１画像のデータを画像合成部５８に出力する。
【００３８】
重畳データ生成部５６はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、必要に応じて第２画像のデータを生成する。第２画像はユーザが呼び出すことにより随時表示されるものでもよいし、ゲームや動画の進捗に応じて情報処理部５２が決定したタイミングで表示されるものでもよい。または画面の片隅などに常時表示されるものでもよい。当該画像の生成には、内部で保持する画像データを用いてもよいし、撮像装置やサーバなど外部の装置から入力情報取得部５０が取得したデータを用いてもよい。
【００３９】
また重畳データ生成部５６は、第２画像をどのような透過度で表示するかを決定づけるα値を、第２画像に対応づけて画素ごとに決定する。α値を時間変化させることにより、第２画像が徐々に出現したり消滅したりするようにしてもよい。さらに本実施の形態における重畳データ生成部５６は上述のとおり、画素ごとに決定したα値を、第２画像の画素値として表される輝度Ｆｂ２に乗算することにより、乗算値αＦｂ２を画素値とする重畳用の中間画像を生成しておく。
【００４０】
なお第１画像にもα値を設定する場合、画像生成部５４は当該画像に設定されたα値、α１を用いた乗算値α１Ｆｂ１を、重畳データ生成部５６は当該画像に設定されたα値、α２を用いた乗算値α２Ｆｂ２を、それぞれ画素値とする中間画像を生成する。ただし以後の説明では、第２画像のα値を単に「α」と表記する。重畳データ生成部５６は、生成した重畳用の中間画像のデータと、α値を画素値とするα画像のデータを画像合成部５８に出力する。
【００４１】
画像合成部５８はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現される。図３で示した画像合成装置３００と同様、画像合成部５８を、２つの画像のデータを重ね合わせて表示画像を出力する画像合成装置として実現してもよい。詳細には画像合成部５８は、重畳用のデータを取得する重畳データ取得部６２、第１画像のデータを取得する第１画像データ取得部６４、輝度を定義する空間を変換する輝度空間変換部６６、アルファブレンド処理により表示画像のデータを生成する合成処理部７２を含む。
【００４２】
重畳データ取得部６２は、第２画像の輝度とα値との乗算値αＦｂ２を画素値とする重畳用の中間画像のデータと、α値を画素値とするα画像のデータを、重畳データ生成部５６から取得する。第１画像データ取得部６４は、第１画像のデータを画像生成部５４から取得し合成処理部７２に供給する。また第１画像データ取得部６４は、データ解析等により特定した第１画像の輝度空間に基づき、第２画像の輝度空間を変換する必要性の有無を判定する。
【００４３】
典型的には、第２画像が定常的にＳＤＲで表現される一方、第１画像がＨＤＲで表現されている場合、第１画像データ取得部６４は第２画像の輝度空間を変換する必要があると判定する。ただし輝度を定義する空間が異なれば、ＳＤＲ／ＨＤＲの違いに限らず変換が必要と判定する。第２画像の生成機能が、コンテンツを実行するシステム側でいくらか固定化されている一方、第１画像はコンテンツ側での高い自由度で作成されている場合、往々にしてそのような状況が発生し得る。
【００４４】
輝度空間の変換が必要な場合、第１画像データ取得部６４は重畳データ取得部６２にその旨を通知する。あるいは第１画像データ取得部６４が第１画像の輝度空間を通知し、重畳データ取得部６２が第１画像、第２画像の双方に鑑み変換の必要性について判定してもよい。重畳データ取得部６２は、輝度空間の変換の必要性の有無に応じて、取得したデータの供給先を切り替える。具体的には、輝度空間を変換する必要がない場合、重畳データ取得部６２は、取得したデータをそのまま合成処理部７２に供給する。輝度空間を変換する必要がある場合、重畳データ取得部６２は、取得したデータを輝度空間変換部６６に供給する。
【００４５】
重畳データ取得部６２から直接、データを取得した場合、合成処理部７２は当該データと、第１画像データ取得部６４から取得した第１画像のデータを、上述の式１または式２に代入して表示画像の画素値を算出する。計算式の一部が計算済みであることにより、アルファブレンド処理を効率化でき、レイテンシを抑えられる。
【００４６】
輝度空間変換部６６は、重畳データ取得部６２から供給されたデータを用いて、第２画像の輝度空間を変換する。詳細には輝度空間変換部６６は、第２画像データ取得部６８とデータ変換部７０を含む。第２画像データ取得部６８は、重畳データ取得部６２から供給された、重畳用の中間画像の各画素値を１／α倍することにより、第２画像の輝度Ｆｂ２の成分を取得する。データ変換部７０はそのようにして得た第２画像の輝度Ｆｂ２を、第１画像の輝度空間での値に変換する。
【００４７】
例えば第１画像の輝度レンジが第２画像の輝度レンジより大きい場合、第２画像の最大輝度が第１画像の最大輝度の１／ａ（ただしａは１＜ａを満たす所定値）に位置するように輝度レンジ全体を縮小する。このとき、元の輝度によって縮小割合を変化させるなど適切な変換式を用いることにより、変換前後で画像の印象が変化しないようにすることが望ましい。
【００４８】
第２画像データ取得部６８により第２画像の輝度成分のみを取り出し、変換処理を施すため、従来提案されているような輝度から輝度への空間変換の式をそのまま適用しても、好適な結果を得ることができる。データ変換部７０は、そのようにして変換した第２画像のデータとα画像を合成処理部７２に供給する。
【００４９】
輝度空間変換部６６からデータを取得した場合、合成処理部７２は当該データと、第１画像データ取得部６４から取得した第１画像のデータを、上述の式１または式２に代入して表示画像の画素値を算出する。この場合、合成処理部７２はまず、第２画像の変換後の輝度にα値を乗算したうえで、計算式に適宜代入することにより表示画像の画素値を算出する。これにより、第１画像の輝度がどのような空間で定義されていても、第２画像の生成処理は変更せずに、本来意図したバランスで好適に両者を融合させることができる。
【００５０】
合成処理部７２は算出した結果を画像出力部６０に出力する。画像出力部６０はＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、画像生成部５４から供給された第１画像のデータ、または画像合成部５８から供給された第２画像を重畳した画像のデータを、適切なタイミングで表示装置１６に順次出力する。
【００５１】
次に、本実施の形態における輝度空間変換部６６が、重畳用の中間画像のデータから第２画像の輝度成分を取得してから変換処理を施す効果について説明する。図６は、中間画像をそのまま変換した場合と、本実施の形態により第２画像の輝度成分を取得してから変換した場合の、表示画像の輝度を比較している。この例では第１画像の輝度Ｆｂ１、第２画像の輝度Ｆｂ２を両方、ＨＤＲの階調で５２４としている。この場合、例えば式１のアルファブレンド計算によれば、表示画像の輝度を表す出力値Ｆｏｕｔはα値によらず５２４となるはずである。
【００５２】
まずグラフ８０は、第２画像の輝度Ｆｂ２にα値が乗算された状態で変換処理を施した結果である。この場合、変換した結果を式１の右辺第２項とすると、全体として次のような式となる。
Ｆｏｕｔ＝（１−α）Ｆｂ１＋ｆ（αＦｂ２） （式３）
ここでｆは、第２画像の輝度を第１画像の輝度空間で表すための変換用の関数である。関数ｆが、元の輝度Ｆｂ２によらずそれを１／ａ倍（ただしａは１＜ａを満たす所定値）するなど単純な線形変換であった場合、式３は次のように置き換えられる。
Ｆｏｕｔ＝（１−α）Ｆｂ１＋αｆ（Ｆｂ２） （式４）
【００５３】
式４は、第２画像の輝度Ｆｂ２を関数ｆで変換したうえで第１画像とアルファブレンドする正規の式に他ならない。一方、関数ｆを元の輝度Ｆｂ２の範囲によって変化させたり、べき関数など所定の曲線としたりする場合、式３は式４のように正しい式には置き換わらない。具体的にはグラフ８０で例示されるように、αが０および１．０のときはそれぞれＦｏｕｔ＝Ｆｂ１およびｆ（Ｆｂ２）となるため、出力値Ｆｏｕｔ＝５２４と正確な値が得られるが、０＜α＜１．０の範囲では、Ｆｏｕｔが５２４と異なる値となってしまう。
【００５４】
これは、式３の右辺第２項において、輝度Ｆｂ２に０＜α＜１．０のα値が乗算されていることにより、関数ｆの入力値としての見かけ上の輝度が実際より小さくなるためである。例えば輝度Ｆｂ２が小さいほど変換処理における縮小の度合いが小さくなるよう、輝度Ｆｂ２の増加に対し単調減少する係数ｋ（Ｆｂ２）（ただし１／ａ＜ｋ≦１．０、１／ａは上述した、元の空間での最大輝度を変換後の空間で表したときの当該空間の最大輝度に対する割合）を用い、
ｆ（Ｆｂ２）＝ｋ（Ｆｂ２）・Ｆｂ２      （式５）
なる関数を与えた場合、Ｆｂ２の代わりにαＦｂ２が入ることにより係数ｋ（Ｆｂ２）が大きくなる。
【００５５】
その効果はα値が小さいほど顕著になる。ｋの設定によっては輝度Ｆｂ２が比較的大きな値にもかかわらず縮小されず、すなわち実質的に変換されずにアルファブレンドの計算に用いられてしまうこともあり得る。グラフ８０の例ではそのような効果に起因して、α値が０の近傍になるまで出力値Ｆｏｕｔが増加し続け、７２０程度の極大値となっている。このような場合、例えば第２画像を表示後、フェードアウトするようにα値を０に近づけていっても、第２画像がむしろ濃くなっていき、ある時点で急速に消滅していくような不自然な変化となってしまう。
【００５６】
一方、本実施の形態によれば、重畳用の中間画像から第２画像の輝度成分を取り出したうえで変換処理を施すため、α値によらず式４が正しく計算され、グラフ８２に示すように常に正確な出力値５２４が得られる。すなわち輝度空間の変換処理にα値の設定が影響することがなくなり、本来意図した表示上の効果を実現できる。また、α値を考慮して特殊な変換関数を導入するといった必要がないため、輝度の空間のみを考慮した様々な関数から適切なものを自由に選択することができる。ひいては、表現上の自由度や輝度空間の対応範囲をより広げることができる。アルファブレンド計算に式２を用いる場合も同様である。
【００５７】
次に上記構成によって実現される情報処理装置の動作について説明する。図７は本実施の形態における情報処理装置１０が表示画像を生成、出力する処理手順を示すフローチャートである。このフローチャートはユーザが情報処理装置１０の電源を入れるなどしてゲームや動画などのコンテンツの選択入力をしたときなどに開始される。このとき、情報処理部５２は、選択されたコンテンツに必要な情報処理を実施し、画像生成部５４がその画像を第１画像として生成する（Ｓ１０）。
【００５８】
ここでユーザからの要求やコンテンツとしての設定などにより、各種情報を表す第２画像を表示させる必要が生じなければ（Ｓ１２のＮ）、第１画像を表示画像として、画像出力部６０が表示装置１６へ出力することで当該画像が表示される（Ｓ２４）。第２画像を表示させる必要が生じたら（Ｓ１２のＹ）、重畳データ生成部５６は、表示すべき第２画像のデータを生成するとともに、その表示のさせ方を決定づけるα値を画素ごとに決定し、それを画素値とするα画像と、第２画像にα値を乗算した重畳用の中間画像とを生成する（Ｓ１４）。
【００５９】
重畳データ生成部５６は中間画像とα画像のデータを画像合成部５８に供給する。このとき画像生成部５４も、第１画像のデータを画像合成部５８に供給する。第１画像、第２画像の双方がＳＤＲで表現されているなど、第２画像の輝度空間の変換が必要ない場合（Ｓ１６のＮ）、画像合成部５８の合成処理部７２は、取得したデータをそのまま利用しアルファブレンド処理を実施する（Ｓ２２）。
【００６０】
すなわち第１画像データ取得部６４から得たデータと重畳データ取得部６２から得たデータ（αＦｂ２およびα）を用いて、式１または式２により表示画像のデータを算出する。第２画像がＳＤＲであるのに対し、第１画像がＨＤＲで表現されているなど、輝度空間の変換が必要な場合（Ｓ１６のＹ）、重畳データ取得部６２は、取得したデータを輝度空間変換部６６に供給することにより、第２画像の輝度空間を変換させる。
【００６１】
具体的には、まず第２画像データ取得部６８が、中間画像の各画素値に１／αを乗算することにより第２画像の輝度Ｆｂ２を取得し（Ｓ１８）、データ変換部７０が当該輝度に対し空間変換処理を施す（Ｓ２０）。そして合成処理部７２は、変換後のデータを用いてアルファブレンド処理を実施する（Ｓ２２）。すなわち第１画像データ取得部６４から得たデータと輝度空間変換部６６から得たデータ（ｆ（Ｆｂ２）およびα）を用いて表示画像のデータを算出する。
【００６２】
輝度空間を変換したか否かに関わらず、合成処理部７２は第１画像、第２画像を合成してなる表示画像のデータを画像出力部６０へ順次出力し、画像出力部６０が表示装置１６へ出力することで当該画像が表示される（Ｓ２４）。ユーザ操作やコンテンツ終了により処理を終了させる必要がなければ（Ｓ２６のＮ）、Ｓ１０〜Ｓ２４の処理を画像フレーム単位で繰り返す。
【００６３】
これにより表示装置１６には、コンテンツで表される輝度空間によらず、必要な期間に付加的な画像をコンテンツのメイン画像に融合させて表示させることができる。なお第２画像が静止画の場合など表示済みの画像フレームから更新する必要がない場合、Ｓ１４〜Ｓ２０の処理は適宜省略してよい。また各ステップは画素単位など所定の単位でパイプライン処理してよい。ユーザ操作などにより処理を終了させるタイミングが到来した時点で全ての処理を終了する（Ｓ２６のＹ）
【００６４】
以上述べた本実施の形態によれば、情報表示など付加的な画像を、アルファブレンドによりコンテンツのメイン画像に重畳することにより、双方の画像を融合させて表示する。このとき重畳させる画像については、α値を乗算した重畳用の中間画像を生成しておくことによりアルファブレンド処理を効率化できる。さらに、メイン画像の輝度を定義する空間が重畳させる画像と異なる場合、中間画像から元の画像データに戻す機構を設けておくことにより、メイン画像に合わせた輝度空間へ正しく変換できるようにする。
【００６５】
これにより、変換が必要ないコンテンツでは低いレイテンシで、コンテンツの世界観を大きく損なうことなく付加的な画像を表示できる一方、様々な輝度空間で表されたコンテンツへの対応も可能になる。空間変換を合成処理の直前で実施することにより、画像生成の段階では共通の機構を利用することができ、導入コストを低く抑えられる。また、中間画像から元の画像の輝度成分のみを取りだして変換するため、変換処理とアルファブレンド処理の双方を、互いに影響されることなく正確に行える。結果として双方の処理に対する設定も自由に行える。
【００６６】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６７】
例えば本実施の形態では主に、第２画像の輝度にα値を乗算した中間画像を生成する場合について述べたが、それに限らずガンマ補正など、輝度に何らかの演算が施されているデータであれば、画像合成部の機能を同様に適用できる。すなわち輝度空間の変換が必要な場合、画像合成部はまずその逆演算を行うことにより輝度のデータを取得してから変換を実施する。これにより本実施の形態と同様、メイン画像の輝度空間によらず本来意図した重畳画像の表現が可能になるとともに、変換の必要がない環境においては元の処理機構をそのまま活用できる。
【００６８】
また本実施の形態では主に、第１画像がＨＤＲで表現されている場合に、ＳＤＲで表現されている第２画像の輝度を、それに合わせて変換する例について説明したが、変換前後の空間はそれに限らない。例えば第１画像がＳＤＲ、第２画像がＨＤＲで表現されている場合に第２画像をＳＤＲの空間に変換してもよい。またＳＤＲ、ＨＤＲ以外の空間を対象としてもよい。
【符号の説明】
【００６９】
８  ネットワーク、  １０  情報処理装置、  １４  入力装置、  １６  表示装置、  ２３  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ５０  入力情報取得部、  ５２  情報処理部、  ５４  画像生成部、  ５６  重畳データ生成部、  ５８  画像合成部、  ６０  画像出力部、  ６２  重畳データ取得部、  ６４  第１画像データ取得部、  ６６  輝度空間変換部、  ６８  第２画像データ取得部、  ７０  データ変換部、  ７２  合成処理部。
【図１】
2018025996.tif 000003
【図２】
2018025996.tif 000004
【図３】
2018025996.tif 000005
【図４】
2018025996.tif 000006
【図５】
2018025996.tif 000007
【図６】
2018025996.tif 000008
【図７】
2018025996.tif 000009