(57)【要約】  画像データの記憶に必要な記憶容量を抑えつつ色及び透過度の両方について豊かな画像表現を行うことができるアルファ値決定装置、アルファ値決定方法、プログラム及び画像データのデータ構造を提供する。画素データ記憶部（３２ａ）は、画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する。アルファ値データ記憶部（３２ｂ）は、複数の画素データが示すインデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶する。合成画像生成部（３８）は、複数の画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示すインデックスとアルファ値データとに基づいて決定する。
2020031859.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部と、
複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部と、
複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定するアルファ値決定部と、
を含むことを特徴とするアルファ値決定装置。
【請求項２】
前記画素データが示す前記インデックスのビット数は、当該画素データが示す１つの成分の前記画素値のビット数よりも少ない、
ことを特徴とする請求項１に記載のアルファ値決定装置。
【請求項３】
前記アルファ値データ記憶部は、前記インデックスと画素の複数の成分にそれぞれ対応付けられる複数のアルファ値との対応を示す前記アルファ値データを記憶し、
前記アルファ値決定部は、前記画素データに対応付けられる前記画素の前記複数の成分のそれぞれのアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定する、
ことを特徴とする請求項１又は２に記載のアルファ値決定装置。
【請求項４】
前記アルファ値データ記憶部は、それぞれ前記画像内の異なる領域に対応付けられる、当該領域内の画素に対応付けられる前記画素データが示す前記インデックスとアルファ値との対応を示す複数の前記アルファ値データを記憶し、
前記アルファ値決定部は、前記画素データに対応付けられる前記画素のアルファ値を、当該画素データが示す前記インデックスと当該画素が含まれる前記領域に対応付けられる前記アルファ値データとに基づいて決定する、
ことを特徴とする請求項１から３のいずれか一項に記載のアルファ値決定装置。
【請求項５】
前記アルファ値データ記憶部は、複数の前記画像についての前記インデックスにより共通して参照される前記アルファ値データを記憶する、
ことを特徴とする請求項１から４のいずれか一項に記載のアルファ値決定装置。
【請求項６】
前記アルファ値データ記憶部は、時間の経過に従って順次適用される複数の前記アルファ値データを記憶し、
前記アルファ値決定部は、前記複数の前記アルファ値データに基づいて、前記画素データに対応付けられる前記画素のアルファ値を、時間の経過に従って互いに異なる値となるよう決定する、
ことを特徴とする請求項１から４のいずれか一項に記載のアルファ値決定装置。
【請求項７】
前記アルファ値データ記憶部は、複数のフレームにわたって連続して表示される１つの前記画像のアルファ値の決定に共通して用いられる、前記フレームにそれぞれ対応付けられる複数の前記アルファ値データを記憶し、
前記アルファ値決定部は、前記複数のフレームのそれぞれにおいて、前記画素データに対応付けられる前記画素のアルファ値を、当該画素データが示す前記インデックスと当該フレームに対応付けられる前記アルファ値データとに基づいて決定する、
ことを特徴とする請求項１から４のいずれか一項に記載のアルファ値決定装置。
【請求項８】
画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部から前記複数の画素データを取得するステップと、
複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部から前記アルファ値データを取得するステップと、
複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定するステップと、
を含むことを特徴とするアルファ値決定方法。
【請求項９】
画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部から前記複数の画素データを取得する手順、
複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部から前記アルファ値データを取得する手順、
複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定する手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データと、
複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データと、を含み、
複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値は、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定される、
ことを特徴とする画像データのデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アルファ値決定装置、アルファ値決定方法、プログラム及び画像データのデータ構造に関する。
【背景技術】
【０００２】
ＲＧＢやＨＬＳなどといった３つの成分のそれぞれの色深度を８ビットとし、透過度を表すアルファ値を８ビットで表現することによって、１つの画素の色及び透過度を計３２ビットで表現する画像データのフォーマットが知られている。【０００３】
また近年、各成分の色深度を１０ビットとすることで豊かな画像表現を行うことができる、ディープカラーやＨＤＲ（High Dynamic Range）などといった画像データのフォーマットが登場している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的にメモリには３２ビット単位でアドレスが割り振られる。そのため、色深度を３つの成分のそれぞれにつき１０ビットとし、アルファ値を８ビットで表現することで、１つの画素の色及び透過度を計３８ビットで表現する場合は、１つの画素に対して６４ビットを割り当てる必要がある。この場合、１つの画素に３２ビットを割り当てる場合と比較して、画像データの記憶に必要な記憶容量が約２倍となる。またこの場合メモリアクセスに必要な時間が長くなる。【０００５】
ここでアルファ値を２ビットで表現することが考えられるが、このようにすると不透明や完全透明以外の半透明の表現は実質的に二段階でしか行えないため、透過度の表現が制限されてしまう。また各成分の色深度を９ビットとしアルファ値を５ビットで表現する場合も、やはり色や透過度の表現が制限されてしまう。【０００６】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画像データの記憶に必要な記憶容量を抑えつつ色及び透過度の両方について豊かな画像表現を行うことができるアルファ値決定装置、アルファ値決定方法、プログラム及び画像データのデータ構造を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係るアルファ値決定装置は、画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部と、複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部と、複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定するアルファ値決定部と、を含む。【０００８】
本発明の一態様では、前記画素データが示す前記インデックスのビット数は、当該画素データが示す１つの成分の前記画素値のビット数よりも少ない。【０００９】
また、本発明の一態様では、前記アルファ値データ記憶部は、前記インデックスと画素の複数の成分にそれぞれ対応付けられる複数のアルファ値との対応を示す前記アルファ値データを記憶し、前記アルファ値決定部は、前記画素データに対応付けられる前記画素の前記複数の成分のそれぞれのアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定する。【００１０】
また、本発明の一態様では、前記アルファ値データ記憶部は、それぞれ前記画像内の異なる領域に対応付けられる、当該領域内の画素に対応付けられる前記画素データが示す前記インデックスとアルファ値との対応を示す複数の前記アルファ値データを記憶し、前記アルファ値決定部は、前記画素データに対応付けられる前記画素のアルファ値を、当該画素データが示す前記インデックスと当該画素が含まれる前記領域に対応付けられる前記アルファ値データとに基づいて決定する。【００１１】
また、本発明の一態様では、前記アルファ値データ記憶部は、複数の前記画像についての前記インデックスにより共通して参照される前記アルファ値データを記憶する。【００１２】
あるいは、前記アルファ値データ記憶部は、時間の経過に従って順次適用される複数の前記アルファ値データを記憶し、前記アルファ値決定部は、前記複数の前記アルファ値データに基づいて、前記画素データに対応付けられる前記画素のアルファ値を、時間の経過に従って互いに異なる値となるよう決定する。【００１３】
あるいは、前記アルファ値データ記憶部は、複数のフレームにわたって連続して表示される１つの前記画像のアルファ値の決定に共通して用いられる、前記フレームにそれぞれ対応付けられる複数の前記アルファ値データを記憶し、前記アルファ値決定部は、前記複数のフレームのそれぞれにおいて、前記画素データに対応付けられる前記画素のアルファ値を、当該画素データが示す前記インデックスと当該フレームに対応付けられる前記アルファ値データとに基づいて決定する。【００１４】
また、本発明に係るアルファ値決定方法は、画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部から前記複数の画素データを取得するステップと、複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部から前記アルファ値データを取得するステップと、複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定するステップと、を含む。【００１５】
また、本発明に係るプログラムは、画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データを記憶する画素データ記憶部から前記複数の画素データを取得する手順、複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データを記憶するアルファ値データ記憶部から前記アルファ値データを取得する手順、複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値を、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定する手順、をコンピュータに実行させる。【００１６】
また、本発明に係る画像データのデータ構造は、画像に含まれる複数の画素にそれぞれ対応付けられる、画素値及びインデックスを示す複数の画素データと、複数の前記画素データが示す前記インデックスにより共通して参照される、当該インデックスとアルファ値との対応を示すアルファ値データと、を含み、複数の前記画素データにそれぞれ対応付けられる複数の画素のアルファ値は、当該画素データが示す前記インデックスと前記アルファ値データとに基づいて決定される。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置の構成の一例を示す図である。
【図２】前景画像データのデータ構造の一例を示す図である。
【図３】前景画素データのデータ構造の一例を示す図である。
【図４】アルファ値データのデータ構造の一例を示す図である。
【図５】背景画像データのデータ構造の一例を示す図である。
【図６】背景画素データのデータ構造の一例を示す図である。
【図７】アルファ値データのデータ構造の別の一例を示す図である。
【図８】前景画像データのデータ構造の別の一例を示す図である。
【図９】前景画像データ及びアルファ値データのデータ構造の別の一例を示す図である。
【図１０】前景画像データのデータ構造のさらに別の一例を示す図である。
【図１１】本発明の一実施形態に係る画像処理装置の機能の一例を示す機能ブロック図である。
【図１２】本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１９】
図１は、本発明の一実施形態に係る画像処理装置１０の構成の一例を示す図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソール、携帯型ゲーム端末、パーソナルコンピュータ等である。図１に示すように、本実施形態に係る画像処理装置１０は、プロセッサ１２、記憶部１４、操作部１６、表示部１８、を含んでいる。
【００２０】
プロセッサ１２は、画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００２１】
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００２２】
操作部１６は、キーボードやマウス、あるいはゲームコンソールのコントローラ等であって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
【００２３】
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
【００２４】
本実施形態では例えば、所定のフレームレートで（例えば１／６０秒毎に）背景画像と前景画像とを合成した合成画像が生成されて、表示部１８に表示される。このようにして本実施形態では複数の合成画像から構成される動画像が表示部１８に表示される。
【００２５】
以下の説明では、背景画像、前景画像、及び、合成画像の、縦の画素数及び横の画素数はいずれも同じであり、それぞれの画像において互いに対応付けられる画素は同じ座標値で表現されることとする。
【００２６】
また本実施形態では、背景画像、前景画像、及び、合成画像のそれぞれに含まれる画素の色情報は、ＲＧＢ表色系における画素値で表現されることとする。そしてＲＧＢ表色系における赤成分、緑成分、青成分の画素値を、それぞれＲ値、Ｇ値、Ｂ値と呼ぶこととする。
【００２７】
また本実施形態に係る画像の色深度は、ディープカラーやＨＤＲ（High Dynamic Range）などに相当する１０ビットであることとする。そのため、本実施形態では豊かな画像表現を行うことができる。
【００２８】
本実施形態では、合成画像における各画素の画素値として、当該画素に対応付けられる背景画像の画素の画素値と前景画像の画素の画素値とを、前景画像の当該画素のアルファ値に応じた透過度で合成した結果が設定される。
【００２９】
図２は、本実施形態に係る前景画像を表す前景画像データ２０のデータ構造の一例を示す図である。図２に示すように、本実施形態に係る前景画像データ２０には、それぞれ画素に対応付けられる複数の前景画素データ２２と、アルファ値データ２４と、が含まれる。なお図２には、縦の画素数が９であり横の画素数が９である計８１画素の前景画像における前景画像データ２０の例が示されているが、前景画像に含まれる画素の数は８１にはもちろん限定されない。
【００３０】
図３は、本実施形態に係る前景画素データ２２のデータ構造の一例を示す図である。図３では、括弧内の数字によって各要素のビット数が示されている。図３に示すように、本実施形態に係る前景画素データ２２のサイズは３２ビットであり、１０ビットのＲ値、１０ビットのＧ値、１０ビットのＢ値、及び、２ビットのアルファインデックスが含まれている。
【００３１】
図４は、本実施形態に係るアルファ値データ２４のデータ構造の一例を示す図である。図４では、括弧内の数字によって各要素のビット数が示されている。図４に示すように、本実施形態に係るアルファ値データ２４のサイズは３２ビットであり、それぞれ８ビットのアルファ値である、第１アルファ値、第２アルファ値、第３アルファ値、及び、第４アルファ値が含まれる。なおアルファ値データ２４は第１アルファ値〜第４アルファ値をテーブル形式で含んでいてもよい。
【００３２】
本実施形態では、アルファ値が、０以上２５５以下の整数により２５６階調で表現されることとする。また完全な透明は０で表現され、完全な不透明は２５５で表現されることとする。なおアルファ値の表現は、この表現に限定されるものではない。
【００３３】
図５は、本実施形態に係る背景画像を表す背景画像データ２６のデータ構造の一例を示す図である。図５に示すように、本実施形態に係る背景画像データ２６には、それぞれ画素に対応付けられる複数の背景画素データ２８が含まれる。なお図２には、縦の画素数が９であり横の画素数が９である計８１画素の背景画像における背景画像データ２６の例が示されているが、背景画像に含まれる画素の数は８１にはもちろん限定されない。
【００３４】
図６は、本実施形態に係る背景画素データ２８のデータ構造の一例を示す図である。図６では、括弧内の数字によって各要素のビット数が示されている。図６に示すように、本実施形態に係る背景画素データ２８のサイズは３０ビットであり、１０ビットのＲ値、１０ビットのＧ値、及び、１０ビットのＢ値が含まれている。
【００３５】
なお本実施形態では、背景画像データ２６のデータ構造と前景画像データ２０のデータ構造とは異なるが、背景画像データ２６のデータ構造が前景画像データ２０のデータ構造と同じであっても構わない。
【００３６】
そして本実施形態では、前景画素データ２２に含まれるアルファインデックスによって、アルファ値データ２４に含まれる当該アルファインデックスに対応するアルファ値が参照される。そして、参照先のアルファ値に基づいて、当該前景画素データ２２に対応付けられる画素のアルファ値が決定される。
【００３７】
例えば、前景画素データ２２に含まれるアルファインデックスの値が０（２ビット表現で「００」）である場合は、第１アルファ値が当該前景画素データ２２に対応付けられる画素のアルファ値として決定されてもよい。同様に例えば、当該アルファインデックスの値が１（２ビット表現で「０１」）である場合は、第２アルファ値が当該画素のアルファ値として決定されてもよい。同様に例えば、当該アルファインデックスの値が２（２ビット表現で「１０」）である場合は、第３アルファ値が当該画素のアルファ値として決定されてもよい。同様に例えば、当該アルファインデックスの値が３（２ビット表現で「１１」）である場合は、第４アルファ値が当該画素のアルファ値として決定されてもよい。
【００３８】
そして前景画像と背景画像とのアルファ値に基づくアルファブレンド処理が実行されることによって、合成画像が生成される。例えば前景画像に含まれる画素の画素値と、上述のようにして決定される当該画素のアルファ値と、背景画像に含まれる当該画素に対応付けられる画素の画素値と、に基づいて、合成画像に含まれる当該画素に対応付けられる画素の画素値が決定される。
【００３９】
例えば前景画像に含まれる画素のＲ値がＲ１であり、当該画素のアルファ値がＡであり、背景画像における当該画素と同じ座標値の画素のＲ値がＲ０であることとする。この場合、Ｒ０×（１−Ａ／２５５）＋Ｒ１×Ａ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＲ値として決定される。
【００４０】
同様に前景画像に含まれる画素のＧ値がＧ１であり、背景画像における当該画素と同じ座標値の画素のＧ値がＧ０であることとする。この場合、Ｇ０×（１−Ａ／２５５）＋Ｇ１×Ａ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＧ値として決定される。
【００４１】
同様に前景画像に含まれる画素のＢ値がＢ１であり、背景画像における当該画素と同じ座標値の画素のＢ値がＢ０であることとする。この場合、Ｂ０×（１−Ａ／２５５）＋Ｂ１×Ａ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＢ値として決定される。
【００４２】
なお合成画像に含まれる画素の画素値の決定方法はこの方法に限定されるものではない。
【００４３】
また例えば、前景画像に基づいて、中間画像が生成されてもよい。ここで前景画像の画素の画素値に当該画素のアルファ値を乗じた値が、中間画像における当該画素に対応付けられる画素の画素値として設定されてもよい。
【００４４】
そして例えば中間画像に含まれる画素のＲ値がＲ２である場合、Ｒ０×（１−Ａ／２５５）＋Ｒ２との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＲ値として決定されてもよい。同様に中間画像に含まれる画素のＧ値がＧ２である場合、Ｇ０×（１−Ａ／２５５）＋Ｇ２との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＧ値として決定されてもよい。同様に中間画像に含まれる画素のＢ値がＢ２である場合、Ｂ０×（１−Ａ／２５５）＋Ｂ２との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＢ値として決定されてもよい。
【００４５】
そして本実施形態では以上のようにして決定される画素値が各画素に設定された合成画像が生成されて、表示部１８の画面に表示されることとなる。
【００４６】
一般的にメモリには３２ビット単位でアドレスが割り当てられる。そのため画像のデータの記憶に必要な記憶容量を抑えるためには１つの画素に対して割り当てられる記憶容量は３２ビット以下に抑えることが重要である。
【００４７】
ここで色深度を３つの成分のそれぞれにつき１０ビットとし、アルファ値を２ビットとすると、色については豊かな画像表現を行うことができるものの、不透明や完全透明以外の半透明の表現は実質的に二段階でしか行えない。
【００４８】
そこで本実施形態では上述のように、２ビットのアルファインデックスによってそれぞれ８ビットである４つのアルファ値を含むアルファ値データ２４が参照されるようにした。また複数の画素に示されている同じ値のアルファインデックスによって同じアルファ値が参照されるようにした。
【００４９】
そのため本実施形態によればアルファ値データ２４の第１アルファ値、第２アルファ値、第３アルファ値、及び、第４アルファ値に適切な値を設定することで、色だけでなく透過度についても画像表現が豊かになる。また本実施形態では画素毎に８ビットのアルファ値を割り当てる場合よりも画像のデータの記憶に必要な記憶容量が抑えられる。
【００５０】
なお画像の色深度を３つの成分のそれぞれにつき９ビットとし、アルファインデックスを５ビットとしてもよい。この場合はアルファ値データ２４に、３２種類のアルファ値を設定できることとなる。このようにすれば上述の例よりも色の表現力は下がるものの１つの画像に適用可能な透過度のバリエーションを増やすことができる。
【００５１】
また本実施形態において、図７に示すように、アルファ値データ２４に、それぞれ８ビットである、第１Ｒアルファ値〜第４Ｒアルファ値、第１Ｇアルファ値〜第４Ｇアルファ値、及び、第１Ｂアルファ値〜第４Ｂアルファ値が含まれるようにしてもよい。この場合はアルファ値データ２４のサイズは９６ビットとなる。
【００５２】
そして画素値の成分毎に異なるアルファ値が参照されるようにしてもよい。例えば、前景画像に含まれる画素に対応付けられる前景画素データ２２に含まれるアルファインデックスの値が０（２ビット表現で「００」）であることとする。この場合、第１Ｒアルファ値、第１Ｇアルファ値、及び、第１Ｂアルファ値が、それぞれ、当該画素のＲアルファ値、Ｇアルファ値、Ｂアルファ値として決定されてもよい。同様にアルファインデックスの値が１（２ビット表現で「０１」）である場合に、第２Ｒアルファ値、第２Ｇアルファ値、及び、第２Ｂアルファ値が、それぞれ、当該画素のＲアルファ値、Ｇアルファ値、Ｂアルファ値として決定されてもよい。またアルファインデックスの値が２（２ビット表現で「１０」）である場合に、第３Ｒアルファ値、第３Ｇアルファ値、及び、第３Ｂアルファ値が、それぞれ、当該画素のＲアルファ値、Ｇアルファ値、Ｂアルファ値として決定されてもよい。また同様にアルファインデックスの値が３（２ビット表現で「１１」）である場合に、第４Ｒアルファ値、第４Ｇアルファ値、及び、第４Ｂアルファ値が、それぞれ、当該画素のＲアルファ値、Ｇアルファ値、Ｂアルファ値として決定されてもよい。
【００５３】
ここで例えば前景画像に含まれる画素のＲ値がＲ１であり、当該画素のＲアルファ値がＡＲであり、背景画像における当該画素と同じ座標値の画素のＲ値がＲ０であることとする。この場合、Ｒ０×（１−ＡＲ／２５５）＋Ｒ１×ＡＲ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＲ値として決定される。
【００５４】
同様に前景画像に含まれる画素のＧ値がＧ１であり、当該画素のＧアルファ値がＡＧであり、背景画像における当該画素と同じ座標値の画素のＧ値がＧ０であることとする。この場合、Ｇ０×（１−ＡＧ／２５５）＋Ｇ１×ＡＧ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＧ値として決定される。
【００５５】
同様に前景画像に含まれる画素のＢ値がＢ１であり、当該画素のＢアルファ値がＡＢであり、背景画像における当該画素と同じ座標値の画素のＢ値がＢ０であることとする。この場合、Ｂ０×（１−ＡＢ／２５５）＋Ｂ１×ＡＢ／２５５との数式で算出される値が、合成画像に含まれる当該画素と同じ座標値の画素のＢ値として決定される。
【００５６】
図２〜図６を参照して説明した例では、Ｒ値、Ｇ値、Ｂ値のそれぞれに対して共通のアルファ値（上述のＡ）が適用されていた。一方、図７を参照して説明したこの例では、１つのアルファインデックスによって、Ｒ値、Ｇ値、Ｂ値のそれぞれについて互いに異なる複数のアルファ値が参照されることとなる。そのためこのようにすれば、成分毎に異なる透過度を設定できるため透過度についてより豊かな画像表現を行うことができる。またこの場合は、アルファ値データ２４のサイズは増えるものの、アルファインデックスのサイズは２ビットであるので、この場合についても画像データの記憶に必要な記憶容量は抑えられる。
【００５７】
また図８に示すように、前景画像データ２０に、それぞれ前景画像内の異なる領域に対応付けられる複数のアルファ値データ２４が含まれるようにしてもよい。図８の例では、例えば、領域Ｒ１の画素のアルファインデックスからはアルファ値データ２４（Ｒ１）が参照され、領域Ｒ２の画素のアルファインデックスからはアルファ値データ２４（Ｒ２）が参照される。ここで前景画像データ２０に、例えば、各画素が属する領域を示す画素領域対応データが含まれるようにしてもよい。そして当該画素領域対応データに基づいて、前景画素データ２２に含まれるアルファインデックスによって参照されるアルファ値データ２４（アルファ値データ２４（Ｒ１）又はアルファ値データ２４（Ｒ２）のいずれか）が決定されてもよい。
【００５８】
このようにすれば例えば１つの画像においても複数の領域についてそれぞれ互いに異なるアルファ値の組合せを適用することが可能となる。例えば、画像にゲームのプレイ状況が表されたゲーム領域とユーザインタフェースが表されたＵＩ領域とが含まれることがある。このように互いに異なる用途や目的の複数の領域が表示される画像に含まれる場合に、当該複数の領域に対して互いに異なるアルファ値の組合せを適用することが望ましいことがある。図８に示す前景画像データ２０のデータ構造はこのような場合に特に好適である。
【００５９】
なお以上の説明では前景画像に２つの領域が含まれているが、前景画像が３つ以上の領域が含まれていてもよい。この場合、前景画像データ２０には、領域の数のアルファ値データ２４が含まれることとなる。
【００６０】
また図９に示すように、前景画像データ２０にアルファ値データ２４が含まれないようにして、複数の前景画像データ２０から１つのアルファ値データ２４が参照されるようにしてもよい。この場合、複数の前景画像データ２０のそれぞれに含まれる前景画素データ２２のアルファインデックスは当該共通のアルファ値データ２４を参照する。そのため当該複数の前景画像データ２０のそれぞれには、当該共通のアルファ値データ２４に設定された複数のアルファ値の組合せが共通して適用されることとなる。
【００６１】
前景画像データ２０毎に前景画素データ２２とアルファ値データ２４とが対応付けられる図２の例とは異なり、図９の例では、複数の前景画像データ２０と１つのアルファ値データ２４とが対応付けられる。そのため図９の例では、アルファ値データ２４の記憶に必要な記憶容量をさらに抑えることができる。図９に示す前景画像データ２０のデータ構造は、例えば動画像に含まれる複数のフレーム画像に特定のアルファ値の組合せを共通して適用したい場合などに好適である。
【００６２】
また図１０に示すように、１つの前景画像に対応付けられる前景画像データ２０が、時間の経過に従って順次適用される複数のアルファ値データ２４を含んでいてもよい。ここで当該複数のアルファ値データ２４のそれぞれが、フレーム番号などいったフレームの識別情報に対応付けられていてもよい。図１０には、フレーム数がｎである場合の一例が示されており、アルファ値データ２４として、アルファ値データ２４（１）〜アルファ値データ２４（ｎ）が示されている。図１０の例では、括弧内の数字でフレーム番号が示されている。
【００６３】
ここで例えば複数のアルファ値データに基づいて、前景画素データ２２に対応付けられる画素のアルファ値が、時間の経過に従って互いに異なる値となるよう決定されてもよい。例えば、複数のフレームのそれぞれにおいて、当該フレームのフレーム番号に対応付けられるアルファ値データ２４がアルファインデックスによって参照されるようにしてもよい。このようにすれば例えば、各フレームにおける合成画像の生成において、基礎となる前景画像は共通であるが、時間の経過に従って透過度が変化するフェードインやフェードアウトなどといった画像表現が可能となる。
【００６４】
図８〜図１０を参照して説明した例においても、例えばアルファ値データ２４のデータ構造として図４に示すものを採用してもよいし、図７に示すものを採用してもよい。
【００６５】
また図８〜図１０を参照して説明した例が組み合わされてもよい。例えば、フレーム番号と画素が属する領域との組合せにアルファ値データ２４が対応付けられていてもよい。そしてフレーム番号と画素が属する領域との組合せに基づいて、当該画素のアルファインデックスにより参照されるアルファ値データ２４が決定されてもよい。
【００６６】
またアルファ値データ２４にアルファ値そのものが含まれる必要はない。例えば、アルファ値データ２４に、アルファインデックスに基づいてアルファ値を算出する数式、関数、プログラムなどといった算出規則を示すデータが含まれていてもよい。そして例えば画素に対応付けられるアルファインデックスの値と当該アルファインデックスによって参照される数式、関数、プログラムなどの算出規則とに基づいて算出される値が、当該画素のアルファ値として決定されてもよい。
【００６７】
また例えば、図１０を参照して説明した例において、アルファ値データ２４に、アルファインデックスとフレーム番号に基づいてアルファ値を算出する数式、関数、プログラムなどといった、算出規則を示すデータが含まれていてもよい。例えばアルファ値データ２４に、最初のフレームと最後のフレームにおけるアルファ値や、１フレームあたりのアルファ値の変化量などが示されていてもよい。
【００６８】
また決定されるアルファ値に対して、例えば合成画像が表示されるシーンなどに応じた変換が行われるようにしてもよい。また例えばアルファ値データ２４が示す算出規則におけるパラメータが、例えば合成画像が表示されるシーンなどに応じて変化するようにしてもよい。
【００６９】
本実施形態における前景画像データ２０や背景画像データ２６への値の設定は、例えば、デザインツールなどを介したデザイナー等のオペレータの入力により行えるようにしてもよい。
【００７０】
以下、本実施形態に係る画像処理装置１０の機能及び本実施形態に係る画像処理装置１０で実行される処理についてさらに説明する。
【００７１】
図１１は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。
【００７２】
図１１に示すように、画像処理装置１０には、機能的には例えば、背景画像データ記憶部３０、前景画像データ記憶部３２、背景画像データ取得部３４、前景画像データ取得部３６、合成画像生成部３８、表示制御部４０、が含まれる。また前景画像データ記憶部３２には、画素データ記憶部３２ａとアルファ値データ記憶部３２ｂとが含まれる。背景画像データ記憶部３０、前景画像データ記憶部３２は、記憶部１４を主として実装される。背景画像データ取得部３４、前景画像データ取得部３６、合成画像生成部３８は、プロセッサ１２を主として実装される。表示制御部４０は、プロセッサ１２及び表示部１８を主として実装される。
【００７３】
以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
【００７４】
背景画像データ記憶部３０は、本実施形態では例えば、上述の背景画像データ２６を記憶する。
【００７５】
前景画像データ記憶部３２は、本実施形態では例えば、上述の前景画像データ２０を記憶する。
【００７６】
画素データ記憶部３２ａは、本実施形態では例えば、上述の複数の前景画素データ２２を記憶する。上述のように複数の前景画素データ２２は、前景画像に含まれる複数の画素にそれぞれ対応付けられる。また前景画素データ２２には、画素値及びインデックス（アルファインデックス）が示されている。
【００７７】
ここで上述のように前景画素データ２２には、複数の成分（例えば３つの成分）の画素値が示されていてもよい。なお当該複数の成分は、Ｒ値、Ｇ値、及び、Ｂ値には限定されない。例えばＨＬＳ表色系による表現では、複数の成分は、色相を表すＨ値、彩度を表すＳ値、及び、輝度を表すＬ値となる。
【００７８】
ここで上述のように、前景画素データ２２が示すアルファインデックスのビット数が、当該前景画素データ２２が示す１つの成分の画素値よりも少なくてもよい。例えば前景画素データ２２が示すアルファインデックスのビット数が、当該前景画素データ２２が示すＲ値のビット数、Ｇ値のビット数、Ｂ値のビット数のいずれよりも少なくてもよい。
【００７９】
アルファ値データ記憶部３２ｂは、本実施形態では例えば、上述のアルファ値データ２４を記憶する。上述のようにアルファ値データ２４には、複数の前景画素データ２２が示すアルファインデックスにより共通して参照される、当該アルファインデックスとアルファ値との対応が示されている。ここで上述のように、アルファ値データ２４には、アルファ値そのものが含まれていてもよいし、アルファ値を算出するための算出規則を示す数式、関数、プログラムなどが含まれていてもよい。
【００８０】
背景画像データ取得部３４は、本実施形態では例えば、背景画像データ記憶部３０に記憶されている背景画像データ２６を取得する。
【００８１】
前景画像データ取得部３６は、本実施形態では例えば、前景画像データ記憶部３２に記憶されている前景画像データ２０を取得する。
【００８２】
合成画像生成部３８は、本実施形態では例えば、背景画像データ取得部３４が取得する背景画像データ２６が表す背景画像と、前景画像データ取得部３６が取得する前景画像データ２０が表す前景画像と、の合成画像を生成する。
【００８３】
例えば合成画像生成部３８は、複数の前景画素データ２２にそれぞれ対応付けられる複数の画素のアルファ値を、当該前景画素データ２２が示すアルファインデックスとアルファ値データ２４とに基づいて決定する。ここで例えば、前景画素データ２２が示すアルファインデックスによって参照されるアルファ値が、当該前景画素データ２２に対応付けられる画素のアルファ値として決定されてもよい。
【００８４】
そして合成画像生成部３８は、例えば、前景画像と背景画像との上述のようにして決定されるアルファ値に基づくアルファブレンド処理を実行することによって、合成画像を生成する。合成画像生成部３８は、例えば、前景画像に含まれる画素の画素値と、当該画素のアルファ値と、背景画像に含まれる当該画素に対応付けられる画素の画素値と、に基づいて、合成画像に含まれる当該画素に対応付けられる画素の画素値を決定する。そして合成画像生成部３８は、このようにして決定される画素値が各画素に設定された合成画像を生成する。
【００８５】
表示制御部４０は、本実施形態は例えば、合成画像生成部３８が生成する合成画像を画面に表示させる。ここで上述のように前景画像に含まれる各画素は、前景画素データ２２に示されている当該画素の画素値が表す色、及び、上述のようにして決定される当該画素のアルファ値に応じた透過度で表示されることとなる。
【００８６】
また上述のように前景画像データ記憶部３２が、１つの背景画像に対応付けられる複数の前景画素データ２２と、当該１つの背景画像に対応付けられるアルファ値データ２４と、を含む前景画像データ２０を複数記憶してもよい。この場合、１つの背景画像に対応付けられる複数の前景画素データ２２と当該１つの背景画像に対応付けられるアルファ値データ２４とは互いに対応付けられることとなる。そしてこの場合、合成画像生成部３８は、１つの背景画像に含まれる複数の画素のアルファ値を、当該背景画像に対応付けられるアルファ値データ２４に基づいて決定してもよい。
【００８７】
また図７を参照して説明したように、アルファ値データ記憶部３２ｂが、アルファインデックスと画素の複数の成分にそれぞれ対応付けられる複数のアルファ値との対応を示すアルファ値データ２４を記憶してもよい。そしてこの場合、合成画像生成部３８は、前景画素データ２２に対応付けられる画素の複数の成分のそれぞれのアルファ値を、当該前景画素データ２２が示すアルファインデックスとアルファ値データ２４とに基づいて決定してもよい。
【００８８】
また図８を参照して説明したように、アルファ値データ記憶部３２ｂが、それぞれ前景画像内の異なる領域に対応付けられる複数のアルファ値データ２４を記憶してもよい。この場合、１つのアルファ値データ２４は、当該アルファ値データ２４に対応付けられる領域内の画素に対応付けられる前景画素データ２２が示すアルファインデックスとアルファ値との対応を示すこととなる。そしてこの場合、合成画像生成部３８は、前景画素データ２２に対応付けられる画素のアルファ値を、当該前景画素データ２２が示すアルファインデックスと当該画素が含まれる領域に対応付けられるアルファ値データ２４とに基づいて決定してもよい。
【００８９】
また図９を参照して説明したように、アルファ値データ記憶部３２ｂが、複数の前景画像についてのアルファインデックスにより共通して参照されるアルファ値データ２４を記憶してもよい。
【００９０】
また例えば、アルファ値データ記憶部３２ｂは、時間の経過に従って順次適用される複数のアルファ値データを記憶してもよい。そしてこの場合、合成画像生成部３８は、当該複数のアルファ値データに基づいて、前景画素データ２２に対応付けられる画素のアルファ値を、時間の経過に従って互いに異なる値となるよう決定してもよい。
【００９１】
ここで例えば図１０を参照して説明したように、アルファ値データ記憶部３２ｂは、複数のフレームにわたって連続して表示される１つの画像のアルファ値の決定に共通して用いられる、フレームにそれぞれ対応付けられる複数のアルファ値データ２４を記憶してもよい。そしてこの場合、合成画像生成部３８は、複数のフレームのそれぞれにおいて、前景画素データ２２に対応付けられる画素のアルファ値を決定してもよい。またこの場合、合成画像生成部３８は、前景画素データ２２に対応付けられる画素のアルファ値を、当該前景画素データ２２が示すアルファインデックスと当該フレームに対応付けられるアルファ値データ２４とに基づいて決定してもよい。
【００９２】
ここで、本実施形態に係る画像処理装置１０で行われる処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。本処理例に示す処理では、複数のフレームにわたって合成画像の生成及び表示が実行されることとする。
【００９３】
まず、背景画像データ取得部３４が、背景画像データ記憶部３０に記憶されている背景画像データ２６を取得する（Ｓ１０１）。
【００９４】
そして、前景画像データ取得部３６が、前景画像データ記憶部３２に記憶されている、本フレームにおける前景画像データ２０を取得する（Ｓ１０２）。
【００９５】
そして、合成画像生成部３８は、Ｓ１０２に示す処理で取得した前景画像データ２０に含まれる複数の前景画素データ２２のうちから、Ｓ１０４〜Ｓ１０８に示す処理がまだ実行されていない１つの前景画素データ２２を選択する（Ｓ１０３）。
【００９６】
そして、合成画像生成部３８は、Ｓ１０３に示す処理で選択された前景画素データ２２が示す画素値を特定する（Ｓ１０４）。
【００９７】
そして、合成画像生成部３８は、Ｓ１０３に示す処理で選択された前景画素データ２２が示すアルファインデックスを特定する（Ｓ１０５）。
【００９８】
そして、合成画像生成部３８は、Ｓ１０５に示す処理で特定されたアルファインデックスに基づいて、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素のアルファ値を決定する（Ｓ１０６）。ここでは例えば、当該アルファインデックスにより参照されるアルファ値データ２４に含まれるアルファ値が、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素のアルファ値として決定されてもよい。また例えば、当該アルファインデックスと当該アルファインデックスにより参照されるアルファ値データ２４が示す算出規則とに基づいて、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素のアルファ値が決定されてもよい。
【００９９】
そして、合成画像生成部３８は、Ｓ１０１に示す処理で取得された背景画像データ２６に含まれる、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素と同じ座標値の画素の背景画素データ２８が示す画素値を特定する（Ｓ１０７）。
【０１００】
そして、合成画像生成部３８は、合成画像における、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素と同じ座標値の画素の画素値を決定する（Ｓ１０８）。ここでは例えば、Ｓ１０４及びＳ１０７に示す処理で特定された画素値及びＳ１０６に示す処理で特定されたアルファ値に基づいて、合成画像における当該画素の画素値が決定される。
【０１０１】
そして、合成画像生成部３８は、本フレームにおける合成画像に含まれるすべての画素の画素値が決定されたか否かを確認する（Ｓ１０９）。
【０１０２】
本フレームにおける合成画像に含まれるすべての画素の画素値が決定されていない場合は（Ｓ１０９：Ｎ）、Ｓ１０３に示す処理に戻る。
【０１０３】
本フレームにおける合成画像に含まれるすべての画素の画素値が決定された場合は（Ｓ１０９：Ｙ）、合成画像生成部３８は、Ｓ１０８に示す処理で決定された画素値に基づいて、合成画像を生成する（Ｓ１１０）。
【０１０４】
そして、表示制御部４０は、Ｓ１１０に示す処理で生成された合成画像を表示部１８の画面に表示させる（Ｓ１１１）。
【０１０５】
そして、合成画像生成部３８は、最終フレームに到達したか否かを確認する（Ｓ１１２）。最終フレームに到達していない場合は（Ｓ１１２：Ｎ）、Ｓ１０２に示す処理に戻る。最終フレームに到達した場合は（Ｓ１１２：Ｙ）、本処理例に示す処理は終了される。
【０１０６】
なお例えばＳ１０２に示す処理において、前景画像データ２０が取得された後に、合成画像生成部３８が、当該前景画像データ２０に含まれるアルファ値データ２４が示す算出規則に基づいて、本フレームにおけるアルファ値を決定してもよい。ここで例えば、アルファインデックスにそれぞれ対応付けられる本フレームにおける複数のアルファ値が決定されてもよい。そしてＳ１０６に示す処理で、Ｓ１０５に示す処理で特定されたアルファインデックスに対応付けられる、このようにして決定されたアルファ値が、Ｓ１０３に示す処理で選択された前景画素データ２２に対応付けられる画素のアルファ値として決定されてもよい。
【０１０７】
また以上の処理例では、背景画像は全フレームにおいて同じであることを前提としたが、各フレームで背景画像が異なるようにしてもよい。この場合は、Ｓ１０１に示す処理では、本フレームにおける背景画像データ２６が取得される。またＳ１１２に示す処理で最終フレームに到達していないことが確認された場合は（Ｓ１１２：Ｎ）、Ｓ１０１に示す処理に戻る。
【０１０８】
なお、本発明は上述の実施形態に限定されるものではない。
【０１０９】
例えば本発明は、以上で説明したような２つの画像の合成だけでなく、３つ以上の画像の合成においても適用可能である。
【０１１０】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2020031859.tif 000003
【図２】
2020031859.tif 000004
【図３】
2020031859.tif 000005
【図４】
2020031859.tif 000006
【図５】
2020031859.tif 000007
【図６】
2020031859.tif 000008
【図７】
2020031859.tif 000009
【図８】
2020031859.tif 000010
【図９】
2020031859.tif 000011
【図１０】
2020031859.tif 000012
【図１１】
2020031859.tif 000013
【図１２】
2020031859.tif 000014
【国際調査報告】
2020031859.tif 000015
2020031859.tif 000016
2020031859.tif 000017
2020031859.tif 000018