(57)【要約】      （修正有）【課題】モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供する。【解決手段】画像処理装置１は、背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、第２合成が行われた後、モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、を備える。【選択図】図２
2020135004.tif 000002
【特許請求の範囲】
【請求項１】
背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、
前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、
前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、
を備える画像処理装置。
【請求項２】
前記モデル画像において影が描画された影領域を抽出する抽出部と、
を備え、
前記第２合成部は、前記第２合成において、前記モデル領域に前記抽出された影領域を掛け合わせる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整部は、前記第２合成が行われた後、前記モデル領域において明度が前記所定値よりも低い部分の明度をより低くする調整を行う、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータを、
背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成手段、
前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成手段、
前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来から、モデルが配置された仮想３次元空間を描画するための画像処理技術が知られている。これに関し、特許文献１には、モデルを忠実に描画するだけでなく、モデルの周辺に任意のカラーの輪郭線を描画し、アニメ的な表現にすることができる画像処理技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３８１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想３次元空間に配置されたモデルを描画する画像処理においては、モデルの周囲にある背景オブジェクト等に基づく環境光を考慮することにより、モデルと周囲の色味が馴染んだリアリティ性の高い画像を描画することができる。しかしながら、このように環境光を考慮した画像処理は、リアリティ性を高めるためには有効であるが、モデルを強調することが求められるアニメ的な表現には向いていないという問題があった。
【０００５】
本発明は、このような問題を鑑みてなされたものであり、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、を備える。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置１のハードウェア構成例を示す図である。
【図２】画像処理装置１のソフトウェア構成例を示す図である。
【図３】本実施形態の画像処理装置１により実行される処理の流れを説明する図である。
【図４】背景画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【図５】モデル画像（新たに第２のワークバッファに記憶された画像）の一例を示す図である。
【図６】ブラー処理が施された背景画像（新たに第３のワークバッファに記憶された画像）の一例を示す図である。
【図７】背景画像にモデル領域が重ね合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【図８】モデル領域にブラー処理を施した背景画像が掛け合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【図９】抽出された影領域の画像（新たに第４のワークバッファに記憶された画像）の一例を示す図である。
【図１０】モデル領域に影領域を掛け合わせたの画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【図１１】モデル領域における明度の調整が行われた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の一実施形態による画像処理装置及びプログラムは、以下のような構成を備える。
【００１１】
［項目１］
背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、
前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成部と、
前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、
を備える画像処理装置。
この構成によれば、ブラー処理を施した背景画像が掛け合わされて明度が低くなったモデル領域の明度を高くすることができ、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。特に、モデルが背景画像に囲まれた空間（ダンスホール等）に違和感なく存在しつつ、かつ当該モデルが強調された画像を提供することができる。
［項目２］
前記モデル画像において影が描画された影領域を抽出する抽出部と、
を備え、
前記第２合成部は、前記第２合成において、前記モデル領域に前記抽出された影領域を掛け合わせる、
ことを特徴とする項目１に記載の画像処理装置。
この構成によれば、モデル領域に影領域を掛け合わせることで、モデル領域における影領域の明度を低くすることができ、モデル画像の陰影を強調することができる。
［項目３］
前記調整部は、前記第２合成が行われた後、前記モデル領域において明度が前記所定値よりも低い部分の明度をより低くする調整を行う、
ことを特徴とする項目２に記載の画像処理装置。
この構成によれば、モデル領域における影領域の明度を更に低くすることができ、モデル画像の陰影を強調することができる。
［項目４］
コンピュータを、
背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成手段、
前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成手段、
前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整手段、
として機能させるプログラム。
この構成によれば、ブラー処理を施した背景画像が掛け合わされて明度が低くなったモデル領域の明度を高くすることができ、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。
【００１２】
以下、添付図面を参照しながら本発明の実施形態（以下、本実施形態という。）について説明する。
【００１３】
図１は、本実施形態の画像処理装置１のハードウェア構成例を示す図である。画像処理装置１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４、画像制御部１５、画像用メモリ１６等を備え、これらはバス１７を通じて相互に電気的に接続される。制御部１０は、画像処理装置１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。また、制御部１０は、プログラムの実行やシステム全体の制御や画像表示のための座標計算等を行い、入出力部１４から送信される操作信号に基づいて、例えば仮想３次元空間内に配置されたオブジェクト（モデル等）や、仮想カメラ、光源等の位置及び向きを制御する。メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、画像処理装置１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。送受信部１３は、画像処理装置１を通信ネットワーク３に接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの近距離通信インターフェースを備えていてもよい。送受信部１３は、例えばユーザが作成した画像データや動画データをサーバや他のユーザに送信したり、他のユーザが作成した画像データや動画データを受信する。入出力部１４は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。このディスプレイは、たとえばヘッドマウントディスプレイ（ＨＭＤ）であってもよい。画像制御部１５は、オブジェクト（モデルや背景）を形成するポリゴンデータ（頂点座標、テクスチャ座標、色、α値、法線ベクトル等）に基づいて頂点処理を行う。画像制御部１５は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、仮想３次元空間に配置されたオブジェクトのレンダリングを行う。具体的には、画像制御部１５は、仮想カメラや光源の位置及び向きに応じて、ワールド変換や、光源計算、ビュー変換、クリッピング、射影変換、ビューポート変換等の頂点処理を行い、ラスタライズやテクスチャマッピング、陰面消去等のピクセル処理によって得られたピクセルデータを画像用メモリ１６のワークバッファやフレームバッファ等に記憶する。画像用メモリ１６は、画像表示を行うために用いられるデータを記憶する。画像用メモリ１６は、例えばＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であって、一又は複数のワークバッファや、フレームバッファ、テクスチャバッファ、Ｚバッファ等の格納領域を有する。ワークバッファは、例えば画像合成（ポストエフェクト等）を行うために利用される。フレームバッファは、ディスプレイに表示するための１フレーム分のピクセルデータを記憶するために利用される。テクスチャバッファは、オブジェクトを形成するポリゴンにテクスチャマッピングを行う際、素材となる画像データ（テクスチャ）を記憶するために利用される。Ｚバッファは、画面表示を行う各ピクセルにおけるオブジェクトの深度情報を記憶するために利用される。バス１７は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００１４】
図２は、画像処理装置１のソフトウェア構成例を示す図である。画像処理装置１は、第１合成部１１１、第２合成部１１２、抽出部１１３、調整部１１４、モデル情報記憶部１５１、および背景情報記憶部１５２を備える。
【００１５】
なお、第１合成部１１１、第２合成部１１２、抽出部１１３、および調整部１１４は、画像処理装置１が備える制御部１０がストレージ１２に記憶されているプログラムをメモリ１１に読み出して実行することにより実現される。また、モデル情報記憶部１５１、および背景情報記憶部１５２は、メモリ１１およびストレージ１２の少なくともいずれかにより提供される記憶領域の一部として実現される。
【００１６】
モデル情報記憶部１５１は、仮想３次元空間に配置されるモデルオブジェクトに関する情報（以下、モデル情報という。）を記憶する。本実施形態では、モデル情報は、リグ（骨組み）を含む３次元ポリゴンデータにより構成されている。
【００１７】
背景情報記憶部１５２は、仮想３次元空間に配置される背景オブジェクトに関する情報（以下、背景情報という。）を記憶する。本実施形態では、背景情報は、２次元ポリゴンデータにより構成されている。
【００１８】
第１合成部１１１は、背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う。具体的には、第１合成部１１１は、当該背景画像の上に、モデル領域以外が透明に設定された（背景透過された）モデル画像を重ね合わせる画像合成を行う。
【００１９】
第２合成部１１２は、背景画像にブラー処理を施した画像をモデル領域に掛け合わせる（乗算する）第２合成を行う。また、第２合成部は、抽出部１１３により抽出された影領域をモデル領域に掛け合わせる（乗算する）第２合成を行う。ブラー処理とは、例えばガウス関数を用いて画像をぼかす処理をいう。また、画像を掛け合わせる（乗算する）合成とは、ピクセル同士のカラー値（例えばＲＧＢ成分ごとに定められる０〜２５５の値）をそれぞれ乗算した後、カラー値に定められる最大値（例えば２５５）で割ることをいう。なお、この画像を掛け合わせる合成を行うと、合成前よりもカラー値が大きくなるため、合成画像は明度が低くなる。
【００２０】
抽出部１１３は、モデル画像において影が描画された影領域を抽出する。本実施形態では、抽出部１１３は、仮想３次元空間における光源及びモデルの位置に応じて随時設定されるモデルの影領域を、ワークバッファに記憶された画像からピクセル単位で抽出する。なお、モデルの影領域は、モデルの位置やポーズなどに応じて予め設定されていてもよい。
【００２１】
調整部１１４は、第２合成が行われた画像の明度を調整する。本実施形態では、調整部１１４は、第２合成が行われた後の画像のモデル領域において、明度が所定値よりも高い部分の明度をより高くしたり、明度が所定値よりも低い部分の明度をより低くしたりする調整（例えばソフトライト処理）を行う。
【００２２】
図３は、本実施形態の画像処理装置１により実行される処理の流れを説明する図である。この処理は、例えばユーザがコントローラを操作して仮想３次元空間の仮想カメラの位置及び向き（視方向）を制御し、仮想カメラの視方向の手前にモデルオブジェクト、その後方に背景オブジェクトが配置されている場合に開始される。なお、以下のステップの順番及び内容は変更することができる。
【００２３】
（ステップＳＰ２０１）
画像制御部１５は、第１のワークバッファに背景画像を記憶する。具体的には、画像処理部１５は、仮想３次元空間に配置された背景オブジェクトをレンダリング（描画）し、そのピクセルデータを第１のワークバッファに記憶する。図４は、背景画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【００２４】
（ステップＳＰ２０２）
画像制御部１５は、第２のワークバッファにモデル画像を記憶する。具体的には、画像処理部１５は、仮想３次元空間に配置されたモデルオブジェクトをレンダリング（描画）し、そのピクセルデータを第２のワークバッファに記憶する。例えば、画像制御部１５は、モデルオブジェクトをレンダリングする際、仮想３次元空間の光源の位置及び向きに応じてモデルの影領域を特定し、当該影領域に該当するピクセルの明度を低くする。図５は、モデル画像（新たに第２のワークバッファに記憶された画像）の一例を示す図である。
【００２５】
（ステップＳＰ２０３）
画像制御部１５は、第３のワークバッファにブラー処理を施した背景画像を記憶する。具体的には、画像制御部１５は、第１のワークバッファに記憶された背景画像にブラー処理を施し、第３のワークバッファに当該ブラー処理を施した背景画像を記憶する。図６は、ブラー処理が施された背景画像（新たに第３のワークバッファに記憶された画像）の一例を示す図である。
【００２６】
（ステップＳＰ２０４）
第１合成部１１１は、第１のワークバッファに記憶された背景画像に、第２のワークバッファに記憶されたモデル画像のうちモデルが描画されているピクセル領域（以下、モデル領域という。）を上書きする画像合成（第１合成）を行う。言い換えれば、第１合成部１１１は、第１のワークバッファに記憶された背景画像の上に、モデル領域以外が透明に設定された（背景透過された）モデル画像を重ね合わせる画像合成を行う。図７は、背景画像にモデル領域が重ね合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【００２７】
（ステップＳＰ２０５）
第２合成部１１２は、第１のワークバッファに記憶されたモデル領域に、第３のワークバッファに記憶されたブラー処理を施した背景画像を掛け合わせる画像合成（第２合成）を行う。この画像合成（掛け合わせ）により、第１のワークバッファにおけるモデル領域を構成する各ピクセルの明度は低くなる。図８は、モデル領域にブラー処理を施した背景画像が掛け合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【００２８】
（ステップＳＰ２０６）
抽出部１１３は、第２のワークバッファに記憶されたモデル画像において、影が描画された影領域を抽出し、第４のワークバッファに記憶する。例えば、抽出部１１３は、第２のワークバッファに記憶されているモデル画像の各ピクセルにおいて、明度が低いピクセルを影領域として抽出する。図９は、抽出された影領域の画像（新たに第４のワークバッファに記憶された画像）の一例を示す図である。
【００２９】
（ステップＳＰ２０７）
第２合成部１１２は、第１のワークバッファに記憶されたモデル領域に、第４のワークバッファに記憶された影領域を掛け合わせる画像合成（第２合成）を行う。この画像合成（掛け合わせ）により、モデルに描画された影領域を構成する各ピクセルの明度をより低くする（影領域を暗くする）ことができる。図１０は、モデル領域に影領域を掛け合わせた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【００３０】
（ステップＳＰ２０８）
調整部１１４は、第１のワークバッファに記憶されているモデル領域において、所定値（例えば５０％）よりも高い部分の明度をより高くし、当該所定値よりも低い部分の明度をより低くする調整（ソフトライト処理）を行う。この調整により、ステップＳＰ２０７で掛け合わされた影領域はより暗くなり、他のモデル領域はより明るくなる。図１１は、モデル領域における明度の調整が行われた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
【００３１】
（ステップＳＰ２０９）
画像制御部１５は、第１のワークバッファに記憶されているデータを、フレームバッファに記憶する。
【００３２】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００３３】
上記実施形態では、上記ステップＳＰ２０８において、抽出部１１４は、所定値よりも高い部分の明度をより高くし、当該所定値よりも低い部分の明度をより低くする調整（ソフトライト処理）を行うことを説明したが、第１所定値（例えば６０％）よりも明度が高い部分をより高くし、第１所定値未満の値である第２所定値（例えば４０％）よりも明度が低い部分をより低くする調整を行ってもよい。
【符号の説明】
【００３４】
１      画像処理装置
１５    画像制御部
１６    画像用メモリ
１１１  第１合成部
１１２  第２合成部
１１３  抽出部
１１４  調整部
１５１  モデル情報記憶部
１５２  背景情報記憶部
【図１】
2020135004.tif 000003
【図２】
2020135004.tif 000004
【図３】
2020135004.tif 000005
【図４】
2020135004.tif 000006
【図５】
2020135004.tif 000007
【図６】
2020135004.tif 000008
【図７】
2020135004.tif 000009
【図８】
2020135004.tif 000010
【図９】
2020135004.tif 000011
【図１０】
2020135004.tif 000012
【図１１】
2020135004.tif 000013