(57)【要約】      （修正有）【課題】簡易な操作により画像にライティング効果を付与するための処理を提供する。【解決手段】情報処理装置において、画像を表す画像データを取得する第１取得手段と、前記画像に付与するライティング効果を調整するための指示物体の位置情報を取得する第２取得手段と、位置情報に基づいて、画像に付与するライティング効果を設定する設定手段と、を有する。【選択図】図３
2020123281.tif 000002
【特許請求の範囲】
【請求項１】
画像を表す画像データを取得する第１取得手段と、
前記画像に付与するライティング効果を調整するための指示物体の位置情報を取得する第２取得手段と、
前記位置情報に基づいて、前記画像に付与するライティング効果を設定する設定手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記位置情報は、撮像手段の撮像範囲内における前記指示物体の位置を表す情報であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位置情報は、前記撮像手段が前記指示物体を撮像して得られる画像における、前記指示物体の位置を表す情報であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記指示物体は、ユーザの手であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記指示物体は、ユーザの顔であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報処理装置。
【請求項６】
前記指示物体は、ユーザが把持する物体であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報処理装置。
【請求項７】
前記ライティング効果が付与された前記画像と、前記ライティング効果を示すアイコンと、を同一の表示手段に表示する表示制御手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
前記設定されたライティング効果を前記画像に付与する付与手段をさらに有することを特徴とする請求項１乃至請求項７のいずれか一項に記載の情報処理装置。
【請求項９】
設定手段は、前記位置情報に基づいて、予め決められた複数種類の設定から１つの設定を選択することを特徴とする請求項１乃至請求項８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記設定手段は、前記位置情報に基づいて、前記取得手段により取得される前記画像データが表す前記画像において、被写体に仮想的に光を照射する光源の位置を設定することを特徴とする請求項１乃至請求項８のいずれか一項に記載の情報処理装置。
【請求項１１】
前記付与手段は、前記被写体の形状に関する情報に基づいて、前記ライティング効果を付与するためのパラメータを変更することを特徴とする請求項８に記載の情報処理装置。
【請求項１２】
前記付与手段は、前記位置情報に基づいて、予め決められた複数種類の陰影モデルから１つの陰影モデルを選択し、選択した前記陰影モデルを用いて、前記取得手段により取得される前記画像データが表す前記画像にライティング効果を付与することを特徴とする請求項８に記載の情報処理装置。
【請求項１３】
前記第２取得手段は、さらに、前記撮像手段が前記指示物体を撮像して得られる画像における、前記指示物体の大きさを表す大きさ情報を取得し、
前記設定手段は、前記大きさ情報に基づいて、前記取得手段により取得される前記画像データが表す前記画像において、被写体に仮想的に光を照射する光源の明るさを設定することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の情報処理装置。
【請求項１４】
画像を表す画像データを取得する画像データ取得手段と、
表示手段の傾きに応じて、前記画像にライティング効果を付与する付与手段と、
を有することを特徴とする情報処理装置。
【請求項１５】
前記表示手段は、前記ライティング効果が付与された前記画像を表示することを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
前記付与手段は、前記表示手段の基準姿勢からの傾きに応じて、前記画像にライティング効果を付与することを特徴とする請求項１４又は請求項１５に記載の情報処理装置。
【請求項１７】
前記表示手段の傾きを表す姿勢情報を取得する情報取得手段をさらに有し、
前記付与手段は、前記姿勢情報に基づいて、前記画像にライティング効果を付与することを特徴とする請求項１４乃至請求項１６のいずれか一項に記載の情報処理装置。
【請求項１８】
第１物体を撮像する第１撮像手段と、
第２物体を撮像する、前記第１撮像手段とは異なる第２撮像手段と、
第１撮像手段が前記第１物体を撮像して得られる画像を表示する表示手段と、を有し、
前記表示手段に表示される画像には、前記第２撮像手段の撮像範囲内における前記第２物体の動きに応じてライティング効果が付与されることを特徴とする情報処理装置。
【請求項１９】
物体を撮像して画像を生成する撮像手段と、
前記画像を表示する表示手段と、を有し、
前記表示手段の傾きが第１傾きである場合と、前記表示手段の傾きが前記第１傾きと異なる第２傾きである場合と、で前記画像に付与されるライティング効果が異なることを特徴とする情報処理装置。
【請求項２０】
コンピュータを請求項１乃至請求項１７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項２１】
画像を表す画像データを取得する第１取得ステップと、
前記画像に付与するライティング効果を調整するための指示物体の位置情報を取得する第２取得ステップと、
前記位置情報に基づいて、前記画像に付与するライティング効果を設定する設定ステップと、
を有することを特徴とする情報処理方法。
【請求項２２】
画像を表す画像データを取得する画像データ取得ステップと、
表示手段の傾きに応じて、前記画像にライティング効果を付与する付与ステップと、
を有することを特徴とする情報処理方法。
【請求項２３】
第１物体を撮像する第１撮像ステップと、
第２物体を撮像する、前記第１撮像ステップとは異なる第２撮像ステップと、
第１撮像ステップにおいて前記第１物体を撮像して得られる画像を表示する表示ステップと、を有し、
前記表示ステップにおいて表示される画像には、前記第２撮像ステップの撮像範囲内における前記第２物体の動きに応じてライティング効果が付与されることを特徴とする情報処理方法。
【請求項２４】
物体を撮像して画像を生成する撮像ステップと、
前記画像を表示する表示ステップと、を有し、
前記表示ステップにおいて表示を行う表示手段の傾きが第１傾きである場合と、前記表示手段の傾きが前記第１傾きと異なる第２傾きである場合と、で前記画像に付与されるライティング効果が異なることを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想光源によるライティング効果を画像に付与する情報処理技術に関する。
【背景技術】
【０００２】
従来、仮想光源を設定することにより、画像にライティング効果を付与する技術がある。特許文献１は、被写体の三次元形状に基づいてライティング効果を画像に付与する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１１７０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、画像にライティング効果を付与するために、ユーザが複数のパラメータを設定する必要がある。このため、画像にライティング効果を付与するためにユーザが行う操作が煩雑になる場合がある。
【０００５】
本発明は上記課題を鑑みてなされたものであり、簡易な操作により画像にライティング効果を付与するための処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る情報処理装置は、画像を表す画像データを取得する第１取得手段と、前記画像に付与するライティング効果を調整するための指示物体の位置情報を取得する第２取得手段と、前記位置情報に基づいて、前記画像に付与するライティング効果を設定する設定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、簡易な操作により画像にライティング効果を付与することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置のハードウェア構成を示す図
【図２】情報処理装置の外観の例を示す図
【図３】情報処理装置の論理構成を示すブロック図
【図４】情報処理装置が実行する処理を示すフローチャート
【図５】ライティング設定情報を取得する処理を示すフローチャート
【図６】ライティング設定情報を取得する処理の概要を示す図
【図７】ライティング効果を設定する処理を示すフローチャート
【図８】ライティング効果を設定する処理の概要と表示画像の例とを示す図
【図９】ライティング効果を設定する処理の概要と表示画像の例とを示す図
【図１０】手領域の位置情報及び表示画像の例を示す図
【図１１】手領域の位置情報及び表示画像の例を示す図
【図１２】顔領域の位置情報及び表示画像の例を示す図
【図１３】ライティング設定情報を取得する処理を示すフローチャート
【図１４】ライティング設定情報を取得する処理の概要を示す図
【図１５】ライティング効果を設定する処理を示すフローチャート
【図１６】姿勢情報及び表示画像の例を示す図
【図１７】ライティング設定情報を取得する処理を示すフローチャート
【図１８】ライティング設定情報及び表示画像の例を示す図
【図１９】情報処理装置が実行する処理を示すフローチャート
【図２０】表示画像の例を示す図
【図２１】陰影モデルマップ及び陰影画像の例を示す図
【発明を実施するための形態】
【０００９】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
［第１実施形態］
＜情報処理装置１のハードウェア構成＞
図１（ａ）は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、スマートフォンやタブレットＰＣ（パーソナルコンピュータ）等の通信機能及び撮像機能を備えた機器により実現される。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、入出力インタフェース（Ｉ／Ｆ）１０４と、タッチパネルディスプレイ１０５と、撮像部１０６と、通信Ｉ／Ｆ１０７と、姿勢取得部１０８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１１などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０９を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２や記憶装置１１１などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。入出力Ｉ／Ｆ１０４には、シリアルバス１１０を介して、記憶装置１１１が接続される。記憶装置１１１は、ＨＤＤ（ハードディスクドライブ）である。タッチパネルディスプレイ１０５は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部１０６は、撮像対象の画像を取得する撮像部である。
【００１１】
図２に本実施形態における情報処理装置１の外観の一例を示す。図２（ａ）に、情報処理装置１のタッチパネルディスプレイ１０５を有する面（以下、ディスプレイ面と呼ぶ）を示し、図２（ｂ）に、情報処理装置１のディスプレイ面と反対の面（以下、背面と呼ぶ）を示す。本実施形態における撮像部１０６は、情報処理装置１の背面に備えられるメインカメラ２０２及び情報処理装置１のディスプレイ面に備えられるインカメラ２０１である。インカメラ２０１は、ディスプレイ（表示画面）を閲覧しようとするユーザの顔を撮像可能な位置及び方向に設置されている。通信Ｉ／Ｆ１０７は、他の情報処理装置や通信機器、記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態における通信Ｉ／Ｆ１０７は、無線ＬＡＮ（ローカルエリアネットワーク）を介して通信相手とのデータの送受信が可能である。また、通信Ｉ／Ｆ１０７は、他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。姿勢取得部１０８は、慣性センサにより、情報処理装置１が有するタッチパネルディスプレイ１０５の姿勢を表す姿勢情報を取得する。
【００１２】
＜情報処理装置１の論理構成＞
情報処理装置１の論理構成例を説明する。図３は、本実施形態における情報処理装置１の論理構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図３に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。
【００１３】
情報処理装置１は、画像データ取得部３０１と、ライティング設定情報取得部３０２と、ライティング効果設定部３０３と、ライティング処理部３０４と、画像表示制御部３０５と、ライティング効果表示制御部３０６と、を有する。画像データ取得部３０１は、入出力部３０９から取得したユーザからの指示に基づいて、撮像部３０８又は記憶部３０７から画像データを取得する。画像データ取得部３０１が取得する画像データは、ライティング効果を付与する対象のカラー画像を表すカラー画像データと、カラー画像データに対応する距離画像データと、カラー画像データに対応する法線画像データと、の３種類の画像データである。ここで、記憶部３０７の機能は、例えば、記憶装置１１１により実現され、撮像部３０８の機能は撮像部１０６により実現され、入出力部３０９の機能はタッチパネルディスプレイ１０５により実現される。
【００１４】
カラー画像データは、各画素に、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値を有するカラー画像を表す画像データである。カラー画像データは、撮像部３０８を用いて物体を撮像することによって生成される。距離画像データは、各画素に、撮像部３０８から撮像対象の物体までの距離値を有する距離画像を表す画像データである。距離画像データは、異なる複数の位置から物体を撮像して得られる複数のカラー画像データに基づいて生成される。例えば、並べて配置された２つのカメラを用いて物体を撮像して得られる画像データや、１つのカメラの位置を移動させながら物体を複数回撮像して得られる画像データに基づいて、公知のステレオマッチングにより距離画像データを生成することができる。また、赤外光を物体に照射する赤外発光部と、物体において反射した赤外光を受光する受光部と、を含む距離取得装置を利用することにより距離画像データを生成してもよい。具体的には、赤外発光部が照射した赤外光が物体において反射し、受光部が受光するまでの時間に基づいて、カメラから物体までの距離値を導出することができる。
【００１５】
法線画像データは、各画素に、撮像対象の物体の表面における法線ベクトルを有する法線画像を表す画像データである。法線ベクトルは、物体の表面の向き（法線方向）を表す。法線画像データは、距離画像データに基づいて生成される。例えば、距離画像が各画素に有する距離値に基づいて、各画素位置に対応する物体の三次元座標を導出し、隣接画素間の三次元座標の勾配に基づいて法線ベクトルを導出することができる。また、各画素位置に対応する物体の三次元座標に基づいて、所定サイズの領域ごとに近似平面を導出し、近似平面の垂線を法線ベクトルとして導出してもよい。距離画像データ及び法線画像データ等の三次元情報を生成する方法は、上述した方法に限られない。例えば、物体に対応する三次元モデルデータを、カラー画像データに基づいて物体にフィッティングすることによって、物体の三次元情報を生成してもよい。尚、画像データ取得部３０１が取得する各画像データが表す画像は、互いの同一画素位置の画素値が物体上の同一位置に対応しているものとする。
【００１６】
ライティング設定情報取得部３０２は、画像データ取得部３０１により取得される画像データに基づいて、カラー画像に付与するライティング効果を設定するためのライティング設定情報を取得する。ライティング設定情報は、ユーザによるライティング効果を付与するための操作とみなすことのできる情報である。ここでは、ライティング効果を指示する指示物体に関する情報をライティング設定情報として用いる。ライティング効果設定部３０３は、ライティング設定情報取得部３０２により取得されるライティング設定情報に基づいて、複数種類のライティング効果からカラー画像に付与するライティング効果を設定する。ライティング処理部３０４は、ライティング効果設定部３０３により設定されるライティング効果をカラー画像に付与する。また、ライティング処理部３０４は、入出力部３０９から得られるユーザ操作に基づいて、記憶部３０７にライティング効果が付与された画像を表す画像データを記録する。
【００１７】
画像表示制御部３０５は、入出力部３０９を表示部として用いて、ライティング効果が付与された画像を入出力部３０９に表示する。ライティング効果表示制御部３０６は、ライティング効果に対応するアイコンを入出力部３０９に表示する。
【００１８】
＜情報処理装置１が実行する処理＞
図４は、情報処理装置１が実行する処理を示すフローチャートである。本実施形態においては、インカメラ２０１を用いた撮像により得られる指示物体の位置情報に基づいてライティング効果を選択し、選択したライティング効果をカラー画像に付与する。尚、本実施形態においてライティング効果を付与するカラー画像は、メインカメラ２０２を用いて撮像対象の物体（以下、被写体と呼ぶ）を撮像して得られる画像とする。本実施形態においては、指示物体として、インカメラ２０１を用いた撮像画像におけるユーザの手を認識するものとする。以下、メインカメラ２０２を用いた撮像により得られる画像をメインカメラ画像と呼び、インカメラ２０１を用いた撮像により得られる画像をインカメラ画像と呼ぶ。以下、各ステップ（工程）は符号の前にＳをつけて表す。尚、入出力部３０９にカラー画像とライティング効果を示すアイコンとが表示されている状態で以下の処理が開始する。
【００１９】
Ｓ４０１において、画像データ取得部３０１は、入出力部３０９から取得したユーザ操作に基づいて、記憶部３０７からメインカメラ画像を表すメインカメラ画像データ、距離画像データ、法線画像データを取得する。ここで、記憶部３０７は、上述した方法によって予め生成されたメインカメラ画像データ、距離画像データ、法線画像データを保持しているものとする。Ｓ４０２において、ライティング設定情報取得部３０２は、入出力部３０９から取得したユーザ操作に基づいて、ライティング設定情報を利用してライティング効果をメインカメラ画像に付与するか否かを判定する。ライティング設定情報を利用する操作が検出された場合はＳ４０３に進み、ライティング設定情報を利用する操作が検出されない場合はＳ４０４に進む。
【００２０】
Ｓ４０３において、ライティング設定情報取得部３０２は、インカメラ２０１を用いた撮像により得られるインカメラ画像データに基づいて、インカメラ画像におけるユーザの手に対応する領域（以下、手領域と呼ぶ）の位置を表す位置情報を取得する。本実施形態においては、インカメラ画像における手領域の位置情報を、ライティング設定情報として用いる。尚、ライティング設定情報を取得する処理の詳細は後述する。Ｓ４０４において、ライティング効果設定部３０３は、ライティング設定情報に基づいて、メインカメラ画像に付与するライティング効果を設定する。尚、ライティング効果を設定する処理の詳細は後述する。
【００２１】
Ｓ４０５において、ライティング処理部３０４は、設定されたライティング効果に基づいて、メインカメラ画像を補正する。以下、補正されたメインカメラ画像を補正メインカメラ画像と呼び、補正メインカメラ画像を表す画像データを補正メインカメラ画像データと呼ぶ。尚、メインカメラ画像を補正する処理の詳細は後述する。Ｓ４０６において、画像表示制御部３０５は、補正メインカメラ画像を入出力部３０９に表示する。Ｓ４０７において、ライティング効果表示制御部３０６は、メインカメラ画像に付与したライティング効果に対応するアイコンを入出力部３０９に表示する。Ｓ４０８において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、補正メインカメラ画像データを記憶部３０７に記録するか否かを判定する。補正メインカメラ画像データを記録する操作が検出された場合はＳ４１０に進み、補正メインカメラ画像データを記録する操作が検出されない場合はＳ４０９に進む。Ｓ４０９において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果を付与するメインカメラ画像を変更するか否かを判定する。メインカメラ画像を変更する操作が検出された場合はＳ４０１に進み、メインカメラ画像を変更する操作が検出されない場合はＳ４０２に進む。Ｓ４１０において、ライティング処理部３０４は、記憶部３０７に補正メインカメラ画像データを記録し、処理を終了する。
【００２２】
＜ライティング設定情報を取得する処理（Ｓ４０３）＞
Ｓ４０３における、ライティング設定情報を取得する処理について説明する。図５は、ライティング設定情報を取得する処理を示すフローチャートである。ライティング設定情報取得部３０２は、インカメラ画像において、指示物体であるユーザの手に対応する手領域を検出する。ライティング設定情報取得部３０２は、インカメラ画像において検出した手領域の位置情報を、ライティング設定情報として取得する。
【００２３】
Ｓ５０１において、ライティング設定情報取得部３０２は、インカメラ２０１を用いたユーザの手を撮像して得られるインカメラ画像データを取得する。尚、本実施形態において、ライティング設定情報取得部３０２は、取得したインカメラ画像データが表すインカメラ画像を左右反転させた後に以下の処理に利用する。このため、以下におけるインカメラ画像は、左右反転させた後のインカメラ画像とする。インカメラ画像の例を図６（ａ）に示す。Ｓ５０２において、ライティング設定情報取得部３０２は、インカメラ画像において対象物体が検出されているか否かを判定する。具体的には、対象物体の状態を示す変数を参照することにより判定を行う。対象物体の状態は未検出もしくは検出中のいずれかであり、未検出を初期状態とする。尚、本実施形態における対象物体は、ユーザの手である。ユーザの手が未検出の場合はＳ５０３に進み、ユーザの手が検出中の場合はＳ５０６に進む。
【００２４】
Ｓ５０３において、ライティング設定情報取得部３０２は、インカメラ画像において指示物体を検出する。上述したように、ライティング設定情報取得部３０２は、インカメラ画像においてユーザの手に対応する手領域を検出する。手領域の検出には、テンプレートマッチング法やＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いた方法など、公知の方法を利用することができる。本実施形態においては、テンプレートマッチング法により、インカメラ画像において手領域を検出する。まず、ライティング設定情報取得部３０２は、インカメラ画像において、肌色とみなせる画素を肌色画素、肌色画素以外の画素を背景画素として抽出する。肌色画素は、予め決められた値の範囲内に画素値が含まれるか否かに応じて抽出される。ライティング設定情報取得部３０２は、肌色画素の画素値を１、背景画素の画素値を０とした二値画像を表す二値画像データを生成する。二値画像の例を図６（ｃ）に示す。テンプレート画像としては、手のシルエットを二値化した画像を利用する。テンプレート画像の例を図６（ｂ）に示す。ライティング設定情報取得部３０２は、テンプレート画像を二値画像に対して走査しながら類似度を導出する。類似度の最大値が所定の値以上の場合は、手領域の状態を検出中とする。また、類似度が最大となった場合の、テンプレート画像の中心に対応するインカメラ画像上の座標を手領域の位置（物体位置）とする。ライティング設定情報取得部３０２は、テンプレート画像を物体位置に配置した際に手のシルエットを含む矩形領域をインカメラ画像から抽出し、追跡用テンプレート画像とする。追跡用テンプレート画像の例を図６（ｄ）に示す。尚、類似度の最大値が所定の値未満の場合は、手領域の状態を未検出とする。
【００２５】
Ｓ５０４において、ライティング設定情報取得部３０２は、手領域が検出されているか否かを判定する。手領域が検出中の場合はＳ５０５に進み、手領域が未検出の場合はＳ４０３の処理を終了する。Ｓ５０５において、ライティング設定情報取得部３０２は、物体位置に基づいて、ライティング設定情報を取得する。本実施形態においては、基準位置から物体位置に向かうベクトルを手領域の位置情報とし、この位置情報をライティング設定情報として取得する。基準位置から物体位置に向かうベクトルを図６（ｅ）に示す。尚、基準位置は、インカメラ画像の中心とする。
【００２６】
Ｓ５０６において、ライティング設定情報取得部３０２は、追跡用テンプレート画像に基づいて、手領域の追跡を行う。ここでは、保持している追跡用テンプレート画像を、インカメラ画像に対して走査しながら類似度を導出する。類似度の最大値が所定の値以上の場合は、手領域の状態を検出中とする。また、類似度が最大となった場合の、テンプレート画像の中心に対応するインカメラ画像上の座標を手領域の位置とする。ライティング設定情報取得部３０２は、追跡用テンプレート画像に対応する矩形領域をインカメラ画像から抽出し、新たな追跡用テンプレート画像とする。更新された追跡用テンプレート画像を図６（ｆ）に示す。尚、類似度の最大値が所定の値未満の場合は、手領域の状態を未検出とする。
【００２７】
＜ライティング効果を設定する処理（Ｓ４０４）＞
Ｓ４０４における、ライティング効果を設定する処理について説明する。図７は、ライティング効果を設定する処理を示すフローチャートである。ライティング効果設定部３０３は、取得されたライティング設定情報に基づいて、複数種類のライティング効果から１つのライティング効果を選択する。
【００２８】
Ｓ７０１において、ライティング効果設定部３０３は、ライティング効果が設定されているか否かを判定する。ライティング効果が設定されていない場合はＳ７０２に進み、ライティング効果が設定されている場合はＳ７０３に進む。Ｓ７０２において、ライティング効果設定部３０３は、設定されているライティング効果を初期化する。本実施形態においては、ライティング効果を「ＯＦＦ」に設定する。Ｓ７０３において、ライティング効果設定部３０３は、手領域が検出されているか否かを判定する。手領域が検出中の場合はＳ７０４に進み、手領域が未検出の場合はＳ４０４の処理を終了する。
【００２９】
Ｓ７０４において、ライティング効果設定部３０３は、ライティング設定情報に基づいて、ライティング効果の設定を更新する。本実施形態においては、ライティング設定情報である基準位置から物体位置に向かうベクトルを、５種類のパターンのうちいずれかに分類する。ベクトルの分類方法の例を図８（ａ）に示す。ここでは、基準位置をインカメラ画像の中心とし、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５つの領域を設定している。基準位置からベクトルの分だけ移動した先の領域に応じて、ライティング効果の設定を更新する。本実施形態におけるライティング効果は、「ＯＦＦ」、「正面」、「左」、「右」の４種類である。「ＯＦＦ」はライティング効果を付与しない設定であり、「正面」は仮想的な光源を被写体の正面に配置した場合のライティング効果を付与する設定である。「左」は仮想的な光源をメインカメラ画像の左側（被写体にとって右側）に配置した場合のライティング効果を付与する設定である。「右」は仮想的な光源をメインカメラ画像の右側（被写体にとって左側）に配置した場合のライティング効果を付与する設定である。ライティング効果設定部３０３は、手領域の位置を表すベクトルがＡを示す場合は、設定を「ＯＦＦ」に更新する。ベクトルがＢを示す場合は、設定を「正面」に更新する。ベクトルがＣを示す場合は、設定を「左」に更新する。ベクトルがＤを示す場合は、設定を「右」に更新する。ベクトルがＥを示す場合は、設定を更新しない。各ライティング効果に対応するアイコンの例を図８（ｂ）に示す。
【００３０】
＜メインカメラ画像を補正する処理（Ｓ４０５）＞
Ｓ４０５における、メインカメラ画像を補正する処理について説明する。ライティング処理部３０４は、距離画像データ及び法線画像データに基づいてメインカメラ画像を補正することによって、メインカメラ画像にライティング効果を付与する。設定されているライティング効果に応じてパラメータを切り替えることにより、同一の処理手順によって所望の方向から光を当てたようなライティング効果をメインカメラ画像に付与することができる。以下、具体的な処理手順の例を述べる。まずは、式（１）に従い、メインカメラ画像の背景の明るさを補正する。メインカメラ画像の画素値をＩ、背景の明るさが補正されたメインカメラ画像の画素値をＩ’とする。
Ｉ’＝（１−β）Ｉ＋βＤ（ｄ）Ｉ・・・式（１）
【００３１】
ここで、βは背景の暗さを調整するためのパラメータ、Ｄは距離画像の画素値（距離値）ｄに基づく関数である。Ｄは距離値ｄが大きくなるほど値が小さくなるような関数であり、値は０から１の間の値となる。つまり、Ｄは前景を示す距離値に対して大きな値となり、背景を示す距離値に対して小さな値となる。βは０から１の間の値が設定されるものとし、βが１に近いほどメインカメラ画像の背景が暗くなるように補正される。式（１）に従い補正することにより、距離値ｄが大きく、Ｄが１未満となった画素のみパラメータβに応じて暗くすることができる。
【００３２】
続いて、式（２）に従い、背景の明るさが補正されたメインカメラ画像に対して、距離画像データ及び法線画像データに応じた陰影を加える。陰影が加えられたメインカメラ画像の画素値をＩ’’とする。
Ｉ’’＝Ｉ’＋αＤ（ｄ）Ｈ（ｎ，Ｌ）Ｉ’・・・式（２）
【００３３】
ここで、αは光源の明るさを調整するためのパラメータ、Ｌは被写体から仮想的な光源への向きを示す光源ベクトルである。また、Ｈは法線画像の画素値（法線ベクトル）ｎと光源ベクトルＬとに基づく関数である。Ｈは法線ベクトルｎと光源ベクトルＬとのなす角度が小さいほど大きな値となるような関数であり、値は０から１の間の値となる。例えば、Ｈは式（３）のように設定することができる。
【００３４】
【数１】
2020123281.tif 000003
【００３５】
本実施形態においては、ライティング処理部３０４は、設定されているライティング効果に応じて各パラメータを切り替える。ライティング効果が「ＯＦＦ」に設定されている場合は、α＝０、β＝０とする。ライティング効果が「正面」に設定されている場合は、光源ベクトルＬを被写体の正面方向に設定する。ライティング効果が「左」に設定されている場合は、光源ベクトルＬをメインカメラ画像の左方向（被写体にとって右方向）に設定する。ライティング効果が「右」に設定されている場合は、光源ベクトルＬをメインカメラ画像の右方向（被写体にとって左方向）に設定する。
【００３６】
各ライティング効果が選択された場合のライティング設定情報と表示画像の例とを図８（ｃ）から（ｆ）に示す。図８（ｃ）は、ライティング効果が「ＯＦＦ」に設定されている場合のライティング設定情報と表示画像とを示している。図８（ｄ）は、ライティング効果が「正面」に設定されている場合のライティング設定情報と表示画像とを示している。図８（ｅ）は、ライティング効果が「左」に設定されている場合のライティング設定情報と表示画像とを示している。図８（ｆ）は、ライティング効果が「右」に設定されている場合のライティング設定情報と表示画像とを示している。尚、表示画像は、Ｓ４０６において表示される補正メインカメラ画像と、Ｓ４０７において表示されるライティング効果を示すアイコンと、を含む画像である。表示画像の右側に、各ライティング効果を示すアイコンが表示される。また、表示画像の左下には、ライティング設定情報を利用するか否かを決定するためのボタンが表示される。Ｓ４０２におけるライティング設定情報取得部３０２は、このボタンに対するユーザ操作に基づいて、ライティング設定情報を利用するか否かを判定する。
【００３７】
＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、画像を表す画像データを取得し、画像に付与するライティング効果を調整するための指示物体の位置情報を取得する。位置情報に基づいて、画像に付与するライティング効果を設定する。よって、撮像範囲内において手や顔などの指示物体を動かすという簡易な操作により画像にライティング効果を付与することができる。
【００３８】
＜変形例＞
本実施形態においては、図８に示すように、縦方向にＡ領域、Ｂ領域、Ｃ領域、Ｄ領域を配置し、ベクトルを分類したが、ベクトルの分類方法は上記の例に限られない。例えば、図９に示すように、各ライティング効果に対応する光源ベクトルの向きに合わせてパターンを設定してもよい。図９に示す例においては、ライティング効果「左」に対応するＣ領域を左上部、ライティング効果「正面」に対応するＢ領域を中上部、ライティング効果「右」に対応するＤ領域を右上部に配置している。このようにパターンを設定することにより、手の動きと光源ベクトルの向き（光源の位置）とが揃うため、より直感的にライティング効果の設定を行うことが可能となる。
【００３９】
また、本実施形態においては、インカメラ画像における手領域の位置情報に基づいてライティング効果を選択していたが、インカメラ画像における手領域の位置情報に基づいて光源ベクトルＬの向きを導出してもよい。以下に、手領域の位置情報に基づいて光源ベクトルＬの向きを導出する方法の一例を説明する。まず、ライティング効果設定部３０３は、インカメラ画像における基準位置から物体位置に向かうベクトルＳ＝（ｕＳ，ｖＳ）に基づいて、光源位置の緯度θ、経度φを式（４）に従い導出する。
【００４０】
【数２】
2020123281.tif 000004
【００４１】
ここで、φｍａｘは設定可能な最大の経度、θｍａｘは設定可能な最大の緯度である。Ｕは経度がφｍａｘとなる水平方向の移動量、Ｖは緯度がθｍａｘとなる垂直方向の移動量である。Ｕ、Ｖはそれぞれインカメラ画像のサイズに基づいて設定すればよい。また、光源位置の緯度θ、経度φは図１０（ａ）に従うものとする。ここでは、ｚ軸の正方向を被写体の正面方向、ｘ軸の正方向をメインカメラ画像の右方向、ｙ軸の正方向をメインカメラ画像の上方向とする。
【００４２】
続いて、ライティング効果設定部３０３は、緯度θ、経度φに基づいて、光源ベクトルＬ＝（ｘＬ，ｙＬ，ｚＬ）を式（５）に従い導出する。
ｘＬ＝ｃｏｓθ・ｓｉｎφ
ｙＬ＝ｓｉｎθ          ・・・式（５）
ｚＬ＝ｃｏｓθ・ｃｏｓφ
【００４３】
以上のように、手の動きに応じて光源ベクトルＬを設定することにより、手の動きに合わせて光源の位置を変えることができる。図１０（ｂ）から（ｄ）に、手の動きに応じて光源の位置を変えた場合の手領域の位置情報と表示画像の例とを示す。図１０（ｂ）は手をインカメラに向かって左方向に動かした際の例である。図１０（ｃ）は手をインカメラに向かって右方向に動かした際の例である。図１０（ｄ）は手をインカメラに向かって上方向に動かした際の例である。ここでは、表示画像上に光源を示すアイコンを表示し、光源ベクトルＬに応じてアイコンの表示位置や向きを変えている。
【００４４】
尚、式（４）に従って、ベクトルＳの各成分（ｕＳ，ｖＳ）に比例するように光源位置の緯度θ、経度φを導出したが、緯度θ、経度φの導出方法は上記の例に限られない。例えば、ｕＳ、ｖＳの絶対値が大きいほど光源位置の緯度θ、経度φの変化量を小さくしてもよい。これにより、光源ベクトルの向きが正面方向に近い場合は手の動きに対する光源ベクトルの向きの変化が大きくなり、光源ベクトルの向きが正面方向から遠い場合は手の動きに対する光源ベクトルの向きの変化が小さくなる。光源ベクトルの向きが正面に近い場合は、光源ベクトルの向きの変化による被写体の印象の変化が小さい場合がある。上記のように光源ベクトルの向きを制御することによって、手の動きに対する被写体の印象の変化を平準化することができる。
【００４５】
また、本実施形態においては、インカメラ画像における手領域の位置情報に基づいてライティング効果を付与する際のパラメータを設定していたが、インカメラ画像における手領域の大きさに基づいてパラメータを設定してもよい。例えば、Ｓ５０３、Ｓ５０６において、追跡用テンプレート画像のサイズを手領域の大きさとして取得する。メインカメラ画像を補正する処理において、手領域の大きさに基づいて、光源の明るさを調整するためのパラメータαを設定する。例えば、手領域が大きいほど、αが大きくなるように設定すればよい。手領域の大きさに基づいてパラメータを制御した場合の、手領域の位置情報と表示画像の例とを図１１に示す。手領域の大きさは、図１１（ａ）が最も大きく、図１１（ｂ）、図１１（ｃ）の順で小さくなる。ここでは、αの値に応じて光源を示すアイコンの大きさを変えている。
【００４６】
また、本実施形態においては、ライティング効果を設定するために動かす指示物体としてユーザの手を利用していたが、他の物体を指示物体として利用してもよい。例えば、指示物体はユーザの顔であってもよい。この場合、インカメラ画像において、手領域の代わりに顔領域を検出し、インカメラ画像における顔領域の位置情報をライティング設定情報とする。Ｓ５０３において、ライティング設定情報取得部３０２は、インカメラ画像において顔領域を検出する。顔領域の検出には、例えば、テンプレートマッチング法や、Ｈａａｒ−Ｌｉｋｅ特徴量を用いたアルゴリズムなど、公知の方法を利用することができる。図１２に、顔領域に基づいて光源ベクトルの向きを変えた場合の顔領域の位置情報と表示画像の例とを示す。また、手や顔以外にも、ユーザが把持している物体などを指示物体としてもよい。
【００４７】
また、本実施形態においては、インカメラ画像データに基づいてライティング設定情報を取得したが、ライティング設定情報の取得方法は上記の例に限られない。例えば、距離情報を取得可能なカメラをタッチパネルディスプレイ１０５と同じ面に配置し、そのカメラにより取得された距離情報に基づいて得られる物体の動き情報をライティング設定情報として取得してもよい。
【００４８】
［第２実施形態］
第１実施形態においては、手領域の位置情報に基づいてライティング効果を設定した。本実施形態においては、タッチパネルディスプレイ１０５の姿勢を表す姿勢情報に基づいてライティング効果を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【００４９】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０３におけるライティング設定情報を取得する処理と、Ｓ４０４におけるライティング効果を設定する処理と、が異なる。本実施形態におけるライティング設定情報取得部３０２は、タッチパネルディスプレイ１０５の姿勢情報をライティング設定情報として取得する。本実施形態におけるライティング効果設定部３０３は、タッチパネルディスプレイ１０５の姿勢情報に基づいて、ライティング効果を設定する。以下、ライティング設定情報を取得する処理の詳細と、ライティング効果を設定する処理の詳細と、について述べる。
【００５０】
＜ライティング設定情報を取得する処理（Ｓ４０３）＞
図１３は、ライティング設定情報を取得する処理を示すフローチャートである。Ｓ１３０１において、ライティング設定情報取得部３０２は、姿勢取得部１０８からタッチパネルディスプレイ１０５の姿勢情報を取得する。本実施形態においては、タッチパネルディスプレイ１０５の長辺を水平にした状態の水平方向（ｘ軸）、垂直方向（ｙ軸）、タッチパネルディスプレイ１０５に垂直な方向（ｚ軸）の各軸周りの回転角を姿勢情報として利用する。姿勢情報としての回転角を説明するための図を図１４（ａ）に示す。ここでは、ｘ軸周りの回転角（Ｙａｗ角）をΦ、ｙ軸周りの回転角（Ｐｉｔｃｈ角）をΘ、ｚ軸周りの回転角（Ｒｏｌｌ角）をΨとする。
【００５１】
Ｓ１３０２において、ライティング設定情報取得部３０２は、基準姿勢が設定されているか否かを判定する。基準姿勢が未設定の場合はＳ１３０３に進み、基準姿勢が設定されている場合はＳ１３０４に進む。Ｓ１３０３において、ライティング設定情報取得部３０２は、基準姿勢を設定する。具体的には、取得された姿勢情報が表すＰｉｔｃｈ角Θを基準Ｐｉｔｃｈ角Θ０として設定する。
【００５２】
Ｓ１３０４において、ライティング設定情報取得部３０２は、姿勢情報に基づいてライティング設定情報を取得する。具体的には、Ｐｉｔｃｈ角ΘとＹａｗ角Φに基づいて、式（６）に従い、設定用姿勢情報Θ’、Φ’を導出する。
Θ’＝Θ−Θ０
Φ’＝Φ      ・・・式（６）
【００５３】
設定用姿勢情報Θ’、Φ’はそれぞれ、基準姿勢に対するＰｉｔｃｈ角、Ｙａｗ角の変化量を表している。つまり、本実施形態におけるライティング設定情報は、タッチパネルディスプレイ１０５がどの方向にどの程度傾いているかを表す情報である。尚、Ｓ１３０３において、基準姿勢として基準Ｙａｗ角Φ０を設定してもよい。図１４（ｂ）に、基準Ｐｉｔｃｈ角Φ０を設定した場合の例を示す。この場合、式（７）に従い、設定用姿勢情報Θ’、Φ’を導出する。
Θ’＝Θ−Θ０
Φ’＝Φ−Φ０・・・式（７）
【００５４】
上述したように基準姿勢を設定することにより、ユーザがタッチパネルディスプレイ１０５を視聴しやすい姿勢を基準姿勢とすることができる。
【００５５】
＜ライティング効果を設定する処理（Ｓ４０４）＞
図１５は、ライティング効果を設定する処理を示すフローチャートである。Ｓ１５０１において、ライティング効果設定部３０３は、ライティング効果が設定されているか否かを判定する。ライティング効果が設定されていない場合はＳ１５０２に進む。ライティング効果が設定されている場合はＳ１５０３に進む。Ｓ１５０２において、ライティング効果設定部３０３は、ライティング効果の設定を初期化する。本実施形態においては、光源ベクトルの向きを正面方向（光源位置の緯度θ＝０、経度φ＝０）とする。
【００５６】
Ｓ１５０３において、ライティング効果設定部３０３は、ライティング設定情報に基づいて、ライティング効果の設定を更新する。本実施形態において、ライティング効果設定部３０３は、設定用姿勢情報Θ’、Φ’に基づいて、式（８）に従い、光源位置の緯度θ、経度φを導出する。
【００５７】
【数３】
2020123281.tif 000005
【００５８】
ここで、θｍａｘは設定可能な最大の緯度、φｍａｘは設定可能な最大の経度である。αΘはΘ’に対する係数、αΦはΦ’に対する係数である。αΘ、αΦの絶対値を大きくすることによりタッチパネルディスプレイ１０５の傾きに対する光源ベクトルの向きの変化量が大きくなる。尚、光源位置の緯度θ、経度φは、図１０（ａ）に従うものとする。続いて、ライティング効果設定部３０３は、緯度θ、経度φに基づいて、光源ベクトルＬ＝（ｘＬ，ｙＬ，ｚＬ）を式（５）に従い導出する。
【００５９】
＜第２実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、ディスプレイの姿勢情報に基づいて、ライティングを行う仮想的な光源の位置を設定する。これにより、ディスプレイを傾けるという簡易な操作により画像にライティング効果を付与することができる。図１６に、光源ベクトルの向きを変えた場合の姿勢情報と表示画像の例とを示す。図１６（ａ）はディスプレイを左方向に傾けた場合の例である。図１６（ｂ）はディスプレイを右方向に傾けた場合の例である。図１０（ｃ）はディスプレイを上方向に傾けた場合の例である。ここでは、表示画像上に光源を示すアイコンを表示し、光源ベクトルＬの向きに応じてアイコンの表示位置や向きを変えている。
【００６０】
＜変形例＞
本実施形態においては、式（８）に従い、設定用姿勢情報Θ’、Φ’に比例するように光源位置の緯度θ、経度φを導出したが、緯度θ、経度φの導出方法は上記の例に限られない。例えば、設定用姿勢情報Θ’、Φ’の絶対値が大きいほど光源位置の緯度θ、経度φの変化量を小さくしてもよい。これにより、光源ベクトルの向きが正面方向に近い場合はディスプレイの傾きに対する光源ベクトルの向きの変化が大きくなり、光源ベクトルの向きが正面方向から遠い場合はディスプレイの傾きに対する光源ベクトルの向きの変化が小さくなる。光源ベクトルの向きが正面に近い場合は、光源ベクトルの向きの変化による被写体の印象の変化が小さい場合がある。上記のように光源ベクトルの向きを制御することによって、ディスプレイの傾きに対する被写体の印象の変化を平準化することができる。
【００６１】
また、本実施形態の図１６においては、αΘ、αΦが正の値である場合の例を示したが、αΘ、αΦを負の値にしてもよい。この場合、ディスプレイの向きとは逆方向に光源の位置を設定することができる。例えば、ディスプレイを左方向に傾けた場合は光源を右側に移動させ、ディスプレイを上方向に傾けた場合は光源を下方向に移動させる。このようにすることにより、ユーザが直感的に光源の位置を把握しやすくなる。
【００６２】
また、姿勢情報に応じて、第１実施形態と同様にライティング効果を選択してもよい。この場合、まず、設定用姿勢情報Θ’、Φ’に基づいて、ベクトルＳ＝（ｕＳ，ｖＳ）を導出する。例えば、Φ’に基づいてｕＳを導出し、Θ’に基づいてｖＳを導出すればよい。
【００６３】
［第３実施形態］
第１実施形態においては、手領域の位置情報に基づいてライティング効果を設定した。第２実施形態においては、タッチパネルディスプレイ１０５の姿勢情報に基づいてライティング効果を設定した。本実施形態においては、手領域の大きさを表す情報とタッチパネルディスプレイ１０５の姿勢情報とに基づいて、ライティング効果を設定する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【００６４】
＜情報処理装置１が実行する処理＞
本実施形態は、第１実施形態と比較して、Ｓ４０３におけるライティング設定情報を取得する処理と、Ｓ４０４におけるライティング効果を設定する処理と、が異なる。本実施形態におけるライティング設定情報取得部３０２は、インカメラ画像における手領域の大きさを表す情報と、タッチパネルディスプレイ１０５の姿勢情報と、をライティング設定情報として取得する。本実施形態におけるライティング効果設定部３０３は、インカメラ画像における手領域の大きさを表す情報と、タッチパネルディスプレイ１０５の姿勢情報と、に基づいて、ライティング効果を設定する。以下、ライティング設定情報を取得する処理の詳細と、ライティング効果を設定する処理の詳細と、について述べる。
【００６５】
＜ライティング設定情報を取得する処理（Ｓ４０３）＞
図１７は、ライティング設定情報を取得する処理を示すフローチャートである。尚、Ｓ１７０１の処理は、第２実施形態におけるＳ１３０１の処理と同等であるため説明を省略する。また、Ｓ１７０２、Ｓ１７０３、Ｓ１７０５、Ｓ１７０７の処理は、第１実施形態におけるＳ５０１、Ｓ５０２、Ｓ５０４、Ｓ５０６の処理と同等であるため説明を省略する。
【００６６】
Ｓ１７０４において、ライティング設定情報取得部３０２は、インカメラ画像において指示物体を検出する。検出の方法は第１実施形態と同様である。また、ライティング設定情報取得部３０２は、追跡用テンプレート画像のサイズを手領域の大きさとして取得する。Ｓ１７０６において、ライティング設定情報取得部３０２は、インカメラ画像における手領域の大きさを表す情報と、タッチパネルディスプレイ１０５の姿勢情報と、をライティング設定情報として取得する。
【００６７】
＜ライティング効果を設定する処理（Ｓ４０４）＞
本実施形態におけるＳ４０４の処理は、第１実施形態におけるＳ４０４の処理と比較して、Ｓ７０４のライティング効果を更新する処理が異なる。以下、本実施形態におけるライティング効果を更新する処理（Ｓ７０４）を説明する。Ｓ７０４において、ライティング処理部３０４は、設定用姿勢情報Θ’、Φ’に基づいて光源ベクトルＬの向きを設定し、インカメラ画像における手領域の大きさを表す情報に基づいて光源の明るさを調整するためのパラメータαを設定する。光源ベクトルＬの向きの設定方法は第２実施形態と同様である。また、光源の明るさを調整するためのパラメータαは、手領域が大きいほどαを大きく設定すればよい。
【００６８】
インカメラ画像における手領域の大きさを表す情報と、タッチパネルディスプレイ１０５の姿勢情報と、をライティング設定情報とした場合の、ライティング設定情報と表示画像の例とを図１８に示す。ここでは、タッチパネルディスプレイ１０５を右方向に傾けた状態において、手領域の大きさを変化させた場合の例を示している。手領域の大きさは、図１８（ａ）が最も大きく、図１８（ｂ）、図１８（ｃ）の順で小さくなる。ここでは、αの値に応じて光源を示すアイコンの大きさを変えている。
【００６９】
＜第３実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、手領域の大きさ情報とディスプレイの姿勢情報とに基づいてライティング効果を設定する。これにより、簡易な操作により画像にライティング効果を付与することができる。
【００７０】
［第４実施形態］
上述した実施形態においては、予め生成された、記憶装置１１１に保持されているメインカメラ画像データが表すメインカメラ画像に対してライティング効果を付与した。本実施形態においては、撮像部１０６を用いた撮像により得られる画像データが表す画像に対してライティング効果を付与する。尚、本実施形態における情報処理装置１のハードウェア構成及び論理構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
【００７１】
＜情報処理装置１が実行する処理＞
図１９は、本実施形態において情報処理装置１が実行する処理を示すフローチャートである。Ｓ１９０１において、画像データ取得部３０１は、入出力部３０９から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。具体的に、画像データ取得部３０１は、情報処理装置１のディスプレイ面に備えられるインカメラ２０１と、情報処理装置１の背面に備えられるメインカメラ２０２と、のどちらを用いて被写体を撮像するかを選択する。
【００７２】
Ｓ１９０２において、画像データ取得部３０１は、選択したカメラを制御して被写体を撮像し、撮像により得られる撮像画像データを取得する。また、画像データ取得部３０１は、撮像画像データに対応する距離画像データ及び法線画像データを取得する。Ｓ１９０３において、ライティング設定情報取得部３０２は、新たにインカメラ２０１を用いて撮像して得られるインカメラ画像データに基づいて、インカメラ画像における手領域の位置情報を取得する。Ｓ１９０４において、ライティング効果設定部３０３は、ライティング設定情報取得部３０２から取得したライティング設定情報に基づいて、ライティング効果を設定する。
【００７３】
Ｓ１９０５において、ライティング処理部３０４は、設定されたライティング効果に基づいて、撮像画像データが表す撮像画像を補正する。以下、補正された撮像画像を補正撮像画像と呼び、補正撮像画像を表す画像データを補正撮像画像データと呼ぶ。Ｓ１９０６において、画像表示制御部３０５は、補正撮像画像を入出力部３０９に表示する。Ｓ１９０７において、ライティング効果表示制御部３０６は、撮像画像に付与したライティング効果に対応するアイコンを入出力部３０９に表示する。
【００７４】
Ｓ１９０８において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、補正撮像画像を記憶部３０７に記録するか否かを判定する。補正撮像画像データを記録する操作が検出された場合はＳ１９１１に進み、補正撮像画像データを記録する操作が検出されない場合はＳ１９０９に進む。Ｓ１９０９において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、ライティング効果を付与する撮像画像を変更するか否かを判定する。撮像画像を変更する操作が検出された場合はＳ１９１０に進み、撮像画像を変更する操作が検出されない場合はＳ１９０３に進む。Ｓ１９１０において、ライティング処理部３０４は、入出力部３０９から取得したユーザ操作に基づいて、撮像画像を得るための撮像方法を変更するか否かを判定する。撮像方法を変更する操作が検出された場合はＳ１９０１に進み、撮像方法を変更する操作が検出されない場合はＳ１９０２に進む。Ｓ１９１１において、ライティング処理部３０４は、記憶部３０７に補正撮像画像データを記録し、処理を終了する。
【００７５】
本実施形態における表示画像の例を図２０に示す。図２０（ａ）は撮像方法をメインカメラ２０２による撮像に設定した場合の表示画像の例、図２０（ｂ）は撮像方法をインカメラ２０１による撮像に設定した場合の表示画像の例である。本実施形態においては、表示画像の左上のアイコンをユーザがタッチすることにより、撮像方法を切り替える。
【００７６】
＜第４実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、ユーザ操作に基づいて設定された撮像方法により、ライティングを付与する対象の画像を表す画像データを取得する。これにより、簡易な操作により画像にライティング効果を付与することができる。
【００７７】
［変形例］
上述した実施形態において、情報処理装置１のハードウェア構成は、図１（ａ）に示した構成であったが、情報処理装置１のハードウェア構成は上記の例に限られない。例えば、情報処理装置１のハードウェア構成は、図１（ｂ）に示す構成であってもよい。情報処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１２１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１９と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、記憶装置１１１などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０９を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６、撮像装置１１７、姿勢取得装置１１８が接続される。ＳＡＴＡＩ／Ｆ１１９には、シリアルバス１２０を介して、記憶装置１１１が接続される。ＶＣ１２１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を受信する。図１（ｂ）に示す情報処理装置１は、例えば、デスクトップ型のＰＣによって実現される。尚、情報処理装置１は、撮像装置１１７と一体となったデジタルカメラや、ディスプレイ１１３と一体となったＰＣなどによっても実現される。
【００７８】
また、上述した実施形態においては、ライティング効果を画像に付与する際に、被写体の形状に関する情報（距離画像データ及び法線画像データ）を利用していたが、他のデータを利用してライティング効果を画像に付与してもよい。例えば、図２１（ａ）に示すようなライティング効果に応じた複数の陰影モデルマップを利用することができる。陰影モデルマップは、ライティング効果によって明るくする領域ほど大きな値を画素値として有する画像データである。陰影モデルマップを用いてライティング効果を画像に付与する場合、まずユーザに指定されたライティング効果に応じて陰影モデルマップを選択する。ライティング効果が付与される対象の画像における被写体に対して、陰影モデルをフィッティングすることによって、図２１（ｂ）に示すような陰影画像を表す陰影画像データを生成する。フィッティング処理の例としては、被写体の顔などの特徴点に基づいて陰影モデルを位置合わせし、被写体の輪郭に合わせて陰影モデルマップを変形させる方法が挙げられる。ライティング効果を付与する対象の画像に対して、式（９）に従い、陰影画像に応じた陰影を加える。ライティング効果を付与する対象の画像の画素値をＩ、陰影画像の画素値をＷ、補正後の画像の画素値をＩ’’とする。
Ｉ’’＝Ｉ＋αＷＩ・・・式（９）
【００７９】
ここで、αは光源の明るさを調整するためのパラメータであり、ライティング効果に応じて設定することができる。
【００８０】
また、上述した実施形態においては、情報処理装置１は撮像部１０６としてメインカメラ２０２とインカメラ２０１との２つのカメラを有していたが、撮像部１０６は上記の例に限られない。例えば、情報処理装置１は、メインカメラ２０２のみであってもよい。
【００８１】
また、上述した実施形態においては、ライティング効果を付与する対象の画像はカラー画像としたが、グレースケール画像であってもよい。
【００８２】
また、上述した実施形態における記憶装置１１１はＨＤＤであったが、記憶装置１１１は上記の例に限られない。例えば、ＳＳＤ（ソリッドステートドライブ）であってもよい。また、記憶装置１１１は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。
【００８３】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８４】
１  情報処理装置
３０１  画像データ取得部
３０２  ライティング設定情報取得部
３０３  ライティング効果設定部
【図１】
2020123281.tif 000006
【図２】
2020123281.tif 000007
【図３】
2020123281.tif 000008
【図４】
2020123281.tif 000009
【図５】
2020123281.tif 000010
【図６】
2020123281.tif 000011
【図７】
2020123281.tif 000012
【図８】
2020123281.tif 000013
【図９】
2020123281.tif 000014
【図１０】
2020123281.tif 000015
【図１１】
2020123281.tif 000016
【図１２】
2020123281.tif 000017
【図１３】
2020123281.tif 000018
【図１４】
2020123281.tif 000019
【図１５】
2020123281.tif 000020
【図１６】
2020123281.tif 000021
【図１７】
2020123281.tif 000022
【図１８】
2020123281.tif 000023
【図１９】
2020123281.tif 000024
【図２０】
2020123281.tif 000025
【図２１】
2020123281.tif 000026