(57)【要約】【課題】聴衆の立ち位置を考慮した投影を行うことで、演出効果を向上させる。【解決手段】コンテンツ再生システム１００の画像処理装置１によれば、制御部１０は、カメラ３によってスクリーン５を見る聴衆Ａを撮像し、得られた撮像画像から聴衆Ａの方向を示す基準位置Ｐを検出し、検出された基準位置Ｐの方向に基づいて、スクリーン５に投影される映像コンテンツの投影像が聴衆Ａ側を向くように投影画像を補正する。【選択図】図６
2014095853.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段と、
前記スクリーンを見る聴衆を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段と、
を備える画像処理装置。
【請求項２】
前記検出手段は、前記撮像画像から顔領域を認識する顔認識処理手段を備え、当該顔認識処理手段によって認識された顔領域に基づいて前記聴衆の方向を検出する請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、予め定められた順番で前記認識された顔領域の方向を順次前記聴衆の方向として検出する請求項２に記載の画像処理装置。
【請求項４】
前記予め定められた順番は、前記顔領域が前記撮像画像の中心に近い順番である請求項３に記載の画像処理装置。
【請求項５】
前記検出手段は、前記認識された一の顔領域の方向を前記聴衆の方向として検出してから予め定められた指定時間が経過した場合に、次の顔領域の方向を前記聴衆の方向として検出する請求項３又は４に記載の画像処理装置。
【請求項６】
前記補正手段は、前記検出手段により検出された聴衆の方向が変化した場合に、前記投影画像に基づいて投影される前記映像コンテンツの投影像が段階的に前記聴衆側の方向に近づくように前記投影画像を補正する請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、前記認識された複数の顔領域の何れかの方向を前記聴衆の方向として検出する請求項２に記載の画像処理装置。
【請求項８】
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、前記撮像画像の中心に最も近い顔領域の方向を前記聴衆の方向として検出する請求項７に記載の画像処理装置。
【請求項９】
前記検出手段は、前記顔認識処理手段によって認識された顔領域が１つである場合、前記認識された顔領域の方向を前記聴衆の方向として検出する請求項２に記載の画像処理装置。
【請求項１０】
前記スクリーンは、前記映像コンテンツの投影対象物の形状に成型されたスクリーンである請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記補正手段は、前記撮像手段の光軸方向と前記検出された聴衆の方向とがなす角度を算出し、算出した角度に基づいて前記投影画像に回転処理を施すことにより前記投影画像を補正する請求項１〜１０の何れか一項に記載の画像処理装置。
【請求項１２】
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段と、
前記スクリーンを見る聴衆を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段と、
前記補正された投影画像に基づいて前記スクリーンに前記映像コンテンツを投影する投影手段と、
を備える投影装置。
【請求項１３】
撮像手段と、映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段とを備え、前記投影画像に画像処理を施す画像処理装置における画像処理方法であって、
前記撮像手段により前記スクリーンを見る聴衆を撮像する工程と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する工程と、
前記検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する工程と、
を含む画像処理方法。
【請求項１４】
コンピュータを、
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段、
前記スクリーンを見る聴衆を撮像した撮像画像から前記聴衆の方向を検出する検出手段、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段、
として機能するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、投影装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スクリーンに投影装置によって人物等を投影して商品等の説明を行うことが行われている。
【０００３】
また、近年、お客や鑑賞者に対しての印象を高めるために、人型に成型された投影スクリーンに、そのスクリーンの外形に合わせた形状のコンテンツ映像などを投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献１参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等における斬新で効果的な展示の演出等に利用されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スクリーンに投影される投影像は、お客や鑑賞者等の聴衆がどこにいるかにかかわらず正面方向を向いて説明する。そのため、平面的な感じを与え、説得力に欠け、効果的な演出効果が得られていなかった。
【０００６】
本発明は、上記のような問題を鑑みてなされたもので、その目的とするところは、聴衆の立ち位置を考慮した投影を行うことで、演出効果を向上させることである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段と、
前記スクリーンを見る聴衆を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段と、
を備える。
【発明の効果】
【０００８】
本発明によれば、聴衆の立ち位置を考慮した投影を行うことができるので、演出効果を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態におけるコンテンツ再生システムの全体構成例を示す図である。
【図２】（ａ）は、映像の投影前のコンテンツ再生システムの正面図、（ｂ）は映像の投影時のコンテンツ再生システムの正面図である。
【図３】図１の画像処理装置の機能的構成を示すブロック図である。
【図４】スクリーン座標系及びカメラ座標系を説明するための図である。
【図５】カメラ座標系を説明するための図である。
【図６】図３の制御部において実行される再生制御処理を示すフローチャートである。
【図７】複数の顔領域が検出された場合の基準位置Ｐの決定方法を説明するための図である。
【図８】角度ｔの算出方法を説明するための図である。
【図９】図３の制御部において実行される再生制御処理Ｂを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１１】
［第１の実施形態］
＜コンテンツ再生システム１００の構成＞
本実施形態に係るコンテンツ再生システム１００は、映像コンテンツに含まれる投影対象物の形状に成型されたスクリーン５に、映像コンテンツを投影するシステムである。本実施形態において、映像コンテンツは、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像である。
【００１２】
図１、図２は、コンテンツ再生システム１００の概略構成を示す図である。図１は、コンテンツ再生システム１００の側面図、図２は、コンテンツ再生システム１００の正面図である。図２（ａ）は、映像の投影前、図２（ｂ）は映像の投影時の正面図である。なお、図１においては、コンテンツ再生システム１００の各構成要素と映像コンテンツの聴衆Ａとの位置関係を示すため、併せて聴衆Ａを図示している。
【００１３】
図１に示すように、コンテンツ再生システム１００は、画像処理装置１、プロジェクタ２、カメラ３、スピーカ４、スクリーン５等を備えて構成されている。プロジェクタ２、カメラ３、スピーカ４は、画像処理装置１に接続されている。
【００１４】
画像処理装置１は、スクリーン５に投影される映像コンテンツの投影像が聴衆Ａ側を向くように、映像コンテンツの各フレームの投影画像（フレーム画像）を補正する装置である。画像処理装置１としては、例えば、ＰＣ（Personal Computer）、端末装置等が適用可能である。
なお、聴衆Ａは、一人の場合もあるし、複数人の場合もある。
【００１５】
図３に、画像処理装置１の機能構成例を示す。図３に示すように、画像処理装置１は、制御部１０、操作部１１、表示部１２、記憶部１３、Ｉ／Ｆ１４、Ｉ／Ｆ１５、音声出力部１６等を備えて構成されている。
【００１６】
制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部１０のＣＰＵは、記憶部１３のプログラム記憶部１３１に記憶されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って、後述する再生制御処理を始めとする各種処理を実行する。制御部１０のＲＡＭは、揮発性のメモリであり、ＣＰＵにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
制御部１０は、再生制御処理を実行することにより、検出手段、補正手段、顔認識処理手段として機能する。
【００１７】
操作部１１は、各種機能キーやカーソルキー等を有し、ユーザによるキー入力を受け付けてその操作情報を制御部１０に出力する。
【００１８】
表示部１２は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０からの表示制御信号に従って、各種表示を行う。
【００１９】
記憶部１３は、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。記憶部１３には、図３に示すように、プログラム記憶部１３１、映像データ記憶部１３２が設けられている。
【００２０】
プログラム記憶部１３１には、制御部１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。プログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１３１に格納されている。制御部１０は、当該プログラムコードに従った動作を逐次実行する。
【００２１】
映像データ記憶部１３２は、投影用映像コンテンツの映像データを記憶する。映像データは、三次元モデルの動画データを構成する各フレームの投影画像のデータ及び各投影画像に対応する音声データにより構成されている。三次元モデルとは、三次元ポリゴン、三次元曲面、テクスチャ画像等によって構成された立体物の画像である。映像データ記憶部１３２には、映像コンテンツに含まれる投影対象物が正面方向を向いている投影画像が記憶されているものとする。
【００２２】
Ｉ／Ｆ１４は、プロジェクタ２と接続し、データ送受信を行うためのインターフェースである。
Ｉ／Ｆ１５は、カメラ３と接続し、データ送受信を行うためのインターフェースである。
【００２３】
音声出力部１６は、スピーカ４が接続され、制御部１０により指示された音声データを音声信号に変換してスピーカ４から出力させる。
【００２４】
プロジェクタ２は、画像処理装置１から送信された投影画像に基づいてスクリーン５の背面から映像コンテンツを投影する背面投射型の投影装置である。プロジェクタ２は、例えば、投影画像に基づいて、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影画像における投影対象物の領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、投影対象物のみをスクリーン５に投影することが可能となる。
【００２５】
カメラ３は、スクリーン５を見ている聴衆Ａを撮像するための撮像手段である。カメラ３は、スクリーン５の直上に、その光軸方向がスクリーン５の面に垂直な方向（後述するＷｚ方向）となるように配置され、画像処理装置１からの指示に従って、スクリーン５の前面方向を撮像し、得られた撮像画像をＩ／Ｆ１５を介して画像処理装置１に送信する。
【００２６】
スクリーン５は、支持台６により床面に垂直になるように支持され、プロジェクタ２の出力光照射方向に配置されたスクリーンである。スクリーン５は、図１に示すように、投影対象物の形状に成型された透明アクリル板等の基材５１の前面上側に背面投影用のスクリーンフィルム５２が貼付され、下側に投影対象物の下半身が印刷されたフィルム５３が貼付されて構成されている。このスクリーンフィルムは市販されている高輝度、高コントラストを有するものを用いることにより、日中の明るさであっても、また、明るい居室内であっても、スクリーン５に投影された投影像を視認することができる。
【００２７】
なお、本実施形態においては、コンテンツ再生システム１００は投影対象物の上半身の映像コンテンツをスクリーン５に投影する構成としているが、スクリーン５の基材５１の全面に背面投影用のスクリーンフィルム５２を貼付した構成とし、投影対象物の全身の映像コンテンツをスクリーン５に投影することとしてもよい。
【００２８】
＜スクリーン座標系とカメラ座標系＞
上記のコンテンツ再生システム１００において位置や方向を特定するために用いられる座標系には、スクリーン座標系とカメラ座標系がある。
【００２９】
スクリーン座標系は、スクリーン５を基準とした座標系である。
図４に示すように、スクリーン座標系は以下のように定義される。
Ｗｏ：スクリーン座標系の原点。スクリーン５の中心軸と設置箇所（床面）との交点。
Ｗｘ：スクリーン座標系のｘ軸。ＷｙとＷｚの外積の方向。聴衆Ａから見て右方向を＋とする。
Ｗｙ：スクリーン座標系のｙ軸。スクリーン５の中心軸に沿う。聴衆Ａから見て上方向を＋とする。
Ｗｚ：スクリーン座標系のｚ軸。スクリーン５の投影面に対して垂直。スクリーン５の前面方向（聴衆Ａがいる方向）を＋とする。
例えば、スクリーン５に投影される映像コンテンツの投影像の座標や、これを投影するための投影画像の座標は、スクリーン座標系により表される。
【００３０】
カメラ座標系は、カメラ３により撮像される撮像画像のピクセルを基準とした座標系である。カメラ３は、図４に示すように、そのレンズの中心位置をＳとすると、スクリーン５の直上に、スクリーン座標系におけるＳのｘ座標が０となるように設置されている。カメラ３のレンズは、Ｗｚに沿った方向に向け、ブレないように固定されている。
【００３１】
カメラ座標系は、図４、５に示すように定義される。なお、図５は、カメラ３のレンズ前面方向を示す図である。
Ｃｘ：カメラ座標系のｘ軸。カメラ３により撮像される撮像画像のピクセルのｘ方向（横方向）。Ｗｘとは＋方向が反対である。
Ｃｙ：カメラ座標系のｙ軸。カメラ３により撮像される撮像画像のピクセルのｙ方向（縦方向）。Ｗｙとは＋方向が反対である。
また、カメラ３の視野角における水平方向画角をＴmaxとし、ｔmax＝Ｔmax／２とする。また、カメラ３により撮像される撮像画像の解像度を（Ｘmax、Ｙmax）とすると、図５に示すように、カメラ３は、０＜ｘ＜Ｘmax、０＜ｙ＜Ｙmaxの範囲のものを撮像することとする。撮像画像は長方形であるため、カメラ３による撮像画像に写る範囲は図４のグレーの四角錐の範囲になる（以下の図においてもこの撮像画像に写る範囲をグレーで示す）。撮像画像のピクセル位置の座標のほか、撮像画像に写る範囲の座標をカメラ座標系で表す。
【００３２】
画像処理装置１の制御部１０は、上述のスクリーン座標系及びカメラ座標系を用いて後述する再生制御処理を実行する。
【００３３】
＜画像処理装置１の動作＞
次に、本実施形態における動作について説明する。
【００３４】
図６に、画像処理装置１によって実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００３５】
再生制御処理において、制御部１０は、まず、映像コンテンツにおける投影対象の投影画像を記憶部１３の映像データ記憶部１３２から読み出す（ステップＳ１）。
【００３６】
次いで、制御部１０は、スクリーン５を見ている聴衆Ａをカメラ３により撮像して聴衆Ａの撮像画像を取得する（ステップＳ２）。
【００３７】
次いで、制御部１０は、取得した撮像画像に対し、顔認識処理を実行し、撮像画像から顔領域を認識する（ステップＳ３）。顔認識処理は、例えば、AdaBoostを用いたViola−Jones法等、公知の画像処理技術を適用することができる。
【００３８】
顔認識処理の結果、顔領域が１件も認識されなかった場合（ステップＳ４；ＹＥＳ）、制御部１０は、ステップＳ１０の処理に移行する。
【００３９】
顔認識処理の結果、顔領域が１件のみ認識された場合（ステップＳ４；ＮＯ、ステップＳ５；ＹＥＳ）、制御部１０は、認識された顔領域の位置を聴衆Ａの方向を示す基準位置Ｐとして検出し（ステップＳ６）、ステップＳ８の処理に移行する。
ステップＳ６においては、例えば、制御部１０は、撮像画像から認識された顔領域の重心位置を算出し、この重心位置を基準位置Ｐ（Ｘp、Ｙp）として検出する。なお、基準位置Ｐとする顔領域の位置としては、顔領域の重心位置に限定されず、例えば、顔領域の中心（顔領域に外接する矩形領域の対角線が交わる位置）等を使用することとしてもよい。ステップＳ６により、撮像画像から認識された顔領域の方向を聴衆Ａの方向として検出することができる。
【００４０】
顔認識処理の結果、顔領域が２件以上認識された場合（ステップＳ４；ＮＯ、ステップＳ５；ＮＯ）、制御部１０は、撮像画像の中心をＲとして、Ｒに最も近い顔領域の位置を基準位置Ｐとして検出し（ステップＳ７）、ステップＳ８の処理に移行する。
例えば、制御部１０は、顔認識処理により認識された各顔領域の位置を算出し、認識された順番に、図７に示すように、Ｐ１（Ｘp1、Ｙp1）、Ｐ２（Ｘp2、Ｙp2）、Ｐ３（Ｘp3、Ｙp3）、・・・とする。次いで、撮像画像の中心をＲ＝（Ｘmax/２、Ｙmax/２）とし、下記の（式１）で表されるｄが最も小さくなった顔領域の位置の座標を基準位置Ｐの座標Ｐ（Ｘp、Ｙp）として検出する。
ｄ＝（Ｘmax/２−Ｘpn）2＋（Ｙmax/２−Ｙpn）2  ・・・（式１）
ただし、ｎ＝１、２、３・・・である。
【００４１】
ステップＳ８において、制御部１０は、基準位置Ｐの方向を示す角度ｔを算出する（ステップＳ８）。
角度ｔは、図８に示すように、カメラ３の光軸方向と基準位置Ｐの方向とがなす角度である。具体的に、頂点Ｑを（Ｘp、Ｙmax/２）と定義すると（図５参照）、直線ＱＳと直線ＳＲのなす角度ＱＳＲが角度ｔである。ただし、Ｘp＞Ｘmax/２のときはｔ＞０、Ｘp＜Ｘmax/２のときはｔ＜０とする。即ち、｜ｔ｜＝角度ＱＳＲとなる。
Ｘp＝Ｘmaxのときのｔをｔ＝ｔmax、Ｘp＝０のときのｔをｔ＝-ｔmaxとしたとき、角度ｔは、下記（式２）で表すことができる。
ｔ＝arctan［（２Ｘp−Ｘmax）/{Ｘmax・tan（tmax）}］・・・（式２）
制御部１０は、（式２）に基づいて角度ｔを算出する。
【００４２】
次いで、制御部１０は、算出した角度ｔに基づいて、ステップＳ１で読み出した投影画像の回転処理を行う（ステップＳ９）。
投影画像を下記の回転軸、回転角度で回転させることで、スクリーン５に投影画像を投影した場合に、投影像の向きをカメラ座標系のＰに写る方向に向けることができる。
回転軸：Ｗｙ方向
回転角度：-ｔ
例えば、投影画像がポリゴンの場合、投影画像は点群（複数の頂点の集まり）で構成される。ここで、点群をＶ１、Ｖ２、・・・Ｖn（nは頂点の数）とする。点群Ｖ１、Ｖ２、・・・、Ｖnのうち、ある１つの頂点Ｖkに注目する（１≦k≦n）。スクリーン座標系におけるＶkの座標値をＶk＝（Ｖx、Ｖy、Ｖz）とし、回転後のＶkをＶk´＝（Ｖx´、Ｖy´、Ｖz´）としたとき、下記の（式３）〜（式５）を用いてＶx、Ｖy、ＶzのそれぞれをＶx´、Ｖy´、Ｖz´に変換する。
Ｖx´＝Ｖx・cosｔ−Ｖz・sinｔ  ・・・（式３）
Ｖy´＝Ｖy                     ・・・（式４）
Ｖz´＝Ｖx・sinｔ+Ｖz・cosｔ   ・・・（式５）
回転処理では、この変換を投影画像中の全ての頂点に対して行うことで、スクリーン５に投影される映像コンテンツの投影像が聴衆Ａ側を向くように、投影画像に含まれる投影対象物を回転させることができる。
【００４３】
なお、投影画像がポリゴンではなくパラメトリック局面等の場合、制御点に対して同様の回転処理を施すことで、スクリーン５に投影される映像コンテンツの投影像が聴衆Ａの方向を向くように投影画像を補正することができる。
【００４４】
ステップＳ１０の処理においては、制御部１０は、投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させる（ステップＳ１０）。具体的に、制御部１０は、投影画像から投影対象物の領域を抽出し、抽出された投影対象物の位置情報を投影画像と併せてＩ／Ｆ１４によりプロジェクタ２に送信する。これにより、プロジェクタ２は、投影対象物のみをスクリーン５に投影することができる。なお、投影対象物の抽出は、プロジェクタ２により行うこととしてもよい。
また、制御部１０は、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ１１）。
【００４５】
次いで、制御部１０は、映像コンテンツに次の投影画像が存在するか否かを判断する（ステップＳ１２）。次の投影画像が存在すると判断した場合（ステップＳ１２；ＹＥＳ）、制御部１０は、ステップＳ１の処理に戻り、ステップＳ１〜ステップＳ１１の処理を繰り返し実行する。次の投影画像が存在しないと判断した場合（ステップＳ１２；ＮＯ）、制御部１０は、再生制御処理を終了する。
【００４６】
このように、第１の実施形態においては、聴衆Ａの立ち位置によってスクリーン５に投影される投影像の向きをリアルタイムに変化させることができるので、映像コンテンツの立体的な投影が可能となる。また、聴衆Ａには、あたかも投影像（人物等）が聴衆Ａに語りかけているように感じられるので、投影像に対する親近感を抱かせることができる。その結果、映像コンテンツによる説得力が増すなど、効果的な演出を行うことが可能となる。
【００４７】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、顔認識処理により撮像画像から複数の顔領域が認識された場合、撮像画像の中心Ｒに最も近い顔領域を聴衆Ａの方向の基準位置Ｐとして検出することとして説明した。第２の実施形態においては、撮像画像から複数の顔領域が認識された場合に、複数人の顔領域を順番に基準位置Ｐとして検出し、映像コンテンツの投影像が複数の方向にいる聴衆Ａを順に見ながら説明等が行えるようにする。
【００４８】
第２の実施形態において、画像処理装置１の制御部１０には、タイマー（図示せず）が接続されている。第２の実施形態におけるその他のコンテンツ再生システム１００及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態の動作について説明する。
【００４９】
図９に、聴衆を撮像した撮像画像から複数の顔が認識された場合に実行される再生制御処理Ｂのフローチャートを示す。再生制御処理Ｂは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００５０】
例えば、図６に示す再生制御処理の顔認識処理において複数の顔領域が認識された場合、即ち、図６のステップＳ５でＮＯとなった場合に、ステップＳ７に移行せずに、この再生制御処理Ｂを実行してもよい。また、ステップＳ７に移行するか（即ち、投影像がより中心に近い顔に向くようにするか）、又は再生制御処理Ｂを実行するか（投影像が複数の顔を順番に向いていくようにするか）をユーザが操作部１１より設定可能な構成としてもよい。なお、再生制御処理Ｂの終了後は、図６のステップＳ８に移行せずに処理は終了となる。
【００５１】
なお、スクリーン座標系、カメラ座標系は第１の実施形態で説明したものと同様であるので説明を援用する。
【００５２】
再生制御処理Ｂにおいて、制御部１０は、まず、カメラ３により撮像された聴衆Ａの撮像画像から認識された複数の顔領域のうち、撮像画像の中心Ｒに最も近い顔領域の位置を聴衆Ａの方向を示す基準位置Ｐとして検出する（ステップＳ２１）。なお、ステップＳ２１における基準位置Ｐの算出は、図６のステップＳ６において説明したものと同様であるので説明を援用する。
【００５３】
次いで、制御部１０は、基準位置Ｐの方向を示す角度ｔを算出する（ステップＳ２２）。角度ｔの算出は、図６のステップＳ８で説明したものと同様であるので説明を援用する。
【００５４】
次いで、制御部１０は、算出したｔに基づいて、投影対象の投影画像の回転処理を行う（ステップＳ２３）。投影画像の回転処理は、図６のステップＳ９で説明したものと同様であるので説明を援用する。
【００５５】
次いで、制御部１０は、投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて映像コンテンツをスクリーン５に投影させる（ステップＳ２４）。具体的に、制御部１０は、投影画像から投影対象物の領域を抽出し、抽出された投影対象物の位置情報を投影画像と併せてＩ／Ｆ１４によりプロジェクタ２に送信する。これにより、プロジェクタ２は、投影対象物のみをスクリーン５に投影することができる。なお、投影対象物の抽出は、プロジェクタ２により行うこととしてもよい。
また、制御部１０は、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ２５）。
【００５６】
次いで、制御部１０は、タイマーに予め定められた指定時間Ｔ（秒）を設定し、タイマーの計時を開始させる（ステップＳ２６）。ここで、投影像が向く方向が固定されてしまうと、他の方向にいる聴衆Ａにとっては効果的な投影とはならない可能性がある。そこで、本実施形態においては、指定時間Ｔが経過したら投影像の向く方向を変えるよう制御する。タイマーは、この指定時間Ｔを計測するものである。
【００５７】
次いで、制御部１０は、映像コンテンツにおける次の投影画像を記憶部１３の映像データ記憶部１３２から読み出す（ステップＳ２７）。
【００５８】
次いで、制御部１０は、カメラ３によりスクリーン５を見る聴衆Ａを撮像し、聴衆Ａの撮像画像を取得する（ステップＳ２８）。
次いで、制御部１０は、取得された撮像画像に対して顔認識処理を実行し（ステップＳ２９）、顔認識処理により認識された顔領域を撮像画像の中心Ｒに近い順に並べる（ステップＳ３０）。
具体的には、認識された顔領域のそれぞれの位置を算出し、（式１）に基づいて各顔領域の位置と撮像画像の中心Ｒとの距離ｄを算出し、ｄの小さい順番に顔領域を並べる。
【００５９】
次いで、制御部１０は、前回検出された基準位置Ｐと同一位置の顔領域（即ち、同一のＰ）が認識されたか否かを判断する（ステップＳ３１）。
前回認識されたＰと同一位置の顔領域が認識されたと判断した場合（ステップＳ３１；ＹＥＳ）、制御部１０は、タイマーの指定時間Ｔが経過したか否かを判断する（ステップＳ３２）。タイマーの指定時間Ｔが経過していないと判断した場合（ステップＳ３２；ＮＯ）、制御部１０は、基準位置Ｐを変更せずにそのままステップＳ３６の処理に移行する。
【００６０】
一方、タイマーの指定時間Ｔが経過したと判断した場合（ステップＳ３２；ＹＥＳ）、制御部１０は、ステップＳ３０において前回検出された基準位置Ｐと同一位置の顔領域の次の順番に並べられた顔領域の撮像画像上の位置を次の基準位置Ｐとして検出し（ステップＳ３３）、ステップＳ３５の処理に移行する。なお、ステップＳ３０で並べられた顔領域の順番において、前回検出された基準位置Ｐの顔領域が最後である場合は、順番が先頭の顔領域の撮像画像上の位置を次の基準位置Ｐとして検出する。
【００６１】
一方、ステップＳ３１において、前回求めたＰと同一位置の顔領域が認識されていないと判断した場合（ステップＳ３１；ＮＯ）、制御部１０は、カメラ３により撮像された聴衆Ａの撮像画像の中心Ｒに最も近い顔領域の位置を次の基準位置Ｐとして検出し（ステップＳ３４）、ステップＳ３５の処理に移行する。
【００６２】
ステップＳ３５において、制御部１０は、タイマーをリセットし、指定時間Ｔの計測を開始する（ステップＳ３５）。そして、ステップＳ３６の処理に移行する。ここでは、聴衆Ａが向く方向の基準となる顔領域の位置（基準位置Ｐ）が変更されたため、タイマーをリセットし、その顔領域の方向を向いた投影像を指定時間Ｔが経過するまで表示可能とする。
【００６３】
ステップＳ３６において、制御部１０は、検出した基準位置Ｐに基づいて、基準位置Ｐの方向を示す角度ｔを算出する（ステップＳ３６）。角度ｔの算出は、（式２）により行う。
【００６４】
次いで、制御部１０は、Ｐ制御による角度ｔの補正を行う（ステップＳ３７）。
Ｐ制御は、比例制御とも呼ばれ、現在の値と目標値との偏差に比例した制御を行うものである。ここでは、段階的に目標となる角度ｔに近づいていくようにこのＰ制御を用いる。
【００６５】
ステップＳ３７においては、まず、直前の投影画像に対する回転処理で用いた角度ｔをｔ１、ステップＳ３６で算出した今回の角度ｔ（目標値）をｔ２とする。ここで、以下の（式６）によりｔ´を求める。
ｔ´＝Ｋ（ｔ２−ｔ１）+ｔ１（０＜Ｋ＜１）  ・・・（式６）
求められたｔ´を回転処理に用いるｔとする。このように、角度ｔを補正することで、ステップＳ２７〜ステップＳ４１のループを繰り返す度に段階的にｔ２に近づけることが可能となる。即ち、投影像が段階的に目標となる顔の方向（基準位置Ｐに対応する顔の方向）を向くように投影画像を補正することができる。
【００６６】
ここで、ＫはＰ制御における比例ゲインである。Ｋが大きくなるほど目標となる角度に素早く近づくように制御することができ、Ｋが小さいほど目標となる角度にゆっくりと近づけることができる。
【００６７】
次いで、制御部１０は、ステップＳ３７で補正された角度ｔに基づいて、投影画像の回転処理を行う（ステップＳ３８）。回転処理は、上述の（式３）〜（式５）を用いて行う。
【００６８】
次いで、制御部１０は、投影画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影画像に基づいて、映像コンテンツをスクリーン５に投影させる（ステップＳ３９）。具体的に、制御部１０は、投影画像から投影対象物の領域を抽出し、抽出された投影対象物の位置情報を投影画像と併せてＩ／Ｆ１４によりプロジェクタ２に送信する。これにより、プロジェクタ２は、投影対象物のみをスクリーン５に投影することができる。なお、投影対象物の抽出は、プロジェクタ２により行うこととしてもよい。
また、制御部１０は、投影画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ４０）。
【００６９】
次いで、制御部１０は、映像コンテンツに次の投影画像が存在するか否かを判断する（ステップＳ４１）。次の投影画像が存在すると判断した場合（ステップＳ４１；ＹＥＳ）、制御部１０は、ステップＳ２７の処理に戻り、次の投影画像についてステップＳ２７〜ステップＳ４０の処理を繰り返し実行する。次の投影画像が存在しないと判断した場合（ステップＳ４１；ＮＯ）、制御部１０は、再生制御処理Ｂを終了する。
【００７０】
このように、第２の実施形態によれば、投影像が一箇所だけでなく、聴衆Ａが存在する複数の方向を順に向きながら説明等を行うことが可能となる。従って、聴衆Ａを構成するより多くの人々に投影像に対する親近感を抱かせることができ、投影像による説明の説得力を向上させることができる。即ち、投影用映像コンテンツのより効果的な投影が可能となる。
また、投影像の向く方向（Ｐの位置）変化させる場合は、Ｐ制御により角度ｔを補正することで、急激に投影像の向きを変えるのではなく投影像の向きをゆるやかに変化させることができ、違和感のない投影を行うことが可能となる。
【００７１】
以上説明したように、コンテンツ再生システム１００の画像処理装置１によれば、制御部１０は、カメラ３によってスクリーン５を見る聴衆Ａを撮像し、得られた撮像画像から聴衆Ａの方向を示す基準位置Ｐを検出し、検出された基準位置Ｐの方向に基づいて、スクリーン５に投影される映像コンテンツの投影像が聴衆Ａ側を向くように投影画像を補正する。
従って、聴衆Ａの立ち位置によってスクリーン５に投影される投影像の向きをリアルタイムに変化させることができるので、映像コンテンツの立体的な投影が可能となる。また、聴衆Ａには、あたかも投影像（人物等）が聴衆Ａに語りかけているように感じられるので、投影像に対する親近感を抱かせることができる。その結果、映像コンテンツによる説得力が増すなど、効果的な演出を行うことが可能となる。
【００７２】
例えば、制御部１０は、カメラ３により取得された撮像画像に対して顔認識処理を実行し、当該顔認識処理によって認識された顔領域に基づいて聴衆Ａの方向の基準位置Ｐを検出することができる。
【００７３】
また、例えば、制御部１０は、カメラ３の光軸方向と検出された基準位置Ｐの方向とがなす角度ｔを算出し、算出した角度ｔに基づいて投影画像に回転処理を施すことにより投影画像を補正することができる。
【００７４】
顔認識処理によって認識された顔領域が複数である場合、制御部１０は、予め定められた順番、例えば、顔領域が撮像画像の中心に近い順番で、認識された顔領域の方向を順次聴衆Ａの方向として検出する。従って、投影像の向きを、一箇所だけでなく、聴衆Ａが存在する複数の方向に変化させることができるので、複数の方向に聴衆Ａがいる場合であっても、投影像を見ているより多くの人々に投影像に対する親近感を抱かせることができ、映像コンテンツによる説得力が増すなど、より効果的な投影が可能となる。
【００７５】
また、制御部１０は、認識された一の顔領域の位置を聴衆Ａの方向の基準となる基準位置Ｐとして検出してから予め定められた指定時間Ｔが経過した場合に、次の顔領域を聴衆Ａの方向を示す基準位置Ｐとして検出する。従って、複数の方向に聴衆Ａが存在する場合は、投影像の向きを固定せずに、指定時間Ｔが経過したら他の方向に投影像の向きを変化させる。
【００７６】
また、制御部１０は、検出された基準位置Ｐが変化した場合、基準位置Ｐの方向を特定する角度ｔを段階的に変化させることにより、投影像の向きが段階的に基準位置Ｐに近づくように投影画像の補正を行うので、急激に投影像の向きを変えるのではなく緩やかに変化させることができ、違和感のない投影を行うことが可能となる。
【００７７】
また、顔認識処理によって認識された顔領域が複数である場合、撮像画像の中心に最も近い顔領域の位置を聴衆の方向を示す基準位置Ｐとして検出することとしてもよい。これにより、投影像の向きを変化させずに、より多くの方向の聴衆に投影像に対する親近感を抱かせることができ、効果的な投影が可能となる。
【００７８】
また、顔認識処理によって認識された顔領域が１つである場合、認識された顔領域の位置を聴取の方向を示す基準位置Ｐとして検出する。これにより、聴衆Ａに投影像に対する親近感を抱かせることができ、効果的な投影が可能となる。
【００７９】
また、スクリーン５を映像コンテンツの投影対象物の形状に成型されたものとすることで、あたかも人物等の投影対象物がそこに存在しているかのような存在感のある投影像を得ることができる。
【００８０】
なお、上記実施形態における記述内容は、本発明に係るコンテンツ再生システムの好適な一例であり、これに限定されるものではない。
【００８１】
例えば、上記実施形態においては、画像処理装置１とプロジェクタ２とは別体であることとして説明したが、一体的に構成されたものであってもよい。即ち、プロジェクタ２に画像処理装置１が含まれる構成とし、プロジェクタ２において、上記の投影画像の補正を行い、補正された投影画像に基づいてスクリーン５に投影を行うこととしてもよい。
【００８２】
また、上記実施形態においては、プロジェクタ２の出力光がスクリーン５の背面に直接照射される構成を例にとり説明したが、プロジェクタ２の出力光を反射するミラーを設け、ミラーの反射光をプロジェクタ２の背面に投影することとしてもよい。
【００８３】
また、上記実施形態においては、スクリーン５が投影対象物の形状に成型されている例について説明したが、これに限定されず、例えば、一般的な矩形等のスクリーンに映像コンテンツを投影する場合にも本発明を適用することができる。
【００８４】
また、上記実施形態におけるスクリーン座標系、カメラ座標系の定義は、一例であり、これに限定されるものではない。
【００８５】
また、上記実施形態においては、映像コンテンツとして、三次元モデルの投影画像を用いることとして説明したが、人物等の投影対象物を撮影した投影画像を用いることとしてもよい。この場合、投影画像中の投影対象物の中心軸を検出された聴衆Ａの方向に応じてずらし、中心軸と輪郭との幅に応じて投影対象物のパーツ（例えば、目、鼻、口、耳等）を拡大又は縮小することにより実現することができる。
【００８６】
また、上記実施形態においては、１フレーム毎にカメラ３による聴衆Ａの撮影、基準位置Ｐの検出、基準位置Ｐに基づく投影画像の補正を行う場合を例にとり説明したが、これに限定されず、複数フレーム毎に行うこととしてもよい。
【００８７】
また、上記第１の実施形態においては、カメラ３による撮像画像から複数の顔領域が認識された場合、撮像画像の中心Ｒに最も近い顔領域に基づいて聴衆Ａの方向の基準位置Ｐを検出することとして説明したが、他の顔領域に基づいて聴衆Ａの方向の基準位置Ｐを検出することとしてもよい。
また、上記実施形態においては、カメラ３によって聴衆の方向を検出したが、これに限らず、例えば測域センサのような聴衆の方向を検出できるセンサを用いてもよい。
【００８８】
また、上記第２の実施形態においては、Ｐ制御により投影像の向きをゆるやかに変化させる制御を行うこととしたが、ＰＩ制御又はＰＩＤ制御を用いることとしてもよい。Ｐ制御では、ＰＩ制御及びＰＩＤ制御より高速に処理を行うことが可能である。一方、ＰＩ制御及びＰＩＤ制御を用いることにより、より高精度な制御が可能となる。
【００８９】
また、上記第２の実施形態においては、撮像画像の中心Ｒに近くに写っている顔領域の方向から順番に投影像が向くようにしたが、順番としてはこれに限定されない。例えば、最初は撮影画像中において中心Ｒに最も近くに写っている顔領域の方向を投影像が向くようにし、その後の順番としては、反時計周りとしてもよい。また、投影像の向きが変化するときには、最も遠い顔領域を向くようにしてもよい。
【００９０】
また、上記実施形態においては、映像コンテンツの映像データは記憶部１３に記憶されていることとして説明したが、画像処理装置１に通信ネットワークを介して接続されるサーバから配信される構成としてもよい。また、ＵＳＢメモリや各種の記録媒体から映像データを取り込む構成としてもよい。
【００９１】
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００９２】
その他、コンテンツ再生システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００９３】
(付記)
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段と、
前記スクリーンを見る聴衆を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段と、
を備える画像処理装置。
＜請求項２＞
前記検出手段は、前記撮像画像から顔領域を認識する顔認識処理手段を備え、当該顔認識処理手段によって認識された顔領域に基づいて前記聴衆の方向を検出する請求項１に記載の画像処理装置。
＜請求項３＞
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、予め定められた順番で前記認識された顔領域の方向を順次前記聴衆の方向として検出する請求項２に記載の画像処理装置。
＜請求項４＞
前記予め定められた順番は、前記顔領域が前記撮像画像の中心に近い順番である請求項３に記載の画像処理装置。
＜請求項５＞
前記検出手段は、前記認識された一の顔領域の方向を前記聴衆の方向として検出してから予め定められた指定時間が経過した場合に、次の顔領域の方向を前記聴衆の方向として検出する請求項３又は４に記載の画像処理装置。
＜請求項６＞
前記補正手段は、前記検出手段により検出された聴衆の方向が変化した場合に、前記投影画像に基づいて投影される前記映像コンテンツの投影像が段階的に前記聴衆側の方向に近づくように前記投影画像を補正する請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、前記認識された複数の顔領域の何れかの方向を前記聴衆の方向として検出する請求項２に記載の画像処理装置。
＜請求項８＞
前記検出手段は、前記顔認識処理手段によって認識された顔領域が複数である場合、前記撮像画像の中心に最も近い顔領域の方向を前記聴衆の方向として検出する請求項７に記載の画像処理装置。
＜請求項９＞
前記検出手段は、前記顔認識処理手段によって認識された顔領域が１つである場合、前記認識された顔領域の方向を前記聴衆の方向として検出する請求項２に記載の画像処理装置。
＜請求項１０＞
前記スクリーンは、前記映像コンテンツの投影対象物の形状に成型されたスクリーンである請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記補正手段は、前記撮像手段の光軸方向と前記検出された聴衆の方向とがなす角度を算出し、算出した角度に基づいて前記投影画像に回転処理を施すことにより前記投影画像を補正する請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段と、
前記スクリーンを見る聴衆を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する検出手段と、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段と、
前記補正された投影画像に基づいて前記スクリーンに前記映像コンテンツを投影する投影手段と、
を備える投影装置。
＜請求項１３＞
撮像手段と、映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段とを備え、前記投影画像に画像処理を施す画像処理装置における画像処理方法であって、
前記撮像手段により前記スクリーンを見る聴衆を撮像する工程と、
前記撮像手段によって撮像された撮像画像から前記聴衆の方向を検出する工程と、
前記検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する工程と、
を含む画像処理方法。
＜請求項１４＞
コンピュータを、
映像コンテンツをスクリーンに投影するための投影画像を記憶する記憶手段、
前記スクリーンを見る聴衆を撮像した撮像画像から前記聴衆の方向を検出する検出手段、
前記検出手段によって検出された前記聴衆の方向に基づいて、前記スクリーンに投影される前記映像コンテンツの投影像が前記聴衆側を向くように前記投影画像を補正する補正手段、
として機能するためのプログラム。
【符号の説明】
【００９４】
１００  コンテンツ再生システム
１  画像処理装置
１０  制御部
１１  操作部
１２  表示部
１３  記憶部
１３１  プログラム記憶部
１３２  映像データ記憶部
１４  Ｉ／Ｆ
１５  Ｉ／Ｆ
１６  音声出力部
２  プロジェクタ
３  カメラ
４  スピーカ
５  スクリーン
５１  基材
５２  スクリーンフィルム
５３  フィルム
６  支持台
【図１】
2014095853.tif 000003
【図２】
2014095853.tif 000004
【図３】
2014095853.tif 000005
【図６】
2014095853.tif 000006
【図９】
2014095853.tif 000007
【図４】
2014095853.tif 000008
【図５】
2014095853.tif 000009
【図７】
2014095853.tif 000010
【図８】
2014095853.tif 000011