(57)【要約】【課題】投影対象物に応じた形状のスクリーンに投影を行う場合に、投影対象が動いても適切に投影することを可能とする。【解決手段】コンテンツ再生システム１００によれば、制御部１０は、人型のスクリーン５を含む撮影画像からスクリーン５の外形領域を抽出し、投影用映像コンテンツのフレーム画像から投影対象の人物領域を抽出し、抽出したスクリーン５の外形領域及び人物領域に基づいて、投影用映像コンテンツのフレーム画像を補正する。そして、補正したフレーム画像に基づいてプロジェクタ２によりスクリーン５上に人物を投影させる。【選択図】図７
2014089242.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形領域を抽出するスクリーン外形領域抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する対象領域抽出手段と、
前記対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する動き情報取得手段と、
前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域、前記対象領域抽出手段により抽出された前記投影対象物の領域、及び前記動き情報取得手段により取得された前記投影対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する補正手段と、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる制御手段と、
を備える画像処理装置。
【請求項２】
前記対象領域抽出手段は、前記映像データを構成する複数のフレーム画像のそれぞれから前記投影対象物の領域を抽出し、
前記動き情報取得手段は、前記対象領域抽出手段により複数のフレーム画像から抽出された複数の前記投影対象物の領域を重ね合わせたときの最大領域を前記映像コンテンツにおいて前記投影対象物の動きの範囲を示す情報として取得し、
前記補正手段は、前記動き情報取得手段により取得された前記最大領域と前記スクリーン外形領域抽出手段により抽出されたスクリーンの外形領域に基づいて、前記映像コンテンツの映像データを補正する請求項１に記載の画像処理装置。
【請求項３】
前記動き情報取得手段は、更に前記スクリーン外形領域抽出手段により抽出されたスクリーンの外形領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する請求項１に記載の画像処理装置。
【請求項４】
前記スクリーン画像取得手段は、前記投影装置により前記投影対象物が投影された前記スクリーンを含む撮影画像を取得し、
前記対象領域抽出手段は、前記映像データを構成する複数のフレーム画像のそれぞれから前記投影対象物の領域を抽出し、
前記投影対象物が投影された前記スクリーンを含む撮影画像から前記投影対象物の領域を抽出する第２の対象領域抽出手段を備え、
前記動き情報取得手段は、前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域と前記第２の対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像データにおける前記投影対象物の標準位置を決定し、前記対象領域抽出手段により抽出された前記複数のフレーム画像のそれぞれにおける前記投影対象物の領域の前記標準位置からの移動量を前記投影対象物の動きを示す情報として取得する請求項３に記載の画像処理装置。
【請求項５】
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における映像データ補正方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形領域を抽出する工程と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する工程と、
前記抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する工程と、
前記抽出された前記スクリーンの外形領域、前記抽出された前記投影対象物の領域、及び前記取得された前記対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する工程と、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる工程と、
を含む映像データ補正方法。
【請求項６】
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形領域を抽出するスクリーン外形領域抽出手段、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する対象領域抽出手段、
前記対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する動き情報取得手段と、
前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域、前記対象領域抽出手段により抽出された前記投影対象物の領域、及び前記動き情報取得手段により取得された前記投影対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する補正手段、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、映像データ補正方法及びプログラムに関する。
【背景技術】
【０００２】
お客や鑑賞者に対して広告内容等のコンテンツを提示する際の印象を高めるために、人型に成形された投影スクリーンに、そのスクリーンの外形に合わせた形状のコンテンツ映像などを投影する技術が提案されている（例えば、特許文献１参照）。この技術は、展示会等における斬新で効果的な展示の演出や、あるいは、「バーチャルマネキン」等、人間代わりの商品説明等に利用されている。
【０００３】
上記のスクリーンとしては、背面投影用のフィルム、例えば、透明塩化ビニルフィルムの投影する背面側にマイクロビーズレンズを配列した層と球状ビーズの隙間に黒い光吸収層を設けた特殊フィルムなどを、人型に成形された透明なアクリル板等の基材に貼り付けて用いることが多く、広い角度から、比較的明るく高輝度で、あたかもそこに人間が立っているかのような存在感のある投影像が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の技術においては、投影像の輪郭とスクリーンの外形とがぴったり適合するように設置しないと、効果的な投影ができない。そのため、プロジェクタもしくはその投影像とスクリーンとの位置関係の調整に、時間や手間がかかるという問題があった。
例えば、投影像の方がスクリーン外形よりも外側にはみ出ると、その部分の顔や肩などが欠けたり、細くなったり、不自然な形状になったりする。このように、投影像とスクリーン外形とが適合しないと、せっかくの「バーチャルマネキン」としての迫力やリアリティ、立体的な存在感などが損なわれることになり、展示や演出の効果が半減されてしまう。
【０００６】
また、予めプロジェクタとミラーやスクリーン等との位置関係や角度、距離などを固定できる専用の置き台を設ける方法もあるが、設置や調整が簡単になる反面、必要な面積や設置できる場所が制限され、アドホックに自由な設置がしにくい。専用の置き台は、形状がやや大掛かりになり、コストもかかる。また、人物の映像を撮影して投影用映像コンテンツとして使用する場合には、その人物像の輪郭外形が動いたり変化したりしないように撮影する必要があった。つまり、被写体モデルとなる人物は殆ど動かないように、略同じ姿勢を撮影中ずっと維持して実演することを強いられることになり、モデルやカメラマン、スタジオなどをしっかり準備して撮影する必要があった。
【０００７】
また、スクリーンは、厚いアクリル板等を投影対象物の輪郭に合せて切り抜き加工するが、投影するコンテンツ毎に外形形状の異なるスクリーンを作り変えると、費用がかかる問題もあった。スクリーンを他のコンテンツにも流用したいような場合には、共通の大きさや外形等が前提条件となるため、同じような姿勢で、身振り手振りや身体の動き等も押さえたような実演や映像に限られ、独自性や新鮮味に欠ける問題もあった。
【０００８】
本発明は、上記のような問題を鑑みてなされたもので、その目的とするところは、投影対象物に応じた形状のスクリーンに投影を行う場合に、投影対象物が動いても適切に投影できるようにすることである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載の発明は、
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形領域を抽出するスクリーン外形領域抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する対象領域抽出手段と、
前記対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する動き情報取得手段と、
前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域、前記対象領域抽出手段により抽出された前記投影対象物の領域、及び前記動き情報取得手段により取得された前記投影対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する補正手段と、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる制御手段と、
を備える。
【発明の効果】
【００１０】
本発明によれば、投影対象物に応じた形状のスクリーンに投影を行う場合に、投影対象が動いても適切に投影することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態におけるコンテンツ再生システムの全体構成例を示す図である。
【図２】（ａ）は、映像の投影前のコンテンツ再生システムの正面図、（ｂ）は映像の投影時のコンテンツ再生システムの正面図である。
【図３】図１の画像処理装置の機能的構成を示すブロック図である。
【図４】図３の制御部において実行される再生制御処理を示すフローチャートである。
【図５】図４の初期位置合わせ処理を示すフローチャートである。
【図６】図４の再生及び補正処理を示すフローチャートである。
【図７】図４の再生制御処理における人物領域の補正動作の概念を模式的に示す図である。
【図８】第２の実施形態において図３の制御部により実行される再生制御処理Ｂを示すフローチャートである。
【図９】撮影画像のスクリーン外形領域とフレーム画像の最大領域の比較方法を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１３】
［第１の実施形態］
＜コンテンツ再生システム１００の構成＞
図１、図２は、本実施形態のコンテンツ再生システム１００の概略構成を示す図である。図１は、コンテンツ再生システム１００の側面の模式図、図２は、コンテンツ再生システム１００の正面図である。図２（ａ）は、映像の投影前、図２（ｂ）は映像の投影時の正面図である。
【００１４】
コンテンツ再生システム１００は、投影用映像コンテンツを再生して投影対象物の形状に成型されたスクリーンに投影対象物を投影するシステムである。本実施形態においては、投影対象物を人物とし、スクリーンは人型である場合を例にとり説明するが、これに限定されるものではない。投影対象物は、例えば、キャラクタや動物等であってもよい。
【００１５】
図１に示すように、コンテンツ再生システム１００は、画像処理装置１、プロジェクタ２、カメラ３、スピーカ４、スクリーン５等を備えて構成されている。プロジェクタ２、カメラ３、スピーカ４は、画像処理装置１に接続されている。
【００１６】
画像処理装置１は、投影用映像コンテンツの投影対象物である人物の動きに応じて、プロジェクタ２に投影される人物領域がスクリーン５の外形領域に収まるよう、投影用映像コンテンツの映像データにおける人物領域の倍率や位置を補正し、補正した映像データをプロジェクタ２に送信してスクリーン５上に投影させる装置である。スクリーン５の外形領域とは、スクリーン５の外形（輪郭）に囲まれた領域をさす。画像処理装置１としては、例えば、ＰＣ（Personal Computer）、端末装置等が適用可能である。
【００１７】
図３に、画像処理装置１の機能構成例を示す。図３に示すように、画像処理装置１は、制御部１０、操作部１１、表示部１２、記憶部１３、Ｉ／Ｆ１４、Ｉ／Ｆ１５、音声出力部１６等を備えて構成されている。
【００１８】
制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部１０のＣＰＵは、記憶部１３のプログラム記憶部１３１に記憶されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って、後述する再生制御処理を始めとする各種処理を実行する。
制御部１０は、再生制御処理を実行することにより、スクリーン画像取得手段、スクリーン外形領域抽出手段、対象領域抽出手段、第２の対象領域抽出手段、補正手段、動き情報取得手段、制御手段として機能する。
【００１９】
操作部１１は、各種機能キーやカーソルキー等を有し、ユーザによるキー入力を受け付けてその操作情報を制御部１０に出力する。
【００２０】
表示部１２は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０からの表示制御信号に従って、各種表示を行う。
【００２１】
記憶部１３は、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。記憶部１３には、図３に示すように、プログラム記憶部１３１、映像データ記憶部１３２、設定情報記憶部１３３が設けられている。
【００２２】
プログラム記憶部１３１には、制御部１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。プログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１３１に格納されている。制御部１０は、当該プログラムコードに従った動作を逐次実行する。
【００２３】
映像データ記憶部１３２は、投影用映像コンテンツの映像データを記憶する。映像データは、動画データを構成する複数のフレーム画像のデータ及び各フレーム画像に対応する音声データにより構成されている。
【００２４】
設定情報記憶部１３３は、投影用映像コンテンツの映像データ（フレーム画像）をスクリーン５に投影する際の人物領域の倍率及び位置の移動量を示す設定情報を記憶する。倍率の設定情報は、例えば、投影用映像コンテンツの任意のフレーム画像（例えば、１フレーム目）から、例えば画像認識等の公知の画像処理によって人物領域を抽出し、抽出した人物領域のサイズ、プロジェクタ２の拡大率、スクリーン５のサイズ等に基づいて、予め算出されて登録されている。位置の移動量の設定情報としては、例えば、投影用映像コンテンツのフレーム画像から画像処理によって人物領域を抽出し、その人物領域の重心位置を求め、求めた重心位置が画像中央に一致するように移動させたときの移動量及び移動方向が予め登録されている。
【００２５】
Ｉ／Ｆ１４は、プロジェクタ２と接続し、データ送受信を行うためのインターフェースである。
Ｉ／Ｆ１５は、カメラ３と接続し、データ送受信を行うためのインターフェースである。
【００２６】
音声出力部１６は、スピーカ４が接続され、制御部１０により指示された音声データを音声信号に変換してスピーカ４から出力させる。
【００２７】
プロジェクタ２は、画像処理装置１から送信されたフレーム画像に基づいてスクリーン５の背面から映像を投影する背面投射型の投影装置である。プロジェクタ２は、例えば、フレーム画像に基づいて、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影対象物がフレーム画像中の人物領域である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域のみを投影することが可能となる。
【００２８】
カメラ３は、スクリーン５の外形領域が視野内に収まる位置に設置され、画像処理装置１からの指示に従ってスクリーン５を撮影し、得られた撮影画像をＩ／Ｆ１５を介して画像処理装置１に送信する。
【００２９】
スクリーン５は、支持台６に支持され、プロジェクタ２の出力光照射方向に配置された人型のスクリーンである。スクリーン５は、図１に示すように、投影対象の人型に成型された透明アクリル板等の基材５１の前面上側に背面投影用のスクリーンフィルム５２が貼付され、下側に投影対象の人物の下半身が印刷されたフィルム５３が貼付されて構成されている。このスクリーンフィルムは市販されている高輝度、高コントラストを有するものを用いることにより、日中の明るさであっても、また、明るい居室内であっても、スクリーン５に投影されたコンテンツを視認することができる。
【００３０】
なお、本実施形態においては、人物の上半身が撮影された投影用映像コンテンツをスクリーン５に投影する場合を例としているが、スクリーン５の基材５１の全面に背面投影用のスクリーンフィルム５２を貼付した構成とし、人物の全身が撮影された投影用映像コンテンツをスクリーン５に投影することとしてもよい。
【００３１】
＜画像処理装置１の動作＞
次に、本実施形態における動作について説明する。
図１に示すコンテンツ再生システム１００の構成においては、投影用映像コンテンツのフレーム画像やスクリーン５に投影した投影像の撮影画像は、正面像とは左右を反転したものとなるが、以下の説明に使用する図においては左右反転は省略し、全て正面像として図示する。
【００３２】
図４に、画像処理装置１によって実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部１０のＣＰＵと記憶部１３のプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００３３】
まず、制御部１０は、操作部１１からの入力に応じて補正閾値の設定を行う（ステップＳ１）。補正閾値は、後述する再生及び補正処理において、投影用映像コンテンツにおける人物領域の動きが閾値以上であるか否かを判断する際に用いられる値である。例えば、投影に使用するフレーム画像の人物領域の位置が標準位置（後述する初期位置合わせ処理で設定される）を基準として左、右、上、又は下に何％以上（何ピクセル以上）ずれていれば補正を行うかを示す値である。操作部１１から入力された補正閾値は、制御部１０によりプログラム記憶部１３１に記憶される。
【００３４】
次いで、制御部１０は、初期位置合わせ処理を実行する（ステップＳ２）。
図５に、画像処理装置１によって実行される初期位置合わせ処理のフローチャートを示す。初期位置合わせ処理は、制御部１０のＣＰＵと記憶部１３のプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００３５】
初期位置合わせ処理において、まず、制御部１０は、投影用映像コンテンツのフレーム画像（例えば、１フレーム目）を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ２０１）。
次いで、制御部１０は、記憶部１３の設定情報記憶部１３３から設定情報を取得し、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ２０２）。
【００３６】
次いで、制御部１０は、作成されたフレーム画像から人物領域を抽出し、抽出した人物領域の位置情報及び作成されたフレーム画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２によりフレーム画像中の人物領域をスクリーン５に投影させる（ステップＳ２０３）。人物領域は、例えば、画像認識等の公知の画像処理技術によって抽出することができる。
【００３７】
次いで、制御部１０は、投影中のスクリーン５を含む投影像をカメラ３に撮影させて撮影画像を取得し（ステップＳ２０４）、取得した撮影画像からスクリーン５の外形領域を抽出する（ステップＳ２０５）。
ステップＳ２０５において、スクリーン５の外形領域は、例えば、撮影画像にぼかし処理及び二値化処理を施すことにより抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。
【００３８】
次いで、制御部１０は、撮影画像から投影像の人物領域を抽出する（ステップＳ２０６）。ステップＳ２０６においては、例えば、ステップＳ２０５より高い（明るい）輝度の閾値を用いて撮影画像に二値化処理を施すことにより投影像の人物領域を抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。
【００３９】
次いで、制御部１０は、撮影画像から抽出されたスクリーン５の外形領域と人物領域とを比較し、両者の位置合わせを行う（ステップＳ２０７）。例えば、スクリーン５の外形領域の重心と人物領域の重心をそれぞれ求め、両者が一致するように人物領域を移動させた後、人物領域がスクリーン５の外形領域に対して予め定められたサイズ（例えば、約０．９倍）となるように倍率を変更する。
【００４０】
次いで、制御部１０は、ステップＳ２０７の位置合わせにおける人物領域の倍率及び移動量（及び移動方向）に基づいて、投影時のフレーム画像の倍率及び位置の移動量（及び移動方向）を算出し、算出結果により設定情報記憶部１３３の設定情報を更新する。また、更新された設定情報に基づいて、ステップＳ２０１において取得されたフレーム画像の倍率及び位置を変更したフレーム画像（位置合わせ後のフレーム画像）を作成する（ステップＳ２０８）。
【００４１】
次いで、制御部１０は、位置合わせ後のフレーム画像から人物領域を抽出する（ステップＳ２０９）。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。
そして、制御部１０は、抽出した人物領域から重心を求め、求めた重心位置の座標を人物領域の標準位置としてＲＡＭに記憶し（ステップＳ２１０）、処理は図４のステップＳ３に移行する。
【００４２】
図４のステップＳ３においては、再生及び補正処理が実行される。
図６に、画像処理装置１によって実行される再生及び補正処理のフローチャートを示す。再生及び補正処理は、制御部１０のＣＰＵと記憶部１３のプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００４３】
再生及び補正処理において、制御部１０は、投影用映像コンテンツの投影対象のフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ３０１）。
次いで、制御部１０は、記憶部１３の設定情報記憶部１３３から倍率及び位置の移動量の設定情報を取得し、取得された設定情報に基づいて、フレーム画像の人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ３０２）。
【００４４】
次いで、制御部１０は、作成したフレーム画像から人物領域を抽出する（ステップＳ３０３）。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。
【００４５】
次いで、制御部１０は、抽出した人物領域の重心位置を求め、この重心位置とＲＡＭに記憶された標準位置とを比較し、標準位置からの人物領域の重心位置の移動量（及び移動方向）を人物領域の動きを示す情報として取得する（ステップＳ３０４）。そして、標準位置からの人物領域の重心位置の移動量が予め設定された補正閾値以上であるか否かに基づいて、人物領域の動きが閾値以上であるか否かを判断する（ステップＳ３０５）。
【００４６】
ステップＳ３０５において、人物領域の動きが閾値以上ではないと判断した場合（ステップＳ３０５；ＮＯ）、制御部１０は、ステップＳ３０７の処理に移行する。人物領域の動きが閾値以上であると判断した場合（ステップＳ３０５；ＹＥＳ）、制御部１０は、抽出した人物領域の重心位置が標準位置となるようにフレーム画像を補正し（ステップＳ３０６）、ステップＳ３０７の処理に移行する。
【００４７】
ステップＳ３０７において、制御部１０は、フレーム画像（補正されたフレーム画像。補正されていない場合はステップＳ３０２で作成されたフレーム画像）から人物領域を抽出し、抽出した人物領域の位置情報及び当該フレーム画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２によりフレーム画像中の人物領域をスクリーン５に投影させる。また、対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ３０７）。
【００４８】
次いで、制御部１０は、投影用映像コンテンツに次のフレーム画像があるか否かを判断する（ステップＳ３０８）。次のフレーム画像がある場合は（ステップＳ３０８；ＹＥＳ）、制御部１０はステップＳ３０１の処理に戻り、次のフレーム画像についてステップＳ３０１〜ステップＳ３０７の処理を実行する。次のフレーム画像がないと判断した場合（ステップＳ３０８；ＮＯ）、制御部１０は、再生制御処理を終了する。
【００４９】
図７に、上記再生制御処理における人物領域の補正動作の概念を模式的に示す。図７（ａ）は、スクリーン５に投影用映像コンテンツを投影したときのスクリーン５及び投影像を撮影した撮影画像の一例を示す図である。投影像の撮影画像が図７（ａ）に示すものである場合、撮影画像のスクリーン５の外形領域及び投影像である人物領域を抽出し、人物領域の重心位置を移動してスクリーン５の外形領域の重心位置に合わせるとともに、人物領域の倍率を変更して人物領域がスクリーン５に収まる所定倍率となるように合わせる。このときの移動量（及び移動方向）及び変更した倍率に基づいて、図７（ｂ）に示すように元のフレーム画像の倍率及び移動量を変更したフレーム画像を作成する。このフレーム画像に基づく映像をスクリーン５に投影すると、図７（ｃ）に示すようにスクリーン５内に収まるように適切に人物領域が投影される。また、このときのフレーム画像における人物領域の重心位置を標準位置として記憶しておき、投影する投影用映像コンテンツの人物領域に動きがある場合、各フレーム画像の人物領域の重心位置が標準位置となるようにフレーム画像を補正することで、人物領域に動きがあっても、人物像の一部がはみ出したり欠けたりすることなくスクリーン５内の適切な位置に投影することが可能となる。
【００５０】
なお、上記第１の実施形態においては、初期位置合わせ処理のステップＳ２０９において位置合わせ後のフレーム画像から人物領域を抽出し、抽出した人物領域の重心位置を標準位置として記憶することとしたが、公知の顔認識技術を用いてフレーム画像から顔領域を抽出し、顔領域の重心位置を標準位置として記憶することとしてもよい。そして、再生及び補正処理のステップＳ３０３においては、作成したフレーム画像から顔領域を抽出し、ステップＳ３０４においては、抽出した顔領域の重心位置と標準位置とを比較し、ステップＳ３０５においては、標準位置からの顔領域の重心位置の移動量が予め設定された補正閾値以上であるか否かに基づいて、人物領域の動きが閾値以上であるか否かを判断することとしてもよい。なお、この場合、再生制御処理のステップＳ１で設定される補正閾値は、顔領域の位置がその標準位置を基準として左、右、上、又は下に何％以上（何ピクセル以上）ずれていれば補正を行うかを示す値とする。
【００５１】
また、標準位置や移動量の算出の基準として、人物領域の重心位置を使用することとして説明したが、これに限定されず、例えば、人物領域の中心（人物領域に外接する矩形領域の対角線が交わる位置）等を使用することとしてもよい。
【００５２】
［第２の実施形態］
次に、第２の実施形態について説明する。
第１の実施形態においては、投影用映像コンテンツの各フレーム画像を投影する際に、投影するフレーム画像における人物領域の動きを補正して投影する例について説明した。第２の実施形態においては、全てのフレーム画像の動きの補正を行ってから投影用映像コンテンツの投影を行う例について説明する。
【００５３】
第２の実施形態において、記憶部１３のプログラム記憶部１３１は、後述する再生制御処理Ｂを実行するためのプログラムを記憶している。その他の第２の実施形態におけるコンテンツ再生システム１００及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態の動作について説明する。
【００５４】
図８に、第２の実施形態において画像処理装置１によって実行される再生制御処理Ｂのフローチャートを示す。再生制御処理Ｂは、制御部１０のＣＰＵと記憶部１３のプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
【００５５】
まず、制御部１０は、初期位置合わせ処理を実行する（ステップＳ１０）。具体的には、制御部１０は、図５の初期位置合わせ処理のステップＳ２０１〜Ｓ２０７の処理を行い、ステップＳ２０７の位置合わせにおける人物領域の倍率及び移動量（及び移動方向）に基づいて、投影時の人物領域の倍率及び位置の移動量（及び移動方向）を算出し、算出結果により設定情報記憶部１３３の設定情報を更新する。
【００５６】
次いで、制御部１０は、投影用映像コンテンツのフレーム画像と同サイズの画像をｎ×ｎ（ｎは正の整数）の領域に分割し、分割線の入った画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、画像全体を投影させる（ステップＳ１１）。
【００５７】
次いで、制御部１０は、投影中のスクリーン５を含む投影像をカメラ３に撮影させて撮影画像を取得し（ステップＳ１２）、取得した撮影画像からスクリーン５の外形領域を抽出する（ステップＳ１３）。スクリーン５の外形領域の抽出は、図５のステップＳ２０５で説明したものと同様の処理により行うことができる。図９（ａ）に、ステップＳ１２で取得される撮影画像の模式図を示す。
【００５８】
次いで、制御部１０は、記憶部１３の設定情報記憶部１３３から当該投影用映像コンテンツのフレーム画像を投影する際の人物領域の倍率及び位置の移動量の設定情報を取得し（ステップＳ１４）、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ１５）。
【００５９】
次いで、制御部１０は、作成されたフレーム画像から人物領域を抽出する（ステップＳ１６）。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。
【００６０】
次いで、制御部１０は、ＲＡＭに最大領域が設定されているか否かを判断する（ステップＳ１７）。ここで、最大領域とは、投影用映像コンテンツを構成する複数のフレーム画像を重ね合わせたときの最大の人物領域である。ＲＡＭには、最初のフレーム画像から直前のフレーム画像までの複数のフレーム画像の人物領域の論理和をとった領域（ＯＲ領域と呼ぶ））が最大領域として順次設定されている。なお、最初のフレーム画像の場合は、まだＯＲ領域が算出されていないので最大領域は設定されていない。
【００６１】
最大領域が設定されていないと判断した場合（ステップＳ１７；ＮＯ）、制御部１０は、抽出された人物領域を最大領域としてＲＡＭに設定し（ステップＳ１８）、ステップＳ２１の処理に移行する。
【００６２】
最大領域が設定されていると判断した場合（ステップＳ１７；ＹＥＳ）、制御部１０は、抽出した人物領域と最大領域を比較し、人物領域に最大領域からはみ出している部分があるか否かを判断する（ステップＳ１９）。ここで、本実施形態においては、抽出された人物領域と最大領域とを比較し、はみ出している部分があるか否かによって、人物領域の動きを検出している。最大領域からはみ出している部分があると判断した場合（ステップＳ１９；ＹＥＳ）、制御部１０は、そのはみ出している部分を最大領域に追加してＲＡＭの最大領域を更新する（ステップＳ２０）。即ち、それまでの最大領域と抽出した人物領域とのＯＲ領域を最大領域として設定する。
【００６３】
次いで、制御部１０は、投影用映像コンテンツに次のフレーム画像があるか否かを判断する（ステップＳ２１）。次のフレーム画像がある場合は（ステップＳ２１；ＹＥＳ）、制御部１０は、ステップＳ１４の処理に戻り、ステップＳ１４〜ステップＳ２０の処理を繰り返し実行する。次のフレーム画像がないと判断した場合（ステップＳ２１；ＮＯ）、制御部１０は、ステップＳ２２に移行する。
全てのフレーム画像の人物領域を重ね合わせた最大領域は、投影用映像コンテンツにおける人物領域の動きの範囲を示す情報となる。
【００６４】
ステップＳ２２において、制御部１０は、ステップＳ１３で抽出されたスクリーン５の外形領域と最大領域を比較し、人物領域の倍率を決定する（ステップＳ２２）。例えば、制御部１０は、最大領域が形成された画像をｎ×ｎに分割し、そのときの分割線を画像に付加する。図９（ｂ）に、分割線を付加した最大領域の画像を模式的に示す。最大領域は点線で示した領域である。そして、ステップＳ１２で撮影された撮影画像の分割線と最大領域の画像の分割線とにより撮影画像とフレーム画像の対応をとってスクリーン５と最大領域とを比較し（図９（ｃ）参照）、最大領域がスクリーン５からはみ出ない最大の倍率を決定し（図９（ｄ）参照）、決定した倍率により設定情報の倍率を更新する。
このように、スクリーン５の外形領域から最大領域がはみ出ない倍率に設定情報の倍率を更新することで、次のステップＳ２３において倍率が補正されたフレーム画像を作成することができる。
【００６５】
次いで、制御部１０は、更新した倍率及び位置の設定情報に基づいて、投影用映像コンテンツの各フレーム画像の人物領域を順次プロジェクタ２に投影させるとともに、対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ２３）。具体的には、設定情報に基づいて各フレーム画像の倍率及び位置を変更（補正）したフレーム画像を作成し、作成したフレーム画像から人物領域を抽出し、抽出した人物領域の位置情報及び作成されたフレーム画像を順次Ｉ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２によりフレーム画像中の人物領域をスクリーン５に投影させる。また、対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる。
【００６６】
このように、第２の実施形態においては、各フレーム画像を重ね合わせたときの最大領域がスクリーン５の外形領域に収まるようにフレーム画像を補正するので、人物領域に動きがあっても、人物像の一部がはみ出したり欠けたりすることなくスクリーン５内の適切な位置に投影することが可能となる。
【００６７】
以上説明したように、コンテンツ再生システム１００によれば、制御部１０は、人型のスクリーン５を含む撮影画像からスクリーン５の外形領域を抽出し、投影用映像コンテンツのフレーム画像から投影対象の人物領域を抽出し、抽出したスクリーン５の外形領域及び人物領域に基づいて、投影用映像コンテンツのフレーム画像を補正する。そして、補正したフレーム画像に基づいてプロジェクタ２によりスクリーン５上に人物を投影させる。
従って、人物領域がスクリーン５に収まるようにフレーム画像を補正することで、投影用映像コンテンツ中の人物が動いても、プロジェクタ２とスクリーン５の位置関係を調整することなく、スクリーン５内に人物像が収まるように適切に投影を行うことが可能となる。
【００６８】
例えば、投影用映像コンテンツの複数のフレーム画像から抽出された人物領域に基づいて、当該映像コンテンツにおける人物領域の動きを示す情報を取得し、取得した人物の動きを示す情報と撮影画像から抽出したスクリーンの外形領域に基づいて映像コンテンツの各フレーム画像を補正することで、投影用映像コンテンツ中の人物が動いてもスクリーン５内に人物像が収まるように適切に投影を行うことが可能となる。
【００６９】
具体的に、複数のフレーム画像から抽出された複数の人物領域を重ね合わせたときの最大領域を投影用映像コンテンツにおける人物領域の動きの範囲を示す情報として取得し、最大領域と撮影画像から抽出したスクリーン５の外形領域とに基づいて、最大領域がスクリーン５に収まるように映像コンテンツのフレーム画像を補正することで、投影用映像コンテンツ中の人物が動いてもスクリーン５内に人物像が収まるように適切に投影を行うことが可能となる。
【００７０】
また、例えば、撮影画像から抽出されたスクリーン５の外形領域及び投影用映像コンテンツの各フレーム画像から抽出された人物領域に基づいて、投影用映像コンテンツにおける人物領域の動きを示す情報を取得し、取得した人物領域の動きを示す情報に基づいて、各フレーム画像を補正することで、投影用映像コンテンツ中の人物が動いてもスクリーン５内に人物像が収まるように適切に投影を行うことが可能となる。
【００７１】
具体的に、人物像が投影されたスクリーン５を含む撮影画像からスクリーン５の外形領域とともに人物領域を抽出し、抽出されたスクリーンの外形領域と人物領域に基づいて、投影用映像コンテンツの複数のフレーム画像における人物領域の標準位置を決定する。そして、複数のフレーム画像のそれぞれにおける人物領域の標準位置からの移動量を人物領域の動きを示す情報として取得し、取得した取得した人物領域の動きを示す情報に基づいて、各フレーム画像を補正することで、投影用映像コンテンツ中の人物が動いてもスクリーン５内に人物像が収まるように適切に投影を行うことが可能となる。
【００７２】
なお、上記実施形態における記述内容は、本発明に係るコンテンツ再生システムの好適な一例であり、これに限定されるものではない。
【００７３】
例えば、上記実施形態においては、画像処理装置１とプロジェクタ２とは別体であることとして説明したが、一体的に構成されたものであってもよい。また、プロジェクタ２とカメラ３は一体的に構成されたものであってもよい。
【００７４】
また、上記実施形態においては、プロジェクタ２の出力光がスクリーン５の背面に直接照射される構成を例にとり説明したが、プロジェクタ２の出力光を反射するミラーを設け、ミラーの反射光をプロジェクタ２の背面に投影することとしてもよい。
【００７５】
また、上記実施形態においては、投影用映像コンテンツの映像データは記憶部１３に記憶されていることとして説明したが、画像処理装置１に通信ネットワークを介して接続されるサーバから配信される構成としてもよい。また、ＵＳＢメモリや各種の記録媒体から映像データを取り込む構成としてもよい。
【００７６】
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００７７】
その他、コンテンツ再生システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００７８】
(付記)
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形領域を抽出するスクリーン外形領域抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する対象領域抽出手段と、
前記対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する動き情報取得手段と、
前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域、前記対象領域抽出手段により抽出された前記投影対象物の領域、及び前記動き情報取得手段により取得された前記投影対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する補正手段と、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる制御手段と、
を備える画像処理装置。
＜請求項２＞
前記対象領域抽出手段は、前記映像データを構成する複数のフレーム画像のそれぞれから前記投影対象物の領域を抽出し、
前記動き情報取得手段は、前記対象領域抽出手段により複数のフレーム画像から抽出された複数の前記投影対象物の領域を重ね合わせたときの最大領域を前記映像コンテンツにおいて前記投影対象物の動きの範囲を示す情報として取得し、
前記補正手段は、前記動き情報取得手段により取得された前記最大領域と前記スクリーン外形領域抽出手段により抽出されたスクリーンの外形領域に基づいて、前記映像コンテンツの映像データを補正する請求項１に記載の画像処理装置。
＜請求項３＞
前記動き情報取得手段は、更に前記スクリーン外形領域抽出手段により抽出されたスクリーンの外形領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する請求項１に記載の画像処理装置。
＜請求項４＞
前記スクリーン画像取得手段は、前記投影装置により前記投影対象物が投影された前記スクリーンを含む撮影画像を取得し、
前記対象領域抽出手段は、前記映像データを構成する複数のフレーム画像のそれぞれから前記投影対象物の領域を抽出し、
前記投影対象物が投影された前記スクリーンを含む撮影画像から前記投影対象物の領域を抽出する第２の対象領域抽出手段を備え、
前記動き情報取得手段は、前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域と前記第２の対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像データにおける前記投影対象物の標準位置を決定し、前記対象領域抽出手段により抽出された前記複数のフレーム画像のそれぞれにおける前記投影対象物の領域の前記標準位置からの移動量を前記投影対象物の動きを示す情報として取得する請求項３に記載の画像処理装置。
＜請求項５＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における映像データ補正方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形領域を抽出する工程と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する工程と、
前記抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する工程と、
前記抽出された前記スクリーンの外形領域、前記抽出された前記投影対象物の領域、及び前記取得された前記対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する工程と、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる工程と、
を含む映像データ補正方法。
＜請求項６＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形領域を抽出するスクリーン外形領域抽出手段、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出する対象領域抽出手段、
前記対象領域抽出手段により抽出された前記投影対象物の領域に基づいて、前記映像コンテンツにおける前記投影対象物の動きを示す情報を取得する動き情報取得手段と、
前記スクリーン外形領域抽出手段により抽出された前記スクリーンの外形領域、前記対象領域抽出手段により抽出された前記投影対象物の領域、及び前記動き情報取得手段により取得された前記投影対象物の動きを示す情報に基づいて、前記映像コンテンツの映像データを補正する補正手段、
前記補正された映像データに基づいて前記投影装置により前記スクリーン上に前記投影対象物を投影させる制御手段、
として機能させるためのプログラム。
【符号の説明】
【００７９】
１００  コンテンツ再生システム
１  画像処理装置
１０  制御部
１１  操作部
１２  表示部
１３  記憶部
１３１  プログラム記憶部
１３２  映像データ記憶部
１３３  設定情報記憶部
１４  Ｉ／Ｆ
１５  Ｉ／Ｆ
１６  音声出力部
２  プロジェクタ
３  カメラ
４  スピーカ
５  スクリーン
５１  基材
５２  スクリーンフィルム
５３  フィルム
６  支持台
【図１】
2014089242.tif 000003
【図２】
2014089242.tif 000004
【図３】
2014089242.tif 000005
【図４】
2014089242.tif 000006
【図５】
2014089242.tif 000007
【図６】
2014089242.tif 000008
【図８】
2014089242.tif 000009
【図９】
2014089242.tif 000010
【図７】
2014089242.tif 000011