(57)【要約】【課題】人の自然な表情を撮影した画像を得る。【解決手段】表情撮影システム２は、撮影ユニット３，  メインユニット４からなる。撮影ユニット３は、投影部９，  デジタルカメラ１１，  撮影制御部１２などからなる。投影部９は、特定の表情を出させる特別シーンが盛り込まれた映像をスクリーン６に投影する。撮影制御部１２は、特別シーンが投影されたときに所定のタイミングでデジタルカメラ１１に対して撮影信号を送る。デジタルカメラ１１は、撮影信号に応答して利用者の顔画像を連続して撮影する。メインユニット４の画像抽出部は、表情評価手順に従って各顔画像の特徴量を算出した後、算出されたこれらの特徴量を基本の特徴量と比較して、複数コマの顔画像の中から、基本の特徴量に最も近い特徴量の顔画像を自然な顔画像として抽出する。【選択図】        図１
2005031423.tif 000002
【特許請求の範囲】
【請求項１】
映像を観賞する利用者を撮影する画像撮影システムにおいて、
特別シーンを含む映像を表示する表示部と、
前記特別シーンが表示されたときに、前記利用者の顔画像を複数回連続して撮影する撮影部と、
前記撮影部によって撮影された複数コマの顔画像の中から、前記特別シーンのタイプに応じて予め設定されている基本の顔画像に最も近い顔画像を抽出する抽出部とを設けたことを特徴とする画像撮影システム。
【請求項２】
前記特別シーンと、前記抽出部によって抽出された顔画像とを１枚のシートに印画することを特徴とする請求項１記載の画像撮影システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人物の表情を自動的に撮影する画像撮影システムに関するものである。
【０００２】
【従来の技術】
遊園地やテーマパークといった娯楽施設には、スクリーンに映し出される映像や、俳優が舞台の上で演じる演劇を視聴する視聴型アトラクションがある。このような視聴型アトラクションの会場内では、スチルカメラなどを持参した撮影者が上映中、あるいは上演中に誤ってフラッシュ撮影を行って、他の視聴者の観賞を妨げることが考えられるため、撮影が禁止されている場合が少なくない。
【０００３】
このような撮影禁止のアトラクションにおいて、記念写真が得られるようなサービスとして、アトラクション専用の写真撮影ブースを設けることが提案されている（例えば、特許文献１参照）。この写真撮影ブースには、デジタルカメラと、アトラクション固有の情景を描いたセットとが配置されている。写真撮影ブースを利用する利用者は、予め無線送信器を内蔵した電子タグを借り受けている。利用者は、電子タグを持って写真撮影ブースに入った後、電子タグに設けられたシャッタボタンを操作してデジタルカメラを作動させることにより、撮影禁止のアトラクションにおいても記念写真を撮ることができる。
【０００４】
【特許文献１】特開２００２−４１７０３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した写真撮影システムでは、利用者は、撮影に備えて表情を作り変えているのが通常であり、また、カメラ目線となり易いことから、利用者の自然な表情を撮影することができない。また、写真撮影ブースで撮影された写真からはアトラクションの名称や人物を知ることができても、アトラクションの内容を知ることができず、写真を見た第三者の関心を引くことができない。
【０００６】
本発明は、利用者の自然な表情を撮影した画像を得ることができる画像撮影システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像撮影システムは、特別シーンを含む映像を表示する表示部と、前記特別シーンが表示されたときに、利用者の顔画像を複数回連続して撮影する撮影部と、前記撮影部によって撮影された複数コマの顔画像の中から、前記特別シーンのタイプに応じて予め設定されている基本の顔画像に最も近い顔画像を抽出する抽出部とを設けたことを特徴とする。
【０００８】
また、前記特別シーンと、前記抽出部によって抽出された顔画像とを１枚のシートに印画することを特徴とする。
【０００９】
【発明の実施の形態】
図１及び図２に示す画像撮影システム２は、撮影ユニット３，  メインユニット４，  プリント部５からなる。撮影ユニット３は、例えば、スクリーン６とシート７とが対面するようなアトラクション会場８内に設置される。アトラクションの利用者は、シート７に座ってスクリーン６に映し出される映像を観賞する。この観賞中に、撮影ユニット３によって、１人の利用者につき複数コマの顔画像が撮影される。撮影された顔画像は、メインユニット４に送られる。メインユニット４は、複数コマの顔画像の中から自然な表情の顔画像を抽出する。
【００１０】
撮影ユニット３は、投影部９，  シート制御部１０，  デジタルカメラ１１，  撮影制御部１２などからなる。投影部９は、スクリーン６に後述の３次元ＣＧ（ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ  ）を投影する。シート制御部１０は、各シート７に接続されており、３次元ＣＧに合わせて各シート７を揺動させる。このように、画像撮影システム２には、３次元ＣＧと揺動シートとを組み合わせた仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ  ）体感アトラクションが用いられる。３次元ＣＧの代わりに、２次元の映像をスクリーン６に表示しても良いし、揺動シートを省略しても良いが、笑い，  驚き，  悲しみといった自然な表情を出すという観点から、３次元ＣＧと揺動シートとを組み合わせることが好ましい。
【００１１】
デジタルカメラ１１は、例えば、スクリーン６の下方に配置されている。デジタルカメラ１１は、撮影制御部１２から所定のタイミングで送られる撮影信号に応答して、図示しないシャッタを開閉して、１人の利用者の顔画像を撮影する。複数の利用者の顔画像を撮影するには、１人分の顔画像を撮影する複数のデジタルカメラを用いても良いし、あるいは複数人分の顔画像を同時に撮影する少なくとも１つのデジタルカメラを用いても良い。後者の場合は、後述の顔画像抽出処理を用いて、各利用者の顔画像を得ることができる。なお、利用者にデジタルカメラの存在を意識させないようにするために、デジタルカメラ１１を利用者から見えないように配置することが好ましい。
【００１２】
図２に示すように、メインユニット４は、ＣＰＵ１３，  ＲＯＭ１４，  ＲＡＭ１５，  画像抽出部１６，  ハードディスク１７，  画像編集部１８，  表示モニタ１９，  操作部２０からなる。ＣＰＵ１３は、操作部２０からの操作信号に応じて画像撮影システム２の各部を制御する。ＲＯＭ１４には、このシステム２を制御するプログラムが記憶されている。ＲＡＭ１５は、ＣＰＵ１３がプログラムを実行する際の作業用メモリである。
【００１３】
画像抽出部１６は、表情評価手順に従って顔画像のデータを分析して、自然な表情の顔画像を抽出する顔画像抽出処理を行う。表情評価手順としては、例えば、画像中の人物の顔を構成する特定の部位を識別して顔の領域を割り出し、顔の領域の割り出し後に、人物の表情を形成する両眉，  両目，  口の各部を識別して、両眉，  両目，  口の各部及び周辺に特徴点を設定する。設定されたこれらの特徴点の間隔や位置を検出することで、各顔画像の特徴量を算出する。画像抽出部１６は、各顔画像の特徴量と、予め設定されている基準の特徴量とを比較し、基準の特徴量に最も近い顔画像を自然な顔画像として抽出する。
【００１４】
ハードディスク１７には、画像抽出部１６により抽出された顔画像のデータを格納するための抽出画像格納領域１７ａが設けられている。抽出画像格納領域１７ａには、顔画像のデータが座席番号に関連づけられて格納される。
【００１５】
画像編集部１８は、操作部２０からのアルバム作製指示を受け、ハードディスク１７から顔画像のデータを読み出す。読み出された顔画像のデータは、予め用意されているテンプレートにはめ込まれる。このはめ込み済みの画像データが、アルバム用シートに印画される印画データとして出力される。テンプレートには、その一部に所定の３次元ＣＧの映像を組み込む。
【００１６】
図３に示すように、例えば１５分間の３次元ＣＧ２１には、驚き，  悲しみ，  幸福の各シーンが盛り込まれている。人間の表情には、６種類の基本表情（怒り，  嫌悪，  恐れ，  悲しみ，  幸福，  驚き）があり、これらの表情は、人種，  文化，  性別などに関係なく共通であることが知られている。本実施形態の３次元ＣＧ２１は、驚き，  悲しみ，  幸福の３種類の基本表情を出させるための特別シーン２１ａ，  ２１ｂ，  ２１ｃを含んでおり、利用者はこれらの特別シーン２１ａ，  ２１ｂ，  ２１ｃを体感したとき、両眉，両目，  口の状態を変化させて、驚き，  悲しみ，  幸福の表情となる。
【００１７】
図４は、撮影制御部１２がデジタルカメラ１１に撮影信号を送るタイミングを示している。撮影制御部１２は、各特別シーン２１ａ，  ２１ｂ，  ２１ｃが投影された瞬間に１回目の撮影信号を送り、２回目以降の撮影信号を１回目の撮影信号から０．５秒置きに送る。撮影信号は、各特別シーン２１ａ，  ２１ｂ，  ２１につき４回送られる。デジタルカメラ１１は、この撮影信号に応答して１人の利用者につき合計して１２コマの顔画像を撮影する。このように、アトラクションの映像に特定の表情を出させるような特別シーン２１ａ，  ２１ｂ，  ２１を盛り込み、その特別シーン２１ａ，  ２１ｂ，  ２１が投影されたときに、所定のタイミングで利用者の顔画像を撮影するから、的確にリアル且つ自然な表情を捉えることができる。
【００１８】
図５は、幸福シーン２１ｃが投影されたときに撮影された顔画像２２である。画像抽出部１６は、各顔画像２２の特徴量を算出した後、幸福の表情を表す基準の特徴量と比較して、この基準の特徴量に最も近い３回目の顔画像を自然な顔画像として抽出する。同様にして、画像抽出部１６は、驚きシーン２１ａ及び悲しみシーン２１ｂで撮影された顔画像から、最も適したものを抽出する。図６に示すように、表示モニタ１９には、驚き，  悲しみ，  幸福の各特別シーン２１ａ，  ２１ｂ，  ２１に対応する顔画像２３ａ，  ２３ｂ，  ２３ｃが表示される。アトラクション係員は、この表示を見て、各顔画像２３ａ，  ２３ｂ，  ２３ｃの確認を行う。アトラクション係員の確認がなされた各顔画像２３ａ，  ２３ｂ，  ２３ｃは、ハードディスク１７に格納される。
【００１９】
プリント部５は、画像編集部１８から入力される印画データをアルバム用シートに印画する。図７に示すように、各シート２４ａ，  ２４ｂ，  ２４ｃには、驚き，  悲しみ，  幸福の各特別シーン２１ａ，  ２１ｂ，  ２１に、これらの各特別シーン２１ａ，  ２１ｂ，  ２１に対応する顔画像２３ａ，  ２３ｂ，  ２３ｃがそれぞれはめ込まれた印画データが印画される。各シート２４ａ，  ２４ｂ，  ２４ｃが印画された後、これらのシート２４ａ，  ２４ｂ，  ２４ｃが製本されて、１人の利用者につき３ページのアルバムが作製させる。
【００２０】
以上、上記構成による作用について、図８のフローチャートを用いて説明する。利用者がアトラクション会場８に入場し、各シート７に着席したことが確認されると、スクリーン６に３次元ＣＧ２１が投影される。３次元ＣＧ２１が開始してから例えば約２分後に、スクリーン６に驚きシーン２１ａが投影される。このとき、デジタルカメラ１１が所定のタイミングで作動され、４コマ分の顔画像が撮影される。また、投影開始の約７分後に、悲しみシーン２１ｂが投影され、４コマ分の顔画像が撮影される。さらに、投影開始の約１４分後に、幸福シーン２１ｃが投影され、４コマ分の顔画像が撮影される。投影開始から１５分が経過すると、３次元ＣＧ２１が終了する。
【００２１】
撮影された複数コマの顔画像は、画像抽出部１６に送られる。画像抽出部１６は、表情評価手段に従って各顔画像の特徴量を算出する。算出された各顔画像の特徴量は各表情を表す基準の特徴量と比較され、各基準の特徴量に最も近い顔画像が各特別シーン２１ａ，  ２１ｂ，  ２１ｃ毎に抽出される。抽出された各顔画像２３ａ，  ２３ｂ，  ２３ｃのデータは、表示モニタ１９に表示され、アトラクション係員の確認がなされた後、ハードディスク１７に格納される。
【００２２】
アトラクション係員が操作部２０を操作してアルバム作製を指示すると、ハードディスク１７から画像編集部１８に各顔画像２３ａ，  ２３ｂ，  ２３ｃのデータが読み出される。画像編集部１８は、予め用意されている各特別シーン２１ａ，  ２１ｂ，  ２１に、各顔画像２３ａ，  ２３ｂ，  ２３ｃをはめ込んで印画データを生成し、この印画データをプリント部５に送る。この印画データがプリント部５によってアルバム用シートに印画された後、製本されて、驚き，  悲しみ，  幸福の各特別シーン２１ａ，  ２１ｂ，  ２１ｃと、これに対応する顔画像２３ａ，  ２３ｂ，  ２３ｃとが３ページに渡ってプリントされたアルバム２４が作製される。
【００２３】
上記実施形態によれば、驚き，  悲しみ，  幸福の各特別シーン２１ａ，  ２１ｂ，  ２１ｃをアトラクションの映像に盛り込んだが、特別シーンはこれに限定されない。また、撮影制御部１２が撮影信号を送るタイミングを、各特別シーン２１ａ，  ２１ｂ，  ２１ｃが投影された瞬間と、その瞬間から０．５秒置きとしたが、タイミングもまたこれに限定されず、特別シーンのタイプに応じて適宜とする。
【００２４】
上記実施形態によれば、顔画像を抽出するために、各特別シーン２１ａ，  ２１ｂ，  ２１ｃにつき４コマの顔画像を撮影したが、撮影コマ数はこれに限定されない。また、静止画像だけでなく、動画像を撮影して、最適な顔画像フレームを抽出しても良い。なお、動画像を撮影した場合は、例えば、特開平１１−２３２４５６号に記載される抽出方法などを利用することができる。
【００２５】
上記実施形態によれば、各シート２４ａ，  ２４ｂ，  ２４ｃに、特別シーン２１ａ，  ２１ｂ，  ２１ｃ及び顔画像２３ａ，  ２３ｂ，  ２３ｃを印画してアルバム２４を作製したが、アルバムに限らず、図９に示すように、全体として物語を展開するような絵本２５のようなものを作製しても良い。例えば、絵本２５の場合には、キャラクターの驚き，  悲しみ，  幸福の各顔画像に、利用者の各顔画像２３ａ，  ２３ｂ，  ２３ｃをはめ込む。
【００２６】
【発明の効果】
以上のように、本発明によれば、特別シーンを含む映像を表示する表示部と、前記特別シーンが表示されたときに、利用者の顔画像を複数回連続して撮影する撮影部と、前記撮影部によって撮影された複数コマの顔画像の中から、前記特別シーンのタイプに応じて予め設定されている基本の顔画像に最も近い顔画像を抽出する抽出部とを設けたから、利用者の自然な表情を撮影した画像を得ることができる。
【００２７】
また、前記特別シーンと、前記抽出部によって抽出された顔画像とを１枚のシートに印画するから、インパクトの強いプリント画像を得ることができる。
【図面の簡単な説明】
【図１】表情撮影システムを概略的に示す構成図である。
【図２】表情撮影システムの構成を示すブロック図である。
【図３】アトラクションの映像の構成を示す説明図である。
【図４】顔画像を撮影するタイミングを示す説明図である。
【図５】撮影された顔画像の一例を示す説明図である。
【図６】各特別シーンに対応する顔画像がディスプレイに表示される様子を示す説明図である。
【図７】特別シーンとこれに対応する顔画像が印画されたアルバムの斜視図である。
【図８】顔画像撮影からアルバム作製に至る手順を示すフローチャートである。
【図９】利用者の顔画像をキャラクターの顔画像にはめ込んだ画像が印画された絵本の斜視図である。
【符号の説明】
２  表情撮影システム
６  スクリーン
９  投影部
１１  デジタルカメラ
１２  撮影制御部
１６  画像抽出部
２１  ３次元ＣＧ
２１ａ，  ２１ｂ，  ２１ｃ  驚き，  悲しみ，  幸福の各特別シーン
２３ａ，  ２３ｂ，  ２３ｃ  各特別シーンに対応する顔画像
２４  アルバム
【図１】
2005031423.tif 000003
【図２】
2005031423.tif 000004
【図３】
2005031423.tif 000005
【図４】
2005031423.tif 000006
【図５】
2005031423.tif 000007
【図６】
2005031423.tif 000008
【図７】
2005031423.tif 000009
【図８】
2005031423.tif 000010
【図９】
2005031423.tif 000011