(57)【特許請求の範囲】
【請求項１】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置において、
利用者が被写体として映る動画像を取り込む撮影手段と、
前記撮影手段により取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成する作成手段と、
前記作成手段により作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出する動き検出手段と、
前記動き検出手段により検出された範囲に応じて前記撮影手段により取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整する調整手段と、
前記調整手段により各画素の濃度が調整されたフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる表示制御手段と
を備える画像撮影編集装置。
【請求項２】
前記調整手段は、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素の濃度を上げるように調整する
請求項１に記載の画像撮影編集装置。
【請求項３】
前記調整手段は、さらに、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素以外の画素の濃度を下げるように調整する
請求項２に記載の画像撮影編集装置。
【請求項４】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置の画像撮影編集方法において、
利用者が被写体として映る動画像を取り込み、
取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、
作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、
検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、
各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる
ステップを含む画像撮影編集方法。
【請求項５】
利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置の処理をコンピュータに実行させるプログラムにおいて、
利用者が被写体として映る動画像を取り込み、
取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、
作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、
検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、
各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮影編集装置および方法、並びにプログラムに関し、特に、より楽しみながら利用者が撮影を行うことができるようにした画像撮影編集装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
娯楽（遊戯）施設等に設置される従来の写真シール作成装置により提供される１回のゲームは、被写体の撮影、撮影画像に対する編集（落書き）、編集が施された編集画像もしくは撮影画像のシール紙への印刷、という流れで終了する。
【０００３】
このような写真シール作成装置においては、利用者自身が写っている撮影画像に対して様々な編集を行うことができるようになされているが、編集を行う以前に、編集の対象となる撮影画像自体が利用者の好みに応じた画像でなければ満足のいかないまま編集を行うことになってしまう。すなわち、編集を楽しむことができず、さらには、ゲームに対しての満足度が欠けてしまう。
【０００４】
そこで、近年、満足のいく撮影画像を得ることができるようにするためや、利用者が面白みのある撮影作業を行うことができるようにするために、様々な手法で撮影を行ったり、様々な撮影画像を取得したりすることができるような写真シール作成装置が開発されている。
【０００５】
例えば、撮影時に、利用者が選択した前景画像や背景画像と、カメラによって取り込んだ被写体の動画像を合成し、その合成画像をライブビュー表示させるような写真シール作成装置がある。利用者は、前景画像や背景画像に合成された自分の画像を見ながら、撮影を行うことができる。
【０００６】
特許文献１には、撮影した画像のうちの被写体の領域以外の領域に背景画像を合成し、その合成画像に前景画像をさらに合成することによって得られた画像をライブビュー表示させる技術が開示されている。
【０００７】
特許文献２には、１度撮影された撮影画像のうちの利用者により指定された領域に、取り込み中の被写体の動画像を合成してライブビュー表示させる技術が開示されている。
【０００８】
特許文献３には、撮影した画像から被写体の特定部位を検出し、検出した特定部位の位置に基づいて、所定のオブジェクトなどの前景となる動画像を合成して表示させる技術が開示されている。
【０００９】
特許文献４には、フレーム画像を動画像として表示し、利用者の指定に応じてフレーム画像を静止させることによって、利用者が、自身が写っている被写体画像と好みのフレーム画像を合成させることができるようにした技術が開示されている。
【００１０】
特許文献５，６には、被写体の動画像を表示し、表示した動画像に対してタッチペンなどを用いて編集を行うことができるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３２００７７号公報
【特許文献２】特開２００７−２４１１９９号公報
【特許文献３】特開２０００−９２４８１号公報
【特許文献４】特開平１０−２８２５７１号公報
【特許文献５】特開２００２−９４９０６号公報
【特許文献６】特開２００２−１２５１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１に開示されている技術によれば、被写体の画像に合成するのに用いられる合成用画像（前景画像・背景画像）は静止画であるため、そのような静止画である合成用画像と合成された自分の画像を見ることができるとしても、撮影作業は面白みに欠けたものとなる。
【００１３】
また、特許文献２に開示されている技術によれば、撮影を２回行ったり、動画像を合成する領域を指定したりする必要があることから、利用者にとって操作が複雑となり、操作性が低下してしまう。
【００１４】
特許文献３に開示されている技術によれば、例えば指検知に応じて前景画像を合成する場合、撮影画像に指が写っていないときには（撮影時に提示される、撮影ポーズのサンプル画像と違うときには）、前景画像が表示されないことになってしまい、このようなとき、面白みに欠けてしまうことになる。
【００１５】
特許文献４に開示されている技術によれば、静止画のフレーム画像を取得する際に、動画像であるフレーム画像の状態が好みの状態になっているタイミングと撮影のタイミングが合わなければ、利用者が意図するフレーム画像が得られず、結果として、合成画像は満足のいかない画像となる。
【００１６】
特許文献５，６に開示されている技術によれば、動画像を見ながら編集を行うことができるが、その編集を行うにはタッチペンなどを操作する必要があることから、利用者にとって操作が複雑となり、操作性が低下してしまう。
【００１７】
このように、従来の技術によれば、利用者にとって操作が複雑であるために操作性が低下することになったり、面白みに欠け、満足のいかない撮影画像を提供することになってしまったりしている。従って、ゲームに対しての利用者の満足度も低下せざるを得ない状況になっている。
【００１８】
ライブビュー表示によって撮影作業時に利用者に提示される動画像は、面白みのあるものであることが好ましい。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、より楽しみながら利用者が撮影を行うことができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の一側面の画像撮影編集装置は、利用者を被写体として撮影し、撮影して得られた画像に対して利用者に編集を行わせ、撮影して得られた前記画像または編集済みの画像を作成する画像撮影編集装置において、利用者が被写体として映る動画像を取り込む撮影手段と、前記撮影手段により取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成する作成手段と、前記作成手段により作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出する動き検出手段と、前記動き検出手段により検出された範囲に応じて前記撮影手段により取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整する調整手段と、前記調整手段により各画素の濃度が調整されたフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させる表示制御手段とを備える。
【００２１】
前記調整手段には、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素の濃度を上げるように調整させることができる。
【００２２】
前記調整手段には、さらに、前記被写体の領域内の画素のうち、前記動き検出手段により検出された範囲と同じ範囲内の画素以外の画素の濃度を下げるように調整させることができる。
【００２３】
利用者は、自分の動きに応じて、自分の姿が浮かび上がったり消えたりする動画像を見ながら撮影を行うことができる。また、利用者は、煩雑な操作を行うことなくそのような動画像を表示させることができる。
【００２４】
すなわち、利用者はより簡単に、かつ楽しみながら撮影を行うことができ、それにより満足感を得ることができる。
【００２５】
本発明の一側面の画像撮影編集方法またはプログラムは、利用者が被写体として映る動画像を取り込み、取り込んだ動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像を作成し、作成したマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲を検出し、検出した範囲に応じて、取り込んだ動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度を調整し、各画素の濃度を調整したフレームから構成される動画像を、編集の対象とする画像の撮影中に表示させるステップを含む。
【００２６】
本発明の一側面においては、利用者が被写体として映る動画像が取り込まれ、取り込まれた動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームに基づいて被写体の領域と背景とを分けるマスク画像が作成される。また、作成されたマスク画像の差分に基づいて、所定の期間毎に被写体が動いた範囲、または静止している範囲が検出され、検出された範囲に応じて、取り込まれた動画像を構成するそれぞれのフレームに映る被写体の領域内の画素の濃度が調整される。さらに、各画素の濃度が調整されたフレームから構成される動画像が、編集の対象とする画像の撮影中に表示される。
【発明の効果】
【００２７】
本発明によれば、利用者はより楽しみながら撮影を行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明を適用した写真シール作成装置の一実施の形態を示す斜視図である。
【図２】図１の写真シール作成装置の他の角度からの斜視図である。
【図３】図１の写真シール作成装置の設置例を示す斜視図である。
【図４】利用者の空間移動を説明する図である。
【図５】事前接客ユニットの構成例を示す図である。
【図６】前方ユニットの正面の構成例を示す図である。
【図７】編集ユニットの側面の構成例を示す図である。
【図８】編集ユニットの他の側面の構成例を示す図である。
【図９】写真シール作成装置の内部の構成例を示すブロック図である。
【図１０】制御装置の機能構成例を示すブロック図である。
【図１１】カメラにより撮影された動画像の例を示す図である。
【図１２】マスク画像の例を示す図である。
【図１３】被写体の動きの範囲の例を示す図である。
【図１４】前景画像の例を示す図である。
【図１５】カメラにより撮影された動画像を構成する１フレームの例を示す図である。
【図１６】合成動画像を構成する１フレームの例を示す図である。
【図１７】写真シール作成ゲームの流れについて説明するフローチャートである。
【図１８】図１６のステップＳ２において行われる撮影処理について説明するフローチャートである。
【図１９】ぞうきん機能の処理について説明するフローチャートである。
【図２０】合成動画像を構成する１フレームの他の例を示す図である。
【図２１】合成動画像を構成する１フレームのさらに他の例を示す図である。
【図２２】前景画像の他の例を示す図である。
【図２３】合成動画像を構成する１フレームの例を示す図である。
【図２４】合成動画像を構成する１フレームの他の例を示す図である。
【図２５】合成動画像を構成する１フレームのさらに他の例を示す図である。
【図２６】カメラにより撮影された動画像の他の例を示す図である。
【図２７】マスク画像の他の例を示す図である。
【図２８】被写体の動きの範囲の例を示す図である。
【図２９】動画像を構成する１フレームの例を示す図である。
【図３０】カメラにより撮影された動画像のさらに他の例を示す図である。
【図３１】マスク画像のさらに他の例を示す図である。
【図３２】被写体の動きの範囲の例を示す図である。
【図３３】カメラにより撮影された動画像を構成する１フレームの例を示す図である。
【図３４】動画像を構成する１フレームの例を示す図である。
【発明を実施するための形態】
【００２９】
図１は、本発明を適用した写真シール作成装置の一実施の形態を示す図である。
【００３０】
図１に示される写真シール作成装置１は、撮影や編集等の作業の娯楽性を高め、それらの作業を利用者にゲーム（遊戯サービス）として行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供する代わりに、利用者より代金を受け取るゲーム装置（遊戯サービス提供装置）である。写真シール作成装置１は、通常、ゲームセンタや観光地の店舗等に設置される。
【００３１】
写真シール作成装置１が実行する写真シール作成ゲームにおいて、利用者は、ゲームの代金を投入し、写真シール作成装置１に設けられたカメラを用いて自分自身等を撮影し、その撮影画像に対して、ペン画像入力やスタンプ画像入力等の編集機能（落書き編集機能）を用いて編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。
【００３２】
後に詳述するように、写真シール作成装置１においては、一連の写真シール作成ゲームのうちの撮影作業時に、被写体である利用者の動きがカメラにより取り込まれた動画像から検出され、ライブビュー表示される動画像全体のうちの、動きが検出された範囲に絵柄などが合成されるようになされている。
【００３３】
動きに応じて異なる範囲に絵柄などが表示されるため、利用者は、自分の動きに応じて変化してライブビュー表示される動画像を見ながら、撮影を楽しむことができる。
【００３４】
写真シール作成装置１の筐体１０は、図１に示されるように、事前接客ユニット１１、撮影ユニット１２、編集ユニット１３、および天井ストロボユニット１４の４つのユニットに大きく分けられる。
【００３５】
事前接客ユニット１１は、写真シール作成ゲームの受け付けを行ったり、写真シール作成ゲームの流れや遊び方等を映像や音声で案内（説明）するコンテンツ（デモンストレーション）を出力したりするユニットである。
【００３６】
撮影ユニット１２は、被写体（利用者等）を撮影する機能を有しており、後述する内部の空間（撮影空間）において被写体の撮影が行われる。この撮影ユニット１２は、大きく、前方ユニット１２Ａと後方ユニット１２Ｂの２つに分けられる。
【００３７】
前方ユニット１２Ａは、撮影空間の前方とされる側のユニットであり、撮影空間の利用者の撮影に関する処理を行ったり、利用者の写真シール作成ゲームに関する操作を受け付けたりする。後方ユニット１２Ｂは、撮影空間の後方とされる側のユニットであり、前方ユニット１２Ａによる利用者の撮影の際に、背景の役割を果たすユニットである。この後方ユニット１２Ｂの内部は、空洞（空間）となっており、利用者が撮影を行う際に利用される空間（後述する撮影空間）の一部として構成される。この後方ユニット１２Ｂの内部には、例えば、背景に利用する可動式のカーテン（背景カーテン）や利用者がポーズをとるために利用するステージ等が設けられるようにしてもよい。
【００３８】
編集ユニット１３は、利用者が撮影画像に対する落書き編集等を行うための構成（例えば、モニタ、タッチパネル、およびタッチペン等）が設けられている。１つの筺体からなる編集ユニット１３は、２組の利用者が同時に編集作業を行うことができるように、２つの面のそれぞれに、落書き編集等を行うための構成が設けられている。すなわち、写真シール作成装置１は、複数の写真シール作成ゲームを並列的に実行することができる。編集ユニット１３は、写真シール作成ゲームのプレイの回転率を向上させるために、それらの複数組の利用者が同時に落書き編集を行うことができるように、２つの落書き編集等を行うための構成が設けられている。
【００３９】
撮影空間の上方に設けられる天井ストロボユニット１４は、撮影タイミングに合わせて撮影空間内に向けてストロボ発光するフラッシュを内蔵する。この天井ストロボユニット１４は、さらに内部に蛍光灯が配置されており、撮影空間（撮影空間内の利用者）を常時照らす照明としても機能する。撮影空間は、後述するように簡易的に閉鎖的な空間として構成される。従って、外部より光が進入しづらく、暗くなりがちで利用者の操作性が低下する恐れがある。天井ストロボユニット１４が、その照明により撮影空間を明るく照らすことにより、そのような恐れを回避し、操作性を向上させることができる。なお、このような照明は前方ユニット１２Ａや後方ユニット１２Ｂにも設けられている。
【００４０】
図２は、図１の写真シール作成装置１を、編集ユニット１３側より見た斜視図である。
【００４１】
編集ユニット１３は、図２に示されるように、前方ユニット１２Ａの、後方ユニット１２Ｂ側の面（つまり、撮影空間側の面）と反対の面に隣接して設置される。編集ユニット１３の、前方ユニット１２Ａに直交する２つの側面には、利用者が撮影画像に対する落書き編集等を行うための第１編集インタフェース１３Ａと第２編集インタフェース１３Ｂがそれぞれ設けられている。つまり、編集ユニット１３には、写真シール作成ゲームを行う複数組の利用者が、前方ユニット１２Ａと後方ユニット１２Ｂを結ぶ方向と直交する向きに、編集ユニット１３を挟んで対向する状態で編集作業を行うことができるように、２つの編集インタフェースが設けられている。これらの編集インタフェースの構成の詳細については後述する。
【００４２】
また、編集ユニット１３の、撮影ユニット１２と対向する面には、写真シール作成ゲームがプレイされることにより作成された写真シールが排出されて利用者に提供される写真シール排出部１３Ｃが設けられている。
【００４３】
図３は、写真シール作成装置１の設置例を示す外観図である。
【００４４】
写真シール作成装置１がゲームセンタ等に設置される場合、例えば図３に示されるように、撮影ユニット１２や編集ユニット１３を囲むように、カーテン２１が設けられ、撮影作業が行われる撮影空間や編集作業が行われる編集空間等を簡易的に囲み、各空間の閉鎖性を向上させている。つまり、カーテン２１は、例えば、各空間内の環境を安定させることにより、高画質な撮影や編集画面の見易さ等に寄与したり、各空間外からの視界を遮断し、利用者が外部からの視線を意識せずに撮影や編集等の作業を行うことができるようにしたりする。
【００４５】
このカーテン２１の外側の面は、通常、広告を掲載する場所として利用され、設置場所において注目度が高まるように、写真シール作成装置１の機種名や機種のイメージを表す派手なデザイン画が印刷される。
【００４６】
以上のような写真シール作成装置１は、利用者の各組に対して、それぞれ、写真シール作成ゲームをプレイさせる。写真シール作成装置１は、複数の写真シール作成ゲームを同時に進行させることができる。つまり、写真シール作成装置１は、同時に複数の組に写真シール作成ゲームをプレイさせることができる。このとき、各組の利用者は、写真シール作成装置１に設けられた複数の空間を移動しながら、写真シール作成ゲームの各作業を行い、ゲームを進行させる。
【００４７】
写真シール作成ゲームの流れと、それに伴う空間の移動について、図４を参照して説明する。
【００４８】
図４は、写真シール作成装置１を上から見た平面図である。
【００４９】
図４に示されるように、利用者は、事前接客ユニット１１前方周辺の領域である事前接客領域３１において、事前接客ユニット１１に代金を投入することで写真シール作成ゲームを開始する（利用者Ａ）。利用者は、図中点線で示される、前方ユニット１２Ａと後方ユニット１２Ｂとの間に形成される、撮影作業を行う撮影空間３２が使用中で無ければ、事前接客ユニット１１の横付近より入場する（利用者Ｂ）。もし、前の組の利用者が撮影空間３２を使用中であれば（撮影作業中であれば）、利用者は、事前接客領域３１において待機する（事前接客ユニット１１が待機を指示する）。
【００５０】
なお、事前接客ユニット１１は、点線で示されるように前方ユニット１２Ａの反対側に設けることも可能であり、この場合、利用者は、その事前接客ユニット１１のある方から写真シール作成ゲームを開始し（利用者Ａ'）、事前接客終了後、上述した側と反対側より撮影空間３２に入場する（利用者Ｂ）。
【００５１】
撮影空間３２に入場した利用者（利用者Ｂ）は、前方ユニット１２Ａの正面に設けられたカメラやモニタを利用して自分自身等を撮影させる撮影作業を行う。
【００５２】
撮影作業が終了すると利用者は、得られた撮影画像の中から編集・印刷を行うためにキープするキープ画像を選択し、表示された移動案内に従って、撮影作業を行った撮影空間３２から、図中点線で示される、編集作業を行う編集空間へと移動する。
【００５３】
編集ユニット１３の、前方ユニット１２Ａから見て左側（第１編集インタフェース１３Ａの前方）に第１編集空間３３Ａが設けられ、右側（第２編集インタフェース１３Ｂの前方）に第２編集空間３３Ｂが設けられている。つまり、この写真シール作成装置１においては、第１編集空間３３Ａの利用者（利用者Ｃ）および第２編集空間３３Ｂの利用者（利用者Ｃ'）の、合計２組の利用者が同時に編集作業を行うことができる。撮影空間３２の利用者（利用者Ｂ）は、この２つの編集空間のうち、空いている方に案内される。第１編集空間３３Ａまたは第２編集空間３３Ｂに移動すると、利用者は、落書き編集作業を行う。以下において、第１編集空間３３Ａと第２編集空間３３Ｂとを区別する必要の無い場合、編集空間３３と称する。
【００５４】
その後、落書き編集が終了すると、利用者（利用者Ｃまたは利用者Ｃ'）は、次に、印刷設定作業を行い、分割数等の設定を行う。そして印刷が開始されると、利用者は、その印刷中にミニゲームを行う。そして、印刷が終了すると、写真シール排出部１３Ｃ前方の印刷物受取領域３４に移動し（利用者Ｄ）、排出された写真シール紙を受け取り、写真シール作成ゲームを終了する。
【００５５】
次に、各ユニットの構成について説明する。
【００５６】
図５は、事前接客ユニット１１の構成例を示す図である。
【００５７】
図５に示されるように、事前接客ユニット１１には、利用者が投入する写真シール作成ゲームの代金を受け付けたり、お釣り等を利用者に返却したりする硬貨投入返却口４１、写真シール作成ゲームやその遊戯方法の案内やデモンストレーション画面等を表示するモニタ４２、および、モニタ４２に表示される画像に対応する音声や、効果音等を出力するスピーカ４３が設けられている。
【００５８】
モニタ４２に表示される画像やスピーカ４３より出力される音声は、筐体１０（カーテン２１に囲まれる領域の外）の外部に向けて出力されるため、写真シール作成ゲームを行う前の、利用者となる予定の人の写真シール作成ゲームの遊戯方法についての理解を深めるだけでなく、写真シール作成装置１の周囲に居る、写真シール作成ゲームを行っていない人間に対しての宣伝（勧誘）効果も有する。
【００５９】
また、利用者が硬貨投入返却口４１に写真シール作成ゲームをプレイするために所定の代金を投入すると、撮影空間３２が空いている場合には、モニタ４２に、利用者を撮影空間３２に誘導する案内画面が表示され、それに対応する音声がスピーカ４３より出力される。また、撮影空間３２が使用中である場合には、モニタ４２に、利用者にその場（事前接客領域３１）において待機させるように促す案内画面が表示され、それに対応する音声がスピーカ４３より出力される。
【００６０】
なお、上述したように、事前接客ユニット１１は、図５に示されるように、前方ユニット１２Ａの右側に設置してもよいし、図１に示されるように、前方ユニット１２Ａの左側に設置してもよい。
【００６１】
図６は、前方ユニット１２Ａの構成例を示す図である。
【００６２】
図６に示される正面１２Ａ−１は、撮影空間３２内に面する側面であり、撮影作業を行う利用者にとって前方に位置する面である。つまり、利用者は、撮影空間３２において、基本的にこの正面１２Ａ−１に向かって（前方ユニット１２Ａ側を向いて）撮影作業を行う。
【００６３】
この正面１２Ａ−１には、撮影空間３２内の被写体を撮影するカメラ５１、例えば、カメラ５１により光電変換されてリアルタイムに（即時）取得されている（撮り込まれている）取得画像や撮影結果である撮影画像、撮影作業に関する案内、および、背景画像の選択等を行うGUI（Graphical User Interface）画像の表示等、撮影作業に関する表示を行うとともに、画面上に重畳されたタッチパネルにより利用者の指示を受け付けるタッチパネルモニタ５２、撮影空間３２内を照明したり、カメラ５１による撮影タイミングに合わせてフラッシュ光を発光したりする照明装置５３−１乃至照明装置５３−８、撮影作業中の利用者の手荷物等を置くための荷物置場５４−１および荷物置場５４−２、並びに、撮影作業に関する案内や効果音等の音声が出力されるスピーカ５５−１およびスピーカ５５−２が設けられている。
【００６４】
カメラ５１は、CCD（Charge Coupled Device）を利用した撮像素子等により構成され、写真シール作成ゲームの撮影作業の工程において、撮影空間３２内の利用者を撮影する。なお、カメラ５１として、CCDの代わりに、例えばCMOS（Complementary Metal Oxide Semiconductor）センサを用いたカメラを使用してもよい。もちろん、これら以外にも、利用者を撮影し、デジタル画像データを得られるものであればどのようなカメラを用いるようにしてもよい。また、カメラ５１の個数も設置位置も任意である。
【００６５】
タッチパネルモニタ５２はLCD（Liquid Crystal Display）等により構成され、カメラ５１の取得画像、撮影画像に合成する合成用画像、撮影結果として保存される撮影画像、または撮影作業の手順を案内する案内画像等、撮影作業に関する画像を表示するモニタである。このタッチパネルモニタ５２の画面上には無色透明のタッチパネル（例えば、感圧式や電磁誘導式等）が重畳されており、例えば利用者の指等でタップすることによりその位置情報（利用者の指示）を入力することができる。
【００６６】
照明装置５３−１乃至照明装置５３−８は、複数の、蛍光灯およびストロボ発光可能な照明装置により構成され、撮影空間３２を明るくし、操作性や安全性を確保するために、撮影空間３２を常時照らすとともに、撮影画像の画質を向上させるために、撮影タイミングに対応するタイミングでストロボ発光し、撮影される利用者に光を多様な角度から照射する。以下において、照明装置５３−１乃至照明装置５３−８を互いに区別して説明する必要の無い場合、照明装置５３と称する。
【００６７】
荷物置場５４−１および荷物置場５４−２は、撮影時における利用者の手荷物の置き場所として利用する棚である。荷物置場５４−１および荷物置場５４−２は、いずれも、撮影の邪魔にならないような位置、すなわち、利用者が撮影ポーズをとるのに邪魔にならず、かつ、照明装置５３の光の照射の妨げとならない位置に設けられている。利用者は、手荷物を荷物置場５４−１または荷物置場５４−２に置くことにより、より快適に撮影作業を行うことができる。以下において、荷物置場５４−１および荷物置場５４−２を互いに区別して説明する必要のない場合、単に荷物置場５４と称する。
【００６８】
スピーカ５５−１およびスピーカ５５−２は、写真シール作成ゲームの撮影作業における案内音声、BGM（Back Ground Music）、効果音等の音声を適宜出力する。スピーカ５５−１およびスピーカ５５−２を互いに区別する必要のない場合、スピーカ５５と称する。なお、スピーカ５５の数および設置位置は任意である。
【００６９】
次に、編集ユニット１３の構成について説明する。
【００７０】
図７は、編集ユニット１３の、撮影ユニット１２側から見て左側面の構成例（第１編集空間３３Ａ側の構成例）を示す図である。
【００７１】
図７において、この左側面には、第１編集インタフェース１３Ａが設けられている。その上側には、カーテン２１等で仕切られているために暗くなる第１編集空間３３Ａを照らすための照明装置６１が設けられている。この照明装置６１により、写真シール作成装置１は、利用者の編集作業効率の低下を抑制し、第１編集空間３３Ａの安全性を向上させることができる。なお、図７の例においては、編集ユニット１３の、照明装置６１が設けられている第１編集インタフェース１３Ａの上側の部分が、第２編集空間３３Ｂ側に貫通しており、照明装置６１は、第１編集空間３３Ａと第２編集空間３３Ｂとで共有している。つまり、照明装置６１は、第１編集空間３３Ａだけでなく第２編集空間３３Ｂも照明し、安全性を向上させる。なお、この照明装置６１の設置位置および個数は任意である。
【００７２】
第１編集インタフェース１３Ａには、タブレット内蔵モニタ６２、２本のタッチペン（タッチペン６３−１およびタッチペン６３−２）、並びに、スピーカ６４が設けられている。
【００７３】
タブレット内蔵モニタ６２は、撮影空間における撮影作業により得られた撮影画像を編集するためのGUI画像（落書き編集入力画面）等を表示する。
【００７４】
タブレット内蔵モニタ６２は、タッチペン６３−１またはタッチペン６３−２により位置情報を入力可能なタブレットと、画像を表示可能なLCD等の表示デバイスを有するモニタである。ここでは、タブレットは、例えば、感圧式や電磁誘導式の入力デバイスであり、無色透明で、表示デバイスの表示画面上に重畳されて設置されている。つまり、タブレット内蔵モニタ６２は、表示デバイスにより単にGUI画像等を表示するだけでなく、タブレットにより利用者からの入力操作を受け付ける。
【００７５】
このタブレット内蔵モニタ６２の左右近傍には、画面上に重畳されたタッチパネルに対応するタッチペン６３−１とタッチペン６３−２が左右１本ずつ所定のアタッチメントにより編集ユニット１３に着脱可能に固定されており、同じ組の２人の利用者が、これらのタッチペンをそれぞれ使用することにより、同時に、写真シール作成作業の編集作業の工程をプレイすることができるようになされている。なお、以下において、タッチペン６３−１およびタッチペン６３−２を互いに区別して説明する必要のない場合、単にタッチペン６３と称する。
【００７６】
そのタッチペン６３は、編集ユニット１３内部に設置されたシステムと有線（または無線）により電気的にも接続されている。タッチペン６３は、タブレット内蔵モニタ６２の表示デバイスの表示画面上に重畳された無色透明のタブレットと連携して動作する。利用者がこれらのタッチペン６３を操作して、そのタブレットをタップする（タッチペン６３とタブレット内蔵モニタ６２の表示画面を接触（または近接）させる）ことにより、これらは、利用者からの入力を受け付ける入力手段として動作する。なお、タッチペン６３の設置本数、設置位置、及び形状等は任意である。
【００７７】
スピーカ６４は、例えば、案内音声、効果音、またはBGM等、写真シール作成ゲームの編集作業に関する音声を出力する。なお、スピーカ６４の設置個数、デザイン、および形状等は任意である。
【００７８】
なお、編集ユニット１３の第２編集空間３３Ｂ側の構成も、図７に示される第１編集空間３３Ａ側の構成と基本的に同様であるので、その説明については省略する。以下においては、図７に示される構成例は、編集ユニット１３の第２編集空間３３Ｂ側の構成を説明する場合にも適用する。
【００７９】
図８は、編集ユニット１３の、写真シール排出部１３Ｃの構成例を示す図である。
【００８０】
図８に示されるように、写真シール排出部１３Ｃには、第１編集空間３３Ａにおいて編集作業を行った利用者が作成した写真シール（つまり、第１編集インタフェース１３Ａが操作されて作成された写真シール）と、第２編集空間３３Ｂにおいて編集作業を行った利用者が作成した写真シール（つまり、第２編集インタフェース１３Ｂが操作されて作成された写真シール）が排出される写真シール排出口７１が設けられている。
【００８１】
編集ユニット１３内部には、プリンタが設置されており、第１編集インタフェース１３Ａまたは第２編集インタフェース１３Ｂが操作されて作成された印刷用の画像は、そのプリンタによりシール紙に印刷される。プリンタより出力された写真シールは、この写真シール排出口７１より排出される。
【００８２】
次に、写真シール作成装置１の内部の構成について説明する。
【００８３】
図９は、写真シール作成装置１のハードウエア構成例を示すブロック図である。以上において説明した部分と同じ部分については、同じ番号を付し、その説明を省略する。
【００８４】
図９において、写真シール作成装置１は、写真シール作成装置１の装置全体を制御する処理部である制御装置１０１を有しており、その制御装置１０１には、記憶部１０２、通信部１０３、ドライブ１０４、ROM（Read Only Memory）１０６、RAM（Random Access Memory）１０７、事前接客部１１１、撮影部１１２、編集部１１３、およびプリンタ１１４がそれぞれ所定のバスを介して接続される。
【００８５】
記憶部１０２は、例えばハードディスクやフラッシュメモリ等のような不揮発性の記憶媒体を有しており、制御装置１０１より供給される各種設定情報をその記憶媒体に保存したり、記憶媒体に記録されている設定情報を読み出して制御装置１０１に供給したりする。なお、この記憶媒体は、情報を記憶することができるものであれば、どのようなものであってもよい。
【００８６】
通信部１０３は、例えばインターネットや公衆電話回線網等のような外部のネットワーク（図示せず）を介して、または単に通信ケーブル（図示せず）を介して、他の通信装置（図示せず）に接続され、制御装置１０１に制御されて、例えば利用者の携帯型電話機、利用者のパーソナルコンピュータ、または中央管理サーバ等のような他の通信装置と通信を行う。例えば、通信部１０３は、制御装置１０１より供給される送信情報を他の通信装置に送信したり、他の通信装置より供給された受信情報を制御装置１０１に供給したりする。
【００８７】
ドライブ１０４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク、および、半導体メモリなどのリムーバブルメディア１０５が適宜装着され、それらから読み出されたコンピュータプログラムやデータが、必要に応じて制御装置１０１に供給され、記憶部１０２等に保存されたり、インストールされたりする。
【００８８】
ROM１０６には、制御装置１０１において実行されるプログラムやデータが予め格納されており、ROM１０６は、制御装置１０１の指示に基づいて、プログラムやデータを制御装置１０１に供給する。RAM１０７は、制御装置１０１が処理するデータやプログラムを一時的に保持する。
【００８９】
事前接客部１１１は、事前接客ユニット１１を用いて、撮影前の利用者に対する接客処理を行う。例えば、事前接客部１１１は、写真シール作成ゲームのデモンストレーション画面を表示したり、写真シール作成ゲームの代金（硬貨）の投入を受け付けたり、撮影空間３２内への移動案内を行ったり、撮影空間３２が使用中の場合、利用者を待機させたりする。事前接客部１１１は、上述したモニタ４２およびスピーカ４３の他に、硬貨処理部１２１を有する。硬貨処理部１２１は、硬貨投入返却口４１に硬貨が投入されると、利用者による写真シール作成装置１の代金支払いに関する処理（ゲーム参加受け付け等）を行い、課金処理や、移動又は待機案内等をモニタ４２及びスピーカ４３に行わせたりする。
【００９０】
撮影部１１２は、撮影ユニット１２に関するブロックであり、背景カーテン１３１、照明装置５３、カメラ５１、タッチパネルモニタ５２、およびスピーカ５５を有する。
【００９１】
背景カーテン１３１は、写真シール作成ゲームの撮影作業の工程において、背景として用いられる複数の昇降式カーテンとその制御を行う制御部を有するユニットである。例えば、カーテンには色、模様、絵柄などが異なる多種類のカーテンがある。昇降式のカーテンではなく、吊下げ式のカーテンが用意されるようにしてもよい。
【００９２】
照明装置５３は、制御装置１０１より供給される照明制御信号に基づいて、点灯したり、消灯したり、またはフラッシュ光を発光したりする。
【００９３】
カメラ５１は、制御装置１０１に制御されて、写真シール作成ゲームの撮影作業の工程において、撮影空間３２内の被写体（利用者）の撮影を行う。例えば、カメラ５１は、制御装置１０１の制御の下、動画像を取りこみ、その取得した動画像データを制御装置１０１に供給する。また、カメラ５１は、制御装置１０１より供給されるシャッタ制御信号に基づいて、メカシャッタを動作させる等して、撮影画像（静止画像）の取得を行い、取得した静止画像データを制御装置１０１に供給する。
【００９４】
タッチパネルモニタ５２は撮影画像表示部１３２を有しており、制御装置１０１より供給されるRGB信号に基づく画像をその撮影画像表示部１３２に表示する。また、タッチパネルモニタ５２は、その撮影画像表示部１３２の表面に重畳された、無色透明のタッチパネル（図示せず）も有している。利用者が、自分自身の指等を用いてこのタッチパネルにタップ（接触または近接）すると、タッチパネルモニタ５２は、その位置情報を制御装置１０１に供給する。制御装置１０１は、その位置情報を解析し、表示画像に対して利用者が入力した情報や指示を特定し、受け付ける。
【００９５】
スピーカ５５は、例えば、制御装置１０１より供給される音声信号の音声（撮影作業の案内音声、効果音、またはBGM等）を出力する。
【００９６】
編集部１１３は、編集ユニット１３に関するブロックであり、第１編集インタフェース１３Ａに対応する第１編集部１１３Ａと、第２編集インタフェース１３Ｂに対応する第２編集部１１３Ｂよりなる。第１編集部１１３Ａおよび第２編集部１１３Ｂは互いに同一の構成を有しており、以下の説明は、第１編集部１１３Ａについて行うが、第２編集部１１３Ｂにも適用可能である。
【００９７】
第１編集部１１３Ａは、図７を参照して説明したように、タブレット内蔵モニタ６２、タッチペン６３−１およびタッチペン６３−２、並びに、スピーカ６４を有する。
【００９８】
タブレット内蔵モニタ６２はLCD等の表示デバイスよりなる編集用モニタ１４１と、編集用モニタ１４１の表示画面上に重畳された無色透明のタブレット１４２により構成される。タブレット内蔵モニタ６２は、制御装置１０１より供給されるRGB信号に対応する、編集入力用のGUIや撮像画像等、編集に関する画像を、編集用モニタ１４１に表示する。また、利用者が、タッチペン６３−１またはタッチペン６３−２を操作してタブレット１４２にタップ（接触または近接）すると、タブレット内蔵モニタ６２は、その位置情報を制御装置１０１に供給する。制御装置１０１は、その位置情報を解析し、表示画像（GUI等）に対して利用者が入力した情報や指示を特定し、受け付ける。つまり、撮影画像（撮影画像を用いて作成された合成画像）に対する編集入力は、これらの構成を用いて行われる。
【００９９】
スピーカ６４は、制御装置１０１より供給される音声信号の音声（編集作業の案内音声、効果音、またはBGM等の、写真シール作成ゲームの編集作業の工程に関する音声）を出力する。
【０１００】
プリンタ１１４は、編集部１１３により行われた編集作業結果をシール紙に印刷する２つのヘッド（ヘッド１５１およびヘッド１５２）を有する。プリンタ１１４は、制御装置１０１より第１編集部１１３Ａにより行われた編集作業結果を取得すると、シール紙ユニット１６１よりシール紙１６２を取得し、ヘッド１５１において、編集作業結果をシール紙１６２に印刷する。また、プリンタ１１４は、制御装置１０１より第２編集部１１３Ｂにより行われた編集作業結果を取得すると、シール紙ユニット１６１よりシール紙１６２を取得し、ヘッド１５２において、編集作業結果をシール紙１６２に印刷する。
【０１０１】
プリンタ１１４は、印刷を終了すると、その印刷されたシール紙１６２を写真シールとして写真シール排出口７１より排出し、利用者に提供する。
【０１０２】
図１０は、制御装置１０１の機能構成例を示すブロック図である。
【０１０３】
図１０には、撮影作業を行っている利用者に対してライブビュー表示によって提示する合成動画像の作成に関する機能構成が示されている。図１０に示される構成の他に、撮影処理を行う構成、編集処理を行う構成、印刷処理を行う構成などが制御装置１０１においては実現される。
【０１０４】
図１０に示される構成のうちの少なくとも一部は、制御装置１０１により所定のプログラムが実行されることによって実現される。
【０１０５】
図１０に示されるように、制御装置１０１においては、マスク画像作成部２０１、差分抽出部２０２、合成部２０３、および表示制御部２０４が実現される。利用者が撮影作業を開始したとき、利用者が被写体として映っている動画像の撮影が開始され、撮影された動画像がカメラ５１からマスク画像作成部２０１と合成部２０３に供給される。カメラ５１により撮影された動画像を時間軸に並べた場合、その動画像は静止画が連続していると考えることができる。
【０１０６】
マスク画像作成部２０１は、カメラ５１から供給された動画像を構成する時系列順に並ぶ静止画像であるそれぞれのフレームを対象としてクロマキ処理や肌色領域の検出処理などを行うことによって、被写体の領域と背景の領域とを分けるデータであるマスク画像を作成する。例えば、カメラ５１から供給される動画像には、クロマキ用のカーテンが被写体の背景として映っており、それぞれのフレームを対象としてクロマキ処理を行うことができるようになされている。
【０１０７】
図１１は、カメラ５１により撮影された動画像の例を示す図である。
【０１０８】
図１１の例においては、カメラ５１により撮影された動画像を構成するフレームとしてフレームｆ1乃至ｆ3が示されている。横方向は時間方向を表す。
【０１０９】
フレームｆ1において、被写体の体はフレームの中心を基準とすると若干右側にあり、被写体の右腕は斜めに下げた状態になっている。また、フレームｆ2，ｆ3おいて、被写体の体はフレームｆ1における位置と同じ位置にあり、それぞれ、被写体の右腕は水平に向けた状態、斜めに上げた状態になっている。
【０１１０】
すなわち、図１１は、カメラ５１に体の正面を向けている利用者が、撮影作業中に、右腕を斜め下から斜め上に動かした場合の例を示している。
【０１１１】
このようなフレームから構成される動画像がカメラ５１から供給された場合、マスク画像作成部２０１においては、図１２に示されるようなマスク画像が作成される。マスク画像の縦横の画素数は、カメラ５１により撮影された動画像を構成するそれぞれのフレームの縦横の画素数と同じであるものとする。
【０１１２】
図１２のマスク画像ｍ1乃至ｍ3は、それぞれ、図１１のフレームｆ1乃至ｆ3から作成されたマスク画像であり、黒く塗りつぶされている領域が被写体の領域を表す。マスク画像全体の画素のうち、黒く塗りつぶされている領域に対応する画素の画素値はRGB＝（０，０，０）で表され、それ以外の領域に対応する画素の画素値はRGB＝（２５５，２５５，２５５）で表される。
【０１１３】
マスク画像作成部２０１は、このようにして作成したマスク画像を差分抽出部２０２に出力する。
【０１１４】
差分抽出部２０２は、マスク画像作成部２０１から供給されたマスク画像に基づいて、所定の期間内に被写体が動いた範囲を抽出する。
【０１１５】
図１３は、差分抽出部２０２により抽出される範囲の例を示す図である。
【０１１６】
例えば、図１２のマスク画像ｍ1乃至ｍ3がマスク画像作成部２０１により作成された場合、差分抽出部２０２においては、それぞれのマスク画像の差分が求められ、マスク画像間で差分のある、図１３に斜線を付して示す範囲Ａ1が、被写体が動いた範囲として抽出される。なお、被写体の手を認識する機能が制御装置１０１に搭載されている場合、手の動いた範囲だけが、被写体が動いた範囲として抽出されるようにしてもよい。
【０１１７】
差分抽出部２０２は、被写体が動いた範囲を表す情報を合成部２０３に出力する。
【０１１８】
合成部２０３は、ライブビュー表示させる動画像を構成するフレームの全画素に対応するカウント値を保持するための作業領域を有している。カウント値は被写体の画像に対して合成する前景画像の各画素の濃度を表す値であり、設定されたカウント値に応じた濃度を有するものになるように、前景画像の各画素の濃度が調整される。ライブビュー表示させる動画像を構成する各フレームの縦横の画素数、カメラ５１により撮影された動画像を構成する各フレームの縦横の画素数、前景画像の縦横の画素数は同じ画素数であるものとする。
【０１１９】
図１４は、前景画像の例を示す図である。
【０１２０】
図１４は、ハート柄が全体に並べられた前景画像の例を示している。前景画像は、静止画像であってもよいし、動画像であってもよい。また、柄（画像）を表示するものだけでなく、文字を表示するものであってもよい。
【０１２１】
例えば、撮影作業の開始時である初期状態では作業領域のカウント値は全て０として設定される。カウント値が全て０であるため、初期状態においては、合成動画像上では前景画像は見えずに、カメラ５１により撮影された動画像がそのまま見えることになる。
【０１２２】
また、合成部２０３は、差分抽出部２０２から供給された情報に基づいて、作業領域の全カウント値のうち、被写体が動いた範囲と同じ範囲内の前景画像の画素に対応するカウント値を増加させ、一方、被写体の動きがなかった範囲（静止していた範囲）と同じ範囲内の前景画像の画素に対応するカウント値を減少させる。この結果、連続して動きがある範囲内の前景画像の画素に対応するカウント値は一定値を超えることになる。
【０１２３】
合成部２０３は、カウント値に応じて各画素の濃度を調整した前景画像を、カメラ５１により撮影された動画像に重ねることによって合成し、合成して得られた合成動画像を表示制御部２０４に出力する。カウント値が一定値を超えた前景画像の画素だけが、合成画像上で視認可能な濃度を有するように調整されるようにしてもよい。
【０１２４】
図１５は、カメラ５１により撮影された動画像を構成する１フレームの例を示す図である。
【０１２５】
例えば、図１５に示されるようなフレームを含む動画像がカメラ５１から供給されるとともに、図１３に示されるような範囲Ａ1が差分抽出部２０２により抽出され、範囲Ａ1と同じ範囲内の前景画像の画素の濃度が、合成画像上で視認可能な濃度を有するように調整された場合、図１６に示されるような１フレームの合成画像が合成部２０３により作成される。
【０１２６】
図１６の例においては、範囲Ａ1と同じ範囲の前景画像（ハート柄）が、図１５の画像からクロマキ処理などによって抽出された被写体の領域の前景として合成されている。図１６に点線で示す範囲Ａ1は、斜線を付して示す図１３の範囲Ａ1と同じ範囲を表す。
【０１２７】
被写体の動きに応じてカウント値が更新され、前景画像の各画素の濃度が調整されるため、合成動画像上では、被写体が動いた範囲と同じ範囲の前景画像が浮かび上がって見え、反対に、被写体が静止していた範囲と同じ範囲の前景画像が徐々に消えていくように見えることになる。
【０１２８】
これにより、ぞうきんで窓を拭くような真似をすることで柄や文字などを浮かび上がらせることのできる機能が実現される。以下、このように、体を動かしている範囲で画像や文字を浮かび上がらせる機能を「ぞうきん」機能という。
【０１２９】
図１０の説明に戻り、表示制御部２０４は、合成部２０３から供給された合成動画像を撮影空間３２にあるタッチパネルモニタ５２の撮影画像表示部１３２に表示させる。利用者は、ライブビュー表示される合成動画像を見ながら撮影作業を行うことができる。
【０１３０】
ここで、以上のような構成を有する写真シール作成装置１の処理について説明する。
【０１３１】
はじめに、図１７のフローチャートを参照して、写真シール作成ゲームの流れについて説明する。
【０１３２】
写真シール作成ゲームを行う利用者は、最初に、事前接客領域３１において、事前接客ユニット１１の硬貨投入返却口４１にコインを投入し、ゲームの代金を支払う。硬貨処理部１２１は、硬貨投入を受け付け、起動信号を制御装置１０１に供給する。
【０１３３】
ステップＳ１において、制御装置１０１は、その起動信号に基づいて、代金が投入されたか否かを判定し、正当な代金が投入されたと判定した場合、ステップＳ２に進む。代金を投入した利用者は、事前接客部１１１のモニタ４２に表示される案内デモ画面などに従って撮影空間３２に移動し、撮影作業を開始する。
【０１３４】
ステップＳ２において、制御装置１０１は、撮影部１１２の各部を制御し、撮影空間３２内において行われる、写真シール作成ゲームの撮影作業に関する処理である撮影処理を実行する。撮影処理については図１８のフローチャートを参照して説明する。
【０１３５】
ステップＳ３において、制御装置１０１は、撮影作業を終えた撮影空間３２内の利用者に対して、画像や音声によって第１編集空間３３Ａまたは第２編集空間３３Ｂへの移動を促す移動案内処理を行う。
【０１３６】
ステップＳ４において、制御装置１０１は、編集空間３３に移動した利用者に対して、写真シール作成ゲームの編集作業に関する処理である編集処理を行う。
【０１３７】
編集処理が終了すると、ステップＳ５において、制御装置１０１は、プリンタ１１４を制御し、編集作業により得られた編集済み画像をシール紙に印刷する印刷処理を行う。
【０１３８】
ステップＳ６において、制御装置１０１は、印刷終了待機中の利用者に対してミニゲームや画像転送等のサービスを提供する事後接客処理を行う。
【０１３９】
事後接客処理が終了すると、ステップＳ７において、制御装置１０１は、編集空間３３の利用者を印刷物受取領域３４に移動させる移動案内を行う。
【０１４０】
印刷処理が終了すると、ステップＳ８において、制御装置１０１は、プリンタ１１４を制御し、印刷済みのシール紙を写真シール排出口７１より排出させ、写真シール作成ゲーム処理を終了する。
【０１４１】
次に、図１８のフローチャートを参照して、図１７のステップＳ２において行われる撮影処理について説明する。
【０１４２】
ステップＳ１１において、制御装置１０１は、カメラ５１により取り込まれた動画像を撮影画像表示部１３２に表示させ、ライブビューを開始する。
【０１４３】
ステップＳ１２において、制御装置１０１は、タッチパネルモニタ５２に対する利用者の入力に応じて、カメラ５１の写り、明るさを調整する。
【０１４４】
ステップＳ１３において、制御装置１０１は、ぞうきん機能の開始が利用者により指示されたか否かを判定する。タッチパネルモニタ５２には、ぞうきん機能の開始を指示するときに操作されるボタンが表示される。
【０１４５】
タッチパネルモニタ５２に表示されたボタンが操作されたことから、ぞうきん機能の開始が指示されたとステップＳ１３において判定した場合、ステップＳ１４において、制御装置１０１の合成部２０３は、各画素の濃度を調整した前景画像を、カメラ５１から供給された動画像に映る被写体の前景として合成し、合成して得られた合成動画像を表示制御部２０４に出力する。図１８の処理と並行して行われる、前景画像の各画素の濃度を調整するぞうきん機能の処理については図１９のフローチャートを参照して説明する。
【０１４６】
ステップＳ１５において、表示制御部２０４は、合成部２０３から供給された合成動画像を撮影画像表示部１３２に表示させる。これにより、撮影画像表示部１３２には、図１６に示されるような画像からなる合成動画像が表示される。
【０１４７】
撮影を開始することが指示された場合、または、ステップＳ１３においてぞうきん機能の開始が指示されていないと判定した場合、ステップＳ１６において、制御装置１０１は、タッチパネルモニタ５２にカウントダウンインジケータを表示させる。
【０１４８】
カウントダウンインジケータにより表される撮影までの残り時間が０秒になったとき、ステップＳ１７において、制御装置１０１は撮影を行い、撮影のタイミングにおける合成動画像の１フレームを撮影画像として保存する。
【０１４９】
ステップＳ１８において、制御装置１０１は、あらかじめ定められた回数だけ撮影を行ったか否かを判定し、撮影を行っていない、すなわち、撮影可能回数が残っていると判定した場合、ステップＳ１３に戻り、それ以降の処理を繰り返す。
【０１５０】
一方、ステップＳ１８において、あらかじめ定められた回数だけ撮影を行ったと判定した場合、ステップＳ１９において、制御装置１０１は、複数の撮影画像の中から編集対象画像（キープ画像）とする画像を利用者に選択させ、選択された撮影画像を保存する。その後、図１７のステップＳ２に戻り、それ以降の処理が行われる。
【０１５１】
次に、図１９のフローチャートを参照して、ぞうきん機能の処理について説明する。
【０１５２】
ステップＳ３１において、制御装置１０１の合成部２０３は、前景画像の各画素に対応する作業領域のカウント値を全て０として設定する。
【０１５３】
ステップＳ３２において、マスク画像作成部２０１は、カメラ５１から供給された動画像を構成するそれぞれのフレームを対象としてクロマキなど処理を行い、マスク画像を作成する。マスク画像作成部２０１は、作成したマスク画像を差分抽出部２０２に出力する。
【０１５４】
ステップＳ３３において、差分抽出部２０２は、マスク画像間の差分を求め、被写体が動いた範囲を抽出する。差分抽出部２０２は、被写体が動いた範囲を表す情報を合成部２０３に出力する。
【０１５５】
ステップＳ３４において、合成部２０３は、差分抽出部２０２から供給された情報に基づいて、被写体が動いた範囲と同じ範囲内の前景画像の画素に対応するカウント値を増加させ、それ以外の前景画像の画素に対応するカウント値を減少させることによって、カウント値を更新させる。
【０１５６】
ステップＳ３５において、合成部２０３は、更新したカウント値に応じて、前景画像の各画素の濃度を調整し、ステップＳ３２以降の処理を繰り返す。ステップＳ３２以降の処理は、ぞうきん機能によるライブビュー表示を行っている間、繰り返される。
【０１５７】
以上の処理により、利用者は、自分が体を動かしたり止めたりすることに応じて浮かび上がったり消えたりする前景画像を見ながら、より楽しんで撮影を行うことができる。
【０１５８】
以上においては、初期状態の前景画像が透明であり、ライブビュー表示される合成動画像上では前景画像は見えないものとしたが、半透明の部分を少なくとも一部に含む画像が前景画像として用いられるようにしてもよい。半透明の部分に重なる利用者の体の部分は、合成動画像上では、いわば磨りガラス越しに見たようなものになる。
【０１５９】
図２０は、撮影作業中にライブビュー表示される合成動画像を構成する１フレームの例を示す図である。
【０１６０】
図２０に示されるフレーム全体のうち、斜線を付して示す範囲Ａ11は半透明の領域である。範囲Ａ11以外の前景画像の領域は透明の領域であり、この領域と重なる被写体の頭付近ははっきりと合成動画像上で見えることになる。図２０に示されるフレームも、合成部２０３により作成されたものである。
【０１６１】
図２０の例においては、範囲Ａ11内に円Ｒ1が表示されている。撮影作業中、例えば、「円の範囲で手を動かしてね」などの案内が音声や画面表示によって利用者に対して提示される。
【０１６２】
この案内を確認した利用者が左手などを動かすことにより、円Ｒ1に対応する範囲内で被写体が動いたことがカメラ５１により撮影された動画像に基づいて上述したようにして抽出された場合、動きの抽出された部分からキャラクタなどの所定の画像が徐々に表示される（隠れていた画像が徐々に現れる）。最終的に、円Ｒ1に対応する範囲内全体に渡って動きが抽出された場合、図２１に示されるように、半透明であった領域Ａ11は透明の領域として表示が切り替えられるとともに、円Ｒ1が表示されていた位置にはキャラクタの画像である画像Ｐ1全体が表示される。すなわち、円Ｒ1は、その部分に何かしらの画像が隠れていることを表している。
【０１６３】
なお、円Ｒ1に対応する範囲内全体に渡って動きが抽出された場合に画像Ｐ1の全体が表示されるのではなく、図２２に斜線を付して示すような、隠れている画像Ｐ1の所定の範囲に対応する部分で動きが抽出された場合に画像Ｐ1の全体が表示されるようにしてもよい。画像Ｐ1として図２２に示されるような豚の顔の画像が用意されている場合、これにより、利用者は、例えば豚の顔の片耳以外の部分に対応する範囲で手を動かすだけで豚の顔の全体を表示させることができる。
【０１６４】
また、カメラ５１により撮影された動画像を構成する各フレームを対象として被写体の顔の検出が行われ、その顔の範囲上で被写体の動きが抽出された場合であっても、顔の範囲には前景画像が表示されないようにしてもよい。
【０１６５】
図２０の例においては、前景画像が半透明の領域を一部に含むものとしたが、全体が透明になっているようにしてもよい。全体が透明になっている場合、ライブビュー表示される合成動画像上では、キャラクタなどの画像がどこに隠れているのかが分からないため、図２３に示されるように、白抜き矢印などでその部分が指定されるようにしてもよい。図２３において、点線で示す範囲Ａ11は透明の領域である。また、点線で示す円Ｒ1も実際に表示されるものではない。
【０１６６】
また、被写体が体を動かした範囲と同じ範囲内の前景画像の画素の濃度が上がるのではなく、異なる範囲内の前景画像の画素の濃度が上がるようにしてもよい。
【０１６７】
図２４は合成動画像を構成する１フレームの例を示す図である。
【０１６８】
図２４は、合成動画像上では見えないほど、前景画像の各画素の濃度が低い状態を示している。このような状態において、図２４の白抜き矢印で示す範囲で利用者が手を動かし、そのことが抽出された場合、上述した方法によればこの白抜き矢印で示す範囲と同じ範囲に前景画像の柄などが見えるようになるが、この例においては、図２５に示されるように、手を動かした範囲とは異なる、被写体の外側の範囲Ａ21に前景画像の柄が見えるように表示される。動きが抽出された位置とマスク画像（顔マスク）から検出された顔の位置を結ぶ線の延長線上の位置に前景画像の柄が表示されるようにすることにより、被写体が前景画像によって隠れてしまうのを防ぐことができる。
【０１６９】
被写体が動いた範囲を抽出する方法として、カメラ５１により撮影された動画像から複数のマスク画像が作成され、マスク画像における被写体の領域内の画素の色差分がそれぞれのマスク画像間で求められ、色差分のある範囲が、被写体が動いた範囲として抽出されるようにしてもよい。時間軸上にそれぞれのマスク画像を並べた場合、ｎ−１番目のマスク画像における被写体の領域内の色と、ｎ番目のマスク画像における被写体の領域内の色の差分が求められ、色差分のある範囲が、被写体が動いた範囲として抽出されることになる。
【０１７０】
次に、被写体の動いた範囲を抽出し、抽出した範囲に応じて異なる動画像を撮影作業中にライブビュー表示させる他の機能について説明する。
【０１７１】
この機能の開始時、カメラ５１により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度は、ライブビュー表示される合成動画像上から見えないような濃度（透明）に調整される。
【０１７２】
この状態で、被写体が動いた範囲が上述したようにして抽出された場合、被写体が動いた範囲と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるように、カメラ５１により撮影された動画像の各フレームから抽出された被写体の領域の各画素の濃度が合成部２０３により調整される。これにより、動きに応じて被写体の姿が現れたり消えたりするような動画像が作成され、ライブビュー表示されることになる。
【０１７３】
すなわち、この機能は、前景画像の各画素の濃度を調整することによってある画像が表示されたり消えたりするようにするものではなく、カメラ５１により撮影された動画像の各フレームから抽出された被写体の領域の各画素の濃度を調整することによって、被写体の姿が表示されたり消えたりするようにするものである。
【０１７４】
以下、このようにして被写体の姿を合成動画像上で表示させたり消したりする機能を「透明人間」機能という。
【０１７５】
図２６は、カメラ５１により撮影された動画像の他の例を示す図である。
【０１７６】
図２６の例においては、カメラ５１により撮影された動画像を構成するフレームとしてフレームｆ11乃至ｆ13が示されている。横方向は時間方向を表す。
【０１７７】
フレームｆ11において、被写体の体はフレームの中心を基準とすると左側にあり、フレームｆ12において、被写体の体はフレームのほぼ中心にある。フレームｆ13において、被写体の体はフレームの中心を基準とすると右側にある。
【０１７８】
図２７は、図２６の動画像に基づいてマスク画像作成部２０１により作成されるマスク画像の例を示す図である。
【０１７９】
図２７のマスク画像ｍ11乃至ｍ13は、それぞれ、図２６のフレームｆ11乃至ｆ13から作成されたマスク画像である。差分抽出部２０２においては、図２７に示されるようなマスク画像間の差分が求められ、所定の期間内に被写体が動いた範囲が抽出される。
【０１８０】
図２８は、差分抽出部２０２により抽出される範囲の例を示す図である。
【０１８１】
例えば、図２７のマスク画像ｍ11乃至ｍ13などに基づいて、マスク画像間で差分のある、図２８に斜線を付して示す範囲Ａ21が、被写体が動いた範囲として抽出される。図２８に示されるような範囲Ａ21が差分抽出部２０２により抽出された場合、合成部２０３においては、カウント値が更新されることによって、カメラ５１により撮影された動画像を構成するフレームから抽出された被写体の領域の画素のうち、範囲Ａ21と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるようにして動画像が作成される。ここでは、カウント値は、カメラ５１により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度を表す。
【０１８２】
図２９は、透明人間機能によってライブビュー表示される動画像を構成する１フレームの例を示す図である。
【０１８３】
図２９に示されるように、カメラ５１により撮影された動画像を構成するフレームの中央に被写体が映っている場合、この被写体は点線で示す範囲Ａ21の内側にいるから、被写体の領域の画素のうち、範囲Ａ21と同じ範囲内の画素の濃度が上がることにより、被写体の全身が動画像上に表示されることになる。なお、図２９に点線で示す範囲Ａ21は動画像上に表示されるものではない。動画像上に表示されている被写体の姿は、所定の時間だけ被写体が静止していることが抽出された場合、カウント値が減算していくことに応じて徐々に消えていくことになる。
【０１８４】
このように、動きに応じて姿が表示されたり消えたりするようにすることによっても、利用者は、より楽しみながら撮影作業を行うことができる。撮影のタイミングによっては、利用者は、自分の体の一部が消えているような画像を撮影し、編集対象の画像として選択することが可能になる。
【０１８５】
なお、ここでは、被写体の動いた範囲を抽出し、カメラ５１により撮影された動画像を構成するフレームに映る被写体の領域の画素の濃度を調整することによって被写体の姿を動画像上で表示したり消したりするものとしたが、半透明の前景画像の濃度を被写体の動いた範囲に応じて調整することによって、被写体の姿を合成動画像上で表示したり消したりするようにしてもよい。この場合、半透明の前景画像の画素のうち、被写体の動いた範囲と同じ範囲内の画素は透明になり、被写体の姿が合成動画像上に表示されることになる。
【０１８６】
以上においては、被写体が動いた範囲と同じ範囲内において前景画像が表示されたり、被写体の姿が表示されたりするものとしたが、反対に、動きのない範囲、すなわち被写体が静止している範囲と同じ範囲内において前景画像が表示されたり、被写体の姿が表示されたりするようにしてもよい。
【０１８７】
図３０は、カメラ５１により撮影された動画像のさらに他の例を示す図である。
【０１８８】
図３０の例においては、カメラ５１により撮影された動画像を構成するフレームとしてフレームｆ21乃至ｆ23が示されている。横方向は時間方向を表す。
【０１８９】
フレームｆ21において、被写体の体はフレームの中心を基準とすると左側にあり、頭だけがフレームの中心にくるように体が傾けられている。フレームｆ22において、被写体の体はフレームのほぼ中心にある。フレームｆ23において、被写体の体はフレームの中心を基準とすると右側にあり、頭だけがフレームの中心にくるように体が傾けられている。頭の位置は、フレームｆ21乃至ｆ23のいずれのフレームにおいてもほぼ同じ位置にある。
【０１９０】
図３１は、図３０の動画像に基づいてマスク画像作成部２０１により作成されるマスク画像の例を示す図である。
【０１９１】
図３１のマスク画像ｍ21乃至ｍ23は、それぞれ、図３０のフレームｆ21乃至ｆ23から作成されたマスク画像である。差分抽出部２０２においては、図３１に示されるようなマスク画像間の差分が求められ、所定の期間内に被写体が静止している範囲が抽出される。
【０１９２】
図３２は、差分抽出部２０２により抽出される範囲の例を示す図である。
【０１９３】
例えば、図３１のマスク画像ｍ21乃至ｍ23に基づいて、マスク画像間で差分のない、図３２に斜線を付して示す範囲Ａ31が、被写体が静止していた範囲として抽出される。図３２に示されるような範囲Ａ31が差分抽出部２０２により抽出された場合、合成部２０３においては、カウント値が更新されることによって、カメラ５１により撮影された動画像を構成するフレームから抽出された被写体の領域の画素のうち、範囲Ａ31と同じ範囲内の画素の濃度を上げ、それ以外の画素の濃度を下げるようにして動画像が作成される。ここでも、カウント値は、カメラ５１により撮影された動画像を構成するフレームから抽出された被写体の領域の画素の濃度を表す。
【０１９４】
図３３は、カメラ５１により撮影された動画像を構成する１フレームの例を示す図であり、図３４は、透明人間機能によってライブビュー表示される動画像を構成する１フレームの例を示す図である。
【０１９５】
カメラ５１により撮影された動画像を構成する図３３のフレームに映る被写体の領域の画素のうち、範囲Ａ31と同じ範囲内の画素の濃度が上がることにより、図３４に示されるように被写体の頭だけが動画像上に表示されることになる。
【０１９６】
このように、静止している範囲に画像が表示されるようにすることによっても、利用者は、より楽しみながら撮影作業を行うことができる。
【０１９７】
なお、ここでは、被写体の静止している範囲を抽出し、カメラ５１により撮影された動画像を構成するフレームに映る被写体の領域内の画素の濃度を調整することによって被写体の姿を動画像上で表示したり消したりするものとしたが、半透明の前景画像の濃度を被写体の静止している範囲に応じて調整することによって、被写体の姿を合成動画像上で表示したり消したりするようにしてもよい。この場合、半透明の前景画像の画素のうち、被写体の静止している範囲と同じ範囲内の画素は透明になり、被写体の姿が合成動画像上に表示されることになる。
【０１９８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどにインストールされる。
【０１９９】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図９に示されるリムーバブルメディア１０５に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供される。プログラムは、記憶部１０２やROM１０６に、あらかじめインストールしておくことができる。
【０２００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０２】
１  写真シール作成装置
１２  撮影ユニット
１３  編集ユニット
１０１  制御装置
２０１  マスク画像作成部
２０２  差分抽出部
２０３  合成部
２０４  表示制御部
【図１】
0005338935.tif 000002
【図２】
0005338935.tif 000003
【図３】
0005338935.tif 000004
【図４】
0005338935.tif 000005
【図５】
0005338935.tif 000006
【図６】
0005338935.tif 000007
【図７】
0005338935.tif 000008
【図８】
0005338935.tif 000009
【図９】
0005338935.tif 000010
【図１０】
0005338935.tif 000011
【図１１】
0005338935.tif 000012
【図１２】
0005338935.tif 000013
【図１３】
0005338935.tif 000014
【図１４】
0005338935.tif 000015
【図１５】
0005338935.tif 000016
【図１６】
0005338935.tif 000017
【図１７】
0005338935.tif 000018
【図１８】
0005338935.tif 000019
【図１９】
0005338935.tif 000020
【図２０】
0005338935.tif 000021
【図２１】
0005338935.tif 000022
【図２２】
0005338935.tif 000023
【図２３】
0005338935.tif 000024
【図２４】
0005338935.tif 000025
【図２５】
0005338935.tif 000026
【図２６】
0005338935.tif 000027
【図２７】
0005338935.tif 000028
【図２８】
0005338935.tif 000029
【図２９】
0005338935.tif 000030
【図３０】
0005338935.tif 000031
【図３１】
0005338935.tif 000032
【図３２】
0005338935.tif 000033
【図３３】
0005338935.tif 000034
【図３４】
0005338935.tif 000035