(57)【要約】【課題】画像に写る被写体までの距離を高い精度で測定することができるようにする。【解決手段】本技術を適用した写真作成ゲーム機は、利用者を被写体として、画角を変えて複数回の撮影を行い、撮影部と距離画像を生成する距離画像センサとの位置関係に基づいて生成された変換パラメータを記憶し、撮影画像の画角に応じた変換パラメータを用いて、距離画像センサにより生成された距離画像の各画素の座標を、撮影部により撮影された画像上の座標に変換する写真作成ゲーム機である。本技術は、撮影した画像をシール紙に印刷する一連のゲームを提供する写真作成ゲーム機に適用することができる。【選択図】図１７
2019152806.tif 000002
【特許請求の範囲】
【請求項１】
利用者を被写体として、画角を変えて複数回の撮影を行う撮影部と、
距離画像を生成する距離画像センサと、
前記撮影部と前記距離画像センサとの位置関係に基づいて生成された変換パラメータを記憶する記憶部と、
前記撮影部が撮影を行う画像の画角に応じた前記変換パラメータを用いて、前記距離画像センサにより生成された前記距離画像の各画素の座標を、前記撮影部により撮影された画像上の座標に変換する制御部と
を備える写真作成ゲーム機。
【請求項２】
前記撮影部により撮影された画像から一部の領域をトリミングにより切り出すことによって撮影画像を生成する画像処理部をさらに備え、
前記制御部は、座標変換後の前記距離画像のうち、前記撮影画像の画角に応じた範囲をトリミングにより切り出し、前記撮影画像上の各部の距離の特定に用いられる前記距離画像を生成する
請求項１に記載の写真作成ゲーム機。
【請求項３】
前記撮影部を駆動させる駆動部をさらに備え、
前記制御部は、前記撮影部の位置が前記駆動部によって調整された場合、調整後の前記撮影部の位置と前記距離画像センサの位置との関係に基づいて生成された前記変換パラメータを用いて、前記距離画像の各画素の座標を変換する
請求項２に記載の写真作成ゲーム機。
【請求項４】
前記変換パラメータは、前記撮影画像と前記距離画像の対応する位置に関する情報に基づいて生成されたキャリブレーション用のパラメータである
請求項２または３に記載の写真作成ゲーム機。
【請求項５】
前記変換パラメータは、前記距離画像の各画素の位置と距離に応じた、前記距離画像センサを基準とした三次元空間上の座標を、前記撮影部を基準とした三次元空間上の座標に変換し、変換後の座標を、前記撮影画像上の座標にさらに変換することによって生成されたパラメータである
請求項２または３に記載の写真作成ゲーム機。
【請求項６】
座標変換後の画素からなる前記距離画像に基づいて、前記撮影画像上の、所定の距離に対応する位置に他の画像を合成する合成部をさらに備える
請求項２乃至５のいずれかに記載の写真作成ゲーム機。
【請求項７】
前記撮影部は、前記利用者の全身が写る全身画像と、前記利用者の上半身を含み、前記全身画像より前記利用者の顔が大きく写るアップ画像とを撮影する
請求項１乃至６のいずれかに記載の写真作成ゲーム機。
【請求項８】
前記撮影部は、画角が異なる複数種類の前記全身画像を撮影する
請求項７に記載の写真作成ゲーム機。
【請求項９】
前記撮影部は、略正面から見た前記利用者の全身が写る前記全身画像と、斜め上方から見た前記利用者の全身が写る前記全身画像とを撮影する
請求項８に記載の写真作成ゲーム機。
【請求項１０】
前記距離画像センサを駆動させる他の駆動部をさらに備える
請求項１乃至９のいずれかに記載の写真作成ゲーム機。
【請求項１１】
前記撮影部により撮影された動画像を、撮影を行っている前記利用者に提示する表示制御部をさらに備え、
前記制御部は、前記距離画像センサにより生成された前記距離画像の各画素の座標を、前記動画像を構成する各画像上の座標に変換する
請求項１乃至１０のいずれかに記載の写真作成ゲーム機。
【請求項１２】
写真作成ゲーム機が、
利用者を被写体として、撮影部により、画角を変えて複数回の撮影を行い、
距離画像センサにより、距離画像を生成し、
前記撮影部と前記距離画像センサとの位置関係に基づいて生成された、記憶部が記憶する変換パラメータのうち、前記撮影部により撮影を行う画像の画角に応じた前記変換パラメータを用いて、前記距離画像センサにより生成された前記距離画像の各画素の座標を、前記撮影部により撮影された画像上の座標に変換する
画像処理方法。
【請求項１３】
写真作成ゲーム機に搭載されたコンピュータに、
利用者を被写体として、撮影部により、画角を変えて複数回の撮影を行い、
距離画像センサにより、距離画像を生成し、
前記撮影部と前記距離画像センサとの位置関係に基づいて生成された、記憶部が記憶する変換パラメータのうち、前記撮影部により撮影を行う画像の画角に応じた前記変換パラメータを用いて、前記距離画像センサにより生成された前記距離画像の各画素の座標を、前記撮影部により撮影された画像上の座標に変換する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、写真作成ゲーム機、画像処理方法、およびプログラムに関し、特に、画像に写る被写体までの距離を高い精度で測定することができるようにした写真作成ゲーム機、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。
【０００３】
写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。
【０００４】
特許文献１には、カメラの真上にレーザスキャナを設け、利用者までの距離を計測することができるようにした写真作成装置が開示されている。カメラの位置とほぼ同じ位置にレーザスキャナが設けられ、カメラの撮影範囲を含むようにレーザスキャナの計測範囲が設定される。
【０００５】
特許文献１に記載の写真作成装置においては、利用者までの距離を計測することにより、複数の利用者が前後の位置関係にある場合に、前の人と後ろの人の間に付加画像を合成することができるようになされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２５９０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
被写体までの距離を計測するデバイスとして距離画像センサを用いることが考えられる。距離画像センサにより得られる距離画像は、被写体の各画素に対応する位置までの距離を表す画像となる。
【０００８】
カメラと距離画像センサは、被写体までの距離、画角、画素数がそれぞれ異なる。従って、例えばカメラによって撮影された画像に合わせて、距離画像を単純に拡大、変形しただけでは、撮影画像と距離画像の画素位置が一致しない。
【０００９】
撮影画像と距離画像の画素位置が一致しないことにより、撮影画像に写る被写体の各位置の距離を正しく測定することができない。
【００１０】
また、最近の写真シール作成装置のトレンドとして、カメラの上下方向の角度（仰角）を変更し、撮影範囲の異なる複数種類の撮影を行うことが一般的である。
【００１１】
通常、距離画像センサの検出範囲はカメラの撮影範囲より狭いため、カメラの撮影範囲を変えた場合に、距離を測定できない部分が生じてしまう。
【００１２】
本技術はこのような状況に鑑みてなされたものであり、例えば、画像に写る被写体までの距離を高い精度で測定することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の写真作成ゲーム機は、利用者を被写体として、画角を変えて複数回の撮影を行う撮影部と、距離画像を生成する距離画像センサと、前記撮影部と前記距離画像センサとの位置関係に基づいて生成された変換パラメータを記憶する記憶部と、前記撮影部が撮影を行う画像の画角に応じた前記変換パラメータを用いて、前記距離画像センサにより生成された前記距離画像の各画素の座標を、前記撮影部により撮影された画像上の座標に変換する制御部とを備える写真作成ゲーム機である。
【００１４】
本技術においては、利用者を被写体として、撮影部により、画角を変えて複数回の撮影が行われ、距離画像センサにより、距離画像が生成される。また、前記撮影部と前記距離画像センサとの位置関係に基づいて生成された、記憶部が記憶する変換パラメータのうち、前記撮影部により撮影を行う画像の画角に応じた前記変換パラメータを用いて、前記距離画像センサにより生成された前記距離画像の各画素の座標が、前記撮影部により撮影された画像上の座標に変換される。
【発明の効果】
【００１５】
本技術によれば、画像に写る被写体までの距離を高い精度で測定することができる。
【図面の簡単な説明】
【００１６】
【図１】本技術の写真シール作成装置の外観の構成例を示す斜視図である。
【図２】写真シール作成装置の外観を他の角度からみた斜視図である。
【図３】利用者の移動について説明する図である。
【図４】事前選択部の構成例を示す図である。
【図５】撮影部の構成例を示す図である。
【図６】背景部の構成例を示す図である。
【図７】編集ユニットの正面の構成例を示す図である。
【図８】編集ユニットの側面の構成例を示す図である。
【図９】アップ画像のトリミングの例を示す図である。
【図１０】正面全身画像のトリミングの例を示す図である。
【図１１】上から全身画像のトリミングの例を示す図である。
【図１２】編集画像のレイヤ構造の例を示す図である。
【図１３】距離画像の例を示す図である。
【図１４】距離画像の他の例を示す図である。
【図１５】キャリブレーションによる座標変換の例を示す図である。
【図１６】距離画像のトリミングの例を示す図である。
【図１７】距離の特定の例を示す図である。
【図１８】距離画像を用いた画像合成の例を示す図である。
【図１９】距離画像を用いた画像合成の他の例を示す図である。
【図２０】写真シール作成装置の構成例を示すブロック図である。
【図２１】写真シール作成装置の機能構成例を示すブロック図である。
【図２２】図２１の撮影処理部の構成例を示すブロック図である。
【図２３】変換パラメータの例を示す図である。
【図２４】距離の特定の例を示す図である。
【図２５】写真シール作成ゲーム処理について説明するフローチャートである。
【図２６】図２５のステップＳ３において行われる撮影処理について説明するフローチャートである。
【図２７】ライブビュー画面の表示例を示す図である。
【図２８】キャリブレーション用の変換パラメータの生成の流れを示す図である。
【図２９】被写体の撮影の例を示す図である。
【図３０】写真シール作成装置の他の構成例を示すブロック図である。
【図３１】カメラと距離画像センサの光軸の角度の例を示す図である。
【図３２】カメラの光軸と距離画像センサの光軸の関係を示す図である。
【図３３】カメラの光軸と距離画像センサの光軸の関係を示す他の図である。
【発明を実施するための形態】
【００１７】
＜＜実施例１＞＞
＜写真シール作成装置の外観＞
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。
【００１８】
写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置１は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
【００１９】
写真シール作成装置１の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。
【００２０】
写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの他の画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
【００２１】
写真シール作成装置１は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
【００２２】
図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。撮影ユニット１１と編集ユニット１２は電気的に接続される。
【００２３】
撮影ユニット１１は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部２０、撮影部２１、および背景部２２から構成される。事前選択部２０は、撮影部２１の側面に設置される。事前選択部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部２１と背景部２２は所定の距離だけ離して設置される。撮影部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。
【００２４】
事前選択部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部２０は、撮影空間の空き状況に応じて、事前選択空間にいる利用者を撮影空間へと案内する。
【００２５】
撮影部２１は、利用者を被写体として撮影するための装置である。撮影部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
【００２６】
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択部２０が設置される。なお、事前選択部２０が、側面パネル４１Ｂに設置されるようにしてもよい。
【００２７】
背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。
【００２８】
側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。
【００２９】
撮影空間の床には、板状の部材である床材２７が敷かれる。
【００３０】
側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。
【００３１】
撮影空間の天井の一部には、ビニル素材の部材や板状の部材からなる天井シート２４が設けられる。
【００３２】
編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結して設けられる。
【００３３】
図１に示す編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。
【００３４】
編集ユニット１２の正面側は、面６１と、面６１の上方に形成された斜面６２から構成される。面６１は、床面に対して垂直で、撮影部２１の側面パネル４１Ａとほぼ平行な面である。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の左側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の右側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。
【００３５】
編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。
【００３６】
３本のレール２６Ａ乃至２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ固定される。
【００３７】
カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにするためのカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面前方の空間が、利用者が編集作業を行う編集空間となる。
【００３８】
編集ユニット１２の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
【００３９】
＜利用者の移動について＞
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
【００４０】
図３は、写真シール作成装置１を上から見た平面図である。
【００４１】
利用者は、事前選択部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って事前選択作業を行う。例えば、利用者は、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
【００４２】
事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入る。利用者は、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
【００４３】
撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２−１に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２−２に移動する。
【００４４】
編集空間Ａ２−１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２−２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかは、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は、編集作業を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集作業を行うことができる。
【００４５】
編集作業が終了した後、編集画像の印刷が開始される。編集空間Ａ２−１での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２−１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２−２での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２−２から印刷待ち空間Ａ３に移動する。
【００４６】
印刷待ち空間Ａ３に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット１２の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
【００４７】
次に、各装置の構成について説明する。
【００４８】
＜事前選択部の構成＞
図４は、事前選択部２０の構成例を示す図である。
【００４９】
事前選択部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、利用者の人数の選択に用いられる画面などが表示される。
【００５０】
タッチパネルモニタ７１の下方にはスピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ７２の隣に、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。
【００５１】
事前選択部２０のタッチパネルモニタ７１の上には、表面が透明の板状部材で覆われた収納部７４が形成される。収納部７４には、例えば、写真シール作成装置１で作成されるシールのサンプルが収納される。商品のサンプルや商品説明用の写真（ポスター）を掲示することなどにも収納部７４は用いられる。
【００５２】
＜撮影部の構成＞
図５は、撮影部２１の正面の構成例を示す図である。
【００５３】
撮影部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。
【００５４】
正面パネル４２の略中央には箱状のカメラユニット８１が設けられる。カメラユニット８１の正面には、カメラ９１、タッチパネルモニタ９２、および距離画像センサ９３が設けられる。
【００５５】
カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間Ａ１にいる利用者を撮影する。カメラ９１は、利用者を被写体として撮影を行う撮影部として機能する。
【００５６】
カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像は、タッチパネルモニタ９２に表示される。撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた静止画像は撮影画像として保存される。
【００５７】
タッチパネルモニタ９２はカメラ９１の下方に設けられる。タッチパネルモニタ９２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれたライブビュー画像を利用者に提示するライブビューモニタとしての機能と、各種のGUIを表示して利用者の選択操作を受け付ける機能を備えている。
【００５８】
距離画像センサ９３は、撮影空間Ａ１の距離画像を生成する。距離画像は、撮影空間Ａ１にある対象物の各位置までの距離（奥行き）を示す値を各画素の画素値として構成される画像である。例えば、距離画像センサ９３による距離画像の生成は、撮影空間Ａ１において撮影が行われている間、繰り返し行われる。
【００５９】
図５に示すように、距離画像センサ９３は、カメラ９１の近傍の真上の位置に、レンズが露出するようにカメラユニット８１の内部に取り付けられる。例えば、距離画像センサ９３の撮影範囲（画角）は、カメラ９１の最大画角より狭い範囲とされる。距離画像の画素数は、カメラ９１に取り込まれた原画像をトリミングすることによって生成されたライブビュー画像や撮影画像の画素数と略同一の画素数であってもよい。
【００６０】
距離画像センサ９３として、パターン照射方式のセンサを用いることが可能である。パターン照射方式は、所定のパターンのレーザー光線を照射し、対象物において反射する光のパターンの歪みに基づいて距離を測定する方式である。
【００６１】
この場合、所定のパターンのレーザー光線の照射用のレンズと、反射光の検出用のレンズがカメラユニット８１の正面に設けられる。例えば、レーザー光線の照射用のレンズ、反射光の検出用のレンズ、および、カメラ９１のレンズは、鉛直方向に並べて設けられる。各レンズの並び順は任意である。
【００６２】
距離画像センサ９３による距離の測定がTOF(Time of Flight)方式により行われるようにしてもよい。TOF方式は、照射光と反射光との位相差を用いて対象物までの距離を算出する方式である。パターン照射方式、TOF方式に限らず、ストラクチャ光照明方式、Infrared Depth方式、ステレオカメラ方式などの他の方式より対象物までの距離が算出され、距離画像が生成されるようにしてもよい。
【００６３】
距離画像センサ９３により生成された距離画像は、後述するように、カメラ９１により撮影された画像に含まれる利用者までの距離を特定し、所定の距離の位置に他の画像を合成することに用いられる。
【００６４】
カメラユニット８１の上方には、撮影部２１の横幅と略同じ幅の上ストロボユニット８２が設置される。上ストロボユニット８２の正面は、乳白色の板状の部材であるパネル８６−１乃至８６−３から構成される。パネル８６−１乃至８６−３は、斜め下方を向く面を構成するように、正面パネル４２に対して略４５度の角度を有するように設置される。上ストロボユニット８２は、利用者の正面上方から、利用者の顔と上半身に光を照射する。
【００６５】
カメラユニット８１の下方には、利用者の下半身および足元に光を照射する足元ストロボユニット８３が設けられる。
【００６６】
上ストロボユニット８２および足元ストロボユニット８３は、照明用の電球とストロボ発光可能な照明機器とにより構成される。上ストロボユニット８２および足元ストロボユニット８３は、利用者の操作性や安全性を確保するために撮影空間内を常時照らすとともに、撮影画像の画質を向上させるために撮影タイミングで発光し、被写体となる利用者にストロボ光を照射する。
【００６７】
足元ストロボユニット８３と側面パネル４１Ａとの間には箱状部８４が設けられる。また、足元ストロボユニット８３と側面パネル４１Ｂとの間には箱状部８５が設けられる。箱状部８４，８５の上面は、写真シール作成装置１の設置面と略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。
【００６８】
なお、正面パネル４２の天井付近にはスピーカが設けられる。スピーカからは、撮影処理の案内音声、BGM、効果音などが出力される。スピーカが背景部２２に設けられるようにしても良い。
【００６９】
＜背景部の構成＞
図６は、背景部２２の撮影空間Ａ１側の構成例を示す図である。
【００７０】
背面パネル５１の上方には、背面ストロボ１０１−１と背面ストロボ１０１−２が設置される。背面ストロボ１０１−１と背面ストロボ１０１−２は、撮影空間Ａ１にいる利用者の後方かつ上方から光を照射する。
【００７１】
背面ストロボ１０１−１と背面ストロボ１０１−２の間に、スピーカ１０２−１とスピーカ１０２−２が設けられる。スピーカ１０２−１とスピーカ１０２−２は、撮影処理の案内音声、BGM、効果音などを出力する。
【００７２】
背面パネル５１には白色のシート１２１が貼り付けられる。シート１２１は、ビニル素材やファブリック素材のシートである。シート１２１の色は、白色に限らず、明るい灰色などの、反射率の高い他の色であってもよい。
【００７３】
背面パネル５１の撮影空間Ａ１側の面にシート１２１が貼り付けられるものとしたが、面自体が白色で塗られていたり、シート状ではなく、白色の板状のパネルが貼り付けられていたりするようにしてもよい。
【００７４】
また、白色のカーテンを巻き取って収納可能なカーテンユニットが設置されるようにしてもよい。例えば撮影時、白色のカーテンがカーテンユニットから降ろされる。
【００７５】
＜編集ユニットの構成＞
図７は、編集ユニット１２の正面側（編集空間Ａ２−１側）の構成例を示す図である。
【００７６】
斜面６２のほぼ中央にはタブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。
【００７７】
タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。
【００７８】
なお、タッチペン１３２Ａを用いた操作とタッチペン１３２Ｂを用いた操作は識別される。タブレット内蔵モニタ１３１の左側の表示に対してはタッチペン１３２Ａを用いた操作のみが可能とされ、右側の表示に対してはタッチペン１３２Ｂを用いた操作のみが可能とされる。以下、適宜、タッチペン１３２Ａとタッチペン１３２Ｂを区別する必要がない場合、まとめてタッチペン１３２という。
【００７９】
図８は、編集ユニット１２の左側面の構成例を示す図である。
【００８０】
編集ユニット１２の左側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部にはプリンタが設けられている。プリンタにより、編集空間Ａ２−１において編集作業を行った利用者が写る画像、または、編集空間Ａ２−２において編集作業を行った利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。
【００８１】
＜撮影画像の例＞
以上のような構成を有する写真シール作成装置１の撮影空間Ａ１においては、アップ画像と全身画像の撮影が行われる。
【００８２】
アップ画像は、利用者の胸から上の上半身が大きく写る画像である。アップ画像においては、利用者の顔が、全身画像に写る顔より大きく写る。全身画像は、利用者の全身が写る画像である。
【００８３】
また、撮影空間Ａ１においては、全身画像として、正面全身画像と上から全身画像の、画角が異なる２種類の画像の撮影が行われる。正面全身画像は、略正面から見た利用者の全身が写る画像であり、上から全身画像は、斜め上方から見た利用者の全身が写る画像である。
【００８４】
このように、写真シール作成装置１の撮影処理時、アップ画像、正面全身画像、上から全身画像の３種類の画像の撮影が行われる。それぞれの画像の撮影は、カメラ９１の焦点距離を調整するとともに、カメラ９１の光軸の角度を調整して行われる。
【００８５】
図９は、アップ画像の撮影時に行われるトリミングの例を示す図である。
【００８６】
図９Ａに示す画像Ｐ１は、アップ画像の撮影時に得られた原画像である。画像Ｐ１に示すように、アップ画像の原画像には、撮影空間Ａ１にいる利用者の頭の上から膝上あたりまでの範囲が写っている。カメラ９１は縦向きに取り付けられており、縦長の原画像が得られる。
【００８７】
枠Ｆ１で示す縦長の矩形領域が、トリミングによって切り出される領域である。枠Ｆ１で示す矩形領域が画像Ｐ１から切り出されることにより、図９Ｂに示すような、上半身が大きく写るアップ画像Ｐ１’が生成される。
【００８８】
図１０は、正面全身画像の撮影時に行われるトリミングの例を示す図である。
【００８９】
図１０Ａに示す画像Ｐ２は、正面全身画像の撮影時に得られた原画像である。画像Ｐ２に示すように、正面全身画像の原画像には、略正面の位置から見た利用者の全身が写っている。
【００９０】
枠Ｆ２で示す矩形領域が、トリミングによって切り出される領域である。枠Ｆ２で示す矩形領域が画像Ｐ２から切り出されることにより、図１０Ｂに示すような、利用者の全身が写る正面全身画像Ｐ２’が生成される。正面全身画像の縦横比は、例えば、アップ画像の縦横比より縦方向の比が大きい比率とされる。
【００９１】
図１１は、上から全身画像の撮影時に行われるトリミングの例を示す図である。
【００９２】
図１１Ａに示す画像Ｐ３は、上から全身画像の撮影時に得られた原画像である。画像Ｐ３に示すように、上から全身画像の原画像には、斜め上方の位置から見た利用者の全身が写っている。
【００９３】
枠Ｆ３で示す矩形領域が、トリミングによって切り出される領域である。枠Ｆ３で示す矩形領域が画像Ｐ３から切り出されることにより、図１１Ｂに示すような、利用者の全身が写る正面全身画像Ｐ３’が生成される。上から全身画像の縦横比は、例えば、アップ画像の縦横比より縦方向の比が大きい比率とされる。
【００９４】
以上のような画角の画像であるアップ画像、全身画像、および上から全身画像を対象として編集が行われ、編集画像が生成される。
【００９５】
図１２は、編集画像のレイヤ構造の例を示す図である。
【００９６】
左端の編集画像Ｐ１１が編集によって生成される画像である。編集画像Ｐ１１は、撮影画像Ｐ２１と前景画像Ｐ２２の各レイヤの画像から構成される。
【００９７】
図１２の例においては、図９Ｂのアップ画像が撮影画像Ｐ２１とされている。
【００９８】
前景画像Ｐ２２は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。
【００９９】
編集画像Ｐ１１は、撮影画像Ｐ２１の上に前景画像Ｐ２２を重ねることによって生成される。
【０１００】
編集画像Ｐ１１を構成する画像として背景画像が用いられるようにしてもよい。背景画像は、所定の色の画像や、所定の柄の画像であり、利用者の領域の周りにそのような所定の色や柄を表示するために用いられる。
【０１０１】
背景画像の合成が行われる場合、撮影画像Ｐ２１に対してクロマキ処理が施され、利用者の領域である人物領域が抽出される。人物領域からなる撮影画像Ｐ２１の下のレイヤの画像として背景画像が配置されることによって、編集画像Ｐ１１が生成される。
【０１０２】
＜距離画像について＞
図１３は、距離画像の例を示す図である。
【０１０３】
距離画像を構成する各画素を、各画素に写る対象物の距離に応じた濃淡で表した場合、図１３に示すように、距離画像Ｄ１は、利用者のシルエットを表す画像となる。図１３の例においては、利用者や、床の手前の部分などの、近くにある対象物が写る画素は濃い色で表され、背景などの、遠くにある対象物が写る画素は薄い色で表されている。対象物までの距離の基準は、距離画像センサ９３の位置である。
【０１０４】
説明の便宜上、図１３の例においては、距離画像Ｄ１の画角を利用者の全身を含む画角としているが、図１４Ａに示すような狭い画角の距離画像が、写真シール作成装置１において生成されるようにしてもよい。上述したように、距離画像センサ９３の画角は、カメラ９１の最大画角より狭い範囲とされる。図１４Ａに示す距離画像Ｄ２は、利用者の略膝から上の範囲を含むような画角の距離画像である。
【０１０５】
なお、図１３、図１４Ａの例においては、人物領域の全体が同じ濃度で表されているが、実際には、図１４Ｂに示すように、各位置の濃淡は、距離に応じた濃淡で表される。
【０１０６】
写真シール作成装置１においては、カメラ９１により撮影された画像に写る被写体の各位置までの距離を精度よく特定するために、距離画像に対してキャリブレーション（カメラキャリブレーション）が施される。キャリブレーション後の距離画像に基づいて、距離画像の各画素に対応する撮影画像上の画素に写る対象物の距離が特定される。
【０１０７】
キャリブレーションは、主に、レンズの焦点距離などの内部パラメータと、カメラの位置と姿勢を表す外部パラメータに基づいて、図１５に示すように、歪みのある画像を、歪みのない画像に変換することに用いられる処理である。
【０１０８】
距離画像に対してキャリブレーションを施すことにより、距離画像の各画素の座標が、カメラ９１により撮影された画像上の座標に変換される。すなわち、カメラ９１の位置と距離画像センサ９３の位置がずれているため、カメラ９１により撮影された画像と、距離画像センサ９３により生成された距離画像とでは、画像上の各画素の位置（座標）を表す座標空間が異なる。
【０１０９】
距離画像のキャリブレーションは、距離画像センサ９３を基準とした座標空間上で表される、距離画像の各画素の座標を、カメラ９１を基準とした座標空間上の座標に変換する処理となる。カメラ９１を基準とした座標空間上の座標として各画素の座標が表されるキャリブレーション後の距離画像を用いることにより、カメラ９１により撮影された画像に写る被写体の各位置までの距離を精度よく特定することが可能となる。
【０１１０】
ここで、カメラ９１による撮影は、上述したように画角の設定を適宜変更して行われる。これに対して、距離画像センサ９３による距離画像の生成は、カメラ９１が撮影する画像の画角に関わらず、画角を固定にして行われる。
【０１１１】
画角を固定にして生成された距離画像に対してキャリブレーションが施され、キャリブレーション後の距離画像から、カメラ９１が撮影する画像の画角に応じた範囲がトリミングにより切り出され、距離の特定に用いられる。
【０１１２】
図１６は、距離画像のトリミングの例を示す図である。
【０１１３】
正面全身画像の撮影時、距離画像に対してキャリブレーションが施され、キャリブレーション後の距離画像Ｄ１が生成される。図１６の左側に示す距離画像Ｄ１は、キャリブレーション後の距離画像である。この例においては、図１０を参照して説明した、正面全身画像の撮影時に得られた原画像と略同じ画角の距離画像が生成されている。
【０１１４】
キャリブレーション後の距離画像Ｄ１のうち、枠Ｆ１１で囲んで示す、正面全身画像の画角に応じた範囲の画素からなる画像がトリミングにより切り出され、白抜き矢印で示すように距離画像Ｄ１’が生成される。距離画像Ｄ１’を構成する各画素の座標は、正面全身画像上の画素の座標に対応する。
【０１１５】
トリミングにより切り出す範囲は、カメラ９１により撮影される画像の種類毎に予め設定されている。キャリブレーション用の変換パラメータも、カメラ９１により撮影される画像の種類毎に予め求められ、用意されている。キャリブレーション用の変換パラメータは、距離画像の各画素の座標の変換に用いられるパラメータである。
【０１１６】
例えば、撮影画像の解像度とキャリブレーション後の距離画像の解像度が同じであるとすると、撮影画像上の、利用者の目が写る画素の位置と、キャリブレーション後の距離画像上の、利用者の目までの距離を表す画素の位置とは、同じ座標で表される。同様に、撮影画像上の、背景の所定の位置が写る画素の位置と、キャリブレーション後の距離画像上の、背景の同じ位置までの距離を表す画素の位置とは、同じ座標で表される。
【０１１７】
図１７は、キャリブレーション後の距離画像を用いた距離の特定の例を示す図である。
【０１１８】
矢印＃１１と矢印＃１２の先に示すように、正面全身画像Ｐ２’に対して距離画像Ｄ１’を適用することにより、矢印＃１３の先に示すように、正面全身画像Ｐ２’における、同じ距離にある対象物が写る範囲が特定される。矢印＃１３の先に示す画像内における線は、距離が異なる対象物が写る領域の境界を表す。
【０１１９】
カメラ９１の位置と距離画像センサ９３の位置がずれているため、距離画像の所定の範囲を単に拡大／縮小して撮影画像に合わせた場合、ある対象物が写る撮影画像上の画素と、同じ対象物の距離を表す距離画像上の画素には、ずれが生じてしまう。
【０１２０】
距離画像の各画素に対してキャリブレーションを施し、距離画像の各画素の座標を、撮影画像上の座標として変換することにより、撮影画像に写るそれぞれの対象物までの距離をより高い精度で特定することが可能となる。
【０１２１】
距離画像センサ９３の画角が固定であるものとしたが、カメラ９１が撮影する画像の画角に応じて調整されるようにしてもよい。
【０１２２】
図１８は、距離画像を用いた画像合成の例を示す図である。
【０１２３】
図１８の例においては、左側に写る利用者Ｈ１と右側に写る利用者Ｈ２の間に画像Ｐ５１が合成されている。画像Ｐ５１は、例えばモデルの人物の合成用画像である。モデルの人物が利用者Ｈ１，Ｈ２の後ろに立っていることを表現するために、画像Ｐ５１のサイズは、利用者Ｈ１，Ｈ２の距離に応じた大きさに調整され、合成される。
【０１２４】
撮影画像に写る利用者Ｈ１，Ｈ２の距離を高い精度で特定できることにより、図１８に示すように、所定の距離に対応する位置に、正確に、画像Ｐ５１を合成することが可能となる。
【０１２５】
図１９は、距離画像を用いた画像合成の他の例を示す図である。
【０１２６】
図１９の例においては、利用者Ｈ１が前、利用者Ｈ２が後ろといったように立ち位置を前後させた状態でアップ画像の撮影が行われたものとされている。キャリブレーション後の距離画像に基づいて、利用者Ｈ１の範囲と利用者Ｈ２の範囲が、それぞれ、距離が異なる対象物が写る範囲として特定される。
【０１２７】
利用者Ｈ１の範囲と利用者Ｈ２の範囲をそれぞれ特定することができることにより、図１９に示すように、利用者Ｈ１より後ろであって、利用者Ｈ２より前の位置に画像Ｐ５２を正確に合成することが可能となる。画像Ｐ５２は、吹き出しを表す合成用画像であり、吹き出しの中には「HAPPY!」の文字が表示されている。
【０１２８】
このような合成用画像の合成は、例えば、ライブビュー画面の表示時、または、撮影画像の編集時に行われる。
【０１２９】
ライブビュー画面の表示時に合成用画像の合成が行われることにより、利用者は、図１８、図１９に示すような、所定の距離に対応する位置に合成用画像が合成されたライブビュー画像を見ながら撮影を行うことができる。
【０１３０】
また、撮影画像の編集時に画像の合成が行われることにより、利用者は、図１８、図１９に示すような、所定の距離に対応する位置に、合成用画像を合成して編集を行うことができる。
【０１３１】
以上のようにして距離画像を用いた処理を行う写真シール作成装置１の一連の処理についてはフローチャートを参照して後述する。
【０１３２】
＜写真シール作成装置の内部構成＞
図２０は、写真シール作成装置１の構成例を示すブロック図である。図２０において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３３】
図２０に示すように、写真シール作成装置１は、PC(Personal Computer)部３０１に対して、事前選択部３０２、撮影部３０４、編集部３０５Ａ，３０５Ｂ、および印刷部３０６が外部入出力インタフェース３０３を介して接続されることによって構成される。情報処理部であるPC部３０１は、例えば編集ユニット１２の筐体内部に搭載される。
【０１３４】
PC部３０１を構成するCPU(Central Processing Unit)３１１、ROM(Read Only Memory)３１２、RAM(Random Access Memory)３１３は、バス３１４により相互に接続される。
【０１３５】
CPU３１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM３１２は、CPU３１１が実行するプログラムやデータを記憶する。RAM３１２は、CPU３１１が処理するデータやプログラムを一時的に記憶する。
【０１３６】
バス３１４には、さらに、入出力インタフェース３１５が接続される。入出力インタフェース３１５には、記憶部３１６、通信部３１７、およびドライブ３１８が接続される。
【０１３７】
記憶部３１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部３１６は、CPU３１１から供給された各種の設定情報などを記憶する。記憶部３１６に記憶されている情報はCPU３１１により適宜読み出される。
【０１３８】
通信部３１７は、インターネットなどのネットワークのインタフェースである。通信部３１７は、CPU３１１による制御に従って外部の装置と通信を行う。通信部３１７は、利用者により選択された画像を、例えば写真シール作成装置１の製造メーカが管理する画像取得サイト管理サーバに送信する。通信部３１７から送信された画像は、所定の記憶領域が割り当てられて保存され、画像取得サイト管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。
【０１３９】
ドライブ３１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア３１９が適宜装着される。ドライブ３１８によりリムーバブルメディア３１９から読み出されたプログラムやデータは、CPU３１１に供給され、記憶部３１６に記憶されたり、インストールされたりする。
【０１４０】
入出力インタフェース３１５には外部入出力インタフェース３０３が接続される。PC部３０１による各部の制御が、外部入出力インタフェース３０３を介して行われる。
【０１４１】
事前選択部３０２は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を行う。事前選択部３０２は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部３２１から構成される。
【０１４２】
タッチパネルモニタ７１は、PC部３０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、各種の設定が行われる。
【０１４３】
硬貨処理部３２１は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部３２１は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部３０１に出力する。
【０１４４】
撮影部３０４は、撮影空間Ａ１にいる利用者を対象とした撮影処理を行う。撮影部３０４は、カメラ９１、タッチパネルモニタ９２、距離画像センサ９３、カメラ駆動部３３１、照明装置３３２、およびスピーカ３３３から構成される。
【０１４５】
カメラ９１は、PC部３０１によるシャッタ制御に従って撮影を行い、撮影によって得られた画像のデータをPC部３０１に出力する。
【０１４６】
距離画像センサ９３は、PC部３０１によるシャッタ制御に従って距離の測定を行い、距離画像を生成する。距離画像センサ９３は、距離画像のデータをPC部３０１に出力する。
【０１４７】
カメラ駆動部３３１は、図示せぬアクチュエータなどを駆動させることによって、カメラ９１の光軸の角度を画像の種類に応じて制御する。光軸の角度の調整は、例えば、カメラ９１の筐体を傾けることによって行われる。
【０１４８】
例えば、カメラ駆動部３３１は、アップ画像の撮影時、カメラ９１の光軸の角度が、水平に対して下向き１２°（俯角１２°）となるように制御する。また、カメラ駆動部３３１は、正面全身画像の撮影時、カメラ９１の光軸の角度が、水平に対して下向き１０°となるように制御する。カメラ駆動部３３１は、上から全身画像の撮影時、カメラ９１の光軸の角度が、水平に対して下向き２２°となるように制御する。
【０１４９】
照明装置３３２は、撮影空間Ａ１内の各ストロボユニットであり、PC部３０１から供給される照明制御信号に従って発光する。
【０１５０】
スピーカ３３３は、スピーカ１０２−１とスピーカ１０２−２を含む、撮影空間Ａ１の各位置に設けられたスピーカにより構成される。
【０１５１】
編集部３０５Ａは、編集空間Ａ２−１にいる利用者を対象とした編集処理を行う。編集部３０５Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ３４１から構成される。編集部３０５Ｂは、編集空間Ａ２−２にいる利用者を対象とした編集処理を行い、編集部３０５Ａと同一の構成を有する。以下、適宜、編集部３０５Ａ，３０５Ｂをまとめて編集部３０５という。
【０１５２】
タブレット内蔵モニタ１３１は、PC部３０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、編集対象となる撮影画像が編集される。
【０１５３】
印刷部３０６は、プリンタ３５１を含むように構成される。プリンタ３５１にはシール紙ユニット３５２が装着される。
【０１５４】
プリンタ３５１は、内蔵するヘッド３６１を駆動し、PC部３０１から供給された印刷データに基づいて、シール紙ユニット３５２に収納されているロール状のシール紙３６３に画像を印刷する。また、プリンタ３５１は、画像を印刷したシール紙３６３をカッター３６２によって所定のカット位置でカットして、シール紙排出口１６１に排出する。
【０１５５】
＜写真シール作成装置の機能構成例＞
図２１は、写真シール作成装置１の機能構成例を示すブロック図である。図２１に示す機能部のうちの少なくとも一部は、CPU３１１により所定のプログラムが実行されることによって実現される。
【０１５６】
写真シール作成装置１においては、事前選択処理部４０１、撮影処理部４０２、編集処理部４０３、および印刷処理部４０４が実現される。
【０１５７】
事前選択処理部４０１は、事前選択部３０２の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部４０２に供給される。
【０１５８】
撮影処理部４０２は、撮影部３０４の各部を制御することで撮影処理を行う。撮影処理部４０２は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部４０３に出力する。撮影処理部４０２から編集処理部４０３に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
【０１５９】
編集処理部４０３は、編集部３０５の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさや肌の明るさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。
【０１６０】
撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部４０４に出力する。また、編集処理部４０３は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。
【０１６１】
印刷処理部４０４は、プリンタ３５１に印刷データを出力し、編集画像の印刷を行う。
【０１６２】
＜撮影処理部の詳細構成＞
図２２は、撮影処理部４０２の構成例を示すブロック図である。
【０１６３】
撮影処理部４０２は、撮影制御部４１１、画像処理部４１２、測定制御部４１３、変換部４１４、変換パラメータ記憶部４１５、合成部４１６、表示制御部４１７、および画像記憶部４１８から構成される。例えば、撮影制御部４１１に対しては、事前選択処理によって利用者により選択された内容を表す選択情報が供給される。選択情報には、アップ撮影、正面全身撮影、上から全身撮影のそれぞれ撮影回数を表す情報などが含まれる。
【０１６４】
撮影制御部４１１は、動画や静止画の撮影前、カメラ駆動部３３１を制御し、カメラ９１の光軸の角度を撮影画像の種類に応じて調整する。撮影制御部４１１から変換部４１４に対しては、撮影画像の種類を表す情報が供給される。
【０１６５】
また、撮影制御部４１１は、カメラ９１を制御し、動画と静止画の撮影を行う。カメラ９１により撮影された動画はライブビューの表示に用いられ、静止画は、撮影画像の生成に用いられる。撮影制御部４１１は、撮影を行うことによって得られた画像を画像処理部４１２に出力する。
【０１６６】
画像処理部４１２は、撮影制御部４１１から供給された動画の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画を合成部４１６と表示制御部４１７に出力する。表示制御部４１７に供給された動画はライブビューの表示に用いられる。
【０１６７】
また、画像処理部４１２は、撮影制御部４１１から供給された静止画から矩形領域をトリミングにより切り出し、切り出した画像からなる撮影画像を合成部４１６と表示制御部４１７に出力する。トリミングにより切り出すことによって生成された撮影画像は画像記憶部４１８にも供給される。
【０１６８】
測定制御部４１３は、距離画像センサ９３を制御し、撮影空間Ａ１内の対象物までの距離を測定する。測定制御部４１３は、距離画像センサ９３により測定された距離に基づいて距離画像を生成し、生成した距離画像を、距離画像の原画像として変換部４１４に出力する。
【０１６９】
変換部４１４は、撮影が行われている画像の種類に応じたキャリブレーション用の変換パラメータを変換パラメータ記憶部４１５から読み出し、測定制御部４１３により生成された距離画像に対してキャリブレーションを施す。
【０１７０】
図２３は、変換パラメータの例を示す図である。
【０１７１】
図２３に示すように、変換パラメータ記憶部４１５には、アップ画像用パラメータ、正面全身画像用パラメータ、上から全身画像用パラメータが記憶される。
【０１７２】
アップ画像用パラメータは、アップ画像の撮影前のライブビュー画面の表示時に生成された距離画像と、アップ画像の撮影時のタイミングで生成された距離画像のキャリブレーションに用いられる変換パラメータである。
【０１７３】
正面全身画像用パラメータは、正面全身画像の撮影前のライブビュー画面の表示時に生成された距離画像と、正面全身画像の撮影時のタイミングで生成された距離画像のキャリブレーションに用いられる変換パラメータである。
【０１７４】
上から全身画像用パラメータは、上から全身画像の撮影前のライブビュー画面の表示時に生成された距離画像と、上から全身画像の撮影時のタイミングで生成された距離画像のキャリブレーションに用いられる変換パラメータである。
【０１７５】
変換部４１４は、例えば、アップ画像の撮影時、測定制御部４１３から供給された距離画像の原画像に対して、アップ画像用パラメータを用いてキャリブレーションを施す。また、変換部４１４は、キャリブレーション後の距離画像の原画像全体のうち、アップ画像の画角に応じた範囲をトリミングにより切り出し、アップ画像用の距離画像を生成する。
【０１７６】
このように、変換部４１４は、それぞれの画像の種類に応じた変換パラメータを用いてキャリブレーションを行い、キャリブレーション後の原画像からトリミングによって切り出した範囲の画素からなる距離画像を出力する。変換部４１４から出力された距離画像は合成部４１６と画像記憶部４１８に供給される。
【０１７７】
このように、変換部４１４は、距離画像に対してキャリブレーションを施し、距離画像の各画素の座標を、カメラ９１により撮影された画像上の座標に変換する制御部として機能する。
【０１７８】
合成部４１６は、画像処理部４１２から供給された画像に写る被写体までの距離を変換部４１４から供給された距離画像に基づいて特定し、所定の距離の位置に、合成用画像として選択された他の画像を合成する。合成用画像は、事前選択処理時に選択されたコースなどに応じて選択されるようにしてもよいし、撮影時などのタイミングで、予め用意された複数の合成用画像の中から利用者により選択されるようにしてもよい。
【０１７９】
図２４は、距離の特定の例を示す図である。
【０１８０】
図２４の例においては、カメラ９１に向かって右側にいる利用者Ｈ１が前に立ち、左側にいる利用者Ｈ２が後ろに立った状態で撮影が行われている。この場合、合成部４１６は、撮影された画像に写る利用者Ｈ１の領域と利用者Ｈ２の領域を検出する。また、合成部４１６は、キャリブレーション後の距離画像に基づいて、利用者Ｈ１が距離Ｌ１の位置に写っていることを特定するとともに、利用者Ｈ２が距離Ｌ２の位置に写っていることを特定する。
【０１８１】
合成部４１６は、距離Ｌ１より遠く、距離Ｌ２より近い距離Ｌ１１の位置に、合成用画像として選択された他の画像を合成することにより、図１９を参照して説明したような合成画像を生成することができる。
【０１８２】
合成部４１６は、ライブビュー画面の表示用の画像に他の画像を合成して得られた合成画像を表示制御部４１７に出力する。
【０１８３】
また、合成部４１６は、静止画の撮影タイミングにおいて画像処理部４１２から供給された撮影画像に他の画像を合成して得られた合成画像を撮影結果の画像として表示制御部４１７に出力する。合成部４１６は、撮影画像との合成に用いていた合成用画像の情報を画像記憶部４１８に出力する。
【０１８４】
表示制御部４１７は、タッチパネルモニタ９２に対する画面の表示を制御する。例えば、表示制御部４１７は、画像処理部４１２から供給された動画、または、合成部４１６から供給された合成画像からなる動画に基づいてライブビューを表示させる。
【０１８５】
また、表示制御部４１７は、静止画の撮影タイミングで合成部４１６から供給された合成画像を撮影結果としてライブビュー画面に表示させる。
【０１８６】
画像記憶部４１８は、画像処理部４１２から供給された撮影画像を、撮影タイミングにおける被写体までの距離を表す距離画像、合成に用いられていた合成用画像の情報とともに記憶する。画像記憶部４１８に記憶されたデータは、編集処理の開始後に編集処理部４０３により読み出される。
【０１８７】
＜写真シール作成装置の動作＞
ここで、図２５のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。
【０１８８】
ステップＳ１において、事前選択処理部４０１は、所定の金額分の硬貨が投入されたか否かを判定し、硬貨が投入されたと判定するまで待機する。起動信号が硬貨処理部３２１から供給されたことから、硬貨が投入されたとステップＳ１において判定された場合、処理はステップＳ２に進む。
【０１８９】
ステップＳ２において、事前選択処理部４０１は、事前選択部３０２を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数の選択、撮影コースの選択などが行われる。いずれの選択も、タッチパネルモニタ７１に表示される選択画面を用いて行われる。
【０１９０】
ステップＳ３において、撮影処理部４０２は、撮影部３０４を制御することで撮影処理を行う。
【０１９１】
例えば、撮影処理部４０２は、カメラ９１により取り込まれた動画像に基づいてライブビュー画面をタッチパネルモニタ９２に表示させ、撮影空間Ａ１にいる利用者を被写体として撮影を行う。撮影処理の詳細については図２６のフローチャートを参照して後述する。
【０１９２】
ステップＳ４において、編集処理部４０３は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部３０５を制御することで編集処理を行う。
【０１９３】
例えば、編集処理部４０３は、タブレット内蔵モニタ１３１に編集画面を表示させ、撮影処理により得られた撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、撮影画像に合成する合成用画像を選択するときに操作されるボタンなどが表示される。編集処理部４０３は、利用者の操作に応じて他の画像を合成することによって撮影画像の編集を行い、編集画像を生成する。
【０１９４】
撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像取得サイト管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成する。また、編集処理部４０３は、利用者により選択された編集画像を画像取得サイト管理サーバに送信する。
【０１９５】
ステップＳ５において、印刷処理部４０４は、プリンタ３５１を制御することで、印刷処理を行う。印刷処理部４０４は、編集処理部４０３により生成された印刷データをプリンタ３５１に出力してシール紙３６３に印刷させる。
【０１９６】
印刷が終了した場合、ステップＳ６において、プリンタ３５１は、カッター３６２で切り離したシール紙３６３をシール紙排出口１６１に排出する。
【０１９７】
写真シール作成装置１の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置１の利用を開始した場合、写真シール作成装置１の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。
【０１９８】
＜撮影処理＞
次に、図２６のフローチャートを参照して、図２５のステップＳ３において行われる撮影処理について説明する。
【０１９９】
ステップＳ２１において、撮影処理部４０２の撮影制御部４１１は、カメラ駆動部３３１を制御し、撮影する画像の種類に応じてカメラ９１の光軸の角度を調整する。
【０２００】
ステップＳ２２において、撮影制御部４１１は、カメラ９１を制御し、ライブビュー表示用の動画の撮影を開始する。
【０２０１】
ステップＳ２３において、画像処理部４１２は、撮影制御部４１１から供給された動画の各フレームから、画像の種類に応じた矩形領域の範囲をトリミングにより切り出し、トリミングにより切り出した画像からなる動画を合成部４１６に出力する。
【０２０２】
例えば、次に撮影する画像がアップ画像である場合、図９を参照して説明したようにしてトリミングが行われ、ライブビュー用の動画が生成される。また、正面全身画像である場合、図１０を参照して説明したようにしてトリミングが行われ、ライブビュー用の動画が生成される。上から全身画像である場合、図１１を参照して説明したようにしてトリミングが行われ、ライブビュー用の動画が生成される。
【０２０３】
ステップＳ２４において、測定制御部４１３は、距離画像センサ９３を制御し、距離画像の撮影を開始する。
【０２０４】
ステップＳ２５において、変換部４１４は、距離画像に対して変換パラメータを用いてキャリブレーションを行い、距離画像の各画素の座標を変換する。ここで用いられる変換パラメータは、撮影する画像に応じたものとなる。
【０２０５】
ステップＳ２６において、変換部４１４は、キャリブレーション後の距離画像を原画像として、距離画像の原画像から、撮影する画像に応じた範囲をトリミングにより切り出し、撮影する画像に応じた距離画像を生成する。
【０２０６】
ステップＳ２７において、合成部４１６は、変換部４１４により生成された距離画像に基づいて被写体の距離を特定し、合成用画像として選択された他の画像を所定の距離の位置に合成する。
【０２０７】
ステップＳ２８において、表示制御部４１７は、合成用画像を合成して得られた合成画像を含むライブビュー画面をタッチパネルモニタ９２に表示させる。
【０２０８】
図２７は、アップ撮影時のライブビュー表示画面の例を示す図である。
【０２０９】
ライブビュー画面の略中央にはライブビュー表示領域５２１が配置される。ライブビュー表示領域５２１には、カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像が表示される。図２７のライブビュー画像は、図１９を参照して説明したようにして生成された合成画像である。
【０２１０】
利用者は、撮影が行われる前、このようにして表示されるライブビュー画像を見て、ポーズを確認することができる。
【０２１１】
ライブビュー表示領域５２１の右側には、撮影までのカウントダウンを表す数字が表示される。また、ライブビュー表示領域５２１の下には、ライブビュー表示領域５２１より小さい矩形の領域である撮影結果表示領域５２２−１乃至５２２−５が横に並べて配置される
【０２１２】
撮影結果表示領域５２２−１乃至５２２−５には、撮影が行われる毎に、撮影によって得られた撮影画像が撮影順に表示される。
【０２１３】
図２６の説明に戻り、ステップＳ２９において、撮影制御部４１１は、撮影のタイミングになったか否かを判定する。撮影のタイミングになっていないとステップＳ２９において判定された場合、ステップＳ２８に戻り、ライブビュー画面の表示が続けられる。
【０２１４】
撮影のタイミングになったとステップＳ２９において判定された場合、ステップＳ３０に進み、撮影制御部４１１は撮影画像を生成する。例えばアップ画像の撮影時、画像処理部４１２は、撮影によって得られた画像から、図９を参照して説明したような範囲の画像を切り出し、アップ画像を生成する。画像処理部４１２により生成されたアップ画像は、合成部４１６において他の画像と合成された後、表示制御部４１７に供給され、撮影結果として表示される。
【０２１５】
ステップＳ３１において、画像記憶部４１８は、画像処理部４１２から供給された撮影画像を、撮影タイミングにおける被写体までの距離を表す距離画像、合成に用いられていた合成用画像の情報とともに記憶する。
【０２１６】
ステップＳ３２において、撮影制御部４１１は、撮影終了か否かを判定する。撮影終了ではないとステップＳ３２において判定された場合、ステップＳ３３に進み、撮影制御部４１１は、画像の種類を変更するか否かを判定する。
【０２１７】
画像の種類を変更しないとステップＳ３３において判定された場合、ステップＳ２８に戻り、ライブビュー画面の表示と撮影画像の生成が繰り返し行われる。
【０２１８】
画像の種類を変更するとステップＳ３３において判定された場合、ステップＳ２１に戻り、画像の種類に応じた撮影が繰り返し行われる。
【０２１９】
撮影終了であるとステップＳ３２において判定された場合、図２５のステップＳ３に戻り、それ以降の処理が行われる。撮影処理によって得られたアップ画像、正面全身画像、上から全身画像を含む撮影画像のデータが編集処理部４０３に供給される。
【０２２０】
以上のように、距離画像に対してキャリブレーションを施し、キャリブレーション後の距離画像に基づいて被写体の距離を特定することにより、所定の距離に対応する正確な位置に合成用画像を合成することができる。
【０２２１】
＜キャリブレーション用の変換パラメータの生成例＞
図２８は、キャリブレーション用の変換パラメータの生成の流れを示す図である。
【０２２２】
写真シール作成装置１に用意する変換パラメータの生成は、例えば、写真シール作成装置１を組み立てた後に、写真シール作成装置１を用いて行われる。
【０２２３】
はじめに、被写体の撮影が行われる。同じ被写体を対象として、カメラ９１による撮影と、距離画像センサ９３による撮影（距離の測定）が行われる。
【０２２４】
図２９は、被写体の撮影の例を示す図である。
【０２２５】
図２９Ａの画像は、カメラ９１により撮影された画像である。図２９Ａの例においては、スタンドに取り付けられた板状のテスト用被写体Ｏが撮影されている。図２９Ａに示す画角は、例えば、正面全身画像の撮影時の画角と同じ画角である。
【０２２６】
図２９Ｂの画像は、距離画像センサ９３により撮影された距離画像である。図２９Ｂの例においては、テスト用被写体Ｏの部分が濃い色で表される画像が撮影されている。
【０２２７】
このような被写体の撮影が行われた後、図２８の矢印＃２１の先に示すように、カメラ９１により撮影された画像上の点と、対応する距離画像上の点に関する情報が取得される。複数の対応点を指定する情報が、例えば写真シール作成装置１の管理者による操作に従って入力され、CPU３１１により取得される。
【０２２８】
対応点に関する情報が取得された後、図２８の矢印＃２２の先に示すように、変換パラメータの算出がCPU３１１により行われる。
【０２２９】
例えば、ある座標空間上における点（X,Y,Z）と、ある平面上の点（x,y）は、下式（１）の関係を有する。
【数１】
2019152806.tif 000003
【０２３０】
式（１）を展開すると、hx,hy,hはそれぞれ下式（２）のように表される。
【数２】
2019152806.tif 000004
【０２３１】
また、内部パラメータ、外部パラメータに基づいてhを消去した場合、式（２）は下式（３）ように表される。
【数３】
2019152806.tif 000005
【０２３２】
ここで、Xn,Yn,Znの値として、対応点として指定された距離画像上の座標（x,y,d）を代入し、xn,ynの値として、対応点として指定されたカメラ９１の画像上の座標（x,y）を代入することにより、式（３）は下式（４）のように表される。
【数４】
2019152806.tif 000006
【０２３３】
未知数がc11〜c33として１１個あるから、１１個の対応点を指定することにより、c11〜c33の値を算出することが可能となる。
【０２３４】
算出されたc11〜c33の値が、図２８の矢印＃２３の先に示すように、変換パラメータとして変換パラメータ記憶部４１５に記憶される。
【０２３５】
このような変換パラメータの生成が撮影画像の種類毎に行われ、アップ画像用パラメータ、正面全身画像用パラメータ、上から全身画像用パラメータの３種類のキャリブレーション用の変換パラメータが変換パラメータ記憶部４１５に用意される。
【０２３６】
このように、変換パラメータ記憶部４１５に記憶される変換パラメータは、撮影画像と距離画像の対応する位置に関する情報が指定されることにより生成されるパラメータである。
【０２３７】
＜＜実施例２＞＞
カメラ９１の光軸の角度とともに、距離画像センサ９３の光軸の角度を調整することができるようにしてもよい。この場合、写真シール作成装置１の撮影部３０４には、距離画像センサ９３を駆動させる駆動部が設けられる。
【０２３８】
図３０は、写真シール作成装置１の他の構成例を示すブロック図である。
【０２３９】
図３０に示す写真シール作成装置１の構成は、センサ駆動部３３４が撮影部３０４に追加して設けられている点を除いて、図２０に示す構成と同じである。
【０２４０】
センサ駆動部３３４は、図示せぬアクチュエータなどを駆動させることによって、距離画像センサ９３の光軸の角度を、撮影する画像の種類に応じて制御する。光軸の角度の調整は、例えば、距離画像センサ９３の筐体を傾けることによって行われる。
【０２４１】
図３１は、光軸の角度の例を示す図である。
【０２４２】
例えば、センサ駆動部３３４は、アップ画像の撮影時、距離画像センサ９３の光軸の角度が、水平に対して下向き１２°となるように制御する。また、センサ駆動部３３４は、正面全身画像の撮影時、距離画像センサ９３の光軸の角度が、水平に対して下向き１０°となるように制御する。センサ駆動部３３４は、上から全身画像の撮影時、距離画像センサ９３の光軸の角度が、水平に対して下向き２２°となるように制御する。
【０２４３】
すなわち、センサ駆動部３３４は、各画像の撮影時、カメラ９１の光軸の角度と平行になるように、距離画像センサ９３の光軸の角度を調整する。
【０２４４】
図３２は、カメラ９１の光軸と距離画像センサ９３の光軸の関係を示す図である。
【０２４５】
例えばアップ画像の撮影時、図３２に示すように、下向き１２°となるように、カメラ９１と距離画像センサ９３の光軸の角度が調整される。図３２において、破線矢印Ｌ１１はカメラ９１の光軸を表し、破線矢印Ｌ１２は距離画像センサ９３の光軸を表す。一点鎖線Ｌ１はカメラ９１のレンズの位置を基準とした水平方向を表し、一点鎖線Ｌ２は距離画像センサ９３のレンズの位置を基準とした水平方向を表す。
【０２４６】
図３３は、カメラ９１の光軸と距離画像センサ９３の光軸の関係を示す他の図である。
【０２４７】
例えば上から全身画像の撮影時、図３３に示すように、下向き２２°となるように、カメラ９１と距離画像センサ９３の光軸の角度が調整される。図３３において、破線矢印Ｌ２１はカメラ９１の光軸を表し、破線矢印Ｌ２２は距離画像センサ９３の光軸を表す。
【０２４８】
以上のように、距離画像センサ９３の光軸の角度を、カメラ９１の光軸の角度と常に平行にしておくことにより、対応点の差が小さい距離画像を撮影することが可能になる。対応点の差が小さい距離画像に対してキャリブレーションを施し、キャリブレーション後の距離画像を用いることにより、より正確な距離を特定することが可能になる。
【０２４９】
また、距離画像センサ９３の光軸の角度を、カメラ９１の光軸の角度と常に平行にしておくことにより、距離画像９３の画角をカメラ９１の画角に近付けることができ、距離画像を有効活用することが可能になる。仮に、カメラ９１の画角と重複する範囲が少ない状態で距離画像９３の画角が設定されているとした場合、カメラ９１により撮影された画像に写る大部分の被写体までの距離を距離画像から特定することができず、距離画像を有効活用することができないことになるが、そのようなことを防ぐことが可能になる。
【０２５０】
＜＜実施例３＞＞
距離画像の各画素の座標が、キャリブレーションによって、カメラ９１により撮影された画像上の座標に変換されるものとしたが、他の方法により変換されるようにしてもよい。
【０２５１】
例えば、変換部４１４は、距離画像上の座標（x,y,d）を、実空間の物体の位置を示す三次元座標(X,Y,Z)に変換する。三次元座標(X,Y,Z)は、距離画像センサ９３を基準とした三次元空間上の座標である。
【０２５２】
x，y，dは、それぞれ、距離画像上のピクセル横位置（px）、距離画像上のピクセル縦位置（px）、距離画像センサ９３からの奥行き（mm）である。X，Y，Zは、それぞれ、距離画像センサ９３基準の水平方向位置（mm）、距離画像センサ９３基準の垂直方向位置（mm）、距離画像センサ９３基準の奥行き（mm）である。
【０２５３】
また、変換部４１４は、三次元座標(X,Y,Z)を、カメラ９１を基準とした三次元空間上の三次元座標(X’,Y’,Z’)に移動する。この移動は、三次元座標(X,Y,Z)に対して、回転処理と平行移動処理を施すことによって実現される。回転処理と平行移動処理は、カメラ９１と距離画像センサ９３の位置関係などに基づいて行われる。
【０２５４】
X’,Y’,Z’は、それぞれ、カメラ９１基準の水平方向位置（mm）、カメラ９１基準の垂直方向位置（mm）、カメラ９１基準の奥行き（mm）である。
【０２５５】
変換部４１４は、三次元座標(X’,Y’,Z’)を、カメラ９１により撮影された画像上の座標(x’,y’,d’)に変換する。この変換は、三次元座標(X’,Y’,Z’)に対して、投影処理を施すことによって実現される。
【０２５６】
x’，y’，d’は、それぞれ、撮影画像上のピクセル横位置（px）、撮影画像上のピクセル縦位置（px）、カメラ９１基準の奥行き（mm）である。
【０２５７】
このように、距離画像上の座標（x,y,d）を三次元座標(X,Y,Z)に変換する処理、三次元座標(X,Y,Z)を三次元座標(X’,Y’,Z’)に移動する処理、および、三次元座標(X’,Y’,Z’)を座標(x’,y’,d’)に変換する処理を組み合わせて用いることによって、距離画像の各画素の座標が、カメラ９１により撮影された画像上の座標に変換されるようにしてもよい。
【０２５８】
各処理は、例えば、カメラ９１と距離画像センサ９３の位置関係に基づいて生成された変換パラメータに従って行われる。カメラ９１と距離画像センサ９３の位置関係に基づいて生成された変換パラメータも、撮影画像の種類毎に変換パラメータ記憶部４１５に予め記憶され、用意される。
【０２５９】
以上のように、距離画像上の座標（x,y,d）を、実空間の物体の位置を示す三次元座標(X,Y,Z)に変換することにより、被写体の距離を特定することが可能になる。
【０２６０】
＜＜その他の例＞＞
・カメラについて
カメラ９１が、上下方向に移動したり、左右方向に移動（首振り）したりするようにしてもよい。また、カメラ９１が、奥行き方向に移動するようにしてもよい。これらの移動は、カメラ９１の周りに設けられた、カム、プーリー等の駆動部によって行われる。また、レンズの光軸等の所定の軸を基準として、カメラ９１が回転するようにしてもよい。これにより、画角の異なる様々な画像を撮影することが可能になる。
【０２６１】
カメラ９１を物理的に移動させるのではなく、台形補正等の画像処理によって、画角の異なる画像が疑似的に生成されるようにしてもよい。これにより、写真シール作成装置１の機構を大きくすることなく、画角の異なる様々な画像を得ることが可能となる。
【０２６２】
・距離画像センサについて
カメラ９１と同様に、距離画像センサ９３が上下方向、左右方向、奥行き方向に移動するようにしてもよい。これにより、画角の異なる様々な距離画像を生成することができ、画角の異なる様々な距離画像に対してキャリブレーションを施すことで、撮影画像に写る被写体までの距離を高い精度で特定することが可能になる。
【０２６３】
・座標の変換について
距離画像を構成する画素のうち、変換後に撮影画像の画角に収まることになる範囲の画素に対してキャリブレーションが施され、座標が変換されるものとしたが、全体が収まるのではなく、少なくとも一部が収まるようにしてもよい。
【０２６４】
この場合、キャリブレーション後の距離画像の画角と、トリミングにより生成された撮影画像の画角は一部だけが重複する。撮影画像に写る被写体のうち、重複する範囲に写っている被写体の距離がキャリブレーション後の距離画像に基づいて正確に特定される。
【０２６５】
・顔認識について
距離画像センサ９３に搭載されたカメラ（例えばRGBカメラ）により被写体の顔認識を行い、顔の距離画像に応じて、距離画像センサ９３の検出範囲を変更するようにしてもよい。
【０２６６】
また、距離画像センサ９３に搭載されたカメラにより被写体の顔認識を行い、顔の距離画像に応じて、カメラ９１や距離画像センサ９３を前後方向に移動したり、焦点距離を調整したりしてもよい。焦点距離を調整することにより、撮影画像の画素数の有効活用を図ることができる。
【０２６７】
・座標変換について
以上においては、距離画像の各画素の座標を撮影画像上の座標に変換するものとしたが、撮影画像の各画素の座標を距離画像上の座標に変換し、変換後の撮影画像に写る被写体までの距離が特定されるようにしてもよい。
【０２６８】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０２６９】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図２０に示されるリムーバブルメディア３１９に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３１２や記憶部３１６に、あらかじめインストールしておくことができる。
【０２７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【符号の説明】
【０２７１】
１  写真シール作成装置，  ９１  カメラ，  ９２  タッチパネルモニタ，  ９３  距離画像センサ，  １３１  タブレット内蔵モニタ，  ３０２  撮影処理部，  ４１１  撮影制御部４１１，  ４１２  画像処理部，  ４１３  測定制御部，  ４１４  変換部，  ４１５  変換パラメータ記憶部，  ４１６  合成部，  ４１７  表示制御部，  ４１８  画像記憶部
【図１】
2019152806.tif 000007
【図２】
2019152806.tif 000008
【図３】
2019152806.tif 000009
【図４】
2019152806.tif 000010
【図５】
2019152806.tif 000011
【図６】
2019152806.tif 000012
【図７】
2019152806.tif 000013
【図８】
2019152806.tif 000014
【図９】
2019152806.tif 000015
【図１０】
2019152806.tif 000016
【図１１】
2019152806.tif 000017
【図１２】
2019152806.tif 000018
【図１３】
2019152806.tif 000019
【図１４】
2019152806.tif 000020
【図１５】
2019152806.tif 000021
【図１６】
2019152806.tif 000022
【図１７】
2019152806.tif 000023
【図１８】
2019152806.tif 000024
【図１９】
2019152806.tif 000025
【図２０】
2019152806.tif 000026
【図２１】
2019152806.tif 000027
【図２２】
2019152806.tif 000028
【図２３】
2019152806.tif 000029
【図２４】
2019152806.tif 000030
【図２５】
2019152806.tif 000031
【図２６】
2019152806.tif 000032
【図２７】
2019152806.tif 000033
【図２８】
2019152806.tif 000034
【図２９】
2019152806.tif 000035
【図３０】
2019152806.tif 000036
【図３１】
2019152806.tif 000037
【図３２】
2019152806.tif 000038
【図３３】
2019152806.tif 000039