(57)【要約】【課題】  写真撮影スタジオ等に用いられる撮像システムにおいて、被写体等の表情を評価して撮影することにより、簡単に良質な画像を得るシステムを実現する。【解決手段】  被写体に最適なコンテンツを再生し、再生シーンと関連する画像評価開始信号に基づいて画像を評価し、評価結果に基づいて自動的に撮影することにより、被写体が良い表情をした良質な画像を得る。【選択図】        図５
2006237803.tif 000002
【特許請求の範囲】
【請求項１】
被写体を所定の間隔で連続して撮影し、第１の解像度の画像データを取得する第１の撮像手段と、
前記第１の撮像手段で取得された画像データを、逐次評価する画像評価手段と、
前記画像評価手段による評価値が所定値以上のとき、撮影を指示する制御手段と、
前記制御手段の撮影指示によって被写体を撮影し、第２の解像度の画像データを取得する第２の撮像手段と、
前記第２の撮像手段において取得した画像データを記録する画像記録手段とを有することを特徴とする撮像システム。
【請求項２】
被写体を撮影し、画像データを取得する撮像手段と、
前記撮像手段で取得された画像データを、逐次評価する画像評価手段と、
前記撮像手段において取得した画像データを記録する画像記録手段と、
被写体を前記撮像手段で所定の間隔で連続して撮影し、第１の解像度を有する画像データを取得させ、前記取得された画像データを、前記画像評価手段で逐次評価し、画像データの評価結果により前記撮像手段に対して第２の解像度で撮影を指示する制御手段を有することを特徴とする撮像システム。
【請求項３】
前記撮像システムは、
映像の表示及び音声の再生のうち少なくとも一方を行う再生手段と、
前記再生手段で再生される映像情報及び音声情報のうち少なくとも一方を記憶するコンテンツ記憶手段とを有し、
前記制御手段は、前記コンテンツ記憶手段に記憶された映像情報及び音声情報のうち少なくとも一方を読み出し、前記再生手段で再生中に、当該再生中の映像情報及び音声情報のうち少なくとも一方に関連付けられた画像評価開始信号を検知したときに、
前記画像評価手段による評価を開始させることを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記第１の解像度は、前記第２の解像度より低いことを特徴とする請求項１乃至３の何れか１項に記載の撮像システム。
【請求項５】
前記評価値は笑顔評価値または端正評価値であることを特徴とする請求項１乃至４の何れか１項に記載の撮像システム。
【請求項６】
請求項１乃至５の何れか１項に記載の撮像システムを有することを特徴とする写真撮影スタジオ。
【請求項７】
被写体を所定の間隔で連続して撮影して画像データを取得する第１の撮像工程と、
前記第１の撮像工程で取得された画像データを、逐次評価する第１の画像評価工程と、
前記第１の画像評価工程における画像データの評価結果により撮影を指示する撮影指示工程と、
撮影指示命令によって被写体を撮影する第２の撮像工程と、
前記第２の撮像工程で取得された画像データを記録する記録工程と、
を含むことを特徴とする撮像システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、写真撮影スタジオ、撮像システムの制御方法に関する。より詳しくは、画像評価手段を有する撮像システム、写真撮影スタジオ、撮像システムの制御方法に関する。
【背景技術】
【０００２】
写真スタジオや写真館などでカメラマンを使って行う写真撮影は、生き生きとした表情の美しい仕上がりのポートレート写真を得る方法の一つである。
【０００３】
このようなスタジオで行われる人物撮影において、生き生きとした表情の美しい仕上がりの写真を得るために、複数回撮影を行い、その中で最適と思われる写真を選択しプリントしていた。近年、写真スタジオや写真館でも、デジタルカメラによる撮影が行われるようになったので、多くの画像を撮影しその中から最も良い画像を選択するようになっている。撮影後のたくさんの画像の中から最適な画像を選択するのは煩雑な作業であるため、画像を選択する作業を支援する技術が提案されている。
【０００４】
例えば、撮影画像の合否判定を行い、合格画像と不合格画像を分別して保存する技術が提案されている（例えば特許文献１参照）。
【０００５】
また、撮影画像に写っている被写体の表情を評価して、評価の良い順に画像を表示する技術が提案されている（例えば特許文献２参照）。
【特許文献１】特開２００１−２５６４９８号公報
【特許文献２】特開２００４−４６５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２のように撮影後の画像の画像評価を行っても、そもそも所望の画像が撮影されていなければ、再度撮影を行う必要があり、効率が悪かった。特に顧客が多いときなどは、写真スタジオや写真館などにおいて、再度撮影を行うことは時間的に非常に困難である。
【０００７】
また、写真スタジオや写真館などでも、熟練度の低いカメラマンが増えており、せっかく被写体が良い表情をしても撮影チャンスを逃すことがあり、撮影時に確実に良い表情を捉えて撮影する方法が望まれている。
【０００８】
本発明は、上記課題に鑑みてなされたものであって、写真スタジオや写真館における写真撮影を行う際に、被写体が良い表情をした瞬間に撮影を行うことが可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的は、下記構成により達成することができる。
【００１０】
（請求項１）
被写体を所定の間隔で連続して撮影し、第１の解像度の画像データを取得する第１の撮像手段と、
前記第１の撮像手段で取得された画像データを、逐次評価する画像評価手段と、
前記画像評価手段による評価値が所定値以上のとき、撮影を指示する制御手段と、
前記制御手段の撮影指示によって被写体を撮影し、第２の解像度の画像データを取得する第２の撮像手段と、
前記第２の撮像手段において取得した画像データを記録する画像記録手段とを有することを特徴とする撮像システム。
【００１１】
（請求項２）
被写体を撮影し、画像データを取得する撮像手段と、
前記撮像手段で取得された画像データを、逐次評価する画像評価手段と、
前記撮像手段において取得した画像データを記録する画像記録手段と、
被写体を前記撮像手段で所定の間隔で連続して撮影し、第１の解像度を有する画像データを取得させ、前記取得された画像データを、前記画像評価手段で逐次評価し、画像データの評価結果により前記撮像手段に対して第２の解像度で撮影を指示する制御手段を有することを特徴とする撮像システム。
【００１２】
（請求項３）
前記撮像システムは、
映像の表示及び音声の再生のうち少なくとも一方を行う再生手段と、
前記再生手段で再生される映像情報及び音声情報のうち少なくとも一方を記憶するコンテンツ記憶手段とを有し、
前記制御手段は、前記コンテンツ記憶手段に記憶された映像情報及び音声情報のうち少なくとも一方を読み出し、前記再生手段で再生中に、当該再生中の映像情報及び音声情報のうち少なくとも一方に関連付けられた画像評価開始信号を検知したときに、
前記画像評価手段による評価を開始させることを特徴とする請求項１または２に記載の撮像システム。
【００１３】
（請求項４）
前記第１の解像度は、前記第２の解像度より低いことを特徴とする請求項１乃至３の何れか１項に記載の撮像システム。
【００１４】
（請求項５）
前記評価値は笑顔評価値または端正評価値であることを特徴とする請求項１乃至４の何れか１項に記載の撮像システム。
【００１５】
（請求項６）
請求項１乃至５の何れか１項に記載の撮像システムを有することを特徴とする写真撮影スタジオ。
【００１６】
（請求項７）
被写体を所定の間隔で連続して撮影して画像データを取得する第１の撮像工程と、
前記第１の撮像工程で取得された画像データを、逐次評価する第１の画像評価工程と、
前記第１の画像評価工程における画像データの評価結果により撮影を指示する撮影指示工程と、
撮影指示命令によって被写体を撮影する第２の撮像工程と、
前記第２の撮像工程で取得された画像データを記録する記録工程と、
を含むことを特徴とする撮像システムの制御方法。
【発明の効果】
【００１７】
本発明によれば、短時間で高品位の撮影ができ、カメラマンに特別な撮影技術がなくても良質な撮影が可能な撮像システムを提供できる。
【００１８】
請求項１または７に記載の発明によれば、撮影時に自動的に被写体の表情を評価し、評価が高いときに撮影するので、被写体の良い表情を撮影することが可能となる。
【００１９】
請求項２に記載の発明によれば、撮影手段が取得した被写体の表情評価用画像の評価結果により、制御手段が前記撮像手段に撮影を指示するので、一つの撮影手段で被写体の良い表情を自動撮影できる、安価な撮像システムを提供できる。
【００２０】
請求項３に記載の発明によれば、再生中の映像情報や音声情報に関連付けられた画像評価開始信号を検知したときに画像評価を開始し、評価値の高いときに被写体を撮影するので、用意したコンテンツを再生すれば、良い表情が得られる確率の高い場面で、自動的に良い表情を捉えて効率良く撮影することができる。
【００２１】
請求項４に記載の発明によれば、前記第１の解像度を前記第２の解像度より低くするので、画像データの伝送と画像評価にかかる時間を短縮でき、シャッターチャンスを逃すことなく効率良く撮影することができる。
【００２２】
請求項５に記載の発明によれば、撮影時に自動的に被写体の表情の笑顔度または端正度を評価して撮影するので、撮影目的に合った所望の表情を撮影することができる。
【００２３】
請求項６に記載の発明によれば、顧客の待ち時間が少なく、良い表情を捉えた良質な写真プリントを安価に提供できる写真撮影スタジオを提供できる。
【発明を実施するための最良の形態】
【００２４】
以下、図面に基づき本発明の実施の形態を説明する。
【００２５】
最初に、一般的な写真撮影スタジオ１での撮影について説明する。図１は、一般的な写真撮影スタジオにおける撮影状態を示す外観イメージ図である。写真撮影スタジオ１では、被写体に対して撮影意図に応じた最適なライティング状態を設定した後、撮像手段であるカメラに同期してストロボライトを閃光させて撮影を行う。
【００２６】
写真撮影スタジオ１には、図１に示す様に被写体Ｈの周囲に照明手段である各種ライト１１（１１ａ〜１１ｄ）が配置されている。
【００２７】
写真撮影に使用される具体的なライトとしては、図示しないフロントライト、メインライト１１ａ、図示しないバックグラウンドライト、アクセントライト１１ｂ、トップライト１１ｃ、スカイライト１１ｄ等の照明装置が挙げられる。また、図１の写真撮影スタジオ１は後方に背景となるロールスクリーン１２を有するもので、ロールスクリーン１２は被写体に合わせて選択し、適切な背景になるように上下方向に垂下する。
【００２８】
図１の写真撮影スタジオ１における撮影にあたって、被写体である人物は写真撮影スタジオ１に予め用意された衣裳１３やアクセサリー等の小道具１４を選択して着用する。図示しない椅子等の小道具も写真撮影スタジオ１に予め用意されており、好みや撮影意図に合わせて配置する。ロールスクリーン１２も例えば女の子の場合は赤い花柄の背景など、人物の年齢、性別に合わせて、好みに合わせて選択する。
【００２９】
撮影はロールスクリーン１２を背景にして上述したライトの位置や各々の出力（調光）を変えて被写体Ｈを撮影する。各種ライト１１は撮影意図に応じて適切なものを選択して撮影に使用することが一般的である。また、これらのライトにストロボ発光用のランプを設け、ストロボライトとしての使用も可能である。
【００３０】
写真撮影スタジオ１では、被写体Ｈに対して最適なライティング状態を形成してから、カメラマン等の撮影者がカメラを操作して又は自動的に撮影を行うもので、図示しないカメラの撮像動作と同期してストロボライトが閃光し、被写体Ｈの撮影が行われる。
【００３１】
次に、本発明に係る第１の実施の形態における撮像システムについて説明する。
【００３２】
図２は第１の実施の形態における撮像システムが適用された写真撮影スタジオ１のブロック図である。
【００３３】
図２の写真撮影スタジオ１には、ライティングを行う照明装置の一例としてメインライト２５Ａとトップライト２５Ｂ、バックグラウンドライト２５Ｃが配置されている。これらのライトは、照明用のライトとしての機能に加えてストロボ発光用のライトの機能を有するものである。メインライト２５Ａ、トップライト２５Ｂ及びバックグラウンドライト２５Ｃからなるストロボライト２５はストロボ電源２７から電源を供給されている。
【００３４】
被写体Ｈを撮像する第２の撮像手段であるデジタルスチルカメラ２１、被写体Ｈを撮像する第１の撮像手段であるデジタルカメラ２２、モニタ８０、表示装置兼入力装置４１、レリーズボタン３０及びストロボ電源２７は、制御手段であるスタジオ制御装置４０（コンピュータ）に接続されている。
【００３５】
モニタ８０は被写体である人物から視聴できるようにデジタルスチルカメラ２１の近くに配置されており、被写体がモニタ８０に再生されたコンテンツを鑑賞しながら撮影できるようになっている。すなわちモニタ８０は、再生装置として機能するスタジオ制御装置４０と協働して再生手段として機能するものである。本実施の形態ではモニタ８０は表示装置とスピーカーが一体になった例を説明するが、表示装置とスピーカーは別体であっても良い。
【００３６】
撮影者は表示装置兼入力装置４１に表示されるライブビュー画像を見て、適切なタイミングでレリーズボタン３０を押して撮影することもできる。撮影時のストロボライト２５の発光量の制御はスタジオ制御装置４０が行っている。
【００３７】
図２に示したデジタルビデオカメラ２２、デジタルスチルカメラ２１及びスタジオ制御装置４０の内部構成を、図３を用いて説明する。
【００３８】
第１の撮像手段であるデジタルビデオカメラ２２は被写体の表情を評価するための動画を撮影する目的で設けられている。動画を構成する静止画は、あまり高解像度でもデータ転送や表情解析処理に時間がかかるので、必要十分な解像度（例えば３０万画素相当）としている。また、動画のフレームレートは、被写体の表情の変化を捉えるのに十分なフレームレート（例えば１秒間に３０コマ以上）である。
【００３９】
第２の撮像手段であるデジタルスチルカメラ２１は高画質プリントに適した高解像度（例えば８００万画素相当）の静止画を撮影する目的で設けられている。デジタルスチルカメラ２１は連続して撮影する連写モードを持っているが、連続撮影時の撮影コマ数は例えば最大毎秒５コマである。
【００４０】
また、デジタルスチルカメラ２１はライブビューモードを持ち、被写体の動画を撮影することができる。ライブビューモードでは、必要十分な解像度（例えば３０万画素）に切り替えて撮影し、フレームレートを十分なフレームレート（例えば１秒間に３０コマ以上）に切り替えて撮影する。
【００４１】
デジタルビデオカメラ２２、デジタルスチルカメラ２１は目的とする画像が動画と静止画の違いはあるが、基本構成は同じなので、以下同じ構成要素には同一符号を付けて説明を省略する。
【００４２】
デジタルビデオカメラ２２、デジタルスチルカメラ２１は、撮影光学系３、ＣＣＤ５、ＡＤ変換部５１、画像メモリ５３、メインマイコン部７等を有する。
【００４３】
撮影光学系３は主として、レンズ群３２、絞り３３等から構成される。レンズ群３２はズームレンズとして構成され、レンズ群３２の配置を変更することにより、焦点距離（撮像倍率）を変更可能としている。レンズ群３２はズーム、フォーカス駆動部３３２により駆動され、焦点距離と焦点が変更される。絞り３３は絞り駆動部３３１により駆動され、適切な絞りに変更される。
【００４４】
デジタルビデオカメラ２２とデジタルスチルカメラ２１は一体的に動くように取り付けられており、撮影光学系３の光軸は略一致する。また、撮像倍率の変更範囲も略一致するようになっているので、デジタルビデオカメラ２２とデジタルスチルカメラ２１は同一被写体をほぼ同じ大きさと向きで撮影することができる。
【００４５】
レンズ群３２と絞り３３を通った光束は、撮像素子の一例であるＣＣＤ（電荷結合素子）５上に結像するように配置されている。なお、本発明において撮像素子は、ＣＣＤに代えて、ＣＭＯＳセンサ、ＣＩＤセンサ等の固体撮像素子であってもよい。
【００４６】
ＣＣＤ５は、カラーフィルタがそれぞれ付された微細な画素群で構成される撮像素子であり、撮影光学系３によって結像される被写体の光像（被写体像）を、例えばＲＧＢの色成分を有する画像信号に光電変換する。ＣＣＤ５の受光面は結像平面と一致するように配置され、イメージサークルを含む結像平面の一部の領域が画像データ（本明細書中では、適宜単に「画像」ともいう。）として取得されることとなる。
【００４７】
メインマイコン部７は、マイクロコンピュータを備えて構成される。すなわち、メインマイコン部７は、各種演算処理を行うＣＰＵ７０と、演算を行うための作業領域となるＲＡＭ７５と、制御プログラム等が記憶されるＲＯＭ７６とを備え、デジタルビデオカメラ２２またはデジタルスチルカメラ２１の各処理部の動作を統括的に制御する。不揮発性メモリであるＲＯＭ７６としては、例えば、データの電気的な書き換えが可能なＥＥＰＲＯＭが採用される。これにより、ＲＯＭ７６は、データの書き換えが可能で、かつ、電源を落とした場合でもそのデータの内容を保持する。
【００４８】
メインマイコン部７は、自動合焦制御部（ＡＦ制御部）７１、自動露出制御部（ＡＥ制御部）７２などの各種の制御機能を有する。メインマイコン部７はスタジオ制御装置４０との通信機能を持ち、各種機能はスタジオ制御装置４０からの制御指令を受けて、ＣＰＵ７０が予めＲＯＭ７６内に記憶される制御プログラムに従って演算処理を行うことにより実現される。
【００４９】
ＡＦ制御部７１は、合焦用評価値を用いて撮影レンズ３の焦点位置を調整することによって自動合焦制御を実現する。
【００５０】
撮影レンズ３は、ズーム・フォーカス駆動部３３２及び絞り駆動部３３１を備えている。ズーム・フォーカス駆動部３３２は、ユーザにより設定される焦点距離となるように、また、焦点が合うように（フォーカシング）レンズ群３２に含まれるレンズを適宜光軸方向に駆動するものである。
【００５１】
また、ＡＥ制御部７２は、画像を複数のブロックに分割し、各ブロックの代表輝度値に基づいてＡＥ用評価値を算出する。このＡＥ用評価値を用いて自動露出制御が実現される。
【００５２】
絞り駆動部３３１は、ＡＥ制御部７２により設定される絞り値となるように絞り３３の開口径を調整するものである。ズーム・フォーカス駆動部３３２及び絞り駆動部３３１も電気的にメインマイコン部７に接続され、メインマイコン部７の制御下にて動作する。ズーム・フォーカス駆動部３３２及び絞り駆動部３３１はスタジオ制御装置４０からの制御指令を受けて、スタジオ制御装置４０から制御できる。
【００５３】
ＡＦ制御部７１とＡＥ制御部７２は自動制御の機能の他に、スタジオ制御装置４０からの制御指令を受けてマニュアル調整の機能も持ち、スタジオ制御装置４０からの制御で切り替えることができる。
【００５４】
Ａ／Ｄ変換部５１、画像メモリ５３は、ＣＣＤ５にて取得された画像を扱う処理部を示している。すなわち、ＣＣＤ５にて取得されたアナログ信号の画像は、Ａ／Ｄ変換部５１にてデジタル信号に変換され、画像メモリ５３に一時的に格納される。デジタルスチルカメラ２１のライブビュー時においては、メインマイコン部７が、格納された画像データを表示に適した画素数に間引いて低解像度に変換し、スタジオ制御装置４０に順次送信する。なお、撮影時の画像データは、ＣＣＤ５から出力された高解像度の画像データをすべて送信する。
【００５５】
デジタルビデオカメラ２２の動画撮影時においても同様に、ＣＣＤ５にて取得されたアナログ信号の画像はＡ／Ｄ変換部５１にてデジタル信号に変換され、画像メモリ５３に一時的に格納する。デジタルビデオカメラ２２のＣＣＤ５は低解像度なので、画像データをそのままスタジオ制御装置４０に順次送信する。
【００５６】
制御手段及び再生装置として機能するスタジオ制御装置４０にはモニタ８０、表示装置兼入力装置４１、レリーズボタン３０、ストロボ電源２７、デジタルスチルカメラ２１が接続されている。
【００５７】
モニタ８０は、例えばスピーカー付きの液晶モニタである。モニタ８０はスタジオ制御装置４０で再生したコンテンツを音声とともに表示することができる。
【００５８】
表示装置兼入力装置４１は、例えばモニタ画面上にタッチパネルが取り付けられたタッチパネル式モニタがあげられる。ここではタッチパネル式モニタを用いた例を説明するが、本発明は表示装置と入力装置が一体になったものに限られるものでは無い。表示装置兼入力装置４１の表示部はデジタルスチルカメラ２１からのライブビュー画像と撮影画像を表示できるようになっている。表示装置兼入力装置４１は撮影の際にライブビュー画像を見ながら、タッチパネルを押してデジタルスチルカメラ２１の各種設定を行うこともできる。例えば撮影モードの設定、ズームやフォーカスの調整やホワイトバランスの調整、ソフトフィルタの調整などである。撮影モードには、後述するように被写体の表情を判別して自動撮影するモードの設定が含まれる。
【００５９】
これらの制御信号はスタジオ制御装置４０からデジタルスチルカメラ２１のメインマイコン部７に送られるようになっている。また、表示装置兼入力装置４１には撮影に関する警告、支援情報を表示することができる。
【００６０】
レリーズボタン３０は撮影者が撮影のタイミングを指示するボタンであり、レリーズボタンを押すとスタジオ制御装置４０はデジタルスチルカメラ２１に撮影指示信号を送信するなどの所定の処理を行う。なお、スタジオ制御装置４０は、自動撮影時などにおいてレリーズボタン３０に関係なく、デジタルスチルカメラ２１に撮影指示信号を送信し、撮影を指示する。
【００６１】
ストロボ電源２７はスタジオ制御装置４０からの発光指令により、所定の発光量とタイミングでストロボライト２５を発光させる。
【００６２】
次に、スタジオ制御装置４０の内部構成について説明する。
【００６３】
スタジオ制御装置４０は各種演算処理を行うＣＰＵ４２と、演算を行うための作業領域となるＲＡＭ４５と、制御プログラムとコンテンツ等の各種データが記憶されるＨＤＤ４６とを備え、デジタルスチルカメラ２１、デジタルビデオカメラ２２、モニタ８０、ストロボ電源２７等を統括的に制御する。不揮発性メモリであるＲＯＭ７６としては、例えば、データの電気的な書き換えが可能なＥＥＰＲＯＭが採用される。また、スタジオ制御装置４０は、ＣＤ−ＲドライブやＤＶＤ−Ｒドライブのような大容量記憶再生装置４７を備えている。
【００６４】
次に、ＣＰＵ４２の機能について説明する。ＣＰＵ４２は、デジタルスチルカメラ２１、デジタルビデオカメラ２２の制御や画像処理部４３、発光制御部４４、コンテンツ再生制御部４８などの各種の制御機能を持っている。
【００６５】
まず、画像処理部４３の有するホワイトバランス処理機能について説明する。
【００６６】
画像処理部４３は、撮像手段であるデジタルスチルカメラ２１及びデジタルビデオカメラ２２から送信された画像データをそれぞれＲ、Ｇ、Ｂ面順次の画像データに変換した後、ＲＡＭ４５に一時記憶する。より詳しくは、デジタルスチルカメラ２１からは撮影前のライブビュー画像または撮影後の静止画の画像データが送信され、またデジタルビデオカメラ２２からは動画の画像データが送信されるので、それぞれＲＡＭ４５の別の領域に一時記憶する。画像処理部４３は、画像データがＲＡＭ４５の各領域に一時記憶される毎に、前記画像データのホワイトバランス処理を行う。ホワイトバランス処理は、ＲＡＭ４５に一時記憶されたＲ、Ｇ、Ｂの画像データのそれぞれの平均値が一定になるような係数を求め、一時記憶されたＲ、Ｇ、Ｂの各画素データに求めた係数をかけ算する。その結果得られた画像データは、ＲＡＭ４５に用意されたデジタルスチルカメラ２１のライブビュー画像と静止画、デジタルビデオカメラ２２の動画像用のそれぞれ別の領域に一時記憶される。前記領域に記憶されたデジタルスチルカメラ２１から送信されるライブビュー画像と撮影後の静止画像の該画像データは、スタジオ制御装置４０が読み出して、表示装置兼入力装置４１に表示する。
【００６７】
発光制御部４４は、ストロボ電源２７に接続されているストロボライト２５の発光量と発光のタイミングを制御を行う。
【００６８】
コンテンツ再生制御部４８はコンテンツ記憶手段であるＨＤＤ４６に記録されている所定のコンテンツを読み出して、ＣＰＵ４２の持つコンテンツ再生処理部４９において再生する。コンテンツは予めＭＰＥＧ２やＭＰＥＧ４などの映像音声圧縮符号化方法により圧縮符号化し、コンテンツ毎にファイル名を付けたデジタルデータとしてＨＤＤ４６に記憶されている。
【００６９】
また、コンテンツを記録する際に、コンテンツの中で笑いを誘うシーンなど被写体が生き生きと反応することが期待できるシーンのフレーム番号やコンテンツを再生してからの経過時間などのデータが、画像評価開始信号をＯＮにするタイミング情報としてＨＤＤ４６に保存されている。なお、ＭＰＥＧ２やＭＰＥＧ４では、１秒間あたり６０フレームまたは３０フレームのフレームレートで画像が圧縮されて符号化されるが、圧縮した際に用いたフレームレートの情報は映像音声のデジタルデータに記録されている。また、音声だけを記録する場合はＭＰ３などの音声圧縮符号化方法で記録しても良い。その際も同様に所定のシーンを特定する経過時間などのデータが、画像評価開始のタイミング信号としてＨＤＤ４６に保存されている。
【００７０】
コンテンツ再生処理部４９は、コンテンツ再生制御部４８が再生を設定したコンテンツの前記画像評価開始のタイミング信号を読み出すとともに、該コンテンツのデータから記録時のフレームレートを読み出して、所定のフレームレートで復号化処理を行い映像と音声を再生する。コンテンツ再生処理部４９が前記画像評価開始信号をＯＮにするタイミングが記録されたフレームまたは経過時間まで再生すると、コンテンツ再生処理部４９はＲＡＭ４５に記憶する画像評価開始信号をＯＮにする。画像評価部５０は画像評価開始信号がＯＮになると、ＲＡＭ４５に一時記憶された画像データの評価を開始するなどの所定の処理を行う。
【００７１】
画像評価手段である画像評価部５０は、ＨＤＤ４６に格納されている笑顔評価基準テーブル５１と端正評価基準テーブル５２を読み出して、ＲＡＭ４５に一時記憶された画像データと比較し、画像の評価を行う。
【００７２】
図４は表情を評価する基準テーブルのデータ格納例を示す図である。
【００７３】
図４（ａ）は、笑顔評価基準テーブル５１内部のデータ格納例を示す図である。図４（ａ）に示すように、笑顔評価基準テーブル５１は、要素領域２６１ａと、係数領域２６１ｂと、評価ポイント領域２６１ｃと、により構成されている。要素領域２６１ａは、顔の構成要素を表すデータ（例えば、“まゆ”、“目”、“唇”）を「要素」として格納する。係数領域２６１ａは、対応する顔の構成要素の係数を表すデータ（例えば、“２”、“５”、“４”）を「係数」として格納する。評価ポイント領域２６１ｃは、対応する顔の構成要素の基準画像及びその評価ポイントを格納する。
【００７４】
例えば、まゆについては、その角度により、上がっている基準画像は低い評価ポイントに対応付けられており、角度が下がるに従い、高い評価ポイントとなるように基準画像が評価ポイントと対応付けて格納されている。目については、瞳孔の開き具合により、瞳孔が閉じている基準画像は低い評価ポイントに対応付けられており、瞳孔が開くに従い、高い評価ポイントとなるように基準画像が評価ポイントと対応付けて格納されている。目が閉じた状態については、マイナスポイントとなるように基準画像が評価ポイントと対応付けて格納されている。唇については、両端の角度が下がっている基準画像は低いポイントに対応付けられており、両端の角度が上がるに従い、高い評価ポイントとなるように基準画像が評価ポイントと対応付けて格納されている。
【００７５】
図４（ｂ）は、端正評価基準テーブル５２内部のデータ格納例を示す図である。図４（ｂ）に示すように、端正評価基準テーブル５２は、要素領域２６２ａと、係数領域２６２ｂと、評価ポイント領域２６２ｃと、により構成されている。要素領域２６２ａは、顔の構成要素を表すデータ（例えば、“顔１”、“顔２”、“まゆ”、・・・）を「要素」として格納する。係数領域２６２ｂは、対応する顔の構成要素の係数を表すデータ（例えば、“１”、“２”、“２”、・・・）を「係数」として格納する。評価ポイント領域２６２ｃは、対応する顔の構成要素の基準画像及びその評価ポイントを格納する。
【００７６】
例えば、顔の向きについては、真正面を向いているものを高い評価ポイントとし、顔が左右に向いているもの、首をかしげているものは、その度合いが大きいほど低い評価ポイントとなるように基準画像が評価ポイントと対応付けられて格納されている。まゆは、平坦な基準画像は高い評価ポイント、角度が上がっていたり下がっていたりする基準画像は、その度合いが大きいほど低い評価ポイントとなるように、基準画像が評価ポイントと対応付けて格納されている。目は、瞳孔が開いている基準画像は高い評価ポイント、瞳孔が閉じている基準画像、目が閉じている基準画像は低い評価ポイントとなるように基準画像が評価ポイントと対応付けて格納されている。唇は、両端の角度が上がったり下がったりした画像ほど低い評価ポイントとなるように基準画像が評価ポイントと対応付けて格納されている。
【００７７】
図５は本発明の第１の実施の形態において、制御手段であるスタジオ制御装置４０の画像評価部５０が行う画像評価処理を説明するフローチャート、図６は前記スタジオ制御装置４０が制御するデジタルスチルカメラ２１の撮影処理ルーチンを説明するフローチャートである。以下、図７に示す前記画像評価処理と前記静止画像撮影処理の全体シーケンスを説明するタイムチャートと合わせて説明する。
【００７８】
スタジオ制御装置４０の電源をＯＮにすると、スタジオ制御装置４０は各部の初期化を行うとともに、デジタルスチルカメラ２１から伝送されるライブビュー画像データを取得し、画像処理部４３がホワイトバランス処理後ＲＡＭ４５に一時記憶して、表示装置兼入力装置４１にライブビュー画像を表示する。撮影者は被写体に合わせてズーム、フォーカス、絞り設定など撮影の準備を行う。設定はデジタルスチルカメラ２１の自動設定機能を用いても良いし、表示装置兼入力装置４１を見ながら撮影者が設定しても良い（ステップＳ２００）。
【００７９】
次に撮影者は画像評価の評価モードと評価基準を表示装置兼入力装置４１で選択して入力する（ステップＳ２０１）。
【００８０】
評価モードには、例えばコンテンツの中で笑いを誘うシーンなど被写体が生き生きと反応することが期待できるシーンだけ被写体の表情を評価し、評価値の高いときに撮影する第１のモードと、コンテンツに関係なく被写体の表情を評価し、評価値の高いときに撮影する第２のモードがある。第１のモードでは画像評価開始信号のＯＮ、ＯＦＦがコンテンツの再生タイミングに予め関連付けられているが、第２のモードでは画像評価開始信号は常時ＯＮになる。第１のモードでは良い表情の写真が撮影できる確率の高いときだけ撮影するので、撮影枚数を抑えて効率の良い撮影ができる。
【００８１】
評価基準には、例えば笑顔度と端正度を評価する評価基準（笑顔評価基準テーブル５１、端正評価基準テーブル５２）があり、撮影者が何れか一方、または両者を評価基準にするかどうか、を選択する。
【００８２】
次にスタジオ制御装置４０はデジタルビデオカメラ２２による撮影を指示し、動画像を取得する。スタジオ制御装置４０は、取得した動画像を画像処理部４３がホワイトバランス処理を行った後、ＲＡＭ４５に一時記憶する（ステップＳ２０２）。
【００８３】
次に撮影者は表示装置兼入力装置４１でコンテンツを選択し再生を指示する。コンテンツ再生制御部４８は、選定したコンテンツの画像評価開始のタイミングをＨＤＤ４６から読み出した後、コンテンツ再生処理部４９がコンテンツを再生する。再生されたコンテンツはモニタ８０に送られ、被写体の人物は少なくとも音声または映像の何れかを視聴することができる。コンテンツ再生処理部４９は所定のタイミングまで再生すると画像評価信号をＯＮ／ＯＦＦする（ステップＳ２０３）。
【００８４】
画像評価部５０はＲＡＭ４５に記憶されている画像評価開始信号がＯＮか、ＯＦＦか、を判定する。
【００８５】
画像評価開始信号がＯＦＦの場合（ステップＳ２０４；Ｎｏ）、画像評価開始信号の判定を繰り返し実行する。
【００８６】
画像評価開始信号がＯＮであれば（ステップＳ２０４；Ｙｅｓ）、ＲＡＭ４５に一時記憶されたホワイトバランス処理後の画像データから顔画像抽出の処理を行う。前記画像データは、デジタルビデオカメラ２２からスタジオ制御装置４０に送出された動画像の１コマである。
【００８７】
顔画像の抽出は前記画像データから、例えば前処理として肌色部分を抽出と、輪郭部分の抽出を行ってから、顔画像部分を推定するアルゴリズムにより顔画像の抽出を行う（ステップＳ２０５）。
【００８８】
画像評価部５０はステップＳ２０５で抽出された顔画像を、笑顔評価基準テーブル５１及び端正評価基準テーブル５２を参照して笑顔評価値と端正評価値を算出する（ステップＳ２０６）。抽出された顔画像が複数の場合は笑顔評価値と端正評価値をそれぞれ算出し、平均値を算出する。
【００８９】
次に、画像評価部５０は、笑顔評価値が閾値Ｘを、また端正評価値が閾値Ｙを超えるかどうか、の判定をする（ステップＳ２０７）。
【００９０】
ステップＳ２０７において画像評価部５０は、評価基準として選択された評価基準に応じて、笑顔評価値または端正評価値、あるいはその両方が閾値を超える場合、撮影可と判定し（ステップＳ２０７；Ｙｅｓ）、撮影指示信号をＯＮにし、ステップＳ２０４に戻り処理を実行する（ステップＳ２０８）。
【００９１】
ステップＳ２０７において画像評価部５０は、評価基準として選択された評価基準に応じて、笑顔評価値または端正評価値、あるいはその両方が閾値を超ない場合、撮影不可と判定し（ステップＳ２０７；Ｎｏ）、撮影指示信号をＯＦＦにし、ステップＳ２０４に戻り処理を実行する（ステップＳ２０９）。
【００９２】
次に図６を用いて、スタジオ制御装置４０が制御するデジタルスチルカメラ２１の撮影処理ルーチンを説明する。
【００９３】
デジタルスチルカメラ２１は撮影指示信号がＯＦＦの場合（ステップＳ２１０；Ｎｏ）、撮影指示信号がＯＮになるまで待ち状態になっている（ステップＳ２１０）。
【００９４】
デジタルスチルカメラ２１は撮影指示信号がＯＮになると（ステップＳ２１０；Ｙｅｓ）、撮影を行う（ステップＳ２１１）。
【００９５】
スタジオ制御装置４０はデジタルスチルカメラ２１が撮影した画像を受信すると、ホワイトバランス処理など所定の画像処理を行い（ステップＳ２１２）、ＨＤＤ４６に撮影画像を記録する（ステップＳ２１３）。
【００９６】
ステップＳ２１３の実行後、ステップＳ２１０に戻り、撮影指示信号がＯＮかどうか、判定する（ステップＳ２１０）。このように、撮影指示信号がＯＮの間は連続して撮影が行われる。
【００９７】
次に、図７を用いて、第１の実施の形態における前記画像評価処理と前記静止画像撮影処理の全体シーケンスを説明する。
【００９８】
デジタルビデオカメラ２２による動画撮影はデジタルスチルカメラ２１による静止画撮影に先だって開始される（ｔ０）。次に、コンテンツの再生が始まると（ｔ１）、被写体はコンテンツを視聴してだんだんリラックスしてくる。
【００９９】
コンテンツに連動した所定のタイミングでは画像評価開始信号がＯＮになり（ｔ２、ｔ３）、画像評価部５０による画像評価が開始される。
【０１００】
画像評価期間Ｎ１及びＮ２において、画像評価部５０はデジタルビデオカメラ２２で撮影された動画の各コマを逐次評価し、結果に基づいて撮影指示信号をＯＮ／ＯＦＦすると（ｔ４、ｔ５）、デジタルスチルカメラ２１による１コマの静止画撮影が行われる。
【０１０１】
デジタルスチルカメラ２１による１コマの静止画撮影期間は、図７の図面上向き方向の線に相当する。デジタルスチルカメラ２１は撮影指示信号がＯＮになると、１コマの静止画撮影を行い、撮影指示信号がＯＮの間は連続撮影を行う。コンテンツのクライマックスシーンなどでは、被写体が一定時間連続して良い表情を見せることが多く、その間は連続して撮影しシャッターチャンスを逃さないようにしている（Ｍ１、Ｍ２）。
【０１０２】
次に、本発明に係る第２の実施の形態における撮像システムについて説明する。
【０１０３】
図８は第２の実施の形態の撮像システムが適用された写真撮影スタジオ１のブロック図、図９は第２の実施の形態の撮像システムのブロック図である。第２の実施の形態の写真撮影スタジオ１は、図２で説明した写真撮影スタジオ１と基本的に同じ構成で、デジタルスチルカメラ２１の持つライブビュー機能を利用して、デジタルビデオカメラ２２を使わない実施の形態である。以下、構成要素は同じなので、図８、図９に同一符号を付けて説明を省略する。
【０１０４】
図１０は第２の実施の形態における制御手段であるスタジオ制御装置４０の画像評価部５０が行う画像評価処理を説明するフローチャートである。以下、図１０を用いて第２の実施の形態における画像評価処理を説明する。
【０１０５】
スタジオ制御装置４０の電源をＯＮにすると、スタジオ制御装置４０は各部の初期化を行うとともに、デジタルスチルカメラ２１から伝送されるライブビュー画像データを取得し、画像処理部４３がホワイトバランス処理後ＲＡＭ４５に一時記憶して、表示装置兼入力装置４１にライブビュー画像を表示する。撮影者は被写体に合わせてズーム、フォーカス、絞り設定など撮影の準備を行う。設定はデジタルスチルカメラ２１の自動設定機能を用いても良いし、表示装置兼入力装置４１を見ながら撮影者が設定しても良い（ステップＳ３００）。
【０１０６】
次に撮影者は第１の実施の形態と同様に、画像評価の評価モードと評価基準を表示装置兼入力装置４１で選択して入力する（ステップＳ３０１）。
【０１０７】
次に撮影者は表示装置兼入力装置４１でコンテンツを選択し再生を指示する。コンテンツ再生制御部４８は、選定したコンテンツの画像評価開始のタイミングをＨＤＤ４６から読み出した後、コンテンツ再生処理部４９がコンテンツを再生する。再生されたコンテンツはモニタ８０に送られ、被写体の人物は少なくとも音声または映像の何れかを視聴することができる。コンテンツ再生処理部４９は所定のタイミングまで再生すると画像評価信号をＯＮ／ＯＦＦする（ステップＳ３０２）。
【０１０８】
画像評価部５０はＲＡＭ４５に記憶されている画像評価開始信号がＯＮか、ＯＦＦか、を判定する。
【０１０９】
画像評価開始信号がＯＦＦの場合（ステップＳ３０３；Ｎｏ）、画像評価開始信号の判定を繰り返し実行する。
【０１１０】
画像評価開始信号がＯＮであれば（ステップＳ３０３；Ｙｅｓ）、ＲＡＭ４５に一時記憶されたホワイトバランス処理後の画像データから顔画像抽出の処理を行う。前記画像データは、デジタルスチルカメラ２１からスタジオ制御装置４０に送出されたライブビュー画像の１コマである。
【０１１１】
顔画像の抽出は前記画像データから、例えば前処理として肌色部分を抽出と、輪郭部分の抽出を行ってから、顔画像部分を推定するアルゴリズムにより顔画像の抽出を行う（ステップＳ３０４）。
【０１１２】
画像評価部５０はステップＳ３０４抽出された顔画像を、笑顔評価基準テーブル５１及び端正評価基準テーブル５２を参照して笑顔評価値と端正評価値を算出する（ステップＳ３０５）。抽出された顔画像が複数の場合は笑顔評価値と端正評価値をそれぞれ算出し、平均値を算出する。
【０１１３】
次に、画像評価部５０は、笑顔評価値が閾値Ｘを、また端正評価値が閾値Ｙを超えるかどうか、の判定をする（ステップＳ３０６）。
【０１１４】
ステップＳ３０１において画像評価部５０は、評価基準として選択された評価基準に応じて、笑顔評価値または端正評価値、あるいはその両方が閾値を超える場合、撮影可と判定し（ステップＳ３０６；Ｙｅｓ）、撮影指示信号をＯＮにし（ステップＳ３０７）、撮影指示信号がデジタルスチルカメラ２１に受信される間待って（ステップＳ３０８）、撮影指示信号をＯＦＦにし（ステップＳ３０９）、ステップＳ３０３に戻り処理を実行する。
【０１１５】
ステップＳ３０６において画像評価部５０は、評価基準として選択された評価基準に応じて、笑顔評価値または端正評価値、あるいはその両方が閾値を超ない場合、撮影不可と判定し（ステップＳ３０６；Ｎｏ）、撮影指示信号をＯＦＦにし、ステップＳ３０３に戻り処理を実行する。
【０１１６】
第２の実施の形態においても、スタジオ制御装置４０が制御するデジタルスチルカメラ２１の撮影処理ルーチンは図６と同様である。
【０１１７】
以上のように本実施の形態によれば、撮像システムが被写体の表情を評価して、自動的に撮影するので、短時間で撮影ができ、カメラマンに特別な撮影技術がなくても良質な撮影が可能な撮像システムを提供できる。
【０１１８】
また、このような撮像システムを利用すれば、顧客の待ち時間が少なく、良質な写真プリントを安価に提供できる写真撮影スタジオを提供できる。
【図面の簡単な説明】
【０１１９】
【図１】本発明に係る写真撮影スタジオのイメージ図である。
【図２】本発明に係る第１の実施の形態における写真撮影スタジオのブロック図である。
【図３】本発明に係る第１の実施の形態における撮像システムのブロック図である。
【図４】本発明に係る表情を評価する基準テーブルのデータ格納例を示す図である。
【図５】本発明に係る第１の実施の形態における画像評価処理のフローチャートである。
【図６】本発明に係る撮影のフローチャートである。
【図７】本発明に係る画像評価処理と静止画像撮影処理の全体シーケンスである。
【図８】本発明に係る第２の実施の形態における写真撮影スタジオのブロック図である。
【図９】本発明に係る第２の実施の形態における撮像システムのブロック図である。
【図１０】本発明に係る第２の実施の形態における画像評価処理のフローチャートである。
【符号の説明】
【０１２０】
１  写真撮影スタジオ
２  撮像システム
３  撮影光学系
５  ＣＣＤ
２１  デジタルスチルカメラ
２２  デジタルビデオカメラ
４０  スタジオ制御装置
４２  ＣＰＵ
４８  コンテンツ再生制御部
４９  コンテンツ再生処理部
５０  画像評価部
５１  笑顔評価基準テーブル
５２  端正評価基準テーブル
８０  モニタ
【図１】
2006237803.tif 000003
【図２】
2006237803.tif 000004
【図３】
2006237803.tif 000005
【図４】
2006237803.tif 000006
【図５】
2006237803.tif 000007
【図６】
2006237803.tif 000008
【図７】
2006237803.tif 000009
【図８】
2006237803.tif 000010
【図９】
2006237803.tif 000011
【図１０】
2006237803.tif 000012