(57)【要約】【課題】無線タグを用いることなく、好適なレイアウトで自動的に被写体を撮影することができるようにする。【解決手段】カメラによって撮影された被写体を含む画像を入力する画像入力手段と、前記画像を蓄積する画像蓄積手段と、前記画像に含まれる被写体を検出する被写体検出手段と、算出されたズーム量及びアングル量に従って前記カメラのズーム動作及びアングル動作を制御するカメラ制御手段とを有する自動撮影システムであって、蓄積されている代表的な被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出し、検出された被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出するレイアウト調整手段を有する。【選択図】図１
2007258953.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）カメラによって撮影された被写体を含む画像を入力する画像入力手段と、
（ｂ）前記画像を蓄積する画像蓄積手段と、
（ｃ）前記画像に含まれる被写体を検出する被写体検出手段と、
（ｄ）算出されたズーム量及びアングル量に従って前記カメラのズーム動作及びアングル動作を制御するカメラ制御手段とを有する自動撮影システムであって、
（ｅ）蓄積されている代表的な被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出し、検出された被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出するレイアウト調整手段を有することを特徴とする自動撮影システム。
【請求項２】
（ａ）前記画像を表示装置に伝送する送信手段と、
（ｂ）伝送された前記画像を受信し表示する手段を備えた情報表示機器とを有する請求項１に記載の自動撮影システム。
【請求項３】
前記レイアウト調整手段は、指定された被写体の種類と被写体の数とに対応して、被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出する請求項１又は２に記載の自動撮影システム。
【請求項４】
前記レイアウト調整手段は、蓄積されている代表的な被写体の代わりに、前記カメラの利用者によってあらかじめ撮影された被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出する請求項１又は２に記載の自動撮影システム。
【請求項５】
前記レイアウト調整手段は、蓄積されている代表的な被写体の特徴に基づいて検出された類似の被写体の中から、前記カメラの利用者によってあらかじめ撮影された被写体の特徴に類似した被写体を検出し、検出された被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出する請求項１又は２に記載の自動撮影システム。
【請求項６】
前記レイアウト調整手段は、あらかじめ撮影された被写体の中から前記カメラの利用者によって選択された特定の被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出する請求項４又は５に記載の自動撮影システム。
【請求項７】
前記レイアウト調整手段は、画像全体のサイズと被写体全体のサイズとの比較によって前記ズーム量を算出する請求項１〜５のいずれか１項に記載の自動撮影システム。
【請求項８】
前記レイアウト調整手段は、被写体領域の上下左右の余白から前記アングル量を算出する請求項１〜５のいずれか１項に記載の自動撮影システム。
【請求項９】
前記レイアウト調整手段は、被写体全体の位置をセンタリング、右寄せ、左寄せ、上寄せ及び下寄せになるように前記アングル量を算出する請求項１〜５のいずれか１項に記載の自動撮影システム。
【請求項１０】
（ａ）所定の位置に配設されたカメラと、
（ｂ）該カメラのズーム動作及びアングル動作を調整するカメラ調整装置と、
（ｃ）該カメラ調整装置を制御する制御装置とを有する自動撮影装置であって、
（ｄ）前記制御装置は、登録されている被写体の特徴に基づいて、前記カメラが撮影した画像中から類似の被写体を検出し、検出された被写体が画面上に好適に配置されるように前記カメラのズーム動作及びアングル動作を調節させることを特徴とする自動撮影装置。
【請求項１１】
前記登録されている被写体は、前記カメラの利用者によってあらかじめ撮影された被写体である請求項１０に記載の自動撮影装置。
【請求項１２】
前記制御装置は、登録されている被写体の中から前記カメラの利用者によってあらかじめ選択された被写体の特徴に基づいて、前記カメラが撮影した画像中から類似の被写体を検出する請求項１０に記載の自動撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動撮影システム及び自動撮影装置に関するものである。
【背景技術】
【０００２】
従来、テーマパーク、遊園地等の娯楽施設においては、来場者の記念撮影やスナップ写真を自動的に撮影する自動撮影システムが提案されている（例えば、特許文献１参照。）。該自動撮影システムでは、例えば、デジタルカメラなどを使って、好適なタイミングで被写体であるグループを自動的に撮影するために、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等の無線タグを利用する。
【０００３】
この場合、被写体としての利用者に、該利用者固有の識別情報、例えば、利用者の名称、住所等を記憶させた無線タグをあらかじめ所持させておき、撮影場所において無線通信を用いて被写体の位置や人数を確認した後、撮影を実施するようになっている。
【特許文献１】特開２００５−０９９１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の自動撮影システムにおいては、被写体の数に応じて無線タグ及び送受信装置が必要になるので費用がかかってしまう。また、無線タグに識別情報を記録する手間がかかり、無線タグを持ち運ぶのは煩雑であり、無線タグを紛失する恐れもある。さらに、撮影直前に画面のアングル調整を行っていないため、被写体が好適なレイアウト、すなわち、写真上における適切な被写体サイズや位置で撮影されていない可能性も十分に考えられる。
【０００５】
本発明は、前記従来の自動撮影システムの問題点を解決して、あらかじめ蓄積されている代表的な被写体の特徴に基づき、画像中から類似の被写体を検出し、被写体全体が画面上に好適に配置されるようなカメラの調整量を算出することによって、無線タグを用いることなく、好適なレイアウトで自動的に被写体を撮影することができる自動撮影システム及び自動撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そのために、本発明の自動撮影システムにおいては、カメラによって撮影された被写体を含む画像を入力する画像入力手段と、前記画像を蓄積する画像蓄積手段と、前記画像に含まれる被写体を検出する被写体検出手段と、算出されたズーム量及びアングル量に従って前記カメラのズーム動作及びアングル動作を制御するカメラ制御手段とを有する自動撮影システムであって、蓄積されている代表的な被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出し、検出された被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出するレイアウト調整手段を有する。
【０００７】
本発明の他の自動撮影システムにおいては、さらに、前記画像を表示装置に伝送する送信手段と、伝送された前記画像を受信し表示する手段を備えた情報表示機器とを有する。
【０００８】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、指定された被写体の種類と被写体の数とに対応して、被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出する。
【０００９】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、蓄積されている代表的な被写体の代わりに、前記カメラの利用者によってあらかじめ撮影された被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出する。
【００１０】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、蓄積されている代表的な被写体の特徴に基づいて検出された類似の被写体の中から、前記カメラの利用者によってあらかじめ撮影された被写体の特徴に類似した被写体を検出し、検出された被写体全体が画面上に好適に配置されるように前記ズーム量及びアングル量を算出する。
【００１１】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、あらかじめ撮影された被写体の中から前記カメラの利用者によって選択された特定の被写体の特徴に基づいて、画像中から１以上の類似の被写体を検出する。
【００１２】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、画像全体のサイズと被写体全体のサイズとの比較によって前記ズーム量を算出する。
【００１３】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、被写体領域の上下左右の余白から前記アングル量を算出する。
【００１４】
本発明の更に他の自動撮影システムにおいては、さらに、前記レイアウト調整手段は、被写体全体の位置をセンタリング、右寄せ、左寄せ、上寄せ及び下寄せになるように前記アングル量を算出する。
【００１５】
本発明の自動撮影装置においては、所定の位置に配設されたカメラと、該カメラのズーム動作及びアングル動作を調整するカメラ調整装置と、該カメラ調整装置を制御する制御装置とを有する自動撮影装置であって、前記制御装置は、登録されている被写体の特徴に基づいて、前記カメラが撮影した画像中から類似の被写体を検出し、検出された被写体が画面上に好適に配置されるように前記カメラのズーム動作及びアングル動作を調節させる。
【００１６】
本発明の他の自動撮影装置においては、さらに、前記登録されている被写体は、前記カメラの利用者によってあらかじめ撮影された被写体である。
【００１７】
本発明の更に他の自動撮影装置においては、さらに、前記制御装置は、登録されている被写体の中から前記カメラの利用者によってあらかじめ選択された被写体の特徴に基づいて、前記カメラが撮影した画像中から類似の被写体を検出する。
【発明の効果】
【００１８】
本発明によれば、自動撮影システム及び自動撮影装置は、あらかじめ蓄積されている代表的な被写体の特徴に基づき、画像中から類似の被写体を検出し、被写体全体が画面上に好適に配置されるようなカメラの調整量を算出するようになっている。そのため、無線タグを用いることなく、好適なレイアウトで自動的に被写体を撮影することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２０】
図１は本発明の第１の実施の形態における自動撮影システムの構成を示す図である。
【００２１】
図に示されるように、本実施の形態の自動撮影システムは、ＣＰＵ、ＭＰＵ等の演算手段、磁気ディスク、半導体メモリ等の記憶手段、入出力インターフェイス等を備え、プログラムに従って動作を行う一種のコンピュータ又はコンピュータシステムであり、画像入力手段としての画像取得部１１、画像蓄積手段としての撮影記録部１２、処理画像蓄積部１３及び代表オブジェクト蓄積部１８、被写体検出手段としてのオブジェクト領域検出部１４、レイアウト調整手段としての撮影判定部１５、カメラ制御手段としてのカメラ制御部１６、並びに、音声指示部１７を有する。そして、前記自動撮影システムは、図示されない自動撮影装置の制御装置として使用される。
【００２２】
前記自動撮影装置は、前記自動撮影システムに加えて、所定の位置に配設されたカメラ、該カメラを調整するカメラ調整装置、ラウドスピーカ等の音声出力装置、及び、オペレータが操作を行う操作装置を有する。ここで、前記カメラは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子、光学レンズ、通信インターフェイス等を備え、前記自動撮影システムに接続可能で、撮影した画像を電子データの形態で出力することができるものであれば、静止画を撮影するデジタルスチルカメラであってもよいし、動画を撮影するデジタルビデオカメラであってもよいし、いかなる形態のものであってもよい。
【００２３】
また、前記カメラ調整装置は、カメラを水平方向及び垂直方向に傾動させて、カメラの撮影範囲を左右及び上下に移動させることができる、すなわち、アングル動作としてのパニング動作及びチルティング動作を行わせることができるものである。さらに、前記カメラ調整装置は、ズームレンズ等の焦点可変機構によって、接写から望遠まで撮影モードを変更して撮影範囲の大きさを調整することができる、すなわち、ズーム動作を行わせることができるものである。
【００２４】
さらに、前記操作装置は、入力キー、ポインタ等の入力装置、ＣＲＴ、液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ等の表示装置を備え、オペレータが操作して、操作条件の入力等を行う。
【００２５】
そして、前記自動撮影装置は、単数又は複数の人物、建物等の建造物、記念碑、オブジェ等の造形物、風景等を被写体として、例えば、テーマパーク、遊園地等の娯楽施設において来場者等を撮影するために使用されてもよいし、幼稚園、学校等の教育機関での入学式等の式典、運動会、遠足等の行事等において園児、児童、生徒、保護者等を撮影するために使用されてもよいし、観光地、景勝地等において行楽客等を撮影するために使用されてもよいし、いかなる場所においていかなる機会にいかなる被写体を撮影するために使用されてもよい。
【００２６】
ここで、前記画像取得部１１は、画像入力手段として機能し、前記カメラが撮影した人物、風景等の被写体の画像を前記カメラから取得する。そして、前記撮影記録部１２は、画像蓄積手段として機能し、前記画像取得部１１が取得した画像をメモリに蓄積する。また、前記処理画像蓄積部１３は被写体のレイアウト調整用画像を一時的に格納し、前記代表オブジェクト蓄積部１８は検出する被写体としてのオブジェクトの代表的な画像や特徴（テンプレート）を代表オブジェクトとして蓄積し、前記オブジェクト領域検出部１４は代表オブジェクトを用いて画像からオブジェクトの位置を検出する。さらに、前記撮影判定部１５は、レイアウト調整手段として機能し、画像中のオブジェクトの配置を基準にしてレイアウトの適切さを判定する。そして、前記カメラ制御部１６は、カメラ制御手段として機能し、カメラのズーム量やアングル量（パニング量及びチルティング量）を算出して前記カメラ調整装置の動作を制御し、カメラの撮影範囲の大きさや位置を調整する。また、前記音声指示部１７は、前記音声出力装置が出力する音声によって前記カメラの撮影範囲の大きさや位置の調整状況を通知する。
【００２７】
次に、前記構成の自動撮影装置の動作について説明する。ここでは、集合写真を撮影する場合、すなわち、複数の人物を被写体として撮影する場合の動作について説明する。
【００２８】
図２は本発明の第１の実施の形態におけるオブジェクト領域の検出過程を示す図、図３は本発明の第１の実施の形態におけるズーム調整の動作を示す図、図４は本発明の第１の実施の形態におけるアングル調整の動作を示す図、図５は本発明の第１の実施の形態における自動撮影装置の動作を示すフローチャートである。
【００２９】
まず、カメラが画像を撮影する。このとき、カメラはプレビュー状態とする。そして、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込む。
【００３０】
続いて、オブジェクト領域検出部１４は、代表オブジェクト蓄積部１８にあらかじめ蓄積された代表オブジェクト、例えば、図２（ａ）に示されるような顔のテンプレートを用いて、オブジェクトの位置を検出する。 例えば、 画像全体に対しテンプレートマッチングを行い、 マッチング率が高い位置、すなわち、図２（ｂ）に示されるような外接矩（く）形の始点Ｐｓｎ（ｘ、ｙ）と終点Ｐｅｎ（ｘ、ｙ）とを記録する（ｎ＝１・・・Ｎ）。
【００３１】
そして、検出されたオブジェクトをすべて囲む矩形、すなわち、図２（ｃ）に示されるようなオブジェクト領域の座標を求める。図２に示される例の場合、例えば、次の式（１）及び（２）によって求めることができる。
【００３２】
オブジェクト領域の左上Ｐｓ（ｘ、ｙ）＝Ｐｓ１（ｘ、ｙ）  ・・・式（１）
オブジェクト領域の右下Ｐｅ（ｘ、ｙ）＝Ｐｅ３（ｘ、ｙ）  ・・・式（２）
次に、撮影判定部１５は、画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定する。例えば、画像サイズ（Ｗ、Ｈ）とオブジェクト領域サイズ（ＯＷ、ＯＨ）との比を用いて、次の式（３）のような条件で判定することができる。ただし、（ＯＷ、ＯＨ）＝Ｐｅ（ｘ、ｙ）−Ｐｓ（ｘ、ｙ）である。
【００３３】
条件式  ＝  （｛ＲＭｉｎ＜（ＯＷ／Ｗ）＜ＲＭａｘ｝｜｛ＲＭｉｎ＜（ＯＨ／Ｈ）
＜ＲＭａｘ｝）  ＆  ｜｛Ｐｓ（ｘ、ｙ）＋Ｐｅ（ｘ、ｙ）｝／２
−（Ｗ／２、Ｈ／２）｜＜ＰＭａｘ  ・・・式（３）
ここで、ＲＭｉｎ及びＲＭａｘは、画面とオブジェクトとの比の下限及び上限であり、ＰＭａｘは画面の中心とオブジェクトの中心位置との距離の上限である。なお、ＲＭｉｎ、ＲＭａｘ及びＰＭａｘの値は、あらかじめ設定されている。 
【００３４】
そして、前記式（３）の条件を満たした場合、すなわち、撮影判定部１５が画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定し、“適切なレイアウト”と判定した場合、一時的に処理画像蓄積部１３に取り込まれたレイアウト調整用の画像を写真としてメモリ、すなわち、撮影記録部１２に保存する。なお、音声指示部１７が音声によって指示を与え、改めて被写体を撮影したものを写真として保存してもよい。
【００３５】
一方、前記式（３）の条件を満たしていない場合、すなわち、撮影判定部１５が画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定し、“不適切なレイアウト”と判定した場合、カメラ制御部１６はカメラのズーム量Ｒｚを決める。 なお、該ズーム量Ｒｚは、例えば、次の式（４）によって画像サイズ（Ｗ、Ｈ）とオブジェクト領域サイズ（ＯＷ、ＯＨ）とから求めることができる。
【００３６】
Ｒｚ＝ｍｉｎ（Ａ＊Ｗ／ＯＷ、Ｂ＊Ｈ／ＯＨ）−１  ・・・式（４）
ただし、Ａは画像幅に対する理想的なオブジェクト幅の割合であり、Ｂは画像高さに対する理想的なオブジェクト高さの割合である。また、Ｒｚ＞０はズームインを意味し、Ｒｚ＜０はズームアウトを意味する。
【００３７】
これにより、図３（ａ）に示されるように、調整前の画像が大きな場合にはズーム量Ｒｚがマイナスとなってズームアウトが行われ、図３（ｃ）に示されるように、適切な大きさの画像を得ることができる。また、図３（ｂ）に示されるように、調整前の画像が小さな場合にはズーム量Ｒｚがプラスとなってズームインが行われ、図３（ｃ）に示されるように、適切な大きさの画像を得ることができる。
【００３８】
次に、カメラ制御部１６はカメラのアングルの移動量、すなわち、アングル量（ｄｘ、ｄｙ）を決める。例えば、次の式（５）〜（８）によって、図４（ａ）に示されるような画面の余白量からカメラのアングル量（ｄｘ、ｄｙ）を決めることができる。
【００３９】
水平移動量ｄｘ＝＋ＤＸ  ・・・式（５）（ＭＬ＞ＭＲの場合）
水平移動量ｄｘ＝−ＤＸ  ・・・式（６）（ＭＬ＜ＭＲの場合）
垂直移動量ｄｙ＝＋ＤＹ  ・・・式（７）（ＭＡ＜ＭＢの場合）
垂直移動量ｄｙ＝−ＤＹ  ・・・式（８）（ＭＡ＞ＭＢの場合）
ここで、ＭＬ及びＭＲは左及び右の余白量であり、ＭＡ及びＭＢは上及び下の余白量であり、ＤＸ及びＤＹは適当な移動量である。
【００４０】
これにより、図４（ａ）に示されるように、オブジェクト領域の位置が画面の中央からずれている場合、前記水平移動量ｄｘ及び垂直移動量ｄｙだけ移動させ、図４（ｂ）に示されるように、オブジェクト領域の位置が適切な画像を得ることができる。
【００４１】
続いて、カメラ制御部１６は、前述のようにして決められたズーム量Ｒｚ及びアングル量（ｄｘ、ｄｙ）に従ってカメラ調整装置の動作を制御し、ズーム動作並びにアングル動作としてのパニング動作及びチルティング動作を行わせ、カメラの位置を調節する。そして、カメラの位置が調節された後、再び、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込み、以降の動作を繰り返す。このとき、音声指示部１７が、音声によって、“調整中です”とアナウンスしてもよい。 
【００４２】
次に、フローチャートについて説明する。
ステップＳ１  画像を入力する。
ステップＳ２  オブジェクトの位置を検出する。 
ステップＳ３  オブジェクト領域の座標を求める。
ステップＳ４  画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定する。オブジェクトのレイアウトが適切である場合はステップＳ８に進み、オブジェクトのレイアウトが適切でない場合はステップＳ５に進む。
ステップＳ５  ズーム量Ｒｚを決める。 
ステップＳ６  アングルの移動量を決める。
ステップＳ７  カメラの位置を調節する。
ステップＳ８  写真としてメモリに保存する。
【００４３】
このように、本実施の形態においては、集合写真を撮影する場合、自動的に複数の被写体を適切なレイアウトで撮影することができる。そのため、途中から撮影に加わった被写体、例えば、カメラ担当の人物等が写真からはみ出してしまうことがない。
【００４４】
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。
【００４５】
図６は本発明の第２の実施の形態における自動撮影システムの構成を示す図である。
【００４６】
図に示されるように、本実施の形態における自動撮影システムは、オブジェクト領域の対象となるオブジェクトの種類とオブジェクトの数、及び、レイアウトを調整するパラメータとなるオブジェクト領域の比率や位置などを指定する撮影条件入力部２１、並びに、該撮影条件入力部２１によって指定された撮影条件を記録する撮影条件蓄積部２２を更に有する。そして、前記撮影条件入力部２１及び撮影条件蓄積部２２は、オブジェクト領域検出部１４の前段に付加されている。ここで、前記オブジェクト領域の比率とは、画面に対しオブジェクト領域が占める割合であり、前記オブジェクト領域の位置とは、センタリング、右寄せ、左寄せ、上寄せ、下寄せ等である。なお、その他の点については、前記第１の実施の形態と同様であるので、その説明を省略する。
【００４７】
次に、本実施の形態における自動撮影装置の動作について説明する。
【００４８】
図７は本発明の第２の実施の形態における撮影条件に従ったカメラ調整の動作を示す図、図８は本発明の第２の実施の形態における代表オブジェクトデータベースを示す図、図９は本発明の第２の実施の形態における自動撮影装置の動作を示すフローチャートである。
【００４９】
まず、撮影条件入力部２１は、操作装置の表示装置に、図７（ａ）に示されるような撮影条件入力画面を表示させ、利用者等が操作装置を操作して撮影条件の入力を行う。すると、撮影条件入力部２１は、オブジェクト領域の対象となるオブジェクトの種類及び数、レイアウトを調整するパラメータであるオブジェクト領域の比率や位置等の設定を行う。ここでは、オブジェクト領域の比率を８０〔％〕に設定し、位置をセンタリングに設定したものとして説明する。
【００５０】
続いて、カメラが画像を撮影する。このとき、カメラはプレビュー状態とする。そして、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込む。
【００５１】
続いて、オブジェクト領域検出部１４は、代表オブジェクト蓄積部１８にあらかじめ蓄積された代表オブジェクト、例えば、図８に示されるような代表オブジェクトデータベースに格納されたテンプレートの中から顔のテンプレートを用いて、オブジェクトの位置を検出する。 例えば、 画像全体に対しテンプレートマッチングを行い、 マッチング率が高い位置、すなわち、図２（ｂ）に示されるような外接矩形の始点Ｐｓｎ（ｘ、ｙ）と終点Ｐｅｎ（ｘ、ｙ）とを記録する（ｎ＝１・・・Ｎ）。
【００５２】
次に、検出されたオブジェクトから、撮影条件の入力で指定された数のオブジェクトを囲む矩形、すなわち、オブジェクト領域の座標を求める。この場合、オブジェクトを選択する方法としては、例えば、次の式（９）を用いて、オブジェクトの中心が画面の中心に近いオブジェクト、すなわち、式（９）の値が小さいオブジェクトを優先的に選ぶ方法がある。
【００５３】
ｎ番目のオブジェクト＝｜｛Ｐｓｎ（ｘ、ｙ）＋Ｐｅｎ（ｘ、ｙ）｝／２
−（Ｗ／２、Ｈ／２）｜  ・・・式（９）
また、設定されたオブジェクト領域の位置に基づいて選択することもできる。例えば、オブジェクト領域を左寄せする場合は、画面左側のオブジェクトを優先的に選ぶことが可能である。 
【００５４】
これにより、図７（ｂ）に示されるように、画像内に偶然通りかかった歩行者等のオブジェクトが含まれていても、撮影条件の入力で指定された数以外のオブジェクトは、オブジェクト領域の対象から外れた対象外オブジェクトとして取り扱われることとなる。そして、設定されたオブジェクト領域に対してカメラの位置が調節される。
【００５５】
続いて、撮影判定部１５は、撮影条件の入力で指定されたオブジェクト領域の比率（ｒ）に基づいて、レイアウトの適切さを判定する。例えば、前記式（３）において、ＲＭｉｎ＝ｒ−α、及び、ＲＭａｘ＝ｒ＋αと条件を設定し、レイアウトの適切さを判定することができる。なお、ここでは、αは許容率である。
【００５６】
また、撮影条件の入力で指定された位置に基づき、前記式（３）の第３項を以下のように変形して、適用してもよい。
【００５７】
（Ｐｓ（ｘ）＜ＰＭａｘ）      ・・・左寄せの場合
（Ｗ−Ｐｅ（ｘ）＜ＰＭａｘ）  ・・・右寄せの場合
（Ｐｓ（ｙ）＜ＰＭａｘ）      ・・・上寄せの場合
（Ｈ−Ｐｅ（ｙ）＜ＰＭａｘ）  ・・・下寄せの場合
なお、判定の方法は前記第１の実施の形態の場合と同様であり、前記式（３）の条件を満たした場合は、“適切なレイアウト”と判定し、前記式（３）の条件を満たしていない場合は、“不適切なレイアウト”と判定する。
【００５８】
そして、“適切なレイアウト”と判定した場合、一時的に処理画像蓄積部１３に取り込まれたレイアウト調整用の画像を写真としてメモリ、すなわち、撮影記録部１２に保存する。なお、音声指示部１７が音声によって指示を与え、改めて被写体を撮影したものを写真として保存してもよい。
【００５９】
一方、“不適切なレイアウト”と判定した場合、カメラ制御部１６は、撮影条件の入力で指定されたオブジェクト領域の比率（ｒ）に基づいて、カメラのズーム量Ｒｚを決める。例えば、前記式（４）によってＡ＝Ｂ＝ｒと設定し、ズーム量Ｒｚを決めることができる。
【００６０】
続いて、カメラ制御部１６は、撮影条件の入力で指定された位置に基づいて、カメラのアングルの移動量、すなわち、アングル量（ｄｘ、ｄｙ）を決める。例えば、次の式(１０）〜（１３）によって画面の余白量からカメラのアングル量（ｄｘ、ｄｙ）を決めることができる。
【００６１】
水平移動量ｄｘ＝＋ＤＸ  ・・・式（１０）（ＭＬ＋α＞ＭＲ＋βの場合）
水平移動量ｄｘ＝−ＤＸ  ・・・式（１１）（ＭＬ＋α＜ＭＲ＋βの場合）
垂直移動量ｄｙ＝＋ＤＹ  ・・・式（１２）（ＭＡ＋γ＜ＭＢ＋ζの場合）
垂直移動量ｄｙ＝−ＤＹ  ・・・式（１３）（ＭＡ＋γ＞ＭＢ＋ζの場合）
ここで、α、β、γ及びζは、撮影条件の入力で指定された位置によって決まる値である。例えば、センタリングのときは、α＝β＝γ＝ζ＝０とし、左寄せのときは、α＝１０、β＝γ＝ζ＝０を設定する。これにより、図７（ｃ）に示されるように、オブジェクト領域の位置が適切な画像を得ることができる。
【００６２】
続いて、カメラ制御部１６は、前述のようにして決められたズーム量Ｒｚ及びアングル量（ｄｘ、ｄｙ）に従ってカメラ調整装置の動作を制御し、ズーム動作及びアングル動作としてのパニング動作及びチルティング動作を行わせ、カメラの位置を調節する。そして、カメラの位置が調節された後、再び、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込み、以降の動作を繰り返す。このとき、音声指示部１７が、音声によって、“調整中です”とアナウンスしてもよい。 
【００６３】
次に、フローチャートについて説明する。
ステップＳ１１  撮影条件の入力を行う。
ステップＳ１２  画像を入力する。
ステップＳ１３  オブジェクトの位置を検出する。 
ステップＳ１４  オブジェクト領域の座標を求める。
ステップＳ１５  画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定する。オブジェクトのレイアウトが適切である場合はステップＳ１９に進み、オブジェクトのレイアウトが適切でない場合はステップＳ１６に進む。
ステップＳ１６  ズーム量Ｒｚを決める。 
ステップＳ１７  アングルの移動量を決める。
ステップＳ１８  カメラの位置を調節する。
ステップＳ１９  写真としてメモリに保存する。
【００６４】
このように、本実施の形態においては、オブジェクトの種類とオブジェクトの数とを指定するので、偶然通りかかった歩行者などが写真に入ることを防ぎ、かつ、指定した人数の被写体を適切なレイアウトで撮影することができる。さらに、オブジェクト領域の比率や位置を指定するので、利用者の好みに合ったレイアウトで自動撮影をすることができる。
【００６５】
次に、本発明の第３の実施の形態について説明する。なお、第１及び第２の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１及び第２の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。
【００６６】
図１０は本発明の第３の実施の形態における自動撮影システムの構成を示す図である。
【００６７】
図に示されるように、本実施の形態における自動撮影システムは、利用者が撮影した人物の顔や看板などのオブジェクトから特徴（画像や顔部品の位置、物体のテクスチャなど）を抽出するオブジェクト特徴抽出部３１、該オブジェクト特徴抽出部３１によって抽出されたオブジェクトの特徴を記録するオブジェクト特徴蓄積部３２、該オブジェクト特徴蓄積部３２の中から被写体を選択するオブジェクト選択部３３、及び、該オブジェクト選択部３３によって選択された被写体を記録する選択オブジェクト記録部３４を更に有する。そして、前記オブジェクト特徴抽出部３１、オブジェクト特徴蓄積部３２、オブジェクト選択部３３及び選択オブジェクト記録部３４は、オブジェクト領域検出部１４の前段に付加されている。なお、その他の点については、前記第１の実施の形態と同様であるので、その説明を省略する。
【００６８】
次に、本実施の形態における自動撮影装置の動作について説明する。まず、写真に収めたいオブジェクトの特徴を登録するオブジェクト登録処理の動作について説明する。
【００６９】
図１１は本発明の第３の実施の形態におけるオブジェクト登録処理の動作を示すフローチャートである。
【００７０】
まず、写真に収めたいオブジェクト、例えば、人物の顔、看板等をカメラが撮影し、画像を入力する。
【００７１】
次に、オブジェクト特徴抽出部３１は、撮影したオブジェクトの特徴を抽出する。ここで、抽出する特徴としては、例えば、画像にＳｏｂｅｌフィルタ（例えば、非特許文献１参照。）を施して得られる輪郭情報や、特に、顔画像の場合は、個人識別用テンプレート（例えば、非特許文献２参照。）などがある。もちろん、カメラで撮影して取得した画像自体を特徴として扱うことも可能である。
【００７２】
［非特許文献１］「画像認識論」長尾真、コロナ社
［非特許文献２］「顔向きや表情の変化にロバストな顔認識システム“Ｓｍａｒｔｆａｃｅ”」山口修他、（１）電子情報通信学会論文誌、Ｄ−ＩＩ、ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．６、ｐｐ．１０４５−１０５２、２００１
そして、オブジェクト特徴抽出部３１によって抽出されたオブジェクトの特徴をデータベース、すなわち、オブジェクト特徴蓄積部３２に保存する。
【００７３】
次に、フローチャートについて説明する。
ステップＳ２１  画像を入力する。
ステップＳ２２  オブジェクトの特徴を抽出する。
ステップＳ２３  抽出されたオブジェクトの特徴を保存し、処理を終了する。
【００７４】
次に、レイアウト調整処理について説明する。
【００７５】
図１２は本発明の第３の実施の形態における特定のオブジェクト検出と撮影結果を示す図、図１３は本発明の第３の実施の形態におけるレイアウト調整処理の動作を示すフローチャートである。
【００７６】
まず、オブジェクト選択部３３は、操作装置の表示装置に、図１２（ａ）に示されるような検出オブジェクト選択画面を表示させる。そして、利用者等が操作装置を操作して、オブジェクト特徴蓄積部３２に登録された登録オブジェクトリストの中から、写真に収めたいオブジェクトをいくつか選択する。そして、決定ボタンを押下すると、図１２（ｂ）に示されるような顔が検出オブジェクトとして決定される。
【００７７】
続いて、カメラが画像を撮影する。このとき、カメラはプレビュー状態とする。そして、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込む。
【００７８】
続いて、オブジェクト領域検出部１４は、代表オブジェクト蓄積部１８にあらかじめ蓄積された代表オブジェクト、例えば、図２（ａ）に示されるような代表オブジェクトデータベースに格納されたテンプレートの中から顔のテンプレートを用いて、オブジェクトの位置を検出する。 例えば、 画像全体に対しテンプレートマッチングを行い、 マッチング率が高い位置、すなわち、図２（ｂ）に示されるような外接矩形の始点Ｐｓｎ（ｘ、ｙ）と終点Ｐｅｎ（ｘ、ｙ）とを記録する（ｎ＝１・・・Ｎ）。
【００７９】
そして、図１２（ｃ）に示されるように、検出されたオブジェクトの中から、テンプレートマッチングによって、図１２（ｂ）に示されるような決定されたオブジェクトに類似度が高い領域を検出し、オブジェクト認証を行う。
【００８０】
続いて、認証されたオブジェクトをすべて囲む矩形、すなわち、図１２（ｃ）に示されるようなオブジェクト領域の座標を求める。
【００８１】
次に、撮影判定部１５は、画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定する。例えば、画像サイズとオブジェクト領域サイズとの比を用いて、前記式（３）のような条件で判定することができる。
【００８２】
そして、前記式（３）の条件を満たした場合、すなわち、撮影判定部１５が画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定し、“適切なレイアウト”と判定した場合、一時的に処理画像蓄積部１３に取り込まれたレイアウト調整用の画像を写真としてメモリ、すなわち、撮影記録部１２に保存する。なお、音声指示部１７が音声によって指示を与え、改めて被写体を撮影したものを写真として保存してもよい。
【００８３】
一方、前記式（３）の条件を満たしていない場合、すなわち、撮影判定部１５が画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定し、“不適切なレイアウト”と判定した場合、カメラ制御部１６はカメラのズーム量Ｒｚを決める。 
【００８４】
次に、カメラ制御部１６はカメラのアングルの移動量、すなわち、アングル量（ｄｘ、ｄｙ）を決める。これにより、図１２（ｄ）に示されるように、オブジェクト領域の位置が適切な画像を得ることができる。
【００８５】
続いて、カメラ制御部１６は、前述のようにして決められたズーム量Ｒｚ及びアングル量（ｄｘ、ｄｙ）に従ってカメラ調整装置の動作を制御し、ズーム動作及びアングル動作としてのパニング動作及びチルティング動作を行わせ、カメラの位置を調節する。そして、カメラの位置が調節された後、再び、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込み、以降の動作を繰り返す。このとき、音声指示部１７が、音声によって、“調整中です”とアナウンスしてもよい。 
【００８６】
次に、フローチャートについて説明する。
ステップＳ３１  オブジェクトを選択する。
ステップＳ３２  画像を入力する。
ステップＳ３３  オブジェクト認証を行う。
ステップＳ３４  オブジェクトの位置を検出する。 
ステップＳ３５  オブジェクト領域の座標を求める。
ステップＳ３６  画面とオブジェクト領域の位置及びサイズとを基準にして、オブジェクトのレイアウトの適切さを判定する。オブジェクトのレイアウトが適切である場合はステップＳ４０に進み、オブジェクトのレイアウトが適切でない場合はステップＳ３７に進む。
ステップＳ３７  ズーム量Ｒｚを決める。 
ステップＳ３８  アングルの移動量を決める。
ステップＳ３９  カメラの位置を調節する。
ステップＳ４０  写真としてメモリに保存する。
【００８７】
このように、本実施の形態においては、写真に収めたいオブジェクトをあらかじめ登録して指定することができる。そのため、前記第２の実施の形態においては、被写体を人数で指定するため、撮影したい人や物が選択されない場合もあるが、本実施の形態では、利用者が撮影したい人や物を被写体として確実に写真に収めることができる。
【００８８】
次に、本発明の第４の実施の形態について説明する。なお、第１〜第３の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第３の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。
【００８９】
図１４は本発明の第４の実施の形態における自動撮影システムの構成を示す図である。
【００９０】
図に示されるように、本実施の形態の自動撮影システムは、取得した画像をネットワーク４２を介して表示装置５０に伝送するための送信手段としての送信部４１を更に有する。該送信部４１は画像取得部１１の後段に付加されている。なお、前記ネットワーク４２は、例えば、電話回線網やインターネットであるが、無線又は有線の公衆通信回線網、専用通信回線網、イントラネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、公衆通信回線網を利用したＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、衛星通信回線網等、いかなる通信回線網であってもよく、これらを適宜組み合わせたものであってもよい。
【００９１】
また、前記表示装置５０は、例えば、パーソナルコンピュータ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、表示専用端末等の情報表示機器であるが、前記ネットワーク４２を介して、通信を行うことができ、かつ、画像を表示することができる装置であれば、いかなる種類の装置であってもよい。そして、前記表示装置５０は、画像を受信するための受信部５１、及び、ＣＲＴ、液晶ディスプレイ、ＬＥＤディスプレイ等を備え、受信した画像を表示するための表示装置としての画像表示部５２を有する。なお、その他の点については、前記第１の実施の形態と同様であるので説明を省略する。
【００９２】
次に、本実施の形態における自動撮影装置及び表示装置５０の動作について説明する。
【００９３】
図１５は本発明の第４の実施の形態における自動撮影装置及び表示装置の動作を示すフローチャートである。
【００９４】
まず、自動撮影装置の動作について説明する。この場合、まず、カメラが画像を撮影する。このとき、カメラはプレビュー状態とする。そして、画像を入力して、レイアウト調整用の画像として一時的に処理画像蓄積部１３に取り込む。
【００９５】
続いて、送信部４１は、画像取得部１１から取得した画像を表示装置５０の受信部５１に送信する。
【００９６】
続いて、自動撮影装置は、レイアウト調整処理を行う。なお、該レイアウト調整処理は、前記第１の実施の形態において説明したステップＳ２〜Ｓ８の動作と同様であるので、その説明を省略する。
【００９７】
次に、前記表示装置５０の動作について説明する。この場合、まず、受信部５１は、前記送信部４１によって送信された画像を受信する。そして、画像表示部５２は、受信部５１が受信した画像を表示する。
【００９８】
次に、フローチャートについて説明する。
ステップＳ４１  画像を入力する。  
ステップＳ４２  送信部４１は、画像を表示装置５０の受信部５１に送信する。
ステップＳ４３  レイアウト調整処理を行う。
ステップＳ４４  受信部５１は、送信部４１によって送信された画像を受信する。
ステップＳ４５  画像表示部５２は、受信部５１が受信した画像を表示する。
【００９９】
このように、本実施の形態においては、レイアウト調整処理中の画像を表示装置５０の画像表示部５２に表示させるので、利用者は、前記画像表示部５２を観ることによって、撮影前に写真のレイアウトの状態を確認することができる。
【０１００】
なお、前記第１〜第４の実施の形態においては、画面とオブジェクト領域の位置及びサイズとを基準にしてズーム量及びアングル量を決め、ズーム動作及びアングル動作を行わせてカメラの位置を調節するようになっているが、ある程度適切な状態にカメラを設置することによって、ズーム動作又はアングル動作を省略しても、同様の効果を得ることができる。
【０１０１】
また、本発明は、静止画を撮影するデジタルスチルカメラだけではなく、動画を撮影するデジタルビデオカメラを使用しても、同様の効果を得ることができる。
【０１０２】
さらに、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施の形態における自動撮影システムの構成を示す図である。
【図２】本発明の第１の実施の形態におけるオブジェクト領域の検出過程を示す図である。
【図３】本発明の第１の実施の形態におけるズーム調整の動作を示す図である。
【図４】本発明の第１の実施の形態におけるアングル調整の動作を示す図である。
【図５】本発明の第１の実施の形態における自動撮影装置の動作を示すフローチャートである。
【図６】本発明の第２の実施の形態における自動撮影システムの構成を示す図である。
【図７】本発明の第２の実施の形態における撮影条件に従ったカメラ調整の動作を示す図である。
【図８】本発明の第２の実施の形態における代表オブジェクトデータベースを示す図である。
【図９】本発明の第２の実施の形態における自動撮影装置の動作を示すフローチャートである。
【図１０】本発明の第３の実施の形態における自動撮影システムの構成を示す図である。
【図１１】本発明の第３の実施の形態におけるオブジェクト登録処理の動作を示すフローチャートである。
【図１２】本発明の第３の実施の形態における特定のオブジェクト検出と撮影結果を示す図である。
【図１３】本発明の第３の実施の形態におけるレイアウト調整処理の動作を示すフローチャートである。
【図１４】本発明の第４の実施の形態における自動撮影システムの構成を示す図である。
【図１５】本発明の第４の実施の形態における自動撮影装置及び表示装置の動作を示すフローチャートである。
【符号の説明】
【０１０４】
１１    画像取得部
１２    撮影記録部
１３    処理画像蓄積部
１４    オブジェクト領域検出部
１５    撮影判定部
１６    カメラ制御部
１８    代表オブジェクト蓄積部
４１    送信部
５０    表示装置
５２    画像表示部
【図１】
2007258953.tif 000003
【図２】
2007258953.tif 000004
【図３】
2007258953.tif 000005
【図４】
2007258953.tif 000006
【図５】
2007258953.tif 000007
【図６】
2007258953.tif 000008
【図７】
2007258953.tif 000009
【図８】
2007258953.tif 000010
【図９】
2007258953.tif 000011
【図１０】
2007258953.tif 000012
【図１１】
2007258953.tif 000013
【図１２】
2007258953.tif 000014
【図１３】
2007258953.tif 000015
【図１４】
2007258953.tif 000016
【図１５】
2007258953.tif 000017