(57)【要約】【課題】、被写体が切れていないパノラマ画像データの生成時間を短縮させる。【解決手段】顔検出部１０８は、撮像部１０３の広角撮影により生成された画像データと、広角撮影による歪みを含む被写体のテンプレートデータとを比較することにより、画像データから被写体を検出する。全方位画像展開部１０９は、被写体の検出結果に基づいて、画像データをパノラマ画像データに展開する。【選択図】図１
2014187505.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段の広角撮影により生成された画像データと、広角撮影による歪みを含む第１の被写体のテンプレートデータとを比較することにより、前記画像データから前記被写体を検出する検出手段と、
前記検出手段による前記被写体の検出結果に基づいて、前記画像データをパノラマ画像データに展開する展開手段とを有することを特徴とする撮像装置。
【請求項２】
前記第１の被写体のテンプレートデータは、予めテンプレートデータ格納手段において格納されたデータであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
広角撮影による歪みを含まない第２の被写体のテンプレートデータをテンプレートデータ格納手段から読み出し、前記第２の被写体のテンプレートデータを補正することにより、前記第１の被写体のテンプレートデータを生成するテンプレートデータ補正手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記検出手段により検出された前記被写体と、前記被写体を特定するための第１の辞書データとを比較することにより、前記被写体を特定する特定手段を更に有し、
前記展開手段は、さらに前記特定手段による前記被写体の特定結果に基づいて、前記画像データを前記パノラマ画像データに展開することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記第１の辞書データは、予め辞書データ格納手段において格納されたデータであることを特徴とする請求項４に記載の撮像装置。
【請求項６】
広角撮影による歪みを含まない第２の辞書データを辞書データ格納手段から読み出し、前記第２の辞書データを補正することにより、前記第１の辞書データを生成する辞書データ補正手段を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記検出手段により前記第１の被写体のテンプレートデータと比較される前記画像データ上の位置に応じて、前記第１の被写体のテンプレートデータを変形させる変形手段を更に有し、
前記検出手段は、前記変形手段により変形された前記第１の被写体のテンプレートデータと前記画像データ上の前記位置とを比較することにより、前記被写体を検出することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記画像データは、環状画像データであることを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
撮像手段を有する撮像装置の制御方法であって、
前記撮像手段の広角撮影により生成された画像データと、広角撮影による歪みを含む被写体のテンプレートデータとを比較することにより、前記画像データから前記被写体を検出する検出ステップと、
前記検出ステップによる前記被写体の検出結果に基づいて、前記画像データをパノラマ画像データに展開する展開ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１０】
撮像手段を有する撮像装置のコンピュータに、
前記撮像手段の広角撮影により生成された画像データと、広角撮影による歪みを含む被写体のテンプレートデータとを比較することにより、前記画像データから前記被写体を検出する検出ステップと、
前記検出ステップによる前記被写体の検出結果に基づいて、前記画像データをパノラマ画像データに展開する展開ステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データからパノラマ画像データを生成する技術に関するものである。
【背景技術】
【０００２】
近年、監視、Ｗｅｂキャスティング又はＴＶ会議等の用途に、３６０°の視野を撮影するカメラが提案されている。これらでは、３６０°撮影用の全周囲レンズ又は全周囲曲面鏡を用いて撮像された環状画像データがパノラマ画像データに展開されて表示される。
【０００３】
３６０°の視野を持つ環状画像データをパノラマ画像データに展開する際には、人の顔が切れて左右に分割されるのを避けるのが望ましい。特許文献１には、人の顔がパノラマ画像データ展開時に左右に分割されるのを防ぐための技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９１５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示される技術では、環状画像データから展開されたパノラマ画像データに対してフェーストラッカ（顔追跡プログラムモジュール）を用いて顔の検出が行われる。そして、検出された顔を切らないように０°境界（展開点）が決定され、再度、環状画像データからパノラマ画像データに展開されている。
【０００６】
特許文献１に開示される技術では、１回目のパノラマ画像データへの展開で偶然人の顔が左右に分割されなかった場合を除いて、２回目のパノラマ画像データへの展開を行う必要があり、処理時間が掛ってしまう。特に、３６０°の視野を持つ環状の動画像データを撮影してリアルタイムでパノラマ画像データに展開する場合、パノラマ画像データを表示させるまでに著しく遅延が生じる恐れがある。
【０００７】
そこで、本発明の目的は、被写体が切れていないパノラマ画像データの生成時間を短縮させることにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像手段と、前記撮像手段の広角撮影により生成された画像データと、広角撮影による歪みを含む第１の被写体のテンプレートデータとを比較することにより、前記画像データから前記被写体を検出する検出手段と、前記検出手段による前記被写体の検出結果に基づいて、前記画像データをパノラマ画像データに展開する展開手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体が切れていないパノラマ画像データの生成時間を短縮させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る撮像装置の処理を示すフローチャートである。
【図３】顔テンプレート格納部に格納されている顔テンプレートの一例を示す図である。
【図４】環状画像データ及び当該環状画像データから展開されたパノラマ画像データの例を示す図である。
【図５】広角撮影時における撮像装置と人物との配置状態の例を示す図である。
【図６】図２のステップＳ１０３における極座標補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。
【図７】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図８】ズームレンズの焦点距離と光学歪み量との関係を示す図である。
【図９】本発明の第２の実施形態に係る撮像装置の処理を示すフローチャートである。
【図１０】図９のステップＳ２０３における広角歪み補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。
【図１１】本発明の第３の実施形態に係る撮像装置の構成を示す図である。
【図１２】本発明の第３の実施形態に係る撮像装置の処理を示すフローチャートである。
【図１３】図１２のステップＳ３０５における極座標補正顔特徴抽出サブルーチンを示すフローチャートである。
【図１４】本発明の第４の実施形態に係る撮像装置の構成を示す図である。
【図１５】本発明の第４の実施形態に係る撮像装置の処理を示すフローチャートである。
【図１６】図１５のステップＳ４０４における広角歪み補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１において、１００は、第１の実施形態に係る撮像装置である。１０１は、各部の動作を制御する制御部であり、例えばマイコン等からなる。１０２は、レンズ及び絞り等で構成され、被写体を撮影するための光学系である。１０３は、ＣＣＤ又はＣＭＯＳセンサ等の撮像素子での光電変換により撮像信号を生成する撮像部である。１０４は、目、鼻又は口等の形状に特徴のある部位を顔検出時の顔テンプレートとして格納する顔テンプレート格納部である。なお、顔テンプレート格納部１０４は、広角撮影による歪みのない、通常撮影時の顔テンプレートを格納する第１の顔テンプレート格納部１０５と、広角撮影による歪みを考慮した広角撮影時の顔テンプレートを格納する第２の顔テンプレート格納部１０６とを有する。１０７は、比較対象となる被写体の極座標上の位置に対応して、顔テンプレート格納部１０４に格納される顔テンプレートを極座標変換で補正する顔データ極座標補正部である。１０８は、撮像部１０３から出力される撮像画像データと顔テンプレートとを例えばテンプレートマッチングにより比較し、撮像画像データに含まれる顔画像を検出する顔検出部である。１０９は、光学系１０２に広角レンズや曲面鏡を取り付けて撮像された３６０°の画角を持つ環状画像データを展開して、パノラマ画像データを生成する全方位画像展開部である。１１０は、全方位画像展開部１０９で生成されたパノラマ画像データをＴＶ会議等の用途に用いるために、当該パノラマ画像データを有線や無線で他の機器に送信する送信部である。１１１は、全方位画像展開部１０９で生成されたパノラマ画像データを表示するための液晶パネル等から成る表示部である。
【００１３】
なお、広角撮影時の顔テンプレートは、第１の被写体のテンプレートデータの例であり、通常撮影時の顔テンプレートは、第２の被写体のテンプレートデータの例である。また、第２の顔テンプレート格納部１０６は、第１の被写体のテンプレートデータを格納するテンプレートデータ格納手段の例である。
【００１４】
次に、図２を参照しながら、第１の実施形態に係る撮像装置１００の処理について説明する。なお、図２に示す処理は、制御部１０１が不図示のＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。
【００１５】
ステップＳ１０１において、制御部１０１は、広角レンズや曲面鏡等の広角光学系が光学系１０２に装着されているか否かを判定する。広角光学系が装着されている広角撮影時である場合、処理はステップＳ１０２に移行する。一方、広角光学系が装着されていない通常撮影時である場合、処理はステップＳ１０６に移行する。ステップＳ１０６において、顔検出部１０８は、通常撮影時の顔テンプレートを第１の顔テンプレート格納部１０５から読み出す。
【００１６】
図３は、顔テンプレート格納部１０４に格納されている顔テンプレートの一例を示す図である。図３（ａ）の３０１は、第１の顔テンプレート格納部１０５に格納されている、広角撮影による歪みのない通常撮影時の顔テンプレートの一例を示している。
【００１７】
ステップＳ１０７において、顔検出部１０８は、図３（ａ）に示す顔テンプレート３０１と撮像部１０３から入力した撮像画像データとを比較することにより、顔検出マッチングを行う。
【００１８】
ステップＳ１０２において、顔データ極座標補正部１０７は、広角撮影による歪みを考慮した広角撮影時の顔テンプレートを第２の顔テンプレート格納部１０６から読み出す。図３（ｂ）の３０２は、第２の顔テンプレート格納部１０６に格納されている広角撮影による歪みを考慮した広角撮影時の顔テンプレートの一例を示している。これは、図３（ａ）の通常撮影時の顔テンプレート３０１が全方位（３６０°）撮影の影響で歪んだ場合に相当する。
【００１９】
図４（ａ）は、広角光学系を装着して全方位（３６０°）撮影を行うことにより得られる環状画像データの一例を示している。撮像部１０３が具備する撮像素子は、４０１に示す撮像領域を持つ。不図示の広角光学系を光学系１０２に装着することにより、撮像領域４０１中の４０２に示す領域に全方位の環状画像データが撮影される。この例では、図５に示すようにテーブル５００に置かれた撮像装置１００が３６０°撮影することにより、環状画像データ４０２の中に人物４１１〜４１４が含まれることになる。上述したように、図３（ｂ）に示す顔テンプレート３０２は、図４（ａ）に示す、広角撮影による人物４１１〜４１４の顔の歪みを考慮したものである。
【００２０】
ステップＳ１０３は、極座標補正顔検出マッチングサブルーチンである。図６は、ステップＳ１０３における極座標補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。
【００２１】
ステップＳ１０３１において、制御部１０１は、環状画像データ４０２における極座標上の位置θ及びｒを原点に設定する。この例では、図４の４２０を基準線として、４２１を原点として極座標を定義している。
【００２２】
ステップＳ１０３２において、顔データ極座標補正部１０７は、第２の顔テンプレート格納部１０６から読み出した顔テンプレートに対し、現在のθ及びｒの値に応じて回転及び拡大／縮小を施して、極座標変換により補正する。図３（ｃ）は、θ及びｒの値に応じて、図３（ｂ）の顔テンプレート３０２を補正したテンプレートの例を示している。θ及びｒの値を変化させることにより、顔テンプレート３０２は、顔テンプレート３０３や３０４のように角度や大きさが変化する。例えば、顔テンプレート３０３は、図４の基準線４２０を角度θだけ回転し、像高ｒに相当する点４２５の位置にある顔を想定して補正したものである。なお、極座標変換で補正された顔テンプレートは、図３（ｃ）に示した２種類の顔テンプレート３０３、３０４に限るものではない。なお、ステップＳ１０３２は、変形手段の処理例である。
【００２３】
ステップＳ１０３３において、顔検出部１０８は、図３（ｃ）に示す補正済みの顔テンプレートと、環状画像データ４０２の現在のθ及びｒの値に対応する位置の画像データとを比較し、顔検出マッチングを行う。
【００２４】
ステップＳ１０３４において、顔検出部１０８は、θの値はそのままでｒの値を微少量δだけ増やす。これは、環状画像データ４０２において基準線４２０との成す角はそのままで、像高をδだけ高くすることに相当する。なお、この微少量δはいかなる値でもよい。
【００２５】
ステップＳ１０３５において、顔検出部１０８は、ｒが最大値に達したか否か、即ち、環状画像データ４０２の端まで像高を高くしたか否かを判定する。ｒが最大値に達していなければ、処理はステップＳ１０３２に戻り、ステップＳ１０３３の顔検出マッチングが繰り返される。一方、ｒが最大値に達していれば、処理はステップＳ１０３６に移行する。ステップＳ１０３６において、顔検出部１０８は、ｒを０に戻してθを微少量εだけ増やす。つまり、顔検出部１０８は、基準線４２０からの極座標の角度をεだけ反時計回りに増やす。なお、この微少量εはいかなる値でもよい。
【００２６】
ステップＳ１０３７において、顔検出部１０８は、θが３６０°に達したか否か、即ち、環状画像データ４０２の全領域をサーチして、顔テンプレートの極座標補正及び顔検出マッチングが完了したか否かを判定する。θが３６０°に達していなければ、処理はステップＳ１０３２に戻り、顔テンプレートの極座標補正及び顔検出マッチングによる顔検出が継続される。一方、θが３６０°に達していれば、環状画像データ４０２の全領域において顔テンプレートの極座標補正及び顔検出マッチングが完了しているため、処理は図２のメインルーチンのステップＳ１０４に移行する。
【００２７】
ステップＳ１０４において、制御部１０１は、ステップＳ１０３における顔検出結果に従って、図４（ａ）の環状画像データ４０２をパノラマ画像データに展開するための展開線を設定する。例えば、図４（ａ）の環状画像データ４０２を展開線４２２で展開した場合、展開されたパノラマ画像データは、図４（ｂ）の４２３に示すようになる。パノラマ画像データ４２３は、３６０°の画角を持つが、人物４１１が左右に分割されている。このパノラマ画像データ４２３をＴＶ会議等の用途で遠隔地に送った場合、受信先では人物４１１の表情が読み取り辛い。
【００２８】
環状画像データ４０２に写っている人物４１１〜４１４の顔が検出されているため、ステップＳ１０４において、制御部１０１は、これらを分割しないように展開線を設定する。その一例として、展開線４２４を設定すれば、人物４１１〜４１４の何れの顔も分割しなくて済む。
【００２９】
ステップＳ１０５において、全方位画像展開部１０９は、ステップＳ１０４で設定された展開線で環状画像データ４０２をパノラマ画像データに展開する。図４（ｃ）の４２４は、展開線４２４で展開されたパノラマ画像データを示している。このとき、人物４１１〜４１４の顔が左右に分割されていないため、何れの人物の表情も読み取ることができる。
【００３０】
ステップＳ１０８において、制御部１０１は、パノラマ画像データを送信部１１０から送信するか、及び、表示部１１１に表示するかのうちの少なくとも何れか一方を実行する。このとき、制御部１０１の命令で送信部１１０及び表示部１１１の駆動の有無が決定される。
【００３１】
ステップＳ１０９において、制御部１０１は、動作終了か否かを判定する。動作終了の場合、処理は終了する。動作の終了ではない場合、処理はステップＳ１１０に移行する。ステップＳ１１０において、制御部１０１は、画角の変更又は人の移動等による顔の再検出の要否を判定する。顔の再検出が必要である場合、処理はステップＳ１０１に戻り、上述した処理を繰り返す。一方、顔の再検出が不要である場合、処理はステップＳ１１１に移行する。ステップＳ１１１において、制御部１０１は、広角光学系が光学系１０２に装着されているか否かを判定する。広角光学系が装着されていない場合、処理はステップＳ１０８に戻る。一方、広角光学系が装着されている場合、処理はステップＳ１０５に戻る。
【００３２】
以上のように、本実施形態では、通常撮影時の顔テンプレート（広角撮影による歪みのない顔テンプレート）と広角撮影時の顔テンプレート（広角撮影による歪みを考慮した顔テンプレート）とを具備している。そして、広角撮影時には、平面展開前の環状画像データと広角撮影時の顔テンプレートとを比較して顔検出が行われる。このように、広角撮影による歪みを含む環状画像データと広角撮影による歪みを考慮した顔テンプレートとを比較することにより、広角撮影時にも正確に顔検出を行うことが可能となる。また、平面展開前の環状画像データを対象に顔検出を行うことにより、人の顔が切れていないパノラマ画像データを一回の平面展開で得ることができ、パノラマ画像データの生成時間を短縮させることが可能となる。
【００３３】
次に、本発明の第２の実施形態について説明する。図７は、第２の実施形態に係る撮像装置の構成を示す図である。なお、図７において、図１と同一の構成には、図１と同一の番号を付して詳細な説明を省略する。但し、顔テンプレート格納部１０４には、広角撮影による歪みのない顔テンプレートのみが格納されているものとする。
【００３４】
図７において、７００は、第２の実施形態に係る撮像装置である。７０１は、光学系１０２が具備する不図示のズームレンズの焦点距離情報を格納する光学情報格納部である。７０２は、広角歪み補正テーブルであり、光学系１０２に広角光学系が装着された場合、顔テンプレート格納部１０４に格納される顔テンプレートに広角歪みを持たせる際に用いられる変換関数の係数（パラメータ）が格納されている。即ち、広角歪み補正テーブル７０２には、不図示のズームレンズの焦点距離に応じて複数の係数の組み合わせが格納されている。
【００３５】
図８は、不図示のズームレンズの焦点距離と光学歪み量との関係を示す図である。図８に示す関係を規定した特性情報がテーブル化されて広角歪み補正テーブル７０２に格納されている。レンズ上の像高が高くなるにつれ、特性が８０１〜８０４のように変化し、同じ焦点距離でも歪みが増えていく。図８の例では、４通りの像高における歪み特性を示しているが、格納する特性の種類はこれに限ったものではない。
【００３６】
７０３は、被写体の極座標上の位置に応じて顔テンプレート格納部１０４に格納される顔テンプレートに対して極座標変換を行うとともに、広角撮影時には広角歪みも考慮して顔テンプレートを補正する顔データ補正部である。なお、顔データ補正部７０３は、テンプレートデータ補正手段の例である。
【００３７】
次に、図９を参照しながら、第２の実施形態に係る撮像装置７００の処理について説明する。なお、図９に示す処理は、制御部１０１が不図示のＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。
【００３８】
ステップＳ２０１において、制御部１０１は、顔テンプレート格納部１０４から顔テンプレートをロードする。第２の実施形態における顔テンプレートは、全て図３（ａ）に示す通常撮影時の顔テンプレート３０１であり、広角撮影による歪みのないものである。
【００３９】
ステップＳ２０２において、制御部１０１は、光学系１０２に広角レンズや曲面鏡等の広角光学系が装着されているか否かを判定する。広角光学系が装着されていない通常撮影時である場合、処理はステップＳ２０６に移行する。一方、広角光学系が装着されている場合、処理はステップＳ２０３に移行する。
【００４０】
ステップＳ２０６において、顔検出部１０８は、環状画像データ４０２と、ステップＳ２０２にてロードされた顔テンプレートとを比較することにより、顔検出マッチングを行う。ステップＳ２０３は、広角歪み補正顔検出マッチングサブルーチンである。
【００４１】
図１０は、ステップＳ２０３における広角歪み補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。ステップＳ２０１１において、顔データ補正部７０３は、光学情報格納部７０１からズームレンズ（不図示）の現在の焦点距離情報を読み出す。ステップＳ２０１２において、顔データ補正部７０３は、広角歪み補正テーブル７０２からステップＳ２０１１で読み出した焦点距離情報に対応する広角歪み補正テーブルをロードする。
【００４２】
ステップＳ２０１３において、顔データ補正部７０３は、第１の実施形態のステップＳ１０３１と同様、環状画像データ４０２における極座標上の位置θ及びｒを原点４２１に設定する。ステップＳ２０１４において、顔データ補正部７０３は、ステップＳ２０１２でロードした広角歪み補正テーブル７０２のデータのうち、現在の像高ｒに対応するデータを用いて、顔テンプレート格納部１０４から読み出した顔テンプレートに対して広角歪み補正を行う。つまり、顔データ補正部７０３は、図３（ａ）に示す顔テンプレート３０１を補正して、図３（ｂ）に示す顔テンプレート３０２を生成する。さらに、ステップＳ２０１４において、顔データ補正部７０３は、広角歪み補正された顔テンプレートを現在のθ及びｒの値に応じて回転及び拡大／縮小を施して補正する。つまり、図３（ｂ）に示す顔テンプレート３０２から図３（ｃ）に示す補正済み顔テンプレートが生成される。
【００４３】
ステップＳ２０１５において、制御部１０１は、ステップＳ２０１４で生成された図３（ｃ）に示す補正済み顔テンプレートと、環状画像データ４０２の現在のθ及びｒの値に対応する位置の画像データとを比較することにより、顔検出マッチングを行う。
【００４４】
以降のステップＳ２０１６からＳ２０１９までの処理はそれぞれ、第１の実施形態における図６のステップＳ１０３４からＳ１０３７までと同様であるため、説明は省略する。
【００４５】
図９のメインルーチンに戻ると、ステップＳ２０４において、制御部１０１は、ステップＳ２０３における顔検出の結果に基づき、図４（ａ）の環状画像データ４０２をパノラマ画像データに展開するための展開線を設定する。以降のステップＳ２０５〜Ｓ２１０の処理はそれぞれ、第１の実施形態におけるステップＳ１０５〜Ｓ１１１と同様であるため、説明を省略する。
【００４６】
以上のように、本実施形態では、通常撮影時の顔テンプレートのみを具備し、広角撮影時には、通常撮影時の顔テンプレートに広角歪みを持たせるように補正する。これにより、通常撮影時の顔テンプレートのみを具備していても、広角撮影時において顔検出を正確に行うことが可能となる。
【００４７】
また、環状画像データをパノラマ画像データに展開して、通常撮影時の顔テンプレートと比較する代わりに、通常撮影時の顔テンプレートに環状画像データに相当する広角歪みを持たせて環状画像データと比較しているため、処理時間を短縮させることができる。
【００４８】
さらに、第２の実施形態によれば、第１の実施形態と同様に、平面展開前の環状画像データで顔検出をすることにより、人の顔が切れていないパノラマ画像データを一顔の平面展開で得ることができ、パノラマ画像データの生成時間を短縮させることが可能となる。
【００４９】
次に、本発明の第３の実施形態について説明する。図１１は、第３の実施形態に係る撮像装置の構成を示す図である。なお、図１と同一の構成には同一番号を付し、詳細な説明は省略する。
【００５０】
図１１において、１１００は、第３の実施形態に係る撮像装置である。１１０１は、各個人に割り当てられるＩＤと対応付けて、その人物の顔辞書データを格納する顔辞書データ格納部である。撮影者は、登録操作に従って登録したい人物を撮影して、その人物の顔画像データを顔辞書データとして顔辞書データ格納部１１０１に格納する。また、顔辞書データ格納部１１０１は、広角光学系を装着しない状態で行われた通常撮影時の顔辞書データを格納する第１の辞書データ格納部１１０２と、広角光学系を装着した状態で行われた広角撮影による歪みを持った顔辞書データを格納する第２の辞書データ格納部１１０３とを有する。
【００５１】
１１０４は、顔検出部１０８で検出された顔画像から顔の特徴を抽出するとともに、当該顔の特徴と、顔辞書データ格納部１１０１に記憶されている顔辞書データとを比較し、個人を特定する顔認証部である。１１０５は、顔辞書データを顔辞書データ格納部１１０１に格納する際の管理番号である特徴情報ＩＤを生成するＩＤ生成部である。なお、ＩＤ生成部１１０５で生成された特徴情報ＩＤは、顔辞書データ格納部１１０１において格納される。
【００５２】
上述した広角撮影時の顔辞書データは、第２の辞書データの例であり、通常撮影時の顔辞書データは、第１の辞書データの例である。また、第２の顔辞書データ格納部１１０３は、第１の辞書データを格納する辞書データ格納手段の例である。
【００５３】
次に、図１２を参照しながら、第３の実施形態に係る撮像装置１１００の処理について説明する。なお、図１２に示す処理は、制御部１０１が不図示のＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。
【００５４】
ステップＳ３０１において、制御部１０１は、広角レンズや曲面鏡等の広角光学系が光学系１０２に装着されているか否かを判定する。広角光学系が装着されていない場合、処理はステップＳ３０８に移行する。ステップＳ３０８及びＳ３０９はそれぞれ、第１の実施形態で説明した図２のステップＳ１０６及びＳ１０７と同様である。
【００５５】
ステップＳ３１０において、制御部１０１は、通常撮影時の顔辞書データを第１の辞書データ格納部１１０２から読み出す。ここで、第１の辞書データ格納部１１０２に格納されている顔辞書データは、図３（ａ）に示した顔テンプレート３０１と同様に広角撮影による歪みのないものである。
【００５６】
ステップＳ３１１において、顔認証部１１０４は、ステップＳ３０９で検出された顔画像から顔の特徴情報を抽出するとともに、顔の特徴情報と通常撮影時の顔辞書データとを比較する。
【００５７】
ステップＳ３１２において、制御部１０１は、顔の特徴情報と、通常撮影時の顔辞書データとが一致するか否か、即ち、ステップＳ３０９で検出された顔画像が第１の顔辞書データ格納部１１０２に登録済であるか否かを判定する。顔の特徴情報と、通常撮影時の顔辞書データとが一致する場合、処理はステップＳ３１４に移行する。一方、顔の特徴情報と、通常撮影時の顔辞書データとが一致しない場合、処理はＳ３１３に移行する。
【００５８】
ステップＳ３１３において、ＩＤ生成部１１０５は、特徴情報ＩＤを新規に生成する。ステップＳ３１４において、制御部１０１は、当該顔辞書データに対応する特徴情報ＩＤを顔辞書データ格納部１１０２から取得する。
【００５９】
一方、ステップＳ３０１で広角光学系が装着されていると判定された場合、処理はステップＳ３０２に移行する。ステップＳ３０２及び次のＳ３０３はそれぞれ、第１の実施形態で説明した図２のステップＳ１０２及びＳ１０３と同様である。従って、ステップＳ３０３では、第１の実施形態と同じく、図６に示すサブルーチンが読み出される。また、ステップＳ３０２及びＳ３０３に代えて、ステップＳ２０３を実行するようにしてもよい。
【００６０】
ステップＳ３０３で環状画像データ４０２に写っている人物４１１〜４１４の顔画像が検出されると、処理はステップＳ３０４に移行する。ステップＳ３０４において、制御部１０１は、広角撮影時の顔辞書データを第２の辞書データ格納部１１０３から読み出す。ここで、第２の辞書データ格納部１１０３に格納されている顔辞書データは、図３（ｂ）に示した顔テンプレート３０２と同様に広角撮影による歪みを持つ。
【００６１】
ステップＳ３０５は、極座標補正顔特徴抽出サブルーチンである。図１３は、ステップＳ３０５における極座標補正顔特徴抽出サブルーチンを示すフローチャートである。
【００６２】
ステップＳ３０５１において、顔データ極座標補正部１０７は、環状画像データ４０２における極座標上の位置θ及びｒを原点に設定する。この例では、４２０をθ＝０の基準線、４２１を原点として極座標を定義している。
【００６３】
ステップＳ３０５２において、顔データ極座標補正部１０７は、第２の辞書データ格納部１１０３から読み出された広角撮影時の顔辞書データに対し、現在のθ及びｒの値に応じて、回転及び拡大／縮小を施して補正する。θ及びｒの値に応じて広角撮影時の顔辞書データが補正されると、顔テンプレートと同様に、図３（ｂ）に示す顔テンプレート３０２から図３（ｃ）に示す顔テンプレートの形状のようになる。θ及びｒの値を変化させることにより、顔テンプレートと同様に角度や大きさが変化する。例えば補正された顔辞書データは、図４（ａ）の基準線４２０を角度θだけ回転し、像高ｒに相当する点４２５の位置にある顔を想定して補正されたものである。
【００６４】
ステップＳ３０５２にて広角撮影時の顔辞書データが極座標変換で補正されると、ステップＳ３０５３において、顔認証部１１０４は、ステップＳ３０３で検出された顔画像から顔の特徴情報を抽出するとともに、顔の特徴情報と極座標補正後の広角撮影時の顔辞書データとを比較する。
【００６５】
ステップＳ３０５４において、顔認証部１１０４は、顔の特徴情報と、極座標補正後の広角撮影時の顔辞書データとが一致するか否か、即ち、ステップＳ３０３で検出された顔画像が第２の顔辞書データ１１０３に登録済みであるか否かを判定する。顔の特徴情報と、広角撮影時の顔辞書データとが一致する場合、処理はステップＳ３０５５に移行する。一方、顔の特徴情報と、広角撮影時の顔辞書データとが一致しない場合、処理はステップＳ３０５６に移行する。
【００６６】
ステップＳ３０５６において、ＩＤ生成部１１０５は、特徴情報ＩＤを新規に生成する。ステップＳ３０５５において、制御部１０１は、当該顔辞書データに対応する特徴情報ＩＤを顔辞書データ格納部１１０１から取得する。
【００６７】
ステップＳ３０５７において、制御部１０１は、θの値はそのままでｒの値を微少量δだけ増やす。これは、環状画像データ４０２において基準線４２０とのなす角はそのままで像高をδだけ高くすることに相当する。なお、この微少量δはいかなる値でもよい。
【００６８】
ステップＳ３０５８において、制御部１０１は、ｒが最大値に達したか否か、即ち、環状画像データ４０２の端まで像高を高くした否かを判定する。ｒが最大値に達していなければ、処理はステップＳ３０５２に戻り、顔辞書データの極座標補正及び顔認証が繰り返される。一方、ｒが最大値に達していれば、処理はステップＳ３０５９に移行し、ｒが零に戻され、θが微少量εだけ増やされる。つまり、極座標の角度を基準線４２０からεだけ反時計回りに回転させる。なお、この微少量εはいかなる値でもよい。
【００６９】
ステップＳ３０６０において、制御部１０１は、θが３６０°に達したか否か、即ち、環状画像データ４０２の全領域をサーチして顔辞書データの極座標補正及び顔検出が完了したか否かを判定する。θが３６０°に達していなければ、処理はステップＳ３０５３に戻り、顔辞書データの極座標補正及び顔認証が継続される。一方、θが３６０°に達していれば、環状画像データ４０２の全領域において顔辞書データの極座標補正及び顔認証が完了しているため、処理は、図１２のメインルーチンのステップＳ３０６に移行する。
【００７０】
ステップＳ３０６において、制御部１０１は、顔認証の結果に基づき、環状画像データ４０２をパノラマ画像データに展開するための展開線を設定する。本実施形態では、個人を特定し、その結果に基づきパノラマ画像データに展開することで、例えば人物４１１を図４（ｃ）に示すように左端に持ってきたい等、意図的に個人のパノラマ画像データ上の位置を決めることができる。
【００７１】
以降のステップＳ３０７〜Ｓ３１８はそれぞれ、第１の実施形態で説明した図２のステップＳ１０５〜Ｓ１１１と同様の処理である。
【００７２】
以上のように、本実施形態では、通常撮影用の顔辞書データと広角撮影用の顔辞書データとを具備し、広角撮影時には平面展開前の環状画像データと広角撮影用の顔辞書データとを比較して顔検出を行う。広角撮影による歪みを持つ環状画像データと同じく広角撮影による歪みを持つ顔辞書データとを比較することにより、広角撮影時にも顔認証を正確に行うことができる。また、平面展開前の環状画像データで顔認証をすることにより、人の顔が切れていないパノラマ画像データを一回の平面展開で得ることができ、パノラマ画像データの生成時間を短縮させることが可能となる。さらに、特定の個人のパノラマ画像データ上での位置を指定することができる。
【００７３】
次に、本発明の第４の実施形態について説明する。図１４は、第４の実施形態に係る撮像装置の構成を示す図である。なお、図１、図７及び図１１と同一の構成には、同一符号を付し、詳細な説明は省略する。第４の実施形態では、顔辞書データ格納部１１０１には、広角撮影による歪みのない顔辞書データのみが格納されているものとする。
【００７４】
図１４において、１４００は、第４の実施形態に係る撮像である。１４０１は、被写体の極座標上の位置に応じて、顔テンプレート格納部１０４から読み出した顔テンプレートを極座標変換するとともに、広角撮影時には広角歪みをも考慮して、顔テンプレートを補正する顔データ補正部である。基本的な機能は、図７の７０３と同等であるが、顔データ補正部１４０１は、顔辞書データ格納部１１０１から読み出された顔辞書データに対しても極座標変換及び広角歪み補正を施す。なお、顔データ補正部１４０１は、辞書データ補正手段の例である。
【００７５】
次に、図１５を参照しながら、第４の実施形態に係る撮像装置１４００の処理について説明する。なお、図１５に示す処理は、制御部１０１が不図示のＲＯＭ等の記録媒体から必要なプログラム及びデータを読み込んで実行することにより実現する処理である。
【００７６】
ステップＳ４０１において、制御部１０１は、顔テンプレート格納部１０４から顔テンプレートをロードする。第４の実施形態における顔テンプレートは、全て図３（ａ）に示す通常撮影時の顔テンプレート３０１である。ステップＳ４０２において、制御部１０１は、光学系１０２に広角レンズや曲面鏡等の広角光学系が装着されているか否かを判定する。広角光学系が装着されていない場合、即ち、通常撮影時は、処理はステップＳ４０７に移行する。ステップＳ４０７において、顔検出部１０８は、環状撮像データと、ロードされた顔テンプレートとを比較して顔検出マッチングを行う。以降のステップＳ４０８からＳ４１１までの動作は、第３の実施形態で説明した図１２のステップＳ３１１からＳ３１４と同様である。
【００７７】
一方、ステップＳ４０１にて広角光学系が装着されていると判定された場合、処理はステップＳ４０３の広角歪み補正顔検出マッチングサブルーチンに移行する。ステップＳ４０３における広角歪み補正顔検出マッチングサブルーチンのフローチャートは、第２の実施形態で説明した図１０と同じであるため、説明を省略する。また、ステップＳ４０３に代えて、ステップＳ１０２及びＳ１０３を実行するようにしてもよい。
【００７８】
広角歪み補正顔検出マッチングサブルーチンで環状画像データから顔画像が検出されると、図１５のメインルーチンに戻り、処理はステップＳ４０４の広角歪み補正顔検出マッチングサブルーチンに移行する。
【００７９】
図１６は、ステップＳ４０４における広角歪み補正顔検出マッチングサブルーチンの詳細を示すフローチャートである。なお、図１６のステップＳ４０１１からステップＳ４０１３までの動作は、第２の実施形態で説明した、図１０のステップＳ２０１１からＳ２０１３までと同じである。
【００８０】
ステップＳ４０１４において、顔データ補正部１４０１は、顔辞書データ格納部１１０１から読み出した顔辞書データと、ステップＳ４０１２でロードされた広角歪み補正テーブルとから、顔辞書データに広角歪みを持たせるべく補正を行う。つまり、図３（ａ）の顔テンプレート３０１から図３（ｂ）の顔テンプレート３０２のように形状が補正された顔辞書データを得る。さらに、ステップＳ４０１４において、顔データ補正部１４０１は、広角歪みを持たせた顔辞書データに対して現在のθ及びｒの値に応じて回転、拡大／縮小を施す。これにより、図３（ｂ）の顔テンプレート３０２から図３（ｃ）の顔テンプレートのように形状が補正された顔辞書データが得られる。
【００８１】
ステップＳ４０１４で顔辞書データが補正されると、ステップＳ４０１５において、顔認証部１１０４は、図３（ｃ）に示す形状の顔辞書データと、環状画像データ４０２の現在のθ及びｒの値に対応する位置の画像データとを比較する。
【００８２】
以降のステップＳ４０１６からＳ４０２２までの動作は、第３の実施形態で説明した図１３のステップＳ３０５４からＳ３０６０までの動作と同様である。
【００８３】
処理がメインルーチンのステップＳ４０５に戻ると、制御部１０１は、顔認証の結果に基づき、図４（ａ）の環状画像データ４０２をパノラマ画像データに展開するための展開線を設定する。以降のステップＳ４０６からＳ４１５までの動作はそれぞれ、第１の実施形態におけるステップＳ１０５からＳ１１１までの動作と同様であるため、説明を省略する。
【００８４】
以上のように、本実施形態では、通常撮影用の顔辞書データのみを具備し、広角撮影時には顔辞書データに広角歪みを持たせるように補正する。これにより、通常撮影時の顔辞書データのみを具備して、広角撮影時においても顔認証を正確に実行することが可能となる。
【００８５】
また、環状画像データをパノラマ画像データに展開して、通常撮影時の顔辞書データと比較するよりも、通常撮影時の顔辞書データに環状画像データに相当する広角歪みを持たせて、環状画像データと比較した方が処理時間を短縮することができる。
【００８６】
また、第３の実施形態と同様に、パノラマ画像データ展開前の環状画像データで顔認証をすることにより、一回の平面展開で人の顔が切れていないパノラマ画像データを得ることができ、パノラマ画像データの生成時間を短縮させることが可能となる。さらに、特定の個人のパノラマ画像データ上における位置を指定することができる。
【００８７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８８】
１００、７００、１１００、１４００：撮像装置、１０１：制御部、１０２：光学系、１０３：撮像部、１０４：顔テンプレート格納部、１０５：第１の顔テンプレート格納部、１０６：第２の顔テンプレート格納部、１０７：顔データ極座標補正部、１０８：顔検出部、１０９：全方位画像展開部、１１０：送信部、１１１：表示部、７０１：光学情報格納部、７０２：広角歪み補正テーブル、７０３：顔データ補正部、１１０１：顔辞書データ格納部、１１０２：第１の顔辞書データ格納部、１１０３：第２の顔辞書データ格納部、１１０４：顔認識部、１１０５：ＩＤ生成部、１４０１：顔データ補正部
【図１】
2014187505.tif 000003
【図２】
2014187505.tif 000004
【図３】
2014187505.tif 000005
【図４】
2014187505.tif 000006
【図５】
2014187505.tif 000007
【図６】
2014187505.tif 000008
【図７】
2014187505.tif 000009
【図８】
2014187505.tif 000010
【図９】
2014187505.tif 000011
【図１０】
2014187505.tif 000012
【図１１】
2014187505.tif 000013
【図１２】
2014187505.tif 000014
【図１３】
2014187505.tif 000015
【図１４】
2014187505.tif 000016
【図１５】
2014187505.tif 000017
【図１６】
2014187505.tif 000018