(57)【要約】【課題】花火に関する情報を得ることができる撮像装置、撮影方法及びプログラムを提供する。【解決手段】制御部１１は、花火の空中での開花開始の位置から撮像位置までの距離を算出するとともに開花状態を判別し、少なくとも算出した距離及び判別した開花状態のいずれかに基づいて所定の処理を実行する所定処理実行手段として機能する。ここで、所定の処理として、制御部１１は、測定された開花開始時の光（画像解析による）と音（集音部１８による）の撮像位置への到達時間差を基に、到達時間差を長さに換算して距離を算出し、花火に関する情報として、算出された距離の情報を取得する処理を実行する。【選択図】図１
2015178985.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出手段と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別手段と、
前記距離算出手段が算出した距離と、前記状態判別手段が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像画像内の前記打ち上げ花火の画角を取得する第１画角取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記打ち上げ花火の画角と前記算出した距離から前記打ち上げ花火の開花開始後の打ち上げ花火の径を算出し、前記打ち上げ花火に関する情報として、前記算出した前記径の情報を取得する処理を実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記状態判別手段は、
前記開花状態の判別を、開花中の前記打ち上げ花火の端部の変化に基づき行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記状態判別手段は、
前記開花状態として、前記打ち上げ花火の端部の拡張が停止したタイミングを、前記打ち上げ花火の開花終了タイミングであると判別することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記所定処理実行手段は、
前記所定の処理として、前記判別された開花終了タイミングにおける前記打ち上げ花火の画角と前記距離から前記打ち上げ花火の最大径である開花径を算出し、前記打ち上げ花火に関する情報として、前記算出した前記開花径の情報を取得する処理を実行することを特徴とする請求項４に記載の撮像装置。
【請求項６】
花火玉の号数に対応した標準的な開花径を記憶した記憶手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記記憶している標準的な開花径と前記算出した開花径に基づき、前記打ち上げ花火の号数を推測し、前記打ち上げ花火に関する情報として、前記推測した号数の情報を取得する処理を実行することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記開花の状態は、前記打ち上げ花火の芯数を含み、
前記状態判別手段は、
前記打ち上げ花火の端部の色の変化を識別し、前記識別した色の変化率が所定の閾値を超えるごとに芯数が増えた状態であると判別し、
前記所定処理実行手段は、
前記所定の処理として、前記芯数が増えた状態であると判別した回数から前記打ち上げ花火の芯数を算出し、前記打ち上げ花火に関する情報として、前記算出した芯数の情報を取得する処理を実行することを特徴とする請求項３から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像画像内の打上げの開始位置と前記開花の開始位置から前記打ち上げ花火の到達高度の画角を取得する第２画角取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記取得した到達高度の画角と前記算出した距離から前記到達高度を算出し、前記打ち上げ花火に関する情報として、前記算出した前記到達高度の情報を取得する処理を実行することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記打上げの開始位置から前記開花の開始位置までの当該撮像装置の光軸の角度の変化を取得する角度変化取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記取得した角度の変化と前記算出した距離から前記打ち上げ花火の到達高度を算出し、前記打ち上げ花火に関する情報として、前記算出した前記到達高度の情報を取得する処理を実行することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
【請求項１０】
前記距離算出手段は、
前記打ち上げ花火の開花開始タイミングにおける前記撮影位置への光と音の到達時間差を算出し、この算出した到達時間差を基に、前記距離を算出することを特徴とする請求項１から請求項９のいずれか１項に記載の撮像装置。
【請求項１１】
前記所定処理実行手段は、
前記所定の処理として、前記取得した前記打ち上げ花火に関する情報を前記撮像画像に付加して記憶する処理を実行することを特徴とする請求項１から請求項１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記状態判別手段は、
前記開花状態の判別を、開花中の前記打ち上げ花火の端部の変化に基づき行い、前記開花状態として、前記打ち上げ花火の端部の拡張が停止したタイミングを、前記打ち上げ花火の開花終了タイミングであると判別し、
前記所定処理実行手段は、
前記所定の処理として、前記判別した開花終了タイミングで、静止画の撮影を前記撮像手段に行わせる処理を実行することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
打上げ花火を撮像する撮像手段を備える撮像装置における撮像方法であって、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出ステップと、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別ステップと、
前記距離算出ステップが算出した前記距離と、前記状態判別ステップが判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行ステップと、
を含むことを特徴とする撮像方法。
【請求項１４】
打上げ花火を撮像する撮像手段を備える撮像装置を制御するコンピュータに、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出機能と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別機能と、
前記距離算出機能が算出した前記距離と、前記状態判別機能が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行機能と、
を実現することを特徴とする撮像装置のプログラム。
【請求項１５】
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記撮像手段が撮像する撮像画像から前記打ち上げ花火の空中における開花の開始タイミングを判別する判別手段と、
前記判別された開始タイミングにおける当該撮像装置の撮影位置への光と音の到達時間差を算出する時間差算出手段と、
前記算出した到達時間差を基に、打ち上げ花火の開花の開始位置から前記撮影位置までの距離を算出する距離算出手段と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像装置のプログラムに関する。
【背景技術】
【０００２】
従来から花火の撮影は難しく、撮影を容易にするために、例えば、特許文献１に開示されているように、花火開花開始時の発光を検出して自動的に撮影を行なう技術が知られている。また、例えば、特許文献２に開示されているように、動画撮影時における開花時の光と炸裂音の到達時間の差を補正する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２０２２０３号公報
【特許文献２】特開２００８−４８３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１，２に開示された技術は、いずれも撮影時の撮影補助機能に関するものであり、例えば、花火の開花の大きさや打上げ高さ、号数といった花火に関する情報を取得するものではない。
【０００５】
本発明は、このような事情に鑑みなされたものであり、花火に関する情報を取得することができる撮像装置、撮影方法、及び撮像装置のプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る第１の態様は、
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出手段と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別手段と、
前記距離算出手段が算出した距離と、前記状態判別手段が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行手段と、
を備えることを特徴とする撮像装置を提供する。
【０００７】
本発明の第２の態様は、
打上げ花火を撮像する撮像手段を備える撮像装置における撮像方法であって、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出ステップと、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別ステップと、
前記距離算出ステップが算出した前記距離と、前記状態判別ステップが判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行ステップと、
を含むことを特徴とする撮像方法を提供する。
【０００８】
本発明の第３の態様は、
打上げ花火を撮像する撮像手段を備える撮像装置を制御するコンピュータに、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出機能と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別機能と、
前記距離算出機能が算出した前記距離と、前記状態判別機能が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行機能と、
を実現することを特徴とする撮像装置のプログラムを提供する。
【０００９】
本発明の第４の態様は、
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記撮像手段が撮像する撮像画像から前記打ち上げ花火の空中における開花の開始タイミングを判別する判別手段と、
前記判別された開始タイミングにおける当該撮像装置の撮影位置への光と音の到達時間差を算出する時間差算出手段と、
前記算出した到達時間差を基に、打ち上げ花火の開花の開始位置から前記撮影位置までの距離を算出する距離算出手段と、
を備えることを特徴とする撮像装置を提供する。
【発明の効果】
【００１０】
本発明によれば、花火に関する情報を取得することができる撮像装置、撮影方法、及び撮像装置のプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】号数テーブルの構成の一例を示す図である。
【図３】本発明の実施の形態１の動作を示すフローチャートである。
【図４】花火の打ち上げ開始から開花終了までの様子を時系列で示した図である。
【図５】開花状態における花火の芯数を説明するために引用した図である。
【図６】撮像素子の実効画素領域を説明するために引用した図である。
【図７】花火の画角の求め方を説明するために引用した図である。
【図８】花火の径の求め方を説明するために引用した図である。
【図９】花火の打ち上げ高さの求め方を説明するために引用した図である。
【図１０】本発明の実施の形態１の変形例の動作を示すフローチャートである。
【図１１】本発明の実施の形態２の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明を実施するための形態（以下、単に、本実施形態という）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
【００１３】
（実施形態の構成）
本実施形態は、撮像装置１としてデジタルカメラに適用した場合を例示したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
【００１４】
図１に示すように、本実施形態に係る撮像装置１（デジタルカメラ）は、静止画像のほかに動画像の撮影も可能なコンパクトカメラや一眼レフカメラであり、制御部１１と、電源部１２と、記憶部１３と、操作部１４と、撮像部１５と、表示部１６と、角度検出部１７と、集音部１８と、により構成されている。
【００１５】
制御部１１は、電源部１２（二次電池）からの電力供給によって動作し、記憶部１３に記憶された各種プログラムに応じてデジタルカメラ全体の動作を制御するもので、この制御部１１には図示省略したＣＰＵ（中央演算処理装置）が内蔵されている。
【００１６】
記憶部１３は、例えば、ＲＯＭ、フラッシュメモリ等を有する構成で、後述する図３、図１０、図１１に示した処理手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されるプログラム領域と、デジタルカメラが動作するために必要なテーブルや、撮影された画像等を一時的に記憶するワーク領域等が割り当てられ記憶されている。ここで、テーブルの一例として、花火玉の号数に対応した標準的な開花径、および標準的な到達高度（打ち上げ高さ）を記憶した、例えば、図２のその構成を示す号数テーブル１３０が割り付けられ記憶されている。号数テーブル１３０の詳細については後述する。
【００１７】
なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示省略しているが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
【００１８】
操作部１４は、押しボタン式のキーとして、撮影可能な状態とする撮影モード（セルフタイマ撮影モード、連写撮影モードなど）、撮影済み画像を再生する再生モードなどを切り替えるモード変更キー、撮影開始を指示するシャッターキー、露出やシャッタースピード等の撮影条件の設定操作などを行うための各種のキー（図示省略）を備え、制御部１１は、この操作部１４から操作キーに対応して出力される入力操作信号に応じて、撮影処理、撮影条件の設定処理、再生処理等を行う。
【００１９】
撮像部１５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ（例えば、ズームレンズ）、撮像素子、ストロボ、測光センサ、アナログ処理部、デジタル処理部を有している。そして、撮像部１５は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。
【００２０】
デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部１６にフルカラー表示される。また、本実施形態においては、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。
【００２１】
表示部１６は、例えば、縦横比（横４：縦３）の画面を有する高精細液晶（ＬＣＤ）ディスプレイあるいは有機ＥＬ（ＯＬＥＤ）ディスプレイで、撮影時に撮影画像である打ち上げ花火を表示するモニタ画面（ライブビュー画面）になったり、撮影画像を再生する再生画面になったりする。なお、表示部１６は、表示パネル上にタッチパネルが積層配設された構成でもよい。この場合、タッチパネルは、撮影者の指等でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成し、例えば、静電容量方式、あるいは抵抗膜方式を採用しているが、その他の方式でもよい。
【００２２】
角度検出部１７は、例えば、水準器（２軸の加速度センサ）であり、ここでは、撮像装置１の光軸の変化（デジタルカメラの姿勢）を検出して制御部１１へ出力する。集音部１８は、例えば、マイクロフォンであり、ここでは、被写体から発せられる音（花火の炸裂音）を集音し、音声信号に変換して制御部１１へ出力する。
【００２３】
上記構成において、制御部１１は、花火の空中での開花開始の位置から撮像位置までの距離を算出するとともに開花状態を判別し、少なくとも算出した距離及び判別した開花状態のいずれかに基づいて所定の処理を実行する所定処理実行手段として機能する。ここで、所定の処理として、制御部１１は、測定された開花開始時の光と音の撮像位置への到達時間差を基に、到達時間差を長さに換算して距離を算出し、花火に関する情報として、算出された距離の情報を取得する処理を実行する。
【００２４】
なお、開花状態の判別は、開花中の花火の端部変化に基づき行われ、開花状態が、端部変化に基づき花火の拡張停止を開花の終了と判別した開花終了タイミングである。制御部１１は、開花終了タイミングで、所定の処理として、静止画の撮像を撮像部１５に行わせる処理を実行してもよい。
【００２５】
制御部１１は、開花終了タイミングの撮像画面内の花火の画角を取得し、所定の処理として、開花の前記画角と距離から花火の開花径を算出し、花火に関する情報として、算出された開花径の情報を取得する処理を実行してもよい。また、制御部１１は、所定の処理として、記憶部１３（号数テーブル１３０）を参照して標準的な開花径に基づき求めた開花径に対応する号数を求め、花火に関する情報として、求めた号数の情報を取得する処理を実行してもよい。
【００２６】
制御部１１は、花火の端部変化に基づき花火の端部の色の変化を識別し、識別した色の変化率が閾値を超えるごとに芯数が増えた状態であると判別し、所定の処理として、芯数が増えた状態であると判別された回数から花火の芯数を求め、花火に関する情報として、求めた芯数の情報を取得する処理を実行してもよい。また、制御部１１は、撮像画面内の打上げ開示位置と開花開始の位置から花火の到達高度の画角を取得し、所定の処理として、距離と到達高度の画角から到達高度を算出し、花火に関する情報として、算出した到達高度の情報を取得する処理を実行してもよい。これは、撮像装置１を固定して動画（打ち上げ花火）を撮影する場合の処理である。また、制御部１１は、所定の処理として、取得した花火に関する情報及び撮像時の撮影パラメータの値を撮像画像に付加する処理を実行してもよい。
【００２７】
制御部１１は、角度検出部１７により、打上げ開示位置から開花開始の位置までの当該撮像装置１の光軸の角度の変化を取得し、所定の処理として、角度の変化と距離から花火の到達高度を算出し、花火に関する情報として、算出した到達高度の情報を取得する処理を実行してもよい。これは、ユーザが花火を追尾するように撮像装置１を動かして撮影する場合の処理である。
【００２８】
（実施形態の動作）
以下、図３以降を参照しながら図１に示す本実施形態に係る撮像装置１の動作について実施例毎、詳細に説明する。
【００２９】
（実施例１）
図３は、実施例１の動作を示すフローチャートである。図３において、まず、ユーザが操作部１４の動画撮影用の所定のキーを操作すると、制御部１１は、これを検出し、撮像部１５を起動して動画撮影を開始させるとともに画像解析を開始する（ステップＳ１０１）。この状態で花火の打ち上げが開始され（ステップＳ１０２）、制御部１１は、花火の開花を検出すると（ステップＳ１０３“ＹＥＳ”）、内蔵のタイマをスタートさせる（ステップＳ１０４）。制御部１１は、撮像部１５の測光センサにより得られる測光輝度が急激に変化するタイミングを検知することにより開花開始を検出する。
【００３０】
図４に、打ち上げから開花終了に至る花火の状態変化を時系列に示してある。（ａ）は打ち上げ開始、（ｂ）は打ち上げ途中、（ｃ）は開花開始、（ｄ）は一重目の開花途中、（ｅ）は二重目の開花開始、（ｆ）は二重目の開花途中、（ｇ）は開花径が最大となる開花終了時の状態である。制御部１１は、開花中の花火の端部変化を画像解析により検出することで上記の状態を判別することができる。
【００３１】
制御部１１は、端部の急激な変化の有無を判定する（ステップＳ１０５）。制御部１１は、端部変化に基づき花火の端部の色の変化を識別し、識別した色の変化率が閾値を超えると端部に急激な変化ありと判定し（ステップＳ１０５“ＹＥＳ”）、花火の芯数が増えた状態であるとしてその回数を加算する（ステップＳ１０６）。そして、端部の拡張停止を検出するまで（ステップＳ１０７“ＹＥＳ”）、ステップＳ１０５とＳ１０６の処理を繰り返し実行し花火の芯数を求める。
【００３２】
すなわち、制御部１１は、花火の拡張停止を開花の終了と判定する。制御部１１は、端部の拡張停止を検出した後、画像解析を停止する（ステップＳ１０８）。芯数が増えた回数が１回であれば図５（ａ）に示す八重芯、２回であれば図５（ｂ）に示す三重芯である。
【００３３】
制御部１１は、画像解析停止後、集音部１８により集音される花火の炸裂音の到達を待つ（ステップＳ１０９）。炸裂音が到達し、これを集音部１８で検出すると（ステップＳ１０９“ＹＥＳ”）、制御部１１は、内蔵するタイマによる計時を停止し（ステップＳ１１０）、その間の計測時間に基づき、空中での開花開始の位置から撮像位置までの距離を算出し（ステップＳ１１１）、撮像画像内の花火部分のサイズを算出する（ステップＳ１１２）。
【００３４】
なお、測定された開花時の光と音の撮像位置への到達時間差を長さに換算することにより、本実施形態に係る撮像装置１と花火の間の距離が算出できる。すなわち、花火の炸裂の瞬間の光が撮像部１５のレンズに捉えられた時点から、集音部１８に炸裂音が捉えられる時点までの時間Ｔ［ｓｅｃ］を計測し、撮像装置１から花火までの距離を計算する。光は伝搬速度が速いため、光が写った瞬間が炸裂した瞬間であると仮定できる。その瞬間から音速で炸裂音が伝達し、時間Ｔを要して炸裂音が集音部１８に到達しているため、距離Ｄ［ｍ］は、Ｔ×ＳＳ（ＳＳは音速：３４０ｍ／ｓｅｃ）として求めることができる。
【００３５】
次に、制御部１１は、花火の水平画角θ１を求める。まず、撮像部１５（撮像素子）に関しては、予め、対角線の長さやアスペクト比を知ることができる。例えば、撮像素子の対角線の長さが１／１．７インチである場合、単位をｍｍとした対角線の長さｄは（１／１．７）×２．５４［ｍｍ］となる。また、例えば、アスペクト比（幅ｙ：高さｘ）とすると、撮像素子の高さｈは、ｄ×ｘ／√（ｘ＾２＋ｙ＾２）［ｍｍ］として求まり、撮像素子の幅ｗはｄ×ｙ／√（ｘ＾２＋ｙ＾２）［ｍｍ］として求まる。
したがって、予め撮像部１５（撮像素子）の垂直幅ｈ［ｍｍ］、水平幅ｗ［ｍｍ］、および、対角幅ｄ［ｍｍ］を知ることができる。
そして、図６に示すように、光学レンズの焦点距離をｆ［ｍｍ］とすれば、水平方向の撮像可能範囲内の角度である水平画角、垂直方向の撮像可能範囲の角度である垂直画角、対角方向での撮像可能範囲の角度である対角画角は、それぞれ以下の演算式（１）（２）（３）で求めることができる。
【００３６】
水平画角θ＝２ｔａｎ−１（ｗ／（２ｆ））［ｒａｄ］…（１）
垂直画角θ＝２ｔａｎ−１（ｈ／（２ｆ））［ｒａｄ］…（２）
対角画角θ＝２ｔａｎ−１（ｄ／（２ｆ））［ｒａｄ］…（３）
【００３７】
図７を用い、水平画角がθの場合を例示して花火の画角の求め方について説明する。図７に示すように、求めたい花火の画角θ１は、撮像素子中の花火部分に当たる撮像素子領域を花火の直径に当たる実際の撮像素子よりも小さい撮像素子であると見なせば、その小さい撮像素子の水平画角θＳと同じである。したがって、求めたい花火の画角θ１は、この小さい撮像素子の水平画角θＳを求めればよいことになる。上記で示した水平画角を求める式から、この小さい撮像素子の水平画角θＳ＝２ｔａｎ−１（ｗ’／（２ｆ））［ｒａｄ］として求めることができる。図７に示すように、焦点距離ｆ［ｍｍ］は、実際の撮像素子と撮像素子中の花火部分に当たる撮像素子領域を小さい撮像素子であると見なした場合とで変化しないので、予め知ることができる。このことから、この小さい撮像素子の横幅ｗ’［ｍｍ］が求まれば、求めたい花火の画角θ１を求めることができる。ここで、実際の撮像素子の横幅ｗと小さい撮像素子の横幅ｗ’との比（ｗ’／ｗ）は、横方向に見たときの画像全体のピクセル数（若しくは画素数）と画像中の花火の部分のピクセル数（若しくは画素数）との比Ｒと同じになる。この比Ｒは画像解析で求められるので知ることができる値であり、上述した通り、実際の撮像素子の横幅ｗ［ｍｍ］も予め知ることができる。このことから、撮像素子中の花火部分に当たる撮像素子領域を小さい撮像素子と見なしたときのこの小さい撮像素子の横幅ｗ’はｗ×比Ｒ［ｍｍ］として求めることができ、求めたい花火の画角θ１は２ｔａｎ−１（ｗ’／（２ｆ））［ｒａｄ］として求まる。
【００３８】
説明を図３のフローチャートに戻す。制御部１１は、上記のようにして撮像装置１と花火の間の距離を算出し、撮像画像内の花火部分のサイズを算出した後（ステップＳ１１２）、制御部１１は、開花径を算出する（ステップＳ１１３）。上記したように、既に撮像装置１から花火までの距離Ｄ［ｍ］と花火の画角θ１を求めてあり、これらの値から花火の開花径を求めることができる。例えば、図８に示すように、花火の中心（炸裂音の音源）から撮像装置１に向かって導かれる垂線と、花火の中心から垂線と直角方向に花火が開花した状態の端部に向かって形成される直角三角形を仮定すれば、花火の半径ａ［ｍ］は、ａ＝Ｄ×ｔａｎ（θ１／２）で求めることができる。したがって、これを２倍（Ａ＝２ａ）すれば直径Ａ［ｍ］が求まる。
【００３９】
なお、上記した説明では、花火が撮像範囲の略中心にある場合を想定して説明したが、花火は撮像範囲の中心から外れると誤差が出る。この場合は、画像補正を行うようにすればよい。
【００４０】
説明を図３のフローチャートに戻す、上記のようにして花火の開花径を算出後（ステップＳ１１３）、制御部１１は、記憶部１３に記憶された号数テーブル１３０を参照して花火の号数を推測する（ステップＳ１１４）。すなわち、図２に示すように、号数テーブル１３０には、花火玉の号数に応じた標準的な開花径を記憶している。ここでは、更に、花火玉の号数に応じた標準的な到達高度も記憶されている。制御部１１は、標準的な開花径に基づき、先に求めた開花径に対応する号数を求め推測することができる。
【００４１】
次に、制御部１１は、到達高度の画角を算出し（ステップＳ１１５）、空中での開花開始の位置から撮像位置までの距離と到達高度の画角から花火の到達高度を算出する（ステップＳ１１６）。すなわち、制御部１１は、撮像画面内の打上げ開始位置と開花開始の位置から花火の到達高度の画角を取得し、空中での開花開始の位置から撮像位置までの距離と到達高度の画角から到達高度を算出する。到達高度の求め方について、撮像画像中に花火の打上げ開始場所と打ち上げられて開花した花火とが映っている場合を例示する。
【００４２】
前述した花火の開花径を求めるための説明では、撮像素子と撮像している場所との関係が理解し易いように図示して説明したが、撮像対象と撮像素子との対応は同じであるため、これからの説明は撮像対象の部分で撮像素子の内容も記載する。例えば、図９に示すように、垂直画角の関係を利用して到達高度までの画角θ２を求める。
【００４３】
開花径を求めるための比率Ｒのときのように、今度は、縦方向に見たときの画像全体のピクセル数（若しくは画素数）と画像中の打上げ開始位置から開花した花火の中心までのピクセル数（若しくは画素数）との比Ｑを求める。この比Ｑは、実際の撮像素子の垂直幅ｈ［ｍｍ］と、撮像素子中の打上げ開始位置から開花した花火の中心までの撮像素子領域を実際の撮像素子よりも小さい撮像素子であると見なしたときのこの小さい撮像素子の垂直幅ｈ’［ｍｍ］との比（ｈ’／ｈ）と同じになる。そして、実際の撮像素子の垂直幅ｈ［ｍｍ］は予め求めることができるので、小さい撮像素子の垂直幅ｈ’［ｍｍ］は、ｈ’＝ｈ×Ｑとして求まる。求めたい到達高度までの画角θ２は、撮像素子中の花火部分に当たる撮像素子領域を小さい撮像素子であると見なしたときのこの小さい撮像素子の垂直画角θｈと同じであるので、先ほど求めたこの小さい撮像素子の垂直幅ｈ’［ｍｍ］を用いて、求めたい到達高度までの画角θ２は２ｔａｎ−１（ｈ’／（２ｆ））［ｒａｄ］として求まる。そして、図９に示す直角三角形が仮定できるので、既に求めた到達高度までの画角θ２［ｒａｄ］と空中での開花開始の位置から撮像位置までの距離Ｄ［ｍ］とから、到達高度はＤ×ｓｉｎ（θ２）［ｍ］を計算することにより求まる。
【００４４】
説明を図３のフローチャートに戻す。到達高度を算出後（ステップＳ１１６）、制御部１１は、算出された開花径、到達高度、および推測した号数を表示部１６に表示する（ステップＳ１１７）。表示部１６に、算出された開花径、到達高度や推測した号数を表示するにあたり、制御部１１は、表示部１６に、撮影画像に重畳して表示してもよい（ステップＳ１１８）。そして、制御部１１は、ユーザが操作部１４を操作することによる撮影終了指示を待って（ステップＳ１１９“ＹＥＳ”）、撮影画像を記憶部１３の作業領域に記録するファイル化処理を行ない（ステップＳ１２０）、上記した動画撮影に関する一連の処理を終了する。
【００４５】
なお、図示省略したが、算出された到達高度が推測された号数が示す標準的な到達高度の例えば８０％に到達しなければその花火の打ち上げは失敗したものとし、ステップＳ１２０のファイル化処理は禁止される。このとき、記憶部１３の号数テーブル１３０を参照する。また、端部の色の変化率が閾値を超えない開花径しか持たない場合、例えば、開花径の１０％以下で色が変化した場合、その花火の打ち上げは失敗したものとしてステップＳ１２０のファイル化処理は禁止される。
【００４６】
なお、ステップＳ１０３の開花開始検出判定処理で開花開始が検出されず（ステップＳ１０３“ＮＯ”）、タイマのタイムアウトが検出された場合も（ステップＳ１２１“ＹＥＳ”）、上記した動画撮影に関する一連の処理が終了する。これは、花火の開花が検出されないと、ステップＳ１０３の開花開始検出処理をループしていつまでも待機し、開花検出に電力消費してしまうことを回避するための措置である。
【００４７】
実施例１の変形例
図１０は、実施例１の変形例の動作を示すフローチャートである。以下に説明する変形例において、実施例１との差異は、実施例１が撮像装置１を固定して動画（打ち上げ花火）を撮影したのに対し、ユーザが撮像装置１を動かして打ち上げ花火の軌跡を追尾することにより角度を変化させて撮影を行うことにある。
【００４８】
このため、実施例１のステップＳ１１５の到達高度の画角を算出する処理が、変形例では角度の変化を算出する処理（ステップＳ２１５）に変更されている。したがって、変形例では、ステップＳ２０４で、制御部１１がタイマによる計時を開始すると共に、角度検出部１７による角度計測を開始し、ステップＳ２０８で、画像解析処理を停止するとともに、角度計測を停止する。他の処理は、実施例１と同様である。
【００４９】
すなわち、制御部１１は、角度検出部１７からの出力により、打上げ開始位置から開花開始の位置までの当該撮像装置１の光軸の角度の変化を取得し、その角度の変化と開花開始の位置から撮像位置までの距離とから花火の到達高度を算出する。ステップＳ２１６における高度の求め方について、実施例１で用いた図９を参照して説明すると以下のようになる。
【００５０】
すなわち、ここでは、打上げ場所に近い場所で撮影され、打上がった花火の開花している状態しか撮影できないような場合を想定する。撮像装置１を持って花火を撮影するために空を見上げるようになる状態の場合である。撮像装置１には、角度検出部１７（水準器）が搭載されているため、角度検出部１７の出力から撮像装置１を水平状態からどの程度上方に傾けたのかが分かる。この水平状態から撮像装置１を持ち上げた角度（光軸の角度の変化）を到達高度までの画角θ３に採用する。達高度の計算は、上述した実施例１と同様であり、ステップＳ２１１で算出される距離Ｄを使用して、到達高度＝Ｄ×ｓｉｎ（θ３）で求めることができる。この場合は、水準器の値を使用するため、画面中の比を計算する必要はない。
【００５１】
（実施例１の効果）
以上説明のように変形例も含む実施例１に係る撮像装置１によれば、制御部１１は、花火の空中での開花開始の位置から撮像位置までの距離を算出するとともに開花状態を判別し、少なくとも算出した距離及び判別した開花状態のいずれかに基づいて所定の処理を実行する。このとき、制御部１１は、測定された開花開始時の光（画像解析による）と音（集音部１８による）の撮像位置への到達時間差を基に、到達時間差を長さに換算して距離を算出し、花火に関する情報として、算出された距離の情報を取得する処理を実行する。このため、花火の開花の変化状態に応じて適切な処理を行うことができる。
【００５２】
具体的に、制御部１１は、開花中の端部の色の変化が急激である回数を検出し、芯数として取得することで、例えば、八重芯、三重芯等、花火玉の種類を推定することが出来る。また、予め花火玉の号数に対応させて標準的な開花径を記憶しておき、開花径の算出が行われた場合に、該当すると推測される号数を取得することができる。また、撮像装置１を固定して動画撮影する場合に、打ち上げ位置から開花開始位置までの撮像画面内における花火部分の角度と算出した開花位置までの距離から到達高度（打ち上げ高さ）を算出し、一方、打ち上げ位置から開花開始位置まで光軸の角度を変えて追尾する場合に、角度の変化と開花位置までの距離から到達高度を算出することで、撮像装置１を固定し、あるいは追尾して撮影する場合のいずれにおいても花火の到達高度に関する情報を取得することができる。
【００５３】
このように、花火の開花の大きさや打上げ高さ、号数といった花火に関する情報を演算により容易に取得することができ、これら花火に関する情報を記録することにより、撮像装置としての用途を広げることができる。また、取得した花火に関する情報及び撮像時の撮影パラメータの値を撮像画像に付加する処理を実行することにより、ユーザは動画撮影された花火に関連する花火の情報を知ることが出来、使い勝手が向上するとともにユーザに利便性を提供することができる。
なお、上述の実施例１においては、開花終了時の開花径を算出するようにしていたが、開花開始から開花終了までの途中の過程における花火の径を、実施例１と同様の処理により逐次算出し、表示部１６に表示する等の報知を行うようにしてもよい。
【００５４】
（実施例２）
図１１は、実施例２に係る撮像装置１の動作を示すフローチャートである。以下に説明する実施例２において、実施例１との差異は、実施例１が撮像装置１を固定して動画像を撮影したのに対し、変形例１同様打ち上げ花火の軌跡をユーザが追尾することにより角度を変化させて（撮像装置１を動かして）静止画撮影を行うことにある。
【００５５】
このため、変形例におけるステップＳ２０１の動画撮影開始および画像解析処理が実施例２では撮影待機開始および画像解析開始処理に変更され、また、ステップＳ２０７の端部の拡張停止判定処理とステップＳ２０８の画像解析処理停止および角度計測停止処理との間に新たに静止画撮影の露光処理（ステップＳ３０８）が付加される。すなわち、図１１のステップＳ３０８において、制御部１１は、開花状態の判別を、開花中の花火の端部変化に基づいて行ない、端部変化に基づき花火の拡張停止を開花の終了と判別した開花終了タイミングで、撮像部１５に静止画撮影を行わせる。すなわち、開花終了タイミングでシャッターを自動押下して自動露光を行なう制御を行う。続いて、変形例におけるステップＳ２０９からＳ２１８と同様の処理を、ステップＳ３１０からステップＳ３１９で行う。静止画撮影であるため、変形例におけるステップＳ２１９に該当する処理は行なわず、最後に変形例におけるステップＳ２２０と同様の処理を、ステップＳ３２０で行ない、処理を終了する。
【００５６】
（実施例２の効果）
以上説明のように実施例２に係る撮像装置１によれば、実施例１同様、花火の開花の変化状態に応じて適切な処理を行なうことにより花火の各種情報を容易に取得することができる他に、動画撮影に限定されることなく、開花径が最大になって花火が一番美しく写るタイミングでの自動静止画撮影が可能になる。
【００５７】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５８】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
【００５９】
〔付記〕
［請求項１］
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出手段と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別手段と、
前記距離算出手段が算出した距離と、前記状態判別手段が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行手段と、
を備えることを特徴とする撮像装置。
［請求項２］
前記撮像画像内の前記打ち上げ花火の画角を取得する第１画角取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記打ち上げ花火の画角と前記算出した距離から前記打ち上げ花火の開花開始後の打ち上げ花火の径を算出し、前記打ち上げ花火に関する情報として、前記算出した前記径の情報を取得する処理を実行することを特徴とする請求項１に記載の撮像装置。
［請求項３］
前記状態判別手段は、
前記開花状態の判別を、開花中の前記打ち上げ花火の端部の変化に基づき行うことを特徴とする請求項２に記載の撮像装置。
［請求項４］
前記状態判別手段は、
前記開花状態として、前記打ち上げ花火の端部の拡張が停止したタイミングを、前記打ち上げ花火の開花終了タイミングであると判別することを特徴とする請求項３に記載の撮像装置。
［請求項５］
前記所定処理実行手段は、
前記所定の処理として、前記判別された開花終了タイミングにおける前記打ち上げ花火の画角と前記距離から前記打ち上げ花火の最大径である開花径を算出し、前記打ち上げ花火に関する情報として、前記算出した前記開花径の情報を取得する処理を実行することを特徴とする請求項４に記載の撮像装置。
［請求項６］
花火玉の号数に対応した標準的な開花径を記憶した記憶手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記記憶している標準的な開花径と前記算出した開花径に基づき、前記打ち上げ花火の号数を推測し、前記打ち上げ花火に関する情報として、前記推測した号数の情報を取得する処理を実行することを特徴とする請求項５に記載の撮像装置。
［請求項７］
前記開花の状態は、前記打ち上げ花火の芯数を含み、
前記状態判別手段は、
前記打ち上げ花火の端部の色の変化を識別し、前記識別した色の変化率が所定の閾値を超えるごとに芯数が増えた状態であると判別し、
前記所定処理実行手段は、
前記所定の処理として、前記芯数が増えた状態であると判別した回数から前記打ち上げ花火の芯数を算出し、前記打ち上げ花火に関する情報として、前記算出した芯数の情報を取得する処理を実行することを特徴とする請求項３から請求項６のいずれか１項に記載の撮像装置。
［請求項８］
前記撮像画像内の打上げの開始位置と前記開花の開始位置から前記打ち上げ花火の到達高度の画角を取得する第２画角取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記取得した到達高度の画角と前記算出した距離から前記到達高度を算出し、前記打ち上げ花火に関する情報として、前記算出した前記到達高度の情報を取得する処理を実行することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
［請求項９］
前記打上げの開始位置から前記開花の開始位置までの当該撮像装置の光軸の角度の変化を取得する角度変化取得手段を、更に備え、
前記所定処理実行手段は、
前記所定の処理として、前記取得した角度の変化と前記算出した距離から前記打ち上げ花火の到達高度を算出し、前記打ち上げ花火に関する情報として、前記算出した前記到達高度の情報を取得する処理を実行することを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
［請求項１０］
前記距離算出手段は、
前記打ち上げ花火の開花開始タイミングにおける前記撮影位置への光と音の到達時間差を算出し、この算出した到達時間差を基に、前記距離を算出することを特徴とする請求項１から請求項９のいずれか１項に記載の撮像装置。
［請求項１１］
前記所定処理実行手段は、
前記所定の処理として、前記取得した前記打ち上げ花火に関する情報を前記撮像画像に付加して記憶する処理を実行することを特徴とする請求項１から請求項１０のいずれか１項に記載の撮像装置。
［請求項１２］
前記状態判別手段は、
前記開花状態の判別を、開花中の前記打ち上げ花火の端部の変化に基づき行い、前記開花状態として、前記打ち上げ花火の端部の拡張が停止したタイミングを、前記打ち上げ花火の開花終了タイミングであると判別し、
前記所定処理実行手段は、
前記所定の処理として、前記判別した開花終了タイミングで、静止画の撮影を前記撮像手段に行わせる処理を実行することを特徴とする請求項１に記載の撮像装置。
［請求項１３］
打上げ花火を撮像する撮像手段を備える撮像装置における撮像方法であって、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出ステップと、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別ステップと、
前記距離算出ステップが算出した前記距離と、前記状態判別ステップが判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行ステップと、
を含むことを特徴とする撮像方法。
［請求項１４］
打上げ花火を撮像する撮像手段を備える撮像装置を制御するコンピュータに、
前記打ち上げ花火の空中における開花の開始位置から当該撮像装置の撮影位置までの距離を算出する距離算出機能と、
前記撮像手段が撮像する撮像画像から前記打上げ花火の開花状態を判別する状態判別機能と、
前記距離算出機能が算出した前記距離と、前記状態判別機能が判別した開花状態から、前記打ち上げ花火に関する所定の処理を実行する所定処理実行機能と、
を実現することを特徴とする撮像装置のプログラム。
［請求項１５］
撮像装置であって、
打上げ花火を撮像する撮像手段と、
前記撮像手段が撮像する撮像画像から前記打ち上げ花火の空中における開花の開始タイミングを判別する判別手段と、
前記判別された開始タイミングにおける当該撮像装置の撮影位置への光と音の到達時間差を算出する時間差算出手段と、
前記算出した到達時間差を基に、打ち上げ花火の開花の開始位置から前記撮影位置までの距離を算出する距離算出手段と、
を備えることを特徴とする撮像装置。
【符号の説明】
【００６０】
１…撮像装置、１１…制御部、１２…電源部、１３…記憶部、１４…操作部、１５…撮像部、１６…表示部、１７…角度検出部、１８…集音部、１３０…号数テーブル
【図１】
2015178985.tif 000003
【図２】
2015178985.tif 000004
【図３】
2015178985.tif 000005
【図４】
2015178985.tif 000006
【図５】
2015178985.tif 000007
【図６】
2015178985.tif 000008
【図７】
2015178985.tif 000009
【図８】
2015178985.tif 000010
【図９】
2015178985.tif 000011
【図１０】
2015178985.tif 000012
【図１１】
2015178985.tif 000013