(57)【要約】【課題】星景写真を撮影する際に、風景と星とを鮮明にして星の軌跡が写らない画像を生成する。【解決手段】露光条件設定部１０５は撮像部１０１を制御して星および風景を撮影してテスト画像を得る。第１の検出部１０３はテスト画像における風景を検出して第１の検出データを出力する。第２の検出部１０３第１の検出データに応じてテスト画像から星を検出して第２の検出データを得る。露光条件設定部は第１の検出データに応じて設定した第１の露光条件で撮像部によって第１の画像を得、第２の検出データに応じて設定した第２の露光条件で撮像部を制御して第２の画像を得る。第１の合成部１０８は第２の画像データにおいて星の輝度値を所定の輝度値に修正して第１の合成画像とし、第２の合成部１０９は第１の合成画像と第１の画像とを合成して第２の合成画像を生成する。【選択図】図１
2014179863.tif 000002
【特許請求の範囲】
【請求項１】
静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置であって、
前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御手段と、
前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出手段と、
前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出手段と、
前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御手段と、
前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成手段と、
前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第１の制御手段は、所定の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１のテスト画像データを得て、所定の時間経過後、前記所定の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２のテスト画像データを得ており、
前記第１の検出手段は前記第１のテスト画像データおよび前記第２のテスト画像データから前記第１の被写体を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の検出手段は、前記テスト画像データをテスト画像として表示する表示手段と、
前記テスト画像において前記第１の被写体を指定する指定手段とを有し、
前記指定手段によって前記第１の被写体が指定されると、前記第１の検出データを出力することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第２の制御手段は、前記第１の検出データで示される前記第１の被写体の領域を測光して得られた測光結果に応じて前記第１の露光条件を決定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第２の検出手段は、前記第１のテスト画像データおよび前記第２のテスト画像データに基づいて、前記第２の被写体のうちその移動量が最大の第２の被写体の移動速度に応じて前記第２の露光条件を決定することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記撮像手段による撮影の際の撮影方向を検出する撮影方向検出手段を備え、
前記第２の検出手段は、前記撮影方向検出手段で検出された撮影方向に応じて探索方向に決定して、前記第１の検出データに基づいて前記第２の被写体の移動先を検出して前記第２の検出データを出力することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記撮像手段から出力される画像データに応じて前記第２の被写体の各々について、少なくともその位置および輝度値を情報管理データとして記録する情報管理手段を有することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記情報管理手段は、前記撮像手段から画像データが出力される都度、前記情報管理データを更新し、前記情報管理データにはさらに前記第２の被写体の各々の移動方向を含むとともに、更新の都度、前記輝度値を合計した合計輝度値を含むことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記情報管理手段は、前記合計輝度値が所定の設定値となるまで前記情報管理データの更新を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の合成手段は、前記所定の輝度値として前記合計輝度値を用いるようにしたことを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御ステップと、
前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出ステップと、
前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出ステップと、
前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御ステップと、
前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成ステップと、
前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成ステップと、
を有することを特徴とする制御方法。
【請求項１２】
静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御ステップと、
前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出ステップと、
前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出ステップと、
前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御ステップと、
前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成ステップと、
前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、星景写真の画像処理に関する。
【背景技術】
【０００２】
一般に、天体撮影には、星空と星以外の建物又は山（以下風景）を一つの画面入れて撮影する星景写真と、星が止まっているように撮影する星野写真と呼ばれる撮影がある。
【０００３】
星景写真においては、デジタルカメラなどの撮像装置を固定して、所定の露光時間で風景と星空とを撮影する。星景写真を撮影する際には、暗所における撮影であるので、画質を落とさないためにＩＳＯ感度をノイズが出ないほど低くして、その分、露光時間を長くするように設定する。
【０００４】
撮像装置に装着されるレンズの焦点距離にも関係するが、露光時間が長くなるほど星の軌跡が長く露光されてしまうことになる。この星の軌跡は地球の自転によって相対的に星が動いているように見えるために生じる。星野写真を撮影する際には、星の軌道に合わせて撮像装置を回転させる赤道儀と呼ばれる機材を使用して星を追尾しながら撮影することが行われている。
【０００５】
一方、星野写真を撮影する際の手法として、例えば、撮像装置の撮像面を星の軌道に合わせて駆動しつつ露光するようにしたものが知られている（特許文献１参照）。
【０００６】
さらに、星野写真を撮影する際の手法として、撮像装置を固定して撮影した複数枚の画像から基準画像を設定して、当該基準画像と同一の星を他の画像から検出して、検出した各星の輝度値を基準画像の星に合算して星野写真を生成するようにしたものがある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１２２６７２号公報
【特許文献２】特開２００６−２７９１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、特許文献１に記載の手法では、別に星を追尾する機構が必要となるばかりでなく、風景が画面に写っていると、星の追尾によって風景がぶれて撮影されてしまうことになる。
【０００９】
そこで、本発明の目的は、星景写真を撮影する際に、風景と星とを鮮明にして、しかも星の軌跡が写らない画像を生成することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による撮像装置は、静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置であって、前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御手段と、前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出手段と、前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出手段と、前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御手段と、前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成手段と、前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成手段と、を有することを特徴とする。
【００１１】
本発明による制御方法は、静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置の制御方法であって、前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御ステップと、前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出ステップと、前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出ステップと、前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御ステップと、前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成ステップと、前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成ステップと、を有することを特徴とする。
【００１２】
本発明による制御プログラムは、静止している第１の被写体と移動する第２の被写体とを撮影する撮像手段を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影してテスト画像データを得る第１の制御ステップと、前記テスト画像データにおける前記第１の被写体を検出して第１の検出データを出力する第１の検出ステップと、前記第１の検出データに応じて前記テスト画像データから前記第２の被写体を検出して第２の検出データを得る第２の検出ステップと、前記第１の検出データに応じて、前記第１の被写体に係る第１の露光条件を設定して前記第１の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第１の画像データを得て、前記第２の検出データに応じて、前記第２の被写体に係る第２の露光条件を設定して前記第２の露光条件で前記撮像手段を制御して前記第１の被写体および前記第２の被写体を撮影して第２の画像データを得る第２の制御ステップと、前記第２の画像データにおいて前記第２の被写体の輝度値を所定の輝度値に修正して第１の合成画像データを生成する第１の合成ステップと、前記第１の合成画像データと前記第１の画像データとを合成して第２の合成画像データを生成する第２の合成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、第１の被写体である風景と第２の被写体である星とを鮮明にして、しかも星の軌跡が写らない画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラによる星景写真の合成の一例を説明するためのフローチャートである。
【図３】図２に示すテスト撮影および第１の被写体の検出について説明するためのフローチャートである。
【図４】図１に示す撮像部で得られたテスト撮影画像１枚目の一例を示す図である。
【図５】図４に示すテスト撮影画像１枚目のエッジ検出結果を示す図である。
【図６】図１に示す撮像部で得られたテスト撮影画像２枚目のエッジ検出結果の一例を示す図である。
【図７】図３で説明したエッジ検出が行われた画像の一部を示す図である。
【図８】図１に示す第１の検出部で行われるブロックの設定を説明するための図である。
【図９】図１に示す第１の検出部で行われるラベルの貼付を説明するための図である。
【図１０】北極星と北極星を中心として回転する星とを模式的に示す図である。
【図１１】図２に示す第２の被写体検出および露光時間算出を説明するためのフローチャートである。
【図１２】第１の撮影時刻における第２の被写体と第２の撮影時刻における第２の被写体を合わせた画像を示す図である。
【図１３】方角別の星の探索方向を示す図である。
【図１４】図１に示す情報管理部で保持される情報管理表の一例を示す図である。
【図１５】第２の被写体の移動方向を説明するための図である。
【図１６】センサのピッチを用いて星の移動速度を求める例を説明するための図である。
【図１７】図１に示す情報管理部に保存される情報管理表の作成および更新を説明するための図であり、（ａ）は第１の時刻で検出された検出結果を情報管理表に反映させた状態を示す図、（ｂ）は第２の撮影時刻において第１の星のレコードを更新した状態を示す図、（ｃ）は第２の撮影時刻において第２の星のレコードを更新した状態を示す図、（ｄ）は第２の撮影時刻において第３の星のレコードを更新した状態を示す図である。
【図１８】図１に示す第１の検出部で検出される第１の被写体の領域について説明するための図である。
【図１９】星が建物の裏に入るようすを説明するための図である。
【図２０】図１に示す第２の検出部で例外処理を行う際の情報管理表の更新処理を説明するためのフローチャートである。
【図２１】本発明の第２の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２２】図２１に示すカメラで行われる画像合成を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１６】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１７】
図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像部１０１を有している。撮像部１０１はレンズ光学系、撮像素子、ＡＦＥ（アナログフロントエンド）、映像処理部、および時刻取得部を備えており、レンズ光学系を介して光学像が撮像素子に結像する。撮像素子は光学像に応じた電気信号（アナログ信号）を出力し、このアナログ信号はＡＦＥでデジタル信号に変換される。
【００１８】
映像処理部は当該デジタル信号に対して所定の画像処理を施して、画像データとして出力する。この画像データは時刻取得部から出力される撮影時刻とともに、選択的に記録部１０２、第１の検出部１０３、および第２の検出部１０４に出力される。
【００１９】
記録部１０２は、カメラ１００に対して着脱可能であり、例えば、可搬記録メディア又はＨＤＤである。出力先として記録部１０２が選択されると、撮像部１０１から出力された画像データは記録部１０２に記録される。また、記録部１０２は記録した画像データを後述する第１の合成部１０８および第２の合成部１０９に出力する。
【００２０】
なお、以下の説明では、星および空以外の静止した被写体を第１の被写体と呼び、星を第２の被写体と呼ぶことにする。
【００２１】
第１の検出部１０３は画像データおよび撮影時刻を受けて、撮影時刻が異なる２枚の画像データから第１の被写体を検出して、先に入力された画像データから第１の被写体の領域を示す領域座標（第１の領域座標）を第１の検出データとして出力する。
【００２２】
図示のカメラ１００には、撮影方向取得部（撮影方向検出手段）１０６および情報管理部１０７が備えられており、撮影方向取得部１０６は、ＧＰＳ装置又は電子コンパスである。そして、撮像方向取得部１０６は撮像装置１００の撮像方向である光軸方向を光軸データとして取得して、第２の検出部１０４に出力する。
【００２３】
情報管理部１０７には後述する情報管理データ（情報管理表ともいう）が保存されており、第２の検出部１０４は、画像データおよび撮影時刻を受けるとともに、第１の検出部１０３の出力である第１の領域座標、撮影方向取得部１０６の出力である光軸データ、そして、情報管理部１０７の出力である情報管理データに受ける。第２の検出部１０４は第１の領域座標、光軸データ、および情報管理データに基づいて、２枚の画像データから第２の被写体（つまり、星）を検出して、画像データにおける第２の被写体の領域を示す座標（第２の領域座標）、その輝度値、および撮影時刻を第２の検出データとして出力する。
【００２４】
情報管理部１０７は第２の検出データに応じて、第２の被写体である画面上の星にそれぞれＩＤを割り振って、各第２の被写体の座標および輝度値などを情報管理データとして保存・更新する。この情報管理データは前述のように第２の検出部１０４に与えられるとともに、後述する露光条件設定部１０５および第１の合成部１０８に与えられる。
【００２５】
露光条件設定部１０５は撮像部１０１における露光時間、露光回数、測光を行う領域、そして、ＩＳＯ感度などを設定・変更する。また、露光条件設定部１０５は第１の検出データおよび情報管理データに基づいて設定条件を決定する。
【００２６】
第１の合成部１０８は記録部１０２に記録された画像データを読み込んで、第２の被写体について、情報管理データに基づいて、その輝度値を変更して合成画像（第１の合成画像）を生成し、当該合成画像を第２の合成部１０９に与える。第２の合成部１０９は第１の検出データ、記録部１０２から読み込んだ画像データ、第１の合成画像に応じて後述するようにして第２の合成画像を生成する。
【００２７】
ここで、図１に示すカメラ１００を用いて星空および風景が鮮明で星の軌跡が写っていない星景写真の合成について説明する。
【００２８】
図２は、図１に示すカメラ１００による星景写真の合成の一例を説明するためのフローチャートである。
【００２９】
星空および風景が鮮明でかつ星の軌跡が写っていない星景写真を合成する際には、撮像部１０１でテスト撮影を行ってテスト画像データを得る。そして、第１の検出部１０３が前述のようにしてテスト画像データから第１の被写体を検出する（ステップＳ２００１）。続いて、第２の検出部１０４は第１の検出部１０３の出力である第１の検出データを用いて、前述のようにして、第２の被写体を検出して第２の検出データを出力する。そして、露光条件設定部１０５は、第１の被写体および第２の被写体に関して露光時間（つまり、露光条件）を決定する（ステップＳ２００２）。
【００３０】
続いて、撮像部１０１は、露光条件設定部１０５で設定された第１の被写体に係る露光条件（第１の露光条件）で撮影を行って画像データ（第１の画像データ）を得る（ステップＳ２００３）。その後、撮像部１０１は露光条件設定部１０５で設定された第２の被写体に係る露光条件（第２の露光条件）で撮影を行って画像データ（第２の画像データ）を得る（ステップＳ２００４）。
【００３１】
次に、第１の合成部１０８は第２の被写体を鮮明にするため、後述するように画像合成を行って第１の合成画像（第１の合成画像データ）を得る（ステップＳ２００５）。次に、第２の合成部１０９は第１の被写体に係る露光条件（第１の露光条件）で撮影した結果得られた画像（第１の画像データ）と第１の合成画像とを合成して第２の合成画像（第２の画像データ）を得て（ステップＳ２００６）、合成処理を終了する。
【００３２】
図３は、図２に示すテスト撮影および第１の被写体の検出について説明するためのフローチャートである。
【００３３】
テスト撮影が開始されると、撮像部１０１はＩＳＯ感度を調整して適正露出となるシャッター速度（撮影条件）で撮影を行う（ステップＳ２１０１）。ステップＳ２０１のテスト撮影で得られた画像をテスト撮影画像１枚目（第１のテスト画像データ）と呼ぶ。そして、撮像部１０１はテスト撮影画像１枚目を第１の検出部１０４に出力する。
【００３４】
撮像部１０１は予め定められた時間が経過するまで待機をする（ステップＳ２１０２）。ここでは、この予め定められた時間は、例えば、連続撮影した際に得られた画像の間で同一の星が画面上で重ならなくなるまでの時間である。
【００３５】
続いて、撮像部１０１はステップＳ２１０１と同一の撮影条件で撮影を行う（ステップＳ２１０３）。そして、撮像部１０１は撮影の結果得られた画像を第１の検出部１０４に出力する。ステップＳ２１０３のテスト撮影で得られた画像をテスト撮影画像２枚目（第２のテスト画像データ）と呼ぶ。第１の検出部１０４はテスト撮影画像１枚目とテスト撮影画像２枚目とからそれぞれエッジを検出する（ステップＳ２１０４）。
【００３６】
図４は、図１に示す撮像部１０１で得られたテスト撮影画像１枚目の一例を示す図である。
【００３７】
図４に示すテスト撮影画像１枚目は、風景と星空が撮影された画像である。そして、当該画像２００には、建物２０１、星Ａ（２０２）、および星Ｂ（２０３）が撮影されている。いま、テスト撮影画像１枚目の撮影時刻が時刻ｔ１であるとする。
【００３８】
図５は、図４に示すテスト撮影画像１枚目のエッジ検出結果を示す図である。
【００３９】
図５において、撮影時刻ｔ１における画像５００では、破線で示す建物２０１のエッジ５０２、破線で示す星Ａのエッジ５０２、破線で示す星Ｂのエッジ５０３がエッジ検出結果として得られる。そして、後述するように、エッジ５０１で囲まれる領域にはラベルＡ（５０４）、エッジ５０２で囲まれる領域にはラベルＢ（５０５）、エッジ５０３で囲まれる領域にはラベルＣ（５０６）が貼られる。
【００４０】
図６は、図１に示す撮像部１０１で得られたテスト撮影画像２枚目のエッジ検出結果の一例を示す図である。
【００４１】
テスト撮影画像２枚目は、テスト撮影画像１枚目よりも後に撮影されているので星が移動している。図６において、撮影時刻ｔ２の画像６００では、破線で示す建物２０１のエッジ６０１、破線で示す星Ａのエッジ６０２、破線で示す星６０３がエッジ検出結果として得られる。そして、後述するように、エッジ６０１で囲まれる領域にはラベルＤ（６０４）、エッジ６０２で囲まれる領域にはラベルＥ（６０５）、エッジ６０３で囲まれる領域にはラベルＦ（６０６）が貼られる。
【００４２】
再び図３を参照して、第１の検出部１０３はテスト撮影画像１枚目およびテスト撮影画像２枚目からそれぞれ抽出したエッジを囲むブロックを設定する（ステップＳ２１０５）。
【００４３】
図７は、図３で説明したエッジ検出が行われた画像の一部を示す図である。
【００４４】
図７において、１つのマスは１画素を表す。画像１６００において、画素に検出エッジ１６０１が存在すると、当該画素は数値”１”が割り当てられる。そして、検出エッジ１６０１が存在しない画素は、例えば、エッジ検出漏れ画素１６０３および１６０４とされる。第１の検出部１０３は画像１６００を左上から走査方向１６０４に沿って走査してエッジが検出された画素を探索する。画像１６００の右端に達すると、１ライン下げて、再び第１の検出部１０３は左端から走査方向１６０４に沿って走査してエッジが検出された画素を探索する。
【００４５】
このようにして、第１の検出部１０３は１ライン毎に走査を行ってエッジが検出された画素を探索するが、既にラベルが貼られた画素であれば、当該画素を無視して走査を行う。ここで、ラベルが貼られた画素とは既に領域の抽出が済んだ画素のことをいう。
【００４６】
第１の検出部１０３は走査中に最初に発見したエッジ１６０１を軸として把握すべきエッジで囲まれる領域を確認する。把握すべきエッジで囲まれる領域を確認するため、第１の検出部１０３は該当するエッジが存在する領域を覆うようにしてブロックを設定して、当該ブロック内におけるエッジの数の統計に基づいてブロックの大きさを特定する。
【００４７】
図８は、図１に示す第１の検出部１０３で行われるブロックの設定を説明するための図である。
【００４８】
図８に例では、５×３画素のブロック領域１７００、９×５画素のブロック領域１７０１、１３×７画素のブロック領域１７０２、１７×９画素のブロック領域１７０３、および２１×１１画素のブロック領域１７０４が示されている。ここでは、上述の走査によって、エッジ１６０１が検出されるので、当該エッジ１６０１が軸とされる。ここでは、この検出エッジ１６０１を軸のエッジをと呼ぶ。
【００４９】
図示の例では、第１の検出部１０３は軸のエッジ１６０１を中心として左右に２画素、さらに下方向に２画素分の５×３画素のブロック領域１７００を設定する。そして、第１の検出部１０３は５×３画素のブロック領域１７００内に存在するエッジの数を第１のエッジ数として求める。
【００５０】
次に、第１の検出部１０３はブロックのサイズを大きくして（つまり、９×５画素のブロック領域１７０１として）、当該ブロック１７０１内のエッジの数を第２のエッジ数として求める。そして、第１の検出部１０３は第１のエッジ数と第２のエッジ数とを比較する。第１のエッジ数と第２のエッジ数とが等しければ、第１の検出部１０３はブロック１７００の領域に把握すべきエッジで囲まれる領域が収まっていると判定する。
【００５１】
一方、第１のエッジ数と第２のエッジ数とが異なると、つまり、第２のエッジ数＞第１のエッジ数であると、第１の検出部１０３はブロックのサイズをさらに大きくして、ブロック１７０２内のエッジの数を第３のエッジ数として求める。そして、第１の検出部１０３は第３のエッジ数と第２のエッジ数とを比較する。以下同様にして、第１の検出部１０３は把握すべきエッジで囲まれる領域を確認するためのブロックを決定する。
【００５２】
図８に示す例では、エッジの数はブロック１７００で５個、ブロック１７０１で１０個、ブロック１７０２では１４個である。さらに、ブロック１７０３ではエッジの数は２０個、ブロック１７０４ではエッジの数は２０個である。この結果、第１の検出部１０３は把握すべきエッジで囲まれる領域を確認するためのブロックのサイズを１７×９画素に決定する。つまり、第１の検出部１０３はブロック１７０３を、把握すべきエッジで囲まれる領域を確認するためのブロックとする。
【００５３】
なお、図８は一例であり、ブロックのサイズを拡張する際には、別のサイズで変更するようにしてもよい。
【００５４】
続いて、第１の検出部１０３は上述のようにして設定した各ブロックにおいてエッジで囲まれる領域にラベルを貼付する（ステップＳ２１０６）。
【００５５】
図９は、図１に示す第１の検出部１０３で行われるラベルの貼付を説明するための図である。
【００５６】
図９においては、軸のエッジにはラベル１８００が割り振られる。また、エッジ検出漏れ画素にはそれぞれラベル１８０１および１８０２が割り振られる。
【００５７】
第１の検出部１０３は、設定されたブロック１７０３の左上端から走査方向１８０３に沿って１ライン毎に走査して画素に割り振るラベルがあれば割り振りを行う。図示の例では、画素にエッジが存在すると、第１の検出部１０３は当該画素にブロック毎のユニークなラベルを張り付ける（ここでは”Ａ”とする）。そして、第１の検出部１０３はライン毎にラベルに挟まれている画素についても同一のラベルを張り付ける。
【００５８】
なお、エッジ検出漏れ画素１６０２および１６０３などに対応するため、第１の検出部１０３は走査する際に１画素毎にその上下の画素のエッジを確認して、当該上下の画素にエッジが存在する場合には当該画素に同一のラベルを付ける。また、第１の検出部１０３はライン毎にラベルに囲まれている画素について同一のラベルを振る。ここでは、エッジ検出漏れ画素１６０２および１６０３にはそれぞれラベルＡ（１８０１）および１８０２が割り振られる。
【００５９】
ここで、図５に示すように、画像５００において、エッジ５０１に囲まれる領域にラベルＡ（５０４）、エッジ５０２に囲まれる領域にラベルＢ（５０５）、そして、エッジ５０３に囲まれる領域にラベルＣ（５０６）が割り振られたとする。また、図６に示すように、画像６００において、エッジ６０１に囲まれる領域にラベルＤ（６０４）、エッジ６０２に囲まれる領域にラベルＢ（６０５）、そして、エッジ６０３に囲まれる領域にラベルＣ（６０６）が割り振られたとする。
【００６０】
画像５００および画像６００において、エッジで囲まれる領域はそれぞれユニークなラベルが画素単位で割り振られる。
【００６１】
再び図３を参照して、第１の検出部１０３はテスト撮影画像１枚目およびテスト画像２枚目についてラベルを張られた領域の位置を比較する（ステップＳ２１０７）。ここで、第１の検出部１０３は画像５００および画像６００ついてそのラベルの位置を比較して、画像５００にラベルが存在する位置と同一の位置に画像６００にラベルが存在すると、当該ラベルで規定される領域の被写体を第１の被写体とする。
【００６２】
図５および図６を参照すると、撮影時刻ｔ１における建物２０１のラベルＡ（５０４）と撮影時刻ｔ２における建物２０１のラベルＤ（６０４）とは同一の位置に存在するので、第１の検出部１０３は建物２０１を第１の被写体とし、画像における当該領域の座標を示す座標情報を露光条件設定部１０５および第２の検出部１０４に出力する。
【００６３】
一方、撮影時刻ｔ１における星Ａ（２０２）のラベルＢ（５０５）と撮影時刻ｔ２における星Ａ（２０２）のラベルＥ（６０５）とは同一の位置にないので、第１の検出部１０３は星Ａ（２０２）を第１の被写体でないとする。同様に、撮影時刻ｔ１における星Ｂ（２０３）のラベルＣ（５０６）と撮影時刻ｔ２における星Ｂ（２０３）のラベルＦ（６０６）とは同一の位置にないので、第１の検出部１０３は星Ｂ（２０３）を第１の被写体でないとする。
【００６４】
続いて、第１の検出部１０３は第１の被写体でないとしたラベルがあったか否かを判定する（ステップＳ２１０８）。第１の被写体でないとしたラベルがないと（ステップＳ２１０８において、ＮＯ）、第１の検出部１０３は露光条件設定部１０５を介して撮像部１０１における撮影の待機時間を延長する（ステップＳ２１１０）。そして、処理はステップＳ２１０２の処理に進み、撮像部２１０２は延長された時間が経過するまで待機する。
【００６５】
つまり、第１の被写体でないとしたラベルがない場合には、テスト撮影画像１枚目を撮影した後、テスト撮影画像２枚目を撮影するまでの待機時間は星が動くまでの時間よりも短いことになる。従って、ステップＳ２１１０において、待機時間を延長して、当該延長された時間経過後、再度テスト撮影画像２枚目が撮影されることになる。
【００６６】
第１の被写体でないとしたラベルがあると（ステップＳ２１０８において、ＹＥＳ）、第１の検出部１０３はテスト撮影画像１枚目から第１の被写体とした領域を第２の検出部１０４および露光条件設定部１０５に出力して（ステップＳ２１０９）、テスト撮影および第１の被写体検出を終了する。
【００６７】
ここで、図２に示す第２の被写体検出および露光時間算出についてさらに説明する。
【００６８】
まず、第２の被写体に関する露光時間とは、第２の被写体と呼ばれる星が撮像素子の１画素の移動にかかる時間から連続撮影の際に生じる撮影間の準備時間を引いたものとする。第２の被写体に関する露光時間を算出する際には、画面において最も移動量の大きい星が用いられる。
【００６９】
図１０は、北極星と北極星を中心として回転する星とを模式的に示す図である。
【００７０】
図示のように、北極星Ｐ（７０１）を中心として、星Ｃ（７０２）および星Ｄ（７０３）が回転しているものとする。北極星Ｐ（７０１）と星Ｃ（７０２）とは距離ｄｃ（７０４）離れており、北極星Ｐ（７０１）と星Ｄ（７０３）とは距離ｄｄ（７０５）離れている。そして、星Ｃ（７０２）と星Ｄ（７０３）とは北極星Ｐ（７０１）を中心として反時計まわりに回転している。
【００７１】
単位時間当たりの移動距離は、北極星Ｐ（７０１）からの距離×単位時間の回転角度で求めることができる。いま、距離ｄｃと距離ｄｄとの関係が式（１）の関係であるとする。
【００７２】
ｄｃ＜ｄｄ      （１）
星Ｄ（７０３）は星Ｃ（７０２）に比べて北極星Ｐ（７０１）から、式（２）で示す距離分ｄ１だけ離れている。よって、星Ｄ（７０３）と星Ｃ（７０２）との移動距離は同一ではない。
【００７３】
ｄ１＝ｄｄ−ｄｃ      （２）
地球上のある点から天体を観測すると、北極星に近いほど単位時間の移動量は小さく、赤道に近いほど移動量は大きくなる。画面に存在する星の各々は移動量が異なるので、移動量の最も大きい星を検出して、当該星に合わせて露光時間を決定する必要がある。
【００７４】
図１１は、図２に示す第２の被写体検出および露光時間算出を説明するためのフローチャートである。
【００７５】
第２の被写体検出および露光時間算出が開始されると、第２の検出部１０４は、テスト撮影画像１枚目およびテスト撮影画像２枚目から第１の検出部１０３から出力される第１の被写体の領域を除く領域について輝度値に基づいて第２の被写体を検出する（ステップＳ２２０１）。続いて、第２の検出部１０４はテスト撮影画像１枚目およびテスト撮影画像２枚目において第２の被写体の移動先を検出する（ステップＳ２２０２）。
【００７６】
ここで、第２の検出部１０４で行われる第２の被写体（つまり、星）の移動方向の探索について説明する。
【００７７】
図１２は、撮影時刻ｔ１における第２の被写体と撮影時刻ｔ２における第２の被写体を合わせた画像を示す図である。また、図１３は、方角別の星の探索方向を示す図である。
【００７８】
図１２において、画像９００には撮影時刻ｔ１で撮影された画像で検出された第２の被写体９０１と撮影時刻ｔ２で撮影された画像で検出された第２の被写体９０２が示されている。そして、ここでは、探索領域９０３が示されている。
【００７９】
図１３において、第２の検出部１０４によって第２の被写体１０００が検出されたものとする。続いて、撮像装置１００を東向きの撮影方向（探索方向）１００１として撮影を行う。なお、撮像装置１００を南向きの撮影方向（探索方向）１００２として撮影を行うようにしもよい。さらには、撮像装置１００を西向きの撮影方向（探索方向）１００３として撮影を行うようにしてもよい。そして、これら撮影方向１００１、１００２、又は１００３で撮影された画像から、第２の第２の被写体１０００の移動先を検出する。
【００８０】
まず、第２の検出部１０４は撮影方向取得部１０６から撮影方向を取得する、ここでは、撮影方向が西向きであるとする。撮影方向が西向きであるので、第２の検出部１０４は、図１３において第２の被写体１０００から探索方向１００３を採用する。
【００８１】
図１２を参照すると、第２の検出部１０４は第２の被写体９０１から左斜め下側に向かって数画素の座標を中心として５×５画素のブロックを設定して、当該ブロックにおいて第２の被写体９０１と輝度値が最も近い座標を撮影時刻ｔ１から撮影時刻ｔ２において第２の被写体９０１が移動した先の座標とする。
【００８２】
第２の被写体である星の軌跡で写っていたとすると、第２の検出部１０４は軌跡の始まりを示す画素の座標を出力する。軌跡の始まりの画素は、東、南、および西ではそれぞれ画面の左側、北では北極星より上に見える軌跡は画面の右側、北極星より下に見える軌跡は画面の左側とするとよい。
【００８３】
第２の検出部１０４は撮影時刻ｔ１における画像にある複数の星をそれぞれ第２の被写体とし、各々の座標と輝度値を情報管理部１０７に出力する。そして、第２の検出部１０４は撮影時刻ｔ１で検出された第２の被写体が撮影時刻ｔ２でどこに移動したかを示す移動先を検出してその座標を情報管理部１０７に出力する。続いて、第２の検出部１０４はその移動量が最大の第２の被写体（つまり、星）を検出する（ステップＳ２２０３）。
【００８４】
図１４は、図１に示す情報管理部１０７で保持される情報管理表（情報管理データ）の一例を示す図である。
【００８５】
情報管理表８００は、星ＩＤ欄８０１、撮影時刻欄８０２、輝度値欄８０３、座標欄８０４、移動前座標欄８０５、移動方向欄８０６、合計輝度値欄８０７、移動前撮影時刻欄８１０、およびレコード作成時座標欄８１１を有している。図示の例では、星ＩＤ欄８０１には、複数の星を識別するための星ＩＤＡ８０８および星ＩＤＢ８０９が記録されている。
【００８６】
情報管理部１０７は星ＩＤ欄８０１に星ＩＤを記録すると、当該星ＩＤに対応付けて撮影時刻欄８０２、輝度値欄８０３、座標欄８０４、移動前座標欄８０５、移動方向欄８０６、および合計輝度値欄８０７にそれぞれ撮影時刻、輝度値、座標、移動前座標、移動方向、および合計輝度値を記録する。そして、情報管理部１０７は行毎にレコード単位で管理する。
【００８７】
星ＩＤは第２の検出部１０４で検出された第２の被写体（つまり、星）を識別するためのＩＤである。撮影時刻は当該第２の被写体が存在する画像が撮影された時刻である。輝度値は星ＩＤで識別される星の輝度値である。座標は星ＩＤ８０１で識別される星の画面上の位置を示す。移動前座標欄８０５にはレコードを更新した際（更新する都度）、当該レコードの座標欄８０４に記録された座標が移動前座標としてコピーされる。
【００８８】
移動方向は座標と移動前座標とを結んでできる直線と移動前座標から上方に垂線を引いた際の時計まわりの角を示す。合計輝度値欄８０７にはレコードに更新があった際、当該レコードの輝度値が合算されて合計輝度値として記録される。
【００８９】
図１５は第２の被写体（つまり、星）の移動方向を説明するための図である。
【００９０】
画像（画素マップ）１１００には、星の移動前の座標１１０１および移動後の座標１１０２が示されるとともに、移動方向θ（１１０３）が示されている。なお、移動前の座標１１０１および移動後の座標１１０２は同一の星について異なる時刻の位置を示したものである。
【００９１】
移動方向θ（１１０３）は移動前の座標１１０１と移動後の座標１１０２とを結ぶ線分と画面の上方から移動前の座標１１０１までの垂線がなす時計周りの角度をいう。
【００９２】
第２の検出部１０４はテスト撮影画像１枚目から第２の被写体として検出した星の座標、輝度値、および撮影時刻を情報管理部１０７に出力する。情報管理部１０７は、これら星の座標、輝度値、および撮影時刻を情報管理表に記録する。つまり、情報管理部１０７は星ＩＤ毎に星座標、輝度値、および撮影時刻をそれぞれ座標欄８０４、輝度値欄８０３、および撮影時刻欄８０２に記録する。
【００９３】
レコードの作成の際、情報管理部１０７は座標欄８０４への記録とともに、レコード作成時座標８１１に座標欄８０４に記録した座標を記録する。
【００９４】
次に、第２の検出部１０４はテスト撮影画像２枚目から第２の被写体として検出した星の座標、輝度値、および撮影時刻を情報管理部１０７に出力する。前述したように、テスト撮影画像２枚目に写る同一の星の位置関係は探索されているので、情報管理部１０７はテスト撮影画像２枚目の検出結果に応じて星ＩＤ８０１毎に情報管理表の更新を行う。
【００９５】
情報管理部１０７は新たに星の座標、輝度値、および撮影時刻を受けると、星ＩＤ毎に座標欄８０４に記録された座標を移動前座標欄８０５に上書き保存し、座標欄８０４に新たな星の座標を上書き保存する。また、情報管理部１０７は輝度値欄８０２に記録された輝度値を合計輝度値欄８０７に記録された合計輝度値と合算して、この合算値を合計輝度値欄８０７に上書き保存する。そして、情報管理部１０７は輝度値欄８０２に新たに入力された輝度値を上書き保存する。
【００９６】
さらに、情報管理部１０７は撮影時刻欄８０２に記録された撮影時刻を移動前撮影時刻欄８１０に上書き保存し、新たに入力された撮影時刻を撮影時刻欄８０２に上書き保存する。情報管理部１０７は更新した座標と移動前座標とに基づいて、図１５で説明したようにして移動方向θを算出し、移動方向欄８０６に当該移動方向θを上書き保存する。
【００９７】
このようにして、２枚のテスト撮影画像に応じて情報管理表の更新を終了すると、第２の検出部１０４は星ＩＤで識別された星の中で移動量の最も大きい星を検出する。ここでは、移動量は座標欄８０４に記録された座標（つまり、移動後座標）と移動前座標欄８０５に記録された移動前座標を用いて求められる。ここで、移動量は、移動後座標から移動前座標を減算して、その結果（Ｘ座標およびＹ座標）の二乗を加算した結果の平方根とする。
【００９８】
移動量の最も大きい星ＩＤを検出した後、第２の検出部１０４は当該星ＩＤに係る星の移動量から画面上における移動速度を算出する（ステップＳ２２０４）。なお、移動速度を求める際には、画素マップのみを用いて計算するようにしてもよいが、ここでは、センサのピッチも用いて移動速度を求める場合について説明する。
【００９９】
図１６は、センサのピッチを用いて星の移動速度を求める例を説明するための図である。
【０１００】
図示の光学センサ１２００は複数の画素を備えており、ここでは、光学センサ１２００の１画素の縦方向の長さ１２０１をＬｐｖとし、光学センサ１２００の１画素の横方向の長さ１２０２をＬｐｈとする。また、光学センサ１２００の１画素の対角線の長さ１２０３をＬｐｄとする。
【０１０１】
いま、画素１２０４を移動前の星で露光されていた画素とし、画素１２０５を移動後の星で露光されていた画素とする。これらの画素は画素マップの座標と対応している。
【０１０２】
まず、画素マップ上の移動速度ｖｔｃは次の式（３）で求められる。
【０１０３】
【数１】
2014179863.tif 000003
ここで、ｔｎは星の移動後の撮影時刻、ｔｎ−１は星の移動前の移動時刻を表す。また、Ｘｎは星の移動後のＸ座標、Ｘｎ−１は星の移動前のＸ座標であり、Ｙｎは星の移動後のＹ座標、Ｙｎ−１は星の移動前のＹ座標である。
【０１０４】
画素マップ上の移動速度ｖｔｃから光学センサ上の移動速度ｖｔに変換を行う。この変換式は次の（４）で示される。
【０１０５】
【数２】
2014179863.tif 000004
第２の検出部１０４は第２の被写体に関する露光時間を算出する（ステップＳ２２０５）。光学センサ上における移動速度を求めた後、第２の検出部１０４は移動量が最大の星について情報管理表を参照してその移動方向を確認する。そして、第２の検出部１０４は移動方向θ（角度）によって移動速度ｖｔを除算する値を決定する。
【０１０６】
例えば、移動方向（角度）θが０°≦θ＜３０°、１５０°≦θ＜２１０°、３３０°≦θ＜３６０°の場合には、第２の検出部１０４は移動速度ｖｔを１画素の縦方向の長さＬｐｖで除算する。角度θが３０°≦θ＜６０°、１２０°≦θ＜１５０°、２１０°≦θ＜２４０°、３００°≦θ＜３３０°の場合には、第２の検出部１０４は移動速度ｖｔを１画素の対角線の長さ１２０３をＬｐｄで除算する。角度θが６０°≦θ＜１２０°、２４０°≦θ＜３００°の場合には、第２の検出部１０４は移動速度ｖｔを１画素の横方向の長さ１２０２をＬｐｈ除算する。
【０１０７】
このようにして、移動方向θに応じて移動速度Ｖｔを除算する値を変更すると、その商はほぼ光学センサの１画素の移動に掛かる時間となる。さらに、連続撮影の際に生じるタイムラグを考慮して、第２の検出部１０４は第２の露光時間を次の式（５）に応じて算出する。
【０１０８】
【数３】
2014179863.tif 000005
なお、式（５）において、＊は移動方向θによって決まる値である。
ここで、ｔｓｓは第２の露光時間、Ｌｐ＊はセンサの寸法、ｔｌはタイムラグである。
【０１０９】
このようにして、第１の被写体の検出結果を用いて第２の被写体の検出と露光時間とを算出した後、第２の検出部１０４は第２の被写体検出および露光時間算出に係る処理を終了する。
【０１１０】
ここで、図１に示す情報管理部１０７に保存される情報管理表の作成および更新について具体例を挙げて説明する。
【０１１１】
図１７は、図１に示す情報管理部１０７に保存される情報管理表の作成および更新を説明するための図である。そして、図１７（ａ）は第１の時刻ｔ０で検出された検出結果を情報管理表に反映させた状態を示す図であり、図１７（ｂ）は第２の撮影時刻ｔ１において第１の星Ｘのレコードを更新した状態を示す図である。また、図１７（ｃ）は第２の撮影時刻ｔ１において第２の星Ｙのレコードを更新した状態を示す図であり、第１７（ｄ）は第２の撮影時刻ｔ１において第３の星Ｚのレコードを更新した状態を示す図である。
【０１１２】
図１７において、図１４に示す例と同一の要素には同一の参照番号を付す。ここでは、星ＩＤ欄８０１には星ＩＤとして星Ｘ、星Ｙ、および星Ｚが登録されているものとする。そして、星Ｘはレコード１９００を有し、星Ｙはレコード１９０１を有する。また、星Ｚはレコード１９０２を有している。
【０１１３】
いま、第１の撮影時刻ｔ０で撮影の結果得られた画像から３つの星が第２の検出部１０４によって検出されたとする。そして、第２の検出部１０４は撮影時刻、輝度値、および星座標を情報管理部１０７に出力する。情報管理部１０７は１番目の星に星Ｘという星ＩＤを付与してレコード１９００を作成する。ここでは、図１７（ａ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ０”を記録し、輝度値欄８０３に”１０”を記録する。さらに、情報管理部１０７は座標欄８０４に座標（１００，２００）を記録するとともに、レコード作成時座標欄８１１に座標（１００，２００）を記録する。
【０１１４】
続いて、情報管理部１０７は２番目の星に星Ｙという星ＩＤを付与してレコード１９０１を作成する。ここでは、図１７（ａ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ０”を記録し、輝度値欄８０３に”２０”を記録する。さらに、情報管理部１０７は座標欄８０４に座標（３００，４００）を記録するとともに、レコード作成時座標欄８１１に座標（３００，４００）を記録する。
【０１１５】
さらに、情報管理部１０７は３番目の星に星Ｚという星ＩＤを付与してレコード１９０２を作成する。ここでは、図１７（ａ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ０”を記録し、輝度値欄８０３に”５０”を記録する。さらに、情報管理部１０７は座標欄８０４に座標（２５０，１００）を記録するとともに、レコード作成時座標欄８１１に座標（２５０，１００）を記録する。そして、情報管理部１０７はレコード１９００〜１９０２に記録された座標および輝度値を第２の検出部１０４に出力する。
【０１１６】
次に、第２の撮影時刻ｔ１で撮影の結果得られた画像から３つ星が第２の検出部１０４によって検出されたとする。そして、第２の検出部１０４は撮影時刻、輝度値、および星座標を情報管理部１０７に出力する。ここでは、第１の撮影時刻ｔ０と同一の星が検出されたものとする。
【０１１７】
まず、情報管理部１０７は一番目の星である星Ｘについてレコード１９００を更新する。図１７（ｂ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ１”を上書き保存し、輝度値欄８０３に”１１”を上書き保存する。さらに、情報管理部１０７は座標欄８０４に座標（１０５，２０５）を上書き保存するとともに、移動前座標欄８０５に移動前の座標（１００，２００）を記録する。そして、移動後の座標および移動前の座標から移動方向θは４５°となり、合計輝度値は２１となるので、情報管理部１０７は移動方向欄８０５に”４５°”を記録し、合計輝度値欄８０７に”２１”を記録する。
【０１１８】
続いて、情報管理部１０７は二番目の星である星Ｙについてレコード１９０１を更新する。図１７（ｃ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ１”を上書き保存し、輝度値欄８０３に”２２”を上書き保存する。さらに、情報管理部１０７は座標欄８０４に座標（３１０，４１５）を上書き保存するとともに、移動前座標欄８０５に移動前の座標（３００，４００）を記録する。そして、移動後の座標および移動前の座標から移動方向θは５６．５°となり、合計輝度値は４２となるので、情報管理部１０７は移動方向欄８０５に”５６．５°”を記録し、合計輝度値欄８０７に”４２”を記録する。
【０１１９】
次に、情報管理部１０７は三番目の星である星Ｚについてレコード１９０２を更新する。図１７（ｄ）に示すように、情報管理部１０７は撮影時刻欄８０２に”ｔ１”を上書き保存し、輝度値欄８０３に”５３”を上書き保存する。さらに、情報管理部１０７は座標欄８０４に座標（２５８，１１０）を上書き保存するとともに、移動前座標欄８０５に移動前の座標（２５０，１００）を記録する。そして、移動後の座標および移動前の座標から移動方向θは８５．５°となり、合計輝度値は１０３となるので、情報管理部１０７は移動方向欄８０５に”８５．５°”を記録し、合計輝度値欄８０７に”１０３”を記録する。
【０１２０】
このようにして、星Ｘ〜星Ｚについてレコード１９００〜１９０１の更新を終了すると、情報管理部１０７は第２の検出部１０４に各レコードの座標、輝度値、および移動方向を出力する。また、全てのレコードの更新が終わった後、合計輝度値が設定値を超えていると、情報管理部１０７は露光条件設定部１０５に撮影を中止する指示を送る。
【０１２１】
情報管理部１０７が露光条件設定部１０５に撮影中止の指示を送るまで、第２の検出部１０４によって検出された次の撮影時刻における検出結果が情報管理部１０７に与えられる。そして、情報管理部１０７は当該検出結果に応じてレコードを更新して、レコード更新の後、情報管理部１０７は更新後のレコードに記録された星の座標、輝度値、および移動方向を第２の検出部１０４に出力する。
【０１２２】
図２に関連して説明したように、ステップＳ２００３において、撮像部１０１は第１の被写体に適した露光条件で撮影を行う。ステップＳ２００１の処理で画像における第１の被写体の領域は判明しており、その検出結果は第１検出部から露光条件設定部１０５に送信される。
【０１２３】
図１８は図１に示す第１の検出部１０３で検出される第１の被写体の領域について説明するための図である。なお、図１８は図４に示すテスト撮影画像１枚目と同様の画像である。
【０１２４】
図１８に示す画像２００において、第１の被写体の領域４００が第１の被写体以外の領域４０１と区別されて検出される。露光条件設定部１０５は第１の被写体の領域４００と同一の領域を、撮像部１０１によって測光して適正露出となるように、ＩＳＯ感度を低くして露光条件を設定する。
【０１２５】
第１の被写体の領域４００を測光して得られた第１の被写体に適した露光条件によって、撮像部１０１は撮影を行って画像データを生成する。そして、前述したように、当該画像データは撮像部１０１から記録部１０２に送られて保存される。
【０１２６】
図３で説明したステップＳ２００４の処理では第２の被写体に適した露光条件での撮影が行われる。この際には、情報管理部１０７によって算出された第２の被写体用の露光時間が情報管理部１０７から露光条件設定部１０５に送られる。露光条件設定部１０５は第２の被写体用の露光時間で撮像部１０１を制御する。撮像部１０１で得られた画像データを記録部１０２および第２の検出部１０４に出力される。
【０１２７】
撮像部１０１は画像データの出力後、直ちに同一の露光時間で再度撮影を行う。第２の被写体用の露光時間で撮影された結果得られた二枚目以降の画像データは第２の検出部１０４のみに出力される。第２の検出部１０４は画像データから第２の被写体を検出して、撮影時刻、第２の被写体の座標、およびその輝度値を情報管理部１０７に出力する。
【０１２８】
情報管理部１０７はテスト撮影画像から第２の被写体用の露光時間の算出を行って露光条件設定部１０５に出力すると、一旦、情報管理表のレコードを削除する。そして、情報管理部１０７は再び第２の検出部１０４の検出結果に応じて情報管理表にレコードを作成する。
【０１２９】
具体的には、情報管理部１０７は第２の検出部１０４から出力される第２の被写体に係る検出結果に応じて、前述のようにしてレコードを作成する。第２の検出部１０４は、撮像部１０１が第２の被写体用の露光時間で撮影した２枚目の画像データから、同一の撮影条件で撮影した結果得られた１枚目の画像データにおける同一の星の座標と輝度値を検出して撮影時刻とともに情報管理部１０７に出力する。
【０１３０】
情報管理部１０７はこれら座標、輝度値、および撮影時刻を用いて、前述のようにして情報管理表の各レコードを更新する。そして、情報管理部１０７は情報管理表の更新の結果である各レコードの輝度値、移動方向、および座標を第２の検出部１０４に送る。
【０１３１】
第２の検出部１０４は撮像部１０１が第２の被写体用の露光時間で撮影した３枚目の画像データから、同一の撮影条件で撮影した２枚目の画像データにおける同一の星の座標および輝度値を検出して撮影時刻とともに情報管理部１０７に出力する。
【０１３２】
ここで、第２の被写体用の露光時間で撮影した３枚目の画像データから同一の撮影条件で撮影した結果得られた２枚目の画像データから同一の星の座標を検出する手法は前述の手法と異なる。
【０１３３】
ここでは、第２の被写体用の露光時間で撮影した結果得られた３枚目の画像データから撮影時間以外を同一の撮影条件として撮影した結果得られた２枚目の画像データから同一の星の座標の検出手法について説明する。なお、３枚目以降の画像データについては、一つ前に撮影された画像データから検出を行う。
【０１３４】
第２の検出部１０４は、情報管理部１０７が出力する輝度値、座標、および移動方向に基づいて同一の星を検出する。まず、第２の検出部１０４は座標で示される位置から移動方向に応じて探索する方向を決定する。
【０１３５】
探索方向を決定すると、第２の検出部１０４は座標で示される位置から移動方向に沿って１画素分移動した画素を中心に５×５画素で構成されるブロックから輝度値が最も近い座標を探索する。なお、探索の際の移動量とブロックの大きさについては任意に定めることができる。
【０１３６】
ここで、探索先が第１の被写体の領域に存在する場合の例外処理について説明する。
【０１３７】
図１９は、星が建物の裏に入るようすを説明するための図である。
【０１３８】
図１９において、画像１３００は所定の撮影間隔で撮影した画像を合成した画像である。星の位置１３０１は撮影時刻ｔｉにおける星の位置であり、星の位置１３０２は撮影時刻ｔｊにおける星の位置である。また、星の位置１３０３は撮影時刻ｔｋにおける星の位置である。
【０１３９】
経路１３０４は撮影時刻ｔｉから撮影時刻ｔｊにかけて星が移動する経路であり、経路１３０５は撮影時刻ｔｊから撮影時刻ｔｋにかけて星が移動する経路である。また、経路１３０６は撮影時時刻ｔｋから撮影時刻ｔｌにかけて星が移動する経路である。なお、ここでは、撮影時刻ｔｉ、ｔｊ、ｔｋ、ｔｌの順に時刻が早いものとする。
【０１４０】
撮影時刻ｔｉに観測された星は、撮影時刻ｔｊでは撮影時刻ｔｉから撮影時刻ｔｊにかけて経路１３０４を通って観測される。さらに、撮影時刻ｔｋでは星は経路１３０５を通って観測される。撮影時刻ｔｌでは星は経路１３０６を通って建物２０１の裏に移動してしまう。なお、建物２０１の裏に星が移動した状態を、ここでは例外という。
【０１４１】
第２の検出部１０４は、第２の被写体である星を検出するため、撮影時刻の異なる画像を用いて探索を行うが、星が建物２０１などの第１の被写体の裏に移動すると、第２の検出部１０４は座標および輝度値を検出することができない。このため、ここでは、第２の検出部１０４は例外処理を行う必要がある。
【０１４２】
図２０は、図１に示す第２の検出部１０４で例外処理を行う際の情報管理表の更新処理を説明するためのフローチャートである。
【０１４３】
情報管理表の更新処理が開始されると、情報管理部１０７は合計輝度値が設定値を超えているレコードが存在するか否かを判定する（ステップＳ１４０１）。合計輝度値が設定値を超えているレコードが存在すると（ステップＳ１４０１において、ＹＥＳ）、情報管理部１０７は更新処理を終了する。
【０１４４】
一方、合計輝度値が設定値を超えているレコードが存在しないと（ステップＳ１４０１において、ＮＯ）、情報管理部１０７からの指示によって露光条件設定部１０５は撮像部１０１を制御して第２の被写体用の露光時間で撮影を行う（ステップＳ１４０２）。続いて、情報管理部１０７は第２の検出部１０４から出力される検出結果に応じた情報管理表の各レコードの更新が終了したか否かを確認する（ステップＳ１４０３）。
【０１４５】
更新が終了すると（ステップＳ１４０３において、ＹＥＳ）、情報管理部１０７はステップＳ１４０１の処理に戻る。一方、更新が終了していないと（ステップＳ１４０３において、ＮＯ）、第２の検出部１０４は探索先が第１の被写体の領域に含まれていないか否かを確認する（ステップＳ１４０４）。
【０１４６】
探索先が第１の被写体の領域に含まれていないと（ステップＳ１４０４において、ＮＯ）、第２の検出部１０４は情報管理表に保存された座標、輝度値、および移動方向に応じて同一の星の移動先を探索する（ステップＳ１４０５）。そして、第２の検出部１０４は探索先に星の移動先が検出できたか否かを確認する（ステップＳ１４０６）。
【０１４７】
第２の検出部１０４によって星の移動先が検出できると（ステップＳ１４０６において、ＹＥＳ）、情報管理部１０７は第２の検出部１０４の出力である検出結果に基づいて、情報管理表の該当するレコードを更新する（ステップＳ１４０７）。そして、情報管理部１０７はステップＳ１４０３の処理に戻る。
【０１４８】
第２の検出部１０４によって星の移動先が検出できないと（ステップＳ１４０６において、ＮＯ）、情報管理部１０７は例外処理として疑似情報を用いて情報管理表の該当するレコードを更新する（ステップＳ１４０８）。そして、情報管理部１０７はステップＳ１４０３の処理に戻る。なお、ステップＳ１４０４において、第２の検出部１０４によって探索先が第１の被写体の領域に含まれていると確認されると（ステップＳ１４０４において、ＹＥＳ）、情報管理部１０７はステップＳ１４０８の処理を行う。
【０１４９】
ここでは、疑似情報として、座標を探索する際に用いるブロックの中心座標を用いるとともに、輝度値欄８０３に格納された輝度値が用いられる。
【０１５０】
第２の被写体に適した露光時間での撮影、第２の被写体の検出、および情報管理表の更新は設定条件を満たすまで繰り返される。ここで、情報管理表の星ＩＤで識別される星においていずれかの合計輝度値が所定の設定値に達すると、設定条件が満たされたとされる。なお、設定条件を設定する際には、画素が白飛びする値および特定の星に対する白飛びするなどが考慮される。
【０１５１】
図２で説明したステップＳ２００５の処理では第２の被写体を鮮明にするための合成が行われる。まず、第１の合成部１０８は記録部１０２から第２の被写体に適した露光時間（露光条件）で撮影された最初の画像データを取得する。さらに、第１の合成部１０８は情報管理部１０７からレコード作成時座標と合計輝度値を取得する。
【０１５２】
第１の合成部１０８は最初の画像データに対してレコード作成時座標で示される画素の輝度値を合計輝度値に置き換えて（つまり、合計輝度値に修正して）、第１の合成画像データを生成する。そして、第１の合成部１０８は第１の合成画像データを第２の合成部１０９に出力する。
【０１５３】
図２で説明したステップＳ２００６の処理では第１の被写体を撮影した画像データと第２の被写体を鮮明にした第１の合成画像データとの合成を行う。第２の合成部１０９は、記録部１０２から第１の被写体に適した露光時間（露光条件）で撮影された画像データを読み込むとともに、第１の検出部１０３が出力する第１の被写体の検出領域および第１の合成部１０８が出力する第１の合成画像データを読み込む。
【０１５４】
第２の合成部１０９は第１の合成画像データに基づいて、第１の合成画像データにおける第１の被写体の領域に、第１の被写体に適した露光条件で撮影した画像データの同一の領域を張り付けて第２の合成画像データを生成する。
【０１５５】
このようにして、本発明の第１の実施形態では、第２の被写体に適した露光条件で撮影した複数の画像から生成された合成画像データと第１の被写体に適した露光条件で撮影された画像データを合成するので、風景などの第１の被写体と星などの第２の被写体とを鮮明としてかつ第２の被写体の軌跡が写っていない画像データを生成することができる。
【０１５６】
［第２の実施形態］
続いて、本発明の第２の実施形態による撮像装置の一例について説明する。
【０１５７】
図２１は、本発明の第２の実施形態による撮像装置の一例についてその構成を示すブロック図である。なお、図２１において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【０１５８】
図示のカメラ１５００は、図１で説明した露光条件設定部１０５とその機能が異なる露光条件設定部１５０３を備えるとともに、さらにユーザー指定領域取得部（以下単に指定領域取得部と呼ぶ）１５０１および表示部１５０２を有している。
【０１５９】
指定領域取得部１５０１はタッチパネルおよびボタンなどを有しており、カメラ１５００のユーザーは指定領域取得部１５０１を用いてユーザー指定の領域を選択又は指定することができる。そして、ユーザーによって選択又は指定された領域が第１の被写体に係る検出結果（検出データとも呼ぶ）として、露光条件設定部１５０３、第２の検出部１０４、および第２の合成部１０９に出力される。
【０１６０】
表示部１５０２は、例えば、液晶表示装置又は有機ＥＬ表示装置であり、撮像部１０１による撮影の結果得られた画像が表示部１５０２に表示され、ユーザーは表示部１５０２に表示された画像を視認することができる。
【０１６１】
露光条件設定部１５０３は、撮像部１０１を制御して露光時間、露光回数、測光を行う領域、およびＩＳＯ感度などを設定する。また、露光条件設定部１５０３は指定領域取得部１５０１が出力する第１の被写体の検出結果および情報管理部１０７の出力に基づいて撮影条件（設定条件）を決定する。
【０１６２】
第２の合成部１０９は記録部１０２から画像データを読み込み、第１の合成部１０８が出力する第１の合成画像データに、指定領域取得部１５０１が出力する第１の被写体の検出結果が示す領域にコピーして第２の合成画像データを出力する。
【０１６３】
図２２は、図２１に示すカメラ１５００で行われる画像合成を説明するためのフローチャートである。
【０１６４】
画像合成処理が開始されると、撮像部１０１はテスト撮影画像を２枚撮影する（ステップＳ３０１）。ステップＳ３０１における撮影処理は、図３で説明したステップＳ２１０１〜Ｓ２１０３までの処理が行われることになる。そして、撮像部１０１はテスト撮影画像１枚目を表示部１５０２に出力する。表示部１５０２が撮像部１０１から送られたテスト撮影画像１枚目を表示する（ステップＳ３０２）。
【０１６５】
ユーザーは、指定領域取得部１５０１を用いて表示部１５０２に表示されたテスト撮影画像１枚目から第１の被写体の領域を指定する（ステップＳ３０３）。
【０１６６】
図４を参照すると、例えば、表示部１５０２にはテスト撮影画像１枚目が画像２００として表示され、この画像２００には建物２０１、星Ａ（２０２）、および星Ｂ（２０３）が表示されている。ユーザーは表示部１５０２に表示されたテスト撮影画像１枚目を見ながら、指定領域取得部１５０１によって第１の被写体に設定したい被写体を指定する。
【０１６７】
第１の被写体の指定を行う際には、例えば、図１８に示す第１の被写体領域４００をユーザーがポインタ又は指でなぞると、第１の被写体領域４００が第１の被写体の検出結果として指定領域取得部１５０１から出力される。
【０１６８】
続いて、第２の検出部１０４は、第１の実施形態で説明したように、第１の被写体の検出結果を用いて第２の被写体の検出および露光時間の算出を行う（ステップＳ３０４）。なお、指定領域取得部１５０１から出力される第１の被写体の検出結果（第１の検出データ）のフォーマットは第１の実施形態で説明した第１の検出部１０３の出力と同様である。
【０１６９】
続いて、撮像部１０１は第１の被写体に適した露光条件で撮影を行う（ステップＳ３０５）。前述のように、指定領域取得部１５０１は第１の被写体の検出データを露光条件設定部１５０３に出力する。露光条件設定部１５０３は撮像部１０１が第１の被写体の領域を測光して、当該測光結果によって第１の被写体が適正露出で撮影されるようにシャッタースピードを設定するように撮像部１０１を制御する。そして、撮像部１０１は第１の被写体を適正露出で撮影した画像データを記録部１０２に保存する。
【０１７０】
続いて、撮像部１０１は第２の被写体に適した露光条件での撮影を行う（ステップＳ３０６）。ここでは、ステップＳ３０４で算出された露光時間に基づいて、露光条件設定部１５０３は撮像部１０１を制御して撮影を行う。露光時間以外の撮影条件は図２で説明したステップＳ２００４の処理と同様である。
【０１７１】
次に、第１の合成部１０８第２の被写体を鮮明にするための画像合成を行う（ステップＳ３０７）。ステップＳ３０７の処理は図２で説明したステップＳ２００５の処理と同様である。
【０１７２】
続いて、第２の合成部１０９は第１の被写体を撮影した画像データと第２の被写体を鮮明にした第１の合成画像データとを合成する（ステップＳ３０８）。ここでは、第２の合成部１０９は第１の合成画像データに基づいて、第１の合成画像データにおいてユーザーが指定した第１の被写体の領域に、第１の被写体に適した露光条件で撮影した画像データの同一の領域を張り付けて第２の合成画像データを生成して、合成処理を終了する。
【０１７３】
このように、本発明の第２の実施形態では、第２の被写体に適した露光条件で撮影した複数の画像に応じて生成された合成画像データとユーザー指定の第１の被写体の領域に第１の被写体に適した露光条件で撮影された画像データを合成するようにしたので、風景などの第１の被写体と星などの第２の被写体とが鮮明となり、第２の被写体の軌跡が写っていない画像データを生成することができる。
【０１７４】
上述の説明から明らかなように、図１に示す例においては、露光条件設定部１０５が第１の制御手段および第２の制御手段として機能する。また、図２１においては、表示部１５０２およびユーザー指定領域取得部１５０１（取得手段）が第１の検出手段を構成することになる。
【０１７５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１７６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１７７】
上記の制御方法および制御プログラムの各々は、少なくとも第１の制御ステップ、第１の検出ステップ、第２の検出ステップ、第２の制御ステップ、第１の合成ステップ、および第２の合成ステップを有している。
【０１７８】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１７９】
１００  撮像装置
１０１  撮像部
１０２  記録部
１０３  第１の検出部
１０４  第２の検出部
１０５  露光条件設定部
１０６  撮影方向取得部
１０７  情報管理部
１０８  第１の合成部
１０９  第２の合成部
【図１】
2014179863.tif 000006
【図２】
2014179863.tif 000007
【図３】
2014179863.tif 000008
【図４】
2014179863.tif 000009
【図５】
2014179863.tif 000010
【図６】
2014179863.tif 000011
【図７】
2014179863.tif 000012
【図８】
2014179863.tif 000013
【図９】
2014179863.tif 000014
【図１０】
2014179863.tif 000015
【図１１】
2014179863.tif 000016
【図１２】
2014179863.tif 000017
【図１３】
2014179863.tif 000018
【図１４】
2014179863.tif 000019
【図１５】
2014179863.tif 000020
【図１６】
2014179863.tif 000021
【図１７】
2014179863.tif 000022
【図１８】
2014179863.tif 000023
【図１９】
2014179863.tif 000024
【図２０】
2014179863.tif 000025
【図２１】
2014179863.tif 000026
【図２２】
2014179863.tif 000027