(57)【要約】【課題】複数回露光動作を行い一つの画像データを作成する多重露光撮像動作を実行する際に、良好な画像データが得られる撮像装置及び撮像方法を提供すること。【解決手段】本発明の撮像装置は、一つの画像データを作成するために複数回露光動作を行う。そして、最初の露光動作が行われる第１露光期間の開始時から、最後の露光動作が行われる第ｎ露光期間の終了時まで、の多重露光期間中に、少なくとも一回報知動作を開始することとする。これにより、多重露光撮像が行われていることをユーザに報知することができるため、多重露光期間中に撮像装置が大きく動かされることが抑制される。【選択図】図５
2009232227.tif 000002
【特許請求の範囲】
【請求項１】
入力される光学像に基づいて画像データを作成する露光動作を行う撮像部を備える撮像装置において、
前記撮像部で作成される複数の画像データに基づいて一つの画像データを作成する画像処理部と、
前記複数の画像データが前記撮像部で作成される際に報知動作を行う報知部と、を備え、
前記撮像部が、前記露光動作を複数回行うことで前記複数の画像データを作成する際に、
複数回行われる前記露光動作のうち最初に行われる前記露光動作の開始時から、最後に行われる前記露光動作の終了時まで、の期間である多重露光期間中に、
前記報知部が、前記報知動作を少なくとも一回開始することを特徴とする撮像装置。
【請求項２】
前記報知部が、前記露光動作の行われる期間が少なくとも二つ含まれる期間に行われる長報知動作を、前記報知動作の一つとして行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音の少なくとも一部を伸ばして出力することで、前記長報知動作を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音にエコーをかけて出力することで、前記長報知動作を行うことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音の少なくとも一部を繰り返し出力することで、前記長報知動作を行うことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記報知部が、所定の情報の表示を行うことで前記長報知動作を行うことを特徴とする請求項２〜請求項５のいずれかに記載の撮像装置。
【請求項７】
前記報知部が、前記撮像部で前記複数の画像データが作成される直前に、前記撮像部で作成された画像データに基づいた画像を、前記所定の情報として表示することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記報知部が、前記多重露光期間の終了時を含む期間に行われる終了報知動作を、前記報知動作の一つとして行うことを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。
【請求項９】
入力される光学像に基づいて画像データを作成する露光動作を複数回行うことで複数の画像データを作成する第１ステップと、
当該第１ステップによって作成される前記複数の画像データに基づいて一つの画像データを作成する第２ステップと、を備え、
前記第１ステップで複数回行う前記露光動作のうち最初に行う前記露光動作の開始時から、最後に行う前記露光動作の終了時まで、の期間である多重露光期間中に、
報知動作を少なくとも一回開始することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一つの画像データを作成するために複数回露光動作を行う多重露光撮像動作を実行可能な撮像装置や、その撮像方法に関する。
【背景技術】
【０００２】
入力される光学像から静止画の画像データを作成するデジタルスチルカメラや、動画及び静止画のどちらの画像データも作成することができるデジタルビデオカメラなどに代表される撮像装置が、近年広く普及している。
【０００３】
上記のような撮像装置を用いて静止画の画像データを作成する場合、光学像の入力を行う期間（露光期間）中に光学像が動いてしまうために、得られる画像データが劣化することが問題となる。この問題は、主として露光期間中にユーザが撮像装置を一定の位置に保てずにぶれさせてしまう、いわゆる手ぶれなどによって発生する。
【０００４】
この問題に対して、露光期間中の撮像装置のぶれによる影響を低減して良好な画像データを得る撮像装置が種々提案されている。特に、特許文献１では、複数回露光動作を行うとともにそれぞれの露光期間を短くし、得られる複数の画像データを合成して一つの画像データを作成する撮像装置が提案されている。このような処理を行うことで、それぞれの露光期間に対する撮像装置のぶれの影響を極力低減し、合成によって良好な画像データを作成することが可能となる。
【特許文献１】特開２００７−１０４０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように複数回露光動作を行って一つの画像データを作成する場合、全ての露光期間において撮像装置が略等しい方向に向けられている必要がある。特に、複数回行われる全ての露光動作が終了する前に撮像装置が大きく動かされてしまうと、各露光期間に入力される光学像がそれぞれ大きく異なることとなり、得られる複数の画像データを合成することが困難になる問題が生じる。
【０００６】
このような問題を鑑みて、本発明は、複数回露光動作を行い一つの画像データを作成する多重露光撮像動作を実行する際に、良好な画像データが得られる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明における撮像装置は、入力される光学像に基づいて画像データを作成する露光動作を行う撮像部を備える撮像装置において、前記撮像部で作成される複数の画像データに基づいて一つの画像データを作成する画像処理部と、前記複数の画像データが前記撮像部で作成される際に報知動作を行う報知部と、を備え、前記撮像部が、前記露光動作を複数回行うことで前記複数の画像データを作成する際に、複数回行われる前記露光動作のうち最初に行われる前記露光動作の開始時から、最後に行われる前記露光動作の終了時まで、の期間である多重露光期間中に、前記報知部が、前記報知動作を少なくとも一回開始することを特徴とする。
【０００８】
また、上記構成の撮像装置において、前記報知部が、前記露光動作の行われる期間が少なくとも二つ含まれる期間に行われる長報知動作を、前記報知動作の一つとして行うこととしても構わない。
【０００９】
このように構成することによって、複数の露光動作が行われる期間に及ぶように、報知動作が行われることとなる。そして、複数の露光動作が行われる期間については、ユーザに対して報知を行うことが可能となる。そのため、少なくとも複数の画像データを良好なものとすることが可能となり、これらの画像データに基づいて作成される画像データを良好なものにすることが可能となる。
【００１０】
また、長報知動作を行うこととすると、報知動作を行う期間が長くなるため、複数の画像データを作成していることがユーザに認識され易くなる。したがって、多重露光期間中に撮像装置が大きく動かされることを抑制することが可能となる。
【００１１】
また、上記構成の撮像装置において、前記画像処理部で前記一つの画像データを作成するために必要となる前記撮像部で作成される前記複数の画像データの数、即ち露光動作を行う回数が可変となっても構わない。また、前記露光動作が行われる期間が可変となっても構わない。また、前記複数の画像データが作成される数及び前記露光動作が行われる期間の少なくとも一方が、入力される光学像に基づいて決定されるものであっても構わない。
【００１２】
このように構成することで、周囲の撮像状況に合わせて適宜画像データの作成数や露光動作が行われる期間を変化させることが可能となる。そのため、複数の画像データの一つ一つを良好なものとすることが可能となる。
【００１３】
また、上記構成の撮像装置において、前記報知部が、一つの報知信号を処理することによって、前記長報知動作を行うこととしても構わない。このように構成することによって、上記のように画像データの作成数や露光動作を行う期間が変化して長報知動作を行う期間が変化したとしても、容易に追随して報知を行うことが可能となる。
【００１４】
また、上記構成の撮像装置において、前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音の少なくとも一部を伸ばして出力することで、前記長報知動作を行うこととしても構わない。
【００１５】
このように構成することで、報知される音声が伸びて出力されることとなる。そのため、多重露光期間が長いものであることをユーザに対して伝えやすくすることができる。
【００１６】
また、上記構成の撮像装置において、前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音にエコーをかけて出力することで、前記長報知動作を行うこととしても構わない。
【００１７】
このように構成することで、報知される音声が自然なものとなる。また、フィルタなどを用いて報知音にエコーをかけるだけであるため、処理が簡易なものとなる。
【００１８】
また、上記構成の撮像装置において、前記報知部が、音声を出力して前記長報知動作を行うとともに、前記長報知動作が行われる期間よりも短い報知音の少なくとも一部を繰り返し出力することで、前記長報知動作を行うこととしても構わない。
【００１９】
このように構成することで、報知される音声が繰り返されることとなる。そのため、多重露光撮像動作のイメージをユーザに対して伝えやすくすることができる。
【００２０】
また、上記構成の撮像装置において、前記長報知動作が、前記多重露光期間の全てが含まれる期間に行われることとしてもかまわない。このように構成することで、多重露光期間中の全てにおいてユーザに報知することができる。そのため、多重露光期間中に撮像装置が大きく動かされることを確実に抑制することができる。
【００２１】
また、上記構成の撮像装置において、前記長報知動作が、少なくとも、最初から二番目の前記露光動作が行われる期間の開始時から、最後から二番目の前記露光動作が行われる期間の終了時までの期間が含まれる期間に行われることとしても構わない。このように構成することで、多重露光期間のほぼ全体においてユーザに報知することができるとともに、撮像装置が動かされにくい期間には報知を行わないこととすることも可能となる。これにより、無用に長い時間報知することを抑制し、省電力化やユーザに与える印象の改善を図ることが可能となる。
【００２２】
また、上記構成の撮像装置において、前記報知部が、所定の情報の表示を行うことで前記長報知動作を行うこととしても構わない。
【００２３】
また、上記構成の撮像装置において、前記報知部が、前記撮像部で前記複数の画像データが作成される直前に、前記撮像部で作成された画像データに基づいた画像を、前記所定の情報として表示することとしても構わない。
【００２４】
このように構成することによって、多重露光期間であることをユーザの視覚に対して訴えることが可能となる。したがって、多重露光期間であることを明確にユーザに対して報知することが可能となる。
【００２５】
さらに、上記の音声による報知動作と、所定の情報を表示することによる報知動作と、を組み合わせることも可能である。このように複数の異なる方法の報知動作を組み合わせることによって、ユーザに対してより強く訴えることが可能となる。
【００２６】
また、上記構成の撮像装置において、前記報知部が、前記多重露光期間の終了時を含む期間に行われる終了報知動作を、前記報知動作の一つとして行うこととしても構わない。
【００２７】
このように構成することによって、多重露光期間の終了をユーザに明確に報知することが可能となる。特に、長報知動作などの他の報知動作に加えて行う場合は、他の報知動作と異なる音や表示で報知することとすると、違いがより明確となるため好ましい。
【００２８】
また、本発明における撮像方法は、入力される光学像に基づいて画像データを作成する露光動作を複数回行うことで複数の画像データを作成する第１ステップと、当該第１ステップによって作成される前記複数の画像データに基づいて一つの画像データを作成する第２ステップと、を備え、前記第１ステップで複数回行う前記露光動作のうち最初に行う前記露光動作の開始時から、最後に行う前記露光動作の終了時まで、の期間である多重露光期間中に、報知動作を少なくとも一回開始することを特徴とする。
【発明の効果】
【００２９】
本発明によると、複数の露光動作が行われる多重露光期間中に、少なくとも一回報知動作が開始されることとなる。そのため、多重露光期間についてユーザに対して報知することが可能となる。したがって、ユーザが多重露光期間中に撮像装置を大きく動かすことを抑制することが可能となる。
【００３０】
例えば、多重露光期間の序盤で報知することとすると、なかなか報知動作が行われないためにユーザが撮像装置の操作を失敗したと思い込んで多重露光期間中に撮像装置を大きく動かしてしまうことを抑制することが可能となる。また、多重露光期間の終盤で報知することとすると、多重露光期間が既に終了したと思い込んで撮像装置を大きく動かすこととを抑制することが可能となる。一方、多重露光期間の中盤で報知することとすると、序盤に報知する効果と終盤に報知する効果との両方の効果を得ることができる。
【発明を実施するための最良の形態】
【００３１】
＜撮像装置の構成＞
まず、本発明の実施形態における撮像装置の構成について、図面を参照して説明する。図１は、撮像装置の構成を示すブロック図である。なお、ここでは撮像装置として、動画の画像データ及び静止画の画像データの両方を作成することができるデジタルビデオカメラについて説明するが、デジタルスチルカメラのような静止画の画像データのみを作成するものであっても構わない。
【００３２】
図１に示すように、撮像装置１は、入力される光学像から画像データを作成する撮像部２を備える。撮像部２は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに露出やフォーカスなどの調整を行うレンズ部４と、を備える。
【００３３】
さらに、撮像装置１は、イメージセンサ３から出力されるアナログの画像データをデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）５と、音声を集音して電気信号に変換するマイク６と、ＡＦＥ５から出力されるデジタル信号となる画像データに対して階調補正処理などの各種画像処理を施すとともに撮像部２を制御するための制御データを作成する画像処理部７と、マイク６から出力されるアナログの音声データをデジタルに変換するとともにノイズ除去などの各種音声処理を施す音声処理部８と、静止画の画像データにＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの符号化処理を施したり動画の画像データ及び音声データにＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。
【００３４】
また、撮像装置１は、伸長処理部１２で復号されて得られる画像データをディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声データをスピーカなどの音声再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１４と、画像データの記録が行われていることをユーザに対して報知する報知部１５と、を備える。
【００３５】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１６と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１７と、撮像や記録を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１８と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１９と、ＣＰＵ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。
【００３６】
なお、外部メモリ１０は画像データや音声データを記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００３７】
また、動画の画像データを作成しないデジタルスチルカメラの場合、入力される音声を処理する部分を備えないこととしても構わない。例えば、マイク６及び音声処理部８を備えないこととしても構わない。ただし、報知部１５に関連する部分は備えるものとする。例えば、図１に示す撮像装置１であれば、報知部１５及び音声出力回路部１４を備える構成とする。
【００３８】
＜撮像装置の基本動作＞
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、ＣＰＵ１６によって、レンズ部４のシャッタや絞り、各種レンズ位置が制御され、露出やフォーカスが制御される。そして、レンズ部４より入射されて投影される光学像は、イメージセンサ３において光電変換されることによって電気信号である画像データとなる。そして、ＴＧ部１９から入力されるタイミング制御信号に同期して、イメージセンサ３からＡＦＥ５に画像データが出力される。
【００３９】
そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換されるとともにゲインが調整された画像データは、画像処理部７に入力される。画像処理部７では、入力される画像データを、輝度信号と色差信号とからなる画像データに変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１７はフレームメモリとして動作し、画像処理部７が処理を行なう際に画像データを一時的に保持する。
【００４０】
また、画像処理部７は、入力される画像データに基づいて、レンズ部４におけるフォーカスや露出などの調整を自動的に行う際に用いられる制御データを作成する。そして、この制御データに基づいてＣＰＵ１６がレンズ部４を制御し、フォーカスや露出の調整などを自動的に行う。また、ユーザが手動でフォーカスや露出などの調整を行う場合は、操作部１８を介してユーザから入力される指示に基づいて、ＣＰＵ１６がレンズ部４を制御する。
【００４１】
一方、マイク６は、音声を集音して電気信号に変換することで音声データを作成する。作成される音声データは音声処理部８に入力され、デジタル信号に変換されるとともにノイズ除去や音声データのゲインの調整などの各種音声処理が施される。
【００４２】
そして、画像処理部７から出力される画像データと、音声処理部８から出力される音声データと、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像データと音声データとが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像データ及び音声データはドライバ部１１を介して外部メモリ１０に記録される。一方、静止画の画像データが記録される場合は、音声データと関連付けられることなく画像データが所定の圧縮方式で圧縮されて外部メモリ１０に記録される。
【００４３】
上述した一連の動作は、ユーザが、画像データや音声データの記録開始の指示を操作部１８に入力したり、タイマーなどのプログラムによって記録の開始が指示されたりすることによって開始される。画像データや音声データの記録の終了も同様であり、ユーザの指示やプログラムによって行われる。このとき、報知部１５は、記録する画像データや音声データの作成開始や作成中、作成終了をユーザに対して報知する。なお、この報知部１５の報知動作の詳細については後述する。
【００４４】
また、撮像装置１は、静止画の画像データを作製する際に多重露光撮像動作を実行することができるものとする。多重露光撮像動作として、例えば加算式手ぶれ補正処理を行う場合、撮像部２は、複数回露光動作を行うとともに作成された複数の画像データを逐一出力する。出力される複数の画像データは、画像処理部７によって合成されて一つの画像データとなる。なお、この加算式手ぶれ補正処理の詳細については後述する。
【００４５】
外部メモリ１０に記録された圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像データや音声データを得る。得られる画像データは画像出力回路部１３に入力され、音声データは音声出力回路部１４に入力される。そして、画像出力回路部１３や音声出力回路部１４においてアナログ信号に変換され、それぞれ表示装置や音声再生装置において再生可能な形式に変換されて出力される。
【００４６】
なお、表示装置や音声再生装置は、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものとしても構わない。
【００４７】
また、報知部１５が、音声によってユーザに報知するものとしたが、音声に加えて（または音声に代えて）光やその他の方法によってユーザに報知することとしても構わない。例えば、表示装置に所定の表示を行うことによって報知しても構わないし、ＬＥＤ（Light Emitting Diode）ランプを点灯や点滅させて報知しても構わない。また、報知部１５に専用の音声再生装置を備え、その音声再生装置によって報知を行う構成としても構わない。表示装置に所定の表示を行うことによって報知する場合は、報知部１５から出力される信号が画像出力回路部１３に入力されることとする。また、ＬＥＤランプや専用の音声再生装置を用いて報知する場合は、報知部１５からそれぞれの装置に信号が入力される構成とする。
【００４８】
また、画像データの記録前に、撮像部２で作成された画像データを外部メモリ１０に記録することなく表示装置に逐一表示して、これから記録する画像の構図などをユーザに確認させるいわゆるプレビューモードを備えることとしても構わない。また、このプレビューモード時に、画像処理部７から出力される画像データを圧縮せずに画像出力回路部１３に出力することとしても構わない。
【００４９】
＜加算式手ぶれ補正処理＞
次に、上述した図１の撮像装置１が実行する加算式手ぶれ補正処理の一例について図面を参照して説明する。図２は、加算式手ぶれ補正処理が施される画像データの模式図である。図２（ａ），（ｂ）は、異なる露光期間に得られる画像データ３０，３１の一例を示しており、図２（ｃ）は、図２（ａ），（ｂ）に示す画像データ３０，３１を重ねて配置したものを示している。
【００５０】
図２（ａ），（ｂ）に示す黒塗りの領域は、所定の処理（例えば、各画素の色や輝度に基づいた判定結果や、顔などの被写体認識の判定結果などに基づいて、画像データを特徴領域と非特徴領域とに分ける処理）を経て抽出された特徴領域３０ａ，３１ａである。また、図２（ａ），（ｂ）に示す画像データ３０，３１を作成する際に、撮像装置１が大きく動かなかったものとする。
【００５１】
撮像装置１が大きく動かず、同様の方向に向けられて露光動作が行われた場合、図２（ａ）に示す画像データ３０の特徴領域３０ａと、図２（ｂ）に示す画像データ３１の特徴領域３１ａは同様の形状となる。しかしながら、ユーザの手ぶれなどによる小さい動きによって、図２（ａ）に示す画像データ３０中の特徴領域３０ａの位置と、図２（ｂ）に示す画像データ３１中の特徴領域３１ａの位置と、が異なるものとなっている。
【００５２】
このような場合、図２（ｃ）に示すように、それぞれの画像データ３０，３１中の特徴領域３０ａ，３１ａを重ね合わせるようにして合成が行われる。図２に示す例の場合、破線で示す図２（ｂ）の画像データ３１を図２（ａ）に示す画像データ３０に対して１画素分上方及び１画素分左方へ動かすことにより、特徴領域３０ａ，３０ｂを重ねることができる。
【００５３】
そして、図２（ａ），（ｂ）のそれぞれの画像データ３０，３１に対して、図２（ｃ）に示す位置関係に基づいた所定の合成係数を積算し、加重加算を行う。これによって、画像データの合成が行われる。
【００５４】
なお、合成係数を例えば画素毎に決定しても構わない。さらに、特徴領域３０ａ，３１ａに含まれる画素であるか否か、画像データを図２（ｃ）に示す位置に配置した場合に他の画像データの画素と重なる画素があるか否か、などに基づいて合成係数の値を変化させても構わない。また、特徴領域３０ａ，３０ｂを重ねるために移動させる方向や大きさ、即ち、撮像装置１が動いた方向や大きさに基づいて、合成係数の値を変化させても構わない。
【００５５】
また、撮像条件に基づいて露光動作を行う回数を増減させても構わない。例えば、絞りの開度や画像データの輝度などに基づいて全体の露光時間を決定するとともに、焦点距離などに基づいて一回の露光時間を決定しても構わない。そして、全体の露光時間と一回分の露光時間とから露光動作を行う回数を決定することとしても構わない。
【００５６】
また、複数回露光動作を行い一つの画像データを作成する多重露光撮像動作の一例として、加算式手ぶれ補正処理について説明したが、本発明は複数回露光を行う方法である限り、他の方法であっても適用することができる。
【００５７】
＜報知動作＞
（単露光撮像動作）
次に、図１の外部メモリ１０に記録するための静止画の画像データを作成する際における、報知部１５の報知動作について説明する。ここでは、一つの画像データを作成する際に一回だけ露光動作を行う単露光撮像動作を実行する場合と、一つの画像データを作成する際に複数回露光動作を行う多重露光撮像動作を実行する場合と、を比較して説明する。まず、単露光撮像動作を実行する場合の報知部１５の報知動作例について図面を参照して説明する。
【００５８】
図３は、単露光撮像動作を行う場合の報知部の報知動作例について示すタイミングチャートである。図３中のシャッタトリガとは、ユーザやプログラムなどによって、入力されている光学像を静止画の画像データとして記録する旨の指示が出された場合に、図１のＣＰＵ１６から出力される信号である。この信号に基づいて、撮像装置１が、外部メモリ１０に記録するための静止画の画像データを作成する動作を行う。
【００５９】
図３中のイメージセンサとは、図１のイメージセンサ３の駆動タイミングを示している。特に、イメージセンサ３が、投影される光学像の光電変換を行う期間を「露光期間」として示すとともに、イメージセンサ３で作成された画像データをＡＦＥ５に読み出す期間を「読出期間」として示している。
【００６０】
また、図３中の報知（音声）とは、図１の報知部１５が、ユーザに対して行う報知動作のタイミングについて示している。特に、図３では音声によってユーザに報知する場合について示しており、例として「カシャン」という報知音（撮像装置の動作音として想起されやすい音）を発する場合について示している。
【００６１】
図３中のメカニカルシャッタとは、図１のレンズ部４に備えられるシャッタであり、イメージセンサ３に投影される光学像の可否について決定するものである。開の状態であればイメージセンサ３に光学像が投影され、閉の状態であればイメージセンサ３に光学像が投影されないことを示す。
【００６２】
図３（ａ）に示す例では、シャッタトリガの入力に応じてイメージセンサの露光期間が開始されるとともにメカニカルシャッタが開の状態となる。このとき、露光期間の開始にあわせて「カシャン」という音色の報知音の出力が開始される。そして、イメージセンサの露光期間の終了にあわせてメカニカルシャッタが閉の状態となり、その後イメージセンサの読出期間が開始される。この読出期間に、イメージセンサから画像データが出力される。
【００６３】
図３（ｂ），（ｃ）には、図３（ａ）と異なるタイミングで報知動作が行われる例について示している。図３（ｂ），（ｃ）と図３（ａ）とは、報知動作のタイミングが異なるのみであり、他の部分の動作タイミングについては同様のものとなっている。そのため、報知動作以外の動作の詳細な説明については省略する。
【００６４】
図３（ｂ）に示す例では、イメージセンサの露光期間の終了にあわせて「カシャン」という音色の報知音の出力が開始される。また、図３（ｃ）に示す例では、イメージセンサの読出期間の終了にあわせて「カシャン」という音色の報知音の出力が開始される。
【００６５】
また、図４に示すように、画像によって報知することも可能である。図４は、単露光撮像動作を行う場合の報知部の動作について示すタイミングチャートである。図３と図４とでは、報知方法と報知するタイミングとが異なっているものの、他の部分の動作タイミングについては同様のものとなる。そのため、報知動作以外の動作の詳細な説明については省略する。
【００６６】
図４中の報知（画像）とは、図１の報知部１５が、ユーザに対して行う報知動作のタイミングについて示している。特に、画像によってユーザに報知する場合について示している。「黒画面表示」とは、表示装置に画像を表示せずに黒い画面とすることを示している。また、「プレビュー画像表示」とは、シャッタトリガが入力される直前にイメージセンサで作成された画像データを表示装置で表示することを示している。例えば、記録用の静止画の画像データを作成する前に行われるプレビューモードにおいて、ユーザに表示する画像データのうち最後に表示した画像データを、シャッタトリガの入力後に表示装置に継続して表示するなどである。
【００６７】
図４（ａ）に示す例では、露光期間の開始にあわせて黒画面表示が開始される。また、図４（ｂ）に示す例では、露光期間の開始にあわせてプレビュー画像表示が行われ、さらに露光期間の終了にあわせて黒画面表示が行われる。
【００６８】
単露光撮像動作を行う場合であれば露光期間が一回であり、画像データの合成なども不要であるため、上述した図３（ａ）〜（ｃ）や図４（ａ），（ｂ）の例に示すように、どのような方法及びタイミングで報知してもよい。特に、単露光撮像動作を行うこと、あるいは行ったことをユーザに対して迅速に報知する構成であれば、一回の露光期間中にユーザが撮像装置を大きく動かすことは生じ難い。そのため、撮像装置が大きく動かされることを抑制することができる。ただし、露光期間中の手ぶれなど、小さい動きの影響が得られる画像データに反映されやすくなる。
【００６９】
（多重露光撮像動作）
単露光撮像動作では、上述のように手ぶれなどの小さい動きの影響を低減させることが困難となる。これに対して、以下に示す多重露光撮像動作では、露光期間を短くして複数回露光動作を行うことによって、手ぶれの影響を低減することが可能となる。
【００７０】
しかしながら、多重露光撮像動作は複数回露光動作を行うために露光期間全体が長くなりやすい。そのため、多重露光撮像動作が行われている途中で、ユーザによって撮像装置が大きく動かされることが発生しやすくなる。そこで、本実施形態における撮像装置では、以下に示す実施例のような報知動作を行うことで、ユーザに多重露光撮像動作について十分に認識させ、多重露光撮像動作中に撮像装置が大きく動かされることを抑制する。
【００７１】
［第１実施例］
多重露光撮像動作を行う際の報知動作の第１実施例について、図面を参照して説明する。図５は、多重露光撮像動作を行う場合の報知部の動作の第１実施例について示すタイミングチャートであり、単露光撮像動作について示した図３に相当するものである。なお、図３と同様の部分に関しては同じ名称を付し、その詳細な説明については省略する。
【００７２】
図５に示すように、多重露光撮像動作を行う場合、シャッタトリガが入力された後、イメージセンサにおいて露光動作と読出動作とが交互に繰り返し行われる。具体的には、シャッタトリガの入力後に１回目の露光動作が「第１露光期間」で行われ、その後に、１回目の読出動作が「第１読出期間」で行われる。そして、第１読出期間の後に２回目の露光動作が「第２露光期間」で行われ、その後に２回目の読出動作が「第２読出期間」で行われる。以降同様であり、ｎ回目の露光動作が「第ｎ露光期間」で行われ、その後にｎ回目の読出動作が「第ｎ読出期間」で行われる。以上の動作によって、ｎ個の画像データが得られ、これらに基づいて一つの画像データが作成されることで多重露光撮像動作が終了する。なお、ｎは２以上の整数とする。
【００７３】
また、イメージセンサの第１露光期間の開始時から第ｎ露光期間の終了時までを、「多重露光期間」とする。また、メカニカルシャッタは、第１〜第ｎ露光期間のそれぞれの期間中に開の状態となり、それ以外の期間は閉の状態となる。
【００７４】
本例では、多重露光期間中の任意のタイミングで、上述した「カシャン」という音色の報知音を出力する。また、図５には、報知音が多重露光期間の終了時、即ち第ｎ露光期間の終了時から出力が開始される場合について示している。
【００７５】
図５に示すように報知を行うこととすると、多重露光期間の終了時に報知が行われることとなる。そのため、多重露光期間、即ち撮像装置を大きく動かすことができない期間が終了したことを、ユーザに対して報知することが可能となる。したがって、多重露光期間中に、ユーザが撮像装置を大きく動かすことを抑制することができる。なお、図５に示す例では、報知音の出力の終了時を第ｎ読出期間中としているが、第ｎ読出期間の終了後に報知音の出力が終了することとしても構わない。
【００７６】
また、多重露光期間の終了時と報知音の終了時とが重なるようにして、報知音の出力を開始することとしても、図５に示す例と同様に多重露光期間の終了をユーザに認識させることが可能となる。また、この場合の報知音の出力開始位置と、図５に示す報知音の出力開始位置（多重露光期間の終了時）と、の間の任意の位置から報知音の出力を開始したとしても、多重露光期間の終了時が報知音を出力する期間に含まれることとなる。そのため、多重露光期間の終了をユーザに報知することが可能となる。
【００７７】
なお、上述した例は、多重露光期間の終了時をユーザに報知することで、撮像装置が大きく動かされることを抑制するものであるが、多重露光期間の序盤や中盤に報知を開始することとしても、撮像装置を大きく動かされることを抑制することが可能となる。例えば序盤に報知を開始することとすると、報知音がなかなか出力されないためにユーザが撮像装置の操作を失敗したと思い込んで多重露光期間中に撮像装置を大きく動かしてしまうこと、を抑制することが可能となる。一方、中盤に報知を開始することとすると、ユーザが、操作を失敗したと思い込んで多重露光期間中に撮像装置を大きく動かすことと、多重露光期間が既に終了したと思い込んで撮像装置を大きく動かすことと、の両方を抑制することができる。
【００７８】
また、例えば多重露光期間の序盤及び中盤、中盤及び終盤、のように多重露光期間中の複数の箇所で報知音の出力を開始しても構わない。このように複数回報知することとすると、より確実に多重露光撮像動作の有無をユーザに報知することが可能となる。
【００７９】
［第２実施例］
多重露光撮像動作を行う際の報知動作の第２実施例について、図面を参照して説明する。図６は、多重露光撮像動作を行う場合の報知部の動作の第２実施例について示すタイミングチャートであり、第１実施例について示した図５に相当するものである。なお、図５と同様の部分に関しては同じ名称を付し、その詳細な説明については省略する。また、以下では説明の便宜上、報知音の音色である「カシャン」が、「カ」「シャ」「ン」の三つの部分に分離可能なものとして説明する。
【００８０】
本例における報知動作以外の動作、即ちシャッタトリガやイメージセンサ、メカニカルシャッタなどの動作については第１実施例と同様のものとなる。そのため、これらの動作の詳細な説明については省略する。また、多重露光期間中に報知音の出力を開始する点についても、第１実施例と同様となる。
【００８１】
本例は、長報知音を出力することで報知を行う。長報知音とは、少なくとも二つの露光期間が含まれる長さの報知音とする。図６に示す例では、第１露光期間の終了時から第ｎ露光期間の終了時まで報知音を出力することとしている。即ち、ｎ−１個の露光期間が含まれる長さの長報知音が出力されることを示している。
【００８２】
また、図６に示す例では、長報知音が出力される期間よりも短い所定の報知音を変形させることで、出力される期間を長くする。例えば、所定の報知音の音色（「カシャン」）の時間的に中間となる音（「シャ」）を伸ばして出力するなどの方法によって、長報知音が出力される。
【００８３】
本例のように、複数の露光期間が含まれるようにして報知音を出力することとすると、少なくとも報知音が出力されている複数の露光期間については多重露光期間であることをユーザに対して報知することが可能となる。そのため、報知が行われる複数の露光期間中に撮像装置が大きく動かされることが抑制され、複数の良好な画像データを得ることが可能となる。したがって、得られる複数の画像データに基づいて作成される一つの画像データを、良好なものにすることが可能となる。
【００８４】
また、長報知音を出力して報知を行うこととすると、多重露光撮像動作を行っていることをユーザが認識し易くなる。特に、報知音が伸びて出力されることによって、多重露光期間が長いものであることがユーザに想起されやすくなる。したがって、多重露光期間中に撮像装置が大きく動かされることを抑制することが可能となる。
【００８５】
また、既存の報知音用の音声データを調整して出力するだけであるため、多重露光撮像動作専用の報知音を備える必要がなくなる。特に、撮像条件によって多重露光期間を可変にするとともに、報知する期間もあわせて可変とするような場合においては、本例のように既存の音声データを調整する方法であるとどのような場合にも対応することができる。
【００８６】
なお、本例と第１実施例とを組み合わせても構わない。即ち、第１実施例において出力される報知音を、本例の長報知音としても構わない。このように構成すると、第１実施例の効果をさらに高めることが可能となる。即ち、撮像装置が大きく動かされることをより抑制することが可能となる。
【００８７】
また、多重露光期間の全てが含まれるように長報知音が出力されることとすると、ユーザに対して、多重露光期間の全てにおいて撮像装置を動かさないように働きかけることができるため好ましい。
【００８８】
一方、図６に示すように序盤の所定の露光期間（例えば、第１露光期間）で出力しないものとしたり、終盤の所定の露光期間（例えば、第ｎ露光期間）で出力しないものとしたり、序盤及び終盤の所定の露光期間で出力しないものとしたりしても構わない。このとき、シャッタトリガ入力時から報知音出力開始時までのわずかな期間や、報知音出力終了時から多重露光期間終了時までのわずかな期間に、報知音が出力されていないことをユーザが認識して撮像装置を大きく動かすことは困難となる。そのため、このような構成としても多重露光期間の全てにおいてユーザが撮像装置を大きく動かすことを抑制することができる。また、長時間報知音を出力することがなくなり、省電力化やユーザに与える印象を良いものとすることが可能となる。また、第２露光期間や第ｎ−１露光期間についても同様に、報知音を出力しないこととしても構わない。
【００８９】
［第３実施例］
多重露光撮像動作を行う際の報知動作の第３実施例について、図面を参照して説明する。図７は、多重露光撮像動作を行う場合の報知部の動作の第３実施例について示すタイミングチャートであり、第１及び第２実施例について示した図５及び図６に相当するものである。なお、図５及び図６と同様の部分に関しては同じ名称を付し、その詳細な説明については省略する。
【００９０】
本例は、報知音にエコーをかけることによって長報知音を出力する。図７に示す例では、第１露光期間の終了時から第ｎ露光期間の終了時まで報知音を出力することとしている。このような長報知音を出力する点については第２実施例と同様であり、報知する期間についても第２実施例と同様である。したがって、長報知音を出力することによって得られる効果を、第２実施例と同様に本例でも得ることができる。
【００９１】
本例のように、報知音にエコーをかけて長報知音にして出力することで、自然な報知音を出力することが可能となる。また、報知音にフィルタなどを用いてエコーをかけるだけであるため、処理が簡易なものとなる。また、第２実施例と同様に既存の報知音を調整して出力する構成とすると、多重露光撮像動作専用の報知音を備える必要がなく、報知する期間が可変であったとしても容易に対応することができる。
【００９２】
なお、本例と第１実施例とを組み合わせても構わない。即ち、第１実施例において出力される報知音を、本例の長報知音としても構わない。このように構成すると、第１実施例の効果をさらに高めることが可能となる。即ち、撮像装置が大きく動かされることをより抑制することが可能となる。
【００９３】
［第４実施例］
多重露光撮像動作を行う際の報知動作の第４実施例について、図面を参照して説明する。図８は、多重露光撮像動作を行う場合の報知部の動作の第４実施例について示すタイミングチャートであり、第１〜第３実施例について示した図５〜図７に相当するものである。なお、図５〜図７と同様の部分に関しては同じ名称を付し、その詳細な説明については省略する。
【００９４】
本例は、長報知音より短い短報知音を繰り返したもので長報知音を構成する。また、図８に示す例では、第１露光期間の終了時から第ｎ露光期間の終了時まで長報知音を出力することとしている。長報知音を出力する点については第２及び第３実施例と同様であり、長報知音を報知する期間についても第２及び第３実施例と同様である。したがって、長報知音を出力することによって得られる効果を、第２及び第３実施例と同様に本例でも得ることができる。
【００９５】
また、本例では多重露光期間の終了時に、長報知音を構成する短報知音とは異なる報知音である終了報知音を出力することとしている。図８に示す例では、終了報知音を短縮したものを短報知音としている。
【００９６】
本例のように、短報知音を繰り返したものを長報知音として出力することで、多重露光撮像動作を行っていることをユーザに認識させ易くすることができる。特に、報知音を短縮して繰り返し出力することとすると、多重露光撮像動作のイメージがユーザに対して伝わりやすいものとなる。そのため、より効果的に、ユーザに対して複数の露光期間中に撮像装置を大きく動かさないように働きかけることが可能となる。
【００９７】
また、多重露光期間が終了した後に、長報知音を構成する短報知音とは異なる終了報知音を出力することによって、多重露光期間が終了したことをユーザに対して明確に報知することができる。
【００９８】
また、第２及び第３実施例と同様に、既存の報知音を調整して短報知音と終了報知音とを出力する構成とすると、多重露光撮像動作専用の報知音を備える必要がなく、報知する期間が可変であったとしても容易に対応することができる。
【００９９】
なお、終了報知音として既存の報知音を用いても構わない。さらに、短報知音が、既存の報知音を間引いて短縮化したものとしても構わないし、既存の報知音の一部（例えば前半部分）のみを出力したものとしても構わない。また、短報知音が連続して出力されることとしても構わないし、等間隔で出力されることとしても構わない。
【０１００】
また、終了報知音と多重露光期間の終了時とが重なる限り、終了報知音を出力するタイミングを図８に示す場合と異なるものとしても構わない。また、終了報知音を出力しない構成としても構わないし、他の実施例において終了報知音を出力する構成としても構わない。
【０１０１】
また、長報知音の終了時と終了報知音の開始時とが連続となるように構成し、長報知音と終了報知音とを一連の報知音としてユーザに報知しても構わない。また、長報知音と終了報知音とが不連続となるように構成し、それぞれ別々の報知音としてユーザに報知することとしても構わない。
【０１０２】
また、本例と第１実施例とを組み合わせても構わない。即ち、第１実施例において出力される報知音を、本例の長報知音としても構わない。このように構成すると、第１実施例の効果をさらに高めることが可能となる。即ち、撮像装置が大きく動かされることをより抑制することが可能となる。また、本例の終了報知音が、第１実施例について示した図５の報知音と同様の期間に出力されるものとしても構わない。
【０１０３】
［第５実施例］
多重露光撮像動作を行う際の報知動作の第５実施例について、図面を参照して説明する。図９は、多重露光撮像動作を行う場合の報知部の動作の第５実施例について示すタイミングチャートであり、単露光撮像動作について示した図４や、第１〜第４実施例について示した図５〜図８に相当するものである。なお、図４及び図５〜図８と同様の部分に関しては同じ名称を付し、その詳細な説明については省略する。
【０１０４】
本例は、第２〜第４実施例の長報知音が出力される期間と同様の期間に、プレビュー画像表示を行うことによって報知することとし、その後は黒画面表示を行うこととする。また、図９に示す例では、第１露光期間の終了時から第ｎ露光期間の終了時までプレビュー画像表示を行うこととしている。そして、報知を長い期間行う点については第２〜第４実施例と同様であるため、長い期間報知を行うことによって得られる効果を、第２〜第４実施例と同様に本例でも得ることができる。
【０１０５】
さらに、第４実施例と同様に、多重露光期間の終了時にプレビュー画像表示とは異なる黒画面表示を行うこととしている。そのため、長い期間行った報知動作とは異なる報知動作を多重露光期間の終了時に行うことによって得られる効果を、第４実施例と同様に本例でも得ることができる。
【０１０６】
本例のように、プレビュー画像表示を長い期間行うこととすると、多重露光期間であることをユーザの視覚に対して訴えることが可能となる。したがって、多重露光期間であることをユーザに明確に報知することが可能となる。
【０１０７】
なお、プレビュー画像に加えて（またはプレビュー画像に代えて）、「多重露光期間中」などの文字やマークを表示装置などに表示することとしても構わない。このように表示を行うこととすると、ユーザに対して明確な報知を行うことが可能となる。黒画面表示を行う期間についても同様であり、「多重露光期間終了」などの文字やマークを所定の期間表示することとしても構わない。
【０１０８】
また、本例だけでも報知を行うことが可能であるが、本例と第１〜第４実施例とを組み合わせて、複数の異なる方法で報知動作を行うこととしても構わない。そして、異なる複数の報知動作を組み合わせて実行することで、ユーザに対してより強く報知することが可能となる。
【０１０９】
［変形例］
上述した第１〜第５実施例では、報知部が画像の表示と音声の出力とによって報知することとしたが、これらの方法に加えて（または、これらの方法に代えて）他の方法で報知することとしても構わない。例えば、報知用のＬＥＤランプを点滅させたり点灯させたりすることによって報知しても構わない。この場合、例えば複数のＬＥＤを使用したり、点滅の周期などを制御したりすることによって報知を行っても構わない。ただし、第１〜第５実施例に示した報知動作を行う期間と同様の期間に報知動作を行うこととする。
【０１１０】
また、メカニカルシャッタは、イメージセンサの露光期間中に開の状態となっている必要があり、読出期間中には読出時の画像データの劣化を抑制するために閉の状態となることが好ましい。したがって、他の期間中では開閉どちらの状態になっても構わない。また、メカニカルシャッタを備えない構成としても構わないし、多重露光期間中に常時開状態としても構わない。
【０１１１】
また、本発明は、静止画の画像データを作成することができる電子機器であれば、どのような電子機器にも適用することができる。例えば、携帯電話やＰＤＡ（Personal Digital Assistant）などに適用しても構わない。
【０１１２】
また、本発明の実施形態について示す図１の撮像装置１について、報知部１５の動作を、マイコンやＣＰＵ１６などの制御装置が行うこととしても構わない。さらに、これらの制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１１３】
また、上述した場合に限らず、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１１４】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１１５】
本発明は、一つの画像データを作成するために複数回露光動作を行う多重露光撮像動作を実行可能な撮像装置や、その撮像方法に関する。特に、複数の画像データを合成して一つの画像データを作成する加算式手ぶれ補正を実行することができる撮像装置及び撮像方法に適用することとすると好適である。
【図面の簡単な説明】
【０１１６】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、加算式手ぶれ補正処理が施される画像データの模式図である。
【図３】は、単露光撮像動作を行う場合の報知部の報知動作例について示すタイミングチャートである。
【図４】は、単露光撮像動作を行う場合の報知部の動作について示すタイミングチャートである。
【図５】は、多重露光撮像動作を行う場合の報知部の動作の第１実施例について示すタイミングチャートである。
【図６】は、多重露光撮像動作を行う場合の報知部の動作の第２実施例について示すタイミングチャートである。
【図７】は、多重露光撮像動作を行う場合の報知部の動作の第３実施例について示すタイミングチャートである。
【図８】は、多重露光撮像動作を行う場合の報知部の動作の第４実施例について示すタイミングチャートである。
【図９】は、多重露光撮像動作を行う場合の報知部の動作の第５実施例について示すタイミングチャートである。
【符号の説明】
【０１１７】
１    撮像装置
２    撮像部
３    イメージセンサ
４    レンズ部
５    ＡＦＥ
６    マイク
７    画像処理部
８    音声処理部
９    圧縮処理部
１０    外部メモリ
１１    ドライバ部
１２    伸長処理部
１３    画像出力回路部
１４    音声出力回路部
１５    報知部
１６    ＣＰＵ
１７    メモリ
１８    操作部
１９    ＴＧ部
２０    バス
２１    バス
３０，３１  画像データ
３０ａ，３１ａ  特徴領域
【図１】
2009232227.tif 000003
【図２】
2009232227.tif 000004
【図３】
2009232227.tif 000005
【図４】
2009232227.tif 000006
【図５】
2009232227.tif 000007
【図６】
2009232227.tif 000008
【図７】
2009232227.tif 000009
【図８】
2009232227.tif 000010
【図９】
2009232227.tif 000011