(57)【特許請求の範囲】
【請求項１】
入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する制御部と、を備えた
撮像装置。
【請求項２】
前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ動作の推奨提示制御を行う
請求項１に記載の撮像装置。
【請求項４】
前記制御部は、特定のフレームレートでの動画撮像モードであることを条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
請求項１乃至請求項３のいずれかに記載の撮像装置。
【請求項５】
前記特定のフレームレートは、２４ｆｐｓ又は２３．９７６ｆｐｓである
請求項４に記載の撮像装置。
【請求項６】
前記制御部は、バッテリチェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
請求項１乃至請求項５のいずれかに記載の撮像装置。
【請求項７】
前記制御部は、集音環境チェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
請求項１乃至請求項６のいずれかに記載の撮像装置。
【請求項８】
前記撮像素子部から得られた撮像信号の信号処理を行って画像データを生成する信号処理部をさらに備え、
前記制御部は、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、前記信号処理部に対して、メカニカルシャッタ動作対応の処理設定を指示する
請求項１乃至請求項７のいずれかに記載の撮像装置。
【請求項９】
前記制御部は、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、画像データに前記メカニカルシャッタ動作に対応した情報が付加されるように指示する
請求項１乃至請求項８のいずれかに記載の撮像装置。
【請求項１０】
入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
を備えた撮像装置の撮像方法として、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する
撮像方法。
【請求項１１】
入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
を備えた撮像装置の制御部に、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する処理を実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は撮像装置、撮像方法、プログラムに関し、特にメカニカルシャッタを用いた撮像動作に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１２−１８２６５７号公報
【特許文献２】特開２０１２−１２９５８９号公報
【背景技術】
【０００３】
上記特許文献１には、いわゆるローリングシャッタ方式の電子シャッタ制御、及びメカニカルシャッタを併用する撮像装置についての技術が開示されている。
上記特許文献２には、電子シャッタとメカニカルシャッタを選択する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年主流となっているイメージセンサでは滑らかな動画再生ができるが、旧来のフィルムカメラで撮影した映像とは趣が異なる。特にフィルム映画用によく用いられてきた２４ｆｐｓで撮影された映像では、独特の画質感（パラパラ感）や臨場感がある。フィルムでは、映像フレーム間で露光していない一定の期間が必ず存在し、それが独特の画質感を生む一要因となっている。
最近の動画システムでも露光していない期間は存在しているが、その期間はフィルムほど長くなく滑らかな映像が得られる。その反面、フィルム時代の画質感は失われている。
【０００５】
そこで本技術は、旧来のフィルム撮影のような画質感のある画像データが得られるような撮像を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本技術に係る撮像装置は、入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、前記メカニカルシャッタを介した入射光を受光する撮像素子部と、前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する制御部とを備えたものである。
ここでいうメカニカルシャッタ動作は、フレーム期間毎にメカニカルシャッタを高速に開閉させ、これによって撮像素子部の露光期間を規定する動作となる。このメカニカルシャッタ動作により映像フレーム間で露光していないある程度の長さの期間を設けるようにして、旧来のフィルム撮影による映画のような独特の画質感、臨場感をもった動画撮像が実行されるようにする。
【０００７】
上記した撮像装置においては、前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示することが考えられる。
即ち有効シャッタ動作と判断した場合に自動的にメカニカルシャッタ動作状態とさせる。
【０００８】
上記した撮像装置においては、前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ動作の推奨提示制御を行うことが考えられる。
即ちメカニカルシャッタ動作の推奨提示によりメカニカルシャッタ動作を行うか否かをユーザが選択可能とする。
【０００９】
上記した撮像装置においては、前記制御部は、特定のフレームレートでの動画撮像モードであることを条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定することが考えられる。例えば前記特定のフレームレートは、２４ｆｐｓ又は２３．９７６ｆｐｓである。
例えば２４Ｐ（24frames/s progressive：毎秒２４フレームの順次走査（プログレッシブスキャン）方式）の画像データなどのような、特定のフレームレートの場合に、上述のメカニカルシャッタ動作による映像効果が顕著となることから、特定のフレームレートであることを条件とする。
【００１０】
上記した撮像装置においては、前記制御部は、バッテリチェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定することが考えられる。
即ちバッテリ残量が十分な場合や外部電源を使用しているなどの場合にメカニカルシャッタ動作を有効シャッタ動作とする。
【００１１】
上記した撮像装置においては、前記制御部は、集音環境チェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定することが考えられる。
即ちメカニカルシャッタ動作によるメカニカルシャッタの動作音が撮像コンテンツの音声に影響がないような場合に、メカニカルシャッタ動作を有効シャッタ動作とする。
【００１２】
上記した撮像装置においては、前記撮像素子部から得られた撮像信号の信号処理を行って画像データを生成する信号処理部をさらに備え、前記制御部は、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、前記信号処理部に対して、メカニカルシャッタ動作対応の処理設定を指示することが考えられる。
即ちメカニカルシャッタ動作に対応する信号処理が自動設定されるようにする。
【００１３】
上記した撮像装置においては、前記制御部は、メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、画像データに前記メカニカルシャッタ動作に対応した情報が付加されるように指示することが考えられる。
メカニカルシャッタ動作に対応した情報とは、例えばメカニカルシャッタ動作によって撮像された画像データの再生の際に適切な処理を実行するための情報である。画像データの再生機器においては、この情報に基づいて、画像データの再生時に、メカニカルシャッタ動作により撮像されたことによる映像効果が適切に得られるようにする。
【００１４】
本技術に係る撮像方法は、入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、前記メカニカルシャッタを介した入射光を受光する撮像素子部と、前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部とを備えた撮像装置の撮像方法である。そして動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する。
これにより映像フレーム間で露光していないある程度の長さの期間を設けた画像データが得られるようにする。
本技術に係るプログラムは、上記撮像方法の処理を撮像装置の制御部に実行させるプログラムである。
【発明の効果】
【００１５】
本技術によれば映像フレーム間で露光していないある程度の長さの期間を設けた画像データが得られ、旧来のフィルム撮影のような画質感のある画像データを実現できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態の撮像装置のブロック図である。
【図２】ローリングシャッタ方式の電荷読出の説明図である。
【図３】ローリングシャッタ方式の露光期間の説明図である。
【図４】実施の形態の音声処理部のノイズキャンセル回路系のブロック図である。
【図５】実施の形態のメカニカルシャッタ動作の説明図である。
【図６】実施の形態のシャッタモード設定処理のフローチャートである。
【図７】実施の形態のシャッタモード設定処理のフローチャートである。
【図８】実施の形態のシャッタモード設定処理の詳細なフローチャートである。
【図９】実施の形態のシャッタモード設定処理の詳細なフローチャートである。
【図１０】フレーム感ノイズリダクションの影響の説明図である。
【図１１】実施の形態の再生装置のブロック図である。
【図１２】実施の形態の映像補間の説明図である。
【図１３】実施の形態の映像補間時の黒画像挿入の説明図である。
【図１４】実施の形態のコンテンツ再生処理のフローチャートである。
【図１５】実施の形態のコンテンツ再生処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．メカニカルシャッタ動作＞
＜３．シャッタモード設定処理＞
＜４．再生装置の構成及び動作＞
＜５．プログラム及び記憶媒体＞
＜６．まとめ及び変形例＞
【００１８】
＜１．撮像装置の構成＞
図１は実施の形態の撮像装置１の構成例を示している。この撮像装置１は、ユーザ操作に応じて被写体撮像を行い、例えば動画データ又は静止画データを生成することができる撮像装置、もしくは動画データの生成専用の撮像装置とされる。
撮像装置１は、撮像動作により得た画像データを表示出力したり、記憶媒体に出力して記憶させたり、外部機器に送信出力する。出力する画像データとしては、いわゆる所定の画像フォーマットのストリームデータ、ファイル形式のデータ、ＲＡＷ画像データ等が想定される。
【００１９】
被写体光を入射するレンズ系として撮像レンズ１０が設けられる。この撮像レンズ１０は図１では１つのレンズとして表しているが、実際には集光レンズ、フォーカスレンズ、ズームレンズ等、複数のレンズから構成されている。
撮像レンズ１０を介した入射光は絞り機構１１、メカニカルシャッタ１２を通過して撮像素子部１３に達し、受光される。
なお、入射光がメカニカルシャッタ１２を通過してから絞り機構１１を介して撮像素子部１３に達する構造でも良い。
【００２０】
レンズ駆動部２３は撮像レンズ１０におけるフォーカスレンズやズームレンズを光軸方向に駆動する機構として示している。
絞り駆動部２４は絞り機構１１を駆動し、その開口を変化させる。
レンズ制御部２５は、レンズ駆動部２３を介して撮像レンズ１０における駆動を制御すると共に、絞り駆動部２４を介して絞り機構１１を駆動し、撮像時の被写体輝度に応じた絞りの制御を行う。このレンズ制御部２５は制御部２０と通信し、制御部２０の指示に応じてレンズ駆動部２５や絞り駆動部２４による駆動を制御する。またレンズ制御部２５は制御部２０に対して焦点距離、射出瞳距離、焦点位置（フォーカス位置）等に関するレンズ情報を通知する。
【００２１】
メカニカルシャッタ１２は撮像素子部１３に対する入射光を通過又は遮蔽する。メカニカルシャッタ１２はメカニカルシャッタ駆動部１７により開閉駆動される。本実施の形態の場合、メカニカルシャッタ１２は例えば２４ｆｐｓ、３０ｆｐｓ程度の動画のフレーム期間毎に開閉できる程度の高速開閉が可能なタイプとされる。
【００２２】
撮像素子部１３は例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等により形成される撮像素子と、撮像素子から読み出した信号を処理する読出信号回路等を有する（後述する図２Ａの撮像素子４０、読出信号回路４８）。
この撮像素子部１３では、撮像素子での光電変換で得た電気信号について、読出信号回路において例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の信号処理部１４に出力する。
撮像素子部１３の撮像素子における電荷蓄積及び信号読出は撮像素子駆動部１８からのタイミング信号に基づいて行われる。この撮像素子駆動部１８からの制御により、撮像素子部１３において電子シャッタ動作が行われる。
【００２３】
信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）等により構成される。この信号処理部２０は、撮像素子部１３からのデジタル信号（撮像信号）に対して、各種の信号処理を施す。
例えば信号処理部１４は、ホワイトバランスやガンマ処理などの映像処理、フレーム間ノイズリダクション等の画質補正処理、解像度変換処理、表示信号生成処理、記録用／通信用の符号化処理（コーデック）等を行い、画像データ（動画又は静止画）を出力する。また信号処理部１４は画像データに対するメタデータ付加等も行う。
表示信号としての画像データは表示制御部１５に供給される。記録用の画像データは記憶部１９に供給される。通信用の画像データは通信部２２に供給される。
【００２４】
マイクロホン２８は動画撮像の際の周囲音声（被写体からの音や環境音）を集音する。このマイクロホン２８は撮像装置１に内蔵されるものでも良いし、外部マイクロホンとして着脱可能のものでもよい。
マイクロホン２８で集音された音声信号Ｓ１に対しては、音声処理部３０で増幅、Ａ／Ｄ変換、ノイズキャンセル等が施され、動画データに対応する音声データとして信号処理部１４に供給される。信号処理部１４では、動画撮像時において、音声処理部３０から供給される音声データを動画映像に付随する音声データとして処理する。
【００２５】
マイクロホン２９は、撮像装置１の内部においてメカニカルシャッタ１２の近傍に配置され、メカニカルシャッタ１２の動作音（開閉音）を集音する。このマイクロホン２９によって得られる音声信号Ｓ２は音声処理部３０に供給され、ノイズキャンセル処理に用いられる。
【００２６】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述するシャッタモード設定処理を実行するためのプログラムが記憶される。
【００２７】
このような制御部２０は、信号処理部１４における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、シャッタモード動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
【００２８】
表示部１６はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスや、該ディスプレイデバイスに表示を実行させる表示ドライバを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
表示制御部１５は、表示部１６における表示動作を制御する。例えば表示制御部１５は、制御部２０の指示に基づいて表示部１６に各種表示を実行させる。例えば表示制御部１５は表示部１６において、撮像して記録媒体（後述の記憶部１９）に記録した静止画や動画を再生表示させたり、レリーズや（シャッタ操作）の待機中や動画撮像のスタンバイ中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）を表示させる。また表示制御部１５は、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を表示部１６の画面上に実行させる。
【００２９】
操作部２１は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部２０へ送る。
この操作部２１としては、例えば撮像装置１の筐体上に設けられた各種操作子や、表示部１６に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、メニューボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部１６に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【００３０】
記憶部１９は、例えば不揮発性メモリからなり、信号処理部１４が生成する画像データ（静止画や動画の画像データファイル（コンテンツファイル））や、画像データファイルについてのメタデータ、サムネイル画像等を記憶する記憶領域として機能する。
記憶部１９の実際の形態は多様に考えられる。例えば記憶部１９は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【００３１】
通信部２２は、外部機器との間のデータ通信を有線又は無線で行う。例えば外部の表示装置、記録装置、再生装置、編集装置等の間で画像データ（静止画や動画としての画像データファイル、或いは動画ストリームデータ等）の通信を行う。
また通信部２２はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【００３２】
電源部３１は各部に動作電源電圧Ｖｃｃを供給する。電源部３１は装填されたバッテリ（一次電池又は二次電池）を電源とする。また電源部３１は、図示しないＡＣアダプターを接続して外部の商用交流電源を用いて動作電源電圧Ｖｃｃを得ることもできる。
制御部２０は電源部３１に対して電源供給のオン／オフ制御を行う。また制御部２０は電源部３１においてＡＣアダプターを介して商用交流電源を利用しているか否かを検出できるとともに、バッテリ使用時のバッテリ残量を検出できるようにされている。
【００３３】
このような本実施の形態の撮像装置１では、撮像素子部１３における電子シャッタ動作及びメカニカルシャッタ１２を用いたメカニカルシャッタ動作が可能とされている。
シャッタモードとしては、電子シャッタ動作のみによるシャッタ動作と、電子シャッタ動作とメカニカルシャッタ動作を合わせたシャッタ動作が可能である。
後述する「電子シャッタモード」とは電子シャッタ動作のみによるシャッタ動作を行うモードで、「メカニカルシャッタモード」とは電子シャッタ動作とメカニカルシャッタ動作の両方によるシャッタ動作を行うモードである。
【００３４】
ここで電子シャッタ動作、特に近年広く採用されているローリングシャッタ動作について説明しておく。
一般に撮像装置における画像撮影処理のシャッタ動作方式として、撮像素子面の一方向から露光開始や露光終了を制御するシャッタ動作がローリングシャッタ動作と呼ばれる。例えば撮像素子の上位行から下位行に向けて露光開始や露光終了を制御すると、行毎の露光時間が少しずつずれるという特徴を持つ。
図２Ａに、本実施の形態の撮像素子部１３に用いられるＣＭＯＳイメージセンサによる撮像素子４０を示している。
撮像素子（ＣＭＯＳイメージセンサ）４０は、垂直走査回路４２、水平走査回路４３、および、アレイ状に配置された複数の画素４１から構成される。
【００３５】
行方向（図面の横方向）に並ぶ各画素４１に対しては水平リセット線４４と水平選択線４５が共通に配され、また列方向（図面の縦方向）に並ぶ各画素４１に対しては垂直信号線４６が共通に配されている。
垂直走査回路４２は各水平選択線４５を順次選択することで、電荷を読み出す画素４１の行を選択する。また垂直走査回路４２は各水平リセット４４により、行単位で画素４１の露光をリセットできる。
【００３６】
画素４１の内部では、被写体撮像に伴う露光処理によってフォトダイオードに電荷が蓄積される。
各画素４１のフォトダイオードに蓄積された電荷は、画素４１内のアンプトランジスタおよび転送トランジスタを介して垂直信号線４６に出力される。各垂直信号線４６に出力された信号電荷は、さらに水平走査回路４３に供給され、１ライン分の撮像信号として信号出力線４７から読出信号回路４８へ供給される。
垂直信号線４６には、縦に並んだ各画素４１が共通に接続されているので、それぞれの画素４１の信号を独立に読み出すために、垂直信号線４６に対して、１度に１個の画素分の信号のみを出力する。つまり水平選択線４５により、１行の画素４１を選択し、その各画素４１の電荷が各垂直信号線４６によって読み出される。
例えば図２Ｂに示すように、一番下の行に並んだ画素４１ｄのそれぞれから、最初に信号を読出し、次に、図２Ｃに示されるように画素４１ｃの行からの読み出しを行い、その後、順次、読み出しの行を変更していく。
【００３７】
画素４１の各々は、蓄積された電荷の読み出し処理直後から、再び露光を開始する。すなわち、次の画像フレーム用の露光処理が開始される。
このように読み出し処理を行単位で順次、実行し、その直後から露光処理を開始すると、先頭行の画素４１と最終行の画素４１とでは、露光の開始時刻および終了時刻が異なる、すなわち露光時間（または露光期間）にずれが発生する。
なお、図２では、画素４１ａ〜４１ｄの４行のみ示しているが、これは撮像素子４０の一部を示しているのみであり、実際の撮像素子４０には数１００〜数１０００行等、多数の行が設定され、各行単位で順次読み出しが実行される。
【００３８】
ローリングシャッタ方式では、以上のように各行の画素４１は、水平リセット線４４によって画素４１の蓄電電荷量をゼロにするリセットが行われた後、所定時間経過した時点で水平選択線４５により選択されて蓄積された電荷が読み出されることで、電子シャッタによる撮像動作（電子シャッタ動作）が実現される。
【００３９】
図３を参照して、各行の露光の開始および終了タイミングと、電荷の読み出しタイミングの一例について説明する。 図３は時間軸を横軸、行を縦軸として示している。
例えば図３において、露光開始タイミングＳＬや電荷読み出しタイミングＲＬは、図に点線ラインで示すように、行（Ｌ１、Ｌ２・・・Ｌｎ）単位で時間ずれが発生する。
即ち図３においては１フレームの各行での露光期間を示しているが、先頭行Ｌ１の画素では、時点ｔ１０において露光が開始され、時点ｔ１１で電荷読出が行われる。
最終行Ｌｎの画素では例えば時点ｔ１１において露光が開始され、時点ｔ１２で電荷読出が行われる。
なお、この例では、各行の露光開始と露光終了（電荷読み出し）は、行単位で同じタイミングのずれが発生しているため、各行（Ｌ１、Ｌ２・・・Ｌｎ）の露光時間Ｔｒは全て同じとなる。
【００４０】
このようなＣＭＯＳイメージセンサによるローリングシャッタ方式では、低消費電力化や高速読出に好適なものとして広く用いられているが、画面上部の露光タイミングと画面下部の露光タイミングが異なることから、動きの速い被写体に対していわゆるローリングシャッター歪が生ずることや、高速に点滅するような光源が被写体に入ったときに適切に撮像できないという点が知られている。
【００４１】
次に図１に示した音声処理部３０におけるノイズキャンセル処理について説明しておく。
本実施の形態の場合、動画撮像時に集音される音声からメカニカルシャッタ１２の動作音をキャンセルする回路が搭載される。
図４は音声処理部３０におけるノイズキャンセル回路系を示したものである。
マイクロホン２８で得られた音声信号（被写体音声）Ｓ１は、端子５１から入力され、マイクアンプ５４で増幅されＡ／Ｄ変換器５７でデジタル音声データに変換された後、減算器５４に供給される。
一方、端子５２には、マイクロホン２９で得られた音声信号（メカニカルシャッタ１２の動作音）Ｓ２が入力される。音声信号Ｓ２がマイクアンプ５６で増幅処理され、Ａ／Ｄ変換器５８でデジタル音声データに変換された後、適応フィルタ５５に供給される。そして適応フィルタ５５の出力が減算器５４に供給される。減算器５４は音声信号Ｓ１から適応フィルタ５５の出力を減算して端子５６からの音声信号Ｓ１’とする。これはメカニカルシャッタ１２の動作音がキャンセルされた音声信号となる。
【００４２】
ここで時点ｋの音声信号をＳ１（ｋ），Ｓ２（ｋ）、適応フィルタ５５の出力をｙ（ｋ）とする。減算器５４の出力Ｓ１’は、適応フィルタの誤差成分Ｅ（ｋ）として適応フィルタ５５のフィルタ係数の更新に用いる。
音声信号Ｓ２（ｋ）と適応フィルタの特性を畳み込んだ出力ｙ（ｋ）を音声信号Ｓ１（ｋ）から引くことで、シャッタ動作音をキャンセルした音声信号Ｓ１’を得ることができる。
音声処理部３０では、このようなノイズキャンセル処理を施して、画像データとともに記録する音声データを生成することができる。
【００４３】
なお、この例はマイクロホン２９を用いてメカニカルシャッタ動作音を得ているが、メカニカルシャッタ動作音は予めわかっているため、動作音音源を用意しておいてもよい。即ちシャッタ動作音をメモリに音声データとして記憶しておき、このメモリに記憶したシャッタ動作音を、メカニカルシャッタ１２の動作タイミングに同期させて読み出して適応フィルタ５５に供給する。このようにすることでマイクロホン２９を用いない構成でシャッタ動作音のキャンセルを行うこともできる。
【００４４】
＜２．メカニカルシャッタ動作＞
本実施の形態では、動画撮像時において、フレーム期間毎にメカニカルシャッタ１２によって規定される期間に露光を行うメカニカルシャッタ動作を行うことができる。特にこのメカニカルシャッタ動作は、メカニカルシャッタ駆動部１７がメカニカルシャッタ１２のフレーム期間毎の開期間を、撮像素子部１３の全撮像画素４１が露光している期間内とする動作としている。
【００４５】
本実施の形態のメカニカルシャッタ動作を図５で説明する。
図５では垂直同期信号ＳＶ、撮像素子４０の先頭行Ｌ１から最終行Ｌｎの画素４１の露光期間、メカニカルシャッタ１２の開閉動作、及び点滅光源の点灯／消灯の各タイミングを示している。なお各行Ｌ１〜Ｌｎの画素４１については露光により電荷が蓄積される様子を波形が上昇する線により示している。
垂直同期信号ＳＶによって規定されるフレーム期間において、先頭行Ｌ１については時点ｔ０から時点ｔ２までの期間に露光が行われ、時点ｔ２に電荷読出が行われる。次の行Ｌ２の露光期間及び読み出しタイミングは多少ずれたものとなる。最終行Ｌｎでは時点ｔ１から時点ｔ３までの期間に露光が行われ、時点ｔ３に電荷読出が行われる。
【００４６】
例えばこのような場合に、メカニカルシャッタ動作としては、全ての画素４１が露光状態にある時点ｔ１〜ｔ２の期間内において開期間とされ、これが各フレーム期間毎に行われる。即ちメカニカルシャッタ１２は時点ｔ１より後の時点ｔｓに開かれ、時点ｔ２に至る前の時点ｔｅに閉じられる。
このように、撮像素子部１３内のすべての画素４１が露光している期間にメカニカルシャッタ１２を開閉して露光させ、１フレームの画像を取得する。これを垂直同期信号の間隔に合わせて繰り返し画像を読みだすことで動画撮像を行う。この場合、メカニカルシャッタ１２の閉期間は露光されていないため、撮像された動画映像には旧来のフィルム映画のような独特の画質感（パラパラ感）、臨場感が生まれる。
【００４７】
さらにこの場合、ローリングシャッタ歪みは解消される。即ち撮像素子部１３において上述のようにローリングシャッタ動作が行われていても、全画素４１の露光開始及び終了タイミングは全て同じになり、行毎の露光タイミングのずれが生じないためである。
また、ローリングシャッタ方式では、点滅光源を撮像する場合、同じ明るさの被写体が露光タイミングにより露光量が異なる問題がある。
仮に図５に示すようなタイミングで点滅光源の点灯／消灯があった場合にメカニカルシャッタ１２を用いていないとすると、先頭行での被写体画像は期間ＴＬ１の発光の影響を受け、最終行での被写体画像は期間ＴＬ２の発光の影響を受ける。これにより画像の上下で明るさが変化してしまう。これに対し上記のメカニカルシャッタ動作が行われることで、全ての画素について、発光の影響を受ける期間は期間ＴＬ３となる。従って点滅光源があった場合にもそれによる画像内での露光レベルの変動ということは生じない。即ちメカニカルシャッタ動作を行って露光の開始／終了タイミングを合わせることで、被写体又は被写体を照らすような点滅光源があったも１画像内で同じ明るさで露光できる。
【００４８】
＜３．シャッタモード設定処理＞
本実施の形態では、以上のメカニカルシャッタ動作による動画撮像を、所定の条件の元で実行する。以下では、上記のメカニカルシャッタ動作と電子シャッタ動作の両方を用いた撮像を行うか（メカニカルシャッタモード）、或いは通常の電子シャッタ動作（ローリングシャッタ方式）のみでの撮像を行うか（電子シャッタモード）を設定するシャッタモード設定処理について説明する。
【００４９】
図６に制御部２０が行うシャッタモード設定処理の例を示す。
図６Ａの例では、制御部２０はステップＳ１０１で撮像モード対応処理を行う。これは撮像モードが上述のメカニカルシャッタ動作、つまりメカニカルシャッタ１２のフレーム期間毎の開期間を撮像素子部１３の全撮像画素が露光している期間内とする動作に適したモードであるか否かを判断する処理である。例えば動画撮像モードであるか否かのチェックを行う。また単に動画撮像モードであるか否かというだけでなく、特定のフレームレートでの動画撮像であるか否かのチェックを行うようにしても良い。
また制御部２０はステップＳ１０２でバッテリ対応処理を行う。これは電源状態がメカニカルシャッタ動作に適した状態か否かを判断する処理である。例えば或る程度の時間継続して十分な電源供給が可能であるか否かをチェックする。
また制御部２０はステップＳ１０３で環境音対応処理を行う。これは集音される環境音や音声信号処理の状態がメカニカルシャッタ動作に適した状態か否かを判断する処理である。例えばメカニカルシャッタ動作音の影響が大きくなる環境か否かというチェックや、ノイズキャンセル機能が有効であるか否かのチェック等を行う。
これらはそれぞれメカニカルシャッタ動作とするための条件判定であり、このような条件判定の結果によりメカニカルシャッタ動作を有効シャッタ動作に設定する。つまりステップＳ１０の有効シャッタ動作設定処理として、ステップＳ１０１，Ｓ１０２，Ｓ１０３を行う。
【００５０】
そして制御部は、ステップＳ１０４で、メカニカルシャッタ動作が有効シャッタ動作とされているか否かにより、シャッタモード設定を行う。つまりメカニカルシャッタ動作が有効シャッタ動作とされていれば、メカニカルシャッタ動作モードとし、動画撮像が開始されたら図５のようなメカニカルシャッタ動作を行う。一方、メカニカルシャッタ動作が有効シャッタ動作とされていなければ、電子シャッタ動作モードとし、撮像開始後において図５のようなメカニカルシャッタ動作を行わないものとする。
【００５１】
図６Ｂの例は、有効シャッタ動作設定（Ｓ１０）の内容に、ステップＳ１１０のユーザ対応処理を追加したものである。これはユーザの意思がメカニカルシャッタ動作を望むものか否かを、有効シャッタ動作とする条件の１つに加えた例である。
図６Ｃの例は、有効シャッタ動作設定（Ｓ１０）において、ステップＳ１１０の順序を変えた例である。図６Ｂの場合、撮像モード対応処理（Ｓ１０１）、ユーザ対応処理（Ｓ１１０）、バッテリ対応処理（Ｓ１０２）、環境音対応処理（Ｓ１０３）の順で行うところ、図６Ｃでは、撮像モード対応処理（Ｓ１０１）、バッテリ対応処理（Ｓ１０２）、環境音対応処理（Ｓ１０３）を行った後にユーザ対応処理（Ｓ１１０）を行う。
図６Ｂの場合は、ユーザにメカニカルシャッタ動作の意思がある場合のみ、撮像の直前にバッテリ対応処理（Ｓ１０２）と環境音対応処理（Ｓ１０３）を実行できる。
一方で図６Ｃの場合は、メカニカルシャッタ動作を有効シャッタとする他の条件が満たされた後に最終的にユーザ意思にゆだねて有効シャッタ動作設定が行われるものとなる。
【００５２】
なお、シャッタモード設定処理は、これ以外にも考えられる。
例えば撮像モード対応処理のみに応じてシャッタモード設定を行うようにしてもよい。つまり図７Ａのように、ステップＳ１０１、Ｓ１０４のみとする処理例である。
また撮像モード対応処理と、バッテリ対応処理に応じてシャッタモード設定を行うようにしてもよい。つまり図７ＢのようにステップＳ１０１→Ｓ１０２→Ｓ１０４とする処理例である。
また撮像モード対応処理と、環境音対応処理に応じてシャッタモード設定を行うようにしてもよい。つまり図７ＣのようにステップＳ１０１→Ｓ１０３→Ｓ１０４とする処理例である。
また撮像モード対応処理と、ユーザ対応処理に応じてシャッタモード設定を行うようにしてもよい。つまり図７ＤのようにステップＳ１０１→Ｓ１１０→Ｓ１０４とする処理例である。
さらに、図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄの有効シャッタ動作設定（Ｓ１０）において、他の条件のチェックを行って有効シャッタ判定を行う変形例も考えられる。
【００５３】
以上の処理の、より具体的な例を図８，図９で説明する。なお図８，図９においては、図６ＢにおけるステップＳ１０１，Ｓ１１０，Ｓ１０２，Ｓ１０３，Ｓ１０４を詳しく示した例としており、これらの処理に対応する部分を一点鎖線で囲って示している。
【００５４】
シャッタモード設定処理では、制御部２０はまず撮像モード対応処理（Ｓ１０１）として図８のステップＳ２０１〜Ｓ２０４の処理を行う。
ステップＳ２０１では、現在の撮像モードが動画撮像であるか否かを判断する。静止画撮像モードの場合は、図示しないが静止画撮像用のシャッタモード設定を行う。
動画撮像モードの場合、制御部２０はステップＳ２０２で、動画撮像の中のモードとして映画風撮像モードが選択されているか否かを確認する。
これは例えば動作撮像の際のフレームレート選択とし、映画風撮像モードとは、例えば２４Ｐ（２４ｆｐｓプログレッシブスキャン）が選択されている状態とする。なお２４Ｐは一例であり、例えば２３．９７６ｆｐｓを映画風撮像モードに含めても良い。
【００５５】
動画撮像モードであり、かつ２４Ｐ等の映画風撮像が選択されていた場合は、制御部はステップＳ２０３でフラグＦｍをオンとする。
ここでフラグＦｍは、メカニカルシャッタ動作が有効シャッタ動作とされているか否かを示すフラグであるとし、最終的にフラグＦｍがオンであることが、有効シャッタ動作と判定されたものとする。
ステップＳ２０２で映画風撮像が選択されていないと判断した場合は、制御部２０はステップＳ２０４でフラグＦｍをオフとする。
なお、撮像モード対応処理（Ｓ１０１）として単に動画撮像であればフラグＦｍ＝オンとするような例も考えられる。
【００５６】
次に制御部２０はステップＳ２１０〜Ｓ２１３として、ユーザ対応処理（Ｓ１１０）を行う。まずステップＳ２１０で制御部２０は、フラグＦｍがオンであるか否かを確認する。フラグＦｍがオフであれば、ユーザ対応処理（Ｓ１１０）を終える。
制御部２０は、フラグＦｍがオンであった場合、ステップＳ２１１でメカニカルシャッタ動作を推奨する提示の制御を行う。例えば制御部２０は表示制御部１５に指示して「メカニカルシャッタ動作を行いますか？」「より映画風の画質の撮影を行いますか」等のメッセージ及び操作画像を表示部１６において表示させるとともに、それに対するユーザの「ＹＥＳ」又は「ＮＯ」の操作を待機する。
ユーザが「ＮＯ」の操作を行った場合は、制御部２０はステップＳ２１２からＳ２１３に進み、フラグＦｍをオフとしてユーザ対応処理（Ｓ１１０）を終える。
ユーザが「ＹＥＳ」の操作を行った場合は、特にフラグ処理を行わずにユーザ対応処理（Ｓ１１０）を終える。つまりフラグＦｍのオンを維持する。
なお、所定時間待機してもユーザ操作が検知できない場合は、ユーザ操作を「ＹＥＳ」とみなしてもよいし、「ＮＯ」とみなすようにしてもよい。
【００５７】
次に制御部２０は図９のステップＳ２２０〜Ｓ２２６として、バッテリ対応処理（Ｓ１０２）を行う。まずステップＳ２２０で制御部２０は、フラグＦｍがオンであるか否かを確認する。フラグＦｍがオフであれば、バッテリ対応処理（Ｓ１０２）を終える。
制御部２０は、フラグＦｍがオンであった場合、ステップＳ２２１でシャッタ自動設定状態であるか否かを確認する。
これはユーザが、電源状態に応じてメカニカルシャッタ動作を行うか否かを決める自動設定状態であるか、電源状態に関わらずメカニカルシャッタ動作、或いは電子シャッタ動作のいずれかを行うものと選択されている固定設定状態であるかを確認する処理となる。これらの設定はユーザ操作に応じて行われているものとする。
【００５８】
自動設定状態でない場合は、制御部２０はステップＳ２２５で選択されている設定がメカニカルシャッタ動作であるか電子シャッタ動作であるかを確認し、メカニカルシャッタ動作が選択されているのであれば、そのままバッテリ対応処理（Ｓ１０２）を終える。つまりフラグＦｍ＝オンを維持する。
固定設定として電子シャッタ動作が選択されている場合は、制御部２０はステップＳ２２６でフラグＦｍをオフとしてバッテリ対応処理（Ｓ１０２）を終える。なお、固定設定とは、電源状態に関わらずメカニカルシャッタ動作を選択する設定とし、電子シャッタの固定設定はないものとしてもよい。
【００５９】
ステップＳ２２１で電源状態に応じた自動設定が選択されていることを確認した場合、制御部２０はステップＳ２２２でバッテリチェックを行う。この場合制御部２０は、例えば電源部３１においてＡＣアダプターが接続されて外部電源が利用されているか、装着したバッテリを電源としているかをチェックするとともに、バッテリ使用の場合、そのバッテリ残量が十分であるか否かを確認する。
【００６０】
制御部２０は、外部電源が使用されていると判断した場合は、ステップＳ２２３からバッテリ対応処理（Ｓ１０２）を終える。つまりフラグＦｍ＝オンを維持する。
一方、内部バッテリ使用の場合は、ステップＳ２２３からＳ２２４に進み、バッテリ残量不足と判断された場合は、ステップＳ２２６においてフラグＦｍをオフとする。バッテリ残量不足ではない場合は、そのままフラグＦｍ＝オンを維持してバッテリ対応処理（Ｓ１０２）を終える。
【００６１】
次に制御部２０はステップＳ２３０〜Ｓ２３４として、環境音対応処理（Ｓ１０３）を行う。まずステップＳ２３０で制御部２０は、フラグＦｍがオンであるか否かを確認する。フラグＦｍがオフであれば、環境音対応処理（Ｓ１０３）を終える。
【００６２】
制御部２０は、フラグＦｍがオンであった場合、ステップＳ２３１で集音環境をチェックする。
この環境音対応処理は、メカニカルシャッタの動作音が撮像映像の音声に対するノイズとして比較的大きいレベルで混入してしまう状況であるか否かを判断する処理である。もしメカニカルシャッタ動作音が大きく混入する場合は、メカニカルシャッタ動作は適切ではない。そこでステップＳ２３１では、まずメカニカルシャッタ動作音が顕著に集音される環境であるか否かを判断する。
例えば、マイクロホン２８が、内蔵のマイクロホンであるか、接続された指向性マイクロホンであるかを判断する。或いは接続されたマイクロホンの指向性種別チェックなどをおこなってもよい。内蔵のマイクロホンや無指向性のマイクロホンであると、メカニカルシャッタ動作音を拾いやすいと判断できる。
またマイクロホン２８で集音される音声レベルを確認しても良い。比較的騒がしい環境、被写体からの音レベルが大きい環境などでは、メカニカルシャッタ動作音はマスキングされやすい。
これらのチェックにより集音環境が良好であるか否かを判断する。
【００６３】
集音環境が良好と判断した場合、制御部２０はステップＳ２３２から環境音対応処理（Ｓ１０３）を終える。つまりフラグＦｍ＝オンを維持する。
集音環境が良好ではないと判断した場合、制御部２０はステップＳ２３２からＳ２３３に進み、音声処理部３０におけるノイズキャンセル機能（図４参照）がオンになっているか否かを確認する。そしてオンになっていれば、フラグＦｍ＝オンを維持したまま環境音対応処理（Ｓ１０３）を終える。
ステップＳ２３３でノイズキャンセル機能がオフであることを確認した場合、制御部２０はステップＳ２３４に進みフラグＦｍをオフとして環境音対応処理（Ｓ１０３）を終える。
なお、ノイズキャンセル機能がオフである場合、自動的にオンに設定したうえで、フラグＦｍ＝オンを維持するようにしても良い。
また、この例ではノイズキャンセル機能を有する場合としているが、例えば撮像装置１が図４のようなノイズキャンセル機能を有さない場合、ステップＳ２３３は行われないものとなる。
また、ノイズキャンセル機能が常にオンとされているようにした場合、このステップＳ１０３自体を不要としてもよい。
【００６４】
制御部２０はここまでの処理の結果、フラグＦｍ＝オンであれば、各条件を満たしてメカニカルシャッタ動作が有効シャッタ動作とされている状態が維持されたことになる。
そこで制御部２０はステップＳ１０４のシャッタモード設定処理として、フラグＦｍに応じたシャッタモード設定を行う。つまりフラグＦｍ＝オンであれば、メカニカルシャッタモードに設定する（Ｓ２４０→Ｓ２４１）。フラグＦｍ＝オフであれば、電子シャッタモードに設定する（Ｓ２４０→Ｓ２４２）。
メカニカルシャッタモードとは、動画撮像開始に応じて、メカニカルシャッタ駆動部１７が図５に示したメカニカルシャッタ１２の開閉動作を実行するように制御するモードである。
【００６５】
またステップＳ２４１のメカニカルシャッタモード設定の際には、メカニカルシャッタモードに応じた各種設定も行う。
信号処理部１４において行う映像処理の一つとして、フレーム間ノイズリダクションがあるが、これは過去フレームの映像と現在のフレームの映像を重みづけして足し合わせるような処理をする。そのため、図１０に示すように残像が少なからず出てしまい臨場感が低減してしまう。図１０において左側が時刻ｍ、ｍ＋１、ｍ＋２のフレーム画像（撮像画像）で、右側が、フレーム間ノイズリダクションを施した各時刻のフレーム画像を模式的に示している。これは画面上で右から左へ移動する被写体を撮像した例であるが、斜線部分が前フレームからの残像として残った状態を示している。
本実施の形態において、メカニカルシャッタ動作を用いる動画撮像では、映画風の画質感、臨場感を得ることを目的とするため、残像が生まれないようにすることが望ましい。そこで、ステップＳ２４１では、フレーム間ノイズリダクションをオフとする設定も行うようにする。
【００６６】
また、再生環境でも補間技術を用いた高フレームレート再生を搭載するモニタが存在する。詳しくは後述するが、あえて２４Ｐなどで映画風の画像データを生成する場合に、再生装置側で高フレームレート変換が行われると、映画風の画質感、臨場感が得られない。そこで、再生装置側に、映画風の撮像を行った画像データであることが検知できるようにする。そこで、信号処理部１４において、画像データに、映画風撮像モードで撮像したことを示すメタデータが付加されるような設定を行う。
このようなメタデータの付加が行われるような設定もステップＳ２４１で行うようにすることが望ましい。
【００６７】
また例えばフィルム映画のフレームレートである２４ｆｐｓでの撮像を行うメカニカルシャッタモードでの動画撮像では、より映画風の画質に近づけるために、映画用ガンマ設定や色設定等も行うことが適切である。そこで制御部２０はステップＳ２４１でガンマ設定、色設定等も行うことが好適となる。
【００６８】
その後、ユーザ操作により動画撮像が開始されたら、ステップＳ２５０からＳ２５２に進み、動画撮像開始制御を行うことになる。以降、撮像停止となるまで、動画撮像が継続される。メカニカルシャッタモードとされた後の撮像の場合、信号処理部１４においては、ステップＳ２４１で設定に応じて、フレーム間ノイズリダクションはオフとされ、また映画賞のガンマ設定、色設定の状態で信号処理が行われる。さらに映画風撮像モードで撮像された画像データであることを示すメタデータの付加も行われる。
【００６９】
なお、ステップＳ２４１又はＳ２４２でシャッタモード設定が行われた後でも、動画撮像開始操作前にユーザが何らかのモード操作等を行ったことに応じて、シャッタモード設定変更が必要担った場合は、図８のステップＳ２０１からの処理が行われることになる。
【００７０】
以上の図８，図９では図６Ｂに沿った例を述べたが、図６Ａに対応する処理としては、図８の破線で示すように、ステップＳ１００が行われない処理とすればよい。また図６Ｃに対応する処理としては、ステップＳ１１０（Ｓ２１０〜Ｓ２１３）が、ステップＳ１０３とＳ１０４の間に行われるようにすればよい。
さらに図７Ａ、図７Ｂ、図７Ｃ、図７Ｄの処理例の場合、実行する各処理が図８、図９のステップＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１１０で示したように行われれば良い。
【００７１】
＜４．再生装置の構成及び動作＞
続いて上述の撮像装置１によって撮像された画像データ（画像コンテンツ）を再生する再生装置２について説明する。
図１１は再生装置２の構成例のブロック図である。再生装置２は再生部６１、通信部６２、信号処理部６３、表示制御部６４、表示部６５、制御部６６，音声処理部６８、スピーカ部６９を有する。
【００７２】
再生部６１は例えば、ＨＤＤや、光ディスク、メモリカード等の可搬性記録媒体を再生する装置とされる。例えば撮像装置１で撮像されて画像データが記録された記録媒体に対する再生を行うことができる。或いは通信部６２を介して受信した画像データを記録し、再生することができる。
【００７３】
通信部６２は外部機器との間のデータ通信を有線又は無線で行う。例えば撮像装置１や編集装置等の間で画像データ（静止画や動画としての画像データファイル、或いは動画ストリームデータ等）の通信を行う。また通信部２２はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【００７４】
信号処理部６３は再生表示を行う画像データ、即ち再生部６１で記録媒体から読み出された画像データや、通信部６２で受信された画像データについて再生表示のための信号処理を行う。例えば記録再生や通信のためにエンコードされた画像データのデコード、デコードした画像データについての色処理やガンマ処理、Ｒ、Ｇ、Ｂデータ分離等を行う。また信号処理部６３はフレーム補間処理を行うことで、例えば低フレームレートの画像データの高画質再生を実行させることもできる。
また信号処理部６３は画像データに付加されたメタデータを読み出し、これらの情報に応じて所定の処理を行ったり、これらの情報を制御部６６に通知する。
【００７５】
信号処理部６３で再生表示用に処理された画像データは表示制御部６４に供給される。表示制御部６４は画像データに基づいて表示部６５を駆動し、再生映像を表示させる。
表示部６５は例えばＬＣＤや有機ＥＬディスクプレイなどのディスプレイデバイスや、該ディスプレイデバイスに表示を実行させる表示ドライバを有して形成される。なお表示部６５は再生装置２と一体でなく、別体の機器とされてもよい。
【００７６】
画像データに付随する音声データは信号処理部６３で抽出されて音声処理部６８に供給される。音声処理部６８では音声データに対する各種音響処理や音量調整、イコライジング、Ｄ／Ａ変換等を施したうえ、スピーカ部６９に供給する。
スピーカ部６９は音声信号に対するパワーアンプ増幅を行ってスピーカ出力する。
【００７７】
操作部６７は、ユーザの操作を入力する入力機能を有し、この再生装置２に対して入力された操作に応じた信号を制御部６６へ送る。
制御部６６は再生装置２の全体を制御し、ユーザの操作に応じた再生表示を実行させる。
【００７８】
この再生装置２では、特に撮像装置１において上述のメカニカルシャッタ動作による撮像が行われた画像データに関し、その特徴を生かした再生表示を実行するようにされている。以下、この点について説明する。
【００７９】
近年、一般に映像を再生する装置として、フレーム補間技術により、２４ｆｐｓや６０ｆｐｓなどの画像データをフレーム補間して１２０ｆｐｓや２４０ｆｐｓなどの画像データを生成し、高フレームレートで再生するものが知られている。
図１２は、元の画像データに対するフレーム補間の様子を模式的に示している。この場合、画像データのフレーム（ｎ）、（ｎ＋１）、（ｎ＋２）・・・に対して補間画像フレームを生成し、３倍に高フレームレート化した補間画像データを生成する場合を例示している。この補間画像データを用いて表示することで、低フレームレートの画像データからもなめらかな再生映像を表示できるようにしている。
【００８０】
しかし、上述のメカニカルシャッタ動作は、フレーム間において、あえて露光されない期間を長くし、フィルム映画のような画質感、臨場感を得ることを目的とした。その場合にフレーム補間が行われてなめらかな映像として表示されると、目的の映像効果が得られないことになってしまう。
そこで再生装置２では、画像データのメタデータを参照し、メカニカルシャッタ動作によって撮像された画像データであると判定した場合は、フレーム補間を行わないようにする。
【００８１】
また、フレーム補間を行う場合であっても、フレーム間に黒画像を挟むことで、よりフィルムで見た時の見え方に近くすることもできる。
図１３に黒画像挿入の様子を示している。
元の２４Ｐ画像データのフレーム（ｎ）、（ｎ＋１）・・・に対して、１２０Ｐ相当、２４０Ｐ相当のフレーム補間を行うものとする。
１２０Ｐ相当のフレーム補間を行う場合、２４Ｐの１フレーム期間に４フレームを追加して５フレームの表示が行われるようにする。また２４０Ｐ相当のフレーム補間を行う場合、２４Ｐの１フレーム期間に９フレームを追加して１０フレームの表示が行われるようにする。
これらの場合に、図示のように１フレーム期間の１又は複数の補間フレームを、黒画像フレームＢＫとする。
１２０Ｐ相当のフレーム補間の場合、元の１フレーム期間における補間後の５フレームは、４枚の補間画像として元のフレーム画像データをそのまま用い、その後に黒画像フレームＢＫを１フレーム挿入する。
２４０Ｐ相当のフレーム補間の場合、元の１フレーム期間における補間後の１０フレームは、８枚の補間画像として元のフレーム画像データをそのまま用い、その後に黒画像フレームＢＫを２フレーム挿入する。
例えばこのように黒画像フレームＢＫを挿入することで、フレーム補間を行う場合でも、フィルム映画風の画質感の表示を行うことができる。
またこれらの場合、挿入する黒画像フレームＢＫのフレーム数を変更することで、フィルム映画風の画質感を調整することもできる。
【００８２】
このようにメカニカルシャッタ動作による撮像に対応するため、再生装置２では制御部６６が図１４又は図１５のような処理を行う。
まず図１４の処理を説明する。これはフレーム補間機能を有する再生装置２の場合である。
制御部６６はユーザ操作等に応じて画像データの再生表示を開始させる場合にステップＳ３０１からＳ３０２に進み、まず再生表示対象の画像データに付加されたメタデータを確認する。例えば再生部６１において記憶されている再生対象の画像データ、或いは通信部６２で受信された画像データのメタデータを抽出するなどの処理を行う。
これらの情報は、メカニカルシャッタ動作による撮像の際に、撮像装置１の信号処理部１４の処理で付加された情報である。即ち図９のステップＳ２４１のメカニカルシャッタモード設定に基づいて画像データに付加された情報である。
具体的な情報内容としては、
・メカニカルシャッタモード撮像であることを示す情報
・フレーム補間禁止を示す情報
・黒画像挿入を指示する情報
などが想定される。
【００８３】
制御部６６はステップＳ３０２でこれらの情報が付加されているか否かを確認し、ステップＳ３０３で処理を分岐する。
メカニカルシャッタモード撮像であることを示す情報又はフレーム補間禁止を示す情報が画像データに付加されていた場合、ステップＳ３０４Ａに進み、信号処理部６３におけるフレーム補間機能をオフとする制御を行う。これらの情報が付加されていなければステップＳ３０４Ａの処理は行わない。
そしてステップＳ３０５で再生部６１（又は通信部６２）、信号処理部６３、表示制御部６４、音声処理部６８による再生表示動作を開始させる。
この再生処理過程では、フレーム補間処理が禁止されているため、例えば２４Ｐ画像データがそのまま表示され、所期の映像効果を発揮する表示が行われる。
【００８４】
図１５の処理は、黒画像フレーム挿入が可能な再生装置２の場合である。
ステップＳ３０１，Ｓ３０２，Ｓ３０３，Ｓ３０５は図１４と同様である。
この場合、制御部６６はメカニカルシャッタモード撮像であることを示す情報又は黒画像挿入を指示する情報が画像データに付加されていた場合、ステップＳ３０４Ｂに進み、信号処理部６３における黒画像挿入を伴うフレーム補間機能をオンとする制御を行う。
そしてステップＳ３０５で再生部６１（又は通信部６２）、信号処理部６３、表示制御部６４、音声処理部６８による再生表示動作を開始させる。
この再生処理過程では、画像データに対して図１３のような黒画像挿入を含むフレーム補間が行われ、この補間画像データに基づく再生表示を行われる。これにより所期の映像効果を発揮する表示が行われる。
【００８５】
＜５．プログラム及び記憶媒体＞
本実施の形態のプログラムは、撮像装置１の制御部２０の処理をマイクロコンピュータ等の演算処理装置に実行させるプログラムである。
実施の形態のプログラムは、動画撮像であることを条件の１つとして、メカニカルシャッタ駆動部１７がメカニカルシャッタ１２のフレーム期間毎の開期間を撮像素子部１３の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する処理を制御部２０に実行させるプログラムである。
即ちこのプログラムは、情報処理装置に図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄのいずれか、又はそれらの変形例とした処理を実行させるプログラムである。より具体的には図８，図９で説明した処理等を実行させるプログラムである。
【００８６】
このようなプログラムにより上述した撮像装置１としてのメカニカルシャッタモード動作を実現できる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
【００８７】
＜６．まとめ及び変形例＞
以上の実施の形態では以下のような効果が得られる。
実施の形態の撮像装置１は、レンズ系を介した入射光経路に設けられてシャッタ動作を行うメカニカルシャッタ１２と、メカニカルシャッタ１２を介した入射光を受光する撮像素子部１３を有する。またメカニカルシャッタ１２を駆動するメカニカルシャッタ駆動部１７と、撮像素子部１３において撮像素子の一部毎に異なる露光タイミングで露光が行われるローリングシャッタ方式の電子シャッタ動作を実行させる撮像素子駆動部１８を有する。そして制御部２０は、動画撮像であることを条件の１つとして、メカニカルシャッタ駆動部１７がメカニカルシャッタ１２のフレーム期間毎の開期間を撮像素子部１３の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する（ステップＳ１０）
本実施の形態のメカニカルシャッタ動作は映像フレーム間で露光していないある程度の長さの期間を設けるようにするものであるため、旧来のフィルム撮影による映画のような独特の画質感、臨場感をもった動画撮像が実行される。そして少なくとも動画撮像の場合にこのメカニカルシャッタ動作を有効シャッタ動作と設定し、実際に有効シャッタ動作設定に基づいてメカニカルシャッタモードの撮像を実行させることで、映画風の画像データを生成させることができる。
【００８８】
またこのメカニカルシャッタ動作は、ローリングシャッタ方式において現れる画像歪を解消するとともに、点滅光源があった場合等のフレーム内の露光量変化といった現象も解消することができる。
【００８９】
また制御部２０は、メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、メカニカルシャッタ駆動部１７にメカニカルシャッタ動作を指示する（例えば図６Ａの処理）。
即ち有効シャッタ動作と判断した場合に自動的にメカニカルシャッタ動作状態とさせることで、ユーザ操作の負担を軽減し、操作を簡易化できる。
【００９０】
また制御部２０は、メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、メカニカルシャッタ動作の推奨提示制御を行う（例えば図６Ｂ、図６Ｃの処理）。
即ちメカニカルシャッタ動作の推奨提示によりメカニカルシャッタ動作を行うか否かをユーザが選択可能とする。これによりユーザ意思を反映したメカニカルシャッタ動作の選択が可能となる。
【００９１】
また制御部２０は、特定のフレームレートでの動画撮像モードであることを条件の１つとしてメカニカルシャッタ動作を有効シャッタ動作に設定する（図８のＳ２０２）。
例えば２４ｆｐｓ又は２３．９７６ｆｐｓなどの特定のフレームレートの場合に、上述のメカニカルシャッタ動作が好ましいことから、特定のフレームレートであることを条件とすることで、メカニカルシャッタ動作による映像効果が顕著となる場合にメカニカルシャッタ動作を可能とすることができる。
なお、図８の例では２４ｆｐｓや２３．９７６ｆｐｓ等の映画風撮像のフレームレートであることをメカニカルシャッタ動作を有効シャッタ動作と設定する条件としたが、３０Ｐ、６０ｉ（６０ｆｐｓインターレーススキャン）など他のフレームレートであることをメカニカルシャッタ動作を有効シャッタ動作と設定する条件とする例も考えられる。
【００９２】
また制御部２０は、バッテリチェックの結果を条件の１つとしてメカニカルシャッタ動作を有効シャッタ動作に設定する（Ｓ１０２）。
即ちバッテリ残量が十分な場合や外部電源を使用しているなどの場合にメカニカルシャッタ動作を有効シャッタ動作とする。メカニカルシャッタ動作は高速の開閉動作を継続するため電力消費が比較的大きくなる。そこで電源状況が十分であるときにメカニカルシャッタ動作を実行させるようにすることで、安定してメカニカルシャッタ動作を用いた撮像ができるようになる。
また電源の状態を考慮することで、メカニカルシャッタ動作による、より長時間の撮像が可能となる。
【００９３】
また制御部２０は、集音環境チェックの結果を条件の１つとしてメカニカルシャッタ動作を有効シャッタ動作に設定する（Ｓ１０３）。
即ちメカニカルシャッタ１２の動作音が撮像される画像データの音声に影響がないような場合に、メカニカルシャッタ動作を有効シャッタ動作とする。高速で開閉するメカニカルシャッタの動作音は比較的大きくなるため、その動作音の影響がないと推定される場合に、メカニカルシャッタ動作を実行させることで、音声品質を低下させない撮像が可能となる。
またメカニカルシャッタの動作音が気になる状況の場合には、ノイズキャンセルできる状態であるかもチェックする（Ｓ２３３）。ノイズキャンセル処理でシャッタ動作音を抑圧できるのであれば、画像データの音声品質を悪化させないため、メカニカルシャッタ動作を許可してよいためである。このようにすることで、静かな環境などでのメカニカルシャッタ動作も促進できる。
【００９４】
また撮像素子部１３から得られた撮像信号の信号処理を行って画像データを生成する信号処理部１４を有し、制御部２０は、メカニカルシャッタ駆動部１７にメカニカルシャッタ動作を指示する場合に、信号処理部１４に対して、メカニカルシャッタ動作対応の処理設定を指示する（Ｓ２４１）。即ちメカニカルシャッタ動作に対応する信号処理が自動設定されるようにする。これによりユーザに操作負担をかけずに、フレーム間ノイズリダクションの無効化や映画風の撮像に合わせたガンマ設定や色設定等を自動設定でき、撮影者がより使いやすくなる。
【００９５】
また制御部２０は、メカニカルシャッタ駆動部１７にメカニカルシャッタ動作を指示する場合に、画像データにメカニカルシャッタ動作に対応した情報が付加されるように指示する（Ｓ２４１）。
メカニカルシャッタ動作に対応した情報とは、例えばメカニカルシャッタ動作によって撮像された画像データでの再生の際に適切な処理を実行するための情報である。つまりメカニカルシャッタモード撮像であることを示す情報、フレーム補間禁止を示す情報、黒画像挿入を指示する情報などである。
これらの情報により、メカニカルシャッタ動作による画像データの再生時の処理を再生装置２側に指示できる。つまり再生装置２側で、メカニカルシャッタ動作による映像効果が発揮された再生映像を提供できるようにしている。
【００９６】
実施の形態の再生装置２は、制御部６６が、画像データに付加された情報により、その再生表示の際に、フレーム補間処理をオフとしたり、或いは黒画像フレーム挿入を伴うフレーム補間を行うようにしている。
これにより、撮像者が意図したフィルム映画風の映像効果を発揮する再生表示が実行される。
【００９７】
なお実施の形態の撮像装置１や再生装置２の構成や処理例は一例である。説明した以外にも多様な構成例や処理例は想定される。
再生装置２で説明した制御部６６の処理（図１４又は図１５の処理）は、撮像装置１における制御部２０が表示部１６で画像データを再生させる際に実行してもよい。
撮像装置１は動画撮像のみ可能な撮像装置であってもよいが、その場合、２４Ｐなどの特定のフレームレートが選択されたことを条件の１つとして、メカニカルシャッタ動作を有効シャッタ動作と設定することが考えられる。
またメカニカルシャッタ動作の開期間の長短を調整できるようにしてもよい。
また動作撮像中（撮像開始から終了までの期間）において、一部の期間のみメカニカルシャッタ動作を行うことができるようにしてもよい。
【００９８】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【００９９】
なお本技術は以下のような構成も採ることができる。
（１）入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する制御部と、を備えた
撮像装置。
（２）前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する
上記（１）に記載の撮像装置。
（３）前記制御部は、前記メカニカルシャッタ動作を有効シャッタ動作に設定することに応じて、前記メカニカルシャッタ動作の推奨提示制御を行う
上記（１）に記載の撮像装置。
（４）前記制御部は、特定のフレームレートでの動画撮像モードであることを条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
上記（１）乃至（３）のいずれかに記載の撮像装置。
（５）前記特定のフレームレートは、２４ｆｐｓ又は２３．９７６ｆｐｓである
上記（４）に記載の撮像装置。
（６）前記制御部は、バッテリチェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
上記（１）乃至（５）のいずれかに記載の撮像装置。
（７）前記制御部は、集音環境チェックの結果を条件の１つとして前記メカニカルシャッタ動作を有効シャッタ動作に設定する
上記（１）乃至（６）のいずれかに記載の撮像装置。
（８）前記撮像素子部から得られた撮像信号の信号処理を行って画像データを生成する信号処理部をさらに備え、
前記制御部は、前記メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、前記信号処理部に対して、メカニカルシャッタ動作対応の処理設定を指示する
上記（１）乃至（７）のいずれかに記載の撮像装置。
（９）前記制御部は、メカニカルシャッタ駆動部に前記メカニカルシャッタ動作を指示する場合に、画像データに前記メカニカルシャッタ動作に対応した情報が付加されるように指示する
上記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
を備えた撮像装置の撮像方法として、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する
撮像方法。
（１１）入射光経路に設けられてシャッタ動作を行うメカニカルシャッタと、
前記メカニカルシャッタを介した入射光を受光する撮像素子部と、
前記メカニカルシャッタを駆動するメカニカルシャッタ駆動部と、
前記撮像素子部において、撮像素子の一部毎に異なる露光タイミングで露光が行われる電子シャッタ動作を実行させる撮像素子駆動部と、
を備えた撮像装置の制御部に、
動画撮像であることを条件の１つとして、前記メカニカルシャッタ駆動部が前記メカニカルシャッタのフレーム期間毎の開期間を前記撮像素子部の全撮像画素が露光している期間内とするメカニカルシャッタ動作を、有効シャッタ動作に設定する処理を実行させる
プログラム。
【符号の説明】
【０１００】
１…撮像装置、２…再生装置、１０…撮像レンズ、１２…メカニカルシャッタ、１３…撮像素子部、１４…信号処理部、１７…メカニカルシャッタ駆動部、１８…撮像素子駆動部、２０…制御部、３０…音声処理部
【図１】
0006439563.tif 000002
【図２】
0006439563.tif 000003
【図３】
0006439563.tif 000004
【図４】
0006439563.tif 000005
【図５】
0006439563.tif 000006
【図６】
0006439563.tif 000007
【図７】
0006439563.tif 000008
【図８】
0006439563.tif 000009
【図９】
0006439563.tif 000010
【図１０】
0006439563.tif 000011
【図１１】
0006439563.tif 000012
【図１２】
0006439563.tif 000013
【図１３】
0006439563.tif 000014
【図１４】
0006439563.tif 000015
【図１５】
0006439563.tif 000016