(57)【特許請求の範囲】
【請求項１】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置であって、
動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理部と、
前記特殊効果画像処理部が生成した最新の前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理部と、
前記動画中特殊効果画像処理部が前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御部と、
を備え、
前記画像処理制御部は、前記特殊効果画像処理部に前記第１および前記第２の特殊効果の付与を交互に実行させることを特徴とする撮像装置。
【請求項２】
前記特殊効果画像処理部は、前記第１の特殊効果を付与する第１の特殊効果処理部と、前記第２の特殊効果を付与する第２の特殊効果処理部と、を有し、
前記画像処理制御部は、前記第１の特殊効果処理部および前記第２の特殊効果処理部にそれぞれ前記第１の特殊効果および前記第２の特殊効果の付与を実行させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理制御部は、同じ前記画像データに対する処理速度が前記第１の特殊効果より前記第２の特殊効果が大きい場合、前記第１の特殊効果と略同じ処理速度になるように、前記第２の特殊効果を付与する前記画像データを前記特殊効果画像処理部にリサイズさせて実行させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置であって、
動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理部と、
前記特殊効果画像処理部が生成した最新の前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理部と、
前記動画中特殊効果画像処理部が前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御部と、
を備え、
前記画像処理制御部は、同じ前記画像データに対する処理速度が前記第１の特殊効果より前記第２の特殊効果が大きい場合、前記第１の特殊効果と略同じ処理速度になるように、前記第２の特殊効果を付与する前記画像データを前記特殊効果画像処理部にリサイズさせて実行させることを特徴とする撮像装置。
【請求項５】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置が実行する画像処理方法であって、
動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理ステップと、
前記特殊効果画像処理ステップで生成した最新の前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理ステップと、
前記動画中特殊効果画像処理ステップで前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御ステップと、
を含み、
前記画像処理制御ステップは、前記特殊効果画像処理ステップにおいて前記第１および 前記第２の特殊効果の付与を交互に実行させることを特徴とする画像処理方法。
【請求項６】
被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置に実行させるプログラムであって、
動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理ステップと、
前記特殊効果画像処理ステップで生成した最新の前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理ステップと、
前記動画中特殊効果画像処理ステップで前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御ステップと、
を含み、
前記画像処理制御ステップは、前記特殊効果画像処理ステップにおいて前記第１および 前記第２の特殊効果の付与を交互に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置では、自然な印象を有する綺麗な画像を生成する機能にとどまらず、画像に対して意図的にノイズ、シェーディング、ぼかし等の効果を付加することで、従来に無い独特の印象を与える撮影表現を実現する機能を有するものが知られている。
【０００３】
たとえば、下記特許文献１では、フィルムのような粒状感（ノイズ感）を有するとともに、ハイコントラストの画像を生成する技術が開示されている。この技術によれば、荒々しく力強い印象の画像を撮影することができる。
【０００４】
また、下記特許文献２では、周縁部が減光された画像を生成する技術が開示されている。この技術によれば、トイカメラで撮影したような印象の画像、すなわち強い歪みやぼけを有する画像を撮影することができる。
【０００５】
これらの従来技術は、静止画撮影だけでなく、動画撮影にも適用可能である。動画を撮影する場合には、時間的な画像の移り変わりを利用して、静止画にはない動画ならではの独特の映像表現を行うことができる。従来、このような映像表現は、動画フレームにわたる視覚的な効果を生じさせるために、経時的に変化する映像効果を付与することによって実現されていた。このような映像表現を実現する技術として、１つの画像に対して付与される映像効果が、別の映像効果へと徐々に比率を変えながら変わっていく処理（以下、「トランジット」という）が知られている。
【０００６】
図２３は、従来の撮像装置が行うトランジットの概要を説明する図である。図２３では、映像効果としてアート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。なお、図２３では、アート効果Ａの処理速度を３０ｆｐｓとし、アート効果Ｂの処理速度を１５ｆｐｓとする。
【０００７】
図２３に示すように、撮像装置は、開始トリガが入力されると、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１を生成し、このアート効果画像Ａ１をトランジット画像Ｒ７１として記録する。
その後、撮像装置は、時間ｔ＝ｔ12において、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１の生成を行うが、処理が間に合わないため、直前に生成したアート効果画像Ａ１を複製してトランジット画像Ｒ７２として記録する。
その後、撮像装置は、時間ｔ＝ｔ13において、アート効果画像Ａ１の信号に係数ｂ＝０．９を乗じた信号と、撮影画像Ｐ１にアート効果Ｂを施して処理が完了したアート効果画像Ｂ１の信号に係数１−ｂ＝０．１を乗じた信号とを合成することによってトランジット画像Ｒ７３を生成し、このトランジット画像Ｒ７３を記録する。
その後、撮像装置は、時間ｔ＝ｔ14において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ２を生成するとともに、直前に生成したトランジット画像Ｒ７３を複製してトランジット画像Ｒ７４として記録する。
その後、撮像装置は、時間ｔ＝ｔ15において、撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ１の生成を行うが、処理が間に合わないため、直前に生成したトランジット画像Ｒ７４を複製してトランジット画像Ｒ７５として記録する。
その後、撮像装置は、時間ｔ＝ｔ16において、アート効果画像Ａ２の信号に係数０．６を乗じた信号と、撮影画像Ｐ４にアート効果Ｂを施して処理が完了したアート効果画像Ｂ２の信号に係数１−ｂ＝０．４を乗じた信号とを合成することによってトランジット画像Ｒ７６を生成し、このトランジット画像Ｒ７６を記録する。
【０００８】
このように、従来の撮像装置は、一定時間内で互いに処理速度が異なる映像効果を付与した２つの画像を合成して合成画像を記録する場合、２つの画像を合成する比率を大きく変化させながら撮影を行っている。
【０００９】
図２４は、２つの画像処理部（デュアルエンジン）を有する従来の撮像装置が行うトランジットの別の概要を説明する図である。図２４では、映像効果としアート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。なお、図２４では、アート効果Ａの処理速度を３０ｆｐｓとし、アート効果Ｂの処理速度を３０ｆｐｓとする。図２４において、トランジットの開始トリガの入力直前は、撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０が生成され、このアート効果画像Ａ０が記録される。
【００１０】
開始トリガが入力されると、２つの画像処理部は、それぞれ、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１の信号に係数ｂ＝０．９を乗じた信号と、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１の信号に係数１−ｂ＝０．１を乗じた信号とを合成することによってトランジット画像Ｒ８１を生成し、このトランジット画像Ｒ８１を記録する。
その後、２つの画像処理部は、それぞれ、時間ｔ＝ｔ12において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に係数ｂ＝０．８を乗じた信号と、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ２の信号に係数１−ｂ＝０．２を乗じた信号とを合成することによってトランジット画像Ｒ８２を生成し、このトランジット画像Ｒ８２を記録する。
【００１１】
このように、撮像装置は、２つの画像処理部によって、同じ処理速度のアート効果をそれぞれ施して効果が異なるアート効果画像を合成してトランジット画像を生成して記録している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−６２８３６号公報
【特許文献２】特開２０１０−７４２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述した従来技術でトランジットを行う場合において、１つの動画フレームに処理速度が異なる２つの映像効果を付与するとき、一方の映像効果の付与に同期して、他方の映像効果の付与を行うことができなかった。この結果、動画のフレームレートが遅延することで、撮影した動画に違和感が生じるという問題点があった。
【００１４】
また、図２４において、２つの画像処理部を用いても、１つの動画フレームに処理速度が異なる２つの映像効果を付与するとき、上述した問題点があった。
【００１５】
本発明は、上記に鑑みてなされたものであって、動画フレームに処理速度が異なる２つの映像効果を付与している場合であっても、自然で違和感がない動画を撮影することができる撮像装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置であって、動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理部と、前記特殊効果画像処理部が生成した最新の前記第１の特殊効果画像データおよび第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理部と、前記動画中特殊効果画像処理部が前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御部と、を備えたことを特徴とする。
【００１７】
また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記特殊効果画像処理部に前記第１および第２の特殊効果の付与を交互に実行させることを特徴とする。
【００１８】
また、本発明にかかる撮像装置は、上記発明において、前記特殊効果画像処理部は、前記第１の特殊効果を付与する第１の特殊効果処理部と、前記第２の特殊効果を付与する第２の特殊効果処理部と、を有し、前記画像処理制御部は、前記第１の特殊効果処理部および第２の特殊効果処理部にそれぞれ前記第１の特殊効果および前記第２の特殊効果の付与を実行させることを特徴とする。
【００１９】
また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、同じ前記画像データに対する処理速度が前記第１の特殊効果より第２の特殊効果が大きい場合、前記第１の特殊効果と略同じ処理速度になるように、前記第２の特殊効果を付与する前記画像データを前記特殊効果画像処理部にリサイズさせて実行させることを特徴とする。
【００２０】
また、本発明にかかる画像処理方法は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置が実行する画像処理方法であって、動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理ステップと、前記特殊効果画像処理ステップで生成した最新の前記第１の特殊効果画像データおよび第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理ステップと、前記動画中特殊効果画像処理ステップで前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御ステップと、を含むことを特徴とする。
【００２１】
また、本発明にかかるプログラムは、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置に実行させるプログラムであって、動画の画像データに対応する複数のフレームにわたって処理速度および視覚的な効果が互いに異なる第１の特殊効果および第２の特殊効果の付与をそれぞれ行って第１の特殊効果画像データおよび第２の特殊効果画像データを生成する特殊効果画像処理ステップと、前記特殊効果画像処理ステップで生成した最新の前記第１の特殊効果画像データおよび第２の特殊効果画像データを合成して合成画像データを生成する動画中特殊効果画像処理ステップと、前記動画中特殊効果画像処理ステップで前記第１の特殊効果画像データおよび前記第２の特殊効果画像データを合成する比率を経時的に変化させる画像処理制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、画像処理制御部が特殊効果画像処理部によって生成された処理速度が異なる最新の２つの特殊効果画像を動画中特殊効果画像処理部に合成させ、この合成の比率を経時的に変化させる。これにより、動画フレームに処理速度が異なる２つの映像効果を付与している場合であっても、自然で違和感がない動画を撮影することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。
【図３】図３は、本発明の実施の形態１にかかる撮像装置のアート効果画像処理部が行うアート効果画像処理の概要を示す図である。
【図４】図４は、マルチエコーの概要を説明する図である。
【図５】図５は、ワンショットエコーの概要を説明する図である。
【図６】図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の係数の時間変化を示す図である。
【図７】図７は、トランジットの概要を説明する図である。
【図８】図８は、トランジット処理において開始トリガ入力前から付与さられているアート効果の係数の時間変化を示す図である。
【図９】図９は、揺らぎの概要を説明する図である。
【図１０】図１０は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例（第１例）を示す図である。
【図１１】図１１は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例（第２例）を示す図である。
【図１２】図１２は、本発明の実施の形態１にかかる撮像装置が備えるレンズ制御部と制御部との同期通信の一例を示すタイミングチャートである。
【図１３】図１３は、本発明の実施の形態１にかかる撮像装置が行う処理の概要を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態１にかかる撮像装置の表示部における動画用の画面表示例を示す図である。
【図１５】図１５は、本発明の実施の形態１にかかる撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態１にかかる撮像装置が行う画像処理の概要を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態２にかかる撮像装置の構成を示すブロック図である。
【図１８】図１８は、本発明の実施の形態２にかかる撮像装置が実行するトランジットの概要を説明する図である。
【図１９】図１９は、本発明の実施の形態３にかかる撮像装置が実行するトランジットの概要を説明する図である。
【図２０】図２０は、本発明の実施の形態４にかかる撮像装置が実行するトランジットの概要を説明する図である。
【図２１】図２１は、本発明の実施の形態５にかかる撮像装置が実行するトランジットの概要を説明する図である。
【図２２】図２２は、本発明の実施の形態５の変形例１にかかる撮像装置が実行するトランジットの概要を説明する図である。
【図２３】図２３は、従来の撮像装置が実行するトランジットの概要を説明する図である。
【図２４】図２４は、従来の２つの画像処理部を有する撮像装置が実行するトランジットの別の概要を説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。また、図面は、模式的なものであり、各部の寸法や比率は、現実と異なることに留意する必要がある。さらに、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれる。なお、この実施の形態によって本発明が限定されるものではない。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。図１および図２に示すように、撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。
【００２６】
本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６ａと、画像処理部１６ｂと、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、バス２８と、制御部２９と、を備える。
【００２７】
シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される信号に応じてシャッタ１０を駆動する。
【００２８】
撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。
【００２９】
信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。たとえば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００３０】
Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２８を介してＳＤＲＡＭ２５に出力する。
【００３１】
画像処理部１６ａは、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１６ａは、基本画像処理部１６１ａと、アート効果画像処理部１６２ａと、動画中特殊効果画像処理部１６３ａと、を有する。画像処理部１６ｂは、画像処理部１６ａと同一の構成によって実現され、基本画像処理部１６１ｂと、アート効果画像処理部１６２ｂと、動画中特殊効果画像処理部１６３ｂと、を有する。このため、以下においては、基本画像処理部１６１ａ、アート効果画像処理部１６２ａおよび動画中特殊効果画像処理部１６３ａについて説明する。
【００３２】
基本画像処理部１６１ａは、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子１２がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部１６１ａは、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
【００３３】
アート効果画像処理部１６２ａは、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせる特殊効果を行って特殊効果画像データ（以下、「アート効果画像データ」という）を生成する。なお、アート効果画像処理部１６２ａは、１つの画像データに対して組み合わせる画像処理の数や種類に応じた、特殊効果の処理速度が異なる。
【００３４】
図３は、アート効果画像処理部１６２ａが行うアート効果画像処理の概要を示す図である。図３ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。
【００３５】
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、たとえばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周辺部（周縁部）に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
【００３６】
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、たとえば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周辺部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
【００３７】
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、たとえばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、たとえば特開２０１０−７４２４４号公報を参照）。
【００３８】
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、たとえばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、たとえば特開２０１０−６２８３６号公報を参照）。このうち、ノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、たとえば乱数などを発生させ、この乱数に基づいて生成してもよい。
【００３９】
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、たとえば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
【００４０】
動画中特殊効果画像処理部１６３ａは、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる動画特殊効果を行う。具体的には、動画中特殊効果画像処理部１６３ａは、アート効果画像処理部１６２ａおよびアート効果画像処理部１６２ｂがそれぞれ生成した最新のアート効果画像（第１のアート効果画像データ）および第１のアート効果画像（第２のアート効果画像データ）を合成して合成画像データを生成する。また、動画中特殊効果画像処理部１６３ａおよび動画中特殊効果画像処理部１６３ｂが行う動画中特殊効果としては、たとえばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。
【００４１】
図４は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の画像を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図４に示すように、ボール１０１が動く軌跡を残像として表示することができる効果である。
【００４２】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、１つ前のフレームの画像を所定の割合で合成する処理（マルチエコー処理）を行う。
【００４３】
図４に示す場合、動画中特殊効果画像処理部１６３は、開始トリガの入力直後の撮影画像Ｐ１と、その１つの前のフレームの撮影画像Ｐ０に対応する記録画像Ｒ０とを合成することによって、マルチエコー画像Ｒ１を生成する。この合成の際、各画素において、撮影画像Ｐ１の信号に係数０．６を乗じる一方、記録画像Ｒ０の信号に係数０．４を乗じる。
【００４４】
続いて、動画中特殊効果画像処理部１６３は、次のフレームの撮影画像Ｐ２と合成画像Ｒ１とを合成することによってマルチエコー画像Ｒ２を生成する。マルチエコー画像Ｒ２を生成する際には、各画素において、撮影画像Ｐ２の信号に係数０．６を乗じる一方、合成画像Ｒ１の信号に係数０．４を乗じる。
【００４５】
動画中特殊効果画像処理部１６３は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体２３には、撮影画像Ｐ５に対応する記録画像Ｒ５が記録される。
【００４６】
図５は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像（一瞬の画像）が徐々に薄くなりながら消えていく効果である。具体的には、図５に示すように、特定の時間に撮影されたボール１０１がしばらくの間撮影画像に残像として残るような効果である。
【００４７】
動画中特殊効果画像処理部１６３は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦ＳＤＲＡＭ２５に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理（ワンショットエコー処理）を行う。
【００４８】
図５に示す場合、開始トリガの入力直後に撮影された撮影画像Ｐ１は、ＳＤＲＡＭ２５に記録される（以下、ＳＤＲＡＭ画像Ｓ１という）。動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記録するＳＤＲＡＭ画像Ｓ１と最新の撮影画像とを所定の比率で合成する。
【００４９】
図５に示す場合、開始トリガの入力直後には、撮影画像Ｐ１に対応するワンショットエコー画像Ｒ１１が表示される。
その後、時間ｔ＝ｔ２において、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ画像Ｓ１と撮影画像Ｐ２とを合成することによってワンショットエコー画像Ｒ１２を生成する。この合成を行う際、各画素において、ＳＤＲＡＭ画像Ｓ１の信号に係数ａ1＝０．８を乗じる一方、撮影画像Ｐ２の信号に係数１−ａ1＝０．２を乗じる。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ3において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．４、撮影画像Ｐ３の信号に乗じる係数を１−ａ＝０．６として合成したワンショットエコー画像Ｒ１３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ4において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．２、撮影画像Ｐ４の信号に乗じる係数を１−ａ＝０．８として合成したワンショットエコー画像Ｒ１４を生成する。
その後、時間ｔ＝ｔ5において係数ａ＝０となるため、撮影画像Ｐ５が記録画像Ｒ５となる。
【００５０】
図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図６において、横軸ｔが開始トリガの入力時点（ｔ＝０）からの経過時間であり、縦軸ａがＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。
【００５１】
図６に示すように、係数ａは、ｔ＝０でａ1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ5経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。
【００５２】
なお、図６に示す曲線は、一例に過ぎず、時間とともに係数ａが減衰するなどして一定時間で係数ａが０となるように滑らかに変化する曲線であればどのようなものでもよく、たとえば、係数ａが一定値をとる期間を含む曲線であってもよい。
【００５３】
また、係数ａは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数ａの値を減少させながら、所定のフレーム数（たとえば１２０フレーム）で係数が０となるようにすればよい。
【００５４】
図７は、トランジットの概要を説明する図である。トランジットは、１つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図７では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。なお、図７では、アート効果Ａの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とし、アート効果Ｂの処理速度を１５ｆｐｓ（６６ｍｓｅｃ／ｆｒａｍｅ）とする。図７において、トランジットの開始トリガの入力直前は、アート効果画像処理部１６２ａが撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０を生成している。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【００５５】
開始トリガが入力されると、画像処理制御部２９１は、撮影画像Ｐ１に対して、アート効果画像処理部１６２ａおよびアート効果画像処理部１６２ｂにそれぞれアート効果Ａおよびアート効果Ｂを実行させることによって、アート効果画像Ａ１およびアート効果画像Ｂ１を生成させる。この場合、画像処理制御部２９１は、アート効果画像処理部１６２ｂによるアート効果画像Ｂ１の生成が間に合っていないため、動画中特殊効果画像処理部１６３にアート効果画像Ａ１のみを用いたトランジット画像Ｒ２１を生成させる。
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ12において、アート効果画像処理部１６２ａが撮影画像Ｐ２に対してアート効果Ａを施した最新のアート効果画像Ａ２の信号に乗じる係数をｂ（＝ｂ0）＝０．９とし、アート効果画像処理部１６２ｂが撮影画像Ｐ１にアート効果Ｂを施した最新のアート効果画像Ｂ１の信号に乗じる係数を１−ｂ（＝１−ｂ0）＝０．１として２つの画像を合成することによってトランジット画像Ｒ２２を生成する。
【００５６】
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ13において、アート効果画像処理部１６２ａが撮影画像Ｐ３にアート効果Ａを施した最新のアート効果画像Ａ３の信号に乗じる係数ｂ＝０．８とし、アート効果画像処理部１６２ｂが撮影画像Ｐ１にアート効果Ｂを施した最新のアート効果画像Ｂ１の信号に乗じる係数１−ｂ＝０．２をとして２つの画像を合成することによってトランジット画像Ｒ２３を生成する。この際、アート効果画像処理部１６２ｂは、撮影画像Ｐ３に施すアート効果Ｂの処理を開始する。
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ14において、アート効果画像処理部１６２ａが撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ４の信号に乗じる係数をｂ＝０．７とし、アート効果画像処理部１６２ｂが撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．３として２つの画像を合成することによって、トランジット画像Ｒ２４を生成する。
【００５７】
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ15において、アート効果画像処理部１６２ａが撮影画像Ｐ５にアート効果Ａを施したアート効果画像Ａ５の信号に乗じる係数をｂ＝０．５とし、アート効果画像処理部１６２ｂが撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．５として２つの画像を合成することによって、トランジット画像Ｒ２５を生成する。この際、アート効果画像処理部１６２ｂは、撮影画像Ｐ５に施すアート効果Ｂの処理を開始する。
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ16において、アート効果画像処理部１６２ａが撮影画像Ｐ６にアート効果Ａを施したアート効果画像Ａ６の信号に乗じる係数をｂ＝０．３とし、アート効果画像処理部１６２ｂが撮影画像Ｐ５にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．７として２つの画像を合成することによって、トランジット画像Ｒ２６を生成する。
【００５８】
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ17において、アート効果画像処理部１６２ａが撮影画像Ｐ７にアート効果Ａを施したアート効果画像Ａ７の信号に乗じる係数をｂ＝０．２とし、アート効果画像処理部１６２ｂが撮影画像Ｐ６にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．８として２つの画像を合成することによって、トランジット画像Ｒ２７を生成する。この際、アート効果画像処理部１６２ｂは、撮影画像Ｐ７に施すアート効果Ｂの処理を開始する。
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ18において、アート効果画像処理部１６２ａが撮影画像Ｐ８にアート効果Ａを施したアート効果画像Ａ８の信号に乗じる係数をｂ＝０．１とし、アート効果画像処理部１６２ｂが撮影画像Ｐ７にアート効果Ｂを施したアート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．９として２つの画像を合成することによって、トランジット画像Ｒ２８を生成する。
【００５９】
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ19において、アート効果画像処理部１６２ｂが撮影画像Ｐ８にアート効果Ｂを施した最新のアート効果画像Ｂ４を複製してトランジット画像Ｒ２９として記録する。
その後、動画中特殊効果画像処理部１６３ａは、時間ｔ＝ｔ20において、アート効果画像処理部１６２ｂが撮影画像Ｐ９にアート効果Ｂを施したアート効果画像Ｂ５をトランジット画像Ｒ３０として記録する。
【００６０】
このように、画像処理制御部２９１は、動画中特殊効果画像処理部１６３ａが最新のアート効果画像Ａおよび最新のアート効果画像Ｂを合成する比率（係数）を経時的に変化させながら合成させる。
【００６１】
図８は、トランジット処理において開始トリガの入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図８に示すように、係数ｂは、ｔ＝０でｂ0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ15経過した時点で０となる。
【００６２】
なお、図８に示す曲線は一例に過ぎず、時間とともに係数ｂが減衰するなどして一定時間で係数ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ｂが一定値をとる期間を含む曲線でもよい。
【００６３】
また、係数ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。
【００６４】
図９は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図９では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部１６３は、クロス１０２を時間とともにランダムに回転させるとともに、クロス１０２の大きさを時間とともにランダムに変化させることによって揺らぎを与える。
【００６５】
図１に戻り、引き続き、撮像装置１の構成を説明する。
ＡＥ処理部１７は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。
【００６６】
ＡＦ処理部１８は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto  Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。
【００６７】
画像圧縮展開部１９は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記録部を設けてもよい。
【００６８】
入力部２０は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部２０１と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部２０２と、を有する。
【００６９】
入力部２０は、本体部２の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部２０の一部をなすユーザインターフェースの構成を説明する。
【００７０】
撮像装置１は、操作入力用のユーザインターフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源ボタン４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン４２と、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤル４３と、撮像装置１の各種設定を切替える操作ボタン４４と、撮像装置１の各種設定を表示部２１に表示させるメニューボタン４５と、記録媒体２３に記録された画像データに対応する画像を表示部２１に表示させる再生ボタン４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン４７と、撮像装置１の各種機能を設定するファンクションキー４８と、データを消去する消去ボタン４９と、表示部２１の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル５０とを有する。
【００７１】
レリーズボタン４２は、外部からの押圧により進退可能である。レリーズボタン４２が半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズボタン４２が全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。
【００７２】
操作ボタン４４は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー４４１と、十字キー４４１による選択を確定する決定ボタン４４２とを有する。十字キー４４１は、上矢印キー４４３、下矢印キー４４４、左矢印キー４４５、右矢印キー４４６からなる。
【００７３】
以上説明したユーザインターフェースのうち、動画ボタン４７以外のボタンは設定信号入力部２０１の一部をなす。また、動画ボタン４７は、動画撮影信号入力部２０２の一部をなす。
【００７４】
図１０は、動画記録中でない場合（動画非記録時）と動画記録中である場合（動画記録時）における十字キー４４１の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単写操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。
【００７５】
つぎに、動画記録中である場合を説明する。この場合、上矢印キー４４３にはワンショットエコー開始操作が割り当てられる。下矢印キー４４４にはトランジット開始操作が割り当てられる。左矢印キー４４５は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー４４６には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー４４６に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。
【００７６】
動画記録時における入力ボタンの割り当ては、図１０に示すものに限られるわけではない。たとえば、図１１に示すように、上矢印キー４４３に効果開始操作を割り当て、下矢印キー４４４に効果停止操作を割り当て、左矢印キー４４５、右矢印キー４４６に効果切替操作をそれぞれ割り当ててもよい。この場合には、表示部２１で設定中の特殊効果を表示するようにすればより好ましい。
【００７７】
また、十字キー４４１の操作の割当を、使いやすさや操作の使用頻度に応じて割り当てるようにしてもよいし、ユーザが独自に設定できるようにしてもよい。さらに、互いに隣接する２つのキー（たとえば上矢印キー４４３と右矢印キー４４６）が両方押された場合には、別の操作を行うことができるような設定にしてもよい。
【００７８】
表示部２１は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、バス２８を介してＳＤＲＡＭ２５が記録する画像データまたは記録媒体２３が記録する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを生成する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００７９】
記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６ａまたは画像処理部１６ｂおよび画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２８を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。
【００８０】
ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２８を介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記録する一次記録部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２８を介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記録する。
【００８１】
Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、特殊効果処理情報記録部２６２と、画像処理情報記録部２６３と、を有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部２６２は、アート効果画像処理部１６２が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部２６３は、画像処理部１６が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Ｆｌａｓｈメモリ２６は、撮像装置１を特定するための製造番号等を記録する。
【００８２】
本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。
【００８３】
バス２８は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２８は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。
【００８４】
制御部２９は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。制御部２９は、画像処理制御部２９１と、表示制御部２９２と、を有する。
【００８５】
画像処理制御部２９１は、バス２８を介して入力される入力部２０からの指示信号に応じて、画像処理部１６に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部１６１、アート効果画像処理部１６２、および動画中特殊効果画像処理部１６３のいずれかに実行させる。また、画像処理制御部２９１は、動画中特殊効果画像処理部１６３における第１および第２のアート特殊効果の付与態様を制御する。具体的には、画像処理制御部２９１は、動画中特殊効果画像処理部１６３ａが第１の特殊効果画像データ（アート効果Ａ）および第２の特殊効果画像データ（アート効果Ｂ）を合成する比率を経時的に変化させる。
【００８６】
表示制御部２９２は、表示部２１の表示態様を制御する。具体的には、表示制御部２９２は、表示駆動部２２を駆動し、画像処理部１６が画像処理を行った各種画像データに対応する画像を表示部２１に表示させる。
【００８７】
制御部２９は、バス２８を介して入力部２０から送信される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。
【００８８】
制御部２９は、レリーズボタン４２を介して２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。また、制御部２９は、動画ボタン４７を介して動画撮影開始信号が入力された場合、撮像装置１における動画撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部２９１の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、本実施の形態１では記録媒体２３が記録部の一部をなしているが、記録媒体２３とは別に撮像装置１の内部に記録部の機能を有する記録領域を確保し、この記録領域に圧縮した画像データを記録するようにしてもよい。
【００８９】
以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部等をさらに設けてもよい。
【００９０】
つぎに、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。
【００９１】
光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
【００９２】
レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。
【００９３】
絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。
【００９４】
レンズ操作部３５は、図２に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。
【００９５】
レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを記録する。
【００９６】
レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。
【００９７】
レンズ制御部３８は、ＣＰＵ等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。
【００９８】
レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。図１２は、レンズ制御部３８と制御部２９との同期通信の一例を示すタイミングチャートである。図１２（ａ）は本体部２内の処理を示している。図１２（ｂ）は垂直同期信号を示している。図１２（ｃ）は撮像、読み出しのタイミングを示している。図１２（ｄ）はレンズ通信を示している。図１２（ｅ）はレンズ通信同期信号を示している。図１２（ｆ）はレンズ位置取得信号を示している。図１２（ｇ）はレンズ部３内の処理を示している。
【００９９】
まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図１２（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。
【０１００】
レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。
【０１０１】
続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の操作状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。
【０１０２】
この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。
【０１０３】
制御部２９とレンズ制御部３８は、以上説明した処理を周期的に繰り返し行う。
【０１０４】
以上のように構成された撮像装置１が行う処理の概要について説明する。図１３は、撮像装置１が行う処理の概要を示すフローチャートである。
【０１０５】
図１３において、まず、ユーザによって電源ボタン４１が操作されて、撮像装置１の電源がオン状態になる（ステップＳ１：Ｙｅｓ）と、制御部２９は、撮像装置１の初期化を行う（ステップＳ２）。この初期化処理において、制御部２９は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部３８との間のレンズ通信（図１２を参照）を開始したりする処理を行う。なお、撮像装置１の電源がオン状態でない場合（ステップＳ１：Ｎｏ）、撮像装置１はステップＳ１を繰り返す。
【０１０６】
続いて、再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作された場合（ステップＳ４：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定する設定処理を実行する（ステップＳ５）。ステップＳ５の後、撮像装置１は、後述するステップＳ７へ移行する。
【０１０７】
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーン等や図３に示したアート効果等が含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。
【０１０８】
ステップＳ３で再生ボタン４６が操作された場合（ステップＳ３：Ｙｅｓ）、撮像装置１は再生処理を行う（ステップＳ６）。このステップＳ６において、表示制御部２９２は、記録媒体２３に記録されているファイル一覧を表示部２１に表示させる。その後、入力部２０によって再生画像が選択入力された場合、記録媒体２３から画像データを取得し、取得した画像データを画像圧縮展開部１９で展開して表示部２１に表示させる。この後、撮像装置１は、ステップＳ１８へ移行する。
【０１０９】
ステップＳ３で再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作されていない場合（ステップＳ４：Ｎｏ）において、動画ボタン４７が操作されたとき（ステップＳ７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ８）。具体的には、例えば記録中フラグがオン状態にある場合、制御部２９は、その記録中フラグをオフ状態に反転させる。
【０１１０】
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ９）。記録中フラグがオン状態であると判断した場合（ステップＳ９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１０）。
【０１１１】
その後、制御部２９は、特殊動画用のユーザインターフェース（ＵＩ）を設定する（ステップＳ１１）。この設定により、例えば図１０に示すような動画記録時の割り当てが実行される。制御部２９は、ステップＳ１１で設定対象となったユーザインターフェースがこの後で受け付ける信号を、図１０に基づく特殊動画用の信号として認識する。
【０１１２】
続いて、表示制御部２９２は、表示部２１に表示させる画面上表示（ＯＳＤ）などの設定を切り替えることによって動画用の画面への切替えを行う（ステップＳ１２）。具体的には、表示制御部２９２は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１１３】
図１４は、表示部２１における動画用の画面表示例を示す図である。図１４に示すように、動画用画面Ｑでは、動画中特殊効果を適用可能であることを示す動画アイコン１１１、動画用画面キー割り当てを示す画面上表示１１２および動画撮影の残り時間を表示する残り時間１１３が表示される。このうち、画面上表示１１２は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部２０１からの入力によって画面上表示１１２の表示と非表示を切り替えることができるようにしてもよい。
【０１１４】
ステップＳ９において、記録中フラグがオフ状態であると判断した場合（ステップＳ９：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースを設定する（ステップＳ１３）。
【０１１５】
続いて、表示制御部２９２は、表示部２１における画面上表示などの設定を静止画用に切り替える（ステップＳ１４）。この切り替えにより、表示部２１は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。
【０１１６】
ステップＳ７において、動画ボタン４７が操作されていない場合（ステップＳ７：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対して動画中特殊効果処理を行わせる（ステップＳ１５）。
【０１１７】
図１５は、動画中特殊効果制御処理の概要を示すフローチャートである。図１５において、動画中特殊効果を開始するキーが操作された場合（ステップＳ３１：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオンにする（ステップＳ３２）。その後、画像処理制御部２９１は、効果設定を行う（ステップＳ３３）。
【０１１８】
動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ３４：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオフにする制御を行う（ステップＳ３５）。この後、撮像装置１は、メインルーチンへ戻る。なお、画像処理制御部２９１は、ワンショットエコーおよびトランジットの係数が０になった場合であっても、動画中特殊効果フラグをオフ状態にする制御を行う。
【０１１９】
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されないとき（ステップＳ３４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１２０】
ステップＳ１５の動画中特殊効果制御処理の後、レリーズボタン４２から１ｓｔレリーズ信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１７）。
【０１２１】
続いて、制御部２９は、電源ボタン４１が操作されることによって撮像装置１の電源がオフされたか否かを判断する（ステップＳ１８）。撮像装置１の電源がオフされたと制御部２９が判断した場合（ステップＳ１８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフされていないと制御部２９が判断した場合（ステップＳ１８：Ｎｏ）、撮像装置１は、ステップＳ３へ戻る。
【０１２２】
レリーズボタン４２から１ｓｔレリーズ信号が入力されない場合（ステップＳ１６：Ｎｏ）、レリーズボタン４２から２ｎｄレリーズ信号が入力されたとき（ステップＳ１９：Ｙｅｓ）、制御部２９は、シャッタ駆動部１１および撮像素子駆動部１３をそれぞれ駆動することにより、メカシャッタによる撮影を行う（ステップＳ２０）。
【０１２３】
続いて、画像処理部１６ａは、撮影した静止画像に対して所定の画像処理を実行する（ステップＳ２１）。なお、画像処理の詳細については後述する。
【０１２４】
この後、制御部２９は、画像データをＪＰＥＧ形式で画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に記録する（ステップＳ２２）。このステップＳ２２で、制御部２９は、画像圧縮展開部１９がＪＰＥＧ形式で圧縮した画像データに、画像処理部１６ａが画像処理を行っていないＲＡＷデータを対応付けて記録媒体２３に記録させるようにしてもよい。ステップＳ２２の後、撮像装置１は、ステップＳ１８へ移行する。
【０１２５】
ステップＳ１９において、レリーズボタン４２から２ｎｄレリーズ信号が入力されない場合（ステップＳ１９：Ｎｏ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ２３）。
【０１２６】
続いて、制御部２９は、撮像素子駆動部１３を駆動することにより、電子シャッタによる撮影を実行する（ステップＳ２４）。
【０１２７】
この後、画像処理部１６ａは、撮像装置１の設定情報に基づいて画像処理を行う（ステップＳ２５）。画像処理の詳細については後述する。
【０１２８】
表示制御部２９２は、画像処理部１６ａが処理を施した画像データに対応するライブビュー画像を表示部２１に表示させる（ステップＳ２６）。
【０１２９】
続いて、撮像装置１が動画記録中であれば（ステップＳ２７：Ｙｅｓ）、制御部２９は、画像データを画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に作成された動画ファイルに動画として記録させる（ステップＳ２８）。この後、撮像装置１は、ステップＳ１８へ移行する。これに対して、ステップＳ２７で動画記録中でなければ（ステップＳ２７：Ｎｏ）、撮像装置１はステップＳ１８へ移行する。
【０１３０】
図１６は、画像処理の概要を示すフローチャートである。図１６において、基本画像処理部１６１ａは基本画像処理を行う（ステップＳ４１）。ここでの基本画像処理は、ＯＢ（Optical  Black）値の減算、ＷＢ補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、ＮＲ（Noise  Reduction）などの処理を含む。
【０１３１】
ここで、ＷＢ補正は、ベイヤー配列の画像データに対して、予めユーザが設定したＷＢモードに応じたＲゲインとＢゲインを乗じて、ＷＢを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子１２がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がＲＧＢデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているＷＢモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、ＲＧＢデータに適用するガンマ変換と、ＲＧＢの色空間を輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒによって表される色空間に変換した後で輝度信号Ｙのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
ＮＲ処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
【０１３２】
続いて、アート効果画像処理部１６２ａは、アート効果処理を行う（ステップＳ４２）。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。
【０１３３】
その後、撮像装置１が静止画撮影を行う場合（ステップＳ４３：Ｙｅｓ）、制御部２９が動画中特殊効果（第１の特殊効果）に対応した特殊効果（第２の特殊効果）を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。
【０１３４】
ここで、撮像装置１が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影はレスポンスの速さが重要である。静止画の画素数は動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態１では、静止画の場合に動画中特殊効果の適用を禁止している。なお、高速でレスポンスに影響がなければ静止画に適用することも可能である。
【０１３５】
一方、撮像装置１が動画撮影を行う場合（ステップＳ４３：Ｎｏ）、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ４４）。動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５へ移行する。これに対して、動画中特殊効果が設定されていない場合（ステップＳ４４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１３６】
ステップＳ４４で動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）において、適用する効果がマルチエコーであるとき（ステップＳ４５：Ｙｅｓ）、動画中特殊効果画像処理部１６３ａは、直前の画像処理結果（前フレーム）に対して、上述したマルチエコー処理（図４を参照）として、現在のフレームを所定の比率で合成する（ステップＳ４６）。一方、適用する特殊効果がマルチエコーでないとき（ステップＳ４５：Ｎｏ）、撮像装置１はステップＳ４７へ移行する。
【０１３７】
ステップＳ４７において、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合（ステップＳ４７：Ｙｅｓ）、動画中特殊効果画像処理部１６３ａは、ワンショットエコー効果を得るために、ＳＤＲＡＭ２５が記憶する特定の画像データであるレリーズフレームとの合成処理を行う（ステップＳ４８）。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部１６３ａは、現在のフレームの画像をＳＤＲＡＭ２５に記憶する処理を行う。これに対し、特殊効果フラグがオンになって２フレーム以後の場合、動画中特殊効果画像処理部１６３ａは、ＳＤＲＡＭ２５が記憶しているレリーズフレームと合成処理を行う。
【０１３８】
ステップＳ４７において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ４７：Ｎｏ）、撮像装置１はステップＳ４９へ移行する。
【０１３９】
ステップＳ４９において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ４９：Ｙｅｓ）、動画中特殊効果画像処理部１６３ａは、揺らぎ効果を追加する処理を行う（ステップＳ５０）。
【０１４０】
ステップＳ５０における動画中特殊効果画像処理部１６３ａの具体的な処理を説明する。動画中特殊効果画像処理部１６３ａは、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。
【０１４１】
ステップＳ４９において、適用する効果が揺らぎではない場合（ステップＳ４９：Ｎｏ）、撮像装置１はステップＳ５１へ移行する。
【０１４２】
ステップＳ５１において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ５１）。適用する効果がトランジットである場合（ステップＳ５１：Ｙｅｓ）、基本画像処理部１６１ａおよびアート効果画像処理部１６２ａは、仕上がり／切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する（ステップＳ５２、Ｓ５３）。その後、動画中特殊効果画像処理部１６３ａは、トランジット用の２つの画像の合成処理を行うことによってトランジット画像を生成する（ステップＳ５４）。ステップＳ５４の後、撮像装置１はメインルーチンへ戻る。
【０１４３】
ステップＳ５１において、制御部２９が判定した結果、適用する効果がトランジットでない場合（ステップＳ５１：Ｎｏ）、撮像装置１はメインルーチンへ戻る。
【０１４４】
以上説明した本発明の実施の形態１によれば、画像処理制御部２９１が動画中特殊効果画像処理部１６３ａにアート効果画像処理部１６２ａおよびアート効果画像処理部１６２ｂによって生成された最新のアート効果画像Ａおよびアート効果画像Ｂを合成させ、この合成の比率を経時的に変化させる。これにより、動画フレームに処理速度が異なる２つの映像効果を付与している場合であっても、自然で違和感がない動画を撮影することができる。
【０１４５】
また、本実施の形態１によれば、一定時間内で互いに処理速度が異なるアート効果を付与した２つの画像を合成して合成画像を記録する場合、２つの画像を合成する比率をフレーム数に同期して徐々に変化させることができるので、アート効果Ａからアート効果Ｂの切り替えを滑らかに変化させることができる。
【０１４６】
また、本実施の形態１によれば、編集機器やＰＣ上で実現できるものと同等な特殊効果を、撮像装置１自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。
【０１４７】
また、本実施の形態１によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置１を実現することができる。
【０１４８】
一般に、撮像装置は、ＰＣ等と比較してメモリが少なく処理能力が劣っているため、ＰＣ等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置１においては、メモリ不足やメモリ管理上の問題が決定的なものになり、メモリ増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態１では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現することができる。
【０１４９】
また、本実施の形態１では、動画撮影であったが、表示部２１が表示するライブビュー画像であっても適用することができる。この場合において、アート効果Ａからアート効果Ｂへ変化している途中でレリーズ信号が入力されたとき、このレリーズ信号が入力された時点の割合を合成してトランジット画像を静止画として記録してもよい。
【０１５０】
また、本実施の形態１では、動画撮影であったが、電子ビューファインダが表示するライブビュー画像であっても適用することができる。
【０１５１】
また、本実施の形態１では、表示制御部２９２が表示部２１の表示領域を分割し、一方の表示領域にトランジットが施されたライブビュー画像を表示させ、他方の表示領域に撮影画像をライブビュー画像として表示させてもよい。これにより、ユーザは、画像を見比べながら撮影を行うことができる。
【０１５２】
また、本実施の形態１では、動画撮影であったが、一定の時間内で連続的に撮影する連写であっても適用することができる。
【０１５３】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる撮像装置１は、上述した実施の形態１と構成が異なるうえ、動画特殊効果としてのトランジットの処理が異なる。具体的には、本実施の形態２にかかる撮像装置は、１つの画像処理部でトランジットの処理を行う。このため、以下においては、本実施の形態２にかかる撮像装置の構成を説明後、トランジットの処理について説明する。なお、同一の構成には同一の符号を付して説明する。
【０１５４】
図１７は、本実施の形態２にかかる撮像装置１００の構成を示すブロック図である。図１７に示すように、撮像装置１００は、画像処理部１１０を備える。
【０１５５】
画像処理部１１０は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１１０は、基本画像処理部１６１ａと、アート効果画像処理部１６２ａと、動画中特殊効果画像処理部１６３ａと、を有する。
【０１５６】
つぎに、本実施の形態２にかかる撮像装置１００が実行するトランジットの処理について説明する。図１８は、本実施の形態２にかかる撮像装置１００が実行するトランジットの概要を説明する図である。図１８では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図１８では、アート効果画像処理部１６２ａによるアート効果Ａの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とし、アート効果Ｂの処理速度を１５ｆｐｓ（６６ｍｓｅｃ／ｆｒａｍｅ）とする。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【０１５７】
図１８において、トランジットの開始トリガの入力前は、アート効果画像処理部１６２ａが撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０を生成している。
【０１５８】
開始トリガが入力されると、画像処理制御部２９１は、撮影画像Ｐ１に対して、アート効果画像処理部１６２ａにアート効果Ｂをフレーム間で可能な処理（アート効果Ｂ−１）を実行させる。これにより、１つのフレームに満たない半分のアート効果画像Ｂ−１が生成され、ＳＤＲＡＭ２５に一時的に記録される。このため、画像処理制御部２９１は、動画中特殊効果画像処理部１６３ａにアート効果画像Ａ０を複製させてトランジット画像Ｒ３１として記録する。
【０１５９】
その後、画像処理制御部２９１は、時間ｔ＝ｔ12において、撮影画像Ｐ２に対して、アート効果画像処理部１６２ａにアート効果Ａを実行させてアート効果画像Ａ１を生成する。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１を用いてトランジット画像Ｒ３２として記録する。
【０１６０】
その後、画像処理制御部２９１は、時間ｔ＝ｔ13において、撮影画像Ｐ３に対して、アート効果画像処理部１６２ａに残りのアート効果Ｂを実行させる（アート効果Ｂ−２）。これにより、１つのフレームのアート効果画像Ｂ１が生成される。この際、動画中特殊効果画像処理部１６３ａは、最新のアート効果画像Ａ１の信号に乗じる係数をｂ＝０．９とし、最新のアート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．１として２つの画像を合成することによってトランジット画像Ｒ３３を生成して記録する。
【０１６１】
その後、画像処理制御部２９１は、時間ｔ＝ｔ14において、撮影画像Ｐ４に対して、アート効果画像処理部１６２ａにアート効果Ａを実行させてアート効果画像Ａ２を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．８とし、最新のアート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．２として２つの画像を合成することによってトランジット画像Ｒ３４を生成して記録する。
【０１６２】
その後、画像処理制御部２９１は、時間ｔ＝ｔ15において、撮影画像Ｐ５に対して、アート効果画像処理部１６２ａにアート効果Ｂをフレーム間で可能な処理（アート効果Ｂ−１）を実行させる。これにより、１つのフレームに満たない半分のアート効果画像Ｂ−１が生成され、ＳＤＲＡＭ２５に一時的に記録される。このため、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２およびアート効果画像Ｂ１を用いてトランジット画像Ｒ２５を生成する。具体的には、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２に信号に乗じる係数をｂ＝０．７とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．３として２つの画像を合成することによってトランジット画像Ｒ３５を生成して記録する。
【０１６３】
その後、画像処理制御部２９１は、時間ｔ＝ｔ16において、撮影画像Ｐ６に対して、アート効果画像処理部１６２ａにアート効果Ａを実行させてアート効果画像Ａ３を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ３の信号に乗じる係数をｂ＝０．５とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．５として２つの画像を合成することによってトランジット画像Ｒ３６を生成して記録する。
【０１６４】
その後、画像処理制御部２９１は、時間ｔ＝ｔ17において、撮影画像Ｐ７に対して、アート効果画像処理部１６２ａに残りのアート効果Ｂを実行させる（アート効果Ｂ−２）。これにより、１つのフレームのアート効果画像Ｂ２が生成される。この際、動画中特殊効果画像処理部１６３ａは、最新のアート効果画像Ａ３の信号に乗じる係数をｂ＝０．３とし、最新のアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．７として２つの画像を合成することによってトランジット画像Ｒ３７を生成して記録する。
【０１６５】
その後、画像処理制御部２９１は、時間ｔ＝ｔ18において、撮影画像Ｐ８に対して、アート効果画像処理部１６２ａにアート効果Ａを実行させてアート効果画像Ａ４を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ５の信号に乗じる係数をｂ＝０．２とし、アート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．８として２つの画像を合成することによってトランジット画像Ｒ３８を生成して記録する。
【０１６６】
以上説明した本発明の実施の形態２によれば、１つの画像処理部１１０のみで経時的に効果が変化するトランジットを行うことができる。これにより、消費電力を低減することができるとともに、動画を滑らかに撮影することができる。
【０１６７】
さらに、本実施の形態２によれば、１つの画像処理部１１０のみでトランジットを行うことができるので、撮像装置１００の小型化を行うことができる。
【０１６８】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。本実施の形態３にかかる撮像装置は、上述した実施の形態２と同様の構成を有し、撮像装置が実行する動画特殊効果としてのトランジットの処理が異なる。このため、以下においては、本実施の形態３にかかる撮像装置が実行するトランジットの処理のみ説明する。なお、同一の構成には同一の符号を付して説明する。
【０１６９】
図１９は、本実施の形態３にかかる撮像装置１００が実行するトランジットを模式的に示している。図１９では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図１９では、アート効果画像処理部１６２ａによるアート効果Ａの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とし、アート効果Ｂの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とする。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【０１７０】
図１９において、トランジットの開始トリガの入力前は、アート効果画像処理部１６２ａが撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０を生成し、このアート効果画像Ａ０を記録画像Ｒ０として記録している。
【０１７１】
開始トリガが入力されると、画像処理制御部２９１は、撮影画像Ｐ１に対して、アート効果画像処理部１６２ａにアート効果Ｂを施させてアート効果画像Ｂ１を生成させる。この際、動画中特殊効果画像処理部１６３ａは、開始トリガの直前に生成されたアート効果画像Ａ０の信号に乗じる係数をｂ＝０．９とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．１として２つの画像を合成することによってトランジット画像Ｒ４１を生成して記録する。
【０１７２】
その後、画像処理制御部２９１は、時間ｔ＝ｔ12において、撮影画像Ｐ２に対して、アート効果画像処理部１６２ａにアート効果Ａを施させてアート効果画像Ａ１を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１の信号に乗じる係数をｂ＝０．８として、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．２として２つの画像を合成することによってトランジット画像Ｒ４２を生成して記録する。
【０１７３】
その後、画像処理制御部２９１は、時間ｔ＝ｔ13において、撮影画像Ｐ３に対して、アート効果画像処理部１６２ａにアート効果Ｂを施させてアート効果画像Ｂ２を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１の信号に乗じる係数をｂ＝０．７として、アート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．３として２つの画像を合成することによってトランジット画像Ｒ４３を生成して記録する。
【０１７４】
その後、画像処理制御部２９１は、時間ｔ＝ｔ14において、撮影画像Ｐ４に対して、アート効果画像処理部１６２ａにアート効果Ａを施させてアート効果画像Ａ２を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、アート効果画像Ｂ２の信号に乗ずる係数を１−ｂ＝０．４として２つの画像を合成することによってトランジット画像Ｒ４４を生成して記録する。
【０１７５】
その後、画像処理制御部２９１は、時間ｔ＝ｔ15において、撮影画像Ｐ５に対して、アート効果画像処理部１６２ａにアート効果Ｂを施させてアート効果画像Ｂ３を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．５とし、アート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．５として２つの画像を合成することによってトランジット画像Ｒ４５を生成して記録する。
【０１７６】
その後、画像処理制御部２９１は、時間ｔ＝ｔ16において、撮影画像Ｐ６に対して、アート効果画像処理部１６２ａにアート効果Ａを施させてアート効果画像Ａ３を生成させる。この際、動画中特殊効果処理部１６３ａは、アート効果画像Ａ３の信号に乗じる係数をｂ＝０．４とし、アート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．６として２つの画像を合成することによってトランジット画像Ｒ４６を生成して記録する。
【０１７７】
その後、画像処理制御部２９１は、時間ｔ＝ｔ17において、撮影画像Ｐ７に対して、アート効果画像処理部１６２ａにアート効果Ｂを施させてアート効果画像Ｂ４を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ３の信号に乗じる係数をｂ＝０．３として、アート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．７として２つの画像を合成することによってトランジット画像Ｒ４７を生成して記録する。
【０１７８】
その後、画像処理制御部２９１は、時間ｔ＝ｔ18において、撮影画像Ｐ８に対して、アート効果画像処理部１６２ａにアート効果Ａを施させてアート効果画像Ａ４を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ４の信号に乗じる係数をｂ＝０．２として、アート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．８として２つの画像を合成することによってトランジット画像Ｒ４８を生成して記録する。
【０１７９】
このように、画像処理制御部２９１は、アート効果画像処理部１６２ａによる処理速度が同じ２つのアート効果を適用させる場合、アート効果Ａおよびアート効果Ｂを交互に行わせるとともに、動画中特殊効果画像処理部１６３ａが合成する比率（割合や係数）を経時的に変化させる。これにより、アート効果Ａからアート効果Ｂの移り変わりを滑らかに行うことができる。
【０１８０】
以上説明した本発明の実施の形態３によれば、動画フレームに対して処理速度が同じアート効果を付与する場合であっても、１つの画像処理部１１０のみで経時的に効果が変化するトランジットを行うことができる。これにより、消費電力を低減することができるとともに、動画を滑らかに撮影することができる。
【０１８１】
（実施の形態４）
つぎに、本発明の実施の形態４について説明する。本実施の形態４にかかる撮像装置は、上述した実施の形態２と同様の構成を有し、撮像装置が実行する動画特殊効果処理としてのトランジットが異なる。このため、以下においては、本実施の形態４にかかる撮像装置が実行するトランジットの処理について説明する。なお、同一の構成には同一の符号を付して説明する。
【０１８２】
図２０は、本実施の形態４にかかる撮像装置が実行するトランジットの概要を説明する図である。図２０では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図２０では、アート効果画像処理部１６３ａによるアート効果Ａの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とし、アート効果Ｂの処理速度を１５ｆｐｓ（６６ｍｓｅｃ／ｆｒａｍｅ）とする。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【０１８３】
図２０において、トランジットの開始トリガの入力前は、アート効果画像処理部１６２ａが撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０を生成し、このアート効果画像Ａ０を記録画像Ｒ０として記録している。
【０１８４】
開始トリガが入力されると、画像処理制御部２９１は、撮影画像Ｐ１に対して、アート効果画像処理部１６３ａにアート効果Ｂを施させてアート効果画像Ｂ２１を生成させる。この際、画像処理制御部２９１は、アート効果Ａ（第１の特殊効果）と略同じ処理時間になるように、アート効果画像処理部１６３ａに撮影画像Ｐ１の画素数を半分に間引くことによって、３０ｆｐｓで処理可能なサイズでアート効果画像Ｂ２１を生成する。さらに、動画中特殊効果画像処理部１６３ａは、開始トリガの直前に生成されたアート効果画像Ａ０の信号に乗じる係数をｂ＝０．９とし、アート効果画像Ｂ２１の信号に乗じる係数を１−ｂ＝０．１として２つの画像を合成することによってトランジット画像Ｒ５１を生成して記録する。この場合、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ０にアート効果画像Ｂ２１を合成するとき、アート効果画像Ａ０のサイズと同様のサイズに拡大するリサイズ処理を行うことによって合成する。これにより、トランジット画像Ｒ５１は、やや粗くなるが、撮影する動画のフレーム遅延を無くし、滑らかな動画を撮影することができる。
【０１８５】
その後、画像処理制御部２９１は、時間ｔ＝ｔ12において、撮影画像Ｐ２に対して、アート効果画像処理部１６２ａにアート効果Ａを施させてアート効果画像Ａ１を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１の信号に乗じる係数をｂ＝０．８として、アート効果画像Ｂ２１の信号に乗じる係数を１−ｂ＝０．２として２つの画像を合成することによってトランジット画像Ｒ５２を生成する。この場合、動画中特殊効果画像処理部１６３ａは、アート効果画像Ｂ２１をアート効果画像Ａ１のサイズと同様のサイズに拡大するリサイズ処理を行うことによってアート効果画像Ａ１に合成してトランジット画像Ｒ５２を生成して記録する。
【０１８６】
このように、画像処理制御部２９１は、時間ｔ＝ｔ13〜ｔ20において、撮影画像Ｐ３〜Ｐ１０に対して、アート効果画像処理部１６２ａにアート効果Ａおよびアート効果Ｂをそれぞれ交互に実行させ、アート効果画像Ａ２〜Ａ５およびアート効果画像Ｂ２２〜Ｂ２５を生成させる。さらに、画像処理制御部２９１は、アート効果Ａおよびアート効果Ｂを合成する割合を経時的に逆転させながら動画中特殊効果画像処理部１６３ａに合成させてトランジット画像Ｒ５３〜Ｒ６０を生成して記録する。
【０１８７】
以上説明した本発明の実施の形態４によれば、画像処理制御部２９１がアート効果画像処理部１６３ａにアート効果Ｂを施させてアート効果画像Ｂを生成させる場合、アート効果Ａと略同じ処理時間になるように、アート効果画像処理部１６３ａに撮影画像Ｐ１の画素数を半分に間引かせることによって、３０ｆｐｓで処理可能なサイズでアート効果画像Ｂを生成させる。これにより、動画フレームに対して処理速度が異なるアート効果を付与する場合であっても、１つの画像処理部１１０のみで経時的に効果が変化するトランジットを行うことができる。この結果、消費電力を低減することができるとともに、動画を滑らかに撮影することができる。
【０１８８】
なお、本実施の形態４では、画像処理制御部２９１がアート効果画像処理部１６３ａに撮影画像の画素数を半分に間引かせることによって、３０ｆｐｓで処理可能なサイズでアート効果画像Ｂを生成させていたが、アート効果画像処理部１６３ａに撮影画像のデータ量をリサイズすることにより、３０ｆｐｓで処理可能なデータ量でアート効果画像を生成させてもよい。さらに、アート効果画像処理部１６３ａに撮影画像のデータ量に対して削減または圧縮させてもよい。
【０１８９】
（実施の形態５）
つぎに、本発明の実施の形態５について説明する。本実施の形態５にかかる撮像装置は、上述した実施の形態２と同様の構成を有し、撮像装置が実行する動画特殊効果としてのトランジットの処理が異なる。このため、以下においては、本実施の形態５にかかる撮像装置が実行するトランジットの処理のみ説明する。なお、同一の構成には同一の符号を付して説明する。
【０１９０】
図２１は、本実施の形態５にかかる撮像装置１００が実行するトランジットを模式的に示している。図２１では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図２１では、アート効果画像処理部１６３ａによるアート効果Ａの処理速度を３０ｆｐｓ（３３ｍｓｅｃ／ｆｒａｍｅ）とし、アート効果Ｂの処理速度を１５ｆｐｓ（６６ｍｓｅｃ／ｆｒａｍｅ）とする。さらに、図２１では、撮影した画像を再生する際の再生速度を等倍再生（１倍）から８倍再生に変更する例について説明する。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
【０１９１】
図２１において、トランジットの開始トリガの入力前は、アート効果画像処理部１６２ａが撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０を生成し、このアート効果画像Ａ０を記録画像Ｒ０として記録している。
【０１９２】
開始トリガが入力されると、画像処理制御部２９１は、撮影画像Ｐ１に対して、アート効果画像処理部１６２ｂにアート効果Ｂをフレーム間で可能な処理（アート効果Ｂ−１）を実行させる。これにより、１つのフレームに満たない半分のアート効果画像Ｂ１−１が生成され、ＳＤＲＡＭ２５に一時的に記録される。このため、画像処理制御部２９１は、動画中特殊効果画像処理部１６３ａにアート効果画像Ａ０を複製させてトランジット画像Ｒ６１を生成して記録する。
【０１９３】
その後、画像処理制御部２９１は、時間ｔ＝ｔ12において、撮影画像Ｐ２に対して、アート効果画像処理部１６２ａにアート効果Ａを実行させてアート効果画像Ａ１を生成する。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１を複製することなく、一連の動画撮影のフレームから間引く処理（記録しない処理）を行う。
【０１９４】
その後、画像処理制御部２９１は、時間ｔ＝ｔ13において、撮影画像Ｐ３に対して、アート効果画像処理部１６２ａに残りのアート効果Ｂを実行させる（アート効果Ｂ−２）。これにより、１つのフレームのアート効果画像Ｂ１が生成される。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ１の信号に乗じる係数をｂ＝０．９とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．１として２つの画像を合成することによってトランジット画像Ｒ６２を生成して記録する。
【０１９５】
その後、画像処理制御部２９１は、時間ｔ＝ｔ14，ｔ15において、撮影画像Ｐ４，Ｐ５に対して、アート効果画像処理部１６２ａにアート効果Ａおよびアート効果Ｂ−１を実行させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像処理部１６２ａが生成する２つの画像を記録することなく、一連の動画撮影のフレームから２つのフレームを間引く処理を行う。これにより、撮影した動画を再生する際、この期間が３倍速になる。
【０１９６】
その後、画像処理制御部２９１は、時間ｔ＝ｔ16において、撮影画像Ｐ６に対して、アート効果画像処理部１６３ａにアート効果Ａを施させてアート効果画像Ａ２を生成させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．５とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．５として２つの画像を合成することによってトランジット画像Ｒ６３を生成して記録する。
【０１９７】
その後、画像処理制御部２９１は、時間ｔ＝ｔ17〜ｔ1９において、撮影画像Ｐ７〜Ｐ９に対して、アート効果画像処理部１６３ａにアート効果Ｂ−２、アート効果Ａおよびアート効果Ｂ−１をそれぞれ実行させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像処理部１６２ａが生成する３つの画像を記録することなく、一連の動画撮影のフレームから３つのフレームを間引く処理を行う。これにより、撮影した動画を再生する際、この期間が４倍速になる。
【０１９８】
その後、画像処理制御部２９１は、各時間において、撮影画像に対して、アート効果画像処理部１６３ａにアート効果Ａ、アート効果Ｂ−１およびアート効果Ｂ−２をそれぞれ実行させる。この際、動画中特殊効果画像処理部１６３ａは、アート効果画像処理部１６２ａが生成する８つの画像から２つの画像を所定の割合で合成し、この合成した合成画像のみをトランジット画像として記録し、それ以外の７つの画像を記録することなく、一連の動画撮影のフレームから７つのフレームを間引く処理を行う。これにより、撮影した動画を再生する際、この期間が８倍速になる。
【０１９９】
以上説明した本発明の実施の形態５によれば、記録する画像のフレームを間引くことによって、撮影した動画を再生した際に、徐々に再生速度が８倍速度で再生可能になる。これにより、処理速度が速いアート効果から処理速度が遅いアート効果の切り替えを滑らかに行うことができるとともに、より感動的かつ、ユーザの意図を反映させたコミカルな動画を撮影することができる。
【０２００】
なお、上述した本実施の形態５では、処理速度が遅いアート効果から処理速度が速いアート効果の切り替えであっても適用することができる。この場合、断続的な速度から等倍速になるので、あたかも夢から覚めたような不思議な動画を撮影することができる。
【０２０１】
また、上述した本実施の形態５では、撮影した動画を再生する再生速度に応じて、各時間に応じたフレームを間引いていたが、このフレームを記録してもよい。図２２は、本実施の形態５の変形例１にかかるトランジットの概要を説明する図である。
【０２０２】
図２２に示すように、画像処理制御部２９１は、撮影画像に対して、各時間でアート効果画像処理部１６２ａにアート効果Ａ、アート効果Ｂ−１およびアート効果Ｂ−２を実行させてアート効果画像を生成させ、動画中特殊効果画像処理部１６３ａは、記録するフレーム間の中間フレームを所定の比率、たとえば合成直後の比率で合成してトランジット画像を生成し、このトランジット画像を記録させてもよい。さらに、合成したトランジット画像を複製されて記録させてもよい。これにより、撮影した画像を再生した際に、滑らかな動画を再生することができる。なお、中間フレームを記録する数は、再生速度に応じて適宜設定してもよい。たとえば、４倍速再生の場合は、２フレーム記録させ、８倍速再生の場合は、４フレームを記録させるようにしてもよい。これにより、コミカルな動画を維持しつつ、連続的に滑らかに繋がる動画を撮影することができる。
【０２０３】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜５によってのみ限定されるべきものではない。
【０２０４】
たとえば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。
【０２０５】
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
【０２０６】
また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【０２０７】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０２０８】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０２０９】
１，１００  撮像装置
２  本体部
３  レンズ部
１２  撮像素子
１６ａ，１６ｂ，１１０  画像処理部
１９  画像圧縮展開部
２０  入力部
２１  表示部
２２  表示駆動部
２３  記録媒体
２６  Ｆｌａｓｈメモリ
２７  本体通信部
２８  バス
２９  制御部
３１  光学系
３５  レンズ操作部
３６  レンズｆｌａｓｈメモリ
３７  レンズ通信部
３８  レンズ制御部
４１  電源ボタン
４２  レリーズボタン
４３  モードダイヤル
４４  操作ボタン
４５  メニューボタン
４６  再生ボタン
４７  動画ボタン
４８  ファンクションキー
４９  消去ボタン
５０  タッチパネル
１６１ａ，１６１ｂ  基本画像処理部
１６２ａ，１６２ｂ  アート効果画像処理部
１６３ａ，１６３ｂ  動画中特殊効果画像処理部
２０１  設定信号入力部
２０２  動画撮影信号入力部
２６１  プログラム記録部
２６２  特殊効果処理情報記録部
２６３  画像処理情報記録部
２９１  画像処理制御部
２９２  表示制御部
４４１  十字キー
４４２  決定ボタン
４４３  上矢印キー
４４４  下矢印キー
４４５  左矢印キー
４４６  右矢印キー
【図１】
0005836138.tif 000002
【図２】
0005836138.tif 000003
【図３】
0005836138.tif 000004
【図６】
0005836138.tif 000005
【図８】
0005836138.tif 000006
【図９】
0005836138.tif 000007
【図１０】
0005836138.tif 000008
【図１１】
0005836138.tif 000009
【図１２】
0005836138.tif 000010
【図１３】
0005836138.tif 000011
【図１４】
0005836138.tif 000012
【図１５】
0005836138.tif 000013
【図１６】
0005836138.tif 000014
【図１７】
0005836138.tif 000015
【図４】
0005836138.tif 000016
【図５】
0005836138.tif 000017
【図７】
0005836138.tif 000018
【図１８】
0005836138.tif 000019
【図１９】
0005836138.tif 000020
【図２０】
0005836138.tif 000021
【図２１】
0005836138.tif 000022
【図２２】
0005836138.tif 000023
【図２３】
0005836138.tif 000024
【図２４】
0005836138.tif 000025