(57)【要約】【課題】被写体の実際の移動状態に即した効果を静止画上で表現する。【解決手段】画像処理装置は、時間的に連続する複数の画像データのうち一つの画像データを対象画像データとして選択する第１選択手段と、複数の画像データのそれぞれに対して移動している移動被写体を検出する移動被写体検出手段と、移動被写体検出手段により検出された移動被写体の移動方向を含む移動情報を検出する移動情報検出手段と、移動情報検出手段により検出された移動情報に基づいた画像効果を対象画像データに施す画像処理手段とを備える。【選択図】図２
2015088771.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数の画像データのうち一つの画像データを対象画像データとして選択する第１選択手段と、
前記複数の画像データのそれぞれに対して移動している移動被写体を検出する移動被写体検出手段と、
前記移動被写体検出手段により検出された前記移動被写体の移動方向を含む移動情報を検出する移動情報検出手段と、
前記移動情報検出手段により検出された前記移動情報に基づいた画像効果を前記対象画像データに施す画像処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記移動情報検出手段により検出された前記移動被写体の前記移動方向が実質的に同一方向を維持しながら画像上の一点に収束するか否かに応じて、前記対象画像データに施す前記画像効果を選択する第２選択手段をさらに備え、
前記画像処理手段は、前記第２選択手段により選択された前記画像効果を前記対象画像データに施すことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２選択手段は、前記移動被写体の前記移動方向が実質的に同一方向を維持しながら画像上の一点に収束する場合には、前記移動被写体の外縁部後方に放射状に延伸する移動線を画像効果として選択し、前記移動被写体の前記移動方向が実質的に同一方向を維持しながら画像上の一点に収束しない場合には、前記移動被写体の外縁部後方に延伸する軌跡を画像効果として選択することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記移動情報検出手段は、各画像データごとに検出された前記移動被写体を比較して、前記移動被写体の大きさに変化がある場合には、前記移動方向は画像上の一点に収束すると判定することを特徴とする画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置において、
前記第２選択手段は、前記移動被写体の移動速度の大小に応じて、前記移動線または前記軌跡の本数を増減させることを特徴とする画像処理装置。
【請求項６】
請求項３乃至５の何れか一項に記載の画像処理装置において、
前記第２選択手段は、前記移動被写体の移動速度の大小に応じて、前記移動線または前記軌跡の長さを増減させることを特徴とする画像処理装置。
【請求項７】
請求項３乃至６の何れか一項に記載の画像処理装置において、
前記第２選択手段は、前記移動被写体の移動速度の大小に応じて、複数の前記移動線または複数の前記軌跡の間隔を増減させることを特徴とする画像処理装置。
【請求項８】
被写体を撮像して所定の周期ごとに連続して画像信号を出力する撮像手段と、
前記画像信号に基づいて、前記所定の周期ごとに時間的に連続する複数の画像データを生成する画像生成手段と、
請求項１乃至７の何れか一項に記載の画像処理装置とを備えることを特徴とする撮像装置。
【請求項９】
時間的に連続する複数の画像データのうち一つの画像データを対象画像データとして選択する第１選択処理と、
前記複数の画像データのそれぞれに対して移動している移動被写体を検出する移動被写体検出処理と、
前記移動被写体検出処理により検出された前記移動被写体の移動方向を含む移動情報を検出する移動情報検出処理と、
前記移動情報検出処理により検出された前記移動情報に基づいて、画像効果を前記対象画像データに施す画像処理と、をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、３次元空間中でのデジタルカメラの挙動を検出することにより、検出した挙動情報に応じて、よりダイナミックな演出効果を施して画像再生を行うデジタルカメラが知られている（たとえば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９３３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影時にデジタルカメラの挙動情報に基づいて演出効果が施されるので、被写体の実際の移動の状態に即した効果を表現できないという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、時間的に連続する複数の画像データのうち一つの画像データを対象画像データとして選択する第１選択手段と、複数の画像データのそれぞれに対して移動している移動被写体を検出する移動被写体検出手段と、移動被写体検出手段により検出された移動被写体の移動方向を含む移動情報を検出する移動情報検出手段と、移動情報検出手段により検出された移動情報に基づいた画像効果を対象画像データに施す画像処理手段と、を備えることを特徴とする。
請求項８に記載の撮像装置は、被写体を撮像して所定の周期ごとに連続して画像信号を出力する撮像手段と、画像信号に基づいて、所定の周期ごとに時間的に連続する複数の画像データを生成する画像生成手段と、請求項１乃至７の何れか一項に記載の画像処理装置とを備えることを特徴とする。
請求項９に記載の画像処理プログラムは、時間的に連続する複数の画像データのうち一つの画像データを対象画像データとして選択する第１選択処理と、複数の画像データのそれぞれに対して移動している移動被写体を検出する移動被写体検出処理と、移動被写体検出処理により検出された移動被写体の移動方向を含む移動情報を検出する移動情報検出処理と、移動情報検出処理により検出された移動情報に基づいて、画像効果を対象画像データに施す画像処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、シャッターレリーズ前後の移動被写体の移動情報を抽出し、この移動情報に基づいて、好みの画像に被写体の移動効果を付与して表現することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態によるデジタルカメラの要部構成を説明するブロック図
【図２】実施の形態による画像処理部が備える機能を説明するブロック図
【図３】移動効果付画像データの生成処理を説明する概念図
【図４】移動効果付画像データの一例を示す図
【図５】移動効果付画像データの生成処理を説明する概念図
【図６】移動効果付画像データの生成処理を説明する概念図
【図７】実施の形態によるデジタルカメラの移動効果付画像データの生成処理を説明するフローチャート
【図８】実施の形態によるデジタルカメラの移動効果付画像データの生成処理を説明するフローチャート
【図９】実施の形態によるデジタルカメラの移動効果付画像データの生成処理を説明するフローチャート
【図１０】変形例における移動効果付画像データの一例を示す図
【図１１】変形例における移動効果付画像データの一例を示す図
【図１２】変形例における画像処理装置の要部構成を説明するブロック図
【発明を実施するための形態】
【０００８】
図面を参照して、本発明の一実施の形態における撮像装置として、レンズ交換式デジタルカメラを例に挙げて説明する。なお、レンズ固定式デジタルカメラについても本発明の一態様に含まれる。
図１はデジタルカメラ１の要部構成を示すブロック図である。デジタルカメラ１は、交換レンズ２００とカメラボディ１００とから構成され、交換レンズ２００がマウント部（不図示）を介してカメラボディ１００に装着される。
【０００９】
交換レンズ２００は、撮影レンズ２０１と、レンズ制御部２０２とを備えている。撮影レンズ２０１は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含んで構成される。なお、図１では撮影レンズ２０１を１枚のレンズで代表して表している。レンズ制御部２０２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、各種のデータ処理を実行したりする演算回路である。レンズ制御部２０２は、データ処理の結果に基づいて、撮影レンズ２０１や絞り（不図示）の駆動を制御したり、マウント部（不図示）に設けられた電気接点２１１を介してカメラボディ１００との間で状態情報やレンズ情報の送信とカメラ情報の受信とを行ったりする。
【００１０】
カメラボディ１００は、撮像素子１０１、制御回路１０２、バッファメモリ１０３、ＬＣＤ駆動回路１０４、液晶表示器１０５、操作部１０６、メモリカードインタフェース１０７およびマイク１０８を備えている。撮像素子１０１には、ＣＣＤやＣＭＯＳ等の撮像画素が二次元状（行と列）に配置され、後述する制御回路１０２の制御に応じて駆動して、撮影レンズ２０１を通して入力される被写体像を撮像し、撮像して得た撮像信号を出力する。撮像素子１０１の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１０１がカラーフィルタを通して被写体像を撮像するため、撮像素子１０１から出力される撮像信号はＲＧＢ表色系の色情報を有する。
【００１１】
制御回路１０２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御プログラムは、制御回路１０２内の不図示の不揮発性メモリに格納されている。制御回路１０２は、画像処理部１１２を機能として備え、撮像素子１０１から出力された撮像信号に対して、たとえばホワイトバランス調整やガンマ補正等の種々の画像処理を施して画像データを生成して、所定の圧縮処理を施して後述するメモリカード１０９へ記録する。また、画像処理部１１２は、撮像素子１０１から出力された撮像信号や、後述するメモリカード１０９に記録されている画像データに基づいて、後述する液晶表示器１０５に表示するための表示画像データを生成する。なお、画像処理部１１２の機能の詳細については、説明を後述する。
【００１２】
バッファメモリ１０３は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、メモリカード１０９へ記録する前の画像ファイルを記憶したり、メモリカード１０９から読み出した画像ファイルを記憶したりするために使用される。マイク１０８は、動画モードにて動画撮影中に、音声を入力し、増幅等の処理を行って音声データとして制御回路１０２へ出力する。
【００１３】
ＬＣＤ駆動回路１０４は、制御回路１０２の命令に基づいて液晶表示器１０５を駆動する回路である。液晶表示器１０５は、画像処理部１１２で作成された表示画像データに対応する画像の表示を行う。液晶表示器１０５には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。
【００１４】
メモリカードインタフェース１０７は、メモリカード１０９が着脱可能なインタフェースである。メモリカードインタフェース１０７は、制御回路１０２の制御に基づいて、画像ファイルをメモリカード１０９に書き込んだり、メモリカード１０９に記録されている画像ファイルを読み出すインタフェース回路である。メモリカード１０９はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。
【００１５】
操作部１０６はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路１０２へ出力する。操作部材は、たとえばレリーズボタンや、液晶表示器１０５にメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、動画撮影モードと静止画撮影モードとを含む撮影モードと再生モードとの間でデジタルカメラ１の動作を切替えるモード切替ボタン等を含む。さらに、操作部１０６の操作により、静止画データが生成される前に取得された複数の時間的に連続する画像データを用いて、画像上の主要被写体の移動状態を示す移動線が描画された移動効果付画像データを生成する移動効果付画像生成モードが選択可能に構成されている。なお、移動効果付画像生成モードにおけるデジタルカメラ１の動作については、詳細を以下に説明する。
【００１６】
−移動効果付画像生成モード−
ユーザによる操作部１０６の操作によって、移動効果付画像生成モードが設定された場合について説明する。移動効果付画像生成モードでは、画像処理部１１２は、ユーザによりレリーズボタンが半押し操作されてから全押し操作されるまでに取得された所定枚数の時間的に連続する画像データ、すなわちプリキャプチャーにより取得された画像データを用いて移動している主要被写体（移動被写体）の移動量、移動方向等の移動情報の検出を行う。そして、画像処理部１１２は、検出した移動被写体に関する移動情報を用いて、ユーザによるレリーズボタンの全押し操作に応じて生成された静止画データに移動被写体の移動状態を示す移動線を描画した移動効果データを合成して移動効果付画像データを生成する。
【００１７】
まず、移動効果付画像生成モードにおける画像データの取得動作について説明する。ユーザによるレリーズボタンの半押し操作に応じて操作部１０６から操作信号が出力されると、制御回路１０２は、撮像素子１０１から所定の周期（たとえば６０ｆｐｓ）にて撮像信号を出力させる。画像処理部１１２は、所定の周期ごとに出力される撮像信号を用いて１フレームの画像データを生成して、バッファメモリ１０３に順次格納する。なお、本実施の形態においては、画像処理部１１２は、１フレームの動画データをたとえば１９２０×１０８０画素の解像度にて生成する。
【００１８】
上記の処理を繰り返して行っている際に、ユーザによるレリーズボタンの全押し操作に応じて操作部１０６から操作信号が出力されると、画像処理部１１２は、このタイミングで出力された撮像信号を用いて静止画データを生成する。なお、本実施の形態においては、画像処理部１１２は、静止画データをたとえば３８４０×２１６０画素の解像度にて生成する。なお、上記の解像度、フレーム数、フレームレートの値は一例であり、この値に限定されるものではない。
【００１９】
図２は、上記のプリキャプチャーにより生成される複数の画像データ（以後、フレーム画像データと呼ぶ）と静止画データとを用いて移動効果付画像データを生成するために画像処理部１１２が有する機能を説明するためのブロック図である。図２に示すように、画像処理部１１２は、画像選択部１２０と、移動被写体検出部１２１と、移動情報検出部１２２と、描画効果選択部１２４と、処理部１２５とを機能として備えている。画像選択部１２０は、この静止画データを対象画像データとして選択する。移動被写体検出部１２１は、フレーム画像データのそれぞれに対して、公知の技術を用いて移動被写体を検出する。
【００２０】
移動情報検出部１２２は、フレーム画像データから検出された移動被写体の画像上での位置をそれぞれ比較して、移動ベクトルを算出することによって移動被写体の移動方向を検出する。また、移動方向検出部１２２は、移動被写体の移動方向と、検出された移動被写体の画像上での大きさをそれぞれ比較した比較結果とに基づいて、移動被写体の移動方向の収束点を検出する。移動方向検出部１２２は、移動被写体が次の（１）および（２）の条件を満たす場合に収束点が存在するものと判定し、静止画データ上における収束点の位置を特定する。
（１）移動被写体の移動方向が画像の水平方向に対して所定の角度以上の方向を有し、かつ、各フレーム画像データ間で移動方向が実質的に一定の場合。
（２）移動被写体の大きさが小さくなる（移動被写体がデジタルカメラ１から遠ざかる方向へ移動している）か、大きくなる（移動被写体がデジタルカメラ１に対して接近する方向へ移動している）場合。
【００２１】
描画効果選択部１２４は、収束点の有無と、移動被写体に関する移動方向や移動量等の移動情報とに基づいて、生成する移動効果データに対応する移動線の形状や移動線の本数、移動線の長さ等の移動効果を選択して決定する。処理部１２５は、描画効果選択部１２４により選択された移動効果に応じて軌跡データを生成し、対象画像データと合成することにより移動効果付画像データを生成する。
【００２２】
デジタルカメラ１による移動効果付画像データの生成について、収束点が存在する場合と、収束点が存在しない場合とに分けて説明する。
−収束点が存在する場合−
図３（ａ）は、時刻ｔ１にてユーザによるレリーズボタンの半押し操作に応じて生成が開始されたフレーム画像データＦ１〜Ｆｎ（総称する場合は、フレーム画像データＦとする）と、時刻ｔ２にてユーザのレリーズボタンの全押し操作に応じて生成された静止画データＳとを模式的に示している。図３（ａ）に示すフレーム画像データＦと静止画データＳとは、紙面の右手奥へ向かって遠ざかる車両を撮影したものである。この車両が移動被写体検出部１２１により移動被写体ＭＳとして検出されている。また、静止画データＳは、上述したように、画像選択部１２０により選択された対象画像データである。
【００２３】
移動情報検出部１２２は、フレーム画像データＦ１〜Ｆｎのうち時間的に互いに隣接し合う２つのフレーム画像データＦ（ｍ−１）とＦｍ（２＜ｍ＜ｎ）のそれぞれについて検出された移動被写体ＭＳにおいて、対応する位置の画像上での座標間の差分を演算することにより移動ベクトルを算出する。さらに、移動情報検出部１２２は、２つのフレーム画像データＦ（ｍ−１）とＦｍのそれぞれにおいて検出された移動被写体ＭＳの大きさを比較する。すなわち、移動情報検出部１２２は、フレーム画像データＦ（ｍ−１）にて検出された移動被写体ＭＳの大きさに対するフレーム画像データＦｍにて検出された移動被写体ＭＳの大きさの割合を算出する。算出した割合が第１閾値よりも大きい場合には、移動情報検出部１２２は、移動被写体ＭＳが接近していると判定し、算出した割合が第２閾値（＜第１閾値）よりも小さい場合には、移動被写体ＭＳが遠ざかっていると判定する。なお、第１閾値および第２閾値は実験等に基づいて適した値が設定され、所定の記憶領域に記憶されているものとする。
【００２４】
図３（ａ）に示す例においては、上述したように、紙面の右手奥へ向かって遠ざかる車両を移動被写体ＭＳとしたものである。したがって、移動情報検出部１２２により算出され動きベクトルの向き、すなわち移動被写体ＭＳの移動方向は、画面の水平面に対して所定の角度を有する。さらに、移動情報検出部１２２は、移動被写体ＭＳの大きさの変化の割合が第２閾値よりも小さいと判定する。したがって、移動情報検出部１２２は、図３（ａ）に示すフレーム画像データＦにて検出された移動被写体ＭＳの移動方向には、収束点が存在するものと判定する。
【００２５】
収束点が存在すると判定した場合には、移動情報検出部１２２は、収束点の画像上での位置を特定する。この場合、移動情報検出部１２２は、算出された動きベクトルの向き、すなわち移動被写体ＭＳの移動方向を延伸させた位置を収束点の位置として特定する。図３（ａ）に示す例においては、動きベクトルの方向は図の右上方となるので、移動情報検出部１２２は、図３（ｂ）に示すように、画像データの右上方の端部近傍の位置を収束点Ｐの位置として特定する。なお、図３（ｂ）においては、便宜的に静止画データにおける移動被写体ＭＳと背景とを破線で示している。収束点Ｐの位置が特定されると、描画効果選択部１２４は、移動効果を描画するための領域（描画領域）を決定する。図３（ｃ）に描画効果選択部１２４により決定される描画領域Ｒを示す。なお、図３（ｃ）においては、便宜的に描画領域Ｒの内部にドットを付与している。
【００２６】
図３（ｃ）に示すように、描画領域Ｒは収束点Ｐを起点として、移動被写体ＭＳの外縁を通過する２つの直線Ｌ１、Ｌ２で囲まれ、かつ、移動被写体ＭＳの移動方向とは逆方向における移動被写体ＭＳの境界の外側の領域である。なお、直線Ｌ１、Ｌ２は、公知のエッジ検出処理により検出された移動被写体ＭＳのエッジと収束点Ｐとを結ぶ直線のうち、直線Ｌ１とＬ２との成す角度が最大となるものである。
【００２７】
描画領域Ｒが決定されると、描画効果選択部１２４は、生成する移動効果データに用いる移動効果を選択して決定する。収束点Ｐが存在する場合には、描画効果選択部１２４は、移動被写体ＭＳの後方に放射状に延びる複数の直線を移動効果の表現、すなわち移動線として選択する。描画効果選択部１２４は、移動線の態様、すなわち描写する直線の本数、それぞれの直線の長さ、隣接し合う直線の間隔を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定する。この場合、描画効果選択部１２４は、移動被写体ＭＳの移動速度が大きいほど、直線の本数を多くし、直線の長さを長くし、直線間の間隔を密にするように決定することが好ましい。
【００２８】
処理部１２５は、描画効果選択部１２４により決定された移動効果を、決定された描画領域Ｒに表現した移動効果データを生成する。図３（ｄ）に、移動効果データの一例を示す。図３（ｄ）に示すように、移動被写体ＭＳの後方には６本の直線状の移動線ＬＥのそれぞれが放射状に延伸している。処理部１２５は、生成した移動効果データを、対象画像データである静止画データＳに合成することによって、図３（ｅ）に示す移動効果付画像データＳＥを生成する。
【００２９】
移動被写体ＭＳがデジタルカメラ１の光軸方向に沿って接近している場合には、描画効果選択部１２４は、次のような移動線ＬＥを移動効果の表現として選択できる。図４（ａ）は、この場合に生成される移動効果付画像データＳＥの一例を示すものである。図４（ａ）に示す例では、こちらに向かって接近する人物が移動被写体ＭＳとして検出されたものとする。この場合、描画効果選択部１２４は、描画領域Ｒを移動被写体ＭＳの上部であって、移動被写体ＭＳの境界の外側に設定する。そして、描画効果選択部１２４は、上記のように移動線ＬＥの態様（直線の本数、長さ、隣接し合う直線の間隔）を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定するとともに、移動線ＬＥの太さが徐々に変化するように決定する。たとえば、図４（ａ）に示すように、移動被写体ＭＳからの距離が離れるほど、移動線ＬＥの太さが増すように描画することにより、移動被写体ＭＳがこちらに接近している効果を表現できる。
【００３０】
また、移動被写体ＭＳがデジタルカメラ１の光軸方向に沿って離れていく場合には、描画効果選択部１２４は、次のような移動線ＬＥを移動効果の表現として選択できる。図４（ｂ）は、この場合に生成される移動効果付画像データＳＥの一例を示すものである。図４（ｂ）に示す例では、離れていく人物が移動被写体ＭＳとして検出されたものとする。この場合、描画効果選択部１２４は、描画領域Ｒを移動被写体ＭＳの下部であって、移動被写体ＭＳの境界の外側に設定する。そして、描画効果選択部１２４は、上記のように移動線ＬＥの態様（直線の本数、長さ、隣接し合う直線の間隔）を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定する。この結果、移動被写体ＭＳがこちらから遠方へ向かって去っている効果を表現できる。
【００３１】
なお、処理部１２５は、移動効果付画像データＳＥを生成する際に、静止画データＳに次のような処理を施してから移動効果データを合成してもよい。すなわち、処理部１２５は、静止画データＳに対してモノクロ処理を施してから、コントラストを上げる処理を施す。その結果、静止画データＳの被写体の輪郭が強調されることになるので、生成される移動効果付画像データＳＥに対応する画像を漫画風の静止画として再現することができる。また、処理部１２５は、移動効果データを生成して静止画データＳに合成するものに代えて、静止画データＳ上に移動線ＬＥを描画することにより移動効果付画像データＳＥを生成してもよい。
【００３２】
−収束点が存在しない場合−
移動被写体が上述した条件（１）または（２）を満たさない場合には、移動方向検出部１２２は、収束点は存在しないと判定する。収束点が存在しない場合の例として、移動被写体ＭＳがデジタルカメラ１との相対距離を実質的に一定に保って移動する場合と、移動被写体ＭＳの移動方向が実質的に一定とならない場合とを例に挙げて説明する。
【００３３】
−−移動被写体が相対距離を実質的に一定に保って移動する場合−−
図５（ａ）は、時刻ｔ１にてユーザによるレリーズボタンの全押し操作に応じて生成が開始されたフレーム画像データＦ１〜Ｆｎと、時刻ｔ２にてユーザのレリーズボタンの全押し操作に応じて生成された静止画データＳとを模式的に示している。図５（ａ）に示すフレーム画像データＦと静止画データＳとは、右側から左側へデジタルカメラ１との相対距離を実質的に一定に保って移動する人物を撮影したものである。この人物が動体検出部１２１により移動被写体ＭＳとして検出されている。また、静止画データＳは、上述したように、画像選択部１２０により選択された対象画像データである。
【００３４】
移動情報検出部１２２は、フレーム画像データＦ１〜Ｆｎのそれぞれについて検出された移動被写体ＭＳの動きベクトルを算出し、動きベクトルの大きさが所定値を超える領域を描画領域Ｒとして決定する。描画領域Ｒが決定されると、描画効果選択部１２４は、生成する移動効果データに用いる移動効果を選択して決定する。この場合、描画効果選択部１２４は、移動被写体ＭＳの後方に移動方向に沿って同一方向に延びる複数の直線を移動効果の表現、すなわち移動線ＬＥとして選択する。描画効果選択部１２４は、上述したように、移動線ＬＥの態様として、描写する直線の本数、それぞれの直線の長さ、隣接し合う直線の間隔を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定する。この場合についても、描画効果選択部１２４は、移動被写体ＭＳの移動速度が大きいほど、直線の本数を多くし、直線の長さを長くし、直線間の間隔を密にするように決定することが好ましい。
【００３５】
処理部１２５は、描画効果選択部１２４により決定された移動効果を、決定された描画領域Ｒに表現した移動効果データを生成する。図５（ｂ）に、移動効果データの一例を示す。図５（ｂ）に示すように、移動被写体ＭＳの後方には３本の直線状の移動線ＬＥのそれぞれが同一方向、すなわち移動被写体ＭＳの後方に移動方向に沿って延伸している。処理部１２５は、生成した移動効果データを、対象画像データである静止画データＳに合成することによって、図５（ｃ）に示す移動効果付画像データＳＥを生成する。
【００３６】
なお、処理部１２５は、移動効果付画像データＳＥを生成する際に、静止画データＳに次のような処理を施してから移動効果データを合成してもよい。すなわち、処理部１２５は、静止画データＳに対してモノクロ処理を施してから、コントラストを上げる処理を施す。その結果、静止画データＳの被写体の輪郭が強調されることになるので、生成される移動効果付画像データＳＥに対応する画像を漫画風の静止画として再現することができる。また、処理部１２５は、移動効果データを生成して静止画データＳに合成するものに代えて、静止画データＳ上に移動線ＬＥを描画することにより移動効果付画像データＳＥを生成してもよい。
【００３７】
−−移動被写体ＭＳの移動方向が実質的に一定とならない場合−−
図６（ａ）は、時刻ｔ１にてユーザによるレリーズボタンの半押し操作に応じて生成が開始されたフレーム画像データＦ１〜Ｆｎと、時刻ｔ２にてユーザのレリーズボタンの全押し操作に応じて生成された静止画データＳとを模式的に示している。図６（ａ）に示すフレーム画像データＦと静止画データＳとは、右側から進行してきたジェットコースターが宙返りをする様子を撮影したものである。このジェットコースターが移動被写体検出部１２１により移動被写体ＭＳとして検出されている。また、静止画データＳは、上述したように、画像選択部１２０により選択された対象画像データである。
【００３８】
移動情報検出部１２２は、フレーム画像データＦ１〜Ｆｎのそれぞれについて検出された移動被写体ＭＳの動きベクトルを算出し、動きベクトルの大きさが所定値を超える領域を描画領域Ｒとして決定する。描画領域Ｒが決定されると、描画効果選択部１２４は、生成する移動効果データに用いる移動効果を選択して決定する。この場合、描画効果選択部１２４は、描画領域Ｒの形状に沿って移動線ＬＥを描画する。移動線ＬＥは、近似曲線を用いるものであってもよいし、動きベクトルの大きさに相当する長さを有する直線を連結して形成されるものでもよい。その結果、移動被写体ＭＳの後方に移動方向に沿って同一方向に延びる複数の線を移動効果の表現として選択する。なお、描画効果選択部１２４は、上述したように、移動線ＬＥの本数、それぞれの移動線ＬＥの長さ、隣接し合う移動線ＬＥの間隔を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定する。この場合についても、描画効果選択部１２４は、移動被写体ＭＳの移動速度が大きいほど、移動線ＬＥの本数を多くし、移動線ＬＥの長さを長くし、移動線ＬＥ間の間隔を密にするように決定することが好ましい。
【００３９】
処理部１２５は、描画効果選択部１２４により決定された移動効果を、決定された描画領域Ｒに表現した移動効果データを生成する。図６（ｂ）に、移動効果データの一例を示す。図６（ｂ）に示すように、移動被写体ＭＳの後方には２本の移動方向に沿って曲線を描く移動線ＬＥのそれぞれが移動被写体ＭＳの後方に延びている。処理部１２５は、生成した移動効果データを、対象画像データである静止画データＳに合成することによって、図６（ｃ）に示す移動効果付画像データＳＥを生成する。
【００４０】
なお、処理部１２５は、移動効果付画像データＳＥを生成する際に、静止画データＳに次のような処理を施してから移動効果データを合成してもよい。すなわち、処理部１２５は、静止画データＳに対してモノクロ処理を施してから、コントラストを上げる処理を施す。その結果、静止画データＳの被写体の輪郭が強調されることになるので、生成される移動効果付画像データＳＥに対応する画像を漫画風の静止画として再現することができる。また、処理部１２５は、移動効果データを生成して静止画データＳに合成するものに代えて、静止画データＳ上に移動線ＬＥを描画することにより移動効果付画像データＳＥを生成してもよい。
【００４１】
画像処理部１１２は、上述したようにして処理部１２５により生成された移動効果付画像データＳＥをメモリカード１０９に記録する。なお、画像処理部１１２は、静止画データＳと処理部１２５により生成された移動効果データとを関連付けてメモリカード１０９に記録してもよい。この場合、表示を行うごとに、処理部１２５が移動効果データと静止画データＳとを合成して移動効果付画像データＳＥを生成すればよい。
【００４２】
図７〜図９を参照しながら、本発明の実施の形態によるデジタルカメラ１の動作について説明する。図７の処理は制御回路１０２でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザにより移動効果負荷画像モードが選択されると制御回路１０２により起動され、実行される。
【００４３】
ステップＳ１においては、移動情報検出部１２２は、フレーム画像データ上の移動被写体ＭＳを検出して動きベクトルを算出することにより、移動被写体ＭＳに関する移動方向や移動量等の移動情報を取得してステップＳ２へ進む。ステップＳ２では、移動方向検出部１２２は、移動被写体ＭＳの移動方向に収束点Ｐが存在するか否かを判定する。収束点が存在する場合には、ステップＳ２が肯定判定されてステップＳ３へ進み、収束点が存在しない場合には、ステップＳ２が否定判定されてステップＳ４へ進む。
【００４４】
ステップＳ３では、詳細を後述する収束点が存在する場合における移動効果付画像データ生成処理を行って処理を終了する。ステップＳ４では、詳細を後述する収束点が存在しない場合における移動効果付画像データ生成処理を行って処理を終了する。
【００４５】
図８に示すフローチャートを参照しながら、ステップＳ３における収束点が存在する場合における移動効果付画像データ生成処理について説明する。
ステップＳ１０１では、移動情報検出部１２２は、収束点Ｐの画像データ上での位置を特定してステップＳ１０２へ進む。ステップＳ１０２では、描画効果選択部１２４は、特定された収束点Ｐの位置と、移動被写体ＭＳの形状とに基づいて、描画領域Ｒを決定してステップＳ１０３へ進む。
【００４６】
ステップＳ１０３では、描画効果選択部１２４は、描画領域Ｒに描画する移動線ＬＥの態様、すなわち描写する直線の本数、それぞれの直線の長さ、隣接し合う直線の間隔を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定してステップＳ１０４へ進む。ステップＳ１０４では、処理部１２５は、描画効果選択部１２４により決定された移動効果を、決定された描画領域Ｒに表現した移動効果データを生成してステップＳ１０５へ進む。ステップＳ１０５では、処理部１２５は、移動効果データと静止画データＳとを合成して、移動効果付画像データＳＥを生成して移動効果付画像データ生成処理を終了する。
【００４７】
図９に示すフローチャートを参照しながら、ステップＳ４における収束点が存在しない場合における移動効果付画像データ生成処理について説明する。
ステップＳ２０１においては、移動情報検出部１２２は、移動被写体ＭＳの動きベクトルの大きさが所定値を超える領域を描画領域Ｒとして決定してステップＳ２０２へ進む。ステップＳ２０２では、描画効果選択部１２４は、描画領域Ｒに描画する移動線ＬＥの態様、すなわち描写する移動線ＬＥの本数、それぞれの移動線ＬＥの長さ、隣接し合う移動線ＬＥの間隔を検出された動きベクトルの大きさ、すなわち移動被写体ＭＳの移動速度に応じて決定してステップＳ２０３へ進む。ステップＳ２０３では、処理部１２５は、描画効果選択部１２４により決定された移動効果を、決定された描画領域Ｒに表現した移動効果データを生成してステップＳ２０４へ進む。ステップＳ２０４では、処理部１２５は、移動効果データと静止画データＳとを合成して、移動効果付画像データＳＥを生成して移動効果付画像データ生成処理を終了する。
【００４８】
上述した実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）デジタルカメラ１は、移動被写体検出部１２１により検出された移動被写体ＭＳの移動方向を含む移動情報を検出する移動情報検出部１２２と、検出された移動情報に基づいて、移動効果を静止画データＳに描画する処理部１２５とを備えるようにした。したがって、移動被写体ＭＳの移動方向に即した移動効果を視覚的に観察可能な静止画を生成できる。
【００４９】
（２）描画効果選択部１２４は、移動被写体ＭＳの移動方向が実質的に同一方向を維持しながら画像上の一点に収束するか否かに応じて、対象画像データである静止画データＳに描画する移動効果を選択するようにした。具体的には、描画効果選択部１２４は、移動被写体ＭＳの移動方向が実質的に同一方向を維持しながら画像上の一点である収束点Ｐに収束する場合には、移動被写体ＭＳの外縁部後方に放射状に延伸する移動線ＬＥを移動効果として選択する。移動被写体ＭＳの移動方向が実質的に同一方向を維持しながら画像上の一点に収束しない場合には、移動被写体ＭＳの外縁部後方に延伸する軌跡を移動線ＬＥとして選択するようにした。したがって、移動被写体ＭＳの移動方向に応じて移動線ＬＥの描画の態様を異ならせることができるので、移動被写体ＭＳの移動状況に応じた効果を視覚的に観察できる。
【００５０】
（３）描画効果選択部１２４は、移動被写体ＭＳの移動速度の大小に応じて、移動線ＬＥの本数、長さ、移動線ＬＥ間の間隔を増減させるようにした。この結果、移動被写体ＭＳの移動速度を視覚的に捉えることができる。
【００５１】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）連写モードで取得された複数の静止画データを用いて移動効果付画像データを生成するものも本発明の一態様に含まれる。この場合、画像選択部１２０は、たとえばユーザの選択操作に応じて、複数の静止画データの中から対象画像データを選択すればよい。
【００５２】
（２）動画モードで取得された複数のフレーム画像データＦを用いて、移動効果付画像データを生成してもよい。この場合、画像選択部１２０は、複数のフレーム画像データＦのそれぞれを、順次、対象画像データとして選択する。移動被写体検出部１２１は、対象画像データが取得される直前に生成された所定数（たとえば６フレーム）のフレーム画像データを用いて移動被写体ＭＳを検出する。移動情報検出部１２２、描画効果選択部１２４、および処理部１２５は実施の形態の場合と同様の処理を行って、移動効果付画像データＳＥが生成される。対象画像データはフレーム画像データＦのそれぞれについて順次選択されるため、処理部１２５により複数の移動効果付画像データＳＥが生成される。
【００５３】
複数の移動効果付画像データＳＥのそれぞれは、対応する対象画像データが取得される直前の６フレーム分のフレーム画像データＦにおける移動被写体ＭＳの移動情報が反映されている。この結果、複数の移動効果付画像データＳＥを動画として再生する場合、６フレーム分の移動情報に基づいた移動線ＬＥが移動被写体ＭＳとともに描画されて再生される。この場合、移動被写体ＭＳが同一の移動速度で移動している際には、複数フレームの移動効果付画像データＳＥの再生に伴って、同一の長さの移動線ＬＥが移動被写体ＭＳの後方に描画されて再生される。移動被写体ＭＳの移動速度の増減にともなって、移動線ＬＥの長さが徐々に増減しながら移動被写体ＭＳの後方に描画されて再生され、移動被写体ＭＳが移動を停止すると移動線ＬＥが消去する。停止した移動被写体ＭＳが再び移動を開始すると、再び移動線ＬＥが描画されて再生される。
【００５４】
（３）動きベクトルの大きさが所定値を超える場合、すなわち移動被写体ＭＳの移動速度が所定速度を超える場合には、移動被写体ＭＳの形状を変形させる画像処理を施してもよい。図１０に一例を示す。図１０は左から右へ移動する車両を移動被写体ＭＳとした場合を示している。図１０（ａ）に示すように、移動被写体ＭＳの移動速度が所定速度以下の場合には、実施の形態の場合と同様にして移動線ＬＥが描画された移動効果付画像データが生成される。これに対して、移動被写体ＭＳの移動速度が所定速度を超えた場合には、処理部１２５は、対象画像データ上の移動被写体ＭＳに対して画像処理を施して、たとえば、図１０（ｂ）に示す形状に変形させる。そして、処理部１２５は、移動効果データと図１０（ｂ）に示す画像処理後の対象画像データとを合成して、図１０（ｃ）に示す移動効果付画像データを生成すればよい。
【００５５】
（４）動きベクトルの大きさが所定値に満たない場合、すなわち移動被写体ＭＳの移動速度が非常に遅い場合には、移動線ＬＥを動きベクトルの方向に準じた方向に沿った方向に延伸しないものとすることができる。図１１に一例を示す。図１１も、図１０と同様に左から右へ移動する車両を移動被写体ＭＳとした場合を示している。図１１（ａ）は、図１０（ａ）と同様である。これに対して、移動被写体ＭＳの移動速度が非常に遅い場合には、描画効果選択部１２４は、図１１（ｂ）に示すような移動線ＬＥを移動効果として選択する。その結果、図１１（ｃ）に示す移動効果付画像データＳＥが処理部１２５により生成される。
【００５６】
（５）移動効果として移動線ＬＥを描画するものに限定されない。たとえば、移動被写体ＭＳの後方に砂埃等を描画してもよい。この場合、描画効果選択部１２４は、移動被写体ＭＳの移動速度が増加するほど、砂埃の範囲が広く、砂埃の量が多くなるような移動効果を選択すればよい。
【００５７】
（６）実施の形態においては、デジタルカメラ１を一例として説明したが、カメラと表示器とを備えるタブレット等の携帯情報表示端末等にも適用できる。
（７）デジタルカメラ１により移動効果付画像データの生成処理を行うものに代えて、画像処理装置（たとえばパーソナルコンピュータ等）により移動効果付画像データの生成処理を行ってもよい。
【００５８】
図１２に、画像処理装置としてパーソナルコンピュータを一例としたブロック図を示す。画像処理装置３００は、デジタルカメラ１で撮像した被写体像の画像データの表示や編集、画像データの保存を行う。画像処理装置３００は、制御回路３０１、ＨＤＤ３０２、モニタ制御回路３０３、モニタ３０４、バッファメモリ３０５、入力装置３０６、メモリカードインタフェース３０７、および外部インタフェース３０８を備える。外部インタフェース３０８は、所定のケーブルや無線伝送路を介してデジタルカメラ１等の外部装置とデータ通信を行う。
【００５９】
入力装置３０６は、ユーザによって操作され、たとえばキーボードやマウスなどで構成される。ＨＤＤ３０２には、たとえばデジタルカメラ１で撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース３０８は、たとえば画像処理装置３００にデジタルカメラ１などの外部機器を接続するＵＳＢインタフェースである。画像処理装置３００は、メモリカードインタフェース３０７や外部インタフェース３０８を介してメモリカード１０９や外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路３０１によりＨＤＤ３０２に記録される。上述したデジタルカメラ１で生成された画像ファイルも、同様にＨＤＤ３０２に記録される。
【００６０】
制御回路３０１は、画像処理装置３００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路３０１は、画像処理部３２０を機能として備える。画像処理部３２０、入力された画像ファイルに基づいて、モニタ３０４に表示するための表示画像データを生成する。また、画像処理部３２０は、画像選択部３２１と、移動被写体検出部３２２と、移動情報検出部３２３と、描画効果選択部３２４と、処理部３２５とを機能として備え、デジタルカメラ１の画像選択部１２０と、移動被写体検出部１２１と、移動情報検出部１２２と、描画効果選択部１２４と、処理部１２５と同一の機能をそれぞれ有している
【００６１】
すなわち、メモリカード１０９を介してフレーム画像データＦと静止画データＳとが入力されると、画像選択部３２１は、静止画データＳを対象画像データとして選択し、移動被写体検出部３２２はフレーム画像データＦを用いて移動被写体ＭＳを検出する。移動情報検出部３２３は、動きベクトルを算出し、収束点Ｐの有無の判定、描画領域Ｒの決定を行う。描画効果選択部３２４は、算出された動きベクトルに基づいて、移動効果の態様を選択し、処理部３２５は、選択された移動効果を描画した移動効果データを生成し、対象画像データである静止画データＳと合成して移動効果付画像データＳＥを生成する。
【００６２】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【００６３】
１…デジタルカメラ、３００…画像処理装置、
１０２、３０１…制御回路、１０３、３０５…バッファメモリ、
１０６…操作部、１１２、３２０…画像処理部、
１２０、３２１…画像選択部、１２１、３２２…移動被写体検出部、
１２２、３２３…移動情報検出部、１２４、３２４…描画効果選択部、
１２５、３２５…処理部
【図１】
2015088771.tif 000003
【図２】
2015088771.tif 000004
【図３】
2015088771.tif 000005
【図４】
2015088771.tif 000006
【図５】
2015088771.tif 000007
【図６】
2015088771.tif 000008
【図７】
2015088771.tif 000009
【図８】
2015088771.tif 000010
【図９】
2015088771.tif 000011
【図１０】
2015088771.tif 000012
【図１１】
2015088771.tif 000013
【図１２】
2015088771.tif 000014