(57)【要約】【課題】  複数の異なる特殊効果フィルタを適用した複数の画像を表示する際に、計算量を抑えながら、ユーザが最終結果のイメージをつかみやすくする画像処理装置を提供すること。【解決手段】  画像処理装置である撮像装置１００が備えるＣＰＵ１０３が、画角の変化した度合を検出する。ＣＰＵ１０３が、フィルタ効果を適用する画像を記憶媒体１０６に保持する。そして、ＣＰＵ１０３が画角の変化した度合に応じて、保持されている画像の更新を行うかどうかを切り替える。【選択図】図１
2020102793.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に複数の異なるフィルタ効果を適用した複数の画像をライブ表示する画像処理装置において、
画角の変化した度合を検出する画角変化度合検出手段と、
フィルタ効果を適用する画像を保持する画像保持手段と、を有し、
前記画角変化度合検出手段により得られた画角変化度合に応じて、前記画像保持手段に保持されている画像の更新を行うかどうかを切り替える制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮像画像に複数の異なるフィルタ効果を適用した複数の画像をライブ表示する画像処理装置において、
画角の変化した度合を検出する画角変化度合検出手段と、
処理の異なる複数の現像処理を行う複数の現像処理手段と、を有し、
前記画角変化度合検出手段により得られた画角変化度合に応じて、前記複数の現像処理手段を切り替える制御手段と、を備えることを特徴とする画像処理装置。
【請求項３】
前記複数の現像手段は、高画質な現像を行う高画質現像処理手段と、
前記高画質現像処理手段に対し、相対的に簡易な現像を行う簡易現像処理手段と、を有し、
前記画角変化度合が閾値以上であると判定された場合には、前記高画質現像処理手段を行わないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、角速度を検出する角速度検出手段をさらに有し、
前記画角変化度合検出手段は、前記角速度に応じて算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記画角変化度合検出手段は、前記撮像画像と、前記画像保持手段に保持された画像とを比較し、その差分に応じて算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び制御方法に関する。
【背景技術】
【０００２】
近年、撮影画像に対し、様々な効果を与えることを可能とする撮像装置が提供されている。例えば画像のホワイトバランスを調整し、画像に対する印象を変化させるような基本的な効果をはじめ、画像を油絵風や水彩画風に変化させるような特殊なフィルタ効果を与えるものも提供されてきている。
【０００３】
しかしながら、撮影時にユーザはそれぞれのフィルタ効果を選択した際にどのような画像が得られるかをイメージするのは難しく、どのフィルタを選択すればよいのか判断することが難しくなる。
【０００４】
このような問題に対し、特許文献１には、撮像装置に、撮影画像のプレビューをスルー画像として表示する際に、そのスルー画像に対し、複数の異なる画像処理を施した複数の画像を同時にユーザに提示する構成が提案されている。これにより、各画像処理を施した結果をユーザがイメージしやすくなり、さらにその中からユーザが任意のものを選択可能とすることで、ユーザの選択を簡易化する撮像装置が提案されている。
【０００５】
このような技術によれば、例えば図５の（ｃ）ように、通常現像されたスルー画像５２１に対し、各種の特殊なフィルタ効果を適用した現像処理を行った画像５２２、５２３、５２４をユーザに提示し、ユーザの選択を補助することが可能となる。
【０００６】
しかしながら、このようなスルー画像を生成するにあたり、ホワイトバランス等の、計算量が比較的小さい処理を適用するのであればそれほど計算速度は求められないが、前述した油絵風や水彩画風のような効果を与えるフィルタにおいては計算量が増加してくる。このため、常に特殊効果を適用した画像をスルー画像としてユーザに提示し続けることは難しくなってしまう。
【０００７】
このような問題に対し、特許文献２には、実際に適用する処理に対し、処理速度を抑えた簡易的な処理を用意し、その処理を適用した画像をスルー画像としてユーザに提示する撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２１１８４３号公報
【特許文献２】特開２０１１−１６６３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、スルー画像に適用する処理を簡易的なものとした場合、最終的に得られる画像とスルー画像が必ずしも同じものとはならないため、ユーザは最終的に得られる画像を確認することが難しくなってしまう。
【００１０】
そこで、本発明は、複数の異なる特殊効果フィルタを適用した複数の画像を表示する際に、計算量を抑えながら、ユーザが最終結果のイメージをつかみやすくする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る画像処理装置は、
撮像画像に複数の異なるフィルタ効果を適用した複数の画像をライブ表示する画像処理装置において、画角の変化した度合を検出する画角変化度合検出手段と、フィルタ効果を適用する画像を保持する画像保持手段と、を有し、前記画角変化度合検出手段により得られた画角変化度合に応じて、前記画像保持手段に保持されている画像の更新を行うかどうかを切り替える制御手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明に係る画像処理装置によれば、複数の異なる特殊効果フィルタを適用した複数の画像を表示する際に、計算量を抑えながら、ユーザが最終結果のイメージをつかみやすくすることが出来る。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置を適用した撮像装置の基本構成を示すブロック図である。
【図２】画像処理装置を適用した情報処理装置の基本構成を示すブロック図である。
【図３】フィルタ適用画像の更新の例を説明するフローチャートである。
【図４】現像処理の切り替えの例を説明するフローチャートである。
【図５】実施例１の画像処理装置の処理を説明する図である。
【図６】実施例２の画像処理装置の処理を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１５】
＜実施例１＞
図１は、本実施形態の画像処理装置を適用した撮像装置の基本構成を示すブロック図である。
【００１６】
撮像装置１００は、例えば、デジタルカメラ、デジタルビデオカメラなどのカメラの他、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える電子機器である。光学系１０１は、レンズ群、シャッタ、絞りなどを備える結像光学系である。レンズ群は、手振れ等の補正を行う補正レンズやフォーカスレンズなどを含む。
【００１７】
光学系１０１は、ＣＰＵ１０３の制御信号にしたがって、被写体光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を通して結像した光を光電変換により画像信号に変換する。
【００１８】
ＣＰＵ１０３は、メモリに予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。一次記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶装置１０４に記憶されている情報は、画像処理部１０５が使用し、また記録媒体１０６へ記録される場合もある。
【００１９】
二次記憶装置１０７は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ  ）などの不揮発性記憶装置である。二次記憶装置１０７には、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報が記憶されており、ＣＰＵ１０３によって利用される。
【００２０】
記録媒体１０６は、一次記憶装置１０４に記憶されている撮影画像データなどを記録する。また、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。記録媒体１０６に記録されたデータは、ＰＣ（パーソナルコンピュータ）などの外部機器に装着して読み出すことが可能である。
【００２１】
つまり、撮像装置１００は、記録媒体１０６の着脱機構および読み書き機能を有する。表示部１０８は、撮影時のビューファインダ画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画像などの表示を行う。操作部１０９は、ユーザ操作を受け付けて、ＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネルなどを備える。また音声や視線などを用いた入力機器を操作に使用することもできる。
【００２２】
撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有しており、このパターンを撮像モードとして操作部１０９により設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめとして、撮影モードに応じた色調の調整などの各種処理を行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア処理によって実現してもよい。
【００２３】
図２は、第１の実施形態の画像処理装置を実現するもう一つの例である情報処理装置２００の構成を示すブロック図である。
【００２４】
図２において、表示部２０１は、撮影画像の表示や対話的な操作のための文字表示などを行う。操作部２０２は、使用者の操作を受け付けるためのものである。操作部２０２は例えばキーボードやポインティング装置などを用いることが可能である。ＣＰＵ２０３は、入力された信号やプログラムに従って、各種の演算や、情報処理装置２００を構成する各部分の制御を行う。
【００２５】
一次記憶装置２０４は、一時的なデータを記憶し、ＣＰＵ２０３の作業用に使われる。二次記憶装置２０５は、画像処理を行うためのプログラムや各種の設定情報を記憶する。通信装置２０６は、外部装置と接続し制御コマンドやデータの送受信を行う。通信装置２０６の形態は通信装置１０９と同じような形態を選択することも可能である。
【００２６】
図３は、本実施形態における、特殊効果フィルタを適用した画像を生成する処理の例を説明するフローチャートである。
【００２７】
以下、図３、及び図５を用いて本発明の処理の例について説明する。
【００２８】
まず、ステップＳ３０１において、ＣＰＵ１０３はフィルタ適用画像３００の取得を行う。このフィルタ適用画像は特殊効果フィルタを適用する対象とする画像であり、例えば図５の５０１のような、スルー画像の現像前のデータを取得し、一時記憶領域１０４に記憶される。
【００２９】
次に、ステップＳ３０２において、フィルタインデックスの初期化を行う。このインデックスは、例えば特殊効果フィルタの種類が３個あるのであれば０〜２の整数値をとることができ、この３種の特殊効果フィルタを適用したものが図５の５２２〜５２４に示したような画像となる。このような画像を得るため、ステップＳ３０３において、ＣＰＵ１０３は現在のフィルタインデックスの特殊効果フィルタを適用した画像の現像処理を行う。これにより、例えば５０２のような画像がユーザに提示される。
【００３０】
こうして現像処理が完了すると、ステップＳ３０４において、ＣＰＵ１０３はフィルタインデックスのインクリメントを行う。ここでは、現像処理を行った特殊効果フィルタのインデックスをｉとおき、ｉをインクリメントしている。
【００３１】
次に、ステップＳ３０５において、ＣＰＵ１０３は撮像装置１００が移動中かどうかの判定を行う。これは、例えばジャイロセンサ等の角速度センサの出力を積分し、カメラの角度変化が一定の閾値以下かどうかを判別することにより行うことも可能である。または、現在のスルー画像とフィルタ適用画像３００とを比較し、例えば輝度値の差分が一定値以下であるかどうかといったことにより判別することが可能である。
【００３２】
このとき、カメラの角度変化が一定以下、例えば手ぶれの範囲内である状態においては、ユーザが撮影設定等を調整している状態であると考えられる。このときは、図５の５１１に対し、フィルタ効果適用済み画像５１２のように、わずかに画角が異なっているものでも十分に特殊効果フィルタ適用時のイメージをつかむことが可能となる。
【００３３】
そこで、このような場合には多少画面に映っている範囲が変わったとしても、フィルタ効果適用済み画像５１２を現像しなおすことなく、引き続き未現像の特殊効果フィルタの現像を行っていき、画像５２２〜５２４をユーザに提示することが望ましい。そこで、ステップＳ３０５の移動中判定結果を用いて、ステップＳ３０６において、その移動量が閾値以下であればフィルタ適用画像の更新は行わず、ステップＳ３０３に戻り、次の現像処理を継続していく。このため、角度変化の閾値としては手ぶれを吸収できる程度であることが好ましい。
【００３４】
次に、ステップＳ３０６の移動中判定において、移動中であると判定された場合、ＣＰＵ１０３はステップＳ３１０へと進み、フィルタ適用画像の更新判定を行う。
【００３５】
このとき、カメラの角度変化が一定以上である状態においては、ユーザがカメラの画角を調整している状態であると考えられる。このときは、図５の５３１に対し、フィルタ効果適用済み画像５３２のように、ユーザが見ている画角と大きく異なってしまう場合があり、このような場合には最新の画角に対して再度現像を行うことが望ましい。そこで、カメラの角度変化が一定以上であれば、ＣＰＵ１０３はステップＳ３１１、及びステップＳ３１２へと進み、画角変化量の判定を行う。
【００３６】
画角変化量の判定においては、例えば現在のスルー画像とフィルタ適用画像３００とを比較し、輝度値の差分が一定値以下であるかどうかといったことにより判別することが可能である。この閾値においては、ステップＳ３０５、及びステップＳ３０６の判定閾値と同等の閾値にしたり、または異なる閾値とすることも可能である。
【００３７】
ここで、閾値を小さくし、少しの変化でもフィルタ適用画像を更新するようにすれば、ユーザは画角の変化に対して、現在見えている画角により近いフィルタ効果適用済み画像を確認することが可能となる。それに対し、閾値を大きくし、ある程度画角が変化して初めてフィルタ適用画像を更新するようにすれば、処理量を抑えることが可能となる。この閾値に関しては例えばＣＰＵ１０３の処理能力に応じたパラメータを設定することも可能である。
【００３８】
ステップＳ３１２において、画角変化が大きいと判定された場合、ＣＰＵ１０３はステップＳ３１３へと進み、フィルタ適用画像３００の更新を行い、ステップＳ３１４へと進む。ステップＳ３１４においてはフィルタ適用画像が更新されているため、フィルタインデックスｉの初期化を行う。これにより、図５の５４１に画角の近いフィルタ効果適用済み画像５４２をユーザに提示することが可能となる。
【００３９】
このようにして、画角の変化した度合に応じてフィルタ適用画像を更新するかしないかを切り替えることにより、処理量を抑えながら、ユーザに適したフィルタ効果適用済み画像を提供することが可能となる。
【００４０】
＜実施例２＞
実施例１においては、画角の変化した度合に応じて、フィルタ適用画像を更新するかしないかを切り替える構成を示した。本実施形態においては、高速な現像処理（簡易現像）と、低速な現像処理（通常現像）とを有する際に、現像処理を切り替える例を示す。
【００４１】
ここで、簡易現像とは通常現像よりも処理の少ない現像のことを指している。例えば通常時は大きいサイズの画像で現像を行うが、簡易的に小さいサイズにリサイズし、その画像を用いて現像するといったことも可能である。
【００４２】
また、特許文献２にあったような、処理内容を削減する手法や、または通常現像とは異なる代替の簡易処理で置き換えるといったことも可能である。代替の簡易処理としては、例えば通常現像では拡縮処理と色処理を組み合わせるような場合おいて、処理前後の色の変化に対応した色変化テーブルを用意し、簡易処理時には色変化テーブルを適用する処理のみに留めるといったことも可能である。これに対し、通常現像とは最終結果を現像する処理とほぼ等しい処理を行うことにより、ユーザが撮影した際に得られる画像にほぼ近い画像となる現像処理を示す。
【００４３】
図４は、本実施形態における、特殊効果フィルタを適用した画像を生成する処理の例を説明するフローチャートである。
【００４４】
以下、図４、及び図６を用いて本発明の処理の例について説明する。なお、基本的な処理の流れは実施例１のものと同等のものとなっている。
【００４５】
まず、ステップＳ４０１において、ＣＰＵ１０３はフィルタ適用画像４００の取得を行う。
【００４６】
次に、ステップＳ４０２において、フィルタインデックスの初期化を行う。本実施例においては、簡易現像のフィルタインデックスをｉ、通常現像のフィルタインデックスをｊとして定義している。例えば、図６の（ｂ）においては、フィルタインデックスｉ＝０、１の簡易現像が完了しており、ここからフィルタインデックスｉ＝２を簡易現像することで図６の（ｃ）のような状態となる。なお、ここでは簡易現像の結果と通常現像の結果を見分けるため、簡易現像のものには現像結果右下に図６の６００に示したような記号を付与している。また、図６の（ｅ）においては、フィルタインデックスｊ＝０、１の通常現像が完了しており、ここからフィルタインデックスｊ＝２を通常現像することで図６の（ｆ）のような状態となる。
【００４７】
ステップＳ４０３においては、ＣＰＵ１０３は現在のフィルタインデックスの特殊効果フィルタを適用した画像の「簡易」現像を行う。これにより、例えば６０２のような画像がユーザに提示される。こうして現像処理が完了すると、ステップＳ４０４において、ＣＰＵ１０３はフィルタインデックスのインクリメントを行う。ここでは、ステップＳ４０３において簡易現像処理が行われているため、フィルタインデックスｉをインクリメントしている。この簡易現像処理はステップＳ４０７において、特殊効果フィルタの個数分の現像が行われるまで繰り返され、特殊効果フィルタの個数分の簡易現像が完了次第、ＣＰＵ１０３はステップＳ４０８、Ｓ４０９に進み、同様に「通常」現像を行っていく。これにより、最初は図６（ａ）〜（ｃ）のように、簡易現像結果が順次提示されていき、簡易現像が完了次第、図６（ｄ）〜（ｆ）のように通常現像結果が順次提示されていく。ここで、通常現像に対し、簡易現像処理は処理速度が速くなるため、図６（ａ）〜（ｃ）への遷移にかかる時間は図６（ｃ）〜（ｆ）への遷移にかかる時間よりも短い時間となる。
【００４８】
ここで、カメラの角度変化に対してユーザに提示されるべき画像に関して考える。カメラの角度変化が一定以下、例えば手ぶれの範囲内である状態においては、ユーザが撮影設定等を調整している状態であると考えられる。そのため、このときは、図６の６０２のような簡易現像結果よりも、図６の６３２のような、最終結果に近いイメージを提示することが好ましい。それに対し、カメラの角度変化が一定以上である状態においては、ユーザがカメラの画角を調整している状態であると考えられる。例えば図６（ｄ）のタイミングで画角変更が起こり、図６（ｇ）の６６１のような状態になった場合を考える。このとき、ユーザは画角を調整している状態であるため、６３２のような、最終結果に近いイメージよりも、６０２のような、特殊効果のイメージをつかみやすい画像を提示することが好ましくなる。そのため、このような場合はフィルタ適用画像４００を更新し、図６（ｈ）〜（ｉ）のように、簡易現像のものを早めにユーザに提示することが望ましい。
【００４９】
これを実現させるため、ステップＳ４０５、Ｓ４０６において、ＣＰＵ１０３は移動中かどうかの判定を行う。このとき、移動量が閾値以下であればフィルタ適用画像の更新は行わず、ステップＳ４０７に進み、次の現像処理を継続していく。それに対し、移動量が閾値以上であれば、ＣＰＵ１０３はステップＳ４１０へと進み、フィルタ適用画像の更新を行う。ここでは、ステップＳ４１３において、ＣＰＵ１０３はフィルタ適用画像４００の更新を行い、ステップＳ３１４でフィルタインデックスの初期化を行う。これにより、図６（ｈ）〜（ｉ）のように、ユーザが見ている画角に近いフィルタ効果適用済み画像をユーザに提示することが可能となる。
【００５０】
このようにして、画角の変化した度合に応じて現像処理を切り替えることにより、処理量を抑えながら、ユーザに適したフィルタ効果適用済み画像を提供することが可能となる。
【００５１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述した実施例１乃至実施例２を適宜組み合わせて適用するようにしてもよい。
【００５２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１００  撮像装置、１０１  光学系、１０２  撮像素子、１０３  ＣＰＵ、
１０４  一次記憶装置、１０５  画像処理部、１０６  記録媒体
【図１】
2020102793.tif 000003
【図２】
2020102793.tif 000004
【図３】
2020102793.tif 000005
【図４】
2020102793.tif 000006
【図５】
2020102793.tif 000007
【図６】
2020102793.tif 000008