(57)【要約】【課題】ユーザが効果に気づきやすく、使い易い特殊画像処理の選択をすることができる画像処理装置及び画像処理方法を提供すること。【解決手段】画像処理装置は、画像ファイルに記録されている撮影画像に対し、特殊効果を付与する特殊画像処理を施す画像処理部１１２と、特殊画像処理が施された撮影画像を表示素子１４に表示させる表示制御部１１３とを備える。【選択図】図１
2019121914.tif 000002
【特許請求の範囲】
【請求項１】
記録部と、
表示素子と、
前記記録部に画像ファイルとして記録されている第１の画像に対して特殊効果を付与して第２の画像を生成する特殊画像処理を施す画像処理部と、
前記第２の画像を前記表示素子に表示させる表示制御部と、
を具備する画像処理装置。
【請求項２】
前記画像ファイルには、第３の画像が圧縮された形で記録されており、前記第３の画像のサムネイルとして前記第１の画像が記録されている請求項１の画像処理装置。
【請求項３】
画像ファイルに記録されている撮影画像に対し、特殊効果を付与する特殊画像処理を施す画像処理部と、
前記特殊画像処理が施された前記撮影画像を表示素子に表示させる表示制御部と、
を具備する画像処理装置。
【請求項４】
前記画像ファイルは、少なくとも特殊画像処理が施されていない前記撮影画像を含み、
前記画像処理部は、前記特殊画像処理が施されていない前記撮影画像に対して前記特殊画像処理を施す請求項３に記載の画像処理装置。
【請求項５】
前記特殊画像処理が施されていない前記撮影画像は、撮像部で得られた画像に対してリサイズだけが施されているＲＡＷリサイズ画像である請求項４に記載の画像処理装置。
【請求項６】
前記特殊画像処理が施されていない前記撮影画像は、表示又は記録のために必要な通常画像処理だけが施されているリサイズ画像である請求項４に記載の画像処理装置。
【請求項７】
前記画像ファイルは、前記撮影画像の圧縮画像を含み、
前記画像処理部は、前記圧縮画像を伸張した結果に対して前記特殊画像処理を施す請求項３に記載の画像処理装置。
【請求項８】
前記表示制御部は、撮像部で得られたライブビュー画像を前記表示素子にリアルタイムで表示させるライブビュー表示を行い、
前記画像処理部は、前記ライブビュー表示の間のユーザの指示に応じて、前記ライブビュー画像と前記撮影画像の何れかに対して前記特殊画像処理を施し、
前記表示制御部は、前記特殊画像処理が施された前記ライブビュー画像と前記特殊画像処理が施されていない前記撮影画像、前記特殊画像処理が施された前記ライブビュー画像と前記特殊画像処理が施された前記撮影画像、前記特殊画像処理が施されていない前記ライブビュー画像と前記特殊画像処理が施されていない前記撮影画像、又は前記特殊画像処理が施されていない前記ライブビュー画像と前記特殊画像処理が施された前記撮影画像を前記表示素子に一覧表示させる請求項３に記載の画像処理装置。
【請求項９】
画像処理部により、画像ファイルに記録されている撮影画像に対し、特殊効果を付与する特殊画像処理を施すことと、
前記特殊画像処理が施された前記撮影画像を表示素子に表示させることと、
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像に種々の特殊効果を適用する特殊画像処理を行う処理装置が知られている。このような処理装置の中で、例えば、特許文献１の動画編集装置は、ユーザの選択に応じて、動画に動きのある装飾画像を重ねる特殊画像処理を行う。このような特殊画像処理の結果として生成された動画は、動画編集装置に設けられた表示装置に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−３５６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特殊画像処理には多数のものがある。このため、ユーザは、個々の特殊画像処理の効果に気づきづらい場合がある。個々の特殊画像処理の効果に気づくためには、種々の画像に対して特殊画像処理を試してみることが有効である。
【０００５】
本発明は前記の事情に鑑みてなされたものであり、ユーザが効果に気づきやすく、使い易い特殊画像処理の選択をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の画像処理装置は、記録部と、表示素子と、前記記録部に画像ファイルとして記録されている第１の画像に対して特殊効果を付与して第２の画像を生成する特殊画像処理を施す画像処理部と、前記第２の画像を前記表示素子に表示させる表示制御部とを具備する。
【０００７】
前記の目的を達成するために、本発明の第２の態様の画像処理装置は、画像ファイルに記録されている撮影画像に対し、特殊効果を付与する特殊画像処理を施す画像処理部と、前記特殊画像処理が施された前記撮影画像を表示素子に表示させる表示制御部とを具備する。
【０００８】
前記の目的を達成するために、本発明の第３の態様の画像処理方法は、画像処理部により、画像ファイルに記録されている撮影画像に対し、特殊効果を付与する特殊画像処理を施すことと、前記特殊画像処理が施された前記撮影画像を表示素子に表示させることとを具備する。
【発明の効果】
【０００９】
本発明によれば、ユーザが効果に気づきやすく、簡易な操作で特殊画像処理の選択をすることができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の各実施形態に係る画像処理装置を備えた携帯機器の構成を示す図である。
【図２Ａ】図２Ａは、携帯機器の動作を示すフローチャートである。
【図２Ｂ】図２Ｂは、携帯機器の動作を示すフローチャートである。
【図３Ａ】図３Ａは、画像ファイルの第１の例を示す図である。
【図３Ｂ】図３Ｂは、画像ファイルの第２の例を示す図である。
【図４Ａ】図４Ａは、画像ファイルの再生例を示す図である。
【図４Ｂ】図４Ｂは、第１の実施形態における特殊画像処理の選択画面の第１の例を示す図である。
【図４Ｃ】図４Ｃは、第１の実施形態における特殊画像処理の選択画面の第２の例を示す図である。
【図５】図５は、第２の実施形態における特殊効果の付与の設定処理について示すフローチャートである。
【図６Ａ】図６Ａは、第２の実施形態におけるライブビュー表示の例を示す図である。
【図６Ｂ】図６Ｂは、第２の実施形態における特殊画像処理の選択画面の例を示す図である。
【図６Ｃ】図６Ｃは、第２の実施形態におけるサンプル画像の表示例を示す図である。
【図６Ｄ】図６Ｄは、一覧表示の例である。
【図６Ｅ】図６Ｅは、第２の実施形態におけるサンプル画像の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る画像処理装置を備えた携帯機器の構成を示す図である。図１に示す携帯機器１は、制御回路１１と、撮像部１２と、メモリ１３と、表示素子１４と、記録媒体１５と、操作部材１６と、通信回路１７とを有する。携帯機器１は、例えばデジタルカメラ、スマートフォン、タブレット端末、携帯ゲーム機といった撮像機能を有する携帯機器である。なお、別の機器で撮像された画像を携帯機器１に対して通信できれば、撮像部１２はなくてもよい。
【００１２】
制御回路１１は、ＣＰＵ等を含むハードウェアによって構成された制御回路である。制御回路１１は、ＡＳＩＣ、ＦＰＧＡ等で構成されていてもよい。制御回路１１は、携帯機器１の動作を制御する。制御回路１１は、撮像制御部１１１と、画像処理部１１２と、表示制御部１１３と、記録処理部１１４とを有する。撮像制御部１１１は、撮像部１２による画像の取得及び画像の読み出しを制御する。画像処理部１１２は、画像に対して各種の画像処理を施す。画像処理部１１２は、通常画像処理部１１２ａと、特殊画像処理部１１２ｂと、リサイズ処理部１１２ｃとを有する。通常画像処理部１１２ａは、ホワイトバランス補正、階調補正、色補正等の画像の表示又は記録に必要となる画像処理を画像に対して施す。また、通常画像処理部１１２ａは、画像に対して静止画圧縮又は動画圧縮を施す。特殊画像処理部１１２ｂは、ぼかし処理、シェーディング処理等の画像に対して特殊な視覚効果を与える画像処理を画像に対して施す。リサイズ処理部１１２ｃは、画像のリサイズ（縮小処理）を行う。表示制御部１１３は、表示素子１４による画像の表示を制御する。記録処理部１１４は、記録媒体１５への画像の記録を制御する。撮像制御部１１１と、画像処理部１１２と、表示制御部１１３と、記録処理部１１４とは、それぞれ専用の回路として構成されていてもよい。また、撮像制御部１１１と、画像処理部１１２と、表示制御部１１３と、記録処理部１１４とは、その一部又は全部が組み合わせられた集積回路等で構成されていてもよい。さらには、撮像制御部１１１と、画像処理部１１２と、表示制御部１１３と、記録処理部１１４と同等の機能は、ソフトウェア処理を用いて実現されてもよい。
【００１３】
撮像部１２は、レンズと、撮像素子と、前処理回路とを有する。レンズは、図示しない対象物からの光束を撮像素子の受光面に結像させる。撮像素子は、被写体を撮像することによって画像信号を出力する。撮像素子は、ＣＣＤセンサ及びＣＭＯＳセンサといった撮像素子である。前処理回路は、画像信号に対して前処理を行う。前処理は、例えば相関二重サンプリング、ゲイン調整、アナログデジタル変換を含む。
【００１４】
メモリ１３は、各種のデータを一時的に記憶する。メモリ１３は、例えばＤＲＡＭ及びＳＤＲＡＭといったメモリである。メモリ１３は、単一のメモリで構成されていてもよいし、複数のメモリで構成されていてもよい。
【００１５】
表示素子１４は、各種の画像を表示する。表示素子１４は、例えば液晶ディスプレイ及び有機ＥＬディスプレイといった表示素子である。表示素子１４の表示画面には、操作部材１６の１つとしてのタッチパネルが形成されていてもよい。
【００１６】
記録媒体１５には、制御回路１１において実行される各種のプログラムが記録される。また、記録媒体１５には、画像ファイルが記録される。画像ファイルは、画像が圧縮（又はリサイズ）された状態で記録されたファイルである。記録媒体１５は、例えばフラッシュメモリといったメモリである。記録媒体１５は、単一のメモリで構成されていてもよいし、複数のメモリで構成されていてもよい。
【００１７】
操作部材１６は、ユーザが携帯機器１に対する各種の操作をするための各種の操作部材を含む。操作部材１６は、ボタン及びスイッチといった機械的な操作部材を含む。また、操作部材１６は、タッチパネルを含む。
【００１８】
通信回路１７は、携帯機器１が他の機器と通信するための回路を含む。通信は、Ｗｉ−Ｆｉ（登録商標）等の無線通信及びＵＳＢ等の有線通信の何れで行われてもよい。さらに、記録媒体１５が取り外しできる記録媒体であれば、通信は、記録媒体１５を介して行われてもよい。
【００１９】
以下、携帯機器１の動作を説明する。図２Ａ及び図２Ｂは、携帯機器１の動作を示すフローチャートである。図２Ａ及び図２Ｂの動作は、制御回路１１によって主に制御される。図１の動作は、例えば携帯機器１の電源がオンされたときに開始される。ステップＳ１において、制御回路１１は、携帯機器１の動作モードが撮影モードであるか否かを判定する。携帯機器１は、動作モードとして少なくとも撮影モードと、再生モードと、通信モードとを有する。撮影モードは、画像の撮影のための動作モードである。再生モードは、記録媒体１５等に記録されている画像ファイルの再生のための動作モードである。通信モードは、画像ファイル等の通信のための動作モードである。携帯機器１は、これら以外の動作モードを有していてもよい。動作モードの選択は、例えば操作部材１６の操作によって行われる。ステップＳ１において、動作モードが撮影モードであると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、動作モードが撮影モードでないと判定されたときには、処理はステップＳ１８に移行する。
【００２０】
ステップＳ２において、制御回路１１は、ライブビュー表示のための撮像を撮像部１２に実行させる。これを受けて、撮像部１２は、対象物を撮像する。撮像部１２で得られた画像は、デジタル化され、メモリ１３に記憶される。なお、携帯機器１の外部に撮像装置がある場合には、制御回路１１は、ライブビュー表示のための撮像を携帯機器１の外部の撮像装置に指示する。そして、制御回路１１は、この外部の撮像装置から画像を受信する。
【００２１】
ステップＳ３において、制御回路１１は、画像に特殊効果を付与すると設定されているか否かを判定する。後で説明するステップＳ７において画像に特殊効果を設定することが指示されたときには、画像に特殊効果を付与すると設定される。ステップＳ３において、画像に特殊効果を付与すると設定されているときには、処理はステップＳ４に移行する。ステップＳ３において、画像に特殊効果を付与すると設定されていないときには、処理はステップＳ５に移行する。なお、１フレーム目のライブビューの表示のときのステップＳ３の判定では、画像に特殊効果を付与すると設定されていないと判定される。
【００２２】
ステップＳ４において、制御回路１１は、撮像部１２の撮像によって得られた画像に対してホワイトバランス補正、色補正といったライブビュー表示に必要な通常画像処理を施す。さらに、制御回路１１は、通常画像処理が施された画像に対してユーザによって設定された特殊画像処理を施す。その後、処理はステップＳ６に移行する。
【００２３】
ステップＳ５において、制御回路１１は、撮像部１２の撮像によって得られた画像に対してホワイトバランス補正、色補正といったライブビュー表示に必要な通常画像処理を施す。その後、処理はステップＳ６に移行する。
【００２４】
ステップＳ６において、制御回路１１は、表示素子１４にライブビュー表示を行う。ステップＳ６において、制御回路１１は、ステップＳ４又はステップＳ５において処理された画像を表示素子１４に入力する。表示素子１４は、入力された画像を表示する。この結果、表示素子１４には、特殊効果が付与された画像又は特殊効果が付与されていない画像がリアルタイムでライブビュー表示される。その後、処理はステップＳ７に移行する。
【００２５】
ステップＳ７において、制御回路１１は、特殊効果の付与がユーザによって指示されたか否かを判定する。例えば、特殊効果の付与を指示するための操作部材がユーザによって操作されたとき又はユーザのタッチパネルの操作によって特殊効果の付与が指示されたときに、特殊効果の付与がユーザによって指示されたと判定される。ステップＳ７において、特殊効果の付与がユーザによって指示されたと判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、特殊効果の付与がユーザによって指示されていないと判定されたときには、処理はステップＳ９に移行する。
【００２６】
ステップＳ８において、制御回路１１は、特殊効果の付与を設定する。その後、処理はステップＳ９に移行する。これにより、次のライブビュー表示のときには、画像に対して特殊画像処理が行われる。
【００２７】
ステップＳ９において、制御回路１１は、撮影をするか否かを判定する。例えば、撮影を指示するための操作部材がユーザによって操作されたとき又はユーザのタッチパネルの操作によって撮影が指示されたときに、撮影をすると判定される。ステップＳ９において、撮影をすると判定されたときには、処理はステップＳ１０に移行する。ステップＳ９において、撮影をしないと判定されたときには、処理はステップＳ１７に移行する。
【００２８】
ステップＳ１０において、制御回路１１は、記録のための撮像を撮像部１２に実行させる。これを受けて、撮像部１２は、対象物を撮像する。撮像部１２で得られた画像は、デジタル化され、メモリ１３に記憶される。または、外部の撮像装置から受信された画像は、メモリ１３に記憶される。なお、記録のための撮像におけるシャッタスピード及び絞り値は、周知の測光処理によって決定されてよい。
【００２９】
ステップＳ１１において、制御回路１１は、撮影を終了するか否かを判定する。例えば、静止画撮影の場合には、１回の撮像の終了後に撮影を終了すると判定される。また、例えば、連写の場合には、規定の回数の撮像の終了後に撮影を終了すると判定される。さらに、例えば、動画の場合には、ユーザによって動画撮影の終了の指示がされたときには、撮影を終了すると判定される。ステップＳ１１において、撮影を終了すると判定されたときには、処理はステップＳ１２に移行する。ステップＳ１１において、撮影を終了しないと判定されたときには、処理はステップＳ１０に戻る。この場合、撮影は継続される。
【００３０】
ステップＳ１２において、制御回路１１は、メモリ１３に記憶された画像からＲＡＷリサイズ画像を生成する。ＲＡＷリサイズ画像は、メモリ１３に記憶された画像を所定のサイズにリサイズすることにより生成される。すなわち、ＲＡＷリサイズ画像は、撮像部１２で得られた画像のリサイズ画像であって、通常画像処理も特殊画像処理も施されてない画像である。
【００３１】
ステップＳ１３において、制御回路１１は、メモリ１３に記憶された画像に対して画像処理を施す。すなわち、制御回路１１は、撮像部１２の撮像によって得られた画像に対してホワイトバランス補正、色補正といったライブビュー表示に必要な通常画像処理を施す。さらに、特殊効果の付与の設定がなされているときには、制御回路１１は、通常画像処理が施された画像に対してユーザによって設定された特殊画像処理を施す。
【００３２】
ステップＳ１４において、制御回路１１は、画像処理が施された画像に基づいて圧縮画像を生成する。静止画に対しては静止画圧縮が用いられ、動画に対しては動画圧縮が用いられる。
【００３３】
ステップＳ１５において、制御回路１１は、サムネイル画像を生成する。すなわち、制御回路１１は、画像処理が施された画像を適切なサイズに縮小することでサムネイル画像を生成する。
【００３４】
ステップＳ１６において、制御回路１１は、画像ファイルを生成する。そして、制御回路１１は、画像ファイルを記録媒体１５に記録する。その後、処理はステップＳ１７に移行する。
【００３５】
図３Ａは、本実施形態において生成される画像ファイルの第１の例を示す図である。図３Ａに示す通り、画像ファイルは、ＲＡＷリサイズ画像Ｄ１と、圧縮画像Ｄ２と、サムネイルＤ３と、画像情報Ｄ４とを有する。ＲＡＷリサイズ画像Ｄ１は、ステップＳ１２で生成されたＲＡＷリサイズ画像のデータである。圧縮画像Ｄ２は、ステップＳ１３で生成された圧縮画像のデータである。サムネイルＤ３は、ステップＳ１４で生成されたサムネイルである。画像情報Ｄ４は、撮影のときの条件を表す情報である。画像情報Ｄ４は、例えば、撮影日時、シャッタスピード、絞りの情報を含む。また、特殊効果の付与が設定されているときには、画像情報Ｄ４は、特殊画像処理の内容の情報を含む。画像情報Ｄ４は、これら以外の情報を含んでいてもよい。
【００３６】
画像ファイルにＲＡＷリサイズ画像Ｄ１が記録されていることにより、画像ファイルの再生のときに、再生される画像に対して任意の特殊効果を付与し直すことができる。詳しくは後で説明する。
【００３７】
ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ１７において、制御回路１１は、携帯機器１の電源をオフするか否かを判定する。例えば、ユーザによって携帯機器１の電源スイッチがオフされたときには、電源をオフすると判定される。この他、所定時間の操作が無い場合に電源をオフすると判定されてもよい。ステップＳ１７において、携帯機器１の電源をオフすると判定されたときに、図２Ａ及び図２Ｂの処理は終了する。ステップＳ１７において、携帯機器１の電源をオフしないと判定されたときに、処理はステップＳ１に戻る。
【００３８】
ステップＳ１において動作モードが撮影モードでないと判定されたときのステップＳ１８において、制御回路１１は、携帯機器１の動作モードが再生モードであるか否かを判定する。ステップＳ１８において、動作モードが再生モードであると判定されたときには、処理はステップＳ１９に移行する。ステップＳ１８において、動作モードが再生モードでない、すなわち通信モードであると判定されたときには、処理はステップＳ２９に移行する。
【００３９】
ステップＳ１９において、制御回路１１は、記録媒体１５に記録されている画像ファイル（撮影画像）の一覧を表示素子１４に表示させる。一覧表示は、例えばサムネイルを表示させることで行われる。
【００４０】
ステップＳ２０において、制御回路１１は、ユーザにより、画像ファイルが選択されたか否かを判定する。例えば、画像ファイルの選択は、タッチパネルを用いて行われる。ステップＳ２０において、画像ファイルが選択されたと判定されたときには、処理はステップＳ２１に移行する。ステップＳ２０において、画像ファイルが選択されていないと判定されたときには、処理はステップＳ１７に移行する。この場合、ステップＳ１７において電源をオフすると判定されないときには、一覧表示が継続される。
【００４１】
ステップＳ２１において、制御回路１１は、選択された画像ファイルを記録媒体１５から読み出してメモリ１３に記憶させる。その後、制御回路１１は、画像に特殊効果を付与すると設定されているか否かを判定する。後で説明するステップＳ２４において画像に特殊効果を設定することが指示されたときには、画像に特殊効果を付与すると設定される。ステップＳ２１において、画像に特殊効果を付与すると設定されているときには、処理はステップＳ２２に移行する。ステップＳ２１において、画像に特殊効果を付与すると設定されていないときには、処理はステップＳ２３に移行する。なお、再生する画像ファイルが選択された後又は再生する画像ファイルが選択された後の次のステップＳ２１の判定では、画像に特殊効果を付与すると設定されていないと判定される。
【００４２】
ステップＳ２２において、制御回路１１は、読み出した画像ファイルに記録されているＲＡＷリサイズ画像に対して通常画像処理を施す。このとき、制御回路１１は、ＲＡＷリサイズ画像を表示素子１４の表示特性に応じて拡大する処理もしてよい。さらに、制御回路１１は、通常画像処理が施された画像に対してユーザによって設定された特殊画像処理を施す。その後、処理はステップＳ２３に移行する。すなわち、本実施形態では、画像ファイルの再生時に特殊効果を付与することが設定されたときには、圧縮画像の伸張結果に対してではなく、ＲＡＷ画像に対して特殊画像処理が行われる。これにより、適用される特殊画像処理は別の特殊画像処理の影響を受けない。
【００４３】
ステップＳ２３において、制御回路１１は、表示素子１４に画像を再生する。ステップＳ２２において特殊画像処理が行われているときには、制御回路１１は、ステップＳ２２において処理した画像を表示素子１４に入力する。また、ステップＳ２２において特殊画像処理が行われていないときには、制御回路１１は、読み出した画像ファイルに記録されている圧縮画像を伸張する。そして、制御回路１１は、伸張した画像を表示素子１４に入力する。表示素子１４は、入力された画像を表示する。この結果、表示素子１４には、特殊効果が付与された画像又は特殊効果が付与されていない画像が再生される。その後、処理はステップＳ２４に移行する。
【００４４】
図４Ａは、画像ファイルの再生例を示す図である。図４Ａに示す通り、画像ファイルの再生時には、表示素子１４に再生画像Ｉが表示される。さらに、本実施形態では、表示素子１４に処理ボタンＢ１が表示される。処理ボタンＢ１は、タッチパネルによって操作されるソフトウェアボタンである。処理ボタンＢ１は、特殊画像処理の指示のために選択されるボタンである。なお、画像ファイルの再生時に、画像の撮影条件等の他の情報が併せて表示されてもよい。
【００４５】
ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ２４において、制御回路１１は、特殊効果の付与がユーザによって指示されたか否かを判定する。以下、再生モード中の特殊画像処理の選択の例について説明する。
【００４６】
例えば、図４Ａに示す画面においてユーザによって処理ボタンＢ１が選択されると、制御回路１１は、特殊画像処理の選択画面を表示させる。図４Ｂは、特殊画像処理の選択画面の第１の例を示す図である。第１の例の特殊画像処理の選択画面においては、選択ボタンＢ２と、サンプル画像ＳＩとが表示される。選択ボタンＢ２は、送りボタンと戻しボタンとを有する。送りボタンは、選択中の特殊画像処理を１つ後の処理に変更する指示をするためのボタンである。戻しボタンは、選択中の特殊画像処理を１つ前の処理に変更する指示をするためのボタンである。サンプル画像ＳＩは、選択中の特殊画像処理（図では処理Ａ）の適用例を示す画像である。最初に表示されるサンプル画像ＳＩは、記録媒体１５に予め記録されている画像である。
【００４７】
ユーザは、特殊画像処理の選択画面において、選択ボタンＢ２を選択しつつ、サンプル画像ＳＩを見ることで所望の特殊画像処理を見つける。そして、ユーザは、所望の特殊画像処理を見つけたときに、例えばサンプル画像ＳＩを選択する。このとき、ステップＳ２４において、特殊効果の付与がユーザによって指示されたと判定される。ステップＳ２４において、特殊効果の付与がユーザによって指示されたと判定されたときには、処理はステップＳ２５に移行する。ステップＳ２４において、特殊効果の付与がユーザによって指示されていないと判定されたときには、処理はステップＳ２６に移行する。
【００４８】
図４Ａは、特殊画像処理のサンプル画像ＳＩが１つずつ表示される例である。これに対し、複数の特殊画像処理についてのサンプル画像が一度に表示されてもよい。図４Ｃは、特殊画像処理の選択画面の第２の例を示す図である。第２の例の特殊画像処理の選択画面においては、複数の特殊画像処理（図では処理Ａと処理Ｂ）のそれぞれについてのサンプル画像ＳＩ１、ＳＩ２が表示される。ユーザは、特殊画像処理の選択画面において、サンプル画像ＳＩ１、ＳＩ２を見比べることで所望の特殊画像処理を見つける。そして、ユーザは、所望の特殊画像処理のサンプル画像を選択する。このとき、ステップＳ２４において、特殊効果の付与がユーザによって指示されたと判定される。なお、図４Ｃでは、２種類の特殊画像処理のサンプル画像が一度に表示される。これに対し、３種類以上の特殊画像処理のサンプル画像が一度に表示されてもよい。さらには、多数の特殊画像処理のサンプル画像があって一度にすべてのサンプル画像を表示しきれない場合も考えられる。表示しきれないサンプル画像は、例えば画面のスクロール操作によって表示されればよい。
【００４９】
ステップＳ２５において、制御回路１１は、特殊効果の付与を設定する。その後、処理はステップＳ２６に移行する。これにより、次のステップＳ２１の判定においては、特殊効果の付与が設定されていると判定される。そして、ステップＳ２２において、特殊画像処理が行われる。そして、ステップＳ２３において、特殊効果が付与された画像が再生される。
【００５０】
ステップＳ２６において、制御回路１１は、再生する画像を変更するか否かを判定する。例えば、画像の変更を指示するための操作部材がユーザによって操作されたとき又はユーザのタッチパネルの操作によって画像の変更が指示されたときに、再生する画像を変更すると判定される。ステップＳ２６において、再生する画像を変更すると判定されたときには、処理はステップＳ２７に移行する。ステップＳ２６において、再生する画像を変更しないと判定されたときには、処理はステップＳ２７に移行する。
【００５１】
ステップＳ２７において、制御回路１１は、ユーザの操作に応じて再生する画像を変更する。すなわち、制御回路１１は、変更後の画像を含む画像ファイルを記録媒体１５から読み出す。その後、処理はステップＳ２８に移行する。
【００５２】
ステップＳ２８において、制御回路１１は、画像の再生を終了するか否かを判定する。例えば、画像の再生の終了を指示するための操作部材がユーザによって操作されたとき又はユーザのタッチパネルの操作によって画像の再生の終了が指示されたときに、画像の再生を終了すると判定される。ステップＳ２８において、画像の再生を終了しないと判定されたときには、処理はステップＳ２１に戻る。ステップＳ２８において、画像の再生を終了すると判定されたときには、処理はステップＳ１７に移行する。
【００５３】
ステップＳ１８において動作モードが再生モードでないと判定されたときのステップＳ２９において、制御回路１１は、通信モードの動作を行う。通信モードでは、ユーザの操作に応じて画像ファイル等のデータが外部のサーバ等に送信される。また、通信モードでは、ユーザの操作に応じて画像ファイル等のデータが外部のサーバ等から受信される。通信モードの終了後、処理はステップＳ１７に移行する。
【００５４】
以上説明したように本実施形態によれば、撮影画像に対して特殊画像処理が施された画像を確認することができる。これにより、ユーザは、撮影時には気づかなかった特殊画像処理の使い方に気づくことができる。また、ユーザは、新たに知った特殊画像処理の使い方を次回の撮影に反映することができる。さらに、ユーザは、１つの撮影画像に対して複数の特殊画像処理を適用してみたり、複数の撮影画像に対して１つの特殊画像処理を適用してみたりといった操作を簡単にすることができる。このようにして、ユーザは、効果に気づきやすく、簡易な操作で特殊画像処理を選択することができる。
【００５５】
また、本実施形態では、画像ファイルに圧縮画像とともにＲＡＷリサイズ画像が記録される。ＲＡＷ画像は、画像処理がなされていない画像である。また、サムネイルは、主画像の縮小画像であり、元の画像の見本やインデックスに使われる。サムネイルは画像ファイルに対応して記録されている。したがって、サムネイルの表示により、ユーザは元の画像を開かずに内容を把握でき、画像の移動や整理が容易に行えるという特徴がある。なお、通常のサムネイルでは、センサからのＲＡＷデータとは別にＹＣ化（既に画像処理と圧縮処理されている）データ（ＹＣ方式は光の三原色ＲＧＢで表現された値を元に換算式で計算される数値で色を表すもので、Ｙは輝度で、Ｃは色の色相と彩度を表す）を撮影確認用に画像ファイルの一部として埋め込む処理が行われる。ＹＣ化されたサムネイルは既に特定の画像処理が実施されているため、ユーザがＲＡＷ画像の編集イメージを確認するためには常にＲＡＷ画像から画像処理をやり直す必要がある。ファイルサイズの大きいＲＡＷ画像からの画像処理には多くの時間が必要となりスムーズな編集結果の確認を行う際にユーザビリティーを損ねる事となる。多くの場合は専用の画像処理エンジンや高性能のグラフィックボード等の利用により画処理速度の問題を解決する事が多いが画像処理システムのコスト、サイズに大きなデメリットがある。そこで、センサから出力される画像としてＲＡＷ画像と同時（順次でも可）に縮小されたＲＡＷ画像をサムネイルと別に画像ファイルとして記録しておき、画像編集時の画像処理においては縮小されたＲＡＷ画像を利用することにより、速度の高速化と画像処理の再現性とを両立させることができる。このため、ユーザはテンポよく正確に画像処理の効果確認ができる。なお、縮小されたＲＡＷ画像の作成手法としては、画素加算処理又は間引き処理による縮小手段が用いられることが一般的である。このため、仮に撮影時に特殊画像処理が行われていたとしても、再生時の特殊画像処理の付与時には撮影時の特殊画像処理が影響を与えることがない。これにより、ユーザは、選択した特殊画像処理の単独の効果を知ることができる。また、一般的にＲＡＷ画像は、データ容量が大きくなる。本実施形態では、ＲＡＷ画像がリサイズして記録されるので、データ容量の必要以上の増大を抑制することができる。
【００５６】
なお、画像ファイルには、主画像の他、サムネイル（再生用の小画像３６０×２４０サイズ）に加えて、サムネイルより拡大が容易なスクリンネイルと呼ばれるような再生専用の小画像（１０２４×７６８サイズ）が含まれている場合もある。このスクリンネイルが本実施形態の「サムネイル」の代わりに用いられてもよい。つまりこの「スクリンネイル」を画素加算又は間引いたＲＡＷ画像にするか４個目の画像として小さいＲＡＷ画像をつけるどちらの方法でサムネイルの代用とされてもよい。さらに、厳密に各画素の生データを間引いたり、隣接画素加算したりして得たＲＡＷ画像でなくとも、画素情報量を少なくしたサムネイル画像等の縮小画像であれば、画像のサイズが小さいので、あえてＲＡＷ画像にしなくてもよい。つまり、圧縮されていても、それを表示サイズには伸張しているので、この伸張データをＲＡＷデータに見立てて扱うような工夫も可能である。もちろん、撮影画像の画像データを間引くだけのように、撮影画像から処理を減らして作り出したＲＡＷデータは元の情報を加工することなく持つ場合が多い。こうした画像がリサイズされて小さくなってもファイル内にある意義は大きい。つまり、ここに様々な画像処理の効果を、撮影画像にかける画像処理とほぼ同じ処理でかけられ、撮影における効果を確認するシミュレーションの精度があがり、撮影時、同様の写真が撮れる精度や処理の再現性が良好になるからである。
【００５７】
ここで、前述のステップＳ２２では、必ずＲＡＷ画像に対して特殊画像処理が行われている。これに対し、ＲＡＷ画像に対して特殊画像処理を行うか、圧縮画像の伸張結果に対して特殊画像処理を行うかをユーザが選択できてもよい。また、撮影画像に既に特殊画像処理が施されている場合もある。この場合には、特殊画像処理が施されている画像にそのまま別の特殊画像処理が施されてもよいし、特殊画像処理が施されていない状態の画像が復元されてから別の特殊画像処理が施されてもよい。
【００５８】
また、図２Ａ及び図２Ｂの処理では、特殊画像処理が行われるか否かに関わらずにＲＡＷリサイズ画像と圧縮画像とが生成される。これに対し、特殊画像処理が行われないときにはＲＡＷリサイズ画像が生成されなくてもよい。
【００５９】
また、ＲＡＷリサイズ画像の代わりに通常画像処理のみが施された画像が生成されてもよい。図３Ｂは、画像ファイルの第２の例を示す図である。図３Ｂの例の画像ファイルは、通常画像処理済みリサイズ画像Ｄ５と、圧縮画像Ｄ２と、サムネイルＤ３と、画像情報Ｄ４とを有する。圧縮画像Ｄ２と、サムネイルＤ３と、画像情報Ｄ４とは、図３Ａと同様である。通常画像処理済みリサイズ画像Ｄ５は、通常画像処理のみが施された画像のリサイズ画像のデータである。このような通常画像処理済みリサイズ画像Ｄ５が記録されている場合であっても、画像ファイルの再生のときに、再生される画像に対して任意の特殊効果を付与し直すことができる。
【００６０】
また、前述の実施形態の再生モードにおいては、特殊効果画像が施された画像は表示素子１４に表示されるだけで記録媒体１５に記録されない。これに対し、再生モードにおいても、特殊効果画像が施された画像を含む画像ファイルが記録媒体１５に記録されてもよい。この場合には、元の画像ファイルは残されてもよいし、削除されてもよい。
【００６１】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、撮影画像に対して特殊画像処理を施すことができるのは再生モードのときだけである。これに対し、第２の実施形態は、ライブビュー表示中にも撮影画像に対して特殊画像処理を施すことができる例である。なお、携帯機器の構成は、図１で示したものと同様である。また、携帯機器の動作も基本的には図２Ａ及び図２Ｂで示したものと同様である。具体的には、ステップＳ１−Ｓ７、Ｓ９−Ｓ２９の動作は同様である。以下では、第１の実施形態と異なる部分であるステップＳ８の動作を中心に説明する。
【００６２】
図６Ａは、第２の実施形態におけるライブビュー表示の例を示す図である。図６Ａに示す通り、ライブビュー表示時には、表示素子１４にライブビュー画像ＬＶが表示される。さらに、特殊画像処理の指示のために表示素子１４に処理ボタンＢ１も表示される。例えば、図６Ａに示す画面においてユーザによって処理ボタンＢ１が選択されると、制御回路１１は、第１の実施形態の再生モードのときと同様の特殊画像処理の選択画面を表示させる。図６Ｂは、特殊画像処理の選択画面の例を示す図である。図６Ｂは、第１の例の表示である。しかしながら、第２の例の表示が行われてもよい。特殊画像処理の選択画面において、特殊画像処理がユーザによって選択されると、処理はステップＳ８に移行する。そして、第２の実施形態における特殊効果の付与の設定処理が行われる。図５は、第２の実施形態における特殊効果の付与の設定処理について示すフローチャートである。
【００６３】
ステップＳ１０１において、制御回路１１は、ライブビューに基づくサンプル画像を表示素子１４に表示させる。具体的には、制御回路１１は、ライブビュー表示のための撮像の結果としてメモリ１３に記憶された画像を読み出す。そして、制御回路１１は、読み出した画像に対して通常画像処理を施す。このとき、制御回路１１は、サンプル画像として表示させる大きさに応じて画像をリサイズする処理も行う。さらに、制御回路１１は、通常画像処理が施された画像に対してユーザによって設定された特殊画像処理を施す。そして、制御回路１１は、特殊画像処理を施した画像を表示素子１４に入力する。表示素子１４は、入力された画像を表示する。この結果、表示素子１４には、特殊効果が付与されたライブビュー画像が表示される。その後、処理はステップＳ１０２に移行する。
【００６４】
図６Ｃは、第２の実施形態におけるサンプル画像の表示例を示す図である。図６Ｃに示す通り、第２の実施形態においては、サンプル画像ＳＩが表示されるときに、インポートボタンＢ３と、戻るボタンＢ４も併せて表示される。インポートボタンＢ３は、撮影画像に対して特殊画像処理を施す指示をするためのボタンである。戻るボタンＢ４は、ライブビュー表示に戻す指示をするためのボタンである。
【００６５】
ここで、図５の説明に戻る。ステップＳ１０２において、制御回路１１は、戻るボタンＢ４が選択されたか否かを判定する。ステップＳ１０２において、戻るボタンＢ４が選択されたと判定されたときには、図５の処理は終了する。この場合、処理は図２ＡのステップＳ９に移行する。ステップＳ１０２において、戻るボタンＢ４が選択されていないと判定されたときには、処理はステップＳ１０３に移行する。
【００６６】
ステップＳ１０３において、制御回路１１は、インポートボタンＢ３が選択されたか否かを判定する。ステップＳ１０３において、インポートボタンＢ３が選択されたと判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、インポートボタンＢ３が選択されていないと判定されたときには、処理はステップＳ１０２に戻る。この場合、図６Ｃの表示が継続される。
【００６７】
ステップＳ１０４において、制御回路１１は、ライブビュー画像と記録媒体１５に記録されている画像ファイル（撮影画像）の縮小画像とを含む一覧を表示素子１４に表示させる。図６Ｄは、一覧表示の例である。図６Ｄにおいて、ライブビュー画像ＬＶは、特殊画像処理前のライブビュー画像の縮小画像である。撮影画像Ｉは、それぞれの画像ファイルのサムネイルである。一覧表示においては、戻るボタンＢ５も併せて表示される。戻るボタンＢ５は、図６Ｄの画面を図６Ｃの画面に戻す指示をするためのボタンである。また、多数の撮影画像Ｉがあって一度にすべての撮影画像Ｉを表示しきれない場合も考えられる。表示しきれない撮影画像Ｉは、例えば画面のスクロール操作によって表示されればよい。また、既に特殊画像処理が施された画像があるときには、特殊画像処理が施された画像の縮小画像が表示されてもよい。
【００６８】
ステップＳ１０５において、制御回路１１は、ライブビュー画像ＬＶが選択されたか否かを判定する。ステップＳ１０５において、ライブビュー画像ＬＶが選択されていないと判定されたときには、処理はステップＳ１０６に移行する。ステップＳ１０５において、ライブビュー画像ＬＶが選択されたと判定されたときには、処理はステップＳ１０９に移行する。
【００６９】
ステップＳ１０６において、制御回路１１は、撮影画像Ｉが選択されたか否かを判定する。ステップＳ１０６において、撮影画像Ｉが選択されたと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、撮影画像Ｉが選択されていないと判定されたときには、処理はステップＳ１０８に移行する。
【００７０】
ステップＳ１０７において、制御回路１１は、ユーザによって選択された撮影画像Ｉに対応した画像ファイルを記録媒体１５から読み出す。そして、制御回路１１は、記録媒体１５に記録されているＲＡＷリサイズ画像に対して通常画像処理を施す。このとき、制御回路１１は、サンプル画像として表示させる大きさに応じてＲＡＷリサイズ画像を拡大する処理も行う。さらに、制御回路１１は、通常画像処理が施された画像に対してユーザによって設定された特殊画像処理を施す。その後、処理はステップＳ１０１に戻る。この場合、図６Ｅに示すとおり、選択された撮影画像Ｉに対して特殊画像処理が施された結果がサンプル画像ＳＩとして表示素子１４に表示される。
【００７１】
ステップＳ１０８において、制御回路１１は、戻るボタンＢ５が選択されたか否かを判定する。ステップＳ１０８において、戻るボタンＢ５が選択されていないと判定されたときには、処理はステップＳ１０４に戻る。この場合、図６Ｄの表示が継続される。ステップＳ１０８において、戻るボタンＢ５が選択されていないと判定されたときには、処理はステップＳ１０１に移行する。この場合、図６Ｄの表示から図６Ｃの表示に戻る。
【００７２】
ステップＳ１０５においてライブビュー画像ＬＶが選択されたと判定されたときのステップＳ１０９において、制御回路１１は、特殊効果の付与を設定する。その後、図５の処理は終了する。この場合、処理は図２ＡのステップＳ９に移行する。このため、次のステップＳ３の判定においては、特殊効果の付与が設定されていると判定される。そして、ステップＳ４において、特殊画像処理が行われる。そして、ステップＳ６において、特殊効果が付与された画像がライブビュー表示される。
【００７３】
以上説明したように本実施形態によれば、ライブビュー表示中においても、撮影画像に対して特殊画像処理が施された画像を確認することができる。これにより、ユーザは、撮影中においても特殊画像処理の使い方に気づくことができる。そして、ユーザは、新たに知った特殊画像処理の使い方を今回の撮影に反映することができる。
【００７４】
ここで、第２の実施形態においても第１の実施形態で説明した各種の変形例が適用される。例えば、第２の実施形態においてもＲＡＷ画像に対して特殊画像処理を行うか、圧縮画像の伸張結果に対して特殊画像処理を行うかをユーザが選択できてもよい。
【００７５】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用ができることは勿論である。例えば、本実施形態の技術は、内視鏡装置、顕微鏡装置、監視カメラ、車載カメラ等にも適用され得る。すなわち、本実施形態の技術は、特殊画像処理を行うことができる画像処理装置を備えた各種の機器に対して適用され得る。
【００７６】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００７７】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵ等のプロセッサ、又はＦＰＧＡ等のシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉ−Ｆｉ、電話回線等で行われればよく、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
【００７８】
オートフォーカス等に使われるメカ駆動部等は、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整等が行われてもよい。
【００７９】
また、上述した実施形態による各処理は、コンピュータである制御回路１１に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御回路１１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００８０】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することができる。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００８１】
１  携帯機器、１１  制御回路、１２  撮像部、１３  メモリ、１４  表示素子、１５  記録媒体、１６  操作部材、１７  通信回路、１１１  撮像制御部、１１２  画像処理部、１１２ａ  通常画像処理部、１１２ｂ  特殊画像処理部、１１２ｃ  リサイズ処理部、１１３  表示制御部、１１４  記録処理部。
【図１】
2019121914.tif 000003
【図２Ａ】
2019121914.tif 000004
【図２Ｂ】
2019121914.tif 000005
【図３Ａ】
2019121914.tif 000006
【図３Ｂ】
2019121914.tif 000007
【図４Ａ】
2019121914.tif 000008
【図４Ｂ】
2019121914.tif 000009
【図４Ｃ】
2019121914.tif 000010
【図５】
2019121914.tif 000011
【図６Ａ】
2019121914.tif 000012
【図６Ｂ】
2019121914.tif 000013
【図６Ｃ】
2019121914.tif 000014
【図６Ｄ】
2019121914.tif 000015
【図６Ｅ】
2019121914.tif 000016