(57)【要約】【課題】画像データ処理の前後の画像をその差異が容易に認識できるように表示する。【解決手段】レンズ１０及び撮像素子１２で得られた画像は画像処理ブロック１８で赤目補正やソフトフォーカス補正等の特定の処理が実行される。画像処理ブロック１８は画像処理前後の画像データをＬＣＤ２４に並列表示し、あるいは時系列に交互に表示する。ユーザがジョイスティック２８を操作すると、並列表示された処理前画像と処理後画像は並列表示の関係を維持しつつ同時にスクロールする。また、制御ブロック２２は、画像処理の内容や処理部位を示すメッセージを処理後画像に合成してＬＣＤ２４に表示する。【選択図】図１
2007184683.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得手段と、
前記画像データを処理する処理手段と、
処理前及び処理後の画像データを表示する表示手段と、
ユーザ操作手段と、
前記ユーザ操作手段の操作に応じ、前記表示手段に表示された画像データの表示状態を変更する変更手段と、
を有する画像データ処理装置であって、
前記表示手段は、前記処理前及び処理後の画像データを並列して表示し、
前記変更手段は、並列して表示された前記処理前及び処理後の画像データの一方の表示状態を変更する場合に他方の表示状態も連動して変更する
ことを特徴とする画像データ処理装置。
【請求項２】
請求項１記載の装置において、
前記表示状態の変更はスクロールであり、
前記変更手段は、前記処理前及び処理後の画像データの対応部分が前記表示手段に表示されるように同時にスクロールすることを特徴とする画像データ処理装置。
【請求項３】
請求項１記載の装置において、
前記表示状態の変更は拡大あるいは縮小であり、
前記変更手段は、前記処理前及び処理後の画像データの対応部分が前記表示手段に表示されるように同一倍率で同時に拡大あるいは縮小することを特徴とする画像データ処理装置。
【請求項４】
請求項１記載の装置において、
前記表示状態の変更は回転であり、
前記変更手段は、前記処理前及び処理後の画像データを同一回転方向及び同一回転角で同時に回転して前記表示手段に表示することを特徴とする画像データ処理装置。
【請求項５】
画像データを取得する取得手段と、
前記画像データを処理する処理手段と、
処理前及び処理後の画像データを表示する表示手段と、
を有する画像データ処理装置であって、
前記表示手段は、前記処理前及び処理後の画像データを時系列で交互に表示する
ことを特徴とする画像データ処理装置。
【請求項６】
請求項１、５のいずれかに記載の装置において、さらに、
前記処理手段の処理内容を示す内容データあるいは処理部位を示す部位データの少なくともいずれかを処理前あるいは処理後の画像データの少なくともいずれかに合成して表示する合成手段
を有することを特徴とする画像データ処理装置。
【請求項７】
請求項６記載の装置において、
前記処理部位は、被写体の顔部あるいは眼部を含むことを特徴とする画像データ処理装置。
【請求項８】
請求項６記載の装置において、
前記処理内容は、被写体の赤目補正を含むことを特徴とする画像データ処理装置。
【請求項９】
請求項６記載の装置において、
前記処理内容は、被写体の顔認識処理を含むことを特徴とする画像データ処理装置。
【請求項１０】
請求項６記載の装置において、
前記合成手段は、処理前の画像データと処理後の画像データの画像情報の差異が所定のしきい値以上である場合に前記内容データあるいは部位データを合成して表示することを特徴とする画像データ処理装置。
【請求項１１】
請求項６記載の装置において、
前記合成手段は、処理前の画像と処理後の画像データの画像情報の差異が最大となる部位の部位データあるいは該部位の内容データを合成して表示することを特徴とする画像データ処理装置。
【請求項１２】
請求項１〜１１のいずれかに記載の装置において、さらに、
前記処理前の画像データあるいは前記処理後の画像データのいずれかを記憶する記憶手段
を有することを特徴とする画像データ処理装置。
【請求項１３】
請求項１２記載の装置において、さらに、
前記記憶手段に記憶されるべき画像データを選択する選択手段
を有することを特徴とする画像データ処理装置。
【請求項１４】
請求項１３記載の装置において、
前記選択手段で選択されなかった画像データを消去する手段
を有することを特徴とする画像データ処理装置。
【請求項１５】
請求項１３記載の装置において、
前記選択手段で選択されなかった画像データを前記記憶手段に一定期間だけ一時的に記憶する手段
を有することを特徴とする画像データ処理装置。
【請求項１６】
画像データを取得する取得ステップと、
前記画像データを処理する処理ステップと、
処理前及び処理後の画像データを表示手段に表示する表示ステップと、
を有するコンピュータを用いた画像データ処理方法であって、
前記処理前及び処理後の画像データは並列して前記表示手段に表示され、
ユーザ操作手段の操作に応じ、コンピュータのプロセッサは前記表示手段に表示された画像データの表示状態を変更する場合に、並列して表示された前記処理前及び処理後の画像データの一方の表示状態を変更すると同時に他方の表示状態も連動して変更する
ことを特徴とする画像データ処理方法。
【請求項１７】
画像データを取得する取得ステップと、
前記画像データを処理する処理ステップと、
処理前及び処理後の画像データを表示手段に表示する表示ステップと、
を有するコンピュータを用いた画像データ処理方法であって、
コンピュータのプロセッサは、前記処理前及び処理後の画像データを時系列で交互に表示手段に表示することを特徴とする画像データ処理方法。
【請求項１８】
請求項１６、１７のいずれかに記載の方法において、
前記プロセッサは、処理内容を示す内容データあるいは処理部位を示す部位データの少なくともいずれかを処理前あるいは処理後の画像データの少なくともいずれかに合成して前記表示手段に表示することを特徴とする画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データ処理装置及び方法に関し、特に処理前後の画像を表示する装置及び方法に関する。
【背景技術】
【０００２】
近年ではデジタルカメラ等の撮像装置に、撮影した画像に自動あるいは手動で画像処理を施す機能を内蔵したものが登場してきている。このような機器ではユーザに処理結果を表示し、その結果を保存するか否かを判断する如く構成するのが望ましい。その際の判断を補助するため、処理前と処理後の画像を容易に比較できるように表示する構成が好ましい。
【０００３】
下記の特許文献１には、露出条件を変えてオートブラケット撮影を行い、撮影順ではなく露出条件順に並べ替えを行い、複数画像データを同時に表示することにより、コマ送りの必要を無くす技術が開示されている。また、選択した画像データ以外の画像データを操作性良く消去する技術も記載されている。
【０００４】
下記の特許文献２には、異なる露出条件で撮影した複数の画像データを１つのグループとして関連付け、グループに関連付けられた各画像データを自動的に連続ループ方式（最後の画像データの後には最初の画像データに戻る方式）で１画像データずつモニタ画面に切換表示することにより、複数画像データの表示による画像データ表示の小型化を回避すると同時にコマ送りの必要を無くす技術が開示されている。
【０００５】
【特許文献１】特開２０００−１２５１８５号公報
【特許文献２】特開２０００−２３２６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
撮像後に画像データ処理を行って所望の画像データを選択する場合にも、各画像データの画像データ処理結果を確認するために、画像データの表示／切替を行うように構成することが考えられる。この確認の際、画像データがどのように処理されたかをユーザに通知し、処理結果を効果的に表示することが好ましい。
【０００７】
しかし、所望の画像データを選択する際には各画像データを比較する必要があるが、上記文献に記載の技術においては、画像データの比較や画像データ処理結果を確認する際の操作性が十分ではない。特許文献１記載の技術では表示の小型化が避けられず、特許文献２記載の技術では画像データを並べて比較することができない。また、画像データがどのように処理されたかをユーザに通知し、処理結果を効果的に表示する技術については、特許文献１および特許文献２のいずれにも記載がない。
【０００８】
本発明の目的は、画像データ処理の前後の画像をその差異が容易に認識できるように表示することにある。
【課題を解決するための手段】
【０００９】
本発明は、画像データを取得する取得手段と、前記画像データを処理する処理手段と、処理前及び処理後の画像データを表示する表示手段と、ユーザ操作手段と、前記ユーザ操作手段の操作に応じ、前記表示手段に表示された画像データの表示状態を変更する変更手段とを有する画像データ処理装置であって、前記表示手段は、前記処理前及び処理後の画像データを並列して表示し、前記変更手段は、並列して表示された前記処理前及び処理後の画像データの一方の表示状態を変更する場合に他方の表示状態も連動して変更することを特徴とする。
【００１０】
また、本発明は、画像データを取得する取得手段と、前記画像データを処理する処理手段と、処理前及び処理後の画像データを表示する表示手段とを有する画像データ処理装置であって、前記表示手段は、前記処理前及び処理後の画像データを時系列で交互に表示することを特徴とする。
【００１１】
本発明の１つの実施形態では、前記表示状態の変更はスクロールであり、前記変更手段は、前記処理前及び処理後の画像データの対応部分が前記表示手段に表示されるように同時にスクロールする。
【００１２】
本発明の他の実施形態では、前記処理手段の処理内容を示す内容データあるいは処理部位を示す部位データの少なくともいずれかを処理前あるいは処理後の画像データの少なくともいずれかに合成して表示する合成手段をさらに有する。
【発明の効果】
【００１３】
本発明によれば、処理前後の画像データが並列表示され、あるいは時系列に交互に表示されるため、ユーザは処理前後の画像を容易に比較し、処理の効果を確認することができる。また、本発明において処理内容あるいは処理部位を処理前あるいは処理後の画像データの少なくともいずれかに合成して表示することで、ユーザは処理内容や処理部位を容易に確認することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面に基づき本発明の実施形態について説明する。
【００１５】
図１に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ１０と撮像素子１２により、被写界の光情報を電気信号に変換する。電気信号は続いてアナログ処理ブロック１４、デジタル処理ブロック１６による処理を経て画像データとなり、画像処理ブロック１８へ供給される。
【００１６】
画像処理ブロック１８では、デジタル処理ブロック１６から供給された画像データを自動的に処理し、処理前及び処理後の双方の画像を画像管理ブロック２０に送る。画像処理ブロック１８は、供給された画像内の顔部分や赤目部分、補正前後の変化が閾値より大きい部分等の自動範囲検出を行い、検出された範囲を拡大表示する。また制御ブロック２２からユーザ範囲指定、ユーザ顔指定などの範囲指定を受け取った場合には、その範囲を対象に処理を行う。処理を行った後は、並列スクロールなどの所定様式で処理前／処理後の画像をＬＣＤ２４等の表示手段に表示する。表示様式として、処理前／処理後画像表示範囲指定、トグル方式、画像の自動切替を採用することも可能である。
【００１７】
画像管理ブロック２０では、画像処理ブロック１８から供給された画像データに日付データを付与し、さらに保存指定画像には「保存」フラグを、また非保存指定画像には「一時保管」フラグを付与する。そして画像管理ブロック２０はメモリ内２６の「一時保管」フラグ付画像の保存期間をモニタする。さらに所定の保存期間が満了した画像をカメラ起動時にＬＣＤ２４に表示し、ユーザに消去か保存かを選択させる。
【００１８】
制御ブロック２２は、ジョイスティック２８等の操作等のユーザ操作を感知し、各ブロックを制御する。ユーザ操作の例としては、ユーザ範囲指定、ユーザ顔指定、ユーザによる保存画像の選択などが挙げられる。また保存する画像（自動保存設定がされている画像またはユーザが選択した画像）に保存指定のマーキングを行う。
【００１９】
図２に、本実施形態におけるデジタルカメラの全体処理フローチャートを示す。まず、消去予定画像の表示ルーチンを実行する（Ｓ１１）。この処理は、既に撮影しメモリに保持されている、ユーザに選択されなかった一時保管中の非保存画像データのうち撮影日時から一定期間経過している画像データをＬＣＤ２４に表示してユーザに当該画像データを消去するか否かを問い合わせる処理であり、この処理により不要な画像データを削除してメモリの容量を確保する。そして、撮影モードに移行する（Ｓ１２）。撮影モードでは、レンズ１０及び撮像素子１２で得られた画像データを処理してＬＣＤ２４に表示し、ユーザによるレリーズボタンの操作により画像データをメモリに格納する。撮影モードにおいて電源スイッチがＯＦＦされた場合には処理を終了し、そうでなければユーザがモード設定ボタンを操作して撮影モードから設定モードあるいは閲覧モードに切り替えたか否かを判定する（Ｓ１４）。
【００２０】
ユーザが設定モードに切り替えた場合（Ｓ１５ａ）、デフォルトの表示モードや画像処理後の画像データを自動保存するか否かの設定、非保存画像を一時保管する期間、拡大表示のしきい値の設定等を実行する。設定モードにおいてユーザがモード設定ボタンを操作して設定モードを終了して撮影モードあるいは閲覧モードに切り替えたか否かを判定する（Ｓ１７ａ）。ユーザがモードを切り替えた場合、それぞれのモードに移行する（Ｓ１８ａ）。処理前／処理後の画像のいずれかが既に消去されていた場合には、残存している画像を表示する。
【００２１】
ユーザが閲覧モードに切り替えた場合（Ｓ１５ｂ）、画像処理前後の画像データを設定された表示モードで表示する。例えば画像処理前後の画像を並列して表示する、あるいは画像処理前後の画像を交互に切り替えて表示する等である。Ｓ１７ｂ、１８ｂの処理はＳ１７ａ、Ｓ１８ａの処理と同様である。
【００２２】
図３に、電源ＯＮの間に割り込みで処理されるスリープ移行ルーチンを示す。一定期間操作がないと判定すると（Ｓ２１）、現在の状態を記録して（Ｓ２２）、特定の機能ブロックのみを動作状態として消費電力を低減するスリープモードに移行する（Ｓ２３）。そして、ユーザが何らかの操作を行ってスリープ状態から復帰すると（Ｓ２４）、Ｓ２２で記録した状態に移行する（Ｓ２５）。
【００２３】
図４に、Ｓ１２の撮影モードのフローチャートを示す。レンズ１０及び撮像素子１２で得られた画像データをＬＣＤ２４に表示し（Ｓ３１）、撮影動作がなされた、つまりレリーズボタンが操作された場合に（Ｓ３２）、画像処理ブロック１８で所定の画像処理を実行し（Ｓ３３）、撮影画像を保存するか否かを指定するルーチンに移行する（Ｓ３４）。保存指定ルーチンでは、画像処理前と画像処理後の画像のいずれを保存するかを指定する。画像を保存する際に特定の画像処理をさらに実行するように構成してもよい。保存すべき画像を指定した後、画像の保存ルーチンを実行する（Ｓ３５）。
【００２４】
図５に、Ｓ１５ｂの閲覧モードのフローチャートを示す。まず、メモリ２６に格納されている画像データのうちユーザが閲覧したい画像データを選択する（Ｓ４１）。画像が選択されると、制御ブロック２２はデフォルト設定の表示方法で選択画像データをＬＣＤ２４に表示する（Ｓ４２）。デフォルトの表示方法は、例えば画像処理前後の画像を並列して表示する方法である。この状態でユーザが表示モードを切替えた場合、指定された表示モードで画像データを表示する（Ｓ４４）。並列表示モードからボタンの操作で画像処理前後の画像を交互に表示するモードに切り替える等である。また、ユーザが拡大あるいは縮小を指示した場合には（Ｓ４５）、表示画像を拡大あるいは縮小して表示する（Ｓ４６）。ユーザが他の画像データを選択した場合（Ｓ４７）、選択された他の画像を再びデフォルト設定の表示方法で表示する（Ｓ４２）。ユーザが撮影モードあるいは設定モードに切り替えた場合（Ｓ４８）、閲覧モードを終了して撮影モードあるいは設定モードに移行する（Ｓ４９）。画像データの表示方法を例示すると以下のとおりである。
【００２５】
（１）並列表示モード
画像処理前の画像と画像処理後の画像とを並列に表示するモード。ユーザのスクロール操作に応じ、並列表示された処理前後の画像が同時にスクロールされる。
【００２６】
（２）処理前／処理後画像表示モード
処理前の画像と処理後の画像を、ユーザが範囲を指定してモニタ上に表示するモード。後述の画像処理時の範囲指定とは異なり、範囲指定後に画像処理を行うものではなく、処理前と処理後の画像を比較しやすく表示するためのものである。
【００２７】
（３）トグルモード
ボタンで画像処理前の画像と画像処理後の画像を入れ替えるモード。
【００２８】
（４）自動切替モード
一定時間経過後に画像処理前の画像と画像処理後の画像が入れ替わるモード。
【００２９】
図６に、Ｓ１５ａの設定モードのフローチャートを示す。まず、ユーザはＬＣＤ２４に表示されたメニュー画面から設定内容を選択する（Ｓ５１）。設定内容としては、（Ａ）デフォルトの表示方法、（Ｂ）処理後画像を自動保存する処理、（Ｃ）非保存指定画像を一時保管する期間、（Ｄ）自動拡大表示するしきい値の設定等である。制御ブロック２２は、ユーザがこれらのうちどの内容を設定したかを判定する（Ｓ５２）。デフォルトの表示モードとしては、上記の（１）〜（４）のいずれかを選択する（Ｓ５３ａ）。処理後画像を自動保存する処理としては、赤目補正や逆光補正等が挙げられる（Ｓ５３ｂ）。なお、処理後画像を自動保存するように設定しているが、自動保存とマニュアル保存とをユーザが選択できるように構成してもよい。マニュアル保存を選択した場合、図１８のルーチンを実行し、処理前の画像と処理後の画像のいずれを保存するかをその都度、ユーザに通知して保存すべき画像を設定すればよい。
【００３０】
一時保管期間としては、例えば１週間や１０日等と期間を設定する（Ｓ５３ｃ）。拡大表示するしきい値を設定する数値としては、輝度、彩度、色相等が挙げられる（Ｓ５３ｄ）。次に、他の設定があるか否かを判定し（Ｓ５４）、全ての設定が完了すると、撮影モードあるいは閲覧モードに移行する（Ｓ５５，Ｓ５６）。
【００３１】
以下、各処理について詳細に説明する。
【００３２】
図７に、撮影モードにおける詳細フローチャートを示す。レンズ１０及び撮像素子１２で処理前画像データを取得し（Ｓ１０１）、ホワイトバランスや明るさ、シャープネス等の基本的な画像処理を施す（Ｓ１０２）。そして、撮影モードがポートレートモードか否かを判定する（Ｓ１０３）。ポートレートモードか否かを判定するのは、人物固有の画像処理を行う必要があるか否かを判定するためである。ポートレートモードである場合、所定の顔認識処理を実行する（Ｓ１０４）。顔認識処理では、被写体から顔部分を抽出し、赤目補正その他の補正処理を実行して画像処理後の画像を取得する（Ｓ１０５）。本実施形態において、「画像処理後画像」には、ホワイトバランス処理や明るさ処理、シャープネス処理の他、撮影モード等に応じた固有の処理が含まれる。画像処理後画像を固有の処理が施された画像のみとしてもよい。処理後画像を取得した後、画像処理時の範囲指定があるか否かを判定する（Ｓ１０６）。画像処理時の範囲指定には、処理前後での差がしきい値を上回った範囲（カメラが自動検出）、顔部分の範囲（カメラが自動検出またはユーザが指定）、ユーザ指定範囲（ユーザが指定）がある。これらの画像処理時の範囲指定がある場合、例えば顔部分を処理し（Ｓ１０７）、処理部分を拡大表示する（Ｓ１０８）。そして、処理部分がＯＫであるか否かを判定し（Ｓ１０９）、ユーザがＬＣＤ２４に表示されたＯＫボタンを操作する等として肯定すると、さらに他の範囲指定があるか否かを確認する（Ｓ１１０）。指定された全ての範囲について処理を完了すると、設定された表示モードで処理後画像を表示する（Ｓ１１１）。範囲指定がない場合には直ちに処理後画像を表示する（Ｓ１１１）。デフォルトの表示モードが並列表示モードである場合、Ｓ１０１で取得した画像と、Ｓ１０５あるいはＳ１０７で処理した画像とが並列して表示される。
【００３３】
図８に、Ｓ１０４の顔認識処理の詳細フローチャートを示す。ポートレートモード等において、まず所定の顔認識処理を実行する（Ｓ２０１）。顔認識処理は公知であり、例えば肌色を認識する、眉、眼部、鼻、唇等顔部に特徴的な部位を抽出する等により被写体から顔部を認識する。被写体から顔部分を発見できない場合には（Ｓ２０２でＮＯ）、顔認識に失敗した旨の画面をＬＣＤ２４に表示し（Ｓ２０８）、処理を続行するか否かを判定する（Ｓ２０９）。ユーザが処理を続行する旨のコマンドを入力した場合、顔範囲指定処理ルーチンを実行する（Ｓ２１０）。顔範囲指定処理ルーチンでは、処理前の画像を表示し、ユーザに処理すべき範囲を入力させる。範囲は矩形あるいは自由曲線で指定される。例えば、ユーザは被写体に存在する顔部分を矩形領域として指定する。その後カメラは、ユーザに顔部分として指定された領域に顔があるという前提で再び顔認識を実行する。一方、顔部分を発見した場合、顔加工確認画面を表示する（Ｓ２０３）。図９に、顔加工確認画面の一例を示す。顔部分のアイコンあるいは認識した顔部分自身をクリッピングして表示するとともに、画面の所定位置に「はい」、「いいえ」のボタンを表示する。ユーザが「はい」ボタンを選択すると、顔加工処理に移行する（Ｓ２０４）。顔加工処理では、まず顔加工の方法を選択する画面を表示する（Ｓ２０５）。図１０に、顔加工選択画面の一例を示す。顔加工の方法として、赤目補正、目つぶり補正、ソフトフォーカス、顔やせ、しみ・しわ対策、美肌効果、美容整形等が表示される。目つぶり補正は、被写体の目が閉じられている場合に目を開いている状態の他の画像から目の部分をクリッピングして置換する処理である。顔やせ、しみ・しわ対策、美肌効果、美容整形等は顔画像の縦横比率を変化する、しみやしわを除去する、肌色を白くする、目の輪郭を強調する等の処理である。ユーザがこれらの方法のいずれか、あるいは複数をジョイスティック２８を用いて選択すると、画像処理ブロック１８は制御ブロックからの指令に応じて選択された処理を実行する（Ｓ２０６）。以上の処理を全ての顔について実行し（Ｓ２０７）、処理を完了する。
【００３４】
図１５に、赤目補正がされた場合にユーザに通知する方法の一例のフローチャートを示す。画像処理前画像データ及び画像処理後画像データを取得した後、画像処理後画像データに所定のメッセージを合成する（Ｓ４０１）。所定のメッセージは、処理内容あるいは処理箇所を示すメッセージであり、例えば処理内容が赤目補正した場合に「赤目補正しました。」等である。図１６Ａに、画像処理後画像データにメッセージを合成した画面例を示す。赤目補正した場合に、顔画像の上部に「補正後」、顔画像の下部に「赤目補正しました。」とメッセージを合成表示するとともに、処理部位を示す矢印を合成表示する。次に、画像処理前画像データにも同様に所定のメッセージを合成する（Ｓ４０２）。図１６Ｂに、画像処理前画像データにメッセージを合成した画面例を示す。顔加工処理すべき部分、つまり赤目部分に矢印を合成表示し、顔画像の上部に「補正前」、顔画像の下部に「赤目が見つかりました。」とメッセージを合成表示する。それぞれの画像データにメッセージを合成した後、カウンタｉを０にリセットし（Ｓ４０３）、まず画像１を表示する（Ｓ４０４）。ここで、「画像１」は画像処理前（ＢＥＦＯＲＥ）画像データを意味する。画像１を表示して一定時間、例えば２秒間経過した場合に、画像１に代えて画像２を表示する（Ｓ４０６）。ここで、「画像２」は画像処理後（ＡＦＴＥＲ）画像データを意味する。画像２を表示して再び一定時間、例えば２秒間経過した場合に、カウンタｉを１だけインクリメントして（Ｓ４０８）、カウンタｉが３に達したか否かを判定する（Ｓ４０９）。カウンタｉが３より小さい場合にはＳ４０４以降の処理を繰り返す。カウンタｉが３に達した場合、つまり、画像１と画像２の交互表示を３回繰り返して実行すると処理を終了する。画像１から画像２への切替は、単に画像１から画像２に表示を切り替える他、ワイプ処理（画像１の幕が降りて画像２の幕が開く処理）やディソルブ処理（画像１の解像度が徐々に低下していくとともに画像２の解像度が徐々に増大して最終的に画像１から画像２に置換される）でもよい。画像２を表示する際に、処理（補正）部位あるいは処理（補正）内容をハイライト表示あるいは点滅表示してもよい。例えば、図１６Ａにおいて、矢印を点滅表示させる、あるいは「赤目補正しました。」のメッセージ部分を点滅表示させる等である。ユーザは、画面１と画面２とが交互に切り替わることで画像処理前後の変化の様子を容易に確認できるとともに、処理された部位及び処理された内容を容易に把握することができる。このように処理内容や処理部位を表示することは、特にデジタルカメラ側で自動画像処理する場合に好適である。ユーザは具体的にどうような処理内容がどのような部位に実行されたのか不明であり、画像処理の効果を認識することが困難となる場合も想定されるからである。図１６Ａと図１６Ｂの画像が時系列で交互に表示されることで、ユーザは被写体の赤目部分が補正されたことを容易に確認できる。
【００３５】
なお、処理内容が顔認識及びこれに伴う顔加工である場合、「顔認識しました。」とのメッセージとともに顔部分を示す矢印を表示する、あるいは「目つぶり補正しました。」とのメッセージとともに眼部を示す矢印を表示する。
【００３６】
また、処理内容あるいは処理部位を画像処理後（ＡＦＴＥＲ）画像データに合成して表示する場合、処理前（ＢＥＦＯＲＥ）画像と比較してその差異が所定のしきい値以上ある場合のみ処理内容及び処理部位を合成して表示してもよい。例えば、赤目補正する場合、赤目補正した後の眼部の色が補正前の眼部の色とほとんど変わりない場合には、所定のメッセージを合成しない。また、処理前（ＢＥＦＯＲＥ）画像データと処理後（ＡＦＴＥＲ）画像データとを比較してその差異が最も大きい部位を処理部位として当該部位の処理内容を合成表示してもよい。例えば、赤目補正と美肌効果補正とが同時に実行された場合であって、赤目補正による差異が最大である場合に、「赤目補正しました。」のメッセージとともに眼部に矢印を表示する等である。あるいは、美肌効果補正が実行された場合であって、鼻の部分の差異が最大である場合に、鼻の部分に矢印を表示する等である。これにより、多くのメッセージを小さなＬＣＤ２４に表示して煩雑となることを防止でき、ユーザは一目で処理内容と処理部位を確認することができる。処理内容を示すメッセージを処理前の画像に合成して表示してもよく、処理前の画像及び処理後の画像のいずれにも合成して表示してもよい。いずれの画像にメッセージを合成して表示するかをユーザが設定できるように構成してもよい。
【００３７】
また、図１５では画面１と画面２とを一定時間周期で自動的に切替表示しているが、ユーザのボタン操作により画面１と画面２とを切替表示してもよい。この場合、Ｓ４０６及びＳ４０８のステップはユーザが切替ボタンを操作したか否かを判定する処理となる。
【００３８】
また、Ｓ２０９で他に顔があるか否かを判定することで被写体に存在する全ての顔について顔加工処理を実行しているが、特定人物の顔のみをユーザが指定して加工処理を実行してもよい。
【００３９】
この例と同様の方法は、顔処理以外の画像処理が行われた際にユーザに通知するのに用いることも可能である。また、処理前後の差異がしきい値以上の場合に処理内容を通知すること、及び差異が最大の部分を表示することは、顔処理以外の画像処理にも適用が可能である。
【００４０】
図１１に、表示モードとして並列表示モード（並列スクロールモード）が設定された場合のフローチャートを示す。例えば図６のＳ５２ａにおいてデフォルトの表示モードとして並列表示モードが設定された場合（Ｓ３００）である。もちろん、図５のＳ４３で表示モードが他の表示モードから並列表示モードに切り替った場合も含まれる。このモードでは、画像処理前（ＢＥＦＯＲＥ）画像データと画像処理後（ＡＦＴＥＲ）画像データを取得し（Ｓ３０１ａ、Ｓ３０２ａ）、２つの画像データが並列して配列するように両画像データを合成してＬＣＤ２４に表示する（Ｓ３０２）。
【００４１】
図１２Ａに、画像処理前（ＢＥＦＯＲＥ）画像データと画像処理後（ＡＦＴＥＲ）画像データを並列表示した画面例を示す。画面の左側に画像処理前画像データ、右側に画像処理後画像データを表示する。いずれが処理後であるかをユーザが容易に視認できるように、ＢＥＦＯＲＥ、ＡＦＴＥＲ等の文言をそれぞれの画像データに重畳表示してもよい。
【００４２】
画像を合成して表示した後、ユーザのジョイスティック２８の操作があったか否かを判定し（Ｓ３０３）、ジョイスティック２８のスクロール操作があった場合には（Ｓ３０４）、画像処理ブロック１８は操作量に応じて画像処理前（ＢＥＦＯＲＥ）画像データを操作方向に移動させて表示するとともに、この表示状態の変更に連動して、画像処理後（ＡＦＴＥＲ）画像データも同時に同一方向に同一量だけ移動させて表示する（Ｓ３０５ａ、Ｓ３０５ｂ）。
【００４３】
図１２Ｂに、スクロール操作時の画面例を示す。画像処理前（ＢＥＦＯＲＥ）画像データと画像処理後（ＡＦＴＥＲ）画像がともに同一方向に同一量だけ移動し、その並列関係が維持されつつ表示されるため、ユーザは常に両画像データの対応部位を一目で比較することが可能となる。画像処理前（ＢＥＦＯＲＥ）画像データと画像処理後（ＡＦＴＥＲ）画像データとが連動してスクロールされるため、ユーザはいずれかの画像データをスクロールした後、他方の画像データをスクロールする手間が省ける。図１２Ｂではユーザがジョイスティック２８を上方向に操作して上方向にスクロールする場合であるが、下方向、あるいは左右方向にスクロールする場合も同様である。閲覧モードでは、スクロールの他、図５に示すように拡大あるいは縮小処理も可能である（Ｓ４５，Ｓ４６）。拡大あるいは縮小がユーザから入力された場合、画像処理ブロック１８は画像処理前（ＢＥＦＯＲＥ）画像データを拡大あるいは縮小処理して表示するとともに、この拡大あるいは縮小に連動して、画像処理後（ＡＦＴＥＲ）画像データの対応部分も同時に拡大あるいは縮小して表示する。
【００４４】
図１３Ａ及び図１３Ｂに、拡大表示する場合の画面例を示す。図１３Ａは拡大前の画像データ（画像処理前（ＢＥＦＯＲＥ）画像データ）であり、図１３Ｂは拡大後の並列表示例である。画像処理前（ＢＥＦＯＲＥ）画像データを拡大すると、これに連動して画像処理後（ＡＦＴＥＲ）画像データも対応部分が同一倍率で拡大されて表示される。さらに、閲覧モードにおいて、画像データを回転させることも可能である。
【００４５】
図１４Ａ及び図１４Ｂに、回転表示する場合の画面例を示す。図１４Ａはデジタルカメラの向きを変えて（横向きから縦向きに変えて）撮影した場合の画像処理前（ＢＥＦＯＲＥ）画像データであり、図１４Ｂは被写体の向きを９０度回転させた場合の並列表示例である。画像処理前（ＢＥＦＯＲＥ）画像データ及び画像処理後（ＡＦＴＥＲ）画像データとも同一方向に同一回転角だけ回転して並列表示される。なお、この状態からさらにユーザが回転ボタンを操作した場合、両画像データとも操作量に応じて同時に回転処理されて並列表示される。ユーザは一回の操作で両画像データを所望の向きに変更することができ、比較対照が容易化される。一方、ユーザがジョイスティック２８の押下操作を行った場合、画像管理ブロック２０は制御ブロック２２からの指令に応じて保存ルーチンを実行する（Ｓ３０６）。
【００４６】
表示モードとしては、並列表示モード以外に上述のとおり、処理前／処理後画像の表示範囲を指定する表示モード、トグル表示モード、表示を自動切替する表示モードを採用することが可能である。
【００４７】
図１７に、保存ルーチンのフローチャートを示す。処理前の画像データ及び処理後の画像データを取得し、ユーザがジョイスティック２８を押下操作した場合（Ｓ３０３、Ｓ３０６参照）、制御ブロック２２は保存指定画像が存在するか否かを判定する（Ｓ５０２）。この保存指定画像はＳ５２ｂで設定されるものであり、処理後の画像を保存するという設定がされた処理後画像、トグル表示で表示中に保存操作された画像、及び消去予定画像表示ルーチンにおいて保存操作された画像である。保存指定された画像が存在しない場合には、所定の選択ルーチンを実行する（Ｓ５０６）。保存指定された画像が存在する場合、例えば、全ての処理において処理後の画像を保存する設定がされていた場合、画像管理ブロック２０は制御ブロック２２からの指令に応じて処理前画像データと処理後画像データの両方に撮影日時データを付加して記録し（Ｓ５０３）、保存フラグを保存指定画像（この場合には処理後画像データ）に付与する（Ｓ５０４）。また、非保存画像（この場合には処理前画像データ）に一時保管フラグを付与する（Ｓ５０５）。非保存画像データを直ちに消去せずに一時保管するのは、自動的に処理後画像データをメモリ２６に保存するものの、後にユーザが処理前画像データを必要とする場合もあることを考慮したものである。
【００４８】
図１８に、Ｓ５０６の選択ルーチンのフローチャートを示す。ユーザが処理前（ＢＥＦＯＲＥ）画像データと処理後（ＡＦＴＥＲ）画像データをその都度選択する処理である。制御ブロック２２はＢＥＦＯＲＥ画像とＡＦＴＥＲ画像のいずれを保存するかを選択する画像をＬＣＤ２４に表示する。図１９Ａに、選択画面の一例を示す。ユーザが処理前画像データの保存を希望する場合には「ＢＥＦＯＲＥ」、処理後画像データの保存を希望する場合には「ＡＦＴＥＲ」のボタンを操作する。「ＥＤＩＴ  ＩＭＡＧＥ」は選択した画像をさらに処理する場合に操作するボタンである。「ＢＥＦＯＲＥ」が選択操作された場合（Ｓ６０２）、画像管理ブロック２２は処理前画像データをメモリ２６に格納する（Ｓ６０３）。一方、「ＡＦＴＥＲ」が選択操作された場合（Ｓ６０４）、画像管理ブロック２２は処理後画像データをメモリ２６に格納する（Ｓ６０５）。そして、選択画面を消去する（Ｓ６０６）。ユーザが「ＥＤＩＴ  ＩＭＡＧＥ」を選択操作した場合、制御ブロック２２は処理前画像データあるいは処理後画像データをメモリ２６に保存することなく、所定の処理モードを実行する（Ｓ６０８）。このモードでは、処理前／処理後のいずれの画像データに追加処理を行うかを選択することができる。例えば、図１９Ｂに示すような選択画面をＬＣＤ２４に表示し、ぼかし、シャープネス、エッジ強調、明るさ調整の処理のいずれかを実行する。これにより、自動処理された画像データに満足できないユーザの要求に応えることができる。また、ＥＤＩＴ  ＩＭＡＧＥルーチンは、撮影モードのみならず、閲覧モードからも呼び出すことが可能であり、ＥＤＩＴ  ＩＭＡＧＥ終了後には、ユーザによる編集の対象となった画像には保存フラグが付与され、編集の対象とならなかった画像には一時保管フラグが付与される。
【００４９】
図２０に、Ｓ５０５で一時保管フラグが付与された画像データの処理フローチャートを示す。Ｓ１１で「消去予定画像表示ルーチン」として実行される処理である。一時保管フラグが付与された画像データは本来的には不要と考えられるから消去予定の画像データである。画像管理ブロック２０はメモリ２６に格納された画像データが存在するか否かを判定し（Ｓ７０１）、存在する場合にはさらに一時保管フラグが付与されているか否かを判定する（Ｓ７０２）。一時保管フラグが付与されている場合、例えば処理後画像データを保存するように設定されている場合の処理前画像データでは、撮影日時から一定期間のＤ日（例えば１０日間）経過しているか否かを判定する（Ｓ７０３）。この期間は固定であってもユーザが設定可能であってもよい。ユーザが設定する場合にはＳ５２ｃで設定する。一定期間が経過している場合には、当該画像データをＬＣＤ２４に表示するとともに、この画像を消去するか否かをユーザに問い合わせる画面を表示する（Ｓ７０７）。ユーザが消去を選択した場合には、画像管理ブロック２０は当該画像データを消去する（Ｓ７０６）。一方、ユーザが消去を選択しない場合には、一時保管フラグに代えて保存フラグを当該画像データに付与し、メモリ２６に格納する（Ｓ７０７）。以上の処理をメモリ２６に格納された全ての画像データについて実行する。これにより、一時保管フラグが付与された画像データのうち、ユーザが希望する画像データは消去されることなくメモリ２６に保存されることになる。
【００５０】
以上、本発明の実施形態について説明したが、本発明はこれに限定されることなく種々の態様が可能である。
【００５１】
例えば、図８のＳ２１２の顔範囲指定処理ルーチンでは、ユーザがジョイスティック２８を操作して被写体の顔部分の中心位置を指定し、その後ジョイスティック２８を上下あるいは左右に操作して顔の輪郭を模した楕円形状のサイズを増減変更することで顔範囲を指定することができるが、顔以外の任意の範囲を同様に指定することが可能である。被写体の左半分、右半分、上半分、あるいは下半分を指定する等である。また、多角形や自由曲線、任意半径の円領域を範囲指定する等である。同心円としてもよく、円領域の中心位置を任意に変更可能としてもよい。
【００５２】
また、本実施形態ではデジタルカメラを例に説明したが、本発明はデジタルカメラに限定されるものではなく、画像処理ソフト等、類似する複数の画像データを比較して表示する機能を有するあらゆる機器やコンピュータ、プログラムに適用が可能である。類似した画像データの例として、同じ被写体をブラケッティング撮影した画像データ等がある。コンピュータに適用する場合、図１の画像処理ブロック１８、画像管理ブロック２０、制御ブロック２２はコンピュータのＭＰＵで構成される。ＭＰＵは撮影された画像を入力し、所定の画像処理を実行した後に、表示手段に処理前画像データと処理後画像データとを並列的に、あるいは時系列上で交互に表示する。並列表示においてユーザがキーボードあるいはマウスを操作して画像をスクロールすると、ＭＰＵは処理前画像データと処理後画像データとを同時にスクロールする。また、ＭＰＵは処理前画像に対して自動画像処理を施した場合、処理の内容及び処理部位を処理後画像データに合成して表示手段に表示することでユーザに通知する。
【００５３】
また、本実施形態では、処理前／処理後画像表示モードにおいて処理前の画像と処理後の画像の任意の範囲を表示することが可能であるが、ユーザがジョイスティック２８を操作することで表示範囲を任意に変更することもできる。図１３Ｂに示される並列表示モードにおいては画像が並列的に表示されているが、ユーザがジョイステック２８を操作して表示領域の境界を左右にシフトさせ、一方の表示領域を縮小させるとともに、他方の表示領域を拡大させることもできる。この場合、処理前及び処理後の画像のサイズをそのまま維持してもよく、あるいは表示状態の拡大あるいは縮小に応じて画像のサイズを拡大あるいは縮小してもよい。後者の場合、処理後の画像の表示範囲の拡大とともに、処理前の画像のサイズを縮小した表示状態に合わせて小さくする。
【００５４】
なお、本実施形態では撮影後カメラが画像を自動で処理する例を示したが、カメラが自動処理を行わず、ユーザがマニュアルで画像処理を行い、その結果を処理前／  処理後で比較したり、変化があった箇所を拡大したりする等の場合にも適用できる。
【図面の簡単な説明】
【００５５】
【図１】実施形態の全体構成ブロック図である。
【図２】実施形態の全体処理フローチャートである。
【図３】実施形態の割り込み処理のフローチャートである。
【図４】撮影モードの処理フローチャートである。
【図５】閲覧モードの処理フローチャートである。
【図６】設定モードの処理フローチャートである。
【図７】撮影モードの詳細処理フローチャートである。
【図８】顔認識処理の詳細フローチャートである。
【図９】顔加工処理の確認画面例を示す説明図である。
【図１０】顔加工方法の選択画面例を示す説明図である。
【図１１】並列表示モードの詳細フローチャートである。
【図１２Ａ】スクロール前の画面例を示す説明図である。
【図１２Ｂ】スクロール後の画面例を示す説明図である。
【図１３Ａ】処理前の画像データを示す説明図である。
【図１３Ｂ】拡大後の画面例を示す説明図である。
【図１４Ａ】処理前の画像データを示す説明図である。
【図１４Ｂ】回転後の画面例を示す説明図である。
【図１５】トグルモードの詳細フローチャートである。
【図１６Ａ】処理後画像データの画面例を示す説明図である。
【図１６Ｂ】処理前画像データの画面例を示す説明図である。
【図１７】画像データ保存ルーチンの詳細フローチャートである。
【図１８】保存画像の選択ルーチンの詳細フローチャートである。
【図１９Ａ】選択画面例を示す説明図である。
【図１９Ｂ】追加の画像処理方法の選択画面例を示す説明図である。
【図２０】一時保管画像（消去予定画像）の処理フローチャートである。
【符号の説明】
【００５６】
１０  レンズ、１２  撮像素子、１４  アナログ処理ブロック、１６  デジタル処理ブロック、１８  画像処理ブロック、２０  画像管理ブロック、２２  制御ブロック、２４  ＬＣＤ、２６  メモリ、２８  ジョイスティック。
【図１】
2007184683.tif 000003
【図２】
2007184683.tif 000004
【図３】
2007184683.tif 000005
【図４】
2007184683.tif 000006
【図５】
2007184683.tif 000007
【図６】
2007184683.tif 000008
【図７】
2007184683.tif 000009
【図８】
2007184683.tif 000010
【図９】
2007184683.tif 000011
【図１０】
2007184683.tif 000012
【図１１】
2007184683.tif 000013
【図１５】
2007184683.tif 000014
【図１６Ａ】
2007184683.tif 000015
【図１６Ｂ】
2007184683.tif 000016
【図１７】
2007184683.tif 000017
【図１８】
2007184683.tif 000018
【図１９Ａ】
2007184683.tif 000019
【図１９Ｂ】
2007184683.tif 000020
【図２０】
2007184683.tif 000021
【図１２Ａ】
2007184683.tif 000022
【図１２Ｂ】
2007184683.tif 000023
【図１３Ａ】
2007184683.tif 000024
【図１３Ｂ】
2007184683.tif 000025
【図１４Ａ】
2007184683.tif 000026
【図１４Ｂ】
2007184683.tif 000027