(57)【要約】【課題】高レスポンス及び精細表示の両方の要求を満たすことができる画像処理装置及び画像処理方法を提供する。【解決手段】第１のスレッドでは、先ず、画像に対し速度優先モードで簡易画像再現処理を行う（ステップＳ５０１）。速度優先モードで処理された再現処理画像の表示を行う（ステップＳ５０２）。第２のスレッドを起動する（ステップＳ５０３）。バックグラウンドスレッドにより画質優先モードの再現処理が完了したかどうかを繰り返しチェックし（ステップＳ５０４）、デコードが完了した後に、ステップＳ５０５に進む。画質優先モードで処理された再現処理画像を用いて表示の更新を行う（ステップＳ５０５）。第２のスレッドでは、メインスレッドからの指示を受け、休眠状態を終了して処理を開始する（ステップＳ５０６）。画像を画質優先モードで完全画像再現処理を行う（ステップＳ５０７）。自分自身を休眠状態にする（ステップＳ５０８）。【選択図】図５
2007104220.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理手段と、
前記画像データを画像再現処理する第２の処理手段と、
１つ以上の画像を表示する表示手段と、
画像の表示を行うに当たり、前記表示手段に、前記第１の処理手段によって画像再現処理された第１の画像を用いて表示を行わせ、前記第２の処理手段に、前記第１の処理手段による画像再現処理とは非同期に前記画像データの画像再現処理を行わせ、前記第２の処理手段による画像再現処理が完了した時点で、前記第２の処理手段により画像再現処理された第２の画像で表示を置き換える表示画像データ切り換え手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の処理手段は、前記画像データに対して、色補間、ガンマ補正処理、ホワイトバランス調整処理、偽色緩和処理、偽解像度緩和処理、カラーマッチング処理及びノイズ除去処理のすべてを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の処理手段は、前記画像データに対して、前記色補間、前記ガンマ補正処理、前記ホワイトバランス調整処理及び前記カラーマッチング処理を行い、前記偽色緩和処理、前記偽解像度処理及び前記ノイズ除去処理を省略することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の処理手段は、前記画像データに対して、前記色補間、前記ガンマ補正処理、前記ホワイトバランス調整処理及び前記カラーマッチング処理を行い、前記偽色緩和処理、前記偽解像度処理及び前記ノイズ除去処理からなる群から選択された少なくとも１種類の処理を省略することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理ステップと、
前記第１の処理ステップにおける画像再現処理とは非同期に前記画像データを画像再現処理する第２の処理ステップと、
画像の表示を行うに当たり、表示手段に、前記第１の処理ステップにおいて画像再現処理した第１の画像を用いて表示を行わせ、前記第２の処理ステップにおける画像再現処理が完了した時点で、前記第２の処理ステップにおいて画像再現処理した第２の画像で表示を置き換える表示画像データ切り換えステップと、
を有することを特徴とする画像処理方法。
【請求項６】
コンピュータに、
撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理手順と、
前記第１の処理手順における画像再現処理とは非同期に前記画像データを画像再現処理する第２の処理手順と、
画像の表示を行うに当たり、表示手段に、前記第１の処理手順において画像再現処理した第１の画像を用いて表示を行わせ、前記第２の処理手順における画像再現処理が完了した時点で、前記第２の処理手順において画像再現処理した第２の画像で表示を置き換える表示画像データ切り換え手順と、
を実行させることを特徴とするプログラム。
【請求項７】
コンピュータに、
撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理手順と、
前記第１の処理手順における画像再現処理とは非同期に前記画像データを画像再現処理する第２の処理手順と、
画像の表示を行うに当たり、表示手段に、前記第１の処理手順において画像再現処理した第１の画像を用いて表示を行わせ、前記第２の処理手順における画像再現処理が完了した時点で、前記第２の処理手順において画像再現処理した第２の画像で表示を置き換える表示画像データ切り換え手順と、
を実行させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラにより撮影して得られたＲＡＷ画像データの処理に好適な画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の電子撮像装置は、ＣＭＯＳ、ＣＣＤ等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換したＲＡＷデータに様々な画像処理を施す。ＲＡＷデータのフィルタ色配列としては、例えばＢａｙｅｒ配列があり、これに色補間、ガンマ補正処理、ホワイトバランス調整処理、偽色緩和処理、偽解像度緩和処理、カラーマッチング処理等を行い、画像出力装置で出力する画像を再現する。以下、これらの処理を完全画像再現処理とよぶ。なお、Ｂａｙｅｒ配列とは、撮像装置の各素子が感知する色情報の配列で、図７に示すようなＲ、Ｇ、Ｂ値の並びからなる。各画素は１つの色情報しか持たないため、Ｂａｙｅｒ配列の色補間では、他の色情報を周りの画素の色情報から補間する。
【０００３】
デジタルスチルカメラにおいて記録される撮影画像の画像データは、非常に多くの情報量を持つ。そこで、ＪＰＥＧ符号化などの画像圧縮方式により画像データ量を減らした上で記録媒体に記録している。このような画像データでは、圧縮のために色情報が失われ、表示装置で画像を表示する際や、プリンタで出力する際に期待した画像を得られないことがある。
【０００４】
これに対し、ＲＡＷデータを記録媒体に記録しておき、パーソナルコンピュータ等の外部装置により画像の再現処理を行う場合には、色情報の精度を落とすことなく高品質な画像を得ることができる。外部装置により画像の再現処理を行う際には、ユーザは画像調整用のパラメータとしてガンマ値やホワイトバランス値などを設定し、そのパラメータが適用された画像を確認しながら適当なパラメータを決定することとなる。
【０００５】
この確認作業において、画像の細部まで厳密な色の再現性を確認するためには、上記の完全画像再現処理を行うことが必要となり、画素数が増えれば増えるほど処理に時間がかかる。しかしながら、ピントの確認程度なら、偽色緩和処理や偽解像度緩和処理など近傍画素の情報を用いる比較的時間のかかる処理を省いた簡易画像再現処理でＲＡＷデータを処理するだけでも十分であることも多い。特に、ＲＡＷパラメータを調整するレスポンスなどの観点から考えると簡易画像再現処理を速度優先モード、全ての画像再現処理を行うモードを画質優先モードとして、ユーザにモード選択させてそれぞれの用途に応えている。
【０００６】
例えば、画像優先モードや記録時間優先モード等、使用者の使用目的に合った動作モードが選択手段で選択され、その選択された動作モードに基づいた圧縮符号化処理を行った映像信号を記録媒体に記録する映像信号処理装置が提案されている（特許文献１参照）。
【０００７】
【特許文献１】特開平１０−２２９５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、速度優先モードと画質優先モードとを切り替える場合には、ユーザが、その度にその用途によってモードを切り替える必要がある。また、モードを切り替えても、即座にそのモードにはならず、ユーザの操作を受け付けられなくなるという問題もある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、高レスポンス及び精細表示の両方の要求を満たすことができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【００１１】
本発明に係る画像処理装置は、撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理手段と、前記画像データを画像再現処理する第２の処理手段と、１つ以上の画像を表示する表示手段と、画像の表示を行うに当たり、前記表示手段に、前記第１の処理手段によって画像再現処理された第１の画像を用いて表示を行わせ、前記第２の処理手段に、前記第１の処理手段による画像再現処理とは非同期に前記画像データの画像再現処理を行わせ、前記第２の処理手段による画像再現処理が完了した時点で、前記第２の処理手段により画像再現処理された第２の画像で表示を置き換える表示画像データ切り換え手段と、を有することを特徴とする。
【００１２】
本発明に係る画像処理方法は、撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号を画像データとして画像再現処理する第１の処理ステップと、前記第１の処理ステップにおける画像再現処理とは非同期に前記画像データを画像再現処理する第２の処理ステップと、画像の表示を行うに当たり、表示手段に、前記第１の処理ステップにおいて画像再現処理した第１の画像を用いて表示を行わせ、前記第２の処理ステップにおける画像再現処理が完了した時点で、前記第２の処理ステップにおいて画像再現処理した第２の画像で表示を置き換える表示画像データ切り換えステップと、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、高レスポンス及び精細表示の両方の要求を満たすことができる。また、操作者がいつでも次の操作を開始できるため、操作性を向上することも可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１５】
（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の概略を示すブロック図である。
【００１６】
ＣＰＵ１０１は、画像処理装置全体の動作を制御し、一次記憶部１０２に格納されたプログラムの実行等を行う。一次記憶部１０２は、主にメモリであり、二次記憶部１０３に記憶されたプログラム等を読み込んで格納する。二次記憶部１０３は、例えばハードディスク等の記録媒体である。本実施形態では、プログラムを二次記憶部１０３に格納し、プログラム実行時に一次記憶部１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。一次記憶部１０２の容量を二次記憶部１０３の容量より小さくしてもよく、また、一次記憶部１０２に格納しきれないプログラムやデータ等を二次記憶部１０３に格納してもよい。また、長時間記憶しなくてはならないデータ等を二次記憶部１０３に格納してもよい。入力デバイス１０４は、例えばマウスやキーボード等であり、プログラム等に割り込み信号を送ったりするために用いられる。出力デバイス１０５は、例えばモニタやプリンタ等である。
【００１７】
次に、上述のように構成された画像処理装置の動作について説明する。この動作では、ＧＵＩを介してユーザがＲＡＷ画像の選択を行い、その後、ＲＡＷ画像データの処理及び出力を行う。図２は、本発明の第１の実施形態に係る画像処理装置の基本的な動作（操作手順）を示すフローチャートである。
【００１８】
先ず、ステップＳ２０１において、ユーザが出力対象とするＲＡＷ画像を選択する。本実施形態では、フォルダツリーウィンドウを用いた方法で選択するものとする。図３は、第１の実施形態に係る画像処理装置の画像指定画面の概要を示す図である。
【００１９】
画像指定画面では、フォルダツリーウィンドウ３０１に、画像処理装置内の画像データのフォルダを示すツリーが表示される。また、画像表示ウィンドウ３０２に、フォルダツリーウィンドウ３０１内で指定されたフォルダ内の画像が表示される。なお、画像表示ウィンドウ３０２に表示される画像はサムネイル画像とよばれる縮小画像であって、ＲＡＷ画像データの本体画像を画像再現処理した結果が表示されるのではない。ユーザは、この画像表示ウィンドウ３０２からサムネイル画像をクリックして選択することができる。複数の画像を選択するためには、特定のキー、例えばＳｈｉｆｔキー又はＣｔｒｌキーを押しながらクリックすればよい。特にＳｈｉｆｔキーを押すことによって、１つのフォルダ内部の始点と終点を指定して複数の画像を指定することも可能である。
【００２０】
次に、ユーザがセレクト編集ボタン３０３を押すと、ステップＳ２０２において、選択されたＲＡＷ画像データの処理を行い、ステップＳ２０３において、処理後のＲＡＷ画像データを出力（表示）する。
【００２１】
ここで、ＲＡＷ画像データの処理及び表示に関する動作について説明する。図５は、本発明の第１の実施形態におけるＲＡＷ画像データの処理及び表示に関する動作を示すフローチャートである。
【００２２】
先ず、メインスレッド（第１のスレッド）のステップＳ５０１において、画像に対し速度優先モードで簡易画像再現処理を行う。次に、ステップＳ５０２において、速度優先モードで処理された再現処理画像の表示を行う。次いで、ステップＳ５０３において、バックグラウンドスレッド（第２のスレッド）を起動する。ここで、速度優先モードとは、色補間、ガンマ補正処理、ホワイトバランス調整処理、カラーマッチング処理を行うものの、偽色緩和処理や偽解像度緩和処理等の近傍画素の情報を用いる比較的時間のかかる処理を省いた簡易画像再現処理を行う動作モードをいう。
【００２３】
その後、ステップＳ５０４において、バックグラウンドスレッドにより画質優先モードの再現処理が完了したかどうかを繰り返しチェックし、デコードが完了した後に、ステップＳ５０５に進む。そして、ステップＳ５０５において、画質優先モードで処理された再現処理画像を用いて表示の更新を行う。ここで、画質優先モードとは、近傍画素の情報も用いる完全画像再現処理であり、速度優先モードよりも、偽色やノイズが発生しにくい処理を行う動作モードをいう。
【００２４】
バックグラウンドスレッドでは、ステップＳ５０６において、メインスレッドからの指示を受け、休眠状態を終了して処理を開始する。次に、ステップＳ５０７において、画像を画質優先モードで完全画像再現処理を行う。次いで、ステップＳ５０８において、自分自身を休眠状態にする。
【００２５】
ここで、ＲＡＷ画像データの再現処理画像の表示態様について説明する。図４は、ＲＡＷの主画像を表示するセレクト編集画面を示す図である。
【００２６】
ＲＡＷデータの再現処理画像は、例えばセレクト編集画面に表示される。セレクト編集画面のサムネイルウインドウ４０１には、図３の画像指定画面で指定された画像の一覧が表示される。また、サムネイルウインドウ４０１内で指定されたＲＡＷ画像が全画像表示ウィンドウ４０２に表示される。更に、このときの動作モード（画質優先モード／速度優先モード）が動作モード表示４０３に表示される。
【００２７】
従来の画像処理装置では、一般的に、ＲＡＷデータの再現処理画像を表示する際に、動作モード（速度優先モードや画質優先モード等）の各々でデコード方法を変えている。画質優先モードの場合、完全画像再現処理に時間がかかりユーザへのレスポンスが悪いという問題点がある。また、速度優先モードの場合には、処理時間は短くすることが可能であるが、画質が悪いという問題がある。
【００２８】
これに対し、本実施形態では、主画像を速度優先モードで再現処理を行って高速に表示した後に、バックグラウンドスレッドを用いて画質優先モードで主画像の再現処理を行う。そして、バックグラウンドスレッドでの処理が完了した主画像から随時表示画像を置き換える。以上の操作を各画像について行う。このため、低速な画質優先モードでの処理が完了した画像から随時表示を更新することとなる。従って、高レスポンス及び高精細表示を両立することができる。
【００２９】
つまり、撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号であるＲＡＷデータを処理する画像処理装置において、速度優先で処理された画像を用いて高速に表示を行い、同時に別スレッドにより画質優先モードで画像を処理する。そして、処理が完了したら表示を置き換えていくことで、高レスポンス及び精細表示の両方の要求を満たすことができるのである。
【００３０】
また、ステップＳ５０４の画質優先モードでの画像の処理完了を待つループの間で、キーボード又はマウス等の入力デバイス１０４による操作者からの入力に反応することも可能であるので、時間のかかる画質優先モードでの処理を待つ間、操作者の入力を受け付けなくなるという不具合も回避することができる。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、その動作が第１の実施形態と相違している。即ち、第１の実施形態では、毎回、画質優先モードでの処理を行うが、第２の実施形態例では、一度画質優先モードでの処理が完了した画像については、キャッシュし、次回からはそのキャッシュ画像を用いることとする。図６は、本発明の第２の実施形態におけるＲＡＷ画像データの処理及び表示に関する動作を示すフローチャートである。なお、図５に示す第１の実施形態における処理と同様の処理には、同一の符号を付してある。
【００３２】
先ず、メインスレッド（第１のスレッド）のステップＳ７０１において、キャッシュ（メモリ）に画質優先モードで処理された画像がないか判断する。そして、画像がなければ、ステップＳ５０１に進み、あればステップＳ５０５に進む。
【００３３】
ステップＳ５０１〜ステップＳ５０５では、第１の実施形態と同様の処理を行う。
【００３４】
バックグラウンドスレッドでは、ステップＳ５０６において、メインスレッドからの指示を受け、休眠状態を終了して処理を開始する。次に、ステップＳ５０７において、画像を画質優先モードで完全画像再現処理を行う。次いで、ステップＳ７０２において、画質優先モードで処理された画像をキャッシュする。そして、ステップＳ５０８において、自分自身を休眠状態にする。
【００３５】
このような第２の実施形態によれば、第１の実施形態と同様の効果の他に、キャッシュ画像の使用に伴って全体的な処理時間を短縮することができるという効果も得られる。
【００３６】
なお、第１及び第２の実施形態では、ＲＡＷ画像データの速度優先モード及び画質優先モードの画像のみを用いているが、サムネイルが含まれている場合には、速度優先モードの画像を表示する前にサムネイルを用いて、より高速に画像を表示してもよい。また、第２の実施形態では、画質優先モードで処理された画像のみをキャッシュしているが、速度優先モードで処理された画像やサムネイル画像をキャッシュすることによって、より高速に表示するようにしてもよい。
【００３７】
また、本発明の目的は、前述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体を、コンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００３８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００３９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４０】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーションシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４１】
更に、記憶媒体から読み出されたプログラムコードの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。ここで、機能拡張ボードは、例えばコンピュータに挿入されたものであり、機能拡張ユニットはコンピュータに接続されたものである。また、プログラムコードは、例えば、読み出された後、一旦機能拡張ボードや機能拡張ユニットに備わるメモリに書き込まれる。
【００４２】
即ち、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインタネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態に係る画像処理装置の概略を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置の基本的な動作（操作手順）を示すフローチャートである。
【図３】本発明の第１の実施形態に係る画像処理装置の画像指定画面の概要を示す図である。
【図４】ＲＡＷの主画像を表示するセレクト編集画面を示す図である。
【図５】本発明の第１の実施形態におけるＲＡＷ画像データの処理及び表示に関する動作を示すフローチャートである。
【図６】本発明の第２の実施形態におけるＲＡＷ画像データの処理及び表示に関する動作を示すフローチャートである。
【図７】Ｂａｙｅｒ配列の構成を示す図である。
【符号の説明】
【００４４】
１０１：ＣＰＵ
１０２：一次記憶部
１０３：二次記憶部
１０４：入力デバイス
１０５：出力デバイス
３０１：フォルダツリーウィンドウ
３０２：画像表示ウィンドウ
３０３：セレクト編集ボタン
４０１：サムネイル表示ウィンドウ
４０２：全画像表示ウィンドウ
４０３：動作モード表示
【図１】
2007104220.tif 000003
【図２】
2007104220.tif 000004
【図３】
2007104220.tif 000005
【図４】
2007104220.tif 000006
【図５】
2007104220.tif 000007
【図６】
2007104220.tif 000008
【図７】
2007104220.tif 000009