(57)【要約】撮像素子３の色配列に対応する時系列で各色信号が存在する解像度  変換前の信号ＳＧ４１が位相保持解像度変換部４２により指定された変換率（例えば１／３）でもって解像度変換される。デモザイク処理部４４は、撮像素子の色配列の順序の信号ＳＧ４２をＲＧＢ信号ＳＧ４４へ変換する。細線保持解像度変換部４５が信号ＳＧ４４を指定された変換率（例えば１／２）でもって、信号ＳＧ４５に変換し、信号ＳＧ４５がエンコーダによって圧縮される。記録媒体９に（６４０×４８０）画素のＹＣ信号ＳＧ４８と、色信号ＳＧ４２と、サムネイル画像データＤＴとしての（６４０×４８０）画素の色配列の順序の信号ＳＧ５１と、撮影情報とが記録される。
2008150017.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、位相保持の第１の解像度変換を行うステップと、上記第１の解像度変換により得られた第１の信号に対して色分離処理を行うステップと、上記色分離処理により得られた第２の信号に対して細線保持の第２の解像度変換を行うステップとを備える信号処理方法。
【請求項２】
上記第２の解像度変換を行なうステップでえた第３の信号を圧縮符号化により圧縮するステップをさらに備える請求の範囲１の信号処理方法。
【請求項３】
上記圧縮符号化により得られる信号が輝度信号および色信号からなるコンポーネント信号である請求の範囲２の信号処理方法。
【請求項４】
上記第１の解像度変換および上記第２の解像度変換のそれぞれの変換率が制御信号によって指定される請求の範囲１の信号処理方法。
【請求項５】
上記第２の信号がＲＧＢ信号である請求の範囲１の信号処理方法。
【請求項６】
撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、位相保持の第１の解像度変換を行う位相保持解像度変換部と、
上記第１の解像度変換により得られた第１の信号に対して色分離処理を行う色分離処理部と、
上記色分離処理により得られた第２の信号に対して細線保持の第２の解像度変換を行う細線保持解像度変換部と、
を備える信号処理装置。
【請求項７】
上記第２の解像度変換により得られた第３の信号を圧縮した信号と撮像情報とをファイルとして記録媒体に記録する記録部をさらに備える請求の範囲６の信号処理装置。
【請求項８】
上記位相保持解像度変換部が撮像装置に設けられ、
上記色分離処理部と、上記細線保持解像度変換部とが情報処理装置に設けられ、
上記撮像装置は、上記第１の信号を上記情報処理装置に出力する
請求の範囲６の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置例えばディジタルスチルカメラに適用可能な信号処理方法および信号処理装置に関する。
【背景技術】
【０００２】
ＣＣＤ等の撮像素子から得られる撮像信号に対してガンマ処理、オートホワイトバランス処理、撮像モードに応じた色相補正処理、周波数特性の補正処理、ノイズリダクション処理等の画質補正処理（現像処理とも称される）を撮像結果の画像データ（以下、ＲＡＷデータと適宜称する）に施してＲＡＷデータを目に見える画像信号に変換することがなされる。さらに、画像信号を非可逆な圧縮方式で圧縮して記録媒体に記憶するようになされる。これに対して、非可逆の圧縮による画質劣化を回避し、また、ユーザ自身の希望する画質補正を可能とするために、ＲＡＷデータを記録媒体に記録し、記録媒体に記録されたＲＡＷデータをコンピュータのような情報処理装置に入力し、情報処理装置によって画像情報を生成することが提案されている（日本国特許第３２３０２９１号参照）。
ＲＡＷデータは、画質補正後の画像データに比してデータ量が非常に多いために、ＲＡＷデータから画像情報を生成するのに要する時間が長くなる問題があった。この問題を解決するために、情報処理装置にて画質補正処理を行う場合には、ＲＡＷデータを縮小処理して縮小画像（以下、サムネイル画像と適宜称する）を生成してＲＡＷデータに付加し、サムネイル画像をＲＡＷデータより先に表示する方法が提案されている。この方法は、情報処理装置においてなされた画質調整が表示画像に反映されないために、サムネイル画像を一覧表示に使用した場合、サムネイル画像と調整対象の本来の画像とが異なるといった不具合が発生する。
さらに、情報処理装置によってサムネイル画像を生成し、画質補正結果をサムネイル画像に反映させることは、日本国特開２００３−３４６１４３号公報によって提案されている。この文献に記載のものは、情報処理装置が全部のＲＡＷデータを一旦読み出す必要があるために、一覧表示などで使用者の利便性を阻害する問題があった。
【発明の開示】
【０００３】
これを解決するため、使用者の要求に応じて調整時の本画像と同等調整効果を反映したサムネイル画像を高速に提供する手法が本出願の優先日の時点で未公開の日本国特願２００６−１６６８５８で提案されている。この出願に記載の方法では、サムネイル画像は高速に提供できても、全画像はイメージャーサイズにのみ依存するため、使用者が撮像装置に対し十分に小さい出力解像度要求しかしていなくても、全画像は高速に提供できなかった。また、撮像装置内のデモザイク処理や圧縮信号情報を生成する処理も全画像分の処理時間がかかっていた。さらに、サムネイル画像を生成する処理が細線のような画像情報の欠落を生じる問題があった。
なお、撮像素子の色フィルタの色配列に応じた撮像信号を三原色信号ＲＧＢに変換する処理が色分離処理である。デモザイク処理は、色配列がモザイク状の場合になされる色分離処理を意味する。ストライプ状に配列された色フィルタを有する場合に対してもこの発明を適用することができる。また、補色系の色フィルタを有する場合に対してもこの発明を適用することができる。
したがって、この発明の目的は、色分離処理や解像度変換処理を高速に提供し、これにより、撮像時の処理速度が向上し、また、記憶媒体の必要量も軽減するため、使用者の利便性を向上させることができる信号処理方法および信号処理装置を提供することにある。
上述した課題を解決するために、この発明は、撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、位相保持の第１の解像度変換を行うステップと、第１の解像度変換により得られた第１の信号に対して色分離処理を行うステップと、色分離処理により得られた第２の信号に対して細線保持の第２の解像度変換を行うステップとを備える信号処理方法である。
この発明は、撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、位相保持の第１の解像度変換を行う位相保持解像度変換部と、
第１の解像度変換により得られた第１の信号に対して色分離処理を行う色分離処理部と、
色分離処理により得られた第２の信号に対して細線保持の第２の解像度変換を行う細線保持解像度変換部と、
を備える信号処理装置である。
この発明によれば、解像度の劣化が少ない信号を提供できる。さらに、間引き処理の高速化により、撮像装置が高速な連写動作を行うことができる。また、情報量の削減により、撮像装置が記録媒体に記録できる記録枚数を向上させることができる。
【図面の簡単な説明】
【０００４】
第１図は、この発明の一実施の形態におけるディジタルスチルカメラの一例の構成を示すブロック図である。
第２図は、この発明の一実施の形態における記録媒体に記録されるデータのファイルフォーマットの一例を示す略線図である。
図３は、ディジタルスチルカメラの撮像結果を処理する情報処理装置としてのコンピュータの一例のブロック図である。
第４図は、コンピュータによる編集時に表示されるインターフェース画面の一例を示す略線図である。
第５図は、この発明の一実施の形態によるディジタルスチルカメラ内の画像処理装置の解像度変換に関連する構成の一例のブロック図および画像フォーマットの説明に用いる略線図である。
第６図は、位相保持解像度変換部の説明に用いる略線図である。
第７図は、デモザイク処理の説明に用いる略線図である。
第８図は、デモザイク処理の説明に用いるフローチャートである。
第９図は、細線保持解像度変換処理の説明に用いる略線図である。
第１０図は、細線保持解像度変換部の処理について水平方向に関する処理をより詳細に示す略線図である。
第１１図は、細線保持解像度変換部の処理について垂直方向に関する処理をより詳細に示す略線図である。
第１２図は、この発明の一実施の形態における解像度変換処理をまとめて示す略線図である。
第１３図は、画素が１６ビットの場合に細線保持解像度変換部の処理を適用した場合の構成を示すブロック図である。
第１４図は、第１３図における重み付け係数の説明に用いる略線図である。
第１５図は、この発明と異なる構成の参考例の解像度変換に関連する構成の一例のブロック図および画像フォーマットの説明に用いる略線図である。
第１６図は、参考例における解像度変換処理をまとめて示す略線図である。
第１７図は、撮像装置と情報処理装置における処理を説明するためのブロック図である。
【符号の説明】
【０００５】
１  ディジタルスチルカメラ
２  制御部
３  撮像素子
４  前処理回路
５  欠陥補正回路
６  画像処理回路
７  エンコーダ
９  記録媒体
１０  ＲＡＷデータファイル生成回路
２１  コンピュータ
２３  中央処理ユニット
４２  位相保持解像度変換部
４４  デモザイク処理部
４５  細線保持解像度変換部
【発明を実施するための最良の形態】
【０００６】
以下、この発明の一実施の形態による撮像装置例えばディジタルスチルカメラ１の一例について図面を参照しながら説明する。一実施の形態の全体の構成が第１図に示されている。撮像光学系（図示せず）がマイクロコンピュータで構成された制御部２によって指示された撮像条件に応じて動作し、撮像光学系を介された被写体光が撮像素子３に入射される。
撮像光学系は、被写体の拡大／縮小を行うためのズームレンズ、焦点距離を調整するためのフォーカスレンズ、光量を調整するためのアイリス（絞り）、ＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルタ、並びにこれらのレンズおよびアイリスを駆動する駆動回路を備えている。
撮像素子３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅ  ｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等である。撮像素子３によって被写体光に応じた撮像信号が捕捉される。撮像素子３は、原色系と補色系のいずれでもよく、入射された被写体像を光電変換したＲＧＢ各色の原色信号または補色系の撮像信号を出力する。
撮像素子３の出力信号が前処理回路４に供給される。前処理回路４は、撮像素子３の出力信号に対して相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理を順次行う。前処理回路４の出力信号が欠陥補正回路５に供給される。欠陥補正回路５は、前処理回路４の出力信号に対する欠陥補正処理を行う。欠陥補正回路５の出力にＲＡＷデータＤＲが出力される。
ＲＡＷデータが画像処理回路６に供給される。画像処理回路６は、ＲＡＷデータに対して、解像度変換処理、ガンマ補正処理、ホワイトバランス処理等の画質補正処理を順次実行し、画質補正済みの画像データを出力する。図示しないが、画像処理回路６からの画質補正済みの画像データが表示装置で表示され、撮像画像のモニタ表示がなされる。
画像処理回路６からの画像データがエンコーダ７にて例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）により圧縮される。エンコーダ７では、画像データからサムネイル画像を生成し、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ  ｆｏｒ  ｄｉｇｉｔａｌ  ｓｔｉｌｌ  ｃａｍｅｒａ）フォーマット処理結果を出力する。また、制御部２の制御によって、圧縮されたサムネイル画像の画像データがＲＡＷデータファイル生成回路１０に出力される。
エンコーダ７の符号化出力がインターフェース８を介して記録媒体９に供給され、記録媒体９に記録される。インターフェース８は、制御部２の制御によって、ＲＡＷデータファイル生成回路１０から出力されるＲＡＷデータファイルのデータを記録媒体９に記録する。また、記録媒体９に記録されたデータを再生して各部に出力する。
記録媒体９は、例えばメモリカードであり、インターフェース８を介して出力されるデータを記録する。記録媒体９としては、メモリカード以外に光ディスク、磁気ディスク等の種々の記録媒体を使用することができる。記録媒体９に記録されているデータが情報処理装置としてのコンピュータによって再生される。記録媒体を使用するのに限らず、情報処理装置と通信を介してデータの授受を行うようにしても良い。
ＲＡＷデータファイル生成回路１０は、画像処理回路６の間引き処理（位相保持解像度変換）を受けたＲＡＷデータＤＲ、制御部２から出力されるサムネイル画像データＤＴ、撮像時の撮像情報ＤＳ等でＲＡＷデータファイルを生成し、生成したＲＡＷデータファイルをインターフェース８に対して出力する。なお、厳密には、位相保持解像度変換前の撮像信号がＲＡＷデータであり、位相保持解像度変換によって撮像信号を間引いた信号が修正ＲＡＷデータである。但し、以下の説明では、修正ＲＡＷデータも単にＲＡＷデータＤＲと称することにする。
サムネイル画像データＤＴは、ＲＡＷデータＤＲを間引きして生成されるものである。撮像情報ＤＳは、ＲＡＷデータを取得する撮像時に、ディジタルスチルカメラに設定された撮像条件の情報である。撮像情報ＤＳは、画像処理回路６における画質補正処理を特定する画質補正情報、レンズ、撮像素子３の設定を特定する光学系の情報等により構成される。具体的には、画質補正情報は、画像処理回路６における色相、階調、周波数特性等の補正を特定する情報であり、画質補正モード（色モード）の情報等により構成される。光学系の情報は、シャッター速度、焦点距離、絞り等の情報である。
ＲＡＷデータファイルは、第２図に示すように、Ｅｘｉｆに準拠したフォーマットでＲＡＷデータを記録するファイルであり、Ｅｘｉｆと同様にヘッダーが設けられ、ＩＦＤ（Ｉｍａｇｅ  Ｆｉｌｅ  Ｄｉｒｅｃｔｏｒｙ）により各種のデータが割り当てられる。
ここでＲＡＷデータファイルは、ファイル先頭のフィールドＦ１に、メイン画像データの再生に必要な情報（メイン画像データＩＦＤ０）、およびこのメイン画像データの撮像時の情報（撮像情報ＩＦＤ１）が記録される。ここでは、メイン画像データにＲＡＷデータＤＲが割り当てられ、メイン画像データの撮像時の情報は、ＲＡＷデータの撮像時に使用したディジタルスチルカメラ１を特定する情報、上述の撮像条件の情報が割り当てられる。具体的には、Ｅｘｉｆの対応する情報が割り当てられ、絞り、フォーカス距離、シャッター速度等の情報、画像処理回路６における画質補正モード等の情報、さらにファイル名、ユーザ名等のＥｘｉｆに定義された情報が割り当てられる。
またＲＡＷデータファイルは、続くフィールドＦ２に、エンコーダ７で生成されるＪＰＥＧでデータ圧縮したサムネイル画像データが割り当てられる。このサムネイル画像は、例えば（６４０（水平方向）×４８０（垂直方向））の画素数を有するＹ（輝度データ）およびＣ（色データ）からなるコンポーネント信号である。
さらに続くフィールドＦ３に、このディジタルスチルカメラ１のメーカーが独自に定義した情報（平文部メーカーノートＩＦＤ）が記録される。ＲＡＷデータファイルは、これら先頭３フィールドＦ１〜Ｆ３がＥｘｉｆのフォーマットで作成されることから、Ｅｘｉｆのファイルを処理可能な各種アプリケーションによっても、メイン画像データに割り当てたＲＡＷデータを再生できるように形成される。
続いてＲＡＷデータファイルは、メイン画像データの撮像時の撮像情報が割り当てられる。具体的には、フィールドＦ４に、メーカーノートＩＦＤ０（カメラ制御モード等のＥｘｉｆに規定されていない必要情報が記録される。フィールドＦ５に、撮像時を再現する画像処理に必要なパラメータテーブルが記録される。例えばＲＡＷデータＤＲの撮像時におけるディジタルスチルカメラ１の絞りの設定、シャッター速度、撮像モード等が記録される。
フィールドＦ６〜Ｆ１０のそれぞれに、各種の切り出し基準情報が設定される。具体的に、フィールドＦ６には、フォーカス調整から検出される撮像時の合焦位置情報が記録される。ここで、この撮像時の合焦位置情報は、ＲＡＷデータＤＲの画像において合焦している領域の位置情報である。
フィールドＦ７に、撮像時のフォーカスサーチ処理で検出された背景の合焦位置情報が記録される。したがってこのディジタルスチルカメラ１は、合焦位置を無限遠から手前側に順次近づけてフォーカスサーチの処理を実行し、このフォーカスサーチ時、最も遠い側で合焦した領域の位置情報をこの背景の合焦位置情報に設定する。
フィールドＦ８に、撮像時に検出された顔の位置情報が記録される。撮像時、顔のテンプレートを用いて、制御部２で顔が撮像されている領域を検出し、この顔が検出された領域をこの顔位置の情報に設定する。なおこのディジタルスチルカメラ１は、例えばユーザが人物撮像の撮像モードを選択している場合には、この顔を検出した領域が合焦するようにフォーカス調整してＲＡＷデータＤＲを取得する。なお顔が検出されない場合、顔の位置情報にはその旨が記録される。
フィールドＦ９に、逆光位置の情報が記録される。ここで逆光位置の情報は、撮像結果中で逆光の部分を示す位置情報であり、フォーカスサーチの際に撮像結果の各部における合焦位置を検出し、この合焦位置の検出結果から、１つの物体を撮像したと判断される領域であって、合焦位置が手前側程、輝度レベルの低い領域を検出し、この検出した領域の位置情報を逆光位置の情報に設定する。
フィールドＦ１０に、飽和位置の情報が記録される。飽和位置の情報は、このディジタルスチルカメラ１のダイナミックレンジに対して輝度レベルが飽和している領域の位置である。ディジタルスチルカメラ１は、撮像時、絞りを可変し、この絞りの可変に対する各部の輝度レベルの変化を判定して飽和している領域を検出する。この検出した領域の位置情報をこの飽和位置の情報に設定する。
フィールドＦ１１に、撮像時における光軸中心の情報が記録される。ここでこの光軸中心の情報は、レンズに設けられたレンズの機種を特定する情報に基づいて設定される。なお、これら逆光位置情報、飽和位置情報、光軸中心位置情報にあっても、対応する位置情報を検出できない場合、それぞれその旨が記録される。
フィールドＦ１２にサムネイル画像用ＩＦＤが記録される。以上のフィールドＦ１乃至Ｆ１２が撮像情報ＤＳである。撮像情報ＤＳは、制御部２からＲＡＷデータファイル生成回路１０に供給される。フィールドＦ１２の次に、ＲＡＷデータから制御部２で生成されたサムネイル画像データＤＴが配される。サムネイル画像データＤＴは、例えば（６４０×４８０）画素の撮像素子３の色配列を有するデータである。サムネイル画像データＤＴの次にＲＡＷデータＤＲが配置される。
ここでＲＡＷデータＤＲは、ＲＡＷデータのデータ量が全体のデータ量の９５〔％〕程度を占めることになるが、このＲＡＷデータがファイルの末尾に割り当てられていることから、ファイル先頭から５〔％〕程度を再生するだけで、サムネイル画像データ、撮像情報ＤＳ等を取得することができる。
第３図は、この記録媒体９に記録された撮像結果を処理する情報処理装置としてのコンピュータの構成を示す。コンピュータ２１において、インターフェース（ＩＦ）２２は、中央処理ユニット２３の制御により記録媒体９に記録されたデータを再生してバスＢＵＳに出力し、またバスＢＵＳに出力されるデータを記録媒体９に記録する。
表示部２４は、中央処理ユニット２３の制御により各種の画像を表示し、インターフェース（ＩＦ）２５は、中央処理ユニット２３の制御により印刷に必要な各種のデータをプリンタ２６に出力する。入力部２７は、キーボード、マウス等により形成され、ユーザの操作を中央処理ユニット２３に通知する。ハードディスク装置（ＨＤＤ）２８は、中央処理ユニット２３の各種処理のプログラム、データを記録して保持する。
このハードディスク装置２８に記録されたプログラムは、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録されて提供されるものの、このような記録媒体による提供に代えて、事前のインストールにより、またはインターネット等のネットワークを介したダウンロードにより提供してもよい。
中央処理ユニット（ＣＰＵ）２３は、コンピュータ２１の演算処理部であり、リードオンリメモリ（ＲＯＭ）２９の記録にしたがってランダムアクセスメモリ（ＲＡＭ）３０にワークエリアを確保してハードディスク装置２８に記録されたオペレーションシステムを起動する。またこのオペレーションシステムにおけるユーザの操作に応動して、記録媒体９に記録された撮像結果をユーザが指示したフォルダにダウンロードする。
また入力部２７を介して検出されるユーザの指示にしたがって、ハードディスク装置２８に記録された撮像結果を編集処理するプログラム（以下、編集プログラムと呼ぶ）を起動する。なお、以下の説明においては、記録媒体９に上述のＲＡＷデータファイルのみが記録されているとの前提により、中央処理ユニット２３によりなされる情報処理装置の一連の処理を説明する。
編集プログラムの起動により中央処理ユニット２３は、第４図に示す編集プログラムのメイン画面Ｍ１を表示部２４に表示する。またこのメイン画面Ｍ１に表示したメニューの選択により、プルダウンメニューによるサブメニューを表示し、ユーザによるサブメニューの選択を受け付ける。
中央処理ユニット２３は、このサブメニューの選択によりユーザがフォルダまたは記録媒体９に記録された撮像結果の一覧表示を指示すると、ユーザが指示したフォルダまたは記録媒体９に記録されたファイルの情報をこれらフォルダまたは記録媒体９のファイル管理システムから取得し、この編集プログラムで処理可能なファイルを選択する。またデフォルトで、この選択したファイルのサムネイル画像をサブウインドウＭ２で一覧表示する。
すなわち中央処理ユニット２３は、ユーザが一覧表示を指示すると、記録媒体９またはフォルダのアクセスにより対応するファイルのデータを取得する。この処理において、中央処理ユニット２３は、順次取得されるファイルデータの監視により、ＲＡＷデータの間引きによるサムネイル画像データＤＴと、ＲＡＷデータの画像処理に係る情報とを取得すると、このファイルの残るデータの取得を中止する。具体的に、中央処理ユニット２３は、ＲＡＷデータファイルの先頭フィールドＦ１からサムネイル画像データＤＴのフィールドまでのデータを取得すると、残りのフィールドのデータの取得を中止する。
続いて中央処理ユニット２３は、取得したデータのＩＦＤを解析し、さらに取得したデータをデータ展開する。このデータ展開する処理により、中央処理ユニット２３は、取得したデータからサムネイル画像データＤＴを取得し、またこのサムネイル画像データＤＴの再生に必要な情報を取得する。またユーザの事前の設定に応じて撮像時の撮像情報、編集処理の撮像情報を取得する。
続いて中央処理ユニット２３は、取得したサムネイル画像データＤＴを、撮像時の撮像情報に設定された画質補正情報で画質補正し、撮像時に表示した画質のサムネイル画像データを生成する。具体的に中央処理ユニット２３は、この撮像情報に設定された画質補正情報に基づいて、メイン画像データの撮像時における画像処理回路６の設定を再現し、この再現された設定でサムネイル画像データＤＴをガンマ補正、ホワイトバランス調整し、さらに階調、色相、周波数特性等を調整する。中央処理ユニット２３は、このようにして画質補正したサムネイル画像データＤＴの画像を、表示用の画像メモリに記録する。
続いて中央処理ユニット２３は、サブウインドウＭ２に表示する枚数分、サムネイル画像の取得が完了すると、画像メモリに記録した画像データでサブウインドウＭ２を表示する。中央処理ユニット２３は、記録媒体９に記録された撮像結果、このコンピュータ２１にダウンロードした撮像結果をサムネイル画像で一覧表示する。
中央処理ユニット２３は、サブウインドウＭ２におけるサムネイル画像の一覧表示でユーザがサムネイル画像を選択すると、メイン画面Ｍ１にサブウインドウＭ３を表示し、このサブウインドウＭ３に対応する撮像結果を拡大表示する。またこのサブウインドウＭ３において、ユーザがサブウインドウＭ３の大きさを可変すると、このユーザの操作に応動してサブウインドウＭ３の大きさを可変して対応する撮像結果を表示する。またこのサブウインドウＭ３で全画面表示が指示されると、対応する撮像結果をメイン画面Ｍ１に全画面表示する。中央処理ユニット２３は、この撮像結果の全画面表示をサムネイル画像を拡大表示して実行し、ユーザの使い勝手を向上する。
サムネイル画像の一覧表示において、ユーザがサムネイル画像を選択して撮像情報の表示を指示すると、選択されたサムネイル画像の画質補正に使用した撮像情報が表示される。例えばガンマ特性が特性曲線により表示され、撮像情報の各項目が表示される。各項目として、ホワイトバランス調整の調整モード、ホワイトバランス調整の微調整量、演色性の調整量、彩度の調整量、コントラストの調整量等がある。
サムネイル画像の一覧表示において、ユーザがサムネイル画像を選択して編集を指示すると、またはメイン画面Ｍ１、サブウインドウＭ３で表示した撮像結果の編集をユーザが指示すると、中央処理ユニット２３は、編集操作用のサブウインドウＭ４を表示する。
この編集操作用のサブウインドウＭ４は、画質補正項目を選択し、画質補正量を設定するウインドウである。編集操作用のサブウインドウＭ４は、タブにより表示を切り換えて各画質補正項目を選択できるように形成される。このサブウンインドウＭ４は、調整項目毎に、ディジタルスチルカメラ１における設定操作のユーザインターフェースに対応する操作量で、調整量を設定できるように形成される。具体的にサブウインドウＭ４は、撮像時の設定を基準にして、例えば色温度、演色性、露出補正、シャープネス、ノイズリダクションの調整ボタンが、それぞれ調整量と共に表示される。
中央処理ユニット２３は、サブウインドウＭ５でユーザの選択した撮像結果の全画面をプレビュー表示し、またユーザの指示に応動して、このプレビュー画面に表示した撮像結果の各種解析結果をサブウインドウＭ６で表示する。なお、第４図に示す例における解析結果の表示は、各色信号の階調分布によるヒストグラム表示である。
中央処理ユニット２３は、このプレビュー画面の表示、解析結果の表示をサムネイル画像データにより実行する。また中央処理ユニット２３は、サブウインドウＭ４におけるタブの選択により、このサブウインドウＭ４の表示を切り換えて各調整項目の設定を受け付ける。このとき中央処理ユニット２３は、ユーザの調整量の可変に対応するように、プレビュー画面の画質を可変する。
すなわち、中央処理ユニット２３は、サブウインドウＭ４でユーザが調整量を可変すると、プレビュー画面の表示中のサムネイル画像を画質補正した撮像情報をこの調整量の可変に対応するように、補正する。またこの補正した撮像情報でサムネイル画像データを画質補正し、その処理結果による画像をプレビュー表示する。またこのようにして画質補正した画像データの処理により解析結果の表示に必要な情報を取得し、この取得した情報でサブウインドウＭ６の表示を切り換える。
中央処理ユニット２３は、このようにユーザの操作に応動してプレビューの処理を実行するようにして、サブウインドウＭ４に表示した画質調整のチェックボックスをユーザがチェックしている場合、サブウインドウＭ４によるプレビュー画面の画質の変更に対応するように、サブウィンドウＭ５のプレビュー画面に画質の変更と同時に、サブウインドウＭ３における撮像結果の表示の画質、メイン画面Ｍ１における撮像結果の全画面表示における画質を切り換える。このときユーザがプレビュー画面の特定領域の拡大表示を指示すると、プレビュー画面に枠Ｗを表示してこの特定領域を示し、サブウインドウＭ３における撮像結果の表示、またはメイン画面Ｍ１における撮像結果の全画面表示において、この特定領域を拡大表示する。
中央処理ユニット２３は、これらの場合も、始めに、サムネイル画像により編集処理した撮像結果をサブウインドウＭ３またはメイン画面Ｍ１に表示することにより、ユーザによる操作に応動して編集処理した撮像結果を短時間で表示し、ユーザの使い勝手を向上する。またサムネイル画像の拡大表示により編集処理した撮像結果を表示した後に、ＲＡＷデータを編集処理して表示を置き換えることにより、ユーザによる各種処理の妨げとならないようにして、この表示した撮像結果の画質を向上させる。
この発明の一実施の形態の動作を概略的に説明する。ディジタルスチルカメラ１では（第１図）、ユーザが設定したシャッター速度、絞り等により図示しない光学系で撮像素子３の撮像面に光学像が形成され、ユーザによる操作子の操作によりこの光学像の撮像結果が撮像素子３から出力されて前処理回路４、欠陥補正回路５で処理され、撮像結果の画質補正前の画像データであるＲＡＷデータＤＲが生成される。またこのＲＡＷデータＤＲが画像処理回路６で画質補正されて表示部で表示される。
ディジタルスチルカメラ１では、この表示部に表示された撮像結果の確認により、ユーザが不必要と判断した撮像結果については、何ら保存されることなく破棄されるのに対し、ユーザが必要と判断した撮像結果については、ユーザにより指示された保存形態で記録媒体９に記録される。すなわち、ユーザがＥｘｉｆのファイルでの記録を指示している場合、画質補正済みの画像データがエンコーダ７でデータ圧縮されて、画質補正済みのサムネイル画像データ、撮像情報と共に、Ｅｘｉｆのファイルにまとめられ、このＥｘｉｆのファイルが記録媒体９に記録される。これに対してユーザがＲＡＷデータＤＲでの撮像結果の記録を指示している場合、ＲＡＷデータＤＲ、このＲＡＷデータＤＲを間引きして作成されたサムネイル画像データＤＴ、画像処理回路６における画質補正処理を特定する画質補正情報を有する撮像時の撮像情報ＤＳ等によりＲＡＷデータファイルが作成され、このＲＡＷデータファイルが記録媒体９に記録される。
ＲＡＷデータファイルには、撮像結果（ＲＡＷデータＤＲ）が記録され、このＲＡＷデータＤＲをサムネイル画像でユーザに提示する場合には、サムネイル画像データＤＴを画質補正情報で画質補正して、撮像時、ユーザが確認した画質の撮像結果をサムネイル画像で表示することができる。ここでこのサムネイル画像データを画質補正情報で画質補正して表示する処理は、ＲＡＷデータＤＲからサムネイル画像データを生成しなくてもよいことから、短時間で表示して撮像結果を確認することができ、ユーザの使い勝手を従来に比して一段と向上することができる。
ＲＡＷデータは、データ量が大きいことから、記録媒体からロードするだけでも、長い時間を要する。しかしながら、ファイル先頭からＲＡＷデータの記録開始位置までの、ＲＡＷデータに比して格段的に少ない量のデータをロードして処理すれば良いことから、短時間で撮像結果を表示することができ、ユーザの使い勝手を向上することができる。
ディジタルスチルカメラ１では、このＲＡＷデータファイル（第２図）のファイル先頭側がＥｘｉｆファイルと同様に、メイン画像データの情報、ＪＰＥＧによりデータ圧縮した画質補正済みのサムネイル画像データ等により形成され、末尾にＲＡＷデータＤＲが割り当てられる。したがって、ディジタルスチルカメラ１では、このＲＡＷデータファイルの途中に記録されたフィールドを処理困難な各種のアプリケーションプログラムによっても、ＲＡＷデータＤＲについては処理可能に、またＪＰＥＧによりデータ圧縮した画質補正済みのサムネイル画像データについては、表示可能とすることができ、このＲＡＷデータファイルの汎用性を高めることができる。なおＥｘｉｆファイルでは、データ圧縮した画質補正済みのサムネイル画像データに代えて、データ圧縮する前のサムネイル画像データを適用することも可能であるので、データ圧縮した画質補正済みのサムネイル画像データに代えて、データ圧縮する前のサムネイル画像データを適用するようにしてもよい。
なお、ディジタルスチルカメラにおける撮像結果の記録は、このようなＲＡＷデータによる方法以外に、Ｅｘｉｆファイルのように、画像処理済みの画像データをデータ圧縮して記録する方法がある。しかしながらこのＥｘｉｆファイルでは、このデータ圧縮した画像処理済みの画像データに対応するように、画像処理済みのサムネイル画像データを記録することから、編集処理による画質の変化が反映されるように、サムネイル画像を表示することが困難である。これに対して、この一実施の形態のＲＡＷデータファイルでは、上述した編集処理の撮像情報の利用により、編集処理による画質の変化をサムネイル画像の表示に反映させることができ、ユーザの使い勝手を向上することができる。
撮像時の撮像情報には、画像処理回路６における画質補正処理を特定する画質補正情報に加えて、シャッター速度、絞り等の光学系の設定の情報が含まれる。したがって編集処理では、ディジタルスチルカメラ１における撮像時の操作に対応する各種の設定を変更して種々に編集処理することができる。
しかしながら、ＲＡＷデータを処理する各種の編集処理では、ノイズリダクションの調整量を可変したり、またシャープネスを調整したりする場合がある。またフォーカスを確認する場合もある。このような場合には、サムネイル画像では処理結果を確認し得ず、撮像結果の細部を詳細に検討することが必要になる。そこでこのＲＡＷデータファイルでは、このように細部の確認のための領域設定用の基準情報として、合焦位置情報、背景位置情報、顔位置情報等が設けられ、これらの情報が撮像時の情報として記録される（第２図）。
したがって、この実施の形態のＲＡＷデータファイルによれば、編集処理時、ＲＡＷデータの画像からユーザの所望する部位を部分的に拡大して表示する場合に、この領域設定用の基準情報に基づいて、この拡大して表示する部位を簡易かつ確実に設定することができ、撮像結果の細部の確認に要する時間を従来に比して短くすることができる。
このように記録媒体９に記録された撮像結果は、この記録媒体９がコンピュータ２１に装着されて（第３図）、ユーザの操作により、サムネイル画像データ、撮像時の撮像情報が順次再生され、このサムネイル画像データが撮像時の撮像情報で画質補正処理されて一覧表示される（第４図）。したがって、ＲＡＷデータファイルの撮像結果がサムネイル画像で一覧表示されることにより、短時間でサムネイル画像が提供され、使い勝手を向上することができる。
このように撮像結果をサムネイル画像により一覧表示する際に、必要に応じて撮像時の撮像情報に代えて、編集処理の撮像情報でサムネイル画像データが画質補正されて表示され、編集処理による画質の変化を反映させてＲＡＷデータの撮像結果をサムネイル画像で一覧表示することができる。
この一覧表示において、撮像結果における輝度分布、色のヒストグラム等の、画像データの解析結果の表示が指示された場合には、サムネイル画像データの処理により表示に供する解析結果が検出され、この解析結果による特性曲線がサムネイル画像と共に表示される。この表示にあっても、この実施の形態では、サムネイル画像データの解析により実行されることにより、短時間で解析結果を取得して表示することができ、従来に比してユーザの使い勝手を向上することができる。このように、情報処理装置は、ユーザの要求に応じて調整時の本画像と同等調整効果を反映したサムネイル画像を高速に提供することができる。
この発明の一実施の形態における画像処理回路６における解像度変換に関係する構成のみを第５図Ａに示す。欠陥補正回路５からの解像度変換前の信号ＳＧ４１が入力端子４１から位相保持解像度変換部４２に供給される。信号ＳＧ４１は、撮像素子３の色配列に対応して各色信号が存在する信号である。
位相保持解像度変換部４２に対しては、端子４３から解像度変換の変換率を指定する制御信号が供給される。指定される変換率は、情報処理装置において必要とする解像度に対応している。最高の解像度が指定される場合には、位相保持解像度変換部４２において、間引きがなされない。撮像素子３の画素数が急速に増加している状況では、常に、最高の解像度が要求されるとは限られないので、ユーザが所望の解像度を指定することが可能とされている。ＲＡＷデータＤＲが制御部２に供給されると共に、デモザイク処理部４４に供給される。デモザイク処理部４４は、撮像素子３の色配列の順序の信号ＳＧ４２をＲＧＢ信号へ変換する。
第５図Ｂに示すように、解像度変換前の原ＲＡＷデータＳＧ４１は、例えば（３８８８×２６０８）画素で撮像素子３の色配列に対応する信号である。位相保持解像度変換部４２の出力信号ＳＧ４２は、例えば（１２８０×９６０）画素で撮像素子３の色配列の信号である。デモザイク処理部４４の出力信号ＳＧ４４は、例えば（１２８０×９６０）画素のＲＧＢ信号である。すなわち、三原色の各色信号がそれぞれ（１２８０×９６０）画素を有する。第５図Ａでは省略しているが、ガンマ補正、ホワイトバランス補正等の画質補正処理がデモザイク処理部４４内で行われる。
デモザイク処理部４４の出力信号ＳＧ４４が細線保持解像度変換部４５に供給される。細線保持解像度変換部４５に対しては、端子４６から解像度変換の変換率を指定する制御信号が供給される。位相保持解像度変換部４２に対する変換率の指定と、細線保持解像度変換部４５に対する変換率の指定との両者によって、最終的に所望の解像度が得られるようになされる。細線保持解像度変換部４５の出力信号ＳＧ４５が出力端子４７に取り出される。出力端子４７に対してエンコーダ７（第１図参照）が接続される。
第５図Ｂに示すように、細線保持解像度変換部４５の出力信号ＳＧ４５は、例えば（６４０×４８０）画素のＲＧＢ信号である。細線保持解像度変換部４５の出力に対してリニアマトリクス演算部が設けられており、エンコーダ７からは、例えば（６４０×４８０）画素のＹＣ信号（例えば（４：２：２）コンポーネント信号）ＳＧ４８が出力される。このＹＣ信号が通常撮像画像として記録媒体９に記録される。この発明では、デモザイク処理部４４の前後に解像度変換部を分けて配置するようになされる。
第５図Ｃに示すように，記録媒体９には、（６４０×４８０）画素のＹＣ信号（コンポーネント信号）ＳＧ４８以外に、色配列の信号ＳＧ４２と、サムネイル画像データＤＴとしての（６４０×４８０）画素の色配列の信号ＳＧ５１と、撮像情報（図示せず）とが記録される。
情報処理装置としてのコンピュータにおいて、上述したような画像データの処理がなされ、信号ＳＧ５１から例えば（３２０×２４０）画素のＲＧＢ信号ＳＧ５３が形成される。このＲＧＢ信号ＳＧ５３は、調整済部分拡大画像（サブウィンドウＭ２、Ｍ３、Ｍ５に表示される）に対応する画像信号である。また、情報処理装置の表示装置に調整済全画像を表示する場合には、信号ＳＧ４２から形成された（６４０×４８０）画素のＲＧＢ信号が使用される。
上述したこの発明の一実施の形態における解像度変換処理についてより詳細に説明する。第６図は、位相保持解像度変換部４２の処理を説明するものである。解像度変換前の信号ＳＧ４１は、例えば緑の画素が市松状（五の目格子）に配列されたベイヤー配列の撮像素子３の色配列を有する信号である。簡単のため、（１８×１８）画素の画像であって、各画素が２値（斜線を付した画素がハイレベルで、斜線を付さない画素がローレベル）を有する画像を例にする。ここでは、概念を表すため２値画像を例にしているが、全てのディジタル信号処理は２値の重ね合わせであり、この概念の延長にあることは明らかである。
位相保持解像度変換部４２は、（１，０，２，０，１）の係数を水平方向および垂直方向のそれぞれに存在する５個の画素の値に乗算し、乗算結果を１／４し、さらに、四捨五入することによって、１／３の間引き処理を行う。その結果、（３８８８×２６０８）画素の信号ＳＧ４１から（１２８０×９６０）画素の色配列の信号ＳＧ４２が得られる。即ち、位相保持解像度変換では、色配列が保持された状態で解像度変換が行なわれる。
デモザイク処理部４４は、位相保持解像度変換部４２の出力信号ＳＧ４２に対して、第７図に示すように，デモザイク処理を行う。デモザイク処理は、自画素と周辺の８画素とを使用した多数決で出力画素を決定する。デモザイク処理後の信号ＳＧ４４は、ＲＧＢ信号である。
第８図は、各画素の値が２値（ハイレベルおよびローレベル）の場合の多数決処理の一例を示す。ステップＳ１において、注目画素（処理の対象画素）の設定、出力色の設定、変数の初期値（ｈ＝０，ｌ＝０）の設定がなされる。
ステップＳ２において、注目画素自身の信号レベルが判定され、ローレベルであれば、ステップＳ３において、（ｌ＝ｌ＋１）とされ、ハイレベルであれば、ステップＳ４において、（ｈ＝ｈ＋１）とされる。
ステップＳ５において、周辺画素の設定がなされ、全ての周辺画素が設定できた場合には、ステップＳ６において、周辺画素の色と出力色とが同色か否かが判定される。同色でない場合には、ステップＳ５に処理が戻る。同色の場合には、ステップＳ７において、周辺画素の信号レベルが判定され、ローレベルであれば、ステップＳ８において、（ｌ＝ｌ＋１）とされ、ハイレベルであれば、ステップＳ９において、（ｈ＝ｈ＋１）とされる。そして、ステップＳ５（周辺画素の設定）に処理が戻る。
ステップＳ５において、注目画素を中心とする（３×３）の領域において、周辺画素が既に８個設定済と判定される場合では、ステップＳ１０において、（ｈ＞ｌ）か否かが判定される。そうでない場合では、注目画素と周辺８画素の内の出力色と同一の色の複数画素との中で、ローレベルの画素がハイレベルの画素より多いことを意味するので、ステップＳ１１において、出力がｌ（ローレベル）とされる。（ｈ＞ｌ）の場合では、注目画素と周辺８画素との合計９画素の中で、ハイレベルの画素がローレベルの画素より多いことを意味するので、ステップＳ１２において、出力がｈ（ローレベル）とされる。
デモザイク処理によって、撮像素子３の色配列の信号がＲＧＢ信号に変換される。デモザイク処理部４４からのＲＧＢ信号ＳＧ４４が細線保持解像度変換部４５に供給され、第９図に示すような細線保持解像度変換処理がなされる。
第９図は、１／２の解像度変換を行う例であり、パターン認識によって解像度変換がなされる。第９図中の予めパターン認識することによって細線が消失しないように値が設定されたテーブルは、入力２画素および周辺２画素のパターンに応じて出力の１画素の値が決定されることを示している。４ビットのデータの内の第２番目および第３番目の各ビットが入力画素に対応している。
テーブルにしたがって細線保持解像度変換を行うと、１／２に解像度が低下されたＲＧＢ信号ＳＧ４５が得られる。パターン認識による解像度変換によって、変換後の画像において細線が消えないようにできる。さらに、ＲＧＢ信号ＳＧ４５がＹＣ信号（簡単のためＹ信号のみを示す。）ＳＧ４８に変換される。
細線保持解像度変換部４５の解像度変換処理についてＲ信号を例にして第１０図および第１１図を参照してより詳細に説明する。第１０図に示すように、デモザイク処理後のＲ信号ＳＧ４４ａが注目画素の（２×２）画素毎に分解された信号ＳＧ４４ｂが形成される。注目画素の領域の周辺に周辺画素が位置する。例えば水平方向に４画素（Ｒ１０，Ｒ１１，Ｒ１２，Ｒ１３）が配列され、画素Ｒ１０およびＲ１３が周辺画素であり、画素Ｒ１１およびＲ１２が注目画素である。これらの４画素の値は、（０００１）である。注目画素Ｒ１３およびＲ１４が含まれる１列の４画素の値は、（０１００）である。このように注目画素は、オーバーラップなしで２画素ずつが設定される。
これらの水平方向に並んだ４画素（２つの注目画素および２つの周辺画素）の値が第９図に示すテーブルによって出力１画素に変換され、水平方向に１／２の解像度変換がなされた信号ＳＧ４４ｃが形成される。例えば（０００１）が（０）に変換されるので、Ｒ１１およびＲ１２が（０）の値の画素Ｒ１１に変換される。また、（０１００）が（１）に変換されるので、Ｒ１３およびＲ１４が（１）の値の画素Ｒ１３に変換される。
このように、水平方向に解像度が１／２に変換された後に、第１１図に示すように、垂直方向に解像度が１／２に変換される。第１１図において、信号ＳＧ４４ａから上述した処理によって水平方向に解像度が１／２に変換された信号ＳＧ４４ｃが形成される。そして、垂直方向に並んだ４画素（２つの注目画素および２つの周辺画素）の値が第９図に示すテーブルによって出力１画素に変換され、垂直方向に１／２の解像度変換がなされた信号ＳＧ４４ｄが形成される。信号ＳＧ４４ｄは、入力信号ＳＧ４４ａに対して、１／４に解像度が変換されたものである。解像度変換後の信号ＳＧ４４ｄにおいて、入力信号ＳＧ４４ａに存在していた細線が消失せずに保存される。
例えば垂直方向に４画素（Ｒ０１，Ｒ１１，Ｒ２１，Ｒ３１）が配列され、画素Ｒ０１およびＲ３１が周辺画素であり、画素Ｒ１１およびＲ２１が注目画素である。これらの４画素の値は、（００００）である。注目画素Ｒ１３およびＲ２３が含まれる１列の４画素の値は、（１１１１）である。第９図に示すテーブルによって出力１画素に変換される。例えば（００００）が（０）に変換されるので、Ｒ１１およびＲ２１が（０）の値の画素Ｒ１１に変換される。また、（１１１１）が（１）に変換されるので、Ｒ１３およびＲ２３が（１）の値の画素Ｒ１３に変換される。なお、他の色信号（Ｇ信号およびＢ信号）に関しても上述したＲ信号と同様に細線保持解像度変換がなされる。
第１２図は、上述したこの発明の一実施の形態における解像度変換の処理をまとめて示す。第１２図では、撮像素子３の出力信号ＳＧ４１と、信号ＳＧ４１を各色成分に分解した信号ＳＧ４１’とが示されている。各色成分毎に位相保持解像度変換処理がなされ、１／３間引きされた信号ＳＧ４２が得られる。信号ＳＧ４１中の（６×６）の領域が（２×２）の領域へ縮小される。
信号ＳＧ４２に対してデモザイク処理がなされ、ＲＧＢ信号ＳＧ４４が得られる。さらに、パターン認識による細線保持解像度変換処理によって１／２に間引かれた信号ＳＧ４５が得られる。この信号ＳＧ４５は、処理前の信号ＳＧ４１に対して解像度が１／６に減少されたものである。信号ＳＧ４５において、もともと存在していた細線のパターンが解像度変換後においても消失しないで保存される。すなわち、解像度変換による画質の劣化を抑えることができる。
この発明の一実施の形態では、デモザイク処理部４４の前段に位相保持解像度変換部４２を設け、水平および垂直方向で１／３の間引きを行っているので、デモザイク処理時間を１／９に短縮することができる。また、この場合の情報量削減効果もほぼ９倍が見込める。
上述した説明ではまた、位相保持解像度変換の一例として簡単なフィルター処理を挙げたが、バイリニア法やバイキュービック法やランツォシュ法などの既存の位相保持解像度変換手法を適用することができる。また、デモザイクの一例として簡単な多数決処理を挙げたが、ＴｏｔａｌＶａｒｉａｔｉｏｎ法などの既存のデモザイク手法を適用することができる。
さらに、細線保持解像度変換の一例として簡単なパターン認識を挙げたが、日本国特許第３６５４４２０号にあるような既存のエッジ保持を目的としたダウンコンバート手法や日本国特許第３４８３４２６号にあるようなモアレ防止を目的としたウンコンバート手法を適用しても良い。
上述した細線保持解像度変換の説明においては、簡単のため各画素を１ビットとして説明した。各画素が１６ビットの場合にも上述した細線保持解像度変換を同様に適用できる。１６ビットの画素に対して適用される細線保持解像度変換の他の例について、第１３図および第１４図を参照して、説明する。
他の例は、元の画像７１がバイキュービック解像度変換部７２と、パターン認識部７３と、重み付け係数演算部７４に分かれる。バイキュービック解像度変換部７２からのバイキュービック解像度変換後画像（１６ビット）７５と重み係数演算部７４からの重み係数とが重み付け演算部７６に供給される。注目画素の信号レベルでパターン認識の確からしさを評価し、重み付けをしてバイキュービック解像度変換と合成している。
パターン認識部７３では、εフィルタ７７により比較的広範囲の周辺画素と注目画素とを比較し（ステップ７８）、注目画素が比較的高ければ、２値細線保持解像度変換の”１”とし、注目画素が低ければ″０”とし、元画像（１ビット）７９が得られる。
２値化した後は、第１０図および第１１図を参照して説明した処理と同様にパターン認識部８０がパターン認識をする。パターン認識によってパターン認識変換後画像（１ビット）８１が得られる。
このパターン認識の確からしさは、重み係数演算部７４で評価しているが、この重み係数演算部７４の処理を第１４図Ａおよび第１４図Ｂに示す。２値化した画像の全画素において、元画像の対応する画素の信号レベル（縦軸）により、２値化したパターンとしての画素の確からしさ（横軸）を評価している。これをパターン認識に用いる全ての画素において評価し、その総積をパターン全体の確からしさとしている。重み付け演算部７６において、この確からしさを係数としてパターン認識後の２値画像８１に乗じ、これをバイキュービック解像度変換部７２の結果と足し合わせて正規化することにより、細線保持解像度変換後の画像（１６ビット）を得るようにしている。
本願出願人は、使用者の要求に応じて調整時の本画像と同等調整効果を反映したサムネイル画像を高速に提供する手法を先の出願（特願２００６−１６６８５８）において提案している。この出願においては、この発明による処理部の構成のみならず、第１５図Ａに示す構成（参考例）の処理部を使用することを許容している。
この発明の一実施の形態における解像度変換処理は、参考例として示す第１５図Ａの構成に比較して画質の劣化を防止できる。第１５図Ａの構成は、入力端子６１に供給される撮像素子からの信号Ｓ６１をＲＡＷデータ発生回路に供給すると共に、デモザイク処理部６２に供給し、ＲＧＢ信号ＳＧ６２を生成する。ＲＧＢ信号ＳＧ６２が位相保持解像度変換部６３に供給され、約１／６に間引かれ、出力信号ＳＧ６３が得られる。位相保持解像度変換部６３に対して端子６４から解像度を指定する制御信号が供給される。
第１５図Ｂに示すように、解像度変換前の信号ＳＧ６１は、例えば（３８８８×２６０８）画素で撮像素子３の色配列の信号である。デモザイク処理部６２の出力信号ＳＧ６２は、例えば（３８８８×２６０８）画素のＲＧＢ信号である。
第１５図Ｂに示すように、位相保持解像度変換部６３の出力信号ＳＧ６３は、例えば（６４０×４８０）画素のＲＧＢ信号である。エンコーダからは、例えば（６４０×４８０）画素のＹＣ信号（コンポーネント信号）ＳＧ６６が出力される。このＹＣ信号が撮像画像信号である。
第１５図Ｃに示すように，記録媒体には、（６４０×４８０）画素のＹＣ信号（コンポーネント信号）ＳＧ６６以外に、色配列の信号（ＲＡＷデータ）ＳＧ６１と、サムネイル画像データとしての（７７７×５１２）画素の色配列の信号ＳＧ６７と、撮像情報（図示せず）とが記録される。
情報処理装置において、信号ＳＧ６７から例えば（３８８×２６０）画素のＲＧＢ信号ＳＧ６８が形成される。このＲＧＢ信号ＳＧ６８は、調整済部分拡大画像に対応する画像信号である。情報処理装置の表示装置に調整済全画像を表示する場合には、信号ＳＧ６１から形成された（３８８８×２６０８）画素のＲＧＢ信号ＳＧ６２が使用される。
第１６図は、第１５図Ａに示す構成の解像度変換の処理をまとめて示す。第１６図では、撮像素子３の出力信号ＳＧ６１を各色成分に分解した信号ＳＧ６１’が示されている。信号ＳＧ６１に対して各色毎にデモザイク処理がなされ、ＲＧＢ信号ＳＧ６２が得られる。さらに、位相保持解像度変換部６３によって１／６に間引かれた信号ＳＧ６３が得られる。この信号ＳＧ６３は、処理前の信号ＳＧ６１に対して解像度が１／６に減少されたものである。
位相保持解像度変換部６３は、（１，１，２，２，１，１）の係数を水平方向（垂直方向）に存在する所定の色の各画素の値に乗算し、乗算結果を１／８し、さらに、四捨五入することによって、１／６の間引き処理を行う。この１／６間引きによって、信号ＳＧ６３は、信号ＳＧ６２において存在していた細線が消滅し、解像度の劣化が大きい画像となる。上述したこの発明の一実施の形態における出力信号ＳＧ４５を第１６図に比較のために示す。この信号ＳＧ４５には、細線のパターンが解像度変換後においても消失しないで保存される。
また、第１５図Ａに示す構成では、デモザイク処理および位相保持解像度変換処理が撮像素子の画素数を有する信号に対してなされるので、この発明の一実施の形態の処理に比べて、処理時間がかかり、連写速度性能が劣る問題がある。また、記録媒体に記録される信号の情報量も大きいため、記録／再生の処理、情報処理装置における処理に時間がかかる問題が生じる。この発明は、これらの問題を生じない利点がある。
第１５図Ａの構成において、位相保持解像度変換部６３の代わりに細線保持解像度変換部を設けることは可能である。しかしながら、画素数が非常に多い画像に対して細線保持解像度変換をかけると、パターン認識などの処理量が莫大になり処理時間がかかり、細線も必要以上に大きな細線が残るため、連写性能や画質などが劣る問題がある。そのため、細線保持解像度変換部を設けることによる利点が少ない。
上述したこの発明の信号処理は、第１７図に示すように、撮像素子５１からの撮像信号が供給される撮像装置の信号処理部５２および情報処理装置（コンピュータ）５３の両方または一方において行われる。信号処理部５２の位相保持解像度変換部４２に対して撮像信号が入力される。位相保持解像度変換部４２の出力信号がデモザイク処理部４４Ａおよび４４Ｂに入力される。
撮像装置においては、デモザイク処理部４４Ａおよび細線保持解像度変換部４５Ａによって処理された間引き後のデータがエンコーダ５４に供給され、圧縮符号化例えばＪＰＥＧの処理を受けて出力される。情報処理装置の信号処理部５３においては、位相保持解像度変換部４２によって間引かれたデータがデモザイク処理部４４Ｂおよび細線保持解像度変換部４５Ｂによって処理される。
以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば上述した一実施の形態においては、ディジタルスチルカメラで取得した撮像結果を記録媒体に出力してコンピュータで処理する場合について述べたが、これに限らず、無線通信等のデータ通信を用いてコンピュータに出力して処理する場合等にもこの発明を適用することができる。また、撮像素子の色配列は、Ｇが市松状に配置された例について述べたが、他の色配列の撮像素子を使用しても良い。
また、上述した一実施の形態においては、ディジタルスチルカメラで撮像結果を取得する場合について述べたが、これに限らず、ビデオカメラ、カメラ付き携帯電話等で静止画による撮像結果を取得する場合等にもこの発明を適用することができる。さらに、上述した一実施の形態においては、コンピュータで撮像結果を処理する場合について述べたが、これに限らず、専用の処理装置で撮像結果を処理する場合にもこの発明を適用することができる。
【図１】
2008150017.tif 000003
【図２】
2008150017.tif 000004
【図３】
2008150017.tif 000005
【図４】
2008150017.tif 000006
【図５Ａ】
2008150017.tif 000007
【図５Ｂ】
2008150017.tif 000008
【図５Ｃ】
2008150017.tif 000009
【図６】
2008150017.tif 000010
【図７】
2008150017.tif 000011
【図８】
2008150017.tif 000012
【図９】
2008150017.tif 000013
【図１０】
2008150017.tif 000014
【図１１】
2008150017.tif 000015
【図１２】
2008150017.tif 000016
【図１３】
2008150017.tif 000017
【図１４Ａ】
2008150017.tif 000018
【図１４Ｂ】
2008150017.tif 000019
【図１５Ａ】
2008150017.tif 000020
【図１５Ｂ】
2008150017.tif 000021
【図１５Ｃ】
2008150017.tif 000022
【図１６】
2008150017.tif 000023
【図１７】
2008150017.tif 000024
【国際調査報告】
2008150017.tif 000025
2008150017.tif 000026