(57)【要約】【課題】外部機器からデジタルカメラ装置内部の画像加工処理をユーザが定義して信号処理回路を再構成することで、ユーザの好みに合った高画質な撮影モードを反映させることができるデジタルカメラ装置を提供する。【解決手段】イメージセンサー１００からの画素信号に対して前処理を施して生の画素データを生成する前処理ブロック１１８と、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する画像加工処理ブロック１１９と、外部から情報入力手段１１７を介して得られた処理内容に関する情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段１１６とが設けられ、画像加工処理部ブロックは、デコード手段によるデコード結果に基づいて処理内容に応じた画像加工処理の再構成を行う。【選択図】  図１
2004328072.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、
前記撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、前記画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、
外部から与えられる処理内容に関する情報を入力するための情報入力手段と、
前記情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、
前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、前記処理内容に応じた前記画像加工処理の再構成を行うことを特徴とするデジタルカメラ装置。
【請求項２】
前記信号処理手段は、前記デコード手段によるデコード結果に応じて、複数の単位演算回路から構成された演算回路の接続関係を変更して、前記画像加工処理の再構成を行うことを特徴とする請求項１記載のデジタルカメラ装置。
【請求項３】
前記信号処理手段は、プログラム化が可能な演算回路から構成され、前記デコード手段によって生成されたプログラムに従って演算処理を実行して、前記画像加工処理の再構成を行うことを特徴する請求項１記載のデジタルカメラ装置。
【請求項４】
前記処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、前記デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることを特徴とする請求項１記載のデジタルカメラ装置。
【請求項５】
前記着脱可能な半導体記憶媒体に格納されている前記撮影条件に関する情報がユーザにより選択された場合、前記デコード手段は、前記着脱可能な半導体記憶媒体から読み出された前記処理内容に関する情報をデコードし、前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、前記処理内容に応じた前記画像加工処理の再構成を行うことを特徴とする請求項４記載のデジタルカメラ装置。
【請求項６】
デジタルカメラ装置と、前記デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、
前記デジタルカメラ装置は、
撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、
前記撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、前記画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、
前記信号処理手段からの前記色画像データを表示画像として出力する表示出力手段と、
外部から与えられる処理内容に関する情報を入力するための情報入力手段と、
前記情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、
前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、前記処理内容に応じた前記画像加工処理の再構成を行い、
前記外部機器は、
前記デジタルカメラ装置の前記表示出力手段により出力される表示画像に基づいて、前記処理内容を決定する処理内容決定手段と、
前記処理内容決定手段により決定された前記処理内容に関する情報を前記デジタルカメラ装置の前記入力手段に送信する情報出力手段とを備えたことを特徴とするデジタルカメラシステム。
【請求項７】
デジタルカメラ装置と、前記デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、
前記デジタルカメラ装置は、
撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、
前記撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、前記画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、
前記信号処理手段からの前記生の画素データまたは前記色画像データを出力するデータ出力手段と、
外部から与えられる処理内容に関する情報を入力するための情報入力手段と、
前記情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、
前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、前記処理内容に応じた前記画像加工処理の再構成を行い、
前記外部機器は、
前記デジタルカメラ装置の前記データ出力手段から与えられた前記生の画素データまたは前記色画像データに基づいて、前記処理内容を決定する処理内容決定手段と、
前記処理内容決定手段により決定された前記処理内容に関する情報を前記デジタルカメラ装置の前記入力手段に送信する情報出力手段とを備えたことを特徴とするデジタルカメラシステム。
【請求項８】
前記外部機器の前記処理内容決定手段は、前記生の画素データまたは前記色画像データに対してユーザにより色生成処理および色調整処理が施されて得られた色画像データに対する処理内容に関する情報を生成することを特徴とする請求項７記載のデジタルカメラシステム。
【請求項９】
前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、複数の単位演算回路から構成された演算回路の接続関係を変更して、前記画像加工処理の再構成を行うことを特徴とする請求項６または７記載のデジタルカメラシステム。
【請求項１０】
前記信号処理手段は、プログラム化が可能な演算回路から構成され、前記デコード手段によって生成されたプログラムに従って演算処理を実行して、前記画像加工処理の再構成を行うことを特徴する請求項６または７記載のデジタルカメラシステム。
【請求項１１】
前記処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、前記デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることを特徴とする請求項６または７記載のデジタルカメラシステム。
【請求項１２】
前記着脱可能な半導体記憶媒体に格納されている前記撮影条件に関する情報がユーザにより選択された場合、前記デコード手段は、前記着脱可能な半導体記憶媒体から読み出された前記処理内容に関する情報をデコードし、前記信号処理手段は、前記デコード手段によるデコード結果に基づいて、前記処理内容に応じた前記画像加工処理の再構成を行うことを特徴とする請求項１１記載のデジタルカメラシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ装置に関し、特に、ユーザが、デジタルカメラ装置に接続されたパーソナルコンピュータ（ＰＣ）等の外部機器、またはデジタルカメラ装置に装着されたメモリーカード等の着脱可能な半導体記憶媒体によって、デジタルカメラにおける画像加工処理を定義して信号処理回路を再構成でき、ユーザの好みに合った画像加工処理性能および機能を実現できるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムに関する。
【０００２】
【従来の技術】
近年のデジタルカメラ装置は、多画素化や高性能化に伴い、イメージセンサーの改良と、そこから出力される画素信号を処理する信号処理方法も年々改良されている。一般に、信号処理のアルゴリズムや画像フィルタ処理等を変更することで、生成される画像の画質や色あい等を大きく変えることができる。
【０００３】
また、パーソナルコンピュータ（以下、ＰＣと略称する）の普及に伴い、デジタルカメラ装置で撮影し前処理のみが施されたＲＡＷデータフォーマットの画素データを、シリアルデジタルデータとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）で接続されたＰＣへと取り込み、ＰＣに既にインストールされている市販の画像加工ソフトウェアを用いて、取り込んだ画素データをＰＣ上でディスプレイにより確認しながら画像加工処理して、色画像データを生成するユーザも増えてきている。
【０００４】
ユーザは、撮影した画素データをＰＣ上で画像加工処理することにより、多少ユーザの意図する状態で撮影ができなかったとしても、後でユーザの好みに合うように、画素データをある程度修正することが可能となっている。
【０００５】
なお、ここで「前処理」とは、イメージセンサーからの画素信号を生の画素データとして、例えばＵＳＢポートから外部機器に出力できるまでに最低限必要な処理を指し、例えば、相関二重サンプリング（ＣＤＳ）、自動ゲイン制御（ＡＧＣ）、Ａ／Ｄ変換（ＡＤＣ）、黒レベルの固定（クランプ）、イメージセンサーの欠陥画素を補正する傷補正、γ補正、ホワイトバランス調整等の処理がある。また、「画像加工処理」とは、上記のような前処理が施された生の画素データに対して、色生成や色調整等の画像加工を施すための処理を指し、例えば色補間、アパーチャ補正、ズーム、圧縮／伸長等の処理がある。
【０００６】
【特許文献１】
特開２００１−２６８４１７号公報
【０００７】
【発明が解決しようとする課題】
このように、ＰＣとデジタルカメラ装置とを接続することにより、機能面や加工面での柔軟性が大きく向上する。しかしながら、従来の構成では、デジタルカメラ自体において、あらかじめユーザの好みに合った画像加工処理を定義して信号処理回路を再構成することはできない。
【０００８】
一方、特許文献１では、ＰＣを使ってデジタルカメラ装置が有するアプリケーションプログラムをユーザがカスタマイズできる機能を備えたデジタルカメラ装置が提案されている。この機能拡張は、デジタルカメラ装置内にあるアプリケーションプログラムを、カスタマイズリスト使って、その組み合わせや処理手順等を定義して、ユーザカスタマイズ機能を提供するものである。具体的には、このユーザカスタマイズ機能は、あらかじめデジタルカメラ装置内に定義または構成された処理について、撮影して内部メモリまたはＰＣカードに蓄積された画像や音声に対して、表示部に表示する画像の選択、その表示時間の設定、選択画像の効果音の選択といった自動化の手順を定義するものである。
【０００９】
しかしながら、やはり、特許文献１に記載のユーザカスタマイズ機能は、ユーザの好みに合った画像加工処理をカメラ本体に対して定義して信号処理回路を再構成できるものでない。
【００１０】
本発明は、かかる問題点に鑑みてなされたものであり、その目的は、外部機器からデジタルカメラ装置内部の画像加工処理をユーザが定義して信号処理回路を再構成することで、ユーザの好みに合った高画質な撮影モードを反映させることができるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムを提供することにある。
【００１１】
【課題を解決するための手段】
前記の目的を達成するため、本発明に係るデジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことを特徴とする。
【００１２】
本発明に係るデジタルカメラ装置において、信号処理手段は、デコード手段によるデコード結果に応じて、複数の単位演算回路から構成された演算回路の接続関係を変更して、画像加工処理の再構成を行う。
【００１３】
または、本発明に係るデジタルカメラ装置において、信号処理手段は、プログラム化が可能な演算回路から構成され、デコード手段によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う。
【００１４】
また、本発明に係るデジタルカメラ装置において、処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることが好ましい。
【００１５】
この場合、着脱可能な半導体記憶媒体に格納されている撮影条件に関する情報がユーザにより選択された場合、デコード手段は、着脱可能な半導体記憶媒体から読み出された処理内容に関する情報をデコードし、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことが好ましい。
【００１６】
前記の目的を達成するため、本発明に係る第１のデジタルカメラシステムは、デジタルカメラ装置と、デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、デジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、信号処理手段からの色画像データを表示画像として出力する表示出力手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行い、外部機器は、デジタルカメラ装置の表示出力手段により出力される表示画像に基づいて、処理内容を決定する処理内容決定手段と、処理内容決定手段により決定された処理内容に関する情報をデジタルカメラ装置の入力手段に送信する情報出力手段とを備えたことを特徴とする。
【００１７】
前記の目的を達成するため、本発明に係る第２のデジタルカメラシステムは、デジタルカメラ装置と、デジタルカメラ装置に接続された外部機器からなるデジタルカメラシステムであって、デジタルカメラ装置は、撮影対象からの光信号を電気信号に変換し画素信号として出力する撮像素子と、撮像素子からの画素信号に対して前処理を施して生の画素データを生成すると共に、画素データに対して色生成処理および色調整処理を含む画像加工処理を施して色画像データを生成する信号処理手段と、信号処理手段からの生の画素データまたは色画像データを出力するデータ出力手段と、外部から与えられる処理内容に関する情報を入力するための情報入力手段と、情報入力手段から得られた情報を演算回路構成の接続情報または演算プログラム情報に変換するデコード手段とを備え、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行い、外部機器は、デジタルカメラ装置のデータ出力手段から与えられた生の画素データまたは色画像データに基づいて、処理内容を決定する処理内容決定手段と、処理内容決定手段により決定された処理内容に関する情報をデジタルカメラ装置の入力手段に送信する情報出力手段とを備えたことを特徴とする。
【００１８】
第２のデジタルカメラシステムにおいて、外部機器の処理内容決定手段は、生の画素データまたは色画像データに対してユーザにより色生成処理および色調整処理が施されて得られた色画像データに対する処理内容に関する情報を生成する。
【００１９】
第１および第２のデジタルカメラシステムにおいて、信号処理手段は、デコード手段によるデコード結果に基づいて、複数の単位演算回路から構成された演算回路の接続関係を変更して、画像加工処理の再構成を行う。
【００２０】
または、第１および第２のデジタルカメラシステムにおいて、信号処理手段は、プログラム化が可能な演算回路から構成され、デコード手段によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う。
【００２１】
また、第１および第２のデジタルカメラシステムにおいて、処理内容に関する情報は、対応する色画像データが得られる前の撮影条件に関する情報と共に、デジタルカメラ装置に装着された着脱可能な半導体記憶媒体に格納されることが好ましい。
【００２２】
この場合、着脱可能な半導体記憶媒体に格納されている撮影条件に関する情報がユーザにより選択された場合、デコード手段は、着脱可能な半導体記憶媒体から読み出された処理内容に関する情報をデコードし、信号処理手段は、デコード手段によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行うことが好ましい。
【００２３】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態では、デジタルカメラ装置として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した静止画データの出力および記録が可能なデジタルスチルカメラ（以下、ＤＳＣと略称する）を例に挙げて説明するが、本発明はこれに限定されず、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した動画データの出力および記録機能を有していてもよい。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図である。
【００２５】
図１において、撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー１００により、撮影対象からの光信号を変換して得られた電気信号（画素信号）は、まずＣＤＳ／ＡＧＣ回路１０１において、相関二重サンプリング（ＣＤＳ）処理により暗電流やリセットノイズの影響が除去され、自動ゲイン制御（ＡＧＣ）処理により所定の振幅レベルまで増幅されて、ＡＤ変換器（ＡＤＣ）１０２において、例えば１０〜１４ビットのデジタル信号に変換される。
【００２６】
ここで、イメージセンサー１００を用いてカラー映像を撮像する方式には、イメージセンサー１個でカラー情報を得る単板式と、３個のイメージセンサーを用いてカラー情報を得る３板式に大別できる。通常、単板式では、イメージセンサーの表面上に１画素毎に１色の色フィルターを構成することで、カラー情報が得られる。この色フィルターのパターン配列については様々なものが提唱されているが、静止画中心のデジタルスチルカメラにおいては、ＲＧＢ（赤・緑・青）からなる原色のベイヤ配列構造の色フィルタを有するものが多い。
【００２７】
ＡＤ変換器１０２から出力された画素データは、データの基準となる黒レベルを固定するためにクランプ回路１０３においてクランプされ、センサーモジュールに存在する欠陥画素部分の補正をおこなう傷補正回路１０４、γ特性を補正するγ補正回路１０５、およびＲＧＢの出力感度を補正することにより白レベルの色合いを補正するホワイトバランス回路１０６を経て、ユーザによって撮影前に行われていた外部出力モードの設定に応じて、データ出力手段１０７と色補間処理回路１０９とに送られる。ここで、ＣＤＳ／ＡＧＣ回路１０１、ＡＤＣ１０２、クランプ回路１０３、傷補正回路１０４、γ補正回路１０５、およびホワイトバランス回路から前処理ブロック１１８が構成される。
【００２８】
前述したように、単板式のイメージセンサーを用いた方式では、１画素あたりに１色しか色情報が得られない。そのため、前処理ブロック１１８では、１画素あたりに１色しか色情報がない状態（以下、ＲＡＷフォーマットと呼ぶ）で画素データを扱う。
【００２９】
前処理ブロック１１８における処理を終えたＲＡＷフォーマットの画素データは、データ出力手段１０７である半導体メモリインタフェース回路に出力できるようになっており、ユーザが外部出力するモードを設定している場合は、ＲＡＷフォーマットで外部に出力することができる。一方、ユーザがＲＡＷフォーマットで外部出力をしないモードを設定している場合は、ＲＡＷフォーマットの画素データは、次いで色補間処理回路１０９による処理を受ける。
【００３０】
図２Ａ、図２Ｂ、および図２Ｃは、それぞれ、図１の色補間処理回路１０９による処理を説明するための、色フィルタ構造の一例を示す模式図、周辺４画素の緑（Ｇ）成分から注目画素のＧ成分を補間する例を示す模式図、および周辺４画素の赤（Ｒ）成分から注目画素のＲ成分を補間する例を示す模式図である。
【００３１】
色補間処理回路１０９では、１画素あたり１色しか存在しなかった情報から１画素あたり３色の色情報が得られるように、不足する２色分の色情報を周辺４画素から補間処理する。
【００３２】
図２Ａにおいて、２０１はＲ（赤）、Ｇ（緑）、Ｂ（青）から構成された色フィルタ構造の一例を示している。図２Ｂは、色フィルタ構造２０１中のあるＢ画素に注目したＧの補間例２０２を示し、Ｇの補間例２０２は、Ｂ画素位置でのＧ画素情報を、周辺４画素Ｇ１〜Ｇ４によって算出する例であり、具体的には、以下の式（１）で表される演算を施して算出される。
【００３３】
Ｇ＝（１／４）Ｇ１＋（１／４）Ｇ２＋（１／４）Ｇ３＋（１／４）Ｇ４…（１）
また、図２Ｃは、色フィルタ構造２０１中のあるＢ画素に注目したＲの補間例２０３を示し、Ｒの補間例２０３は、Ｂ画素位置でのＲ画素情報を、周辺４画素Ｒ１〜Ｒ４によって算出する例であり、具体的には、以下の式（２）で表される演算を施して算出される。
【００３４】
Ｒ＝（１／４）Ｒ１＋（１／４）Ｒ２＋（１／４）Ｒ３＋（１／４）Ｒ４…（２）
このように、色補間処理回路１０９においては、周辺画素から注目画素の色情報を補間処理して、ＲＡＷデータフォーマットの画素データを、以降１画素あたりＲＧＢ３画素（ＲＧＢ４４４）のデータに変換する。その後、ＲＧＢ４４４フォーマットに変換されたデータは、以下の変換式（３）によって、輝度信号Ｙと色差信号ＵＶからなるＹＵＶデータに変換される。
【００３５】
2004328072.tif 000003
また、必要に応じて、ＹＵＶデータは、色差信号ＵＶについて垂直方向に間引きしたＹＵＶ４２２フォーマットあるいはＹＵＶ４２０フォーマットに変換される。
【００３６】
なお、色補間処理については、説明の都合上、単純な補間方法で説明したが、色フィルタの配列構成やハードウェア規模によっては様々な方法が考えられ、本発明は上記の色補間方法に限定されるものではない。
【００３７】
再び図１に戻って、アパーチャ補正回路１１０では、輝度信号Ｙに対して、その輪郭部分を強調して画像の鮮明感を向上させるためにアパーチャフィルタ処理が施される。アパーチャフィルタ処理は、図３に示す３×３の２次元フィルタを用いて行われる。図３において、注目画素ａ０を含む周辺８画素ａ１〜ａ８に対して、以下の式（４）で表される２次元のフィルタ演算が施され、注目画素ａ０にアパーチャフィルタ処理が施される。
【００３８】
ａ０＝（−１×ａ１）＋（−２×ａ２）＋（−２×ａ３）＋（２×ａ４）＋（４×ａ０）＋（２×ａ５）＋（−１×ａ６）＋（−２×ａ７）＋（−２×ａ８）                              …（４）
しかし、図３に示す３×３の２次元フィルタをそのまま適用すると、同時にノイズ成分も強調されてしまうため、不感帯域を設定してその部分についてはアパーチャフィルタ処理を適用しないようにするコアリング処理が施される。なお、アパーチャ補正回路１１０におけるフィルタ演算処理については、係数やフィルタ段数が異なるだけであるため、回路自体は色補間処理回路１０９と共用化可能である。
【００３９】
ズーム回路１１１では、イメージセンサー１００から得られた色画像データが、記録する画像サイズと表示出力する画像サイズに変換される。この際、単純に画素を間引いたり、補間したりする方法では、画像に折り返し歪みが発生することが知られており、色画像データに対してローパスフィルタ（ＬＰＦ）処理を施してから画素を補間または間引きする。ＬＰＦ処理は、図３で示したような２次元フィルタや１次元的なフィルタ演算によって行うため、係数やフィルタ段数が異なるだけで、回路自体は色補間処理回路１０９と共用化可能である。
【００４０】
圧縮／伸張回路１１２は、ＪＰＥＧ規格とＭＰＥＧ規格に対応した離散コサイン変換（ＤＣＴ）ベースによる圧縮および伸張を行う回路で、静止画の場合はＪＰＥＧ形式、動画の場合はＭＰＥＧ形式で圧縮および伸張を行う。
【００４１】
ズーム回路１１１において表示用サイズにリサイズされた色画像データは、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）回路１１３において、ＤＳＣ内部の情報や撮影時の情報と重ね合わせられ、表示出力手段である表示出力インタフェース（ＩＦ）１１４を経由して、表示出力手段である液晶ディスプレイ１１５に出力される。
【００４２】
一方、圧縮／伸張回路１１２に送られた色画像データは、圧縮処理が施された後、データ出力手段１０７を経由して、着脱可能な半導体記憶媒体である半導体メモリカード１０８に送られて記録される。
【００４３】
ここで、色補間処理回路１０９、アパーチャ補正回路１１０、ズーム回路１１１、および圧縮／伸長回路１１２から画像加工処理ブロック１１９が構成され、前述の前処理ブロック１１８と共に、信号処理手段を構成する。
【００４４】
以上が、撮影時における各回路の構成と動作である。
【００４５】
画像加工処理ブロック１１９は、色補間処理回路１０９、アパーチャ補正回路１１０、ズーム回路１１１、および圧縮／伸張回路１１２から構成されるが、圧縮／伸張回路１１２を除いては、前述したように、主な処理はフィルタ演算処理であるため、各処理回路で同じ回路が適用可能となる。
【００４６】
図４は、画像加工処理ブロック１１９で共用される単位演算回路４０１の内部構成例を示すブロック図である。図４において、入力レジスタ（ＩＮ  ＲＥＧ）４０３と出力レジスタ（ＯＵＴ  ＲＥＧ）４０５は、選択的に接続可能な複数の配線資源４０７、シフター４０２、および加減算器４０４と結線されている。乗算処理は、乗算する値に制限をかけることによりシフター４０２で代用する。配線資源４０７の選択にあたっては、後述するデコード手段１１６からの接続情報が、入力レジスタ４０３および出力レジスタ４０５に送られるようになっている。この単位演算回路４０１により、フィルタ演算処理に必要となる積和演算が実現できる。なお、本実施の形態では、乗算器の代わりにシフター４０２と加減算器４０４とで構成されるシフト演算器を使用したが、当然のことながら乗算器であってもよい。
【００４７】
図５は、図４の単位演算回路４０１を複数結合して構成された２次元フィルタ５０１のブロック図である。このように、画像加工処理ブロック１１９を、単位演算回路４０１と、選択的に接続可能な複数の配線資源４０７とによって構成することで、再構成が可能な信号処理回路を実現する。
【００４８】
再び図１に戻って、デコード手段１０６は、ＣＰＵと内部メモリから構成される。外部から情報入力手段１１７を介して得られた、ユーザによる画像加工の処理内容に関する情報は、デコード手段１０６の内部メモリ上に置かれ、ＣＰＵにより必要に応じてアクセスし処理される。処理内容に関する情報は、フィルタの構成、係数、信号の流れを定義または指定するものであり、デコード手段１０６のＣＰＵが、それらの情報に基づいて、単位演算回路４０１に処理を割り当て、また接続関係を決定する。ＣＰＵは、フィルタの構成情報から単位演算回路４０１の接続情報を判定し、フィルタの係数については単位演算回路４０１内のシフター４０２のシフト量として与える。
【００４９】
図６は、ＤＳＣ６０１と、ＤＳＣ６０１に接続された外部機器であるＰＣ６０２とからなるデジタルカメラシステムの概略ブロック図である。図６において、本デジタルカメラシステムは、２つの画像加工モードを有する。
【００５０】
まず、第１の画像加工モードについて説明する。第１の画像加工モードでは、ＤＳＣ６０１で撮影したデータは、前処理ブロック１１８において処理された後ＲＡＷデータフォーマットの画素データまたは画像加工処理ブロック１１９において処理された後の色画像データとして、ＤＳＣ６０１のデータ出力手段１０７（図１参照）を介してＰＣ６０２に送られる。ここで、ＰＣ６０２への画素データの転送は、データ出力手段１０７を介して画素データが格納された半導体メモリカード１０８をＤＳＣ６０１から抜き取り、ＰＣ６０２のメモリカードアダプタに挿入してオフラインで行われるか、またはＤＳＣ６０１のデータ出力手段１０７をＵＳＢポートとし、これがＰＣ６０１のＵＳＢポートと接続されて、シリアルデジタルデータ転送によりオンラインで行われる。
【００５１】
ＰＣ６０２に送られた画素データまたは色画像データは、処理内容決定手段６０２１に入力され、そこで、ＰＣ６０２に接続されたモニタ６０３上のフィルタ構成の設定画面６０３１を介してユーザにより設定された、フィルタの段数、フィルタの係数、および信号の流れを含むフィルタ構成情報として、画像加工の処理内容に関する情報が生成され、情報出力手段６０２３を介してＤＳＣ６０１の情報入力手段１１７（図１参照）に送られる。ここで、ＰＣ６０２の情報出力手段６０２２とＤＳＣ６０１の情報入力手段１１７は、ＵＳＢポートとして構成され、ユーザは、モニタ６０３上のフィルタ構成の設定画面６０３１により設定したフィルタの特性を表示する画面６０３２や、画素データに対してフィルタ処理が施された色画像データを表示する画面６０３３を見ながら、ユーザの好みに合った画質や色合いを有する画像をオフラインで生成する。
【００５２】
次に、第２の画像加工モードについて説明する。第２の画像加工モードでは、ユーザは、ＰＣ６０２上で画像を生成するのではなく、画素データに適用するフィルタの構成、フィルタの係数、信号の流れの設定のみを行い、これを処理内容に関する情報として、情報出力手段６０２２からＤＳＣ６０１の情報入力手段１１７に送り、ＤＳＣ６０１における表示出力手段である液晶ディスプレイ１１５を見ながら、ユーザの好みに合った画質や色合いを有する画像を生成する。
【００５３】
図７Ａは、ＰＣ６０２がＤＳＣ６０１に与える処理内容に関する情報として、フィルタの段数、フィルタの係数、信号の流れというフィルタ構成情報の内容例を示す図である。図７Ａに示すフィルタ構成情報の例では、色補間処理回路１０９のフィルタが選択され、フィルタタップ数を５に、フィルタ係数＃１を−２に、フィルタ係数＃２を４に、フィルタ係数＃Ｎを２に設定し、データ入力元がホワイトバランス回路１０６の出力であり、データ出力先がアパーチャ補正回路１１０である場合を表している。
【００５４】
図７Ｂは、ＤＳＣ６０１のデコード手段１１６によって、図７Ａのフィルタ構成情報から変換された単位演算器４０１の接続情報の内容例を示す図である。図７Ｂに示す単位演算器４０１の接続情報の例では、単位演算器番号＃１の単位演算器に対して、演算係数が５に設定され、一方の入力接続バスとしてバス＃２３が、他方の入力接続バスとしてバス＃２４が、出力接続バスとしてバス＃２２が選択され、バスのビット数は８ビットで、単位演算器＃１に単位演算器＃３４と＃４５３が接続され、対象とする演算回路が色補間処理回路１０９の演算回路である場合を表し、その他、作成日や、作成元のバージョン情報も含まれる。
【００５５】
図８は、図７Ｂに示す単位演算器４０１の接続情報に基づいて構成された単位演算器＃１のバス接続例を示すブロック図である。なお、図８において、図４にと同じ構成を有する部分については、同一の符号を付している。図８の実線で示すように、単位演算器＃１に対して、一方の入力接続バスとしてバス＃２３が、他方の入力接続バスとしてバス＃２４が、出力選択バスとしてバス＃２２が選択されている。
【００５６】
なお、上記では、ＰＣ６０２がＤＳＣ６０１に処理内容に関する情報として、フィルタの段数、フィルタの係数、信号の流れというフィルタ構成情報を与える場合について説明したが、処理内容に関する情報は、図７Ｂに示す単位演算回路４０１の接続情報であってもよい。この場合、ＤＳＣ６０１内のデコード手段１１６はデコードを行わず、画像加工処理ブロック１１９内の各回路を構成する複数の単位演算回路４０１を直接再構成する。
【００５７】
なお、本実施の形態では、ＤＳＣ６０１からＰＣ６０２へのＲＡＷデータフォーマットの画素データの転送を、半導体メモリカード１０８を用いてオフラインで行うか、またはＵＳＢポートの接続によりオンラインで行うか、また、ＰＣ６０２からＤＳＣ６０１への処理内容に関する情報の転送をＵＳＢポートの接続により行う場合について説明したが、本発明はこれに限定されず、他の接続形態をとることもできる。
【００５８】
（実施の形態２）
実施の形態１では、画像加工処理ブロック１１９内の各演算回路を、複数の単位演算器の接続関係を変更することで、デジタルフィルタを再構成したが、本発明の実施の形態２として、少なくとも画像加工処理ブロックを、プログラム化が可能なデジタル信号プロセッサ（以下、ＤＳＰと略称する）９１９で構成した場合について説明する。
【００５９】
図９は、本発明の実施の形態２に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図である。なお、図９において、図１に示す実施の形態１と同じ構成および機能を有する部分については、同一の符号を付して説明を省略する。本実施の形態が、実施の形態２と異なるのは、画像加工処理ブロックをプログラム化が可能なＤＳＰ９１９で構成した点と、デコード手段１１６が、ＰＣ６０２（図６参照）から与えられる処理内容に関する情報を演算プログラム情報に変換し、ＤＳＰ９１９が、デコード手段１１６によって生成されたプログラムに従って演算処理を実行して、画像加工処理の再構成を行う点にある。
【００６０】
（実施の形態３）
本発明の実施の形態３は、実施の形態１および２に適用され、ＰＣ６０２から与えられる処理内容に関する情報を、ユーザの好みに合った画像が得られる前の撮影条件に関する情報と共に、ＤＳＣ６０１に装着された半導体メモリカード１０８に格納する場合について説明する。
【００６１】
ここで、撮影条件には、例えば、色温度、シャッター速度、絞り、フラッシュの有り無し等が含まれ、ユーザは、半導体メモリカード１０８に格納されているこれらの撮影条件に関する情報、例えば、ユーザにより撮影条件を暗示する名前が付けられた「昼の桜」、「夜桜」、「野球観戦」、「運動会」等のうちいずれかを液晶ディスプレイ１１５上で選択すると、デコード手段１１６は、半導体メモリカード１０８から読み出された処理内容に関する情報をデコードし、画像加工処理ブロック１１９（図１参照）またはＤＳＰ９１９（図９参照）は、デコード手段１１６によるデコード結果に基づいて、処理内容に応じた画像加工処理の再構成を行う。
【００６２】
これにより、ユーザが撮影条件に関する情報を単に選択するだけで、一度行った画像加工処理の再構成が即座にでき、通常カメラに備えている簡易な撮影モード設定よりも高精度の画像加工が可能となる。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、外部機器からデジタルカメラ装置内部の画像加工処理をユーザが定義して信号処理回路を再構成することで、ユーザの好みに合った高画質な撮影モードを反映させることができるデジタルカメラ装置、およびかかるデジタルカメラ装置を用いたデジタルカメラシステムを実現することが可能になる、という格別な効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図
【図２Ａ】図１の色補間処理回路１０９による処理を説明するための、色フィルタ構造の一例を示す模式図
【図２Ｂ】図１の色補間処理回路１０９による処理を説明するための、周辺４画素の緑（Ｇ）成分から注目画素のＧ成分を補間する例を示す模式図
【図２Ｃ】図１の色補間処理回路１０９による処理を説明するための、周辺４画素の赤（Ｒ）成分から注目画素のＲ成分を補間する例を示す模式図
【図３】図１のアパーチャ補正回路１１０に用いられる３×３の２次元フィルタによる画素演算処理を示す模式図
【図４】図１の画像加工処理ブロック１１９で共用される単位演算回路４０１の内部構成例を示すブロック図
【図５】図４の単位演算回路４０１を複数結合して構成された２次元フィルタ５０１のブロック図
【図６】ＤＳＣ６０１と、ＤＳＣ６０１に接続された外部機器であるＰＣ６０２とからなるデジタルカメラシステムの概略ブロック図
【図７Ａ】ＰＣ６０２がＤＳＣ６０１に与える処理内容に関する情報として、フィルタ構成情報の内容例を示す図
【図７Ｂ】ＤＳＣ６０１のデコード手段１１６によって、図７Ａのフィルタ構成情報から変換された単位演算器４０１の接続情報の内容例を示す図
【図８】図７Ｂに示す単位演算器４０１の接続情報に基づいて構成された単位演算器＃１のバス接続例を示すブロック図
【図９】本発明の実施の形態２に係るデジタルカメラ装置としてＤＳＣの一構成例を示す機能ブロック図
【符号の説明】
１０１  ＣＤＳ／ＡＧＣ回路
１０２  ＡＤ変換器（ＡＤＣ）
１０３  クランプ回路
１０４  傷補正回路
１０５  γ補正回路
１０６  ホワイトバランス回路
１０７  データ出力手段
１０８  半導体メモリカード（着脱可能な半導体記憶媒体）
１０９  色補間処理回路
１１０  アパーチャ補正回路
１１１  ズーム回路
１１２  圧縮／伸長回路
１１３  ＯＳＤ
１１４  表示出力ＩＦ
１１５  液晶ディスプレイ
１１６  デコード手段
１１７  情報入力手段
１１８  前処理ブロック
１１９  画像加工処理ブロック
４０１  単位演算器
４０２  シフター
４０３  入力レジスタ（ＩＮ  ＲＥＧ）
４０４  加減算回路
４０５  出力レジスタ（ＯＵＴ  ＲＥＧ）
４０６  デコード手段１１６からの接続情報
４０７  接続バス
５０１  ２次元フィルタ
６０１  ＤＳＣ（デジタルカメラ装置）
６０２  ＰＣ（外部機器）
６０２１  処理内容決定手段
６０２２  情報出力手段
６０３  ＰＣ６０２に接続されたモニタ
６０３１  フィルタ構成の設定画面
６０３２  フィルタ特性の表示画面
６０３３  フィルタ処理が施された色画像データの表示画面
９１９  ＤＳＰ
【図１】
2004328072.tif 000004
【図２Ａ】
2004328072.tif 000005
【図２Ｂ】
2004328072.tif 000006
【図２Ｃ】
2004328072.tif 000007
【図３】
2004328072.tif 000008
【図４】
2004328072.tif 000009
【図５】
2004328072.tif 000010
【図６】
2004328072.tif 000011
【図７Ａ】
2004328072.tif 000012
【図７Ｂ】
2004328072.tif 000013
【図８】
2004328072.tif 000014
【図９】
2004328072.tif 000015