(57)【要約】【課題】必要に応じてアップグレード（更新）の効果を強調することにより、ユーザがアップグレードの効果を確実に確認できる撮像装置を提供する。【解決手段】被写体像を光電変換する撮像素子と、撮像素子からの像信号に対して信号処理を行う再構成可能な信号処理手段と、信号処理手段から得られた信号を表示する表示手段と、信号処理手段の処理に関する更新情報を取得し、更新情報に基づいて信号処理手段の構成を変更する制御手段とを有し、制御手段は、更新情報に基づいて、更新の効果が強調されるように前記表示手段を制御する。【選択図】図６
2014099697.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像素子と、
前記撮像素子からの像信号に対して信号処理を行う再構成可能な信号処理手段と、
前記信号処理手段から得られた信号を表示する表示手段と、
前記信号処理手段の処理に関する更新情報を取得し、該更新情報に基づいて前記信号処理手段の構成を変更する制御手段と、を有し、
前記制御手段は、前記更新情報に基づいて、更新の効果が強調されるように前記表示手段を制御することを特徴とする撮像装置。
【請求項２】
ユーザからの指示を入力する操作手段を更に有し、
前記制御手段は、前記操作手段を介して前記ユーザからの前記指示が入力された場合、前記更新の効果が強調されるように前記表示手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記更新情報を用いて得られた第１の画像、および、該更新情報を用いることなく得られた第２の画像を同時に前記表示手段に表示させ、
前記ユーザからの前記指示は、前記第１の画像および前記第２の画像が同時に前記表示手段に表示された際に入力されることを特徴とする請求項２に記載の撮像装置。
【請求項４】
撮影状態を判定する撮影状態判定手段を更に有し、
前記制御手段は、前記撮影状態が前記更新の効果の確認に適した撮影状態である場合、前記更新の効果が強調されるように前記表示手段を制御する請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記更新の効果を判定する効果判定手段を更に有し、
前記制御手段は、前記更新の効果が所定のレベル以上である場合、前記更新の効果が強調されるように前記表示手段を制御する請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
外部装置との通信を行う外部インタフェース手段を更に有し、
前記制御手段は、前記外部インタフェース手段を介して前記更新情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記更新情報は、偽色低減処理に関する情報であり、
前記制御手段は、前記表示手段の彩度の設定を変更することにより、前記更新の効果を強調することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記更新情報は、ノイズ低減処理に関する情報であり、
前記制御手段は、前記表示手段の所定の部分領域を拡大して表示することにより、前記更新の効果を強調することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
前記更新情報は、ノイズ低減処理に関する情報であり、
前記制御手段は、前記表示手段の所定の部分領域に補助指標を表示することにより、前記更新の効果を強調することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１０】
前記被写体像を前記撮像素子に結像させる光学系と、
請求項１乃至９のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理のアップデートが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、コンピューターネットワークを介して、様々なモバイル機器の機能に関するアップグレード（更新）が盛んに行われている。デジタルカメラ、ビデオカメラ等の撮像装置においても、組み込みソフトウェア制御で実現可能な、撮影機能、ＡＥ、ＡＷＢなどのオート機能を組み合わせることにより、様々な撮影シーンに応じて最適な撮影を行う機能のアップデートが可能である。さらに近年では、ソフトウェア制御のみならず、ハードウェアロジックで実現される映像信号処理についても、機能書き換え可能なリコンフィギュラブル・デバイスを用いて機能アップグレードが可能である。
【０００３】
ところで、モバイル機器の機能アップグレードに関して、機能アップグレードの効果の確認方法が重要である。特許文献１、２には、過去の撮影時のシャッタースピードやホワイトバランスなどの撮影パラメータを撮影画像に関連付けて記録し、この撮影パラメータを後の撮影時に参照することにより、過去の撮影パラメータによる撮影を容易に再現する構成が開示されている。特許文献３には、プリンタなどの印刷機器において、印刷機器に設けられた簡易な電子表示画面でもユーザが確認しやすいように、補正画像処理前後の差分が顕著な画像領域を検出して拡大表示する構成が開示されている。これにより、印刷用の印画紙に最適な補正画像処理の効果を印刷前にユーザに提示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５２５６７号公報
【特許文献２】特開２００２−１５２５８６号公報
【特許文献３】特開２００５−１２２６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２の構成は、ユーザが要求するアップグレードの効果の確認に適した撮影条件（撮影状態）であるか否かに関わらず、過去に撮影して記録した画像に対して撮影パラメータを変更した場合のシミュレーション結果を提示するに過ぎない。すなわち、これらの構成は、いわゆるサンプル画像に対する処理の効果確認の方法に過ぎず、ユーザが要求するアップグレードの効果を実感することができない場合がある。
【０００６】
また、特許文献３の構成では、補正画像処理前後の差分が顕著な領域があれば、その領域を拡大してユーザに提示するものに過ぎない。このため、ユーザが要求するアップグレードの効果を確認する際に、アップグレード前後の差分を実感することが困難で、無闇にアップグレードの効果を確認するための撮影を繰り返さなければならない場合がある。
【０００７】
そこで本発明は、必要に応じてアップグレードの効果を強調することにより、ユーザがアップグレードの効果を確実に確認できる撮像装置および撮像システムを提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子と、前記撮像素子からの像信号に対して信号処理を行う再構成可能な信号処理手段と、前記信号処理手段から得られた信号を表示する表示手段と、前記信号処理手段の処理に関する更新情報を取得し、該更新情報に基づいて前記信号処理手段の構成を変更する制御手段とを有し、前記制御手段は、前記更新情報に基づいて、更新の効果が強調されるように前記表示手段を制御する。
【０００９】
本発明の他の側面としての撮像システムは、被写体像を撮像素子に結像させる光学系と、前記撮像装置とを有する。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、必要に応じてアップグレードの効果を強調することにより、ユーザがアップグレードの効果を確実に確認できる撮像装置および撮像システムを提供することが可能である。
【図面の簡単な説明】
【００１２】
【図１】実施例１、２における撮像装置のブロック図である。
【図２】実施例１におけるリコンフィギュラブル回路部のブロック図である。
【図３】実施例１において、原色ベイヤーサンプリング構造の輝度および色信号のキャリア位置を示す周波数特性である。
【図４】実施例１における偽色抑圧回路の構成図である。
【図５】実施例１における縦横判定回路の動作を示すフローチャートである。
【図６】実施例１におけるトライアル動作を示すフローチャートである。
【図７】実施例１における撮影状態判定部の動作を示すフローチャートである。
【図８】実施例１における撮影状態判定部の判定基準の説明図である。
【図９】実施例１における効果判定部の動作を示すフローチャートである。
【図１０】実施例２におけるリコンフィギュラブル回路部のブロック図である。
【図１１】実施例２におけるノイズ抑圧処理回路に含まれるイプシロンフィルタの入出力特性である。
【図１２】実施例２におけるアップグレード前後のノイズ抑圧処理回路に含まれるＬＰＦの周波数特性である。
【図１３】実施例２におけるトライアル動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【実施例１】
【００１４】
まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図１において、１はレンズ（光学系）、２は撮像素子である。３は、回路の書き換えが可能なリコンフィギュラブル回路部（再構成可能回路部）であり、撮像素子２から得られた画像信号に基づいて輝度信号および色差信号を生成する画像処理回路を備えている。すなわちリコンフィギュラブル回路部３は、撮像素子２からの像信号に対して信号処理を行う再構成可能な信号処理手段である。４は、リコンフィギュラブル回路部３とシステム制御部１３との間のインタフェース部であるリコンフィギュラブル回路ＩＦ部である。
【００１５】
５は、画像データおよび各種データを記憶するメモリ（記憶部）である。６は、撮像装置１００から取り外し可能な記録媒体（画像記録媒体）である。７は記録読み出し部である。８は、リコンフィギュラブル回路部３から得られた輝度信号および色差信号をパネルなどに表示する表示部（表示手段）である。９は、撮影状態（撮影状況）を判定する撮影状態判定部（撮影状態判定手段）である。１０は、効果を判定する効果判定部（効果判定手段）である。１４はユーザＩＦ部（操作手段）、１３は撮像装置１００の全体を制御するシステム制御部（制御手段）である。１１は、リコンフィギュラブル回路部３の回路データ、システム制御部１３による制御方法が記載されたプログラム、そのプログラムの実行時に用いられるパラメータやテーブルなどの制御データを記憶するＲＯＭ（ＦＬＡＳＨ−ＲＯＭなどの不揮発性メモリ）である。１２は、ＲＯＭ１１に記憶されたプログラムおよび制御データを転送して記憶し、システム制御部１３が撮像装置１００を制御する際に用いるＲＡＭ（揮発性メモリ）である。１５は、外部装置との通信を行う外部ＩＦ部（外部インタフェース手段）である。システム制御部１３は、外部ＩＦ部１５を介して、後述のアップデート情報を取得可能に構成される。
【００１６】
続いて、本実施例の撮像装置１００により行われる撮影動作について説明する。撮影動作前に、撮像装置１００の電源投入時などのシステム制御部１３の動作開始時において、リコンフィギュラブル回路部３の回路データは、ＲＯＭ１１から読み出され、リコンフィギュラブル回路ＩＦ部４を介してリコンフィギュラブル回路部３に設定される。また、システム制御部１３において必要なプログラム、制御データ、および、補正データは、ＲＯＭ１１からＲＡＭ１２に転送され、ＲＡＭ１２に記憶される。
【００１７】
ＲＡＭ１２に記憶されたプログラムやデータは、システム制御部１３が撮像装置１００を制御する際に用いられる。必要に応じて、追加のプログラムやデータがＲＯＭ１１からＲＡＭ１２に転送される。またシステム制御部１３は、直接、ＲＯＭ１１に記憶されているデータを読み出して用いることもできる。更に、リコンフィギュラブル回路部３の回路データ、システム制御部１３において必要なプログラム、制御データおよび補正データは、外部ＩＦ部１５を介して、外部のサーバやメモリカードなどから取得可能である。このようにして取得されたプログラムやデータなどをＲＯＭ１１に記憶させることにより、機能アップグレードを行うことが可能である。
【００１８】
まず、レンズ１（撮像光学系）は、システム制御部１３からの制御信号により駆動され、適切な明るさに設定された被写体像を撮像素子２上に結像させる。撮像素子２は、システム制御部１３により制御される駆動パルスにより駆動される。具体的には、撮像素子２は、被写体像（光学像）を光電変換により電気信号（アナログ信号）に変換する。このアナログ信号は、撮像素子２に内蔵されたＡ／Ｄ変換器によりデジタル信号（デジタル画像信号）に変換されて出力される。リコンフィギュラブル回路部３は、リコンフィギュラブル回路ＩＦ部４を介してシステム制御部１３により制御される。そしてリコンフィギュラブル回路部３は、撮像素子２の出力である画像信号に対して各種補正や輝度色差変換、リサイズを施して画像データを生成する。
【００１９】
メモリ５は、画像処理中の画像信号を一時的に記憶し、または、画像処理された画像信号を記憶する。またメモリ５は、記録読み出し部７およびリコンフィギュラブル回路部３を介して得られた画像信号や、カメラパラメータを保持する。記録読み出し部７は、システム制御部１３からの制御信号により、リコンフィギュラブル回路部３からの輝度信号および色差信号を記録媒体６に記録させる。また記録読み出し部７は、記録媒体６に記録された輝度信号および色差信号を読み出して表示部８やリコンフィギュラブル回路部３へ出力することもできる。表示部８は、システム制御部１３からの制御信号により、リコンフィギュラブル回路部３または記録読み出し部７から得られた輝度信号および色差信号を表示する。ユーザＩＦ部１４は、例えばカメラ（撮像装置１００）の背面に設けられているボタンを通じて、ユーザからの指示を入力可能なユーザインタフェースである。
【００２０】
システム制御部１３は、レンズ１、撮像素子２、リコンフィギュラブル回路部３、記録読み出し部７、表示部８、撮影状態判定部９、および、効果判定部１０などを制御する。各処理回路（各部）に必要な制御パラメータや、各処理回路を制御するプログラムなどの情報は、システム制御部１３に接続されたＲＯＭ１１やＲＡＭ１２から読み出される。
【００２１】
なお本実施例において、撮像装置１００は、被写体像を撮像素子２に結像させるレンズ１（光学系）と、撮像装置本体とが一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像装置本体に着脱可能なレンズを撮像装置本体に取り付けて構成された撮像システムにも適用可能である。
【００２２】
次に、図２を参照して、リコンフィギュラブル回路部３（再構成可能回路部）の構成について詳述する。図２は、リコンフィギュラブル回路部３のブロック図である。リコンフィギュラブル回路部３は、リコンフィギュラブル回路ＩＦ部４を介して入力されるシステム制御部１３からの回路データに基づき、内部の複数種類の多ビット演算を選択的に行う算術論理回路（ＡＬＵ）を切り替えることで、回路の書き替えが可能である。本実施例において、リコンフィギュラブル回路部３には、後述の同時化処理回路２００およびＹＣマトリクス処理回路２０８が元々設けられている。本実施例のリコンフィギュラブル回路部３では、単板原色ベイヤーの撮像素子のサンプリング構造に起因する、ナイキスト周辺に現れる偽色を抑圧（低減）する偽色抑圧機能（偽色低減機能）がアップグレードされている。
【００２３】
図２において、アップグレードによる追加構成要素として、リコンフィギュラブル回路部３の追加回路データとしてのＨＰＦ２０２、ヒストグラム取得回路２０３、偽色抑圧回路２０４（偽色低減回路）、差分評価値取得回路２０６、および、セレクタ２０７がある。また、システム制御部１３の追加プログラムとして与えられたプログラムなどもそのような構成要素である。
【００２４】
撮像素子２の出力として、画素ごとに、撮像素子の色フィルタに対応した色のデジタル画像データ（図２中の「ＲＡＷ」）がリコンフィギュラブル回路部３に入力される。ＲＡＷデータの状態では、各画素位置に対して、ＲＧＢのいずれかの色フィルタに対応する色の値だけが保持されている。このため、同時化処理回路２００は、入力されるＲＡＷデータに対して、Ｒ、Ｇ１、Ｇ２、Ｂの各画素に分離した後、全ての画素位置でＲ、Ｇ１、Ｇ２、Ｂの値を持つように補間演算を行う。ここで、Ｇ１画素とＧ２画素は、いずれもＧの色フィルタを有する画素であるが、説明のため、Ｒ画素と同一のラインに配置されたＧ画素をＧ１画素とし、Ｂ画素と同一のラインにあるＧ画素をＧ２画素とする。
【００２５】
図２において、同時化処理回路２００により生成されたＲ、Ｇ１、Ｇ２、Ｂ信号は、ｒＲ、ｒＧ１、ｒＧ２、ｒＢとそれぞれ示されている。ｒＲ、ｒＧ１、ｒＧ２、ｒＢ信号は、セレクタ２０１およびメモリ５に出力される。セレクタ２０１は、システム制御部１３の制御により、ｒＲ、ｒＧ１、ｒＧ２、ｒＢ信号、または、メモリ５から入力されたＲ、Ｇ１、Ｇ２、Ｂ信号であるｍＲ、ｍＧ１、ｍＧ２、ｍＢ信号のいずれかを選択する。そしてセレクタ２０１は、選択された信号をｓＲ、ｓＧ１、ｓＧ２、ｓＢ信号として、ＨＰＦ２０２、偽色抑圧回路２０４、加算回路２０５、および、セレクタ２０７へ出力する。
【００２６】
加算回路２０５は、例えば以下の式（１）で表される演算を用いてｓＧ１、ｓＧ２信号からｓＧ信号を生成し、ｓＧ信号をＨＰＦ２０２およびセレクタ２０７へ出力する。
【００２７】
【数１】
2014099697.tif 000003
【００２８】
ＨＰＦ２０２は、ｓＲ、ｓＧ、ｓＢ信号から高域の周波数成分ｈｐｆＲ、ｈｐｆＧ、ｈｐｆＢをそれぞれ検出し、ヒストグラム取得回路２０３へ出力する。ヒストグラム取得回路２０３は、システム制御部１３の制御に基づいて画面を小区画に分割し、小区画ごとの周波数成分ｈｐｆＲ、ｈｐｆＧ、ｈｐｆＢのヒストグラムを取得し、システム制御部１３へ出力する。偽色抑圧回路２０４は、後述の方法を用いて偽色を抑圧（低減）して得られたｓＲ’、ｓＧ’、ｓＢ’信号（ＲＧＢ信号）を、セレクタ２０７および差分評価値取得回路２０６へ出力する。
【００２９】
セレクタ２０７は、システム制御部１３の制御に基づいて、ｓＲ、ｓＧ、ｓＢ信号、または、ｓＲ’、ｓＧ’、ｓＢ’信号のいずれか一方を選択し、選択信号をＲ、Ｇ、Ｂ信号として、ＹＣマトリクス処理回路２０８へ出力する。セレクタ２０７から出力されたＲ、Ｇ、Ｂ信号は、ＹＣマトリクス処理回路２０８において、例えば以下の式（２）〜（４）に表される演算により、輝度信号Ｙおよび色差信号ＣＲ、ＣＢ（図２中ではＹＣＣ信号と示される）に変換される。
【００３０】
Ｙ＝（９×Ｇ＋５×Ｒ＋２×Ｂ）／１６  …（２）
ＣＲ＝Ｒ−Ｙ  …（３）
ＣＢ＝Ｂ−Ｙ  …（４）
また、差分評価値取得回路２０６は、システム制御部１３の制御に基づいて、画面を小区画に分割し、小区画ごとの差分の積算値であるｄｉｆｆＲ、ｄｉｆｆＢ信号を、例えば以下の（５）、（６）でそれぞれ表される演算により取得する。
【００３１】
【数２】
2014099697.tif 000004
【００３２】
【数３】
2014099697.tif 000005
【００３３】
式（５）、（６）において、ｈ、ｖはそれぞれ、小区画領域内の水平アドレスおよび垂直アドレスである。
【００３４】
次に、偽色抑圧回路２０４について詳述する。まず、偽色抑圧回路２０４の原理について説明する。図３は、単板原色ベイヤーの撮像素子のサンプリング構造における、輝度信号と色信号のキャリア位置を示す周波数特性である。図３において、縦軸は垂直方向の周波数ｆｖ、横軸は水平方向の周波数ｆｈをそれぞれ示す。また、ｆｖｓ、ｆｈｓはサンプリング周波数、ｆｖｎ、ｆｈｎはナイキスト周波数を示す。
【００３５】
図３において、Ｒ画素およびＢ画素に着目すると、単板原色ベイヤーの撮像素子の画素の中で、水平方向および垂直方向ともに、その画素数は半分であり、Ｒ画素またはＢ画素における同色間の画素距離が異なる色間の画素距離の２倍である。このため、Ｒ画素またはＢ画素のキャリアは、図３中の三角印で表される位置となる。三角印の位置のうち、周波数ｆｈｎ、ｆｖｎ、−ｆｈｎ、−ｆｖｎの位置に発生するキャリアは、Ｒ画素とＢ画素とで位相が異なるため、例えば白黒のエッジである場合でもＲ画素またはＢ画素の色が付される。
【００３６】
また、Ｇ画素は、オフセットサンプリング構造になっているため、図３中の黒丸の位置にキャリアが発生する。ここで、Ｇ画素をＧ１、Ｇ２と分離して考えると、サンプリング構造としてはＲ画素またはＢ画素と同じ構造になる。このため、そのキャリアは図３中の三角形の位置に現れる。また、周波数ｆｈｎ、ｆｖｎ、−ｆｈｎ、−ｆｖｎの位置に発生するＧ１画素およびＧ２画素のキャリアは位相が互いに異なる。Ｇ１画素とＧ２画素は同じ直流成分を有するため、引算をすると、周波数ｆｈｎ、ｆｖｎ、−ｆｈｎ、−ｆｖｎの位置に発生するキャリアが取り出せることとなる。被写体が、白黒のエッジである場合、Ｒ画素またはＢ画素に対し、Ｇ１画素、Ｇ２画素から取り出したキャリアを加算あるいは引算することにより、Ｒ画素またはＢ画素に発生するキャリアをキャンセルすることができる。
【００３７】
続いて、図４を参照して、偽色抑圧回路２０４の構成について説明する。図４は、偽色抑圧回路２０４の構成図である。図４において、３０１は引算回路であり、例えば以下の式（７）で表される演算を用いて、ｓＧ１、ｓＧ２信号からｓｄＧ’信号を求める。
【００３８】
【数４】
2014099697.tif 000006
【００３９】
３０２は、引算回路３０１からの差分信号（ｓｄＧ’信号）とｓＲ信号とを引算する引算器である。３０３は、引算回路３０１からの差分信号（ｓｄＧ’信号）と引算器３０２の出力信号とを加算する加算器である。３０４は、引算回路３０１からの差分信号（ｓｄＧ’信号）とｓＢ信号とを引算する引算器である。３０５は、引算回路３０１からの差分信号とｓＢ信号とを加算する加算器である。
【００４０】
加算回路３０６は、例えば以下の式（８）で表される演算を用いて、ｓＧ’信号を生成し、ｓＧ’信号を縦横判定回路３０７およびセレクタ２０７へ出力する。
【００４１】
【数５】
2014099697.tif 000007
【００４２】
縦横判定回路３０７は、加算回路３０６から出力されたｓＧ’信号を用いて、図５に示されるように、縦線または横線のいずれかであるかの判定を行う。図５（ａ）は演算に用いられる画素配列の一例であり、図５（ｂ）は縦横判定回路３０７の動作を示すフローチャートである。まず、図５（ｂ）のステップＳ１０１において、縦横判定回路３０７は、例えば以下の式（９−１）、（９−２）で表される演算を用いて、縦線および横線の評価値Ｌｈ、Ｌｖを生成する。
【００４３】
【数６】
2014099697.tif 000008
【００４４】
ここで、Ｇ１２、Ｇ２３、Ｇ２１、Ｇ２３画素は、それぞれ、図５（ａ）に示されるように配置されている。続いてステップＳ１０２において、縦横判定回路３０７は、評価値ＬｈとＬｖを比較し、評価値Ｌｖが評価値Ｌｈよりも小さい場合、ステップＳ１０３へ進み、ステップＳ１０３において縦線と判定する。一方、評価値Ｌｖが評価値Ｌｈ以上である場合、ステップＳ１０４へ進み、ステップＳ１０４において横線と判定する。セレクタ３０８、３０９は、前述のように縦横判定回路３０７により判定された結果（縦横判定結果）を用いて、縦線の場合、加算器３０３と引算器３０４の結果（出力信号）をそれぞれ選択し、ｓＲ’、ｓＢ’信号として出力する。一方、横線の場合、引算器３０２と加算器３０５の結果（出力信号）をそれぞれ選択し、ｓＲ’、ｓＢ’信号として出力する。
【００４５】
次に、図６を参照して、本実施例におけるトライアル動作について説明する。図６は、本実施例におけるトライアル動作を示すフローチャートである。図６の各ステップは、システム制御部１３の指令に基づいて行われる。まず、ステップＳ３０１において、システム制御部１３は、新旧比較表示処理、すなわちアップグレードである偽色抑圧処理（偽色低減処理）の効果を確認するトライアル（効果確認）を行うか否かについてユーザに確認する。ユーザから効果確認を望む指示を受けた場合（トライアルモードの場合）、ステップＳ３０５へ進む。一方、効果確認の指示を受けていない場合（トライアルモードでない場合）、ステップＳ３０２へ進む。
【００４６】
トライアルモードでない場合、ステップＳ３０２において、アップグレード機能である偽色抑圧処理の効果確認を行わない制御として、本実施例ではアップグレード前の仕様を採用する。すなわちシステム制御部１３は、偽色抑圧処理を行わないように、リコンフィギュラブル回路部３のセレクタ２０１は、出力信号が偽色抑圧回路２０４を通らないように設定を切り替える。
【００４７】
続いてステップＳ３０３において、シャッタボタンの押下などにより撮影を行い、リコンフィギュラブル回路部３および記録読み出し部７を通じて処理された画像を記録媒体６に記録する。そしてステップＳ３０４において、記録媒体６に記録された画像（撮影画像）を読み出し、その撮影画像を表示部８に表示する。
【００４８】
一方、ステップＳ３０１にてトライアルモードの場合、ステップＳ３０５においては、アップグレード機能である偽色抑圧処理の効果確認を行う。このとき、セレクタ２０１は、出力信号が偽色抑圧回路２０４を通るように設定を切り替える。続いてステップＳ３０６におおいて、シャッタボタンの押下などにより撮影を行い、リコンフィギュラブル回路部３および記録読み出し部７を通じて処理された画像（撮影画像）を記録媒体６に記録する。また、リコンフィギュラブル回路部３の内部の中間処理画像をメモリ５に一時的に記録する。
【００４９】
続いてステップＳ３０７において、撮像装置１００の撮影状態判定部９は、偽色抑圧処理に適した撮影状態であるか否かを判定する。ここで、図７および図８を参照して、偽色抑圧処理に適した撮影状態であるか否かの判定の一例について説明する。図７は、撮影状態判定部９の動作を示すフローチャートである。図８は、撮影状態判定部９の判定基準の説明図であり、頻度とＨＰＦ２０２の出力（ＨＰＦ出力）との関係を示している。
【００５０】
まず図７のステップＳ４０１において、リコンフィギュラブル回路部３のヒストグラム取得回路２０３は、システム制御部１３を通じて、図８に示されるようなＨＰＦ２０２からの高域検出結果のヒストグラムを小区画ごとに取得する。続いてステップＳ４０２において、撮影状態判定部９は、高域検出結果のヒストグラムから、高域検出結果のある範囲を有する領域ＲＥＳＡの頻度ＨＡを算出（抽出）する。そしてステップＳ４０３において、撮影状態判定部９は、頻度ＨＡと予め設定された閾値ＳＴとを用いて、例えば以下の式（１０）で表される演算により偽色評価値ＮＰＡ（評価値）を求める。
【００５１】
ＮＰＡ＝ＨＡ−ＳＴ  …（１０）
続いてステップＳ４０４において、偽色評価値ＮＰＡが正の値である場合、高域成分が比較的多いと判定されるため、抑圧対象となる偽色が多く発生している可能性が高い。このためステップＳ４０５において、偽色抑圧処理の比較を行うフラグを立てる（第１のフラグを生成する）。一方、ステップＳ４０４において、偽色評価値ＮＰＡが正の値でない場合、高域成分が比較的少ないと判定されるため、抑圧対象となる偽色がほとんど発生していないと考えられる。このためステップＳ４０６において、偽色抑圧処理の比較を行わないフラグを立てる（第２のフラグを生成する）。
【００５２】
以上のように、図６のステップＳ３０７において、撮影状態判定部９は、偽色抑圧処理に適した撮影状態であるか否かを判定する。この判定の結果、偽色抑圧処理に適した撮影状態である場合、すなわち偽色抑圧処理の比較を行うフラグ（第１のフラグ）が立っている場合、ステップＳ３０８へ進む。一方、偽色抑圧処理に適した撮影状態でない場合、すなわち偽色抑圧処理の比較を行うフラグ（第２のフラグ）が立っていない場合、ステップＳ３０４へ進む。
【００５３】
続いてステップＳ３０８において、撮像装置１００の効果判定部１０は、ユーザによる効果確認が可能な程度の偽色抑圧処理が行われているか否かを判定する。ここで、図９を参照して、ユーザによる効果確認が可能な程度の偽色抑圧処理が行われているか否かについての判定方法について説明する。図９は、効果判定部１０の動作を示すフローチャートである。
【００５４】
まずステップＳ６０１において、リコンフィギュラブル回路部３の差分評価値取得回路２０６は、システム制御部１３から小区画ごとの差分評価値を取得する。続いてステップＳ６０２において、効果判定部１０は、各区画の差分評価値ＮＰＡ’と予め設定された閾値ＳＴ’とを比較する。差分評価値ＮＰＡ’が閾値ＳＴ’より大きくなる区画がある場合、ステップＳ６０３へ進む。一方、差分評価値ＮＰＡ’が閾値ＳＴ’より大きくなる区画がない場合、ステップＳ６０４へ進む。
【００５５】
ステップＳ６０３において、効果判定部１０は、偽色抑圧回路２０４の有無により差分が大きくなっていることから効果が高いと判定し、高効果フラグを立てる（高効果フラグ生成）。一方、ステップＳ６０４では、効果判定部１０は、偽色抑圧回路２０４の有無により差分が大きくなっていないことから効果が低いと判定し、低効果フラグを立てる（低効果フラグ生成）。
【００５６】
以上のように、図６のステップＳ３０８において、効果判定部１０は、ユーザによる効果確認が可能な程度の偽色抑圧処理が行われているか否かを判定する。ここで、前述の高効果フラグが立っている場合、ステップＳ３０９へ進む。一方、低効果フラグが立っている場合、ステップＳ３０４へ進む。
【００５７】
次にステップＳ３０９において、リコンフィギュラブル回路部３（システム制御部１３）は、アップグレード仕様である偽色抑圧処理の効果をユーザに示すため、アップグレード前の仕様である偽色抑圧処理を行っていない画像（旧画像）を作成する。このときリコンフィギュラブル回路部３は、ステップＳ３０６にて予めメモリ５に一時的に記録された中間処理画像、すなわち同時化処理回路２００により生成されたＲ、Ｇ１、Ｇ２、Ｂ信号をメモリ５から読み出す。そしてリコンフィギュラブル回路部３は、セレクタ２０１をメモリ５からの信号を出力するように切り替える。続いてステップＳ３１０において、リコンフィギュラブル回路部３は、偽色抑圧処理を行わないようにセレクタ２０７の設定を切り替える。
【００５８】
続いてステップＳ３１１において、リコンフィギュラブル回路部３は、ステップＳ３０９にて読み出された信号（同時化処理回路２００により生成されて予めメモリ５に記録されたＲ、Ｇ１、Ｇ２、Ｂ信号）に対して、偽色抑圧回路２０４を通らずに処理を行う。そしてリコンフィギュラブル回路部３は、Ｒ、Ｇ１、Ｇ２、Ｂ信号を、記録読み出し部７を介して記録媒体６に記録する。
【００５９】
続いてステップＳ３１２において、システム制御部１３は、記録媒体６に記録された２つの画像（偽色抑圧処理を行った画像とこの処理を行っていない画像）を読み出し、これら２つの画像を並べて表示部８に表示させる。このとき、表示の際には効果判定部１０からの高効果フラグが１つでも立っている場合に両画像を並べて表示する。または、高効果フラグの中で、最も高い差分評価値ＮＰＡ’を有する区画を特定して表示してもよい。また、差分のより多い領域を抽出し、その領域を例えば赤枠で囲んだり、矢印で示したり、または、拡大表示してもよい。
【００６０】
このように２つの画像を比較した結果、撮影した被写体の特に無彩色の高周波部分に色がついて見える偽色の抑圧の効果がユーザに認識されれば、本実施例の偽色抑圧処理のアップグレード効果を、ユーザが体感できたことになる。ただし、高効果フラグは、ユーザが効果を体感できるものと推定できるレベル（予想レベル）で生成されたフラグである。このため、実際にユーザがその効果を体感できるか否かは、この段階ではまだ確定していない。
【００６１】
従って、次にステップＳ３１３において、ユーザがその効果を体感することができたか否かを確認する。この確認方法としては、パネル上にその旨を表示し、カメラ背面（撮像装置１００の背面）に設置されたボタンを通じてユーザが効果を確認することができたか否かを確認する。ここで、効果が確認できたというユーザの指示がある場合、本フローを終了する。一方、効果が確認できなかったという指示がある場合、ステップＳ３１４へ進む。ステップＳ３１４において、ユーザが効果を確認できなかったため、パネルに表示する彩度をより強調して表示するように表示部８を制御する。そしてステップＳ３１２へ進み、ステップＳ３１２およびステップＳ３１３を繰り返す。
【００６２】
なお本実施例では、特に被写体の無彩色の高周波部分に、本来あるはずのない色がついてしまう偽色を抑圧する処理をアップグレードとして追加したことが、アップグレード情報として認識される。このため、偽色抑圧効果の確認としてふさわしいパネル表示の彩度設定を強調する制御を行っている。このような構成により、偽色抑圧の効果確認が、ユーザにとって分かりやすいものとなる。ただし本実施例はこれに限定されるものではなく、その他の方法を用いてもよい。
【００６３】
本実施例において、システム制御部１３は、リコンフィギュラブル回路部３の処理に関するアップデート情報（更新情報）を取得し、このアップデート情報に基づいてリコンフィギュラブル回路部３の構成を変更する。またシステム制御部１３は、アップデート情報に基づいて、アップデート（更新）の効果が強調されるように表示部８を制御する。
【００６４】
本実施例において、好ましくは、システム制御部１３は、ユーザＩＦ部１４を介してユーザからの指示が入力された場合、アップデートの効果が強調されるように表示部８を制御する。また好ましくは、システム制御部１３は、アップデート情報を用いて得られた画像（第１の画像）、および、アップデート情報を用いることなく得られた画像（第２の画像）を同時に表示部８に表示させる。そしてユーザからの指示は、第１の画像および第２の画像が同時に表示部８に表示された際に入力される。
【００６５】
また好ましくは、システム制御部１３は、撮影状態がアップデートの効果の確認に適した撮影状態である場合、アップデートの効果が強調されるように表示部８を制御する。また好ましくは、システム制御部１３は、アップデートの効果が所定のレベル以上である場合、アップデートの効果が強調されるように表示部８を制御する。更に好ましくは、アップデート情報は、偽色抑制処理に関する情報である。そしてシステム制御部１３は、表示部８の彩度の設定を変更することにより、アップデートの効果を強調する。
【００６６】
本実施例によれば、必要に応じてアップグレード（更新）の効果を強調することにより、ユーザがアップグレードの効果を確実に確認できる撮像装置および撮像システムを提供することが可能である。本実施例において、偽色抑圧処理に適した撮影状態であるか否かを判定し、かつ、ユーザが効果を確認できるか否かを判定すれば、ユーザが偽色抑圧処理の効果（機能追加の効果）を実感できたか否かをユーザに確認することが可能である。そして、ユーザが偽色抑圧処理の効果を確認できない場合、パネルに表示される彩度をより強調して表示するようにすることにより、ユーザにアップデートの効果を確実に実感させることができる。
【実施例２】
【００６７】
次に、本発明の実施例２について説明する。本実施例のリコンフィギュラブル回路部３ａは、撮像素子２からの画像信号に基づいて輝度信号および色差信号を生成する画像処理回路、および、ノイズ抑圧処理回路（ノイズ低減処理回路）が設けられている点で、実施例１のリコンフィギュラブル回路部３と異なる。本実施例の撮像装置の他の構成は、図１を参照して説明した実施例１と同様である。
【００６８】
図１０を参照して、リコンフィギュラブル回路部３ａ（再構成可能回路部）の構成について説明する。図１０は、リコンフィギュラブル回路部３ａのブロック図である。本実施例のリコンフィギュラブル回路部３ａには、同時化処理回路１０００、ＹＣマトリクス処理回路１００１、および、旧ノイズ抑圧処理回路１００３が予め設けられている。そして、セレクタ１００２、１００５、新ノイズ抑圧処理回路１００４、および、それらを動作させるプログラムなどを追加して設けた場合におけるトライアルについて説明する。
【００６９】
本実施例では、トライアルを行う新ノイズ抑圧処理回路１００４およびセレクタ１００２、１００５、それらを動作させるプログラムなどは、外部ＩＦ部１５を介して、外部装置から予め取得されているものとする。また、旧ノイズ抑圧処理回路１００３が予め設けられておらず、旧ノイズ抑圧処理回路１００３を新規に導入した場合、図１０において、旧ノイズ抑圧処理回路１００３の入出力が直結し、何も処理されない画像信号が出力される系として動作する。また本実施例では、原色フィルタがベイヤー状に配置された撮像素子を有する単板撮像装置について説明する。ただし本実施例はこれに限定されるものではない。
【００７０】
図１０の同時化処理回路１０００およびＹＣマトリクス処理回路１００１の動作は、図２を参照して説明した実施例１の同時化処理回路２００およびＹＣマトリクス処理回路２０８とそれぞれ同様である。セレクタ１００２は、ＹＣマトリクス処理回路１００１またはメモリ５からの出力画像信号のいずれか一方を選択して、旧ノイズ抑圧処理回路１００３または新ノイズ抑圧処理回路１００４に出力する。旧ノイズ抑圧処理回路１００３および新ノイズ抑圧処理回路１００４は、セレクタ１００２から出力された画像信号に対してノイズ抑圧処理（ノイズ低減処理）を行い、記録読み出し部７および表示部８へ出力する。旧ノイズ抑圧処理回路１００３は、イプシロンフィルタなどを用いたノイズ抑圧処理を行う。以下、イプシロンフィルタの３タップでの処理の一例について説明する。
【００７１】
イプシロンフィルタの着目画素をａ１とし、それに隣接する画素（隣接画素）をそれぞれａ０、ａ２とする。イプシロン関数（ε関数）をｅｐｓ（ｘ）と表すと、イプシロン関数の出力ａ１’は、以下の式（１１）で表される。
【００７２】
【数７】
2014099697.tif 000009
【００７３】
図１１は、旧ノイズ抑圧処理回路１００３に含まれるイプシロンフィルタの入出力特性である。図１１に示される値ε（ε値）は、着目画素ごとに調整可能な定数である。イプシロン関数の入力値、すなわち着目画素ａ１と隣接画素ａ０または隣接画素ａ２との差分値の絶対値が２×εよりも大きい場合、イプシロン関数の出力は０となり、その画素値はフィルタ処理で無効化される。このため、隣接画素との差分値が大きい場合、イプシロン関数の出力は０となり、式（１１）よりフィルタ処理されない画素値がそのまま出力される。
【００７４】
一方、イプシロン関数の入力値、すなわち着目画素ａ１と隣接画素ａ０またはａ２との差分値の絶対値がεよりも小さい場合、イプシロン関数の出力は入力と同じ値となる。このため、隣接画素との差分値が小さい場合、イプシロン関数によって値の変化が発生しないため、式（１１）より通常のローパスフィルタ処理された画素値が出力される。
【００７５】
新ノイズ抑圧処理回路１００４は、例えば旧ノイズ抑圧処理回路１００３の処理タップ数を５タップに増加させることにより設けられる。フィルタのタップ数が増加すると、より狭帯域なフィルタ特性を作成することが可能になる。
【００７６】
図１２は、本実施例におけるアップグレード前後のノイズ抑圧処理回路に含まれるＬＰＦの周波数特性である。旧ノイズ抑圧処理回路１００３のフィルタ特性が出力１である場合、新ノイズ抑圧処理回路１００４タップ数を増加させることにより、出力２のようなより狭帯域なフィルタ特性を作成することができる。旧ノイズ抑圧処理回路１００３よりもより狭帯域なフィルタ特性を作成することにより、新ノイズ抑圧処理回路１００４は、ノイズ抑圧効果を向上させることができる。
【００７７】
次に、図１３を参照して、本実施例におけるトライアルを含む撮影時の動作について説明する。図１３の各ステップは、システム制御部１３の指令に基づいて行われる。まず、ステップＳ１３０１において、システム制御部１３は、ユーザがトライアルを行うモード（トライアルモード）に設定しているか否かを判定し、動作の切り分けを行う。
【００７８】
トライアルモードに設定されていない場合、ユーザは新機能のトライアルを行う意思がないということであるため、ステップＳ１３０２へ進む。ステップＳ１３０２において、システム制御部１３は、旧ノイズ抑圧処理回路１００３から信号を選択して出力されるようにセレクタ１００５を切り替える。続いてステップＳ１３０３において、撮影処理を行い、旧ノイズ抑圧処理回路１００３で処理された画像を、記録読み出し部７を介して記録媒体６（メモリ）に保存する。そしてステップＳ１３０４において、記録媒体６に保存された画像を表示部８に出力し、撮影処理（本フロー）を終了する。
【００７９】
一方、ステップＳ１３０１において、ユーザによりトライアルモードが設定されている場合、ユーザは新機能のトライアルを行う意思があるということであるため、ステップＳ１３０５に進む。ステップＳ１３０５において、システム制御部１３は、まず新ノイズ抑圧処理回路１００４からの信号が出力されるようにセレクタ１００５を切り替える。またシステム制御部１３は、新ノイズ抑圧処理回路１００４の入力信号として、ＹＣマトリクス処理回路１００１からの出力信号ＹＣＣが入力されるようにセレクタ１００２を切り替える。その後、ステップＳ１３０６において、撮影処理を行い、新ノイズ抑圧処理回路１００４により処理された画像を、記録読み出し部７を介して記録媒体６に保存する。また、リコンフィギュラブル回路部３ａの内部の中間処理画像を、メモリ５に一時的に記録する。
【００８０】
続いてステップＳ１３０７において、システム制御部１３は、撮影時にシステム制御部１３が撮像素子２に対して設定しているセンサゲインの値が所定値を超えているか否かを判定する。このセンサゲイン値が所定値を超えている場合、撮影画像の中に含まれるノイズ成分が多いということであるため、ステップＳ１３０８に進む。一方、センサゲイン値が所定値を超えていない場合、撮影画像の中に含まれるノイズ成分が少ないということであるため、新機能を導入した効果が分かりにくいと判定し、ステップＳ１３０４に進む。ステップＳ１０３４において、ステップＳ１３０６にて保存された画像を表示部８に出力し、撮影処理を終了する。なお本実施例では、センサゲインを用いて判定を行っているが、撮像素子２のゲイン設定に関するものであれば、ＩＳＯ感度設定などの他の構成を採用してもよい。
【００８１】
次にステップＳ１３０８において、新ノイズ抑圧処理回路１００４は、抑圧効果の確認を行う。新ノイズ抑圧処理回路１００４は、トライアルモードの際に、処理前後の画素値の差分を画素毎にチェックし、差分が一定値以上の画素数をカウントする。そして新ノイズ抑圧処理回路１００４は、そのカウント数が一定値以上であるか否かを判定し、その値（結果）を出力する。
【００８２】
カウント数が一定値以上の場合、ノイズ抑圧処理の効果が高いということである。このため、高効果フラグを立て、ステップＳ１３０９に進み、旧ノイズ抑圧処理回路１００３との比較処理を行う。一方、カウント数が一定値未満の場合、ノイズ抑圧処理の効果が低いということである。このため低効果フラグを立て、比較表示を行うことなく、ステップＳ１３０４に進む。ステップＳ１３０４において、ステップＳ１３０６にて保存された画像を表示部８に出力し、撮影処理（本フロー）は終了する。
【００８３】
ステップＳ１３０９において、旧ノイズ抑圧処理回路１００３での処理結果を取得するため、ステップＳ１３０６にてメモリ５に一時的に記録された中間処理画像、すなわちＹＣマトリクス処理回路１００１の出力画像をメモリ５から読み出す。続いてステップＳ１３１０において、旧ノイズ抑圧処理回路１００３にて画像処理を行うため、セレクタ１００２をメモリ５からの入力に切り替える。また、ステップＳ１３０９にて読み出されたＹＣマトリクス処理回路１００１からの画像を出力するように、セレクタ１００５は、旧ノイズ抑圧処理回路１００３からの信号が出力されるように切り替える。そしてステップＳ１３１１において、ステップＳ１３０９にて保存された画像を読み込み、旧ノイズ抑圧処理回路１００３はノイズ抑圧処理を行う。
【００８４】
続いてステップＳ１３１２において、ステップＳ１３１１にて処理された旧ノイズ抑圧処理回路１００３からの画像と、ステップＳ１３０６にて保存された新ノイズ抑圧処理回路１００４から得られた画像との比較表示を行う。この比較表示の際には、システム制御部１３の指令に基づいて、表示部８が２つの画像を並べて表示し、撮影処理は終了する。なお、前述の比較表示は一例であり、２つの画像（結果画像）を一定間隔で切り替えて表示を行うように構成し、または、同じ画像位置を拡大して表示するように構成してもよい。
【００８５】
このように２つの画像を比較した結果、撮影画像において、ノイズ抑圧（ノイズ低減）のアップグレードの効果がユーザに認識されれば、ユーザが体感できたことになる。ただし、高効果フラグは、ユーザが効果を実際に体感できると推定したレベル（予想レベル）で生成されたフラグである。このため、実際にユーザが効果を体感できるか否かは、まだ確定していない。
【００８６】
そこで、次にステップＳ１３１３において、ユーザに効果が体感できたか否かを確認する。確認方法としては、パネル上にその旨を表示し、カメラ背面に設置されたボタンを通じてユーザにその効果が確認できたか否かを確認する。ここで、効果が確認できたというユーザの指示がある場合、本フローを終了する。一方、効果が確認できなかったという指示がある場合、ステップＳ１３１４へ進む。ステップＳ１３１４において、ユーザが効果を確認することができなかったため、パネル上にノイズ抑圧効果が認識容易な領域を示すための補助表示を表示するように表示部８を制御する。具体的には、システム制御部１３は、表示部８（パネル）の所定の部分領域を拡大して表示することにより、アップデートの効果を強調する。なお補助表示として、所定の部分領域の画像を拡大することに限定されるものではなく、所定の部分領域にポインタなどの補助指標を表示するように構成してもよい。そしてステップＳ１３１２へ戻り、ステップＳ１３１２、Ｓ１３１３を繰り返す。
【００８７】
本実施例では、被写体の低コントラスト部分において効果を期待する、ノイズ抑圧処理の機能をアップグレードしたことが、アップグレード情報として認識されている。また、被写体の低コントラスト部分で最もノイズ感が気になるものとして、人物顔の頬の部分（特に影がさしている場合）は、ノイズ抑圧処理のアップグレード効果の確認としては最適である。このため、図１に示されていないが、公知の人物顔検出回路により顔位置を検出して、顔位置に補助表示を表示するようにしてもよい。これにより、ノイズ抑圧性能のアップグレードの効果が、ユーザにより分かりやすくなる。
【００８８】
上記各実施例によれば、必要に応じてアップグレード（更新）の効果を強調することにより、ユーザがアップグレードの効果を確実に確認できる撮像装置および撮像システムを提供することが可能である。また、ユーザが要求するアップグレードの内容（情報）に応じて、実際の撮影においてアップグレードの効果の確認に適した撮影状態であることを判定してから撮影を行えば、無闇にアップグレードの効果の確認のための撮影を繰り返す必要はない。また、アップグレードの内容に応じて、アップグレードの効果を判定してからユーザに提示すれば、ユーザは実際の撮影結果に基づいて確実に効果の確認を行うことができる。なお、各実施例において、アップデート情報が解像度に関する情報である場合でも適用可能である。
【００８９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９０】
２  撮像素子
３  リコンフィギュラブル回路部
８  表示部
１３  システム制御部
【図３】
2014099697.tif 000010
【図８】
2014099697.tif 000011
【図１１】
2014099697.tif 000012
【図１】
2014099697.tif 000013
【図２】
2014099697.tif 000014
【図４】
2014099697.tif 000015
【図５】
2014099697.tif 000016
【図６】
2014099697.tif 000017
【図７】
2014099697.tif 000018
【図９】
2014099697.tif 000019
【図１０】
2014099697.tif 000020
【図１２】
2014099697.tif 000021
【図１３】
2014099697.tif 000022