(57)【要約】【課題】  使用者が画像記録再生装置に内蔵されたカメラの機能を利用して視聴環境の要素を画像処理の設定に盛り込み、画質の補正をし、画像表示装置側での補正を不要とする。【解決手段】  本発明の画像信号処理装置では、画像信号処理を施した画像情報を外部の画像表示装置３６に表示するために通信手段３５により画像表示装置３６との間で通信をする。マイクロコンピュータ１７は、画像表示装置３６の画像表示性能に関する情報を取得し、取得した画像表示装置３６の画像表示性能に応じてカメラ信号処理部９による画像信号処理のパラメータを補正することによって画像表示装置３６の表示特性に適合する画質補正を行う。そして、イメージセンサー６により画像表示装置３６の視聴環境に関するデータを測定し、視聴環境に関するデータに基づいて更にカメラ信号処理部９による画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う。【選択図】        図１
2007057599.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像した画像情報に対して画像信号処理手段により画像信号処理を施して、上記画像信号処理を施した画像情報を表示手段に表示すると共に、記録手段により記録媒体に記録する画像信号処理装置において、
上記画像信号処理を施した画像情報を外部の画像表示装置に表示するために上記画像表示装置との間で通信をする通信手段と、
上記画像表示装置の画像表示性能に関する情報を取得する取得手段と、
上記取得手段により取得した上記画像表示装置の画像表示性能に応じて上記画像信号処理手段による画像信号処理のパラメータを補正することによって上記画像表示装置の表示特性に適合する画質補正を行う第１の補正手段と、
上記撮像手段により上記画像表示装置の視聴環境に関するデータを測定する測定手段と、
上記視聴環境に関するデータに基づいて更に上記画像信号処理手段による画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正手段と、
を備えたことを特徴とする画像信号処理装置。
【請求項２】
上記画像表示装置の画像表示性能に関する情報は、上記通信手段を介して上記画像表示装置から取得するか、上記通信手段を介してネットワーク上のサーバーから取得するか、又は着脱式の他の記録媒体から取得することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記画像表示装置の画像表示性能に関する情報は、上記画像表示装置の個別識別情報及び画像表示装置が備える種々の機能情報を含むものであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
上記画像表示装置の視聴環境に関するデータは、視聴環境の明るさ、及び／又は視聴距離を含むものであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
上記画像表示装置の画像表示性能に関する情報を記憶する記憶手段を備えたことを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
上記第２の補正手段による視聴環境の画質補正は、上記視聴距離に応じて上記画像信号処理手段による画像信号処理の高周波成分を強調するパラメータの補正を行い、及び／又は上記視聴環境の明るさに応じて上記画像信号処理手段による画像信号処理の輝度レベルの特性のパラメータの補正を行うことを特徴とする請求項４に記載の画像信号処理装置。
【請求項７】
撮像した画像情報に対して画像信号処理を施して、上記画像信号処理を施した画像情報を表示すると共に、記録媒体に記録する画像信号処理方法において、
上記画像信号処理を施した画像情報を外部の画像表示装置に表示するために上記画像表示装置との間で通信をする通信ステップと、
上記画像表示装置の画像表示性能に関する情報を取得する取得ステップと、
上記取得した上記画像表示装置の画像表示性能に応じて上記画像信号処理のパラメータを補正することによって上記画像表示装置の表示特性に適合する画質補正を行う第１の補正ステップと、
上記撮像により上記画像表示装置の視聴環境に関するデータを測定する測定ステップと、
上記視聴環境に関するデータに基づいて更に上記画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正ステップと、
を含むことを特徴とする画像信号処理方法。
【請求項８】
撮像手段により撮像した画像情報に対して画像信号処理手段により画像信号処理を施して、上記画像信号処理を施した画像情報を表示手段に表示すると共に、記録手段により記録媒体に記録する画像信号処理装置と、上記画像表示装置と接続されて上記画像信号処理を施した画像情報を表示する外部の画像表示装置とを有する画像信号処理システムにおいて、
上記画像信号処理装置は、
上記画像信号処理を施した画像情報を外部の画像表示装置に表示するために上記画像表示装置との間で通信をする通信手段と、
上記画像表示装置の画像表示性能に関する情報を取得する取得手段と、
上記取得手段により取得した上記画像表示装置の画像表示性能に応じて上記画像信号処理手段による画像信号処理のパラメータを補正することによって上記画像表示装置の表示特性に適合する画質補正を行う第１の補正手段と、
上記撮像手段により上記画像表示装置の視聴環境に関するデータを測定する測定手段と、
上記視聴環境に関するデータに基づいて更に上記画像信号処理手段による画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正手段とを備え、
上記外部の画像表示装置は、
上記画像表示装置の画像表示性能に関する情報を記憶する記憶手段を備えた
ことを特徴とする画像信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、テレビモニタに接続可能なカメラ一体型記録再生装置などに適用される画像信号処理装置、画像信号処理方法及び画像信号処理システムに関する。
【背景技術】
【０００２】
従来から、テレビモニタなどの画像表示装置に接続可能なデジタルカメラであって、画像表示装置の画面の大きさ、アスペクト比、γ特性、解像度、色合い、対応画像フォーマット等の表示性能の情報を画像表示装置内のメモリやインターネット上のサーバーから通信によって取得し、この情報に基づいて画像処理のパラメータを設定して表示装置に好適な画質に補正しカメラ信号の出力や記録、再生を行う画像・映像記録再生装置や画像処理装置、方法が知られている (特許文献１、特許文献２等参照) 。
【特許文献１】特開2004-320614号公報
【特許文献２】特開2003-259207号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、これら特許文献１、特許文献２に記載のデジタルカメラは、ある標準的な視聴環境では最適な画像表示が可能であるが、視聴においての周囲の明るさや接続される画像表示装置までの距離等の使用者が実際に視聴する環境までは考慮されていなかった。このため、これらの視聴環境についての要素が異なる場合に於いては実際には使用者にとって好ましい画質での表示がされているとは必ずしも言えなかった。従って、撮像画像の表示画質が低下するという不都合が生じていいた。
【０００４】
例えば、真っ暗な部屋において画像表示装置の出力を通常の明るさ設定で表示すると眩しい状態となる。また、画面サイズがさほど大きくなく視聴距離が長い（遠い）場合には、もともと周波数特性が高域まで伸びた画像信号のソースであってもディテール部分は見えにくく、エッジ部分がシャープな画像に見えない状態となる。逆に、画像表示装置までの距離が充分近い場合は画像に輪郭強調がなされていると不自然な画像に見える状態となる、等の場合が考えられる。
【０００５】
これらの視聴状態は、調整範囲の広い人間の目においても画像表示部の周囲視聴環境も織り込んで入力光に対して調整する働きをしていることに依存するものである。
また、画像表示装置としても入力される画像信号にかかわらず画面の明るさ、階調特性や周波数特性、色合い等の画質調整可能なものが知られているが、画像・映像記録再生装置からの信号に無関係にこれらの補正を行うと輝度、色の再現性の劣化や量子化ノイズの増加、その他S/Nの劣化等の画質劣化を招く場合があるという問題があった。
【０００６】
そこで、これらの状況を鑑み、本発明では、使用者が画像記録再生装置に内蔵されたカメラの機能を利用して視聴環境の要素を画像処理の設定に盛り込み、画質の補正を可能として、画像表示装置側での補正を不要とする画像信号処理装置、画像信号処理方法及び画像信号処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決し、本発明の目的を達成するため、本発明の画像信号処理装置は、画像信号処理を施した画像情報を外部の画像表示装置に表示するために画像表示装置との間で通信をする通信手段と、画像表示装置の画像表示性能に関する情報を取得する取得手段と、取得手段により取得した画像表示装置の画像表示性能に応じて画像信号処理手段による画像信号処理のパラメータを補正することによって画像表示装置の表示特性に適合する画質補正を行う第１の補正手段と、撮像手段により画像表示装置の視聴環境に関するデータを測定する測定手段と、視聴環境に関するデータに基づいて更に画像信号処理手段による画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正手段と、を備えたものである。
【０００８】
また、本発明の画像信号処理方法は、画像信号処理を施した画像情報を外部の画像表示装置に表示するために画像表示装置との間で通信をする通信ステップと、画像表示装置の画像表示性能に関する情報を取得する取得ステップと、取得ステップにより取得した画像表示装置の画像表示性能に応じて画像信号処理のパラメータを補正することによって画像表示装置の表示特性に適合する画質補正を行う第１の補正ステップと、撮像により画像表示装置の視聴環境に関するデータを測定する測定ステップと、視聴環境に関するデータに基づいて更に画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正ステップと、を含むものである。
【０００９】
また、本発明の画像信号処理システムは、画像信号処理装置は、画像信号処理を施した画像情報を外部の画像表示装置に表示するために画像表示装置との間で通信をする通信手段と、画像表示装置の画像表示性能に関する情報を取得する取得手段と、取得手段により取得した画像表示装置の画像表示性能に応じて画像信号処理手段による画像信号処理のパラメータを補正することによって画像表示装置の表示特性に適合する画質補正を行う第１の補正手段と、撮像手段により画像表示装置の視聴環境に関するデータを測定する測定手段と、視聴環境に関するデータに基づいて更に画像信号処理手段による画像信号処理のパラメータの補正を行うことにより視聴環境に適合する画質補正を行う第２の補正手段と、を備え、外部の画像表示装置は、画像表示装置の画像表示性能に関する情報を記憶する記憶手段を備えたものである。
【００１０】
上述した本発明の画像信号処理装置、画像信号処理方法及び画像信号処理システムによれば、例えば、テレビ、ディスプレイ、モニター、プロジェクター等の画像表示装置の画面の大きさ、アスペクト比、γ特性、解像度、色合い、対応画像フォーマット等の画像表示性能の情報を、画像表示装置との通信手段を介して取得するようにしている。また、これらの画像表示性能に関する情報をインターネット上のデータサーバー等との通信を通じて取得することも可能とし、さらには着脱式の記録メディアから、画像表示装置の画像表示性能の情報を取得することができるようにしている。
【００１１】
そして、取得手段により取得した画像表示装置の画像表示性能ないし機能情報に応じて画像信号処理のパラメータを補正することによって画像表示装置の表示特性に合わせた画質補正を行うことを可能としている。この画質補正は第１の補正手段によって行われる。また、内蔵の撮像手段により視聴環境の明るさや、視聴距離等の視聴環境データを測定して記憶するようにしており、この視聴環境データに基づいて、更に視聴環境に好適な画質補正が可能となる。この画質補正は第２の補正手段によって行われる。
【発明の効果】
【００１２】
本発明によれば、テレビモニタなどの画像表示装置に接続可能なカメラ一体型記録再生装置などに適用される画像信号処理装置、画像信号処理方法及び画像信号処理システムにおいて、使用者が内蔵された撮像手段により測定した視聴環境の要素を、第２の補正手段により画像処理の設定に盛り込んで画質の補正を可能としているので、画像表示装置側での補正が不要となり、かつ撮像画像の表示画質を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図１に、本発明の実施の形態例となるシステム構成図を示す。
図１において、画像記録再生装置１は、イメージセンサー６に対して撮像のための光を取り込むズームレンズ３、フォーカスレンズ４及びアイリス５からなる光学系２と、ズームレンズ３、フォーカスレンズ４及びアイリス５の各光学系２を駆動する２０，２１及び２２からなる光学系ドライバ・アクチュエータ１９と、イメージセンサー６とそれを駆動するタイミング発生器４０及びドライバー２３とを備えている。
【００１４】
また、画像記録再生装置１は、イメージセンサー６からの出力信号をサンプルホールド、黒レベルクランプ、ゲインコントロール等の処理を行うアナログフロントエンド部７と、その出力をデジタル信号に変換するＡ／Ｄコンバータ部８と、画像の明るさ、カラーバランス、周波数特性、階調特性、色相、彩度、画素数等を調整、変換可能として、イメージセンサー６により撮像されたデジタル信号画像を記録、伝送、表示のための信号処理するカメラ信号処理部９とを備えている。
【００１５】
このカメラ信号処理部９はイメージセンサー６側からの信号のみならず後述する記録メディアからの再生信号や外部ストリームからの画像信号も処理が可能な入力部を備えている。
【００１６】
図２にカメラ信号処理部９のブロック構成例を示す。
図２において、カメラ信号処理部９は、記録メディア及び外部ストリーム系からの輝度信号及び色差信号入力４１（Y、R‐Y、B‐Y）を３原色信号（R,G,B）に変換するマトリクス部４２と、イメージセンサー６側からの３原色信号（R,G,B）の黒レベルをクランプする黒クランプ部４４と、マトリクス部４２と黒クランプ部４４の出力を切り替えるスイッチ４５，４６，４７とを備えている。
【００１７】
また、カメラ信号処理部９は、３原色信号（R,G,B）のゲイン調整の処理を行うゲイン調整部４８と、ゲイン調整後の３原色信号（R,G,B）のホワイトバランス処理を行うホワイトバランス部４９と、ホワイトバランス処理後の３原色信号（R,G,B）のガンマ変換（１／γ）処理を行うガンマ変換（１／γ）部５０と、ガンマ変換（１／γ）処理後の３原色信号（R,G,B）の輝度変換を行って輝度信号を出力する輝度変換マトリクス部５１と、輝度変換後の輝度信号の低域成分を通過処理するローパスフィルタ（ＬＰＦ）５２とを備えている。
【００１８】
また、カメラ信号処理部９は、ホワイトバランス処理後の３原色信号（R,G,B）の高周波成分を抽出して輝度信号を出力する高周波成分抽出フィルタ５３と、高周波成分抽出後の輝度信号のゲイン調整の処理を行うゲイン調整部５４と、ゲイン調整後の輝度信号と低域成分を通過処理後の輝度信号とを加算して輝度信号（Y）を出力する加算部５５とを備えている。
【００１９】
また、カメラ信号処理部９は、コントロールバス５６を介して、黒クランプ部４４と、ゲイン調整部４８と、ホワイトバランス部４９と、ガンマ変換（１／γ）部５０と、輝度変換マトリクス部５１と、ローパスフィルタ（ＬＰＦ）５２と、高周波成分抽出フィルタ５３と、ゲイン調整部５４と、検波部５９と、ローパスフィルタ（ＬＰＦ）６０と、色合い(HUE)ゲインマトリク部６１との間で、マイクロコンピュータ５８とのコントロール信号及びデータのインターフェースを行うマイクロコンピュータインターフェース部５７とを備えている。
【００２０】
また、カメラ信号処理部９は、ゲイン調整後の３原色信号（R,G,B）とホワイトバランス処理後の３原色信号（R,G,B）とから基準レベルに対する光源の明るさ及び色温度を検出する検波部５９と、ガンマ変換（１／γ）処理後の３原色信号（R,G,B）の低域成分を通過処理するローパスフィルタ（ＬＰＦ）６０と、低域成分を通過処理の３原色信号（R,G,B）の色合い(HUE)及びゲインを合成して色差信号（R‐Y、B‐Y）を出力する色合い(HUE) ／ゲインマトリクス部６１とを備えている。
【００２１】
これにより、カメラ信号処理部９は、加算部５５から出力される輝度信号（Y）と色合い(HUE) ／ゲインマトリクス部６１から出力される色差信号（R‐Y、B‐Y）を画像信号出力６２として出力する。
【００２２】
図１に戻って、画像記録再生装置１は、カメラ信号処理部９からの画像信号や記録メディア２８からの再生信号、及び外部ストリームインターフェース２９からの入力画像信号を、必要に応じて画素数変換等処理を行うことによりLCD(liquid crystal display)パネル等の画像表示部１５に表示する画素数変換部１１，１３と、これらの画像信号にマイクロコンピュータ１７からの指示によってLCDパネル等の画像表示部１５用の出力及び外部画像表示装置３６用の出力にそれぞれGUI（graphical user interface）を重畳して出力するGUI生成重畳部１２と、OSD（on screen display）生成重畳部１４と、を有するベースバンド信号処理部１０を備えている。
【００２３】
また、画像記録再生装置１は、ベースバンド信号処理後のカメラ側の画像信号、記録メディアからの再生信号、外部ストリームからの入力画像、及びＧＵＩ等を表示するLCDパネル等の画像表示装置１５を備えている。この画像表示装置１５は、画像記録再生装置本体に搭載されている。以上の各部をもってカメラ部が構成される。
【００２４】
また、画像記録再生装置１は、カメラ信号処理部９からの出力信号を記録メディアに記録するため、又は記録メディアに記録された信号を再生するため圧縮伸張を行う、あるいは外部から入力される、又は外部へ出力されるストリーム内の画像信号の圧縮伸張を行う符号量圧縮/伸張部２５，２６と、記録メディアに記録、記録メディアから再生又はストリーム伝送処理に適した形に変換するためエラー訂正処理等を行う記録・再生・伝送用処理部２７と、内蔵または着脱可能な記録メディア部２８と、着脱可能な記録メディア部３４と、を備えている。
【００２５】
また、画像記録再生装置１は、ストリームの入出力処理を行う外部ストリームインターフェース部２９と、カメラ信号処理部９や伸張された画像データを画像表示装置３６への適した画像フォーマットや色空間への変換を必要に応じて行う出力フォーマット変換部３０と、画像表示装置３６への画像信号の伝送を行う画像信号インターフェース部３１と、を備えている。
【００２６】
また、画像記録再生装置１は、使用者の操作によって各部の制御のための入力操作を行うユーザーインターフェース１８と、画像表示装置３６の表示性能情報を通信によって取得可能な表示装置情報インターフェース部３２と、ネットワークサーバー等とのインターフェース部である通信手段３５と、マイクロコンピュータ１７により各部を制御するためのパラメータや通信によって取得した画像表示装置の情報データ及び使用者の操作によって取得された視聴環境の情報を格納する不揮発性のメモリであるEEPROM（electrical erasable read only memory）３３と、ユーザーインターフェース１８からの操作情報に基づいて以上各部を自動的、あるいは固定的に制御するホストマイクロコンピュータ１７とを備えて構成される。
【００２７】
また、外部に接続される外部画像表示装置３６は、自身の画面の大きさ、アスペクト比、γ特性、解像度、色合い、対応画像フォーマット等の表示性能の情報を内部記憶する不揮発性のメモリである表示装置情報EEPROM３９を持ち、ここに格納された情報を情報通信手段３５を通じて画像記録再生装置１との通信により送信可能な表示装置情報インターフェース部３８と、画像記録再生装置１からの画像信号の表示のための受信を行う画像信号インターフェース部３７とを備えて構成される。
【００２８】
この画像表示装置３６内部の表示装置情報EEPROM３９の表示装置情報データはVESA(Video Electronics Standards Association)規格のEDID(Extended Display Identification Data)に準拠していることが望ましい。
【００２９】
以下、このように構成された画像記録再生装置１の視聴環境に適合する画質補正動作を説明する。
本発明の実施の形態に用いられる画像記録再生装置１は、イメージセンサー６側からの信号のみならず、記録メディア２８からの再生信号や外部ストリームインターフェース部２９からの外部ストリームからの画像信号も処理が可能となっている。
また、視聴環境に適合する画質補正処理をする、しないという選択もユーザーインターフェース１８から入力可能である。
【００３０】
まず、第１に視聴環境に適合する画質補正処理の方法について説明する。
この視聴環境に合わせた画質補正処理方法は次の処理から成る。
まず、はじめに、視聴環境の情報を画像記録再生装置１に取り込み、EEPROM３３に記憶する。
次に、画像表示装置３６の表示性能情報を取得し、EEPROM３３に記憶する。
そして、視聴環境の情報と画像表示装置３６の表示性能情報を合わせて撮像、記録、再生時にカメラ信号処理部９におけるカメラ信号処理のパラメータに使用して視聴環境に適合するように画質を補正する。
上述した視聴環境の情報と画像表示装置３６の表示性能情報の取り込みは、どちらを先に行ってもよい。
【００３１】
以下、上述した視聴環境の情報を画像記録再生装置に取り込み記憶する処理について説明する。
図３は、視聴環境の情報を画像記録再生装置に取り込む状態を示したものであり、特に、その取り込む際の操作状況例を示す図である。
図３において、使用者７２は、画像表示装置３６の表示動作をオフ状態にするか、あるいは電源を落とし、採光状態７１を制限するかまたは周囲の照明の明るさ７３等によって部屋の明るさを視聴する時の最適な状態に設定している。
【００３２】
そして、画像記録再生装置１のカメラ部を起動し、視聴位置から画像表示装置３６を撮像する。このときカメラ信号処理部９における合焦動作をオートフォーカスに設定しておくことにより、フォーカスレンズ４の駆動位置に対応する視聴距離７４が測定可能となる。また、露光のモードを自動露光による動作に設定しておくことにより、アイリス５の駆動位置に対応する露光量を示す周囲の明るさ７３が測定可能となる。また、ＧＵＩや外部操作スイッチ等のユーザーインターフェース１８により画像記録再生装置１の動作モードを視聴環境の情報を取り込むためのモードに設定する。
【００３３】
この状態で、視聴位置から画像表示装置３６までの距離情報の取り込みを行い、視聴位置からオートフォーカス機能を用いて画像表示装置３６に合焦させる。このときのズームレンズの位置はできるだけテレ側に置くことが望ましい。そして、ＧＵＩや外部操作スイッチ等のユーザーインターフェース１８を用いた視聴環境情報取り込み動作を指示する操作により、画像記録再生装置１のマイクロコンピュータ１７はこの合焦時のフォーカスレンズ４の位置から視聴位置と画像表示装置３６との間の視聴距離７４を概算し、視聴距離７４のデータとしてEEPROM３３に格納する。
【００３４】
次に、視聴環境での周囲の明るさ情報の取り込みを行う。
図４は、視聴環境での周囲の明るさ情報の取り込みを行う状態を示す図である。
まず、視聴位置から画像表示装置３６の方向を撮像する。このとき使用者７２は被写体となっている画像表示装置３６の周囲まである程度撮像領域に含めて撮像することが望ましい。これについては、画像記録再生装置１本体に搭載のＬＣＤパネル等の画像表示部１５に撮像中の画像を表示し、その画面内に外部画像表示装置３６の外形を合わせるガイドとなる画枠合わせガイド８１を重畳してＧＵＩとして表示するようにする。これにより、周囲の明るさ情報の取り込みに対して標準的な画枠を使用者にガイドすることが可能となる。この画枠合わせガイド８１は、後述する視聴距離を画面サイズで割った値である変数αからその大きさを決定する。
【００３５】
この時、画像記録再生装置１ではカメラ信号処理部９における自動露光機能を用いて露光レベルの調節をした結果のアイリス５の位置、イメージセンサー６の電子シャッターのスピード、カメラ信号処理部９内のゲイン調整部４８，５４のレベルの情報から周囲の明るさレベルをマイクロコンピュータ１７が認識する。
【００３６】
そして、ＧＵＩや外部操作スイッチ等のユーザーインターフェース１８を用いた視聴環境情報取り込み動作を指示する操作により、この情報をデータとしてマイクロコンピュータ１７がEEPROM３３に格納する。このとき、視聴環境情報として視聴距離及び／又は周囲の明るさ情報により、視聴環境情報に基づく補正処理を行なうことができる。
【００３７】
以上説明したように、画像記録再生装置１の機能とその操作によって使用者７２は簡単に視聴環境の情報を画像記録再生装置１に記憶させることができ、図１のEEPROM３３に格納された情報は実際の撮影時、再生時にカメラ信号処理部９における画像処理補正パラメータとして使用可能となる。
【００３８】
次に、上述した画像表示装置３６の表示性能情報を取得し、記憶する処理について説明する。
図５は、画像表示装置３６の表示性能情報を取得し、記憶する処理を説明するための概念図である。
まず、画像記録再生装置１は、画像表示装置３６の表示性能情報を画像表示装置３６から取得する。すなわち、画像表示装置３６と画像記録再生装置１は通信回線で接続され、その間の通信により、画像記録再生装置１は画像表示装置３６の表示性能情報データを取得する。そして、取得したデータは、マイクロコンピュータ７によりEEPROM３３に格納され、記憶される。
【００３９】
この動作により取得されるデータには、画像表示装置３６の個体識別情報、画面の縦/横のサイズ、γ特性、白色点色度、ＲＧＢ色度、対応画像フォーマット等の情報が含まれる。これら画像表示装置３６内部の表示装置情報EEPROM３９のデータは、VESA(Video Electronics Standards Association)規格のEDID(Extended Display Identification Data)に準拠しているEDID情報９１である。
【００４０】
画像表示装置３６から画像表示性能情報を取得するのとは別に、９５で示すように、その他の画像表示装置３６の表示性能情報の取得手段としてインターネット９３のサーバー９４上に記憶されている画像表示装置の個別識別情報、画像表示能力情報のデータを通信手段を用いて取得することもできる。また、フラッシュメモリ９２等の着脱可能な記録メディアに格納された画像表示装置の個別識別情報、表示性能情報のデータを内蔵のマイクロコンピュータ１７が読み取って取得するようにしてもよい。
【００４１】
このように、マイクロコンピュータ７が取得しEEPROM３３に格納された表示性能情報のデータは、上述した視聴環境情報と同様に、実際の撮影時あるいは再生時にカメラ信号処理部９における画像処理補正パラメータとして使用可能となる。
また、視聴環境情報の取得、表示性能情報の取得の順番はどちらが先でもよい。
【００４２】
次に、撮像、記録、あるいは再生時に、上述した視聴環境情報と表示性能情報を合わせて使用し、画像の画質補正を行う処理について説明する。
通常、カメラ信号処理部９（図１参照）は、上述した視聴環境情報と表示性能情報を用いて、画像の画質補正を自動的に行っている。また、ユーザーインターフェース１８を通じて使用者７２がマニュアルで設定しても可能である。
【００４３】
以下、視聴環境による画像信号処理補正時の処理手順を説明する。
まず、マイクロコンピュータ１７は、画像表示装置３６の表示性能情報に基づいてカメラ信号処理部９の各処理のパラメータ設定を補正する。補正パラメータ項目としては、周波数特性、輪郭強調の程度、輝度、色相、彩度、階調特性、光源の色温度といった項目が挙げられる。
【００４４】
前記補正パラメータ項目の処理は以下の各部にて行う。
すなわち、周波数特性や輪郭強調の程度を補正するには、マイクロコンピュータ１７が、高周波成分抽出フィルタ５３のゲインの補正を行うことにより実行する。
また、色相、彩度の補正は、マイクロコンピュータ１７が、色合い(HUE) /ゲインマトリク部６１における色温度を示す色差信号（R‐Y、B‐Y）の角度及びレベルの変換を行うことにより実行する。
【００４５】
また、階調特性の補正は、マイクロコンピュータ１７が、ガンマ変換（１/γ）部５０のガンマ変換カーブを変えることにより実行する。
また、輝度の調整の手段としては、マイクロコンピュータ１７が、アイリス５の開口制御、イメージセンサー６の電子シャッターの速度制御、ゲイン調整部４８，５４のゲイン調整を行うことにより実行する。このとき、自動露光の基準の明るさ設定を補正するようにする。    
【００４６】
また、色温度の補正は、マイクロコンピュータ１７が、ホワイトバランス部４９におけるホワイトバランス調整を行うことにより実行する。
この動作により標準的な視聴距離や周囲の明るさといった視聴環境に合わせた画質補正が行われる。
【００４７】
次に上述した視聴環境情報を基に、カメラ信号処理部９の各処理のパラメータ設定をさらに補正する処理について説明する。
マイクロコンピュータ１７は、上述した視聴環境情報の取得処理によって得られた視聴距離と周囲の明るさ、及び表示性能情報の取得の取得処理によって得られた画面サイズの３つの情報と現在のパラメータ設定値を用いて、カメラ信号処理部９の各処理の補正量を計算し、パラメータを自動的に再設定するのであるが、以下、この補正アルゴリズムについて説明する。
【００４８】
先ず、視聴距離、周囲の明るさ、画面サイズの３つの要素が視聴画像に与える影響の意味合いの例を個別に述べる。
例えば、視聴距離が長い場合、視聴者にとって視野における画面サイズが相対的に小さくなり、表示画像のディテールが見えづらくなる。また、周囲の明るさの影響が大きくなってくる。
【００４９】
また、視聴距離が短い場合、視聴者にとって視野における画面サイズが相対的に大きくなり、表示画像のディテールは充分見えるため、輪郭強調的な処理がなされていると画像が不自然に見える。さらに、周囲の明るさの影響度が小さくなってくる。
また、周囲が明るい場合、視聴者にとっては表示画像が相対的に暗く見える。また、目のダイナミックレンジによっては表示画像の暗部の階調が認識できなくなる。
【００５０】
また、周囲が暗い場合、視聴者にとっては表示画像が相対的に明るく見える。極端な場合には眩しく感じられる。また、目のダイナミックレンジによっては表示画像の明部の階調が認識できなくなる。
さらに、画面サイズが小さい場合、視聴者にとっては表示画像のディテールが見えづらくなりシャープネスが不足する。また、周囲の明るさの影響が大きくなってくる。
また、画面サイズが大きい場合、視聴者にとっては表示画像のディテールは充分見えるため、輪郭強調的な処理がなされていると画像が不自然に見える。また、周囲の明るさの影響度が小さくなってくる、といった意味を持つことが想定できる。
【００５１】
上述した視聴画像に与える影響と補正の項目及び処理の方向性との対応については、以下のように実行する。
まず、ディテールが見えづらいという影響に対しては、画像信号の高周波成分のレベルを上げる方向で画像処理し、輪郭強調を行うことにより対応する。
また、ディテールの状態が充分認識できる場合の輪郭強調による影響に対しては、画像信号の高周波成分のレベルを補正し、できるだけ平坦な周波数特性に近づけることにより対応する。
【００５２】
さらにまた、周囲の明るさレベルが高くその影響度が大きいという影響に対しては、出力画像信号の輝度レベルを上げる方向で処理することにより対応する。
また、周囲の明るさレベルが低くその影響度が大きいという影響に対しては、出力画像信号の輝度レベルを下げる方向で処理することにより対応する。
【００５３】
また、明部の階調が認識しづらいという影響に対しては、ガンマ変換（１／γ）処理の低レベル付近のカーブを図１０に示す補正前のカーブ１１１から補正後のカーブ１１２方向に補正することにより対応する。
また、暗部の階調が認識しづらいという影響に対しては、ガンマ変換（１／γ）処理の低レベル付近のカーブを図９に示す補正前のカーブ１０２から補正後のカーブ１０１方向に補正することにより対応する、というような対応関係で考える。
【００５４】
カメラ信号処理部９にてこれらの補正を行う場合、ディテールの補正については、マイクロコンピュータ１７は、高周波成分抽出フィルタ５３の出力ゲインをコントロールすることにより実行する。
また、輝度レベルの補正については、マイクロコンピュータ１７は、検波部５９における自動露光制御の基準レベルを変えることにより実行する。
また、階調の補正については、マイクロコンピュータ１７は、ガンマ変換（１／γ）処理部５０におけるガンマ変換特性のカーブ補正を行うことにより実行する。
【００５５】
ここで、視聴画像に与える影響の意味としては、画面サイズが大きい＝視聴距離が短い、画面サイズが小さい＝視聴距離が長い、という捕らえ方をし、これに基づき、α= 視聴距離／画面サイズ、という変数αを設定する。この変数αは、視聴者の視野における相対的な画面の大きさという意味と、周囲の明るさの影響度という意味の２つの意味を表すものである。
【００５６】
図１１は、α= 視聴距離／画面サイズに応じた周囲の明るさの影響度を示す図である。
この変数αにある基準値 ｄを設ける。一般的に垂直方向の画面サイズの数倍が最適な視聴距離であると言われており、この条件に合致する条件にて設定する。
ここで、α＝ｄの場合、視聴者の視野における画面の大きさは標準的である。このとき、画面の大きさに対して標準的な視聴距離であるため、周囲の明るさの影響度は標準的である。
【００５７】
また、α＞ｄの場合、視野における画面の大きさは相対的に小さく、像のディテールが見えづらくなってくるため、周囲明るさの影響度は大きい。
逆に、α＜ｄの場合、視野における画面の大きさは相対的に大きく、表示画像のディテールは充分認識できるため、周囲明るさの影響度は小さい、ということができる。
【００５８】
また、β＝周囲の明るさ×α、という変数を設定する。
この変数βが実際の周囲の明るさに対する補正の方向と必要な補正の程度を表すものである。標準的な明るさにおいてα＝ｄであった場合の変数βの値を基準値としてこれをｒとする。
【００５９】
まず、β＝ｒの場合、影響度と明るさの関係が標準的である。また、β＞ｒの場合、影響度も踏まえて相対的に明るい。逆に、β＜ｒの場合、影響度も踏まえて相対的に暗い。以上のことを踏まえ、視聴環境の情報に対しての補正処理の例となるフローチャートを図６に示す。
【００６０】
図６において、まず、補正処理がスタートすると（ステップＳ１）、α＞ｄであるか否かを判断する（ステップＳ２）。ステップＳ２でα＞ｄであるときは、高周波成分を強調する（ステップＳ３）。
ステップＳ２でα＞ｄでないとき及びステップＳ３の高周波成分を強調したときは、β＝ｒであるか否かを判断する（ステップＳ４）。ステップＳ４でβ＜ｒであるとき、輝度レベルを上げて、ガンマ変換特性γの暗部を立たせたカーブにする（ステップＳ５）。ステップＳ４でβ＞ｒであるとき、輝度レベルを下げて、ガンマ変換特性γの明部を落としたカーブにする（ステップＳ６）。そして、補正処理を終了する（ステップＳ７）。
【００６１】
図７は、αのレベルに対して高周波成分を強調する場合の度合いの例、つまりαにたいする高周波成分の強調補正のレベルを示す図である。図７は、図６のステップＳ３でα＞ｄであるときに高周波成分を強調する場合を示す。
また、図８は、βのレベルに対する、輝度レベル補正の関係の例を示す図である。この図８は、図６のステップＳ５でβ＜ｒであるときに輝度レベルを上げてガンマ変換特性γの暗部を立たせたカーブにする場合と、ステップＳ６でβ＞ｒであるときに輝度レベルを下げてガンマ変換特性γの明部を落としたカーブにする場合を示すものである。
【００６２】
図６のフローチャートに示すように、ステップＳ６でβ＞ｒであるときに輝度レベルを下げる、つまり、カメラにおいては自動露光の基準レベルを下げると、画像の暗部がつぶれて階調が判別できなくなる可能性がある。このため、輝度レベルの補正と合わせてガンマ変換（１／γ）処理部５０のガンマ変換特性のカーブの暗部を立たせる方向の補正を行うようにしている。この様子を図９に示す。
【００６３】
逆に、ステップＳ５でβ＜ｒであるときに輝度レベルを上げる、つまり、カメラにおいては自動露光の基準レベルを上げると、画像の明部がつぶれて階調が判別できなくなる可能性がある。このため、輝度レベルの補正と合わせてガンマ変換（１／γ）処理部５０のガンマ変換特性のカーブの明部を落とす方向の補正を行う。この様子を図１０に示す。
【００６４】
最後に、画像信号ソースによる処理の区別について説明する。
画像記録再生装置１は、カメラ信号処理部９の入力信号を切り替えることによりイメージセンサー６からの入力信号のみならず、記録メディア２８からの再生信号や外部ストリームからの画像信号の処理が可能となっている。
【００６５】
すなわち、以下に説明するような動作モードに応じて、ホストマイクロコンピュータ１７がカメラ信号処理部９の入力信号を選択し、選択した動作モード間の画質の差を認識して補正の程度を加減することが可能である。
第１に、カメラの画像を外部画像表示装置へ画像出力するモード、第２に、カメラの画像を記録メディアに記録しながら外部画像処理装置へ画像出力するモード、第３に、記録メディアからの再生画像を外部画像表示装置へ画像出力するモード、第４に、外部ストリームからの入力画像を外部画像表示装置へ画像出力モード、の４つの動作モードがある。
【００６６】
一般に、記録、伝送のための圧縮、伸張処理でＤＣＴ(discreet cosine transformation)等を用いている場合には、ブロックノイズ等により周波数特性が劣化する場合がある。このため、カメラ画像を、記録メディアを介さずに外部画像表示装置３６に出力する場合と、カメラ画像を一旦圧縮して記録メディア２８に記録し、再生信号を伸張して、外部画像表示装置３６に出力する場合とでは、高周波成分抽出フィルタ５３のゲインを変える必要性が考えられる。
【００６７】
第１の動作モードの場面においては上述した視聴環境による画像信号処理の補正処理で説明したとおり補正すればよい。
また、第２の動作モードの場面においては記録メディア２８に記録した画像を後に再生して見ることが前提であるため、圧縮処理による周波数特正等の劣化を見込んであらかじめそれに対応する項目を補正しておいてもよい。
【００６８】
第３の動作モードの場面においては第２の動作モードの時点で補正が行われていたのであれば補正の必要はない。着脱式の記録メディア２８であった場合で自己による記録でない場合は補正を行ってもよい。
また、第４の動作モードの場面においては第３の動作モードと同様に考えることができる。つまり、イメージセンサー６以外の入力信号についての輝度調整は、カメラ信号処理部９内のゲイン調整部４８、５４に対するゲイン調整により行う。
以上のような補正処理を行うことにより画像表示装置３６の表示性能と使用者の視聴環境も含めて実際に好ましい画質設定とすることができる。
【００６９】
本発明の実施の形態によれば、画像表示装置３６の表示性能の情報による画像処理の補正に加え、使用者が簡単な操作で視聴環境の情報を、カメラ部を通じて取得して画像記録再生装置１内に記憶することができる。そして、その視聴環境の情報を基に画像信号処理のパラメータ設定を自動的に調整することによって、画像表示装置３６側での画質補正を行わずに済ませることができるので、使用者の実際の視聴環境を含めた中での好適な画質設定による画像表示を可能とすることができる。
【００７０】
上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば、適宜、その構成を変更しうることはいうまでもない。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態例を示すシステム構成図である。
【図２】カメラ信号処理部のブロック構成例を示す図である。
【図３】視聴環境の情報を画像記録再生装置に取り込む状態を示す図である。
【図４】視聴環境での周囲の明るさ情報の取り込みの様子を示す図である。
【図５】画像表示装置の表示性能情報を取得し、記憶する概念図である。
【図６】視聴環境の情報に対しての補正処理の例を示すフローチャートである。
【図７】αのレベルに対する高周波成分の強調の程度の関係の例を示す図である。
【図８】βのレベルに対する、輝度レベルの補正の程度の関係の例を示す図である。
【図９】１/γの特性の補正例１を示す図である。
【図１０】１/γの特性の補正例２を示す図である。
【図１１】α= 視聴距離／画面サイズに応じた周囲の明るさの影響度を示す図である。
【符号の説明】
【００７２】
１…画像記録再生装置、２…光学系、３…ズームレンズ、４…フォーカスレンズ、５…アイリス、６…イメージセンサー、７…アナログフロントエンド部、８…Ａ／Ｄコンバータ部、９…カメラ信号処理部、１０…ベースバンド信号処理部、１１，１３…画素数変換部、１２…GUI生成重畳部、１４…OSD生成重畳部、１５…画像表示部、１７…マイクロコンピュータ、１８…ユーザーインターフェース、１９、２０，２１、２２…光学系ドライバ・アクチュエータ、２３…ドライバー、２５，２６…符号量圧縮/伸張部、２８…記録メディア１、２９…外部ストリームインターフェース、３０…出力フォーマット変換部、３１…画像信号インターフェース部、３２…表示装置情報インターフェース部、３３…EEPROM、３４…記録メディア部２、３５…通信手段、３６…外部画像表示装置、３７…画像信号インターフェース部、３８…表示装置情報インターフェース部、３９…EEPROM、４０…タイミング発生器
【図１】
2007057599.tif 000003
【図２】
2007057599.tif 000004
【図３】
2007057599.tif 000005
【図４】
2007057599.tif 000006
【図５】
2007057599.tif 000007
【図６】
2007057599.tif 000008
【図７】
2007057599.tif 000009
【図８】
2007057599.tif 000010
【図９】
2007057599.tif 000011
【図１０】
2007057599.tif 000012
【図１１】
2007057599.tif 000013