(57)【要約】【課題】  画質調整の対象とする領域を選択するユーザの手間を軽減する。【解決手段】  ユーザは、操作部（１１１）により画質調整項目を指定する。画像解析部（１０８）は、入力画像を解析して特徴量を算出する。画像切り出し制御部（１０９）は、特徴量と画質調整項目に従い、切り出し範囲を決定する。画像切り出し部（１０２）は、入力画像から、画像切り出し制御部（１０９）により指定される切り出し範囲を切り出す。画像処理部（１０４）は、指定された画質調整項目に応じて、切り出された画像の画質を調整する。【選択図】  図１
2012165321.tif 000002
【特許請求の範囲】
【請求項１】
画像入力手段と、
前記画像入力手段により入力される画像の一部を切り出す切り出し手段と、
前記画像入力手段により入力される画像に対する画質調整項目を指定する指定手段と、
前記指定手段で指定される画質調整項目に従い、前記画像入力手段により入力される画像の一部に画質調整を行う画質調整手段と、
前記指定手段で指定される画質調整項目に従い、前記切り出し手段の切り出し範囲を制御する制御手段
とを有することを特徴とする画像処理装置。
【請求項２】
さらに、前記画像入力手段により入力される前記画像の特徴量を解析する画像解析手段を有し、
前記制御手段は、前記指定手段により指定される前記画質調整項目と、前記解析手段により得られる特徴量とに基づいて、前記切り出し手段の前記切り出し範囲を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解析手段は前記画像入力手段により入力される画像の複数の特徴量を解析し、
前記制御手段は、前記指定手段により指定される前記画質調整項目に応じて、前記解析手段による前記複数の特徴量から１つを選択する手段と、選択した１つの特徴量に基づいて、前記切り出し手段の前記切り出し範囲を決定する手段とを具備する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記解析手段は前記画像入力手段により入力される画像の複数の特徴量を解析し、
前記制御手段は、前記指定手段により指定される前記画質調整項目に応じて、前記解析手段による前記複数の特徴量から２つを選択する手段と、選択した２つの特徴量に基づいて、前記切り出し手段の前記切り出し範囲を決定する手段とを具備する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記選択された２つの特徴量は、互いに相反する特性を備える特徴量であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、選択された前記特徴量を最も多く含む範囲を前記切り出し手段の切り出し範囲として決定することを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
【請求項７】
さらに、画像をリサイズするリサイズ手段と、前記指定手段により指定される画質調整項目に応じて前記制御手段により制御されて、前記リサイズ手段と前記切り出し手段の一方を選択するスイッチとを具備することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
動画入力手段と、
前記動画入力手段により入力される動画の一部の期間を切り出す切り出し手段と、
前記動画入力手段により入力される動画に対する画質調整項目を指定する指定手段と、
前記指定手段で指定される画質調整項目に従い、前記動画入力手段により入力される動画の一部に画質調整を行う画質調整手段と、
前記指定手段で指定される画質調整項目に従い、前記切り出し手段の切り出し期間を制御する制御手段
とを有することを特徴とする画像処理装置。
【請求項９】
さらに、前記動画入力手段により入力される動画の各フレームの特徴量を解析する解析手段を有し、
前記制御手段は、前記指定手段により指定される前記画質調整項目と、前記解析手段により得られる特徴量とに基づいて、前記切り出し手段の前記切り出し期間を決定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記解析手段は前記動画入力手段により入力される動画の複数の特徴量を解析し、
前記制御手段は、前記指定手段により指定される前記画質調整項目に応じて、前記解析手段による前記複数の特徴量から１つを選択する手段と、選択した１つの特徴量に基づいて、前記切り出し手段の前記切り出し期間を決定する手段とを具備する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記制御手段は、前記指定手段により指定される前記画質調整項目に応じて、前記切り出し手段の切り出し期間の長さを決定することを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
画像入力手段と、
前記画像入力手段により入力される画像の一部を切り出す切り出し手段と、
前記画像入力手段により入力される画像に対する画質調整項目を指定する指定手段と、
前記指定手段で指定される画質調整項目に従い、前記画像入力手段により入力される画像の一部に画質調整を行う画質調整手段と、
前記指定手段で指定される画質調整項目に従い、前記切り出し手段の切り出し範囲を制御する制御手段と、
前記切り出し手段により切り出された画像を表示する表示手段
とを有することを特徴とする表示装置。
【請求項１３】
動画入力手段と、
前記動画入力手段により入力される動画の一部の期間を切り出す切り出し手段と、
前記動画入力手段により入力される動画に対する画質調整項目を指定する指定手段と、
前記指定手段で指定される画質調整項目に従い、前記動画入力手段により入力される動画の一部に画質調整を行う画質調整手段と、
前記指定手段で指定される画質調整項目に従い、前記切り出し手段の切り出し期間を制御する制御手段と、
前記切り出し手段により切り出された画像を表示する表示手段
とを有することを特徴とする表示装置。
【請求項１４】
画像入力ステップと、
前記画像入力ステップで入力される画像に対する画質調整項目を指定する指定ステップと、
前記指定ステップで指定される画質調整項目に従い、前記画像入力ステップで入力される画像の切り出し範囲を決定する決定ステップと、
前記画像入力ステップで入力される画像から、前記決定ステップで決定される切り出し範囲を切り出す切り出しステップと、
前記指定ステップで指定される画質調整項目に従い、前記画像入力ステップで入力される画像の一部に画質調整を行う画質調整ステップ
とを具備することを特徴とする画像処理方法。
【請求項１５】
動画入力ステップと、
前記動画入力ステップで入力される動画に対する画質調整項目を指定する指定ステップと、
前記指定ステップで指定される画質調整項目に従い、前記動画入力ステップで入力される動画の切り出し期間を決定する決定ステップと、
前記動画入力ステップで入力される画像から、前記決定ステップで決定される切り出し期間を切り出す切り出しステップと、
前記指定ステップで指定される画質調整項目に従い、前記動画入力ステップで入力される動画の一部に画質調整を行う画質調整ステップ
とを具備することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置及び画像処理方法に関し、特に、入力画像を画質調整する画像処理装置、表示装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、ディスプレイ等の表示装置には、表示画像に対して一定の画質調整処理を行うことができる機能が搭載されてきている。従来、これらのディスプレイでは、入力された画像を表示画面上に表示しながら、ユーザの操作によって、画質調整パラメータを決定して、画質調整を実行していた。
【０００３】
特許文献１には、画質調整の比較のための画像の切り出し領域をユーザが手動で指定可能な装置が記載されている。具体的には、タッチパネル型の表示装置に入力画像を表示し、ユーザが入力画像にタッチすることで切り出し領域を決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１４０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された従来技術では、画質調整のための切り出し領域の指定をユーザが手動で行わなければならず、ユーザの負担が増してしまう。
【０００６】
本発明は、ユーザが手動で切り出し領域を指定することなく、選択された画質調整に適した領域を切り出して表示することができる画像処理装置、表示装置及び画像処理方法を提示することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理装置は、画像入力手段と、前記画像入力手段により入力される画像の一部を切り出す切り出し手段と、前記画像入力手段により入力される画像に対する画質調整項目を指定する指定手段と、前記指定手段で指定される画質調整項目に従い、前記画像入力手段により入力される画像の一部に画質調整を行う画質調整手段と、前記指定手段で指定される画質調整項目に従い、前記切り出し手段の切り出し範囲を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、選択された画質調整に適した領域を切り出して表示することができ、ユーザの負荷を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１の概略構成ブロック図である。
【図２】本実施例の入出力画像例を示す模式図である。
【図３】本実施例における入力画像に対する処理の説明図である。
【図４】本実施例における画像切り出し処理のフローチャートである。
【図５Ａ】本実施例の色調整の場合の切り出し領域決定のフローチャートである。
【図５Ｂ】本実施例の輪郭強調の場合の切り出し領域決定のフローチャートである。
【図６】本実施例における調整色の説明図である。
【図７】本実施例の切り出し領域候補の説明図である。
【図８】本実施例の特徴量の説明図である。
【図９】本発明の実施例２の概略構成ブロック図である。
【図１０】実施例２における切り出し範囲の説明図である。
【図１１】実施例２における画像切り出し処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものである。本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。また、以下の実施例では、ディスプレイに組み込まれた画像処理装置について説明するが、画像処理装置がディスプレイと離間されていてもよい。また、本実施例の画像処理装置の処理を実行することができる表示装置も本発明を適用することができる。ここで表示装置は、ディスプレイに限定されるものではなく、例えば、液晶プロジェクタ、携帯電話、デジタルフォトフレームなどの画像を表示することができる装置であればどのようなものでもよい。
【実施例１】
【００１１】
図１は、本発明の一実施例の概略構成ブロック図を示す。本実施例は、画質調整項目と画像解析結果に応じて画質を調整する画像処理装置であり、ディスプレイ（表示装置）に組み込まれる。図２は入出力画像及び出力画像の一例の模式図を示し、図３は、入力画像に対する処理の様子を示す。
【００１２】
図１において、１０１はリサイズ処理部、１０２は画像切り出し部、１０３はメモリ、１０４は画像処理部、１０５はメモリ、１０６は画像合成部である。表示部１０７は、たとえば液晶ディスプレイなどの表示装置である。１０８は画像解析部、１０９は画像切り出し制御部、１１０は本システム全体を制御する制御部、１１１はユーザ操作を受け付ける操作部、１１２は切り替えスイッチである。
【００１３】
図１に示す実施例の、画質調整が行われない場合の動作を説明する。図示しない入力端子又は画像入力手段から図２（ａ）に示すような画像データが入力したとする。この画像データはリサイズ処理部１０１に入力される。リサイズ処理部１０１は必要に応じて拡大又は縮小などのリサイズ処理を行い、処理後の画像データをメモリ１０３に出力する。画像処理部１０４は、メモリ１０３に格納された画像データを読み込み、輪郭強調及び色補正などの画像処理を施し、メモリ１０５に出力する。画像合成部１０６は、メモリ１０５の画像データに、制御部１１０により生成されたＯＳＤメニュー画像などを合成し、表示部１０７に出力する。表示部１０７は、画像合成部１０６からの画像データを画像表示する。
【００１４】
ユーザによって画質調整が行われる場合の動作を説明する。ユーザによる操作部１１１の所定操作に応じて、制御部１１０は、メニュー画像を生成し、画像合成部１０６に送信する。これより、表示部１０７の表示画面には、図２（ｂ）に示すように、ＯＳＤによるメニュー画像２０１が重畳表示される。本実施例では、図２（ｂ）に示すように、画質調整項目として、明るさ、輪郭強調及び色の３種類が用意されている。もちろん、その他の調整項目があってもよい。
【００１５】
ユーザが、メニュー操作により画質調整を指示したとする。操作部１１１が、画質調整項目を指定する指定手段として機能する。図示しない入力端子から入力された入力画像データは、画像切り出し制御部１０９の制御により、リサイズ処理部１０１又は画像切り出し部１０２に入力される。また、入力画像データは画像解析部１０８にも入力される。
【００１６】
リサイズ処理部１０１は、入力画像データの画像全体を縮小し、メモリ１０３へ出力する。縮小の様子を図３（ａ）に示す。図３（ａ）において、３０１は入力画像を示し、３０２は縮小画像を示す。リサイズ処理部１０１は、入力画像データを水平垂直半分の解像度に縮小する。
【００１７】
画像切り出し部１０２は、入力画像データの一部を切り出してメモリ１０３に出力する。画像切り出しの様子を図３（ｂ）に示す。図３（ｂ）において、３０３は入力画像データの画像全体を示し、３０４は切り出し領域を示し、３０５は切り出した画像を示す。このように、画像切り出し部１０２は、入力画像データから水平半分のサイズを切り出す。
【００１８】
画像処理部１０４は、メモリ１０３に記憶される画像データを読み込み、画像処理を行い、メモリ１０５に出力する。このとき、画像処理部１０４は、メモリ１０３に記憶された同一の画像データを２度読み出し、一方を画質調整前のパラメータで画質調整し、他方を画質調整後のパラメータで画質調整する。画像処理部１０４が画質調整手段として機能する。即ち、画質調整前のパラメータによる画像データと、画質調整後のパラメータによる画像データの２つの画像データをメモリ１０５に出力する。画像合成部１０６は、メモリ１０５に記憶される画質調整前の画像データと画質調整後の画像データを読み込み、１画面に合成する。また、ＯＳＤ画像データも合わせて合成する。図２（ｃ）、（ｄ）は合成後の画像例を示す。図２（ｃ）は、画像切り出し部１０２により切り出した画像を合成した合成画像を示す。図２（ｄ）はリサイズ処理部１０１において縮小した画像を合成した合成画像を示す。図２（ｃ）において、２０２は画像処理前の画像データ、２０３は画像処理後の画像データ、２０４〜２０６はＯＳＤ画像をそれぞれ示す。
【００１９】
上記のように合成された図２（ｃ）、（ｄ）に示す画像データは、表示部１０７に出力され、表示部１０７の液晶パネルにより画像として表示される。
【００２０】
画像解析部１０８は、入力画像データの特徴を解析する。具体的には、図３（ｃ）に示すように、入力画像を複数のブロックに分割し、ブロック毎の画像特徴量を算出する。ここで算出する画像特徴量は、輝度（Ｙ）、色（Ｃｂ，Ｃｒ）の平均値、エッジ量及び平坦量である。
【００２１】
輝度（Ｙ）と色（Ｃｂ，Ｃｒ）は、図３（ｃ）に示すブロック内の平均値として算出される。
【００２２】
エッジ量と平坦量は、公知の如何なる技術を用いて算出してもよいが、本実施例では、入力画像データに対して微分型のエッジ検出オペレータを適用して算出する。簡易的な代表例として、差分型エッジ検出オペレータを用いる例を説明する。即ち、ある画像の画素（ｉ，ｊ）におけるｘ方向およびｙ方向のデジタル微分をｆｘ（ｉ，ｊ），ｆｙ（ｉ，ｊ）とすると、
ｆｘ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）−ｆ（ｉ，ｊ）
ｆｙ（ｉ，ｊ）＝ｆ（ｉ，ｊ＋１）−ｆ（ｉ，ｊ）
と表わされる。このとき、微分の強度｜∇ｆ（ｉ，ｊ）｜は、簡易的に、
｜∇ｆ（ｉ，ｊ）｜＝｜ｆｘ（ｉ，ｊ）｜＋｜ｆｙ（ｉ，ｊ）｜
と表わされる。
【００２３】
本実施例では、この微分強度｜∇ｆ（ｉ，ｊ）｜をある画素（ｉ，ｊ）におけるエッジの強度として用いる。このエッジ強度が所定閾値よりも高い画素をエッジ画素と判定する。図３（ｃ）に示す各ブロック内の画素の中で、エッジ画素と判定された画素の数をエッジ量とする。また、エッジ強度が所定閾値以下の画素を平坦画素と判定し、各ブロックにおける平坦画素の数を平坦量とする。
【００２４】
このように各画像特徴量を算出すると、画像解析部１０８は、算出した画像特徴量を画像切り出し制御部１０９に出力する。
【００２５】
制御部１１０は、操作部１１１に対するユーザのメニュー操作に従い、メニュー表示を制御し、ディスプレイの動作を制御する。例えば、ユーザによって画質調整のメニューが選択された場合、制御部１１０は、画質調整項目（明るさ、輪郭強調及び色）の情報を画像切り出し制御部１０９に出力する。
【００２６】
画像切り出し制御部１０９は、画像解析部１０８からの画像特徴量と、制御部１１０からの画質調整項目情報に基づき、画質調整時の画像表示を制御する。具体的には、画像切り出し制御部１０９は、入力画像に対して、リサイズと画像切り出しのどちらを行うかを決定し、画像切り出しの場合には、どの位置を切り出すのかを制御する。
【００２７】
図４は、画像切り出し制御部１０９の制御動作のフローチャートを示す。ステップＳ４０１では、画像切り出し制御部１０９は、画質調整項目が明るさ調整であるかチェックする。明るさ調整である場合、ステップＳ４０２に進み、明るさ調整でない場合、ステップＳ４０３に進む。ステップＳ４０２では、画像切り出し制御部１０９は、スイッチ１１２をリサイズ処理部１０１側に接続する。ステップＳ４０３では、画像切り出し制御部１０９は、スイッチ１１２を画像切り出し部１０２側に接続する。このように制御する理由は、明るさの調整の場合、図２（ｄ）に示すように画像全体を縮小して並べた方が画像全体への画質調整の影響を確認できるからである。
【００２８】
他方、色調整及び輪郭強調調整の場合、図２（ｃ）に示すように、入力画像を縮小せずに切り出す。これは、調整対象が小さくなりすぎることや、縮小による変換処理により、調整の結果を把握することが困難になることがあるからである。
【００２９】
ステップＳ４０４では、画像切り出し制御部１０９は、画質調整項目が色であるか否かをチェックする。画質調整項目が色の場合、ステップＳ４０５に進み、色以外（輪郭強調調整）の場合、ステップＳ４０６に進む。
【００３０】
ステップＳ４０５では、画像切り出し制御部１０９は、色調整に対応した切り出し領域を決定する。本実施例では、画像切り出し制御部１０９は、画像解析部１０８で算出された画像特徴量に基づき、切り出し領域を決定する。
【００３１】
ステップＳ４０５の詳細を、図５Ａに示す。図５Ａにおいて、ステップＳ５０１では、画像切り出し制御部１０９は、入力画像全体の調整色及び周辺色の量を算出する。ここで、調整色とは、ユーザ操作によって指定された色調整する色である。一方、周辺色とは、調整色に近い色相又は彩度を持つ色である。例えば、ユーザが調整する色を黄色人種の肌色と指定した場合、調整色は肌色であり、周辺色は黄色又はオレンジになる。本実施例では、調整色が肌色である場合を例に以降の説明を進める。図６は、調整色が肌色の場合の、調整色と周辺色の関係を示す。図６はＣｂ・Ｃｒ平面における、調整色及び周辺色の範囲を示す。６０１が本実施例での調整色（肌色）の範囲を示す。６０２は、周辺色（黄色、オレンジ色）の範囲を示す。
【００３２】
前述のとおり、画像解析部１０８は、図３（ｃ）に示すように、画像をブロックに分割して各ブロックの色平均値（Ｃｂ、Ｃｒ）を算出する。画像切り出し制御部１０９は、このブロック毎の色平均値が、図６の領域６０１に含まれるか否かをチェックし、領域６０１に含まれるブロックを調整色（肌色）ブロックとする。また、領域６０２に含まれるブロックを周辺色ブロックとする。
【００３３】
ステップＳ５０２では、画像切り出し制御部１０９は、予め用意した複数の切り出し領域候補に対して調整色ブロックと周辺色ブロックがそれぞれ何個含まれるかをカウントする。図７は、入力画像の切り出し領域候補を示す模式図である。図７において、７０１、７０２、７０３は切り出し領域候補を示す。前述の通り入力画像はブロックに分割されており、各切り出し領域候補に含まれるブロックが決まっている。画像切り出し制御部１０９は、各切り出し領域候補に対して調整色ブロックと周辺色ブロックがそれぞれ何個含まれるかをカウントする。図８（ａ）は、図７に示す各切り出し領域候補における調整色ブロック数及び周辺色ブロック数の一例を示す。
【００３４】
ステップＳ５０３では、画像切り出し制御部１０９は、切り出し領域候補７０１，７０２，７０３の何れが調整色ブロックを含むかをチェックする。調整色ブロックを含む場合は、ステップＳ５０４に進み、含まない場合はステップＳ５０７に進む。図８（ａ）に示す例では、切り出し領域候補７０２と同７０３が調整色ブロックを含むので、これらに対してステップＳ５０４に進む。
【００３５】
ステップＳ５０４では、画像切り出し制御部１０９は、各切り出し領域候補７０１，７０２，７０３に、調整色（肌色）ブロック数が所定閾値以上かどうかをチェックする。本実施例ではこの閾値を５とする。即ち、調整色（肌色）ブロックが５個以上ある場合、ステップＳ５０５に進み、５個未満の場合、ステップＳ５０６に進む。図８（ａ）に示す例では、切り出し領域候補７０３が調整色（肌色）ブロックを５以上含むので、ステップＳ５０５に進む。
【００３６】
ステップＳ５０５では、画像切り出し制御部１０９は、閾値以上の調整色（肌色）ブロックを有する切り出し領域候補のうち、調整色ブロック数と周辺色ブロック数の合計が最も多いものを、最終的な切り出し領域に決定する。これは、調整色を十分含んでいる切り出し領域はどれを選んでも、ユーザが色調整するには十分であるが、さらに周辺色を多く含む領域を選択することで、より高精度な調整が可能となるからである。
【００３７】
調整色をユーザが好ましい色に調整することによって、周辺色も多少の影響を受け変化する。特に、調整色を大きく変更した場合などには、周辺色が好ましくない色味に変化してしまう可能性がある。例えば、肌色を大きく変更すると、周辺色である黄色やオレンジ色が意図しない色変化してしまう可能性がある。調整色に加えて周辺色を多く含む領域を切り出し範囲に設定することにより、調整色の色味と、調整色を調整することによる周辺色への影響の両方を加味した色調整が可能になる。
【００３８】
図８（ａ）に示す例では、３つの切り出し領域候補７０１，７０２，７０３のうち調整色（肌色）ブロック数が閾値以上あるのは、切り出し領域候補７０３だけである。従って、この場合、画像切り出し制御部１０９は、切り出し領域候補７０３を最終的な切り出し領域と決定する。
【００３９】
ステップＳ５０６では、画像切り出し制御部１０９は、調整色（肌色）ブロックの個数が最も多い切り出し領域候補を最終的な切り出し領域に決定する。これは、調整する対象の色を含む画像（例えば肌色画像領域）はできるだけ大きい方が、ユーザは調整しやすくなると考えるからである。
【００４０】
ステップＳ５０７では、標準となる切り出し領域（本実施例の場合、切り出し領域候補７０２に設定）を最終的な切り出し領域に決定する。
【００４１】
図４に戻り、ステップＳ４０６では、画像切り出し制御部１０９は、輪郭強調調整に対応した切り出し領域を決定する。ここで、切り出し領域は、ステップＳ４０５と同様に、３つの切り出し領域候補７０１、７０２、７０３から決定される。
【００４２】
図５Ｂは、ステップＳ４０６の詳細を示す。ステップＳ５１１では、画像切り出し制御部１０９は、画像特徴量から輪郭強調で用いる特徴量を解析する。具体的には、画像切り出し制御部１０９は、画像解析部１０８から出力されたエッジ量および平坦量を解析する。画像切り出し制御部１０９は、各ブロックに対して、エッジ量が所定閾値以上あるブロックをエッジブロックと判定し、平坦量が所定閾値以上あるブロックを平坦ブロックと判定する。
【００４３】
ステップＳ５１２では、画像切り出し制御部１０９は、切り出し領域候補７０１、７０２、７０３に、エッジブロックと平坦ブロックがそれぞれ何個含まれるかをカウントする。各切り出し領域候補７０１，７０２，７０３におけるエッジブロック数及び平坦ブロック数の一例を図８（ｂ）に示す。
【００４４】
ステップＳ５１３では、画像切り出し制御部１０９は、各切り出し領域候補７０１，７０２，７０３がエッジブロックを含んでいるか否かをチェックする。エッジブロックを一つでも含む切り出し領域候補がある場合、ステップＳ５１４に進み、無い場合、ステップＳ５１７に進む。図８（ｂ）に示す例では、全ての切り出し領域候補７０１，７０２，７０３にエッジブロックが存在するので、ステップＳ５１４に進む。
【００４５】
ステップＳ５１４では、画像切り出し制御部１０９は、各切り出し領域候補７０１，７０２，７０３に、エッジブロック数が所定閾値以上含むものがあるかどうかを調べる。本実施例では、この閾値を５とする。即ち、エッジブロックが５個以上ある場合、ステップＳ５１５に進み、５個未満の場合、ステップＳ５１６に進む。図８（ｂ）に示す例では、切り出し領域候補７０１、７０２がエッジブロックを５つ以上含むので、ステップＳ５１５に進む。
【００４６】
ステップＳ５１５では、画像切り出し制御部１０９は、エッジブロックと平坦ブロックを最も多く含む切り出し領域候補を最終的な切り出し領域に決定する。図８（ｂ）に示す例では、エッジブロック数と平坦ブロック数の合計が最も多い切り出し領域候補７０１を最終的な切り出し領域として決定する。
【００４７】
ステップＳ５１６では、画像切り出し制御部１０９は、エッジブロックを最も多く含む領域を最終的な切り出し領域に決定する。
【００４８】
ステップＳ５１７では、画像切り出し制御部１０９は、標準となる切り出し領域（本実施例の場合は、候補７０２に設定）を最終的な切り出し領域に決定する。
【００４９】
このように、輪郭強調を調整する際に調整すべきエッジを多く含む領域を切り出すことで、調整がより容易に行えるようになる。また、エッジだけを見て調整した結果、平坦部のノイズを強調してしまう可能性がある。そこで、平坦部についても考慮し、エッジ部と共に平坦部も多く含む領域を切り出し領域とする。エッジと平坦のように相反する特性を持つ特徴量を参照することで、切り出し領域をより適切に決定できる。
【００５０】
図４のフローチャートに戻り、ステップＳ４０７では、画像切り出し制御部１０９は、決定した切り出し領域を示す切り出し領域情報を画像切り出し部１０２に出力する。画像切り出し部１０２は、指定された切り出し領域の画像を切り出し、メモリ１０３に出力する。その後の動作は前述の通りである。
【００５１】
以上、説明したように、本実施例では、画質調整結果を比較するシステムにおいて、画質調整項目と入力画像の解析情報に基づき、画像切り出しの領域を決定する。これにより、画質調整項目に応じた適切な領域を自動で切り出すことができる。
【００５２】
画質調整項目として、明るさ、輪郭強調及び色の３つを調整する実施例を説明したが、画質調整項目は、これらに限定されない。例えば、コントラスト、黒レベル、色温度又はノイズリダクションの調整などを加えてもよい。この場合、画質調整項目が、コントラスト、黒レベル及び色温度である場合、リサイズ処理部１０１において画像を縮小し、ノイズリダクションの場合、画像切り出し部１０２において暗部を多く含む画像領域を切り出すようにする。
【００５３】
本実施例では、色調整の場合は調整色と周辺色を特徴量とし、輪郭強調の場合はエッジ量と平坦量を特徴量としたが、これらに限定されない。すなわち、画質調整の項目によって影響が出る特徴量であれば、どのような特徴量を用いても構わない。また、特徴量は２つに限定されない。例えば、肌色を調整する場合、肌色の量及び周辺色の量に加えて、顔領域の量などを加えてもよい。調整項目に対応する特徴量をユーザが指定できるようにしてもよい。
【００５４】
調整前と調整後の２つの画像を一つの画面に表示する例を説明したが、比較表示する画像は２つに限定されない。すなわち、２つ以上であってもよい。
【００５５】
本実施例では、切り出し領域を３つの候補から選択したが、これに限定されない。すなわち、画像解析結果に基づき切り出し範囲を決定する構成であれば、どのような構成をとっても構わない。また、本実施例では、入力された画像を切出し、切出した画像に対して画質調整を行う例について説明したが、切出す前に画質調整をしてもよい。すなわち、切出される範囲に少なくとも画質調整がなされていればよい。
【００５６】
画像をブロック単位に分割し、ブロック毎に特徴量を算出する実施例を説明したが、画像の特徴量を求める方法自体は、その他のどのような方法でもよい。
【実施例２】
【００５７】
上記実施例に時間的な切り出し制御を追加した実施例を説明する。図９は、実施例２の概略構成ブロック図を示す。図１に示す実施例と同じ機能の要素には、同じ符号を付してあり、その説明は省略する。図９に示す実施例では、図１に締め実施例に対して、メモリ９０１と、時間・空間切り出し部９０２が追加されている。
【００５８】
ユーザによる画質調整が行われない場合の動作を説明する。図示しない入力端子又は動画入力手段から動画を構成する画像データが入力されると、その入力画像データは、一定時間分、メモリ９０１に蓄積される。時間・空間切り出し部９０２は、この時点では、メモリ０１から読み出した画像データに、何の処理も施さずにメモリ１０３に書き込む。画像処理部１０４は、メモリ１０３に格納される画像データを読み込み、実施例１と同様に動作して、表示部１０７に出力する。
【００５９】
ユーザによって画質調整が行われる場合の動作を説明する。ユーザによる操作部１１１の所定操作に応じて、制御部１１０は、メニュー画像を生成し、画像合成部１０６に送信する。これより、表示部１０７の表示画面には、図２（ｂ）に示すように、ＯＳＤによるメニュー画像２０１が重畳表示される。本実施例では、画質調整項目として、ノイズリダクションと色の２種類が用意されている。ノイズリダクション調整は、時間軸方向のデータを使った３次元ノイズリダクションを指している。色調整は実施例１と同様である。
【００６０】
ユーザが、メニュー操作により画質調整を指示したとする。図示しない入力端子から入力された入力画像データは、メモリ９０１に蓄積される。メモリ９０１は、所定時間分（例えば１０秒分）の入力画像データを蓄積可能である。時間・空間切り出し部９０２は、メモリ９０１に蓄積された画像データから所定長さの期間を切り出す。時間・空間切り出し部９０２はさらに、実施例１の画像切り出し部１０２と同様に、画像の空間的な一部領域も切り出す。
【００６１】
時間的な画像切り出しの様子を図１０（ａ）に示す。図１０（ａ）は、入力画像のタイムスケールを示す。１００１はユーザによって画質調整メニューが選択された時点の時間を示す。１００２はメモリ９０１に蓄積される所定期間（例えば１０秒分）を示す。時間・空間切り出し部９０２は、この蓄積された期間１００２の中からある期間１００３を切り出す。
【００６２】
時間・空間切り出し部９０２は、このように入力画像データから時間的・空間的に切り出した画像データを、メモリ１０３に出力する。
【００６３】
画像処理部１０４は、メモリ１０３に蓄積された画像データに画像処理を行い、メモリ１０５に出力する。このとき、メモリ１０３に記憶される期間１００３の画像データを２度読み出し、一方を画質調整前パラメータで画像処理し，他方を画質調整後パラメータで画像処理する。画像処理後の画像データは、メモリ１０５に格納される。画像合成部１０６は、メモリ１０５に格納された画質調整前の画像データと画質調整後の画像データを１フレームずつ時間順に読み込んで１画面に合成し、表示部１０７に順次出力する。また、切り出した期間１００３の画像データをすべて表示部１０７に出力した後は、画像処理部１０４は、期間１００３の最初の部分から再度、メモリ１０３から読み出し、繰り返し再生を行う。
【００６４】
一方、画像解析部１０８は、入力画像データの特徴を解析する。画像解析部１０８は、実施例１と同様に、入力画像を複数のブロックに分割し、ブロック毎の画像特徴量を算出する。ここで算出する画像特徴量は、輝度（Ｙ）と色（Ｃｂ，Ｃｒ）である。輝度（Ｙ）と色（Ｃｂ，Ｃｒ）のブロック毎の平均値を算出し、画像解析情報として画像切り出し制御部１０９に出力する。
【００６５】
操作部１１１および制御部１１０の動作は、実施例１と同様である。すなわち、メニューからどの画質調整項目が選択されたのかという情報を画像切り出し制御部１０９に出力する。
【００６６】
画像切り出し制御部１０９は、画像解析部１０８からの画像特徴量と、制御部１１０からの画質調整項目情報に基づき、時間・空間切り出し部９０２でどの時間範囲の期間と、空間的な領域を切り出すのかを制御する。
【００６７】
図１１は、画像切り出し制御部１０９の制御を示すフローチャートである。ステップＳ１１０１では、画像切り出し制御部１０９は、画質調整項目がノイズリダクション調整か色調整かをチェックする。ノイズリダクション調整である場合、ステップＳ１１０２に進み、ノイズリダクション調整でない場合、すなわち色調整の場合、ステップＳ１１０５へ進む。
【００６８】
ステップＳ１１０２では、画像切り出し制御部１０９は、画像解析情報に基づき最も暗部の多いフレームを検出する。ここでは、画像解析部１０８から出力されたブロック毎の平均輝度値（Ｙ）が所定値以下のブロックを暗部ブロックとする。画像切り出し制御部１０９は、１フレームにおける暗部ブロックの個数をカウントし、メモリ９０１に蓄積された所定期間の画像データのなかで最も暗部ブロックの数が多いフレームを検出する。これを図示したのが、図１０（ｂ）である。１００１、１００２は図１０（ａ）と同様である。１００４は、メモリ９０１に蓄積された期間１００２の中で最も暗部ブロックの個数が多いフレームを示す。
【００６９】
ステップＳ１１０３では、画像切り出し制御部１０９は、時間・空間切り出し部９０２で切り出す期間を決定する。本実施例では、ノイズリダクションの場合、５秒間の画像を切り出すものとする。このとき、画像切り出し制御部１０９は、ステップＳ１１０２で求めた最も暗部ブロックが多いフレーム１００４を中心とした５秒の領域１００５を切り出す。
【００７０】
ステップＳ１１０４では、画像切り出し制御部１０９は、空間的な領域の切り出し範囲を決定する。ここでは、実施例１と同様に、３つの切り出し領域候補７０１，７０２，７０３から一つを選択する。具体的には、各領域候補７０１〜７０３に含まれる暗部ブロックの最も多い領域を切り出し領域として決定する。ただし、時間的に切り出した期間１００５の複数のフレームの中で最も暗部ブロックの多いフレームから切り出し領域を選択する。
【００７１】
このように切り出し範囲を制御することにより、暗部のノイズが目立ちやすくなり、暗部を見て調整を行うことができる。すなわち、調整効果をユーザが認識しやすくなる。また、時間的な切り出し期間を長くとることで、ノイズリダクションの強度を強くしすぎたことによる残像の影響なども確認しやすくなる。
【００７２】
一方、ステップ１１０５では、画像切り出し制御部１０９は、画像解析情報に基づき最も調整色ブロックの多いフレームを検出する。ここでは、画像解析部１０８から出力されたブロック毎の平均色差値（Ｃｂ，Ｃｒ）が所定の色範囲（例えば肌色範囲）に入るブロックを調整色ブロックとする。これは、実施例１と同様である。画像切り出し制御部１０９は、１フレームにおける調整色ブロックの個数をカウントし、メモリ９０１に蓄積された所定期間の画像データのなかで最も調整色ブロックの数が多いフレームを検出する。これを図示したのが、図１０（ｃ）である。１００１、１００２は図１０（ａ）と同様である。１００６は、メモリ９０１に蓄積された期間１００２の中で最も調整色ブロックの個数が多いフレームを示す。
【００７３】
ステップＳ１１０６では、画像切り出し制御部１０９は、時間・空間切り出し部９０２で切り出す期間を決定する。色調整の場合、１秒間の画像を切り出すものとする。このとき、画像切り出し制御部１０９は、ステップＳ１１０５で求めた最も調整色ブロックが多いフレーム１００６を中心とした１秒の期間を切り出す。図１０（ｃ）の１００７が、この切り出し期間を示す。
【００７４】
ステップＳ１１０７では、画像切り出し制御部１０９は、空間的な領域の切り出し範囲を決定する。ここでは、画像切り出し制御部１０９は、実施例１と同様に、３つの切り出し領域候補７０１〜７０３から一つを選択する。具体的には、画像切り出し制御部１０９は、領域候補７０１〜７０３から、調整色ブロックを最も多く含むものを切り出し領域として決定する。ただし、時間的に切り出した期間１００７の複数のフレームの中で最も暗部ブロックの多いフレームから切り出し領域を選択する。
【００７５】
このように切り出し範囲を制御することにより、調整すべき色を最も多く含む領域を見て調整を行うことができ、調整効果をユーザが認識しやすくなる。また、色の場合、画像の動きが大きくなりすぎると調整が困難になるので、切り出し期間を短くする。これにより、調整効果を確認しやすくなる。
【００７６】
ステップ１１０８では、画像切り出し制御部１０９は、前述のようにして決定された時空間的な切り出し範囲情報を時間・空間切り出し部９０２に出力する。時間・空間切り出し部９０２は、前述の通り、指定された期間及び空間的な範囲を切り出し、切り出した画像データをメモリ１０３に出力する。
【００７７】
以上、説明したように、本実施例では、画質調整結果を比較するシステムにおいて、画質調整項目と入力画像の解析情報に基づき、画像の時間的・空間的な切り出しの範囲を決定する。これにより、画質調整項目に応じてより適切な時間的・空間的な範囲を自動で切り出すことが可能となる。
【００７８】
画質調整項目として、ノイズリダクションと色の２つを調整できる実施例を説明したが、画質調整項目はこれらに限定されない。例えば、実施例１のように、輪郭強調又は明るさの調整などを加えてもよい。
【００７９】
画像を空間的に切り出す構成を説明したが、実施例１のように、画像を縮小する構成を加えてもよい。
【００８０】
本実施例では、一つの特徴量に基づき切り出す時空間的範囲を決定したが、実施例１のように複数の特徴量を用いて決定してもよい。
【００８１】
本実施例では、メニューから画質調整項目が選択された時点よりも時間的に前の画像から、表示するのに最適なフレームを選択したが、画質調整項目が選択された時点よりも前の画像に限定されない。例えば、画質調整項目が選択された時点より後に表示する画像から、条件を満たす最適なフレームを選択するようにしてもよい。
【００８２】
本実施例では、特徴量を多く含む時間部分を切り出しの中心にするように制御したが、特徴量を多く含む領域が切り出し範囲に含まれていればどのような切り出し方法をとってもよい。例えば、切り出した期間、例えば、期間１００５、１００７にシーンチェンジが含まれていた場合、シーンチェンジの点を切り出しの起点として切り出し範囲を決定してもよい。
【００８３】
上記各実施例では、表示装置に一体に組み込まれているが、画像合成部１０６と表示部１０７の間を分離可能としても良い。すなわち、本発明は、表示装置に画像データを供給する装置一般に適用可能であり、互いに分離された画像処理装置と表示装置とからなる表示システムとして構成することも可能である。
【００８４】
［他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2012165321.tif 000003
【図２】
2012165321.tif 000004
【図３】
2012165321.tif 000005
【図４】
2012165321.tif 000006
【図５Ａ】
2012165321.tif 000007
【図５Ｂ】
2012165321.tif 000008
【図６】
2012165321.tif 000009
【図７】
2012165321.tif 000010
【図８】
2012165321.tif 000011
【図９】
2012165321.tif 000012
【図１０】
2012165321.tif 000013
【図１１】
2012165321.tif 000014