(57)【要約】【課題】  画像内で動きのある部分、動きのない部分、のそれぞれに対して適切な色変換処理を行うための技術を提供すること。【解決手段】  動静領域判定器３は、要素毎に動きベクトルを求める。動き特徴量算出器９、動き特徴量判定器１０は、閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、動要素に基づいて特徴量を計算する。ＬＵＴ生成器７、８はそれぞれ、動要素に対して適用する動要素用色変換テーブル、静要素に対して適用する静要素用色変換テーブルを、特徴量に基づいて作成する。そして動要素用色変換テーブルを用いて動要素の色変換処理を行うと共に、静要素用色変換テーブルを用いて静要素の色変換処理を行う。【選択図】  図１
2010166443.tif 000002
【特許請求の範囲】
【請求項１】
画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算手段と、
前記動要素に対して適用する動要素用色変換テーブル、前記静要素に対して適用する静要素用色変換テーブルを、前記特徴量に基づいて作成する作成手段と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像は、動画像を構成する各フレームの画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記計算手段は、前記画像を構成する全ての要素の数に対する、前記動要素の数の割合を前記特徴量として求め、
前記作成手段は、
前記画像の輝度値のヒストグラムを作成し、作成した当該ヒストグラムから累計ヒストグラムを作成する手段と、
輝度値ｉに対応する基本補正特性値をＢａｓｅ［ｉ］、前記累計ヒストグラムにおいて輝度値ｉに対応するヒストグラム値をＣｏｍ［ｉ］とした場合に、差分値ｐ［ｉ］＝Ｂａｓｅ［ｉ］−Ｃｏｍ［ｉ］を、各輝度値ｉについて計算する手段と、
前記特徴量をＳとした場合に、前記動要素に対する重み値Ｗｍ＝（１−Ｓ）２を計算する手段と、
輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ［ｉ］＝ｐ［ｉ］×Ｗｍ＋Ｂａｓｅ［ｉ］を、各輝度値ｉについて計算することで、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ［ｉ］が登録された前記動要素用色変換テーブルを作成する手段と、
前記静要素に対する重み値Ｗｓ＝Ｓ２を計算する手段と、
輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ［ｉ］＝ｐ［ｉ］×Ｗｓ＋Ｂａｓｅ［ｉ］を、各輝度値ｉについて計算することで、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ［ｉ］が登録された前記静要素用色変換テーブルを作成する手段と
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記要素はブロックであることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算手段と、
第１の色変換テーブル、第２の色変換テーブルを、前記特徴量に基づいて作成する作成手段と、
前記動要素の色変換処理を行うために用いる動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択すると共に、前記静要素の色変換を行うために用いる静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択する処理を、前記画像を構成する全ての要素に対する前記動要素の割合に基づいて行う選択手段と、
前記動要素について前記選択手段が選択した色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素について前記選択手段が選択した色変換テーブルを用いて前記静要素の色変換処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項６】
前記画像は、動画像を構成する各フレームの画像であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記計算手段は、前記動要素について求めた動きベクトルの大きさの平均値を求め、求めた平均値が大きいほど小さい値を取る前記特徴量を求め、
前記作成手段は、
前記画像の輝度値のヒストグラムを作成し、作成した当該ヒストグラムから累計ヒストグラムを作成する手段と、
輝度値ｉに対応する基本補正特性値をＢａｓｅ［ｉ］、前記累計ヒストグラムにおいて輝度値ｉに対応するヒストグラム値をＣｏｍ［ｉ］とした場合に、差分値ｐ［ｉ］＝Ｂａｓｅ［ｉ］−Ｃｏｍ［ｉ］を、各輝度値ｉについて計算する手段と、
前記特徴量をＤとした場合に、前記動要素に対する重み値Ｗｍ＝（１−Ｄ）２を計算する手段と、
輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ［ｉ］＝ｐ［ｉ］×Ｗｍ＋Ｂａｓｅ［ｉ］を、各輝度値ｉについて計算することで、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ［ｉ］が登録された前記第１の色変換テーブルを作成する手段と、
前記静要素に対する重み値Ｗｓ＝Ｄ２を計算する手段と、
輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ［ｉ］＝ｐ［ｉ］×Ｗｓ＋Ｂａｓｅ［ｉ］を、各輝度値ｉについて計算することで、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ［ｉ］が登録された前記第２の色変換テーブルを作成する手段とを備え、
前記選択手段は、
前記割合が閾値Ｔ１以上であれば、前記動要素用色変換テーブルとして前記第１の色変換テーブルを選択すると共に、前記静要素用色変換テーブルとして前記第１の色変換テーブルを選択し、
前記割合が閾値Ｔ２（Ｔ２＜Ｔ１）以下であれば、前記動要素用色変換テーブルとして前記第２の色変換テーブルを選択すると共に、前記静要素用色変換テーブルとして前記第２の色変換テーブルを選択し、
前記割合が閾値Ｔ１より小さく閾値Ｔ２より大きければ、前記動要素用色変換テーブルとして前記第１の色変換テーブルを選択すると共に、前記静要素用色変換テーブルとして前記第２の色変換テーブルを選択する
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記要素は画素であることを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
【請求項９】
画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素として特定し、特定した動要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第１の色変換テーブルを作成する手段と、
閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、特定した静要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第２の色変換テーブルを作成する手段と、
前記動要素に対して適用する動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定し、前記静要素に対して適用する静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定する設定手段と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う処理手段と
を備えることを特徴とする画像処理装置。
【請求項１０】
前記設定手段は、
隣接する動要素間で動きベクトルの差分ベクトルを求め、求めたそれぞれの差分ベクトルの平均ベクトルを求め、求めた平均ベクトルの大きさが閾値以上であれば、前記動要素用色変換テーブルとして前記第２の色変換テーブルを設定すると共に、前記静要素用色変換テーブルとして前記第２の色変換テーブルを設定する手段と、
前記平均ベクトルの大きさが閾値よりも小さい場合には、前記画像の中央部の要素における動きベクトルと、前記画像の周辺部の要素における動きベクトルの平均ベクトルと、の差分ベクトルを第２差分ベクトルとして求め、当該第２差分ベクトルの大きさが閾値以上であれば、前記動要素用色変換テーブルとして前記第１の色変換テーブルを設定すると共に、前記静要素用色変換テーブルとして前記第１の色変換テーブルを設定する手段と、
前記第２差分ベクトルの大きさが閾値よりも小さい場合には、前記動要素用色変換テーブルとして前記第１の色変換テーブルを設定すると共に、前記静要素用色変換テーブルとして前記第２の色変換テーブルを設定する手段と
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算工程と、
前記動要素に対して適用する動要素用色変換テーブル、前記静要素に対して適用する静要素用色変換テーブルを、前記特徴量に基づいて作成する作成工程と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項１２】
画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算工程と、
第１の色変換テーブル、第２の色変換テーブルを、前記特徴量に基づいて作成する作成工程と、
前記動要素の色変換処理を行うために用いる動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択すると共に、前記静要素の色変換を行うために用いる静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択する処理を、前記画像を構成する全ての要素に対する前記動要素の割合に基づいて行う選択工程と、
前記動要素について前記選択工程で選択した色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素について前記選択工程で選択した色変換テーブルを用いて前記静要素の色変換処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素として特定し、特定した動要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第１の色変換テーブルを作成する工程と、
閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、特定した静要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第２の色変換テーブルを作成する工程と、
前記動要素に対して適用する動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定し、前記静要素に対して適用する静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定する設定工程と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う処理工程と
を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の色変換技術に関するものである。
【背景技術】
【０００２】
画像データのコントラスト、ホワイトバランス、カラーバランスなどを制御する方法は、これまでにいろいろな方法が提案されてきている。画像補正技術としては、特許文献１等が開示されている。
【特許文献１】特開２００１―１８４５０３号公報  （第９頁、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、領域の分割対象が静止画であり、且つ画像内の動きについてはまったく考慮されていない。さらに、領域分割については手動で行うため、動画については対応できない。また、動領域、静止領域のそれぞれに分割してはいるものの、動きの大きさや領域の大きさ等の情報を用いて補正を行うものではなく、全体が動いている場合でも静止画の重みβが動きの重みαより常に重くかかるため、適切でない補正が行なわれていた。
【０００４】
本発明は以上の問題に鑑みてなされたものであり、画像内で動きのある部分、動きのない部分、のそれぞれに対して適切な色変換処理を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００６】
即ち、画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算手段と、
前記動要素に対して適用する動要素用色変換テーブル、前記静要素に対して適用する静要素用色変換テーブルを、前記特徴量に基づいて作成する作成手段と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う手段と
を備えることを特徴とする。
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００８】
即ち、画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算手段と、
第１の色変換テーブル、第２の色変換テーブルを、前記特徴量に基づいて作成する作成手段と、
前記動要素の色変換処理を行うために用いる動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択すると共に、前記静要素の色変換を行うために用いる静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択する処理を、前記画像を構成する全ての要素に対する前記動要素の割合に基づいて行う選択手段と、
前記動要素について前記選択手段が選択した色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素について前記選択手段が選択した色変換テーブルを用いて前記静要素の色変換処理を行う手段と
を備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１０】
即ち、画像を構成する要素毎に動きベクトルを求める手段と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素として特定し、特定した動要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第１の色変換テーブルを作成する手段と、
閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、特定した静要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第２の色変換テーブルを作成する手段と、
前記動要素に対して適用する動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定し、前記静要素に対して適用する静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定する設定手段と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う処理手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１２】
即ち、画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算工程と、
前記動要素に対して適用する動要素用色変換テーブル、前記静要素に対して適用する静要素用色変換テーブルを、前記特徴量に基づいて作成する作成工程と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う工程と
を備えることを特徴とする。
【００１３】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１４】
即ち、画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素、閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、前記動要素に基づいて特徴量を計算する計算工程と、
第１の色変換テーブル、第２の色変換テーブルを、前記特徴量に基づいて作成する作成工程と、
前記動要素の色変換処理を行うために用いる動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択すると共に、前記静要素の色変換を行うために用いる静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルの何れかから選択する処理を、前記画像を構成する全ての要素に対する前記動要素の割合に基づいて行う選択工程と、
前記動要素について前記選択工程で選択した色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素について前記選択工程で選択した色変換テーブルを用いて前記静要素の色変換処理を行う工程と
を備えることを特徴とする。
【００１５】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１６】
即ち、画像を構成する要素毎に動きベクトルを求める工程と、
閾値以上の大きさを有する動きベクトルを求めた要素を動要素として特定し、特定した動要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第１の色変換テーブルを作成する工程と、
閾値より小さい大きさを有する動きベクトルを求めた要素を静要素として特定し、特定した静要素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて第２の色変換テーブルを作成する工程と、
前記動要素に対して適用する動要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定し、前記静要素に対して適用する静要素用色変換テーブルとして前記第１の色変換テーブル、前記第２の色変換テーブルのうち前記動きベクトルに基づいて決まる一方を設定する設定工程と、
前記動要素用色変換テーブルを用いて前記動要素の色変換処理を行うと共に、前記静要素用色変換テーブルを用いて前記静要素の色変換処理を行う処理工程と
を備えることを特徴とする。
【発明の効果】
【００１７】
本発明の構成により、画像内で動きのある部分、動きのない部分、のそれぞれに対して適切な色変換処理を行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１９】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【００２０】
端子１５は、動画像を構成する各フレームの画像データを入力するための端子であり、係る端子１５を介して入力された各フレームの画像データはフレームメモリ１に入力される。ここで、フレームメモリ１に新たに画像データが入力されると、それまでフレームメモリ１に格納されていた画像データはフレームメモリ２に移動する。即ち、フレームメモリ１には常に最新のフレームの画像データが格納されており、フレームメモリ２にはフレームメモリ１に格納されている画像データよりも１つ前のフレームの画像データが格納されている。
【００２１】
動静領域判定器３はフレームメモリ１に格納されている画像データ（着目フレームの画像データ）を複数のブロック（要素）に分割し、それぞれのブロックについて動きベクトルを求める。ここで「ブロック」とは周知の通り、ｎ（＞１）画素×ｍ（＞１）画素のサイズを有する矩形領域内の画素群で構成されているものである。
【００２２】
動きベクトルを求めるためには、それぞれのブロックと、フレームメモリ２に格納されている画像データ（着目フレームより１フレーム前の画像データ）とを比較することで、各ブロックに対する動きベクトルを求める。そして動静領域判定器３は、ブロック毎（要素毎）に動きベクトルの大きさを判定する。係る判定の結果、閾値以上の大きさを有する動きベクトルを求めたブロックを動ブロック（動要素）として判定し、閾値より小さい大きさを有する動きベクトルを求めたブロックを静ブロック（静要素）として特定する。
【００２３】
セレクタ４は、動静領域判定器３による判定結果を参照することでフレームメモリ１に格納されている画像データを構成する各ブロックが動ブロックであるのか静ブロックであるのかを特定する。そしてセレクタ４は、動ブロックについてはヒストグラム生成器５に送出し、静ブロックについてはヒストグラム生成器６に送出する。
【００２４】
ヒストグラム生成器５は、着目フレームの画像データ中の全ての動ブロックについて輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての動ブロック中の各画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００２５】
ヒストグラム生成器６は、着目フレームの画像データ中の全ての静ブロックについて輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての静ブロック中の各画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００２６】
ＬＵＴ（ルックアップテーブル）生成器７は、ヒストグラム生成器５が生成したヒストグラムと、動き特徴量判定器１０による後述の算出結果と、を用いて、動ブロックの色変換（輝度変換）を行うために用いるＬＵＴを生成する。即ち、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ（ｉ）が記されたＬＵＴ１２を生成する。
【００２７】
ＬＵＴ生成器８は、ヒストグラム生成器６が生成したヒストグラムと、動き特徴量判定器１０による後述の算出結果と、を用いて、静ブロックの色変換を行うために用いるＬＵＴを生成する。即ち、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ（ｉ）が記されたＬＵＴ１３を生成する。
【００２８】
動き特徴量算出器９は、着目フレームの画像データ中の動ブロックの数ｘを計数し、その計数値ｘを後段の動き特徴量判定器１０に送出する。
【００２９】
動き特徴量判定器１０は、動き特徴量算出器９から受けた計数値ｘを、着目フレームの画像データを構成するブロックの数ｙで除算した結果を、動き特徴量Ｓとして求める。
【００３０】
セレクタ１１は、フレームメモリ１に格納されている着目フレームの画像データをブロック単位で読み出し、読み出したブロックが動ブロックであるのか静ブロックであるのかを、動静領域判定器３による判定結果を参照することで特定する。そして動ブロックと判定されたブロックについては、ＬＵＴ生成器７が生成したＬＵＴ１２（動要素用色変換テーブル）に入力することで、このブロックの色変換を行う。一方、静ブロックと判定されたブロックについては、ＬＵＴ生成器８が生成したＬＵＴ１３（静要素用色変換テーブル）に入力することで、このブロックの色変換を行う。
【００３１】
ＬＵＴ１２により色変換されたブロック、ＬＵＴ１３により色変換されたブロックは何れも、フレームメモリ１４に格納される。
【００３２】
端子１６は、フレームメモリ１４に格納されている画像データをブロック単位、若しくは画像全体として外部に出力する。
【００３３】
図３は、図１に示した構成を有する、本実施形態に係る画像処理装置が行う色変換処理のフローチャートである。
【００３４】
先ず、ステップＳ１では、ヒストグラム生成器５、６がヒストグラムを生成するために用いる変数等を０に初期化したり、ＬＵＴ生成器７、８がそれぞれＬＵＴ１２、１３を生成するために用いる変数等を初期化したりする。加えて、本ステップでは、フレームメモリ２についてもＮＵＬＬなどで埋めることでフレームメモリ２内を初期化する。即ちステップＳ１では、画像処理装置を構成する各部を初期化する。
【００３５】
次に、ステップＳ２では先ず、動静領域判定器３は、フレームメモリ１に格納されている着目フレームの画像データを複数のブロックに分割し、それぞれのブロックについて動きベクトルを求める。そして動静領域判定器３は、各ブロック毎に動きベクトルの大きさを判定し、閾値以上の大きさを有する動きベクトルを求めたブロックを動ブロック、閾値よりも小さい大きさを有する動きベクトルを求めたブロックを静ブロックとして特定する。
【００３６】
そしてセレクタ４は、動静領域判定器３が動ブロックと判定したブロックについてはヒストグラム生成器５に送出し、動静領域判定器３が静ブロックと判定したブロックについてはヒストグラム生成器６に送出する。
【００３７】
ヒストグラム生成器５は、ブロックを受ける毎に、ブロックを構成する各画素の輝度値を参照し、それぞれの輝度値に対応するカウンタの値を１つカウントアップする。これにより、着目フレームの画像データ中の全ての動ブロックについて輝度値のヒストグラムを作成することができる。
【００３８】
ヒストグラム生成器６は、ブロックを受ける毎に、ブロックを構成する各画素の輝度値を参照し、それぞれの輝度値に対応するカウンタの値を１つカウントアップする。これにより、着目フレームの画像データ中の全ての静ブロックについて輝度値のヒストグラムを作成することができる。
【００３９】
次に、ステップＳ３では、動き特徴量算出器９は、動静領域判定器３が動ブロックであると判定する毎に１つカウントアップすることで、着目フレームの画像データ中の動ブロックの数ｘを計数する。そして着目フレームの画像データ中の全ての動ブロックの数の計数が完了すると、その計数値ｘを後段の動き特徴量判定器１０に送出する。
【００４０】
動き特徴量判定器１０は、動き特徴量算出器９から受けた計数値ｘを、着目フレームの画像データを構成するブロックの数ｙで除算した結果を、動き特徴量Ｓとして求める。
【００４１】
次に、ＬＵＴ生成器７は、動き特徴量判定器１０が求めた動き特徴量Ｓを用いて、動ブロックに対する重み値を計算する。一方、ＬＵＴ生成器８は、動き特徴量判定器１０が求めた動き特徴量Ｓを用いて、静ブロックに対する重み値を計算する。動ブロック、静ブロックのそれぞれに対する重み値については後述する。
【００４２】
そして次にステップＳ４では、ＬＵＴ生成器７は、ヒストグラム生成器５が生成した「着目フレームの画像データ中の全ての動ブロックについての輝度値のヒストグラム」を用いて、動ブロックについての累計ヒストグラムを作成する。そしてＬＵＴ生成器７は、この作成した累計ヒストグラムと、動ブロックについてステップＳ３で求めた重み値と、基本補正特性値と、を用いて、ＬＵＴ１２を作成する。一方、ＬＵＴ生成器８は、ヒストグラム生成器６が生成した「着目フレームの画像データ中の全ての静ブロックについての輝度値のヒストグラム」を用いて、静ブロックについての累計ヒストグラムを作成する。そしてＬＵＴ生成器８は、この作成した累計ヒストグラムと、静ブロックについてステップＳ３で求めた重み値と、基本補正特性値と、を用いて、ＬＵＴ１３を作成する。
【００４３】
ここで、ステップＳ３，Ｓ４における処理の詳細を説明する。図２は、ＬＵＴ生成器７の機能構成例を示すブロック図である。
【００４４】
ヒストグラム累積演算器２１は、ヒストグラム生成器５が生成したヒストグラムを用いて累計ヒストグラムを作成する。
【００４５】
累計ヒストグラムメモリ２２は、ヒストグラム累積演算器２１が作成した累計ヒストグラムを格納する為のメモリである。
【００４６】
基本補正特性メモリ２４には、各輝度値に対応する基本補正特性値が登録されている。基本補正特性値とは、補正値を意図的に変更するための値である。図９は、基本補正特性値の例を示す図である。図９（ａ）は入力と出力とが１：１の線形関係となっており、特に意図的な変更は行わない。図９（ｂ）は入力と出力で暗部では傾斜が大きく、暗部のコントラストを上げるような補正特性を実現する。図９（ｃ）は入力と出力で明部では傾斜が大きく、明部のコントラストを上げるような補正特性を実現する。ここでは説明を容易にするために入力と出力とが１：１の線形関係となるような基本補正特性値とするが、これに限定するものではない。
【００４７】
差分器２３は、輝度毎に、基本補正特性値と、累計ヒストグラム中のヒストグラム値と、の差分値を計算する。
【００４８】
重み算出器２５は、動き特徴量判定器１０が求めた動き特徴量Ｓを用いて、動ブロックに対する重み値を計算する。
【００４９】
重み演算器２６は、基本補正特性メモリ２４に登録されている基本補正特性値と、重み算出器２５が求めた重み値と、差分器２３が求めた差分値と、を用いて、各輝度値に対応するルックアップテーブルデータを生成する。
【００５０】
以下に、図２に示した各部の動作について説明する。
【００５１】
ヒストグラム累積演算器２１には上述の通り、ヒストグラム生成器５が生成したヒストグラムが入力されるので、ヒストグラム累積演算器２１は、このヒストグラムを用いて累計ヒストグラムを作成する。作成した累計ヒストグラムは、累計ヒストグラムメモリ２２に格納する。
【００５２】
基本補正特性メモリ２４に登録されている基本補正特性値群において、輝度値ｉに対応する基本補正特性値をＢａｓｅ［ｉ］、累計ヒストグラムメモリ２２に格納されている累計ヒストグラムにおいて輝度値ｉに対応するヒストグラム値をＣｏｍ［ｉ］とする。このとき、差分器２３は、差分値ｐ［ｉ］を以下の式１に従って求める。
【００５３】
ｐ［ｉ］＝Ｂａｓｅ［ｉ］−Ｃｏｍ［ｉ］    （式１）
差分器２３は係る式１を用いて、全ての輝度値ｉについてｐ［ｉ］を求める。
【００５４】
一方、重み算出器２５には上述の通り、動き特徴量判定器１０が求めた動き特徴量Ｓが入力されるので、重み算出器２５は、この動き特徴量Ｓを用いて下記の式２に従った計算処理を行うことで、動ブロックに対する重み値Ｗｍを計算する。
【００５５】
Ｗｍ＝（１−Ｓ）２    （式２）
そして重み演算器２６は、輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ［ｉ］を、下記の式３に基づいて求める。
【００５６】
ＬＵＴｍ［ｉ］＝ｐ［ｉ］×Ｗｍ＋Ｂａｓｅ［ｉ］    （式３）
重み演算器２６は、係る式３を用いて、全ての輝度値ｉについてＬＵＴｍ［ｉ］を求める。
【００５７】
本実施形態では、動き特徴量Ｓは、動ブロックの数を、１枚の画像データを構成するブロックの数で除算した値であるので、動ブロックの数が多くなるほど、ルックアップテーブルデータは、基本補正特性値に近づくことになる。
【００５８】
このように、全ての輝度値ｉについて求めたルックアップテーブルデータＬＵＴｍ［ｉ］を登録したものを、ＬＵＴ１２として生成する。
【００５９】
なお、図２に示した構成は、ＬＵＴ生成器８の構成でもある。図２に示した構成がＬＵＴ生成器８内で動作する場合、図２に示した各部は以下のような動作を行う。
【００６０】
ヒストグラム累積演算器２１には上述の通り、ヒストグラム生成器６が生成したヒストグラムが入力されるので、ヒストグラム累積演算器２１は、このヒストグラムを用いて累計ヒストグラムを作成する。作成した累計ヒストグラムは、累計ヒストグラムメモリ２２に格納する。
【００６１】
差分器２３の動作については上述の通りである。
【００６２】
重み算出器２５には上述の通り、動き特徴量判定器１０が求めた動き特徴量Ｓが入力されるので、重み算出器２５は、この動き特徴量Ｓを用いて下記の式４に従った計算処理を行うことで、静ブロックに対する重み値Ｗｓを計算する。
【００６３】
Ｗｓ＝Ｓ２    （式４）
そして重み演算器２６は、輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ［ｉ］を、下記の式５に基づいて求める。
【００６４】
ＬＵＴｓ［ｉ］＝ｐ［ｉ］×Ｗｓ＋Ｂａｓｅ［ｉ］    （式５）
重み演算器２６は、係る式５を用いて、全ての輝度値ｉについてＬＵＴｓ［ｉ］を求める。
【００６５】
このように、全ての輝度値ｉについて求めたルックアップテーブルデータＬＵＴｓ［ｉ］を登録したものを、ＬＵＴ１３として生成する。
【００６６】
このように、ＬＵＴ生成器７、ＬＵＴ生成器８のそれぞれは、動ブロックに対するルックアップテーブルデータ、静ブロックに対するルックアップテーブルデータを作成する。
【００６７】
図３に戻ってステップＳ５では、セレクタ１１は、フレームメモリ１に格納されている着目フレームの画像データをブロック単位で読み出す。そして、読み出したブロックが動ブロックであるのか静ブロックであるのかを、動静領域判定器３による判定結果を参照することで特定する。そして動ブロックと判定されたブロックについては、ＬＵＴ生成器７が生成したＬＵＴ１２に入力することで、このブロックの色変換を行う。即ち、動ブロックと判定されたブロックを構成する画素の輝度値をＥ、色変換後の輝度値をＸとすると、ＬＵＴ１２では下記の変換が行われる。
【００６８】
Ｘ＝ＬＵＴｍ［Ｅ］
一方、静ブロックと判定されたブロックについては、ＬＵＴ生成器８が生成したＬＵＴ１３に入力することで、このブロックの色変換を行う。即ち、静ブロックと判定されたブロックを構成する画素の輝度値をＦ、色変換後の輝度値をＹとすると、ＬＵＴ１３では下記の変換が行われる。
【００６９】
Ｙ＝ＬＵＴｓ［Ｆ］
ＬＵＴ１２により色変換されたブロック、ＬＵＴ１３により色変換されたブロックは何れも、フレームメモリ１４に格納される。
【００７０】
端子１６は、フレームメモリ１４に格納されている画像データをブロック単位、若しくは画像全体として外部に出力する。
【００７１】
以上の説明により、本実施形態によれば、動きのある領域と動きのない領域とでコントラストを個別に調整することができる。これにより、例えば、動きのある領域内のコントラストが、動きのない領域内のコントラストの補正に影響を及ぼすことはなくなる。
【００７２】
なお、本実施形態では更に、動ブロックのサイズを静ブロックのサイズと異ならせることで、動ブロックのサイズに応じて動ブロックに対する重み値を変化させても良い。これにより、例えば動ブロック内の動きが大きい場合、急激な変化を誇張することなく、安定した画質が得られるようになる。
【００７３】
また、本実施形態では、動き特徴量Ｓに基づいて重み値を求めるために上記式２、３を用いたが、他の方式で重み値を求めても良く、動き特徴量Ｓと重み値との関係が線形であっても良いし、条件に応じて重み値を変化させても良い。
【００７４】
また、本実施形態では、動き特徴量Ｓとして、総ブロック数に対する動ブロックの数の割合を用いたが、これに限定するものではない。例えば、画像中における動ブロックの位置が、画像中央部に近いか、周辺部に近いかを、動き特徴量Ｓとして用いても良い。動ブロックが画像中央部に近い場合、係る画像を撮像したカメラは固定されており、且つ撮像対象が動いていることになり、動ブロック内に重要な情報が潜在していると考えられる。一方、動ブロックが画像周辺部に近い場合、係る画像を撮像したカメラは流し撮りのような状態で動いていることになり、静ブロック内に重要な情報が潜在していると考えられる。また、動きベクトルの方向、大きさを動き特徴量Ｓとして用いても良い。
【００７５】
また、本実施形態ではブロックを動ブロック、静ブロックの何れかに分類しているが、動きベクトルのサイズに応じて複数の種類に分類しても良い。
【００７６】
［第２の実施形態］
図４は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図４において、図１と同じ部分については同じ参照番号を付けており、その説明は省略する。
【００７７】
動静領域判定器１０１は、フレームメモリ１に格納されている画像データ（着目フレームの画像データ）を構成する画素毎に動きベクトルを求める。動きベクトルを求めるための処理については第１の実施形態と同様にして行う。そして動静領域判定器１０１は、画素毎に動きベクトルの大きさを判定し、閾値以上の大きさを有する動きベクトルを求めた画素を動画素（動要素）、閾値よりも小さい大きさを有する動きベクトルを求めた画素を静画素（静要素）として特定する。各画素が動画素であるのか静画素であるのかの判定結果は、動きメモリ１０２に格納する。例えば、各画素の座標値と、判定結果とをセットにして動きメモリ１０２に格納する。
【００７８】
セレクタ９０４は、動静領域判定器１０１による判定結果を参照することでフレームメモリ１に格納されている画像データを構成する各画素が動画素であるのか静画素であるのかを特定する。そしてセレクタ９０４は、動画素についてはヒストグラム生成器９０５に送出し、静画素についてはヒストグラム生成器９０６に送出する。
【００７９】
ヒストグラム生成器９０５は、着目フレームの画像データ中の全ての動画素について輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての動画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００８０】
ヒストグラム生成器９０６は、着目フレームの画像データ中の全ての静画素について輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての静画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００８１】
ＬＵＴ（ルックアップテーブル）生成器９０７は、ヒストグラム生成器９０５が生成したヒストグラムと、動き量判定器１０４による後述の算出結果と、を用いて、動画素の色変換（輝度変換）を行うために用いるＬＵＴ（第１の色変換テーブル）を生成する。即ち、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｍ（ｉ）が記されたＬＵＴを生成する。
【００８２】
ＬＵＴ生成器９０８は、ヒストグラム生成器９０６が生成したヒストグラムと、動き量判定器１０４による後述の算出結果と、を用いて、静画素の色変換を行うために用いるＬＵＴ（第２の色変換テーブル）を生成する。即ち、各輝度値ｉに対応するルックアップテーブルデータＬＵＴｓ（ｉ）が記されたＬＵＴを生成する。
【００８３】
動き量算出器１０３は、着目フレームの画像データ中の全ての動画素について求めた動きベクトルの大きさの平均値Ｖａｖを計算する。即ち、着目フレームの画像データ中のそれぞれの動画素について求めた動きベクトルの大きさを合計し、その合計値を、着目フレームの画像データ中の動画素の数で割った結果を、平均値Ｖａｖとして求める。平均値Ｖａｖは後段の動き量判定器１０４に送出する。
【００８４】
動き量判定器１０４は、平均値Ｖａｖの値が大きいほど小さい値を取る特徴量Ｄを求める。そしてこの特徴量Ｄは、第１の実施形態における特徴量Ｓの代わりとしてＬＵＴ生成器９０７，９０８に供給する。
【００８５】
動領域サイズ判定器１０５は、着目フレームの画像データ中の動画素の数を計数し、その計数値を、着目フレームの画像データ中の全ての画素の数で除算した結果を、セレクタ１０６，１０７に供給する。
【００８６】
セレクタ１０６には、ＬＵＴ生成器９０７が生成したＬＵＴ、ＬＵＴ生成器９０８が生成したＬＵＴが入力されるが、動領域サイズ判定器１０５が求めた除算値が閾値Ｔ１以上の場合、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１２として出力する。一方、セレクタ１０７にも、ＬＵＴ生成器９０７が生成したＬＵＴ、ＬＵＴ生成器９０８が生成したＬＵＴが入力されるが、動領域サイズ判定器１０５が求めた除算値が閾値Ｔ１以上の場合、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１３として出力する。
【００８７】
動領域サイズ判定器１０５が求めた除算値が閾値Ｔ２（Ｔ２＜Ｔ１）以下の場合、セレクタ１０６は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１２として出力し、セレクタ１０７は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１３として出力する。
【００８８】
動領域サイズ判定器１０５が求めた除算値がＴ１より小さくＴ２より大きい場合、セレクタ１０６は、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１２として出力し、セレクタ１０７は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１３として出力する。
【００８９】
セレクタ９１１は、フレームメモリ１に格納されている着目フレームの画像データを画素単位で読み出し、読み出した画素が動画素であるのか静画素であるのかを、動静領域判定器１０１による判定結果を参照することで特定する。そして動画素と判定された画素については、ＬＵＴ９１２に入力することで、この画素の色変換を行う。一方、静画素と判定された画素については、ＬＵＴ９１３に入力することで、この画素の色変換を行う。
【００９０】
ＬＵＴ９１２により色変換された画素、ＬＵＴ９１３により色変換された画素は何れも、フレームメモリ１４に格納される。
【００９１】
次に、本実施形態に係る画像処理装置が行う色変換処理について、同処理のフローチャートを示す図３を用いて、以下説明する。
【００９２】
先ず、ステップＳ１では、ヒストグラム生成器９０５、９０６がヒストグラムを生成するために用いる変数等を０に初期化したり、ＬＵＴ生成器９０７、９０８がそれぞれＬＵＴ９１２、９１３を生成するために用いる変数等を初期化したりする。加えて、本ステップでは、フレームメモリ２についてもＮＵＬＬなどで埋めることでフレームメモリ２内を初期化する。即ちステップＳ１では、画像処理装置を構成する各部を初期化する。
【００９３】
次に、ステップＳ２では先ず、動静領域判定器１０１は、フレームメモリ１に格納されている着目フレームの画像データを構成する画素毎に動きベクトルを求める。そして動静領域判定器１０１は、画素毎に動きベクトルの大きさを判定し、閾値以上の大きさを有する動きベクトルを求めた画素を動画素、閾値よりも小さい大きさを有する動きベクトルを求めた画素を静画素として特定する。各画素が動画素であるのか静画素であるのかの判定結果は、動きメモリ１０２に格納する。
【００９４】
セレクタ９０４は、動静領域判定器１０１による判定結果を参照することでフレームメモリ１に格納されている画像データを構成する各画素が動画素であるのか静画素であるのかを特定する。そしてセレクタ９０４は、動画素についてはヒストグラム生成器９０５に送出し、静画素についてはヒストグラム生成器９０６に送出する。
【００９５】
ヒストグラム生成器９０５は、着目フレームの画像データ中の全ての動画素について輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての動画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００９６】
ヒストグラム生成器９０６は、着目フレームの画像データ中の全ての静画素について輝度値のヒストグラムを作成する。即ち、着目フレームの画像データ中の全ての静画素の輝度値を参照し、各輝度値の出現頻度を求める。
【００９７】
次に、ステップＳ３では、動き量算出器１０３は、着目フレームの画像データ中の全ての動画素について求めた動きベクトルの大きさの平均値Ｖａｖを計算する。動き量判定器１０４は、平均値Ｖａｖの値が大きいほど小さい値を取る特徴量Ｄを求める。ここで、特徴量Ｄは、０＜Ｄ＜１を満たす実数値であり、例えば、平均値Ｖａｖが５以下であればＤ＝１、平均値Ｖａｖが１０以下であればＤ=０.８というように、平均値Ｖａｖが大きいほどＤが小さくなるように設定する。
【００９８】
次に、ＬＵＴ生成器９０７は、動き量判定器１０４が求めた特徴量Ｄを用いて、動画素に対する重み値を計算する。係る計算では式２を用いるのであるが、その際、動き特徴量Ｓの代わりに、特徴量Ｄを用いる。即ち、本実施形態では、Ｗｍ＝（１−Ｄ）２となる。
【００９９】
一方、ＬＵＴ生成器９０８は、動き量判定器１０４が求めた特徴量Ｄを用いて、静画素に対する重み値を計算する。係る計算では式４を用いるのであるが、その際、動き特徴量Ｓの代わりに、特徴量Ｄを用いる。即ち、本実施形態では、Ｗｓ＝Ｄ２となる。
【０１００】
そして次にステップＳ４では、ＬＵＴ生成器９０７は、ＬＵＴ生成器７と同様の処理を行うことで、ＬＵＴを作成する。また、ＬＵＴ生成器９０８は、ＬＵＴ生成器８と同様の処理を行うことで、ＬＵＴを生成する。
【０１０１】
次に、ステップＳ５では、動領域サイズ判定器１０５は、着目フレームの画像データ中の動画素の数を計数し、その計数値を、着目フレームの画像データ中の全ての画素の数で除算した結果を、セレクタ１０６，１０７に供給する。
【０１０２】
動領域サイズ判定器１０５が求めた除算値が閾値Ｔ１以上であれば、セレクタ１０６は、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１２として出力し、セレクタ１０７は、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１３として出力する。
【０１０３】
動領域サイズ判定器１０５が求めた除算値が閾値Ｔ２（Ｔ２＜Ｔ１）以下であればセレクタ１０６は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１２として出力し、セレクタ１０７は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１３として出力する。
【０１０４】
動領域サイズ判定器１０５が求めた除算値がＴ１より小さくＴ２より大きい場合、セレクタ１０６は、ＬＵＴ生成器９０７が生成したＬＵＴをＬＵＴ９１２として出力し、セレクタ１０７は、ＬＵＴ生成器９０８が生成したＬＵＴをＬＵＴ９１３として出力する。
【０１０５】
セレクタ９１１は、フレームメモリ１に格納されている着目フレームの画像データを画素単位で読み出し、読み出した画素が動画素であるのか静画素であるのかを、動きメモリ１０２内を参照することで特定する。そして動画素と判定された画素については、ＬＵＴ９１２に入力することで、この画素の色変換を行う。一方、静画素と判定された画素については、ＬＵＴ９１３に入力することで、この画素の色変換を行う。
【０１０６】
ＬＵＴ９１２により色変換された画素、ＬＵＴ９１３により色変換された画素は何れも、フレームメモリ１４に格納される。
【０１０７】
端子１６は、フレームメモリ１４に格納されている画像データをブロック単位、若しくは画像全体として外部に出力する。
【０１０８】
以上の説明により、本実施形態によれば、動きのある領域と動きのない領域とでコントラストを個別に調整することができる。これにより、例えば、動きのある領域内のコントラストが、動きのない領域内のコントラストの補正に影響を及ぼすことはなくなる。
【０１０９】
なお、本実施形態では更に、動ブロックのサイズを静ブロックのサイズと異ならせることで、動ブロックのサイズに応じて動ブロックに対する重み値を変化させても良い。これにより、例えば動ブロック内の動きが大きい場合、急激な変化を誇張することなく、安定した画質が得られるようになる。
【０１１０】
なお、本実施形態では、動きベクトルを画素単位で求めているが、ブロック単位であっても良い。また、これは他の実施形態についても同様であるが、動きベクトルの導出方法については、１フレーム前の画像を用いる方法に限定するものではない。
【０１１１】
［第３の実施形態］
図５は、本実施形態に係る画像処理装置（コンピュータ）のハードウェア構成例を示すブロック図である。
【０１１２】
ＣＰＵ３００は、メモリ３０１に格納されているコンピュータプログラムやデータを用いて、画像処理装置全体の制御を行うと共に、本実施形態に係る画像処理装置が行うものとして後述する各処理を実行する。
【０１１３】
メモリ３０１は、記憶装置３０４や記憶装置３０５からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ（インターフェース）３０８を介して外部から受信した情報を一時的に記憶するためのエリアを有する。また、メモリ３０１は、ＣＰＵ３００が後述する各処理を実行する際に用いるワークエリアも有する。即ち、メモリ３０１は、各種のエリアを適宜提供することができる。
【０１１４】
操作部３０３は、キーボードやマウスなどにより構成されており、本装置のユーザはこの操作部３０３を操作することで、各種の指示をＣＰＵ３００に対して入力することができる。
【０１１５】
記憶装置３０４には、本実施形態に係る画像処理装置が行うものとして後述する各処理をＣＰＵ３００に実行させるためのコンピュータプログラムが格納されている。
【０１１６】
記憶装置３０５には、処理対象となる動画像データや、処理に必要な各種のデータ群（情報群）が格納されている。
【０１１７】
記憶装置３０４、３０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置であり、それぞれは別個の装置であっても良いし、１つの記憶装置にまとめても良い。また、記憶装置３０４、３０５の何れかには、このほかにも、ＯＳ（オペレーティングシステム）など、本装置の動作制御を行うためのコンピュータプログラムやデータが格納されている。
【０１１８】
記憶装置３０４、３０５に格納されているコンピュータプログラムやデータは、ＣＰＵ３００による制御に従って適宜メモリ３０１にロードされ、ＣＰＵ３００による処理対象となる。
【０１１９】
また、記憶装置３０４、３０５は、本装置に対して着脱可能な記憶装置であっても良い。
【０１２０】
カメラ３０６は動画像を撮像するためのもので、撮像された各フレームの画像は順次、記憶装置３０５に格納される。
【０１２１】
表示装置３０７は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ３００による処理結果を画像や文字などでもって表示することができる。例えば、色変換前の動画像や色変換後の動画像を表示することができる。
【０１２２】
通信Ｉ／Ｆ３０８は、本装置をＬＡＮやインターネットなどのネットワーク３０９に接続する為のもので、係る通信Ｉ／Ｆ３０８を介して例えば外部から動画像のデータを取得することができる。
【０１２３】
３０２は上述の各部を繋ぐバスである。
【０１２４】
以降、係る構成を有する画像処理装置が行う色変換処理について説明する。なお、本実施形態では、処理対象となる各フレームの画像を構成する各画素の輝度値、色度値それぞれが８ビットで表されるものとして説明するが、それぞれを表現するビット数はこれに限定するものではない。
【０１２５】
図６は、本実施形態に係る画像処理装置が色変換処理を開始する段階におけるメモリ３０１内の使用マップを示す図である。
【０１２６】
メモリ３０１内には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ６０１、色変換処理（画像補正処理）を行う動画補正処理ソフトウェア６０２が格納されている。さらにメモリ３０１には、カメラ３０６を制御して動画像を１フレームずつ入力する画像入力ソフトウェア６０３、画像を表示装置３０７に表示する画像表示ソフトウェア６０４が格納されている。さらにメモリ３０１には、画像を一時的に記憶するための画像エリア６０５、ＣＰＵ３００が各種の処理を実行する際に用いるワーキングエリア６０６が設けられている。さらにメモリ３０１には、作成したヒストグラムのデータを一時的に記憶するためのヒストグラムエリア６０７、作成したＬＵＴを一時的に記憶するためのＬＵＴエリア６０８が設けられている。
【０１２７】
図７は、本実施形態に係る画像処理装置が行う色変換処理のフローチャートである。係るフローチャートに従った処理をＣＰＵ３００に実行させるためのコンピュータプログラムは、動画補正処理ソフトウェア６０２としてメモリ３０１に格納されている。従って、ＣＰＵ３００が係る動画補正処理ソフトウェア６０２を実行することで、本実施形態に係る画像処理装置は、以下説明する各ステップにおける処理を実行することになる。
【０１２８】
先ず、ステップＳ３００では、メモリ３０１上のヒストグラムエリア６０７に、動画素を補正するためのヒストグラムを格納する為の配列Ｈｍ［２５６］と、静止画素を補正するためのヒストグラムを格納する為の配列Ｈｓ［２５６］とを確保する。ワーキングエリア６０６に、動画素のヒストグラムから得られた補正値を格納する為の配列Ｌｍ［２５６］と、静止画素のヒストグラムから得られた補正値を格納する為の配列Ｌｓ［２５６］とを確保する。また、動画素を補正するための補正データを格納する為の配列Ｃｍ［２５６］をＬＵＴエリア６０８に確保すると共に、静画素を補正するための補正データを格納するための配列Ｃｓ［２５６］をＬＵＴエリア６０８に確保する。初期値として、それぞれの補正データに基本補正特性を表す内容を格納する。また、画像エリア６０５に、カメラ３０６から入力された現フレームの画像データを格納するための領域ＩＭ０を確保すると共に、現フレームよりも１つ前のフレームにおける画像データを格納するための領域ＩＭ１を確保する。更に、画像エリア６０５には、出力するフレーム画像データを格納する為の領域ＩＭ２を確保する。また、ワーキングエリア６０６には、４画素×４画素で構成されるブロック毎に求める動きベクトルの大きさを格納する為の領域Ｖ［画像の水平方向サイズ／４，画像の垂直方向サイズ／４］を確保する。
【０１２９】
次に、ステップＳ３０１では、操作部３０３から、処理を終了させるための指示が入力されたか否かを判断する。係る判断の結果、入力されている場合には、処理をステップＳ３０５に進める。ステップＳ３０５では、本処理を完了させるための処理を行う。
【０１３０】
一方、係る判断の結果、係る指示が入力されていない場合には、処理をステップＳ３０２に進める。
【０１３１】
ステップＳ３０２では、メモリ３０１上の画像入力ソフトウェア６０３を実行することで、カメラ３０６からフレーム単位で画像データを取得し、取得した画像データを画像エリア６０５中の領域ＩＭ０に格納する。以降の説明では、現フレームの画像データが領域ＩＭ０に格納されているものとして説明する。
【０１３２】
次に、ステップＳ３０３では、メモリ３０１上の動画補正処理ソフトウェア６０２を実行することで、ステップＳ３０２で領域ＩＭ０に格納した画像データに対する色変換処理（画像補正処理）を行う。ステップＳ３０３における処理を、図８を用いてより詳細に説明する。
【０１３３】
図８は、ステップＳ３０３における処理の詳細を示すフローチャートである。
【０１３４】
ステップＳ２０２では、ヒストグラムを作成する。係る処理では先ず、動画素の輝度値のヒストグラムを格納する為の配列Ｈｍ［ｉ］（ｉ＝０〜２５５）、静画素の輝度値のヒストグラムを格納する為の配列Ｈｓ［ｉ］（ｉ＝０〜２５５）を、全てのｉについてＨｍ［ｉ］＝Ｈｓ［ｉ］＝０と初期化する。
【０１３５】
次に、領域ＩＭ０内の現フレームの画像データにおいて画素位置（ｘ、ｙ）における画素の輝度値Ｙ（ｘ，ｙ）と、領域ＩＭ１内の１フレーム前の画像データにおいて画素位置（ｘ、ｙ）における画素の輝度値Ｙ−１（ｘ，ｙ）とを比較する。そして、｜Ｙ（ｘ，ｙ）−Ｙ−１（ｘ，ｙ）｜が閾値よりも小さい場合には、現フレームの画像データの画素位置（ｘ、ｙ）における画素は静画素であると判断し、閾値以上であれば動画素であると判断する。なお、現フレームが最初のフレーム（第１フレーム）である場合、領域ＩＭ１には画像データが格納されていないことになる。そのような場合には、領域ＩＭ０内の画像データを構成する各画素は静画素であると判断しても良い。そして、画素位置（ｘ、ｙ）における画素が静画素である場合には、配列Ｈｓ［Ｙ（ｘ，ｙ）］の値に１を加え、係る画素が動画素である場合には、配列Ｈｍ［Ｙ（ｘ，ｙ）］の値に１を加える。そしてこのような処理を全てのｘ、ｙ（１枚の画像を構成する全ての画素位置）について行うことで、現フレームの画像データ中の全ての静画素についての輝度値のヒストグラム、全ての動画素についての輝度値のヒストグラム、を作成することになる。その後、処理をステップＳ２０３に進める。
【０１３６】
ステップＳ２０３では、領域ＩＭ０に格納されている画像データを４画素×４画素のサイズのブロック毎に分割した場合に、それぞれのブロックを順次読み出す。そして読み出したブロックと、領域ＩＭ１に格納されている１フレーム前の画像データとを比較し、動きベクトルの大きさＭＶ（ｘ、ｙ）を算出する。ここで、ｘ、ｙは、ブロックの左上隅の画素位置を示す。算出された動きベクトルの大きさＭＶ（ｘ、ｙ）は、ワーキングエリア６０６内のＶ（ｘ／４，ｙ／４）に格納する。そしてこのような処理を全てのブロックについて行うことで、現フレームの画像データ中の各ブロックについて動きベクトルの大きさをワーキングエリア６０６内に登録することができる。
【０１３７】
次に、ステップＳ２０４では、ヒストグラムエリア６０７に格納されている配列Ｈｍ［ｉ］から、動画素の色変換（補正）を行う為に用いるＬＵＴデータであるＬｍ［ｉ］を生成する。同様に、ヒストグラムエリア６０７に格納されている配列Ｈｓ［ｉ］から、静画素の色補正を行う為に用いる配列Ｌｓ［ｉ］を生成する。なお、本ステップにおける配列の生成方法には、例えば、第１の実施形態などで説明した生成方法を適用しても良い。
【０１３８】
すなわち、図２のＬＵＴ生成器７と同様に、得られたヒストグラムエリアのヒストグラム（配列ＨｍまたはＨｓ）から累積ヒストグラムを生成し、基本補正特性値から生成されるＬＵＴを補正値（配列ＬｍまたはＬｓ）とする。第１の実施形態では重みを算出したが、ここではそれぞれ（重みＷｍまたはＷｓ）を１として計算する。
【０１３９】
次に、ステップＳ２０５では、ステップＳ２０３においてブロック毎に求めた動きベクトルを解析する。係る解析では、例えば、その大きさと方向について行う。一例を挙げれば、閾値以上の大きさを有する動きベクトルを求めたブロック（動ブロック）について、隣接する動ブロック同士（動要素間）で動きベクトルの差分ベクトルを求め、全ての差分ベクトルの平均ベクトルを求める。そして、この平均ベクトルのサイズが閾値以上であれば、現フレームの画像データはランダムな動きを示す画像であると判断し、閾値よりも小さい場合には、非ランダムな動きを示す画像であると判断する。
【０１４０】
非ランダムな動きを示す画像であると判断した場合には、現フレームの画像データにおいて中央部のブロックの動きベクトルの大きさと、その周囲（周辺部）のブロック群について求めた動きベクトル群の平均ベクトルの大きさと、の差分ベクトルを算出する。そしてその差分ベクトル（第２差分ベクトル）の大きさが閾値以上であれば、現フレームの画像データは、流し撮りのような動きの映像であると判断する。
【０１４１】
ステップＳ２０６では、ステップＳ２０５における解析処理の結果を参照し、現フレームの画像データはランダムな動きを示す画像である場合には処理をステップＳ２０７に進め、非ランダムな動きを示す画像である場合には処理をステップＳ２０９に進める。
【０１４２】
ステップＳ２０７では、ステップＳ２０４において生成した配列Ｌｓ［ｉ］を、配列Ｃｍ［ｉ］にコピーする。
【０１４３】
ステップＳ２０８では、ステップＳ２０４において生成した配列Ｌｓ［ｉ］を、配列Ｃｓ［ｉ］にコピーする。
【０１４４】
一方、ステップＳ２０９では、ステップＳ２０５における解析処理を参照し、現フレームの画像データが、流し取りのような動きのある映像である場合には、処理をステップＳ２１０に進め、そうでない場合には、処理をステップＳ２１２に進める。
【０１４５】
ステップＳ２１０では、ステップＳ２０４において生成した配列Ｌｍ［ｉ］を、配列Ｃｍ［ｉ］にコピーする。
【０１４６】
ステップＳ２１１では、ステップＳ２０４において生成した配列Ｌｍ［ｉ］を、配列Ｃｓ［ｉ］にコピーする。
【０１４７】
一方、ステップＳ２１２では、ステップＳ２０４において生成した配列Ｌｍ［ｉ］を、配列Ｃｍ［ｉ］にコピーする。
【０１４８】
ステップＳ２１３では、ステップＳ２０４において生成した配列Ｌｓ［ｉ］を、配列Ｃｓ［ｉ］にコピーする。
【０１４９】
次に、ステップＳ２１４では、領域ＩＭ０に格納されている現フレームの画像データにおいて、動画素については配列Ｃｍ［ｉ］を用いて色変換処理を行い、静画素については配列Ｃｓ［ｉ］を用いて色変換処理を行う。即ち、動画素と判断された画素については、配列Ｃｍ［ｉ］において、この画素の輝度値に対応する配列要素の値を用いて色変換処理を行う。また、静画素と判断された画素については、配列Ｃｓ［ｉ］において、この画素の輝度値に対応する配列要素の値を用いて色変換処理を行う。なお、領域ＩＭ０内の画像データについて係る色変換処理を行った結果は領域ＩＭ２内に書き込まれ、領域ＩＭ０内の画像データについては何等変更は行わないものとする。
【０１５０】
次に、ステップＳ２１５では、領域ＩＭ０に格納されている現フレームの画像データを、領域ＩＭ１にコピーする。
【０１５１】
図７に戻り、次に、ステップＳ３０４では、メモリ３０１内の画像表示ソフトウェア６０４を実行することで、領域ＩＭ２内に格納されている画像データに基づく画像を、表示装置３０７に表示させる。
【０１５２】
そして、次のフレームについての処理を行うべく、処理をステップＳ３０１に戻す。
【０１５３】
このような一連の動作により、ランダムな動きの画像については画像情報の変化も激しいので、静画素用の補正データを用いて補正処理を行うことで、過度に補正がかかったり、補正の度合いが激しく変化したりすることを防ぐことができる。また、動きの大きさが大きくても流し撮りのような変化が滑らかである画像の場合は、静画素もその影響を受けるので、動画素用の補正を行うことで滑らかな補正が可能になる。
【０１５４】
＜変形例＞
第３の実施形態では、カメラ３０６から取得した画像について色変換処理を行ったが、画像の取得形態についてはこれに限定するものではなく、例えば、記憶装置３０５内に格納されている動画像を処理対象としてメモリ３０１に取得するようにしても良い。
【０１５５】
また、第３の実施形態では、色変換済みの画像は表示装置３０７に表示するようにしたが、画像の出力形態についてはこれに限定するものではなく、例えば、通信Ｉ／Ｆ３０８を介してネットワーク３０９に出力するようにしても良い。
【０１５６】
また、第３の実施形態では、Ｃｓ［ｉ］、Ｃｍ［ｉ］には、Ｌｍ［ｉ］、Ｌｓ［ｉ］の何れかを用いて（選択して）いたが、Ｌｍ［ｉ］、Ｌｓ［ｉ］を適当な比率で合成したものをＣｓ［ｉ］、Ｃｍ［ｉ］として用いても良い。
【０１５７】
例えば、上記ステップＳ２１０では、下記の式に基づいてＣｍ［ｉ］を決定する。
【０１５８】
Ｃｍ［ｉ］＝β×Ｌｍ［ｉ］＋α×Ｌｓ［ｉ］
但し、α＞β≧０  α＋β＝１
また、上記ステップＳ２１１では、下記の式に基づいてＣｓ［ｉ］を決定する。
【０１５９】
Ｃｓ［ｉ］＝α×Ｌｍ［ｉ］＋β×Ｌｓ［ｉ］
但し、α＞β≧０  α＋β＝１
また、１画素を表現するビット数についても８ビットに限定するものではなく、他のビット数であっても良い。その場合、上記各配列のサイズについてはこのビット数に合わせて適宜拡張すればよい。
【０１６０】
なお、図１，４に示した各部のうち、メモリとして機能する構成要素についてはメモリ３０１や記憶装置３０４，３０５として実現させ、その他の構成要素についてはコンピュータプログラムの形態でもって記憶装置３０４に格納させておいても良い。即ち、図１，４に示した構成を有する画像処理装置についても、図５に示した構成を有するコンピュータでもって実現可能である。
【０１６１】
また、以上の実施形態は適宜組み合わせても良い。
【０１６２】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１６３】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１６６】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】ＬＵＴ生成器７の機能構成例を示すブロック図である。
【図３】図１に示した構成を有する、本実施形態に係る画像処理装置が行う色変換処理のフローチャートである。
【図４】本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図５】本発明の第３の実施形態に係る画像処理装置（コンピュータ）のハードウェア構成例を示すブロック図である。
【図６】本発明の第３の実施形態に係る画像処理装置が色変換処理を開始する段階におけるメモリ３０１内の使用マップを示す図である。
【図７】本発明の第３の実施形態に係る画像処理装置が行う色変換処理のフローチャートである。
【図８】ステップＳ３０３における処理の詳細を示すフローチャートである。
【図９】基本補正特性値の例を示す図である。
【図１】
2010166443.tif 000003
【図２】
2010166443.tif 000004
【図３】
2010166443.tif 000005
【図４】
2010166443.tif 000006
【図５】
2010166443.tif 000007
【図６】
2010166443.tif 000008
【図７】
2010166443.tif 000009
【図８】
2010166443.tif 000010
【図９】
2010166443.tif 000011