(57)【特許請求の範囲】
【請求項１】
監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部のカラーモデル表現部は、前記入力部から入力された特定色の座標が前記表示部に表示された色彩平面上の色相値の下限若しくは上限の近傍であるときは、その特定色の色相値が前記色彩平面の中心に配置されるように前記色彩平面を再描画すること特徴とする動画像特定色検出装置。
【請求項２】
監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部の表示部は、前記色彩平面に加えて、前記色彩平面上で指定された特定色の色相値と彩度値、特定色の許容範囲を定める４つの頂点の色相値と彩度値の明度を示す明度範囲表示欄と、明度値の許容範囲を入力する明度値設定欄とを表示することを特徴とする動画像特定色検出装置。
【請求項３】
監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部は、特定色の許容範囲を定めるための基準値を予め記憶する記憶部を有し、前記表示部は前記色彩平面に加えて動画像を表示し、前記カラーモデル表現部は、前記入力部により前記動画像の画像内の特定箇所が指定されたとき、その箇所の色相・彩度・明度の情報、前記記憶部に記憶された特定色の許容範囲を定めるための基準値に基づいて、特定色の許容範囲を設定することを特徴とする動画像特定色検出装置。
【請求項４】
監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部の表示部は、前記色彩平面に加えて動画像を表示し、前記カラーモデル表現部は、前記入力部により前記動画像の画像内の特定箇所が指定されたとき、その箇所の色相・彩度・明度の情報を一定時間蓄積し、一定期間蓄積した色相・彩度・明度の変化幅に基づいて特定色の許容範囲を設定することを特徴とする動画像特定色検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を用いて特定色を検出する動画像特定色検出装置に関する。
【０００２】
【従来の技術】
発電プラント、原子力施設、産業施設などの現場では、ランプや表示盤の色の変化、特定の色をした機器の動き、特定の色の服を着た作業員の動きを、画像によって遠隔から監視する要求がある。この様な要求に対して、特定の色を検出することにより、監視画像の異常を検出できる。
【０００３】
このため、例えば、特願平11-170393号に示されるように、人間が指定した特定色を動画像のソフトウエア処理により検出する画像監視装置が提案されている。これらの発明では、人間が特定色を指定するためのインターフェースにYCbCr色度座標系を用いており、まずCbCrの２次元座標で大まかな色を決定し、Y値を動かして詳細な色を指定すると言う方法が採られている。
【０００４】
【発明が解決しようとする課題】
しかし、YCbCr色度座標系では、見た目の色を決定する色みが、青み成分Cbと赤み成分Crとの組み合わせにより決定されるため、色と色の境界が長方形や円、楕円などの単純な図形では表現しずらい複雑なものとなっている。このため、特定色の境界設定には人間の手による微細な指定が必要となり、特定色の許容範囲を簡便に指定することが困難となっている。また、明度Yによっても色みが変化するため、特定色とは離れた色をも許容範囲に加えてしまうことが多くなっている。
【０００５】
本発明の目的は、検出する色を簡便で正確に設定できると共に検出することができる動画像特定色検出装置を提供することである。
【０００６】
【課題を解決するための手段】
請求項１の発明に係わる動画像特定色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部のカラーモデル表現部は、前記入力部から入力された特定色の座標が前記表示部に表示された色彩平面上の色相値の下限若しくは上限の近傍であるときは、その特定色の色相値が前記色彩平面の中心に配置されるように前記色彩平面を再描画すること特徴とする。
【０００７】
請求項２の発明に係わる動画像特定色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部の表示部は、前記色彩平面に加えて、前記色彩平面上で指定された特定色の色相値と彩度値、特定色の許容範囲を定める４つの頂点の色相値と彩度値の明度を示す明度範囲表示欄と、明度値の許容範囲を入力する明度値設定欄とを表示することを特徴とする。
【０００８】
請求項３の発明に係わる動画像特定色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部は、特定色の許容範囲を定めるための基準値を予め記憶する記憶部を有し、前記表示部は前記色彩平面に加えて動画像を表示し、前記カラーモデル表現部は、前記入力部により前記動画像の画像内の特定箇所が指定されたとき、その箇所の色相・彩度・明度の情報、前記記憶部に記憶された特定色の許容範囲を定めるための基準値に基づいて、特定色の許容範囲を設定することを特徴とする。
【０００９】
請求項４の発明に係わる動画像特定色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色の許容範囲を入力された色相値および彩度値に基づいて設定する特定色設定部と、前記動画中の変化ブロックを抽出し前記変化ブロック中の色データが前記特定色設定部で設定された特定色の許容範囲に入っているブロックを検出しかつ前記検出したブロックが連鎖していることで特定色物体と判定する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画上にその検出表示を合成して表示する動画像表示部とを備えた動画像特定色検出装置において、前記特定色設定部は、横軸を色相値、縦軸を彩度値とし、明度値を固定値とした２次元座標上に色彩平面を表示する表示部と、前記表示部に表示された色彩平面上で特定色を選択する入力部と、前記表示部の表示制御を行うカラーモデル表現部とを備え、前記特定色設定部の表示部は、前記色彩平面に加えて動画像を表示し、前記カラーモデル表現部は、前記入力部により前記動画像の画像内の特定箇所が指定されたとき、その箇所の色相・彩度・明度の情報を一定時間蓄積し、一定期間蓄積した色相・彩度・明度の変化幅に基づいて特定色の許容範囲を設定することを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を説明する。図１は本発明の実施の形態に係わる動画像特定色検出装置のブロック構成図である。
【００３１】
図１において、特定色設定部１０４は、カラーモデル表現部１０６により表示制御されて表示部１０７に表示された色彩平面を参照しながら、入力部１０８から入力された色相値および彩度値に基づいて、動画像中から検出する物体の特定色の許容範囲を設定するものである。この特定色設定部１０４で設定された特定色の許容範囲は特定色データ保存部１０５に記憶される。なお、特定色設定部１０４の記憶部１０９には、必要に応じて特定色の許容範囲を定めるための基準値が予め記憶される。
【００３２】
一方、動画像符号化部１０１は動画像を圧縮した符号化データの復号化処理を行うものであり、動画像符号化部１０１で復号化されたデータは特定色物体検出部１０２の変化ブロック抽出部１１１に入力されると共に、動画像表示部１０３に入力される。特定色物体検出部１０２は、動画像中の色データが特定色設定部１０４で設定された特定色の許容範囲内に入っているブロックを検出するものである。
【００３３】
特定色物体検出部１０２の変化ブロック抽出部１１１では、画像上の色が変化したブロックを抽出し色データ判定部１１２に出力する。色データ判定部１１２では、特定色データ保存部１０５に保存された特定色と変化した色とを比較する。すなわち、画像の各ブロックの色が特定色の許容範囲内に入っているか否かを判定する。そして、その許容範囲内に入っているときは、特性色ブロック判定部１１３は、許容範囲内にあるブロックの連鎖状態を評価し、連鎖状態評価の結果から特定色を検出する。
【００３４】
動画像表示部１０３は、特定色物体検出部１０２が特定色を含むブロックを検出したとき、動画像上にその検出表示を合成して表示し、監視員に特定色物体の変化を提供する。
【００３５】
図２は、動画像復号化部１０１のブロック構成図である。符号化データは１フレーム毎に可変長復号化部１２１に入力される。入力された符号化データは、符号化の逆過程として可変長復号化部１２１によって復号化され、逆量子化部１２２によって逆量子化される。さらに、IDCT部１２３によって逆離散コサイン変換が行われる。
【００３６】
ここで、動画像データのフレームには、フレーム全体のデータを含むイントラフレームと、過去のフレームとの差分情報だけを含むインターフレームとがある。前者のイントラフレームの場合、IDCT部１２３から出力されたデータから一つのフレームを構成することができるが、後者のインターフレームの場合、IDCT部１２３から出力されたデータからは、過去のフレームにおける値と差異があったブロック以外は構成できない。
【００３７】
そこで、スイッチ１２６を切り替えることにより、過去のフレームデータを蓄積するフレームメモリ１２４からのデータを動き補償部１２５を通して加算器１２７で加算し、IDCT部１２３からの出力データと合成する。
【００３８】
特定色物体検出部１０２では、動画像符号化部１０１からのデータを用いて特定色の検出を行う。特定色物体検出部１０２の変化ブロック抽出部１１１では、入力された符号化データが画像内の全マクロブロックを含んでいるか、あるいは変化したマクロブロックのみを表しているかを判断し、特定色の検出判定対象となるマクロブロックを抽出する。この判断は、動画像符号化部１０１で符号化データに付随して設定されたモード情報を用いて行われる。
【００３９】
色データ判定部１１２では、対象ブロックの色データと特定色設定部１０４から入力され特定色データ保存部１０５に保存された特定色と比較し、特定色であるかどうかを判断する。図３は、色データ判定部１１２の処理内容を示すフローチャートである。
【００４０】
まず、ブロック内の各画素の色データを入力する（Ｓ１）。入力されたフレーム内のブロックで色の変化があった場合、そのブロックは過去のフレームのブロックから変化するため、差分情報としてIDCT部１２３から出力される。画像データの色データがHSVカラーモデルで表現される場合、IDCT部１２３からのデータは、画素毎に色相信号H、彩度信号Sと明度信号Vを含んでいる。
【００４１】
そこで、色データ判定部１１２では、入力したブロック内の画素に特定色設定部１０４で予め設定された範囲に入る色データが含まれているか否かを判定する（Ｓ２）。つまり、ブロック内の画素(i,j)のHSV値が特定色の許容範囲内に含まれるが否かを判定する。
【００４２】
このステップＳ２での判定は、特定色設定部１０４における特定色の範囲設定方法により異なり、特定色の範囲をHSVカラーモデルで設定する場合には、以下の式を評価することになる。
H1＜H＜H2、  S1＜S＜S2、  V1＜V＜V2
【００４３】
そして、特定色許容範囲内に含まれる場合にはその画素をカウントし（Ｓ３）、含まれないときにはステップＳ２に戻る。つまり、ブロック内のすべての画素についてステップＳ２およびステップＳ３を繰り返し行う。
【００４４】
次に、ブロック内のすべての画素について、ステップＳ２およびステップＳ３の処理が終了すると、カウントした画素数が予め定めた検出最小画素数より大きいか否かを判定し（Ｓ４）、特定色検出画素数が検出最小画素数より大きいときはそのブロックは特定色を包含するので、特定色包含フラッグをＯＮする（Ｓ５）。一方、特定色検出画素数が検出最小画素数より小さいときはそのブロックは特定色を包含しないので、特定色包含フラッグをＯＦＦする（Ｓ６）。このようにして、色データ判別部１１２はブロックが包含する特定色の検出を行う。
【００４５】
また、色データ判定部１１２では特定色が消滅したときの検出も行なう。特定色の検出は変化が検出されたブロックをトリガーとしてそのブロックに関連するブロックを特定色ブロック判定部１１３で判定することにより特定される。この判定は、変化ブロックをトリガーとして実施されるため、特定色が点灯したままの状態ではブロック判定は行なわず、前の状態を保持する。そのため、一度特定色が検出されたブロックはその状態が変化するまで特定色検出状態が保持され続け、特定色が消滅したときに保持状態を解除する必要がある。
【００４６】
そこで、色データ判定部では変化ブロック抽出部１１１で変化が検出されたブロックが、以前のフレーム処理で特定色ブロック判定部１１３にて特定色ブロックと判定されたブロックである場合には、上記色データ評価とは逆に、特定色の許容範囲外にあるかどうかを判定する。
【００４７】
図４は、特定色ブロック判定部１１３の処理内容を示すフローチャートである。まず、特定色包含ブロックの特定色物体判定を行い（Ｓ１０１）、特定色物体の外郭ブロックを検出する（Ｓ１０２）。
【００４８】
すなわち、この特定色包含ブロックの特定色物体判定Ｓ１０１では、特定色包含フラッグがＯＮに変わったブロックに関して、特定色が検出されたブロックの分布状態を評価し、分布状態からそのブロックが特定色物体であるかを判定する。
【００４９】
画像データにノイズが入った場合や被写体の一部に意図しない特定色が混在しているような場合には、１つのブロックで特定色が検出され、廻りのブロックでは特定色が検出されないような状況が発生する。このような状況における偶発的な特定色検出を防ぐため、特定色が検出されたブロックの廻りのブロックの特定色検出状態を評価し、特定色物体の特定基準（例えば特定色が検出されたブロックが連続して存在するときに特定色物体とする）を満足するブロックを特定する。
【００５０】
次に、特定色物体の外郭ブロック検出Ｓ１０２では、特定色検出ブロックの連続した範囲を求め、検出された特定色物体ブロックの外枠を求める。これは、特定色物体であると判定されたときには、特定色物体の範囲を動画像表示部１０３で合成表示するためである。
【００５１】
ここで、特定色設定部１０４では、特定色の許容範囲を指定し設定する。一般に、色を指定する場合には、３つの変数を指定することで色を表現するできる。HSV色度座標系を用いる際には、色相H、彩度S、明度Vの３つの値を指定することで色が特定できる。そこで、特定色設定部１０４の表示部１０７に、明度値を固定値とし、横軸を色相値、縦軸を彩度値とした色彩平面を表示して、この色彩平面で特定色を設定する。
【００５２】
この場合、カラーモデル表現部１０６では、色データ判定部１１２で使用されるHSVカラーモデルと表示部１０７で使用されるRGBカラーモデルとの変換、および表示部１０７における色彩平面の表示制御を行う。
【００５３】
HSV色度座標系は、生理的かつ心理物理学的に人間の知覚に基づき、色相H、彩度S、明度Vによって色を定義するカラーモードである。絵の具を混ぜて色を作るように、主観的な感覚で色の決定ができる。色相H（Hue）は、図５に示すように、色に順序を与え、0から360°の角度で示した値である。色の順序で代表的なものに、赤、橙、黄色…と並ぶ虹の色がある。この色は赤で始まり紫に終わっているが、実際に日常経験する物体の色には、これらの両端の赤と紫の間をつなぐような赤紫が存在する。そこで、この赤紫を使えば色相はちょうど一回りし手元に戻ってきて、いわゆる色相環(hue circle)というものが出来上がる。色相Hは、具体的には、これに円の角度を対応させ、0から360゜までの値を持たせることで色を表現する。
【００５４】
彩度S（Saturation）は、色の鮮やかさを表す指標である。例えば、同じ緑でも鮮やかな緑もあれば灰色に近い緑もある。全くの灰色にはいわゆる色が無いので無彩色と呼んでいるが、この無彩色から有彩色に至るまでの順序にも値を定めることができる。具体的にはこれを各色相に対応させて考えることで、彩度は円の原点を無彩色、円周上を最も鮮やかな色としたときの、原点からの距離の比とする。値としては0から1までの値をとる。
【００５５】
明度V（Value）は、色の明るさを表す指標である。例えば同じ無彩色でも白から黒までの色は灰色を経由していろいろ考えられる。有彩色においても同様であり、例えば非常に明るい緑から暗い緑に至るまで、色相や彩度はそう変わらないのに明るさだけが変わるという場合は多々ある。従って、これにも順序が考えられ、値を定めることが可能である。値としては0から1までの値をとる。
【００５６】
彩度Sと明度Vとの関係を、図７に示す。Sがベクトルの角度、Vがベクトルの長さを表す。Sが０の時は無彩色となり、値が大きくなると有彩色となる。Vが０の時は明るさが０なので黒になる。
【００５７】
色相H、彩度S、明度Vを合わせて考えると、まず色相Hが360゜のどの角度であるかを示し、彩度Sがその円の中心を貫く垂線からの傾きを表す角度、明度Vがベクトルの長さであると考えることができる。明度Vが０の時は他の色相Hや彩度Sが何であっても黒になり、彩度Sが０の時は無色（灰色系）になり、彩度Sが大きいほど白から原色系に近づく。
【００５８】
特定色を設定入力する際には、図７に示すような色彩平面を用いて、まず色相値と彩度値とを選択する。図７において、色彩平面は、明度値Vを一定にしたときの色相値Hと彩度値Sとを軸とする平面で色を表現する。表示部１０７上に色彩平面を表示する場合には、予め定めた明度値Vの基準値に対する色相値H、彩度値Sから構成される座標HSに対応する点の色をRGB値に基づき表示する。ここで、HSV色度座標系とRGB色度座標系の関係は次式で与えられる。
【００５９】
0003954256.tif 000002
である。
【００６０】
以上の関係を元に、予め定めた明度値Vの基準値に対する色相値H、彩度値Sから構成されるHS色彩平面空間の点の色をRGB値に基づき表示する。このようにして表示されたHS色彩平面上で、マウス・トラックボールなどの特定色を示す座標を指定する入力部１０８を用いて特定色の座標を指定し、色彩平面上で選択された座標の色相値および彩度値を特定色の色相値および彩度値とする。
【００６１】
HSV色度座標系では、色みは色相値Hのみにより区別される。従って、この空間上で検出する特定色の許容範囲を設定する場合には、許容範囲を色相軸と直行する直線で設定することによって、使用者の意図しない色を除外した色範囲が設定できる。
【００６２】
また、彩度値Sは、最小値０に近づくほど無彩色となるため、有為な色検出結果を得るためには、領域を彩度軸と直行する直線で区切ることで、無彩色を除外した適切な検出範囲を指定できる。
【００６３】
従って、色相値Hと彩度値Sに関して、特定色とその許容範囲を設定する際には、図８に示すように、色相軸、彩度軸に直行した直線で囲まれた部分、つまり、色彩平面上で、色相軸と彩度軸に並行な長方形で許容範囲を設定することで、使用者の意図しない色を除外した有為な色検出結果の出やすい、検出のための特定色の許容範囲を設定できる。
【００６４】
このように、長方形と言う単純な形で、特定色の許容範囲を適切に設定できるので、特定色設定部１０４は、事前にオペレータが目視にて同色と見なせる色相値H、彩度値Sの許容範囲を基準値として設定しておくことが可能である。
【００６５】
そこで、特定色設定部１０４の記憶部１０９に、予め特定色の許容範囲を定めるための基準値を記憶しておく。そして、入力部１０８により色彩平面上で特定色が指定されたときは、カラーモデル表現部１０６は、その色相値、彩度値、および記憶部１０９に記憶された基準値に基づいて特定色の許容範囲を設定することも可能である。
【００６６】
この場合のカラーモデル表現部１０６の処理内容を図９に示す。入力部１０８により色彩平面上で特定色が指定されたときは、記憶部１０９に記憶された基準値に基づいて特定色の許容範囲を設定し（Ｓ１１）、そのHSの許容範囲を色彩平面上に表示する（Ｓ１２）。
【００６７】
図１０は、その場合の色彩平面の説明図である。色彩平面には特定色の許容範囲を自動調整することを許可するための許容範囲自動調整スイッチ１１０が表示されており、この許容範囲自動調整スイッチがＯＮになっているときに、特定色設定部１０４のカラーモデル表現部１０６は、色彩平面上で指定された特定色の色相値H、彩度値Sに基づいて、色相、彩度、および明度に対して、オペレータの設定し記憶部１０９に記憶された基準値に従い許容範囲を超えない許容幅を選択し設定することになる。
【００６８】
以上の説明では、許容範囲自動調整スイッチ１１０をＯＮにして、自動で予め定めた基準値の許容範囲を設定するようにしているが、オペレータ自身が特定色の許容範囲を選択し設定することも可能である。
【００６９】
図１１は、この場合のカラーモデル表現部１０６の処理内容を示すフローチャートである。入力部１０８により色彩平面上で特定色の設定範囲が指定されたときは、その範囲を特定色の許容範囲として設定し（Ｓ２１）、そのHSの許容範囲を色彩平面上に表示する（Ｓ２２）。
【００７０】
図１２は、その場合の色彩平面の説明図である。色相値および彩度値の許容範囲を指定入力するための許容範囲入力欄４００が表示されており、オペレータは、色相値Hの許容範囲設定欄４１１、彩度値Sの許容範囲設定欄４１２に直接許容範囲の大きさを決定する数値を代入する。これにより、色相値Hおよび彩度値Sの許容範囲を直接設定し、特定色の許容範囲を設定する。このようにして、特定色の許容範囲の設定をより厳密にするように長方形の大きさを調整することが可能となる。
【００７１】
次に、HSV色度座標系では、色相Hは循環的な値であり、色相値０の時の赤から始まり、黄→緑→水色→青→桃色→赤と、色相値Hが最大の時に再び元の赤に戻る。従って、色彩平面上で特定色および許容範囲を設定する際に、特定色の座標が色彩平面上の色相値Hの下限若しくは上限の近くで設定入力された場合には、図１３（ａ）に示すように、その設定した範囲が色彩平面上の端部に位置することになる。
【００７２】
そこで、特定色設定部１０４のカラーモデル表現部１０６では、入力部１０８から入力された特定色の座標が表示部１０７に表示された色彩平面上の色相値Hの下限若しくは上限の近傍であるときは、図１３（ｂ）に示すように、その特定色の色相値Hが色彩平面の中心に配置されるように色彩平面を再描画する。
【００７３】
すなわち、特定色設定部１０４で特定色および許容範囲を設定する際に、色彩平面上から設定入力された特定色の座標が、色彩平面上の色相値Hの下限若しくは上限に近く、特定色の許容範囲の幅が色相値の下限若しくは上限を超える場合には、色彩平面が設定入力された特定色の色相値が色彩平面の中心に配置されるように色彩平面を再描画する。これにより、特定色の設定範囲の設定がやり易くなる。
【００７４】
ここで、色彩平面は明度値Vを一定とした場合の色相値Hと彩度値Sとの関係を示すものであるが、これに加え明度値Vを設定する場合について説明する。その場合には、図１４に示すように、特定色設定部１０４の表示部１０７に、色彩平面に加えて、色相値および彩度値の明度を示す明度範囲表示欄６１１と、明度値Vの許容範囲を入力する明度値設定欄６１２とを表示する。明度範囲表示欄６１１は、色彩平面上で指定された特定色の色相値および彩度値の明度と、特定色の許容範囲を定める４つの頂点の色相値および彩度値の明度とを示す。
【００７５】
すなわち、色彩平面上で、色相値Hおよび彩度値S、その許容範囲を設定した後、明度値Vおよびその許容範囲の設定を行う。その際、色相値、彩度値の許容範囲は色彩平面で表されるため、そのままでは、色相値、彩度値に対応する明度値の許容範囲は立体空間となり、表示設定が非常に困難である。そこで、色彩平面に加え、色相値および彩度値の明度を示す明度範囲表示欄６１１と、明度値Vの許容範囲を入力する明度値設定欄６１２とを表示し、適切な明度値の許容範囲を設定可能とする。
【００７６】
この場合のカラーモデル表現部１０６の処理内容を図１５に示す。入力部１０８により色彩平面上で特定色およびその許容範囲が指定されたときは、特定色の座標および許容範囲の４隅の点の色相値、彩度値に基づいて、明度範囲表示欄６１１にそれらの明度値を表示する（Ｓ３１）。そして、オペレータにより明度値設定欄６１２から入力された明度値およびその許容範囲を設定する（Ｓ３２）。
【００７７】
すなわち、色彩平面上で、色相値、彩度値の許容範囲が決定すると、色彩平面上で指定された特定色の色相値と彩度値、および特定色の許容範囲を構成する４つの頂点の色相値および彩度値、これら５点の色相値と彩度値について、明度値を０から最大まで変化させた場合の色見本が明度範囲表示欄６１１に表示される。明度範囲表示欄６１１のすぐ下には、明度値設定欄６１２が表示され、明度範囲表示欄６１１の色表示に合わせ、明度値設定欄６１２のつまみを調節することで、明度値とその許容範囲を設定する。
【００７８】
次に、特定色の検出で頻繁に用いられる色、例えば、一般的な赤色警告灯の色などに関しては、検出の際に人間が一回一回指定するよりは、予め典型的な特定色とその許容範囲を設定しておき、直接その色を指定できるようにしておくと便利である。そこで、図１６に示すように、特定色設定部１０４の表示部１０７に、色彩平面、明度表示欄、明度設定欄に加えて、予め定められた特定色を指定するための特定色入力ボタン５００を表示し、この特定色入力ボタン５００に対し予め特定色を割り付けておく。
【００７９】
すなわち、特定色およびその許容範囲を設定するときに、予め設定された特定色と許容範囲を選択する際の操作画面に特定色入力ボタン５００を表示する。この特定色入力ボタン５００に対して、検出に用いられる代表的な色に関して、予め特定色と許容範囲を設定しておく。このように、操作画面上の特定色入力ボタン５００に特定色およびその許容範囲を関連付けすることにより、単純な操作で色彩画面で簡易に特定色および許容範囲の設定が可能となる。
【００８０】
次に、実際に検出する特定色を動画像上で表現できる場合には、動画像上で特定色を指定する方が正確な色を指定できる。そこで、特定色設定部１０４の表示部１０７に、色彩平面に加えて動画像を表示する。そして、入力部１０８により動画像の画像内の特定箇所が指定されたとき、カラーモデル表現部１０６は、その箇所の色相・彩度・明度の情報を特定色として設定するようにする。
【００８１】
図１７に示すように、再生した動画像上で検出する特定色が表示されている部分をオペレータが選択すると、選択された部分の色データは特定色設定部１０４のカラーモデル表現部１０６により、特定色として設定される。すなわち、オペレータにより、検出したい特定色を動画像上で指定されると、カラーモデル表現部１０６は、指定された画像上の点の座標を求め、この座標に対応する画像データの色データを抽出する。この色データから色相・彩度・明度を算出し、その値を特定色の基準値として設定する。
【００８２】
また、特定色設定部１０４の記憶部１０９に、特定色の許容範囲を定めるための基準値を予め記憶しておき、入力部１０８により動画像の画像内の特定箇所が指定されたとき、その基準値に基づいて特定色の許容範囲を設定するようにすることも可能である。
【００８３】
図１８に示すように、再生した動画像上で検出する特定色が表示されている部分をオペレータにより選択されると、カラーモデル表現部１０６は選択された部分の色データを特定色として設定し、記憶部１０９に予め設定してある基準値に従い許容範囲を設定する。
【００８４】
すなわち、特定色設定部１０４の表示部１０７には色彩平面に加えて動画像を表示し、入力部１０８により動画像の画像内の特定箇所が指定されたとき、カラーモデル表現部１０６は、その箇所の色相・彩度・明度の情報、さらには記憶部１０９に記憶された特定色の許容範囲を定めるための基準値に基づいて、特定色の許容範囲を設定する。これにより、実際に検出する特定色の許容範囲が動画像上で指定でき、その許容範囲は予め定めた基準値に基づいて定められるので正確な特定色およびその許容範囲を指定できる。
【００８５】
ここで、実際には動画像上の同じ物体の色は、常に同じ色をしている訳ではなく、周囲の明るさの変動などにより常に一定の範囲で変化を続けている。このため、動画像上から特定色あるいはその許容範囲を入力した場合、見かけの色の変動により検出がうまくいかない可能性がある。
【００８６】
そこで、特定色設定部１０４の表示部１０７に、色彩平面に加えて動画像を表示し、入力部１０８により動画像の画像内の特定箇所が指定されたとき、その箇所の色相・彩度・明度の情報を一定時間蓄積し、一定期間蓄積した色相・彩度・明度の変化幅に基づいて特定色の許容範囲を設定する。
【００８７】
すなわち、動画像の特定箇所の色相・彩度・明度情報を一定時間蓄積し許容範囲として設定する。図１９に示すように、まず、検出する時間幅を指定する。図１９では設定時間として４８０分が設定されている。次に、入力部１０８により検出したい特定色を画像上で指定する。カラーモデル表現部１０６は、指定された画像上の点の座標を求め、先に指定した一定時間の間、この座標に対応する画像データの色データを抽出し記録を続ける。
【００８８】
そして、一定時間の終了後、時間間隔中の全色データの中で、色相・彩度・明度それぞれの最大値・最小値・平均値を求め、この値を特定色あるいは特定色の許容範囲として設定する。これにより、周囲の明るさの変動などにより特定色が変化した場合に対して、より正確な特定色が設定できる。
【００８９】
また、動画像上において複数の特定色を検出したい場合にも、動画像上で複数の特定色を指定する方が正確な色を指定できる。そこで、特定色設定部１０４の表示部１０７に、色彩平面に加えて動画像を表示し、入力部１０８により動画像の画像内の特定箇所２箇所が指定されると、カラーモデル表現部１０６は、指定された２箇所の位置を対角線とした四角の範囲内に含まれる複数の色相・彩度・明度の情報を特定色として設定する
【００９０】
図２０に示すように、再生した動画像上で検出する特定色が表示されている範囲を選択する。選択された範囲の色データは、特定色として設定される。すなわち、検出したい色が範囲内に入るよう画像上で指定する。次に指定された画像上の点の座標を求め、この座標に対応する画像データの色データを抽出する。この色データから色相・彩度・明度を算出し、その値を特定色の基準値として設定する。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、検出する色を正確に設定できる。すなわち、請求項１の発明によれば、検出する特定色を人間の意図通りに設定し検出でき、設定が複雑な色選択を、生理的かつ心理物理学的に人間の知覚に基づいた主観的な感覚で色の決定ができるとともに、さらに色指定や許容範囲の設定が容易な２次元平面色彩平面に、色相環の循環性を与えるので、偏りの無い色設定が可能となる。
【００９７】
請求項２の発明によれば、特定色および許容範囲について、それに対応する明度値を表示するので、色相、彩度値に対応した明度値の許容範囲を適切に設定できる。
【０１００】
請求項３の発明によれば、動画像内の特定箇所を指定して、色相・彩度・明度を設定し、事前に設定した特定色の許容範囲が設定されるので、正確に実画像から特定色を検出することが可能となる。
【０１０１】
請求項４の発明によれば、動画像内の選択した箇所の色相・彩度・明度情報を設定した時間蓄積し、時間変化と共に変わる周囲環境の色相・彩度・明度の値を許容範囲として設定できるので、周囲の環境変化の傾向に合わせた精度の高い特定色検出することが可能となる。
【０１０２】
請求項１２の発明によれば、動画像内の特定箇所、二箇所を対角位置として結ぶ四角の範囲内の複数の色相・彩度・明度の情報を特定色設定部に設定できるので、複数の特定色検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わる動画像特定色検出装置のブロック構成図。
【図２】本発明の実施の形態における動画像復号化部のブロック構成図。
【図３】本発明の実施の形態における色データ判定部の処理内容を示すフローチャート。
【図４】本発明の実施の形態における特定色ブロック判定部の処理内容を示すフローチャート。
【図５】本発明の実施の形態における色相の模式図。
【図６】本発明の実施の形態における彩度と明度との関係を示す模式図。
【図７】本発明の実施の形態における色彩平面の説明図。
【図８】本発明の実施の形態における色彩平面上で特定色を長方形で囲んで指定する場合の説明図。
【図９】本発明の実施の形態における特定色設定部で予め定められた基準値に基づき特定色の許容範囲を表示する場合のカラーモデル表現部の処理内容を示すフローチャート。
【図１０】本発明の実施の形態における特定色設定部で予め定められた基準値に基づき特定色の許容範囲を表示する場合の色彩平面の説明図。
【図１１】本発明の実施の形態における特定色設定部で手動で特定色の許容範囲を設定する場合のカラーモデル表現部の処理内容を示すフローチャート。
【図１２】本発明の実施の形態における特定色設定部で手動で特定色の許容範囲を設定する場合の色彩平面の説明図。
【図１３】本発明の実施の形態における特定色設定部で特定色および許容範囲を設定する際に、特定色の座標が色彩平面上の色相値の下限若しくは上限の近傍である場合の色彩平面の再描画の説明図。
【図１４】本発明の実施の形態における特定色設定部で明度値を設定する場合の明度範囲表示欄および明度値設定欄の説明図。
【図１５】本発明の実施の形態における特定色設定部で明度値を設定する場合のカラーモデル表現部１０６の処理内容を示すフローチャート。
【図１６】本発明の実施の形態における特定色設定部で予め定められた特定色を指定する際に使用される特定色入力ボタンの説明図。
【図１７】本発明の実施の形態における特定色設定部により動画像上で特定色を設定する場合の説明図。
【図１８】本発明の実施の形態における特定色設定部により動画像上で特定色および予め定められた基準値に基づいてその許容範囲を設定する場合の説明図。
【図１９】本発明の実施の形態における特定色設定部により動画像上で指定した特定色を一定時間蓄積して特定色およびその許容範囲を設定する場合の説明図。
【図２０】本発明の実施の形態における特定色設定部により複数の特定色を設定する場合の説明図。
【符号の説明】
１０１  動画像復号部  １０２  特定色物体検出部  １０３  動画像表示部  １０４  特定色設定部  １０５  特定色データ保存部  １０６  カラーモデル表示部  １１０  許容範囲自動調整スイッチ  １１１  変化ブロック抽出部  １１２  色データ判定部  １１３  特定色ブロック判定部  １２１  可変長復号化部１２２  逆量子化部  １２３  ＩＤＣＴ部  １２４  フレームメモリ  １２５動き補償部  １２６  スイッチ  １２７  加算器  ４００  許容範囲入力欄  ５００  特定色入力ボタン  ６１１  明度範囲表示欄  ６１２  明度値設定部
【図１】
0003954256.tif 000003
【図２】
0003954256.tif 000004
【図３】
0003954256.tif 000005
【図４】
0003954256.tif 000006
【図５】
0003954256.tif 000007
【図６】
0003954256.tif 000008
【図７】
0003954256.tif 000009
【図８】
0003954256.tif 000010
【図９】
0003954256.tif 000011
【図１０】
0003954256.tif 000012
【図１１】
0003954256.tif 000013
【図１２】
0003954256.tif 000014
【図１３】
0003954256.tif 000015
【図１４】
0003954256.tif 000016
【図１５】
0003954256.tif 000017
【図１６】
0003954256.tif 000018
【図１７】
0003954256.tif 000019
【図１８】
0003954256.tif 000020
【図１９】
0003954256.tif 000021
【図２０】
0003954256.tif 000022