(57)【特許請求の範囲】
【請求項１】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、
前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、
前記抽出したオブジェクトに対するオブジェクト特徴量を取得するオブジェクト特徴量の取得手段と、
前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト特徴量に応じた色変換用の準備処理を行って色変換用画像を作成する色変換準備手段と、
前記注目フレームまでの予め定められた処理期間内において、フレーム順応時間を取得するフレーム順応時間の取得手段と、
前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出手段と、
前記注目フレーム画像に対し、前記色変換用画像および前記フレーム順応特徴量に基づく色変換を行う色変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記色変換準備手段は、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト特徴量に応じたローパスフィルタを用いてローパス画像を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色変換準備手段は、前記オブジェクト特徴量に応じて前記ローパスフィルタのサイズを変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、
前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、
前記注目フレームまでの予め定められた処理期間内において、前記抽出したオブジェクト画像ごとのオブジェクト特徴量を取得するオブジェクト特徴量の取得手段と、
前記オブジェクト画像ごとに、前記オブジェクト特徴量に基づいてオブジェクト順応特徴量を算出するオブジェクト順応特徴量の算出手段と、
前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト順応特徴量に基づく色変換を行う色変換手段と、
を有することを特徴とする画像処理装置。
【請求項５】
前記オブジェクト順応特徴量は、人間の時間的視覚特性を反映した順応の重みを示すことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記オブジェクト特徴量は、前記オブジェクト画像の移動速度の情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト特徴量は、前記オブジェクト画像の移動加速度の情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
前記オブジェクト特徴量は、前記オブジェクト画像の大きさの情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項９】
前記オブジェクト特徴量は、前記注目フレーム画像における前記オブジェクト画像の位置の情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１０】
人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理方法であって、
オブジェクト抽出手段が、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
オブジェクト特徴量の取得手段が、前記抽出したオブジェクトに対するオブジェクト特徴量を取得するオブジェクト特徴量の取得ステップと、
色変換準備手段が、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト特徴量に応じた色変換用の準備処理を行って色変換用画像を作成する色変換準備ステップと、
フレーム順応時間の取得手段が、前記注目フレームまでの予め定められた処理期間内において、フレーム順応時間を取得するフレーム順応時間の取得ステップと、
フレーム順応特徴量の算出手段が、前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出ステップと、
色変換手段が、前記注目フレーム画像に対し、前記色変換用画像および前記フレーム順応特徴量に基づく色変換を行う色変換ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータで実行されることにより、該コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に動画像データに対してカラーマッチングを行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
人間の色の見え方を予測するために、様々な色知覚モデルが提案されている。その代表的なものに、ＣＩＥＣＡＭ０２と呼ばれるカラーアピアランスモデル（ＣＡＭ）がある。ＣＩＥＣＡＭ０２では、白色点や順応輝度、背景輝度、視環境条件といった観察環境のパラメータを設定することができる。ＣＩＥＣＡＭ０２を利用してカラーマッチングを行う場合、これらの観察環境パラメータを入力／出力のそれぞれに対して設定できるため、異なる観察環境下におけるカラーマッチングが可能となる。
【０００３】
また、カラーアピアランスモデルに対して視覚の空間的特性を組み込んだイメージアピアランスモデルも提案されている。さらに近年は、静止画像だけでなく動画像に対するカラーマッチングも行われている。動画像の見えの予測には、視覚の時間的な特性もさらに考慮される必要がある。
【０００４】
動画像に対して、イメージアピアランスモデルであるｉＣＡＭ（image Color Appearance Model）を適用した技術が、例えば非特許文献１に記載されている。この文献には、以下のような技術が記載されている。まず、10秒前のフレーム画像から注目フレーム画像までのフレームに対するローパス画像、及びＹローパス画像（絶対輝度画像）に対し、以下に示す(1)式によって算出した順応の重みを掛け合わせる。なお、(1)式においてＡＷは算出された重みを示し、ｆはフレーム番号を示す。すなわち、例えば１秒間に30フレームであれば、ｆ＝0で現在のフレーム番号、ｆ＝-300で10秒前のフレーム番号を示す。
【０００５】
0005173377.tif 000002
【０００６】
次に、それら複数の重み付けられたローパス画像及びＹローパス画像をそれぞれ合成することによって、注目フレームのローパス画像及びＹローパス画像を生成する。そして、これらをｉＣＡＭのフレームワークで利用する事により、空間的かつ時間的視覚特性を反映させた動画再生を行っている。
【非特許文献１】M.D. Fairchild and G.M. Johnson, “Image appearance modeling,”。 SPIE/IS&T Electronic Imaging Conference, SPIE Vol. 5007, Santa Clara, 149-160 (2003)。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的な動画像において、被写体オブジェクトが複数存在することは当然であり、それぞれのオブジェクトは異なる特徴をする。しかしながら上記非特許文献１に記載された技術によれば、フレーム画像全体に対して一様なアピアランス処理を行っていた。したがって、フレーム画像全体に対して一様に時間的視覚特性等が反映されるため、オブジェクトごとの特徴を考慮した適切な処理を行うことができなかった。
【０００８】
この例を図１３を用いて説明する。図１３に示す車Ａと車Ｂは同一のオブジェクトであり、これらは、動画像のフレーム内を異なる速度で移動しているものとする。車Ａと車Ｂは、もともと同一のオブジェクトであるにも関わらず、その速度の違いにより、それぞれの車に対して知覚される色（色の見え）は一致しないことがある。このように、動画像内のオブジェクトに対する色の見えは、移動速度や位置といったオブジェクトの特徴に応じて異なる場合がある。
【０００９】
このように、フレーム画像全体に一様なアピアランス処理を適用した場合、図１３に例示したような車Ａと車Ｂの特徴の違いを考慮することができず、それぞれのオブジェクトに対して適切な処理結果が得られない可能性がある。
【００１０】
本発明は上述した問題を解決するためになされたものであり、フレーム画像内のオブジェクト画像ごとに、その特徴量に応じた色変換処理を行う画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１２】
すなわち、人間の空間的視覚特性及び時間的視覚特性を反映させるように、時分割された複数のフレーム画像からなる動画像を再生する画像処理装置であって、前記複数のフレーム画像内の注目フレーム画像からオブジェクト画像を抽出するオブジェクト抽出手段と、前記抽出したオブジェクトに対するオブジェクト特徴量を取得するオブジェクト特徴量の取得手段と、前記注目フレーム画像に対し、前記オブジェクト画像ごとに前記オブジェクト特徴量に応じた色変換用の準備処理を行って色変換用画像を作成する色変換準備手段と、前記注目フレームまでの予め定められた処理期間内において、フレーム順応時間を取得するフレーム順応時間の取得手段と、前記注目フレーム画像に対し、前記フレーム順応時間に基づいてフレーム順応特徴量を算出するフレーム順応特徴量の算出手段と、前記注目フレーム画像に対し、前記色変換用画像および前記フレーム順応特徴量に基づく色変換を行う色変換手段と、を有することを特徴とする。
【発明の効果】
【００１３】
以上の構成からなる本発明によれば、フレーム画像内のオブジェクト画像ごとに、その特徴量に応じた色変換処理を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１５】
＜第１実施形態＞
●装置構成
図１は、本実施形態に係る画像処理装置のブロック構成例を示す図である。同図において、ＣＰＵ７０１は、ＲＯＭ７０２及びハードディスク等の外部記憶装置７０５、等に格納されたプログラムに従い、ＲＡＭ７０３をワークメモリに利用して、装置全体の動作を司る。ＣＰＵ７０１はさらに、本実施形態におけるカラーマッチングに関連する処理をはじめとする各種の画像処理を実行する。
【００１６】
入力部７０４は、キーボードやマウスなどの入力デバイス及びその入力インターフェイスを示し、操作者からの入力指示を受け取る。表示部７０６は、モニタなどの表示デバイス及びビデオインターフェイスを示し、動画像の表示、本実施形態に関わるユーザインターフェィスの画面を表示する。出力部７０７は、プリンタなどの出力デバイス及び出力デバイスインターフェイスを示す。
【００１７】
動画像入力部７０８は、ビデオカメラやデジタルカメラ、ビデオプレーヤーなどの動画像データを扱うデバイスより、動画像データを入力して加工する処理部である。例えば、一般に動画像データは画像及び音声から構成されるが、まずこれを画像信号及び音声信号に分離する。そして、画像信号をアナログ信号として受け取った場合に、これをアナログからデジタルに変換する画像Ａ／Ｄ処理部や、音声信号をアナログ信号として受け取った場合、アナログからデジタルに変換する音声Ａ／Ｄ処理部、等を有する。更に、処理されたデジタル画像信号及びデジタル音声信号を圧縮して合成する合成処理部を有する。また、動画像データがＭＰＥＧ４などのオブジェクト符号化方式で送られた場合、オブジェクト符号をオブジェクト画像に復号する復号処理部も、動画像入力部７０８に含まれる。動画像入力部７０８で取得された画像データは、ＪＰＥＧやＴＩＦＦ画像などの画像フォーマットに変換されたることによって、カラーマッチングを行うための画像データが得られる。
【００１８】
●動画像再生処理概要
図２は、本実施形態に係る画像処理装置における動画像再生処理の概要を示すフローチャートであり、夫々の処理の詳細については後述する。
【００１９】
図１に示す動画像入力部７０８より入力された動画像データは、まずステップＳ２０１において、所定の時間間隔にて静止画像に分割される。分割された静止画像を以降、「フレーム画像」と称する。また、本実施形態におけるカラーマッチング処理対象となるフレーム画像を「注目フレーム画像」と称する。ステップＳ２０１ではすなわち、動画像データを時分割して注目フレーム画像を生成する。
【００２０】
次にステップＳ２０２において、注目フレーム画像に対するフレーム画像情報を作成し、さらにステップＳ２０３において、注目フレーム画像に対し、オブジェクトの切り出しを行う。次にステップＳ２０４において、切り出されたオブジェクトに対して、本実施形態の特徴である人間の空間的視覚特性および時間的視覚特性を反映させたカラーマッチング処理に必要となる、オブジェクト情報を生成する。
【００２１】
そしてステップＳ２０５において、これらのオブジェクト特徴量に応じて、注目フレーム画像に対するローパス画像を生成する。そしてステップＳ２０６において、該生成したローパス画像を利用して、注目フレーム画像に対するカラーマッチング処理を行うことにより、再生する動画像データを作成する。
【００２２】
以下、図２に示した各ステップの処理について、詳細に説明する。
【００２３】
●注目フレーム画像分割処理（Ｓ２０１）
動画像入力部７０８より入力された動画像データは、特定もしくは任意の時間間隔で時分割される。分割されたフレーム画像は、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。このとき、後述する図３に示すフレーム画像情報テーブルに対し、フレーム画像データアドレス情報４０３にフレーム画像の格納先を示すアドレスを格納し、さらにフレーム画像サイズ情報４０４にフレーム画像のデータサイズを格納する。
【００２４】
●フレーム画像情報作成処理（Ｓ２０２）
時分割された１フレーム画像に関する情報を、図３に示すようなフレーム画像情報テーブルとして、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に保持する。
【００２５】
図３に示すように、本実施形態のフレーム画像情報テーブルは、フレーム画像の情報を識別するための番号情報を示すフレーム画像情報識別情報として、フレーム連番４０１を有する。さらに、フレーム間の時間間隔、すなわちフレーム画像が描画されるインターバルを示す時間情報４０２、を有する。さらに、記憶装置に格納されているフレーム画像データへのアドレスを示すフレーム画像データアドレス情報４０３、及びフレーム画像データのデータ長を示すフレーム画像サイズ情報４０４、を有する。そしてさらに、後述するステップＳ２０５で生成される、フレーム画像に対するローパス画像データのアドレスを示すフレームローパス画像アドレス情報４０５を有する。そしてさらに、フレーム画像内に含まれるオブジェクトの情報を格納しているオブジェクト情報テーブルのアドレスを示すオブジェクト情報テーブルアドレス情報４０６、及び該テーブルのデータ長を示すオブジェクト情報サイズ情報４０７、を有する。
【００２６】
本実施形態において、フレーム連番４０１はフレーム画像を再生する順番を示し、フレーム画像が切り出される度にインクリメントされて格納される。また、時間情報４０２は、フレーム画像が特定の時間間隔で分割されている場合、その分割時間を格納する。これが任意の時間間隔である場合は、注目フレーム画像の前フレーム画像が表示開始された時間から、該注目フレーム画像が表示されるまでの時間を、装置が標準的に備えている時間処理装置（内部クロック）により取得する。
【００２７】
●被写体オブジェクト抽出処理（Ｓ２０３）
ここでは、注目フレーム画像内に含まれる被写体オブジェクトを抽出してオブジェクト画像データを得る。この被写体オブジェクトを抽出する方法としては、周知の方法を適用することが可能であり、例えば以下のような技術が適用される。
【００２８】
例えば、特開２００４−２４８３１２号公報に記載された技術によれば、連続する複数のフレーム画像により構成される動画像に含まれる被写体の動きを検出するためにブロックマッチング方法の技術を使用している。このブロックマッチング方法とは、フレーム画像をブロック（領域）に分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体を検出する。検出されたオブジェクトは、オブジェクトと背景の境界を示す領域境界情報により表現される。この領域境界情報より、オブジェクト画像データを生成することができる。
【００２９】
また、動画像において背景、人物などの複数のオブジェクトを分離し、該オブジェクト毎に符号化を行うオブジェクト符号化方式も知られている。このオブジェクト符号化方式は、動画像符号化方式の国際標準（ＩＳＯ／ＩＥＣ ＭＰＥＧ４）等でサポートされている。このようなオブジェクト符号化方式の場合、オブジェクトごとに分離されているオブジェクト符号を受け取り、これを復号してオブジェクト画像データを作成することが可能である。
【００３０】
本実施形態では、注目フレーム画像から何らかの方法によって抽出されたオブジェクトごとに、図４に示すオブジェクト情報テーブルに新規オブジェクト情報として登録する。また、このオブジェクト情報を示すアドレスは、図３に示すフレーム画像情報テーブルのオブジェクト情報テーブルアドレス情報４０６に格納され、また、オブジェクト情報のサイズが、オブジェクト情報サイズ情報４０７に格納される。
【００３１】
図４に示すように、本実施形態のオブジェクト情報テーブルには以下に説明する項目が格納される。まず、オブジェクト情報の識別番号を示すオブジェクト番号５０１、オブジェクトの分類を示すオブジェクト分類情報テーブルへのアドレスを示すオブジェクト分類情報アドレス情報５０２を有する。ここでオブジェクト分類情報とは、フレーム画像内に存在するオブジェクトの要素を表すものであり、例えば、後述する図１３に示す「車Ａ」などが１つの分類となる。このオブジェクト分類情報の詳細については後述する。
【００３２】
さらに、被写体オブジェクトとして抽出されたオブジェクトの座標情報が格納されるオブジェクト画像位置情報５０３を有する。このオブジェクト画像位置情報５０３は、フレーム画像の左上を（０，０）とし、オブジェクト画像の左上端を（０，０）としたときの画素の相対位置を示し、オブジェクトの領域境界の座標情報を示す。この座標は、オブジェクトのローパス画像生成の際に利用される。
【００３３】
さらに、オブジェクトの移動速度や大きさ等の特徴量を示す、オブジェクト特徴量情報５０４を有することを特徴とする。
【００３４】
この被写体オブジェクト抽出処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト番号５０１およびオブジェクト画像位置情報５０３を格納する。
【００３５】
●オブジェクト情報生成処理（Ｓ２０４）
図５は、ステップＳ２０４におけるオブジェクト情報生成処理の流れを示すフローチャートである。まず、ステップＳ２０３の被写体オブジェクト抽出処理において抽出されたオブジェクト画像データが、注目フレーム以前のフレーム画像において、後述するオブジェクト分類情報テーブルに既に登録されているか否かを判定する（Ｓ３０１）。この判定は、例えば以下のように行うことができる。まず、フレーム情報テーブルのフレーム連番４０１を参照して、注目フレーム画像の連番よりも１つ小さいフレーム連番を持つフレーム情報を取得する。そして、該取得したフレーム情報に対するオブジェクト情報テーブルを参照し、そのオブジェクト画像位置情報５０３に基づいてオブジェクト画像を抽出する。そして、該抽出したオブジェクト画像が、ステップＳ２０３の被写体オブジェクト抽出処理で切り出されたオブジェクト画像と一致するか否かを判定し、一致していれば、既に登録済みであると判定できる。
【００３６】
なお、オブジェクト画像の一致判定の方法としては例えば、オブジェクト画像を構成する全ての画素が一致するか否かを調べることはもちろん、さらにオブジェクト画像に対して拡大，縮小及び回転等を施してパターンマッチングを行うことも有効である。また、オブジェクト画像の一致したサイズと、該オブジェクト画像のオリジナルサイズと、の割合に基づいて、該オブジェクト画像が登録済みであるか否かを判定してもよい。また、オブジェクト符号化を用いた動画像については、オブジェクトを識別するためのオブジェクト信号が取得されるため、オブジェクトの一致の判断は容易である。
【００３７】
ステップＳ３０１において、抽出されたオブジェクトがオブジェクト分類情報テーブルに登録されていないと判断された場合、ステップＳ３０２において、該オブジェクトの情報を、オブジェクト分類情報テーブルに新規オブジェクト分類情報として登録する。
【００３８】
ここで図６に、オブジェクト分類情報テーブルの構成例を示す。同図に示すように本実施形態のオブジェクト分類情報テーブルは、オブジェクト分類を識別するためのオブジェクト分類番号９０１を有する。そしてさらに、オブジェクトが描画開始されたフレーム番号を示す描画開始フレーム番号９０２、およびオブジェクトが描画終了したフレーム番号を示す描画終了フレーム番号９０３、を有する。そしてさらに、注目フレーム（すなわち描画終了フレーム）におけるオブジェクト特徴量を示す、注目フレームオブジェクト特徴量情報９０４を有する。
【００３９】
オブジェクト分類情報テーブルに対してオブジェクト分類情報を新規登録する場合、オブジェクト分類番号９０１の最大値に１を加えて、新たなオブジェクト分類番号９０１を登録する。そして、描画開始フレーム番号９０２、及び描画終了フレーム番号９０３の両方に対して、注目フレーム番号を登録する。そして、登録したオブジェクト分類情報を示すアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００４０】
一方、ステップＳ３０１においてオブジェクト分類情報が登録済みと判断された場合にはステップＳ３０３に進み、登録されていたオブジェクト分類情報を更新する。すなわち、そのオブジェクト分類情報の描画終了フレーム番号９０３に１を加える。そしてさらに、既に登録されていたオブジェクト分類情報のアドレスを、図４に示すオブジェクト情報テーブルのオブジェクト分類情報アドレス情報５０２に格納する。
【００４１】
ステップＳ３０２における新規登録処理、またはステップＳ３０３における更新処理を終了した後、ステップＳ３０４において、オブジェクトの特徴量を算出する。ここでは、オブジェクト特徴量としてオブジェクトの「移動速度」を例として説明する。オブジェクト移動速度は、例えば、注目フレームとその直前のフレーム（注目フレームのフレーム連番−１）における、オブジェクト画像位置情報５０３の差分ΔＰｏｓ、および、時間情報４０２の差分ΔＴに基づき、以下の(2)式により算出される。
【００４２】
0005173377.tif 000003
【００４３】
(2)式において、ｆはフレーム番号を示し、オブジェクトが新規描画オブジェクトである場合には、Ｖ（ｆ）＝０とすれば良い。
【００４４】
なお、ここではオブジェクト特徴量としてオブジェクトの「移動速度」を例として説明したが、他の特徴量として、オブジェクトの「移動加速度」や「大きさ」等も利用可能である。「移動加速度」については、上記(2)式のＶ（ｆ）をΔＴで除算することにより算出できるし、「大きさ」については、オブジェクトの連結成分を演算することで算出可能である。また、図４に示すオブジェクト情報テーブルに格納されているオブジェクト画像位置情報５０３を、オブジェクト特徴量として利用しても良い。
【００４５】
ここで算出されたオブジェクト特徴量は、図４に示すオブジェクト情報テーブルのオブジェクト特徴量情報５０４と、図６に示すオブジェクト分類情報テーブルの注目フレームオブジェクト特徴量情報９０４に格納される。なお、オブジェクトが新規オブジェクトでない場合には、注目フレームオブジェクト特徴量情報９０４を上書き更新する。
【００４６】
以上のようにステップＳ３０４でオブジェクトの特徴量が算出されると、次にステップＳ３０５において、フレーム内の全てのオブジェクト画像に対し、オブジェクト情報を生成したか否かを判定する。全ての作成が終了している場合は、オブジェクト情報生成処理を終了するが、作成していない場合は、ステップＳ３０１に戻って次のオブジェクト情報を生成する。
【００４７】
ステップＳ２０４のオブジェクト情報生成処理ではすなわち、図４に示すオブジェクト情報テーブルに対し、オブジェクト分類情報アドレス情報５０２、およびオブジェクト特徴量情報５０４を格納する。
【００４８】
●注目フレームローパス画像生成処理（Ｓ２０５）
図７は、ステップＳ２０５における注目フレームローパス画像生成処理の流れを示すフローチャートである。
【００４９】
まずステップＳ６０１において、注目フレーム画像に対するフレームローパス画像を生成、保存し、図３に示すフレーム画像情報テーブルにそのアドレス情報をセットする。このフレームローパス画像はＸＹＺ画像として扱われるため、ここでは注目フレーム画像をＸＹＺ画像に変換し、ガウシアンフィルタ等のローパスフィルタを適用して生成される。なお、このステップＳ６０１において、本実施形態の特徴であるオブジェクト特徴量に応じたローパス画像生成処理が行われるが、その詳細については後述する。
【００５０】
次に、後述する重み付きローパス画像の生成対象となる開始フレーム・終了フレームのフレーム連番を取得する（Ｓ６０２）。本実施形態では、上記非特許文献１に記載された技術と同様に、注目フレームとその１０秒前のフレームまでの処理期間内に存在するフレーム画像に対してローパス画像を生成する。したがって、ローパス画像生成対象の開始フレーム連番に、注目フレームから−１０ｓｅｃにあたるフレームのフレーム連番を設定する。また、ローパス画像生成対象の終了フレーム連番に、注目フレームのフレーム連番を設定する。ここで、−１０ｓｅｃの時間情報は、図３に示すフレーム画像情報テーブルの時間情報４０２に基づいて算出する。このとき、−１０ｓｅｃちょうどに相当するフレームがない場合は、−１０ｓｅｃに最も近いフレームを代わりに用いれば良い。
【００５１】
そして、ローパス画像生成カウンタｉに、ステップＳ６０２で設定したローパス画像生成対象の開始フレーム連番を設定する（Ｓ６０３）。
【００５２】
そしてステップＳ６０４〜Ｓ６０６において、１フレーム画像に対するフレームローパス画像の生成を行う。以下、この１フレーム画像に対する処理について説明する。
【００５３】
まず、ローパス画像生成カウンタｉが示すフレーム連番のフレームローパス画像、及び時間情報を、図３に示すフレーム画像情報テーブルより取得する（Ｓ６０４）。次に、注目フレームの時間情報とフレーム連番ｉのフレームの時間情報に基づき、フレーム画像の相対時間を算出する（Ｓ６０５）。この相対時間がすなわちフレーム順応時間に相当し、例えば１秒間に３０フレームが描画されるのであれば、この順応時間は注目フレームに対しては０となり、−１０ｓｅｃ相当のフレームに対しては−３００となる。
【００５４】
以上のようにステップＳ６０５におけるフレーム順応時間取得処理が終了すると、次にステップＳ６０６において、フレーム順応時間を適用した重み付きローパス画像を生成する。すなわち、ステップＳ６０４で取得したフレームローパス画像に対し、フレーム順応特徴量であるローパス重みＡＷを乗じる。このＡＷは、上記(1)式に対してステップＳ６０５で取得したフレーム順応時間を適用することによって算出できる。これにより、視覚の時間特性を反映する重み付きローパス画像が生成される。
【００５５】
次に、ローパス画像生成カウンタｉがローパス画像生成対象の終了フレーム（すなわち注目フレーム）に相当するか否かを判定する（Ｓ６０７）。ここで終了フレームでない場合には、ローパス画像生成カウンタｉに１を加算して（Ｓ６０８）、ステップＳ６０４の処理に移行する。一方、終了フレームであった場合には、ステップＳ６０６で生成した各フレームの重み付きローパス画像を合成することによって、注目フレームに対するローパス画像を生成する（Ｓ６０９）。
【００５６】
●ローパス画像生成処理詳細（Ｓ６０１）
図８は、ステップＳ６０１における注目フレームのフレームローパス画像生成処理を示すフローチャートである。
【００５７】
まず、ステップＳ８０１において、注目フレームの背景ローパス画像を生成する。この背景ローパス画像は、非特許文献１に記載された技術と同様に、注目フレーム画像にローパスフィルタであるガウシアンフィルタを適用して得られる画像である。もちろん、ここでのローパス処理はガウシアンフィルタによるフィルタリングに限定するものではなく、他のローパスフィルタや人間のコントラスト感度特性に基づくローパス処理を行っても良い。
【００５８】
次に、ステップＳ８０２，Ｓ８０３において、注目フレーム画像内のオブジェクトに対し、本実施形態の特徴であるオブジェクトの特徴量に応じた処理の変更を行って、オブジェクトのローパス画像を生成する。
【００５９】
ステップＳ８０２においては、注目フレーム画像内の１オブジェクトのオブジェクト特徴量を取得する。オブジェクト特徴量は、図６に示すオブジェクト分類情報テーブルに格納された注目フレームオブジェクト特徴量情報９０４、または図４に示すオブジェクト情報テーブルにおけるオブジェクト特徴量情報５０４を利用する。ここでは、注目フレームオブジェクト特徴量情報９０４に格納された注目フレームにおける「移動速度」特徴量を取得するとする。
【００６０】
次にステップＳ８０３において、本実施形態における色変換準備処理として、オブジェクトの色変換用画像すなわちローパス画像を生成する。ここでは、ステップＳ８０２で取得したオブジェクトの「移動速度」に応じて、ローパスフィルタのフィルタサイズを変更する。例えば、「大」「中」「小」といった３段階のサイズのフィルタを用意し、移動速度が大きいほど大きいフィルタを利用する、というように段階的な変更を行うことが考えられる。あるいは、移動速度を入力、フィルタサイズを出力とし、移動速度が小さいほど小さい値を出力するような関数を利用して、連続的な変更を行っても良い。
【００６１】
なお、ここではフィルタ処理の変更に利用するオブジェクト特徴量としてオブジェクトの「移動速度」を用いる例を示したが、これに代えてオブジェクトの「移動加速度」や「大きさ」、「位置情報」等の他の特徴量を利用しても良い。また、これらの特徴量を複数組合せたものを利用しても良い。
【００６２】
次にステップＳ８０４において、ステップＳ８０３で生成したオブジェクトローパス画像を、ステップＳ８０１で生成した背景ローパス画像に合成する。具体的には、背景ローパス画像のオブジェクト領域をオブジェクトローパス画像で上書きする。
【００６３】
次にステップＳ８０５において、フレーム内の全てのオブジェクトに対して処理を終了したか否かを判定し、未処理のオブジェクトが残っている場合はステップＳ８０２に戻る。全てのオブジェクトに対する処理が終了した場合はステップＳ８０６に移行する。
【００６４】
ステップＳ８０６では、全てのオブジェクトローパス画像が合成された背景ローパス画像を、フレームローパス画像としてＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に格納する。そして、そのアドレスを図３に示すフレーム画像情報テーブルのフレームローパス画像アドレス情報４０５に格納する。
【００６５】
以上、図７および図８のフローチャートにより説明した処理によって、注目フレームに対するローパス画像が生成される。
【００６６】
ここで図９に、以上の動作を模式的に示す。図９によれば、車Ａと車Ｂのそれぞれのオブジェクトに対して、オブジェクト特徴量（移動速度）に応じた処理が行われていることが分かる。すなわち、車Ａと車Ｂのそれぞれのオブジェクトに対して、まず移動速度に応じたローパスフィルタ処理を行ってフレーム毎のローパス画像を作成する。そして、(1)式の重み付けに基づいて複数フレームのローパス画像を合成することで、注目フレームに対するローパス画像が生成されている。
【００６７】
●再生画像生成処理（Ｓ２０６）
図１０は、ステップＳ２０６における再生画像生成処理の流れを示すフローチャートである。ここでは、上記非特許文献１と同様にｉＣＡＭのフレームワークを利用する例を示す。
【００６８】
まず、注目フレーム画像（ＸＹＺ画像）及びステップＳ２０５で生成したフレームローパス画像に対し、以下の(3)，(4)式に基づいて色順応変換処理を行う（Ｓ１００１）。
【００６９】
0005173377.tif 000004
【００７０】
(3)式により変換された注目フレーム画像の各画素をＲ，Ｇ，Ｂとし、同じく(3)式により変換されたローパス画像の各画素をＲｗ，Ｇｗ，Ｂｗとすると、色順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）は、以下の(5)〜(7)式から算出される。
【００７１】
0005173377.tif 000005
【００７２】
ここで、Ｄはデバイス白色への順応度合いを表すパラメータであり、０（順応なし）〜１（完全順応）の値をとる。
【００７３】
次に、観察条件係数ＦLを画素ごとに算出する（Ｓ１００２）。ここで観察条件ＦLは、フレームローパス画像のＹ値（ＹＡ）から作成されるＹローパス画像（絶対輝度画像）に基づき、以下の(8)式により算出される。
【００７４】
0005173377.tif 000006
【００７５】
次に、ステップＳ１００１で変換された順応後のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）をＩＰＴ空間に変換する（Ｓ１００３）。ここでＩＰＴ空間とは、Ｉが明暗の度合い、Ｐが赤−緑の色合い、Ｔが黄−青の色合い、をそれぞれ表す直方色空間である。以下、このＩＰＴ空間への変換処理について具体的に説明する。
【００７６】
まず、順応後のＲｃ，Ｇｃ，Ｂｃを、以下に示す(9)〜(11)式にしたがって、錐体応答空間ＬＭＳに変換する。
【００７７】
0005173377.tif 000007
【００７８】
そして次に、以下に示す(12)〜(14)式に従って錐体応答の非線形圧縮を適用するが、その際に、式(8)で算出したＦL値を利用する。
【００７９】
0005173377.tif 000008
【００８０】
その後、下記の(15)，(16)式を利用して、ＩＰＴ空間への変換を行う。
【００８１】
0005173377.tif 000009
【００８２】
以上のようにＩＰＴ空間への変換が終了すると、次に、ＩＰＴ空間上の色を動画像を表示するモニタのＲＧＢ空間に逆変換する（Ｓ１００４）。ＩＰＴからモニタＲＧＢへの変換は、まずＩＰＴ値から順応ＲＧＢ値への逆変換を行い、それをモニタの観察環境に応じたＸＹＺ値に変換し、さらにモニタの特性に基づいてモニタＲＧＢ値に変換することによって、行われる。
【００８３】
以上説明した様に本実施形態によれば、フレーム内におけるオブジェクトごとに、その特徴量に基づいてローパス画像の生成処理を変更することにより、動画像に対してより適切なアピアランス処理を適用することが可能となる。
【００８４】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態における動画像再生処理は上述した第１実施形態とほぼ同様であるが、ステップＳ２０５の注目フレームローパス画像生成処理が異なる。したがって、以下では第２実施形態における注目フレームローパス画像再生処理について説明し、その他の処理については上述した第１実施形態と同様であるため、説明を省略する。
【００８５】
●注目フレームローパス画像生成処理（Ｓ２０５）
図１１は、第２実施形態における注目フレームローパス画像生成処理を示すフローチャートである。第２実施形態では、上述した第１実施形態で図７のフローチャートに示した処理に対して、オブジェクト特徴量に応じた処理を行うタイミングが異なる。すなわち、第１実施形態ではステップＳ６０１において、注目フレームに対し、オブジェクト特徴に応じた処理を行っていた。しかしながら第２実施形態では後述するように、注目フレームだけでなくそれ以前のフレームに対しても、それぞれのオブジェクト特徴量を利用することを特徴とする。
【００８６】
まずステップＳ１１０１において、注目フレーム画像に対するフレームローパス画像を生成、保存する。このフレームローパス画像はＸＹＺ画像として扱われるため、ここでは注目フレーム画像をＸＹＺ画像に変換し、ガウシアンフィルタ等のローパスフィルタを適用して生成される。作成されたフレームローパス画像は、ＲＯＭ７０２やＲＡＭ７０３、または外部記憶装置７０５に格納され、そのアドレスが、図３に示すフレーム画像情報テーブルのフレームローパス画像アドレス情報４０５に格納される。なお、このステップＳ１１０１では、第１実施形態で示した図７のステップＳ６０１ようにオブジェクト特徴量に応じたローパス画像生成処理は行わない。
【００８７】
次に、後述する重み付きローパス画像の生成対象となる開始フレーム・終了フレームのフレーム連番を取得する（Ｓ１１０２）。本実施形態では、上記非特許文献１に記載された技術と同様に、注目フレームとその１０秒前のフレームまでの間に存在するフレーム画像に対してローパス画像を生成している。したがって、ローパス画像生成対象の開始フレーム連番に、注目フレームから−１０ｓｅｃにあたるフレームのフレーム連番を設定する。また、ローパス画像生成対象の終了フレーム連番に、注目フレームのフレーム連番を設定する。ここで、−１０ｓｅｃの時間情報は、図３に示すフレーム画像情報テーブルの時間情報４０２に基づいて算出する。このとき、−１０ｓｅｃちょうどに相当するフレームがない場合は、−１０ｓｅｃに最も近いフレームを代わりに用いれば良い。
【００８８】
そして、ローパス画像生成カウンタｉに、ステップＳ１１０２で設定したローパス画像生成対象の開始フレーム連番を設定する（Ｓ１１０３）。
【００８９】
そしてステップＳ１１０４〜Ｓ１１０８において、１フレーム画像に対するフレームローパス画像の生成を行う。以下、この１フレーム画像に対する処理について説明する。
【００９０】
まず、ローパス画像生成カウンタｉが示すフレーム連番のフレームローパス画像、及び時間情報を、図３に示すフレーム画像情報テーブルより取得する（Ｓ１１０４）。次に、注目フレームの時間情報とフレーム連番ｉのフレームの時間情報に基づき、フレーム画像の相対時間を算出する（Ｓ１１０５）。
【００９１】
次に、上記相対時間に基づいて重みつきローパス画像を生成する（Ｓ１１０６）。具体的には、ステップＳ１１０５で算出した相対時間に基づいて、(1)式からローパス重みＡＷを算出し、このローパス重みＡＷをステップＳ１１０４で取得したフレームローパス画像に乗じる。これにより、視覚の時間特性を反映した重み付きローパス画像が生成され、以下、このローパス画像を重み付き背景ローパス画像と称する。
【００９２】
次に、ステップＳ１１０７，Ｓ１１０８において、フレーム画像内のオブジェクトに対し、第２実施形態の特徴であるオブジェクトの特徴量に応じた処理の変更を行って、重み付きローパス画像を生成する。
【００９３】
ステップＳ１１０７においては、フレーム連番ｉのフレーム画像内における１オブジェクトのオブジェクト特徴量を取得する。オブジェクト特徴量は、図４に示すオブジェクト情報テーブルにおいてフレームごとに格納されたオブジェクト特徴量情報５０４を利用するが、ここでは、「移動速度」特徴量を利用するとする。
【００９４】
次にステップＳ１１０８において、ステップＳ１１０６で生成した重み付き背景ローパス画像におけるオブジェクト画像領域に重みを設定して、重み付き背景ローパス画像を更新する。例えば、移動速度Ｖが大きいほど１に近づき、Ｖが小さいほど０に近づくような、移動速度Ｖに対する重み関数ＶＷ（Ｖ）を定義し、ステップＳ１１０７で取得したオブジェクトの移動速度から、移動速度による重みＶＷを算出する。この重みＶＷが、第２実施形態におけるオブジェクト順応特徴量となる。この重みＶＷをステップＳ１１０６で生成した重み付き背景ローパス画像におけるオブジェクト画像領域のデータに乗じることによって、オブジェクトの特徴量に応じた重み付けを行ったローパス画像が生成される。
【００９５】
ここで図１２に、以上の動作を模式的に示す。図１２によれば、車Ａと車Ｂのそれぞれのオブジェクトに対して、フレーム毎のオブジェクト特徴量（移動速度）に基づいた重み付け（ＶＷ）を行うことにより、注目フレームに対する重み付きローパス画像を生成していることが分かる。
【００９６】
なお、ここではオブジェクトに対する重みを算出するためのオブジェクト特徴量としてオブジェクトの「移動速度」を用いる例を示したが、これに代えてオブジェクトの「移動加速度」や「大きさ」、「位置情報」等の他の特徴量を利用しても良い。また、これらの特徴量を複数組合せたものを利用しても良い。
【００９７】
そして、フレーム内の全てのオブジェクトに対し、オブジェクトごとの順応時間を適用しオブジェクトローパス画像を生成したか否かを判定する（Ｓ１１０９）。全てのオブジェクトに対する処理が終了した場合にはステップＳ１１１０に移行するが、未終了であればステップＳ１１０７に戻る。
【００９８】
ステップＳ１１１０では、ローパス画像生成カウンタｉがローパス画像生成対象の終了フレーム（すなわち注目フレーム）に相当するか否かを判定する。ここで終了フレームでない場合には、ローパス画像生成カウンタｉに１を加算して（Ｓ１１１１）、ステップＳ１１０４の処理に移行する。一方、終了フレームであった場合には、ステップＳ１１０８で生成した複数の重み付きローパス画像を合成することによって、注目フレームに対するローパス画像を生成する（Ｓ１１１２）。
【００９９】
なお、第２実施形態においては、特徴量に応じてオブジェクトローパス画像の重み値を変更することでオブジェクト特徴量に応じた処理の変更を実現する例を示したが、上述した第１実施形態と同様にフィルタサイズを変更しても良い。
【０１００】
以上説明したように第２実施形態によれば、上述した第１実施形態と同様の効果が得られることに加えて、注目フレームだけでなく、それ以前のフレームにおける特徴量も利用することによって、時間的視覚特性の制御をより詳細に行うことができる。
【０１０１】
＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０２】
尚本発明は、前述した実施形態の機能を実現するソフトウェアプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
【０１０３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【０１０５】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【０１０６】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【０１０７】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【０１０８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明に係る一実施形態に係る画像処理装置のブロック構成例を示す図である。
【図２】本実施形態における動画像再生処理を示すフローチャートである。
【図３】本実施形態におけるフレーム画像情報テーブル例を示す図である。
【図４】本実施形態におけるオブジェクト情報テーブル例を示す図である。
【図５】本発明の実施形態におけるオブジェクト情報生成処理の流れを示すフローチャートである。
【図６】本実施形態におけるオブジェクト分類情報テーブルの構成例を示す図である。
【図７】本実施形態における注目フレームローパス画像生成処理を示すフローチャートである。
【図８】本実施形態における注目フレームのフレームローパス画像生成処理を示すフローチャートである。
【図９】本実施形態のアピアランス処理においてオブジェクト特徴量に応じたローパス画像生成が行われる様子を示す模式図である。
【図１０】本実施形態における再生画像生成処理を示すフローチャートである。
【図１１】第２実施形態における注目フレームローパス画像生成処理の流れを示すフローチャートである。
【図１２】第２実施形態のアピアランス処理においてオブジェクト特徴量に応じたローパス画像生成が行われる様子を示す模式図である。
【図１３】従来のアピアランス処理においてオブジェクト特徴量が反映されない様子を示す模式図である。
【図１】
0005173377.tif 000010
【図２】
0005173377.tif 000011
【図３】
0005173377.tif 000012
【図４】
0005173377.tif 000013
【図５】
0005173377.tif 000014
【図６】
0005173377.tif 000015
【図７】
0005173377.tif 000016
【図８】
0005173377.tif 000017
【図９】
0005173377.tif 000018
【図１０】
0005173377.tif 000019
【図１１】
0005173377.tif 000020
【図１２】
0005173377.tif 000021
【図１３】
0005173377.tif 000022