(57)【特許請求の範囲】
【請求項１】
動画像データが表すシーンに含まれる第一のオブジェクトと第二のオブジェクトとを識別する識別手段と、
前記動画像データに基づき、前記第二のオブジェクトが前記第一のオブジェクトに含まれるか否かを判定することによって、前記第一のオブジェクトの光沢情報を推定する推定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記推定手段は、前記動画像データに含まれるフレーム画像から、前記第一のオブジェクトにおける領域が高光沢な領域であるか否かを判定し、前記第一のオブジェクトにおける領域が高光沢な領域であるか否かの判定の結果に基づき、前記第一のオブジェクトの光沢情報を推定することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記推定手段は、前記動画像データに含まれるフレーム画像において前記第二のオブジェクトが前記第一のオブジェクトに含まれるか否かを判定することによって、前記第一のオブジェクトの光沢情報を推定することを特徴とする請求項１または請求項２に記載された画像処理装置。
【請求項４】
前記推定手段は、前記動画像データに含まれるフレーム画像において前記第二のオブジェクトが前記第一のオブジェクトに含まれる場合、前記第二のオブジェクトが前記第一のオブジェクトにおける高光沢な領域であるか否かを判定することによって、前記第一のオブジェクトの光沢情報を推定することを特徴とする請求項１から請求項３の何れか一項に記載された画像処理装置。
【請求項５】
前記推定手段は、前記第二のオブジェクトの色情報に基づき、前記第二のオブジェクトが前記第一のオブジェクトにおける高光沢な領域であるか否かを判定することを特徴とする請求項１から請求項４の何れか一項に記載された画像処理装置。
【請求項６】
前記推定手段は、前記第二のオブジェクトの色情報が閾値以上であるか否かに基づき、前記第二のオブジェクトが前記第一のオブジェクトにおける高光沢な領域であるか否かを判定することを特徴とする請求項５に記載された画像処理装置。
【請求項７】
前記推定手段は、前記第一のオブジェクトと前記第二のオブジェクトとの関係が時間経過に対して変化するか否かに基づき、前記第二のオブジェクトが前記第一のオブジェクトにおける高光沢な領域であるか否かを判定することを特徴とする請求項１から請求項６の何れか一項に記載された画像処理装置。
【請求項８】
前記推定手段は、前記動画像データに含まれるフレーム画像において、時間経過に対して前記第二のオブジェクトが移動するか否かに基づき、前記第一のオブジェクトと前記第二のオブジェクトとの関係が時間経過に対して変化するか否かを判定することを特徴とする請求項７に記載された画像処理装置。
【請求項９】
前記推定手段は、前記動画像データに含まれるフレーム画像において、時間経過に対して前記第二のオブジェクトが変形するか否かに基づき、前記第一のオブジェクトと前記第二のオブジェクトとの関係が時間経過に対して変化するか否かを判定することを特徴とする請求項７または請求項８に記載された画像処理装置。
【請求項１０】
前記推定手段は、前記動画像データに含まれるフレーム画像において、時間経過に対して前記第二のオブジェクトが消失するか否かに基づき、前記第一のオブジェクトと前記第二のオブジェクトとの関係が時間経過に対して変化するか否かを判定することを特徴とする請求項７から請求項９の何れか一項に記載された画像処理装置。
【請求項１１】
前記推定手段は、前記第一のオブジェクトの色情報に応じて前記閾値を設定することを特徴とする請求項６に記載された画像処理装置。
【請求項１２】
前記動画像データからフレーム画像を選択する選択手段と、
前記選択手段によって選択されたフレーム画像の色情報と、前記推定手段によって推定された前記第一のオブジェクトの光沢情報と、に基づき画像データを生成する生成手段と
をさらに有することを特徴とする請求項１から請求項１１の何れか一項に記載された画像処理装置。
【請求項１３】
前記生成手段は、前記光沢情報として高光沢が設定された前記第一のオブジェクトが、前記第二のオブジェクトを含む場合、前記第二のオブジェクトの色情報を前記第一のオブジェクトの色情報に置き換えることを特徴とする請求項１２に記載された画像処理装置。
【請求項１４】
前記生成手段は、前記光沢情報として高光沢が設定された前記第一のオブジェクトにおいて、輝度値が所定値以下の領域の前記光沢情報を低光沢に補正することを特徴とする請求項１２または請求項１３に記載された画像処理装置。
【請求項１５】
前記推定手段は、前記光沢情報として高光沢が設定された前記第一のオブジェクトが所定数以上のオブジェクトを包含するか否かの判定と、色情報が閾値以上のオブジェクトが前記所定数以上のオブジェクトの所定割合以上を占めるか否かの判定と、時間経過により前記所定数以上のオブジェクトの位置が変化するか否かの判定と、に基づき、前記所定数以上のオブジェクトが光輝であるか否かを推定することを特徴とする請求項１から請求項１４の何れか一項に記載された画像処理装置。
【請求項１６】
前記動画像データに含まれる複数のフレーム画像のうち前のフレーム画像と後のフレーム画像とで同一のオブジェクトの光沢情報が異なる場合、該後のフレーム画像における前記同一のオブジェクトの光沢情報に基づき、該前のフレーム画像における前記同一のオブジェクトの光沢情報を更新する更新手段をさらに有することを特徴とする請求項１から請求項１５の何れか一項に記載された画像処理装置。
【請求項１７】
請求項１から請求項１６の何れか一項に記載された画像処理装置を含み、
色材および光沢材を用いて画像を形成することを特徴とする画像形成装置。
【請求項１８】
動画像データが表すシーンに含まれる第一のオブジェクトと第二のオブジェクトとを識別し、
前記動画像データに基づき、前記第二のオブジェクトが前記第一のオブジェクトに含まれるか否かを判定することによって、前記第一のオブジェクトの光沢情報を推定することを特徴とする画像処理方法。
【請求項１９】
コンピュータを請求項1から請求項１６の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データが表すシーンに含まれるオブジェクトの光沢情報を推定する画像処理に関する。
【背景技術】
【０００２】
記録媒体に記録材を付着させることで画像を形成する方式の一つにインクジェット記録方式がある。インクジェット記録方式の画像形成装置は、記録媒体の色および記録媒体に付着させた記録材の色を組み合わせることで画像の様々な色彩を表現する。さらに、記録材と同様に光沢材を備え、光沢材を記録媒体上の形成画像に塗布することにより、形成画像の光沢を制御する画像形成装置がある。
【０００３】
ところで、近年、パソコンやディジタルカメラにおいて動画または時間的に連続した複数のフレームからなる画像データ（以下、単に「動画」）を扱う機会が増えた。インクジェット記録方式の画像形成装置においても、動画入力を想定した技術が提案されている。特許文献1は、動画を入力した場合、適切と思われるフレームを自動的に選択し、当該フレームを静止画として出力する技術を開示する。また、特許文献2は、連続したフレームを解析し主要な被写体を特定して、当該被写体をより良くみせるように画像補正パラメタを決定する技術を開示する。
【０００４】
通常の画像データの形式（RGB等）には、光沢に関する情報が明示的に、あるいは、充分に含まれていないため、インクジェット記録方式の画像形成装置で光沢を制御する場合、画像全面に対して一律に光沢材を塗布するか否かになる。もし、ユーザが、実際に光沢が強い物体の画像形成にのみ光沢材を使用し、その他の部分の画像形成に光沢材を使用しないことを望む場合、ユーザは、別途、そのような光沢制御用のデータを作成し、画像形成装置に入力する手続が必要になる。しかし、ユーザビリティを考慮すると、そのような手続は難しいものになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2012-034033号報
【特許文献２】特開2010-015607号報
【非特許文献】
【０００６】
【非特許文献１】境田、鹿喰、田中、湯山「K平均アルゴリズムの初期値依存性を利用した統合処理による画像の領域分割法」電子情報通信学会論文誌、Vol. J81-D-II No.2、311-322頁、1998年2月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、動画像データが表すシーンに含まれるオブジェクトの光沢情報を推定することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理は、動画像データが表すシーンに含まれる第一のオブジェクトと第二のオブジェクトとを識別し、前記動画像データに基づき、前記第二のオブジェクトが前記第一のオブジェクトに含まれるか否かを判定することによって、前記第一のオブジェクトの光沢情報を推定する。
【発明の効果】
【００１０】
本発明によれば、動画像データが表すシーンに含まれるオブジェクトの光沢情報を推定することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例の画像処理装置として動作する情報処理装置の構成例を示すブロック図。
【図２】画像処理装置の処理構成例を示すブロック図。
【図３】画像処理装置が実行する処理を説明するフローチャート。
【図４】オブジェクトの識別を説明するフローチャート。
【図５】多数決フィルタ処理およびラベリングを説明する図。
【図６】オブジェクトテーブルの一例を示す図。
【図７】入力動画像データが表すシーン例を示す図。
【図８】光沢情報の推定を説明するフローチャート。
【図９】実施例2における出力画像データの生成処理を説明するフレーチャート。
【図１０】実施例3における典型的な動画シーンを説明する図。
【図１１】光輝の推定を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明にかかる実施例の画像処理装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。
【実施例１】
【００１３】
［装置の構成］
図1のブロック図により実施例の画像処理装置として動作する情報処理装置10の構成例を示す。パーソナルコンピュータのような情報処理装置10のCPU101は、RAM102をワークメモリとして、記憶部103に格納された各種プログラムを実行し、メインバス110を介して後述する構成を制御する。記憶部103は、ROM、HDD、SSDなどの不揮発性メモリで構成され、OSや後述する画像処理を実現するプログラムなどを格納する。
【００１４】
汎用インタフェイス(I/F)104は、USBなどのシリアルバスインタフェイスであり、インクジェット記録方式の画像形成装置105、マウスやキーボードなどの入力装置106、メモリカードなどの外部メモリ107が接続される。また、ビデオカード(VC)108には、モニタ109が接続される。
【００１５】
CPU101は、モニタ109にユーザインタフェイス(UI)を表示し、入力装置106を介して入力されるユーザ指示に従い、記録部103に格納された例えば画像処理プログラムを実行する。画像処理プログラムを実行するCPU101は、ユーザ指示が指定する、記録部103や外部メモリ107などに格納された画像データに画像処理を施す。画像処理後、CPU101は、処理結果の画像データについて、モニタ109に表示、記憶部103や外部メモリ107などに格納、画像形成装置105に出力、の少なくとも一つを実行する。
【００１６】
図1には示さないが、情報処理装置10がネットワークI/Fを有する場合、有線または無線ネットワークを介して接続されるサーバ装置やディジタルカメラなどとの間で通信を行うことができる。その場合、サーバ装置やディジタルカメラなどに格納された画像データも、外部メモリ107に格納された画像データと同様に、画像処理プログラムの処理対象になる。
【００１７】
●画像処理装置の処理構成
CPU101が実行する上記の画像処理プログラムは、例えばプリンタドライバとして情報処理装置10の記憶部103に格納されている。図2のブロック図により画像処理プログラムの実行によって構成される画像処理装置201の処理構成例を示す。
【００１８】
動画バッファ202は、入力される動画像データ（以下、入力動画像データ）を格納する。フレーム取得部203は、動画像データをフレームごとの静止画（以下、フレーム画像）として扱うために、入力動画像データに変換処理（デコード）を施す。なお、フレーム画像はRGB各チャネル8ビット形式とし、(R, G, B)=(255, 255, 255)が白色を表すとする。
【００１９】
オブジェクト識別部204と光沢推定部205は、入力動画像データが表すシーンに含まれるオブジェクトの光沢情報を推定する。オブジェクト識別部204は、フレーム画像を解析して入力動画像データが表すシーンに含まれるオブジェクトを識別する。光沢推定部205は、オブジェクト識別部204が識別した各オブジェクトの光沢情報をフレーム画像に基づき推定する。
【００２０】
出力フレーム選択部206は、画像形成装置105に出力するフレーム画像を選択する。出力画像生成部207は、光沢推定部205が推定した各オブジェクトの光沢情報と、出力フレーム選択部206が選択したフレーム画像の色情報(RGB)を統合して、各画素の色と光沢を示す出力画像データを生成する。
【００２１】
色分解部208は、色分解テーブル209を参照して、出力画像データを、画像形成装置105が備える記録材（複数色の色材と光沢材）の量に相当するデータ（以下、記録材量データ）に変換する。例えば、画像形成装置105がシアンC、マゼンタM、イエローY、ブラックKの色材と、実質的に無色透明な光沢材CLを備える場合、CMYKCL各チャネル8ビットの記録材量データが生成される。
【００２２】
全色材量が零(C, M, Y, K)=(0, 0, 0, 0)は下地色（白色の記録媒体の場合は白色）を表す。また、説明の簡単化のために、光沢材量CL=0は「光沢が弱」、CL=255は「光沢が強」の二値を表すとして説明するが、光沢材量CLを多階調として、光沢材量CLに応じた量の光沢材を使用してもよい。また、光沢材には僅かな色や濁りがあっても構わない。
【００２３】
ハーフトーン処理部210は、記録材量データの階調数を画像形成装置105が出力可能な階調数に変換するため、誤差拡散やディザなどにより、記録材量データにハーフトーン処理を施す。例えば、画像形成装置105が出力可能な階調数が各記録材についてドット形成を行うか否かの二値とすると、各チャネル8ビットの記録材量データは各チャネル1ビットのデータに変換される。
【００２４】
画像形成装置105が同色相で濃度が異なる記録材を備える場合や、大きさが異なるドットを記録可能な場合など、画像形成装置105が出力可能な階調数が二値よりも大きい場合、ハーフトーン処理部210は、それに相当するビット深さのデータを生成する。出力バッファ211は、ハーフトーン処理後のデータ（以下、HTデータ）を保持し、画像形成装置105の画像形成動作に同期して、HTデータを画像形成装置105に出力する。
【００２５】
画像形成装置105の構成の詳細は省略するが、画像形成装置105は、複数の記録素子を有する記録ヘッドを、記録媒体に対して相対的に、縦横に移動して、画像処理装置201から入力されるHTデータが表す各記録材の二値画像を記録媒体上に記録する。また、画像形成装置105は、記録媒体上を記録ヘッドによって複数回走査して画像を完成させるマルチパス記録方式を採用する。なお、本発明の適用は、インクジェット記録方式の画像形成装置105に限定されず、他の記録方式、例えば、電子写真方式や昇華方式の画像形成装置にも適用可能である。
【００２６】
上記では、情報処理装置10のCPU101による画像処理プログラムの実行によって画像処理装置201の各部、処理、機能が実現されるとして説明を行ったが、画像形成装置105がハードウェアとして画像処理装置201を備える構成も可能である。
【００２７】
［画像処理］
図3のフローチャートにより画像処理装置201が実行する処理を説明する。動画像データが入力されると、動画像データを動画バッファ202に格納する(S301)。フレーム取得部203は、入力動画像データをフレーム画像に変換する(S302)。
【００２８】
オブジェクト識別部204は、詳細は後述するが、フレーム画像を解析して、入力動画像データが表すシーンに含まれるオブジェクトを識別する(S303)。光沢推定部205は、詳細は後述するが、複数のフレーム画像から、識別された各オブジェクトにおける反射光を示す領域を検出し、その検出結果に基づき当該オブジェクトの光沢情報を推定する(S304)。
【００２９】
一方、出力フレーム選択部206は、画像形成装置105に出力するフレーム画像を選択する(S305)。フレーム画像の選択により、入力動画像データに含まれるシーンのうち、どのシーンの画像形成を行うかが決定される。最も単純な選択は、第1フレームのフレーム画像の選択である。
【００３０】
好適には、UIを介して、フレーム画像（と、必要ならば、動画の時刻やフレーム番号）をユーザに提示して、ユーザにフレーム画像を選択させる。また、特許文献1が開示するように、ある程度絞り込んだ選択肢をユーザに提示して、ユーザがフレーム画像を選択するようにしてもよい。なお、フレーム画像の選択(S305)と、オブジェクトの識別(S303)および光沢情報の推定(S304)は、独立に行うことができる。従って、フレーム画像の選択(S305)を先に行ったり、ステップS305と、ステップS303-S304を並行に行ってもよい。
【００３１】
次に、出力画像生成部207は、推定された各オブジェクトの光沢情報と、選択されたフレーム画像の色情報(RGB)を統合して、各画素の色データと光沢データを示す出力画像データを生成する(S306)。オブジェクトの識別結果と光沢情報の推定結果から、各オブジェクトが占める画像上の位置と、それらオブジェクトの光沢情報が分かるから、画素単位に、光沢の強弱を得ることができる。画素単位の光沢の強弱と色情報を統合して、形成する画像の各画素のRGB値と光沢値（強弱二値）を有する出力画像データが生成される。
【００３２】
色分解部208は、色分解テーブル209を参照して出力画像データの色データを記録材量データCMYKに色分解する。また、出力画像データの光沢データを例えば光沢材の使用または非使用を示す記録材量データCLに変換して、記録材量データを生成する(S307)。例えば、光沢値が強の画素には光沢材を用い、それ以外の画素には光沢材を用いない記録材量データCLが生成される。さらに、光沢値の強弱に応じて、色分解テーブルを切り替えるなどの処理を行い、光沢値に適した記録材量データCMYKを生成することも可能である。
【００３３】
次に、ハーフトーン処理部210は、記録材量データCMYKCLにハーフトーン処理を行って、HTデータを生成し(S308)、画像形成装置105の画像形成動作に同期して、HTデータが画像形成装置105に出力される(S309)。
【００３４】
●オブジェクトの識別
次に、オブジェクト識別部204が、オブジェクトの光沢情報を推定する前処理として行う、入力動画像データが表すシーンに含まれるオブジェクトの識別(S303)を説明する。オブジェクトの認識方法として、非特許文献1に記載されたk平均法をベースとする方法を用いる例を説明するが、公知の技術を用いてオブジェクトを識別しても構わない。
【００３５】
図4のフローチャートによりオブジェクトの識別(S303)を説明する。オブジェクト識別部204は、フレーム取得部203の処理(S302)により、入力動画像データのフレーム画像（RGB各チャネル8ビット）にアクセス可能であり、入力動画像データの全時刻のフレーム画像にアクセス可能である。
【００３６】
オブジェクト識別部204は、第1フレームのフレーム画像にクラスタの初期値を設定する(S401)。クラスタは複数の画素からなる画素群であり、最終的に、クラスタがシーンに含まれるオブジェクトを表すと見做される。クラスタの初期値の設定方法は、任意であるが、例えば、画像を横に八等分、縦に五等分した合計40の分割領域それぞれを一つのクラスタとして初期設定する。
【００３７】
次に、オブジェクト識別部204は、フレーム画像の各画素について特徴量を取得する(S402)。実施例において、画素値(r, g, b)と画素位置(x, y)の五つの要素(r, g, b, x, y)を特徴量とする。画素の特徴量の取得に計算は不要であり、ある画素pの特徴量は画素値(rp, gp, bp)と画素位置(xp, yp)の組み合わせである。
【００３８】
次に、オブジェクト識別部204は、各クラスタの平均特徴量を算出する(S403)。i（1≦i≦40）番目のクラスタCiの平均特徴量は、クラスタCiに含まれる画素の値の平均値と位置の平均値(rCi, gCi, bCi, xCi, yCi)である。
【００３９】
次に、オブジェクト識別部204は、クラスタの再構成を行う(S404)。まず、特徴量空間におけるクラスタCiと画素pの間の距離Dipを次式により計算する。
Dip = √{(rCi-rp)2+(gCi-gp)2+(bCi-bp)2+(xCi-xp)2+(yCi-yp)2}  …(1)
【００４０】
距離Dipは、クラスタCiの平均特徴量と画素pの特徴量の間の差が小さいほど小さくなる。従って、計算可能な距離Dipのうち最小値を与えるクラスタCiに画素pを割り当てる。その結果、色と位置がより近い画素が同じクラスタに所属するように、クラスタが再構成されることが期待される。
【００４１】
次に、オブジェクト識別部204は、クラスタの再構成(S404)によりクラスタに変化が生じたか否か、言い替えればクラスタに所属する画素に変化があったか否かを判定する(S405)。クラスタに変化が生じた場合は、処理をステップS403に戻して各クラスタの平均特徴量を更新し、クラスタの再構成(S404)、クラスタの変化の判定(S405)を行う。
【００４２】
クラスタに変化がない場合、オブジェクト識別部204は、クラスタの再構成が収束したと判定して、画像全体に多数決フィルタ処理を施す(S406)。多数決フィルタ処理は、ステップS404までのクラスタリングにより細分されたクラスタをより大きなクラスタに統合する効果を有する。
【００４３】
図5(a)により多数決フィルタ処理を説明する。図5(a)は5×5画素サイズの多数決フィルタを用いる例を示し、中心が処理対象の注目画素Xに相当する。ステップS404までの処理により、各画素は何れかのクラスタに割り当てられ、図5(a)の例によれば、注目画素Xの周囲には、クラスタCi、CjまたはCkに所属する画素が存在する。
【００４４】
多数決フィルタは、注目画素Xが所属するクラスタを、フィルタサイズ内で最も多数派のクラスタに変更する。図5(a)の例は、クラスタCiに所属する画素が「8」、クラスタCjに所属する画素が「6」、クラスタCkに所属する画素が「10」である。従って、多数決フィルタ処理により、注目画素XはクラスタCkに割り当てられる。多数決フィルタ処理は、例えばラスタ順に全画素に実行される。
【００４５】
次に、オブジェクト識別部204は、クラスタの連続性を得るために画素のラベリングを行う(S407)。ステップS406までの処理は、クラスタが連続する一つの領域であることを保証しないため、クラスタに接しない画素が飛び地のように当該クラスタに所属する場合がある。そこで、飛び地状の画素（以下、散在画素）を解消するために、散在画素を別のクラスタとして管理するためのラベリングが行われる。
【００４６】
ラベリングにおいて、画素がラスタ順に走査され、注目画素Xにクラスタを示すラベルが付与される。その際、注目画素Xに隣接する既走査の画素に、注目画素Xと同一のクラスタに所属する隣接画素が存在すれば、隣接画素と同じラベルが注目画素Xに付与される。一方、注目画素Xと同一のクラスタに所属する隣接画素が存在しない場合、注目画素Xには新規のラベルが付与される。
【００４７】
図5(b)(c)によりラベリングを説明する。図5(b)において、既走査領域にはラベル「1」や「2」が付与された画素が存在する。注目画素Xおよび周辺画素は、図5(b)に示すように、クラスタCi、CjまたはCkに割り当てられている。この場合、既走査領域に、注目画素Xと同じクラスタCiに所属する隣接画素（注目画素の左隣りと左上）が存在するので、注目画素Xにはラベル「1」が付与される。
【００４８】
図5(b)の状態から注目画素Xが右に一つ移動して図5(c)の状態になると、既走査領域には、注目画素Xと同じクラスタCkに所属する隣接画素が存在しないので、注目画素Xには新規のラベル「3」が付与される。このようにしてラベリングを繰り返し、ラベリング後、オブジェクト識別部204は、ラベルによってクラスタを管理する。ラベルによって管理されるクラスタは連続した閉領域になる。
【００４９】
次に、オブジェクト識別部204は、以上の処理によって生成されたクラスタのうち、サイズが小さなクラスタを他のクラスタに統合する処理を行う(S408)。統合処理を行う理由は、サイズが余り小さいクラスタは画像に含まれるノイズなどの誤検出の結果である可能性がある上、画像出力において充分な光沢感を表現するにはオブジェクトとしてある程度の面積を必要とするためである。
【００５０】
オブジェクト識別部204は、ラベルによって管理するクラスタのうち、所属する画素が所定数未満のクラスタを統合処理のターゲットとする。そして、ターゲットクラスタの最外殻に位置する画素から順に注目画素として、図5(a)と同様の多数決フィルタ処理により、注目画素の所属クラスタを再決定する。なお、多数決フィルタのサイズは同一でなくてもよく、ターゲットクラスタの再選を防ぐためにターゲットクラスタは票数から除外する。統合処理により、サイズが小さなクラスタは周辺のクラスタに統合される。
【００５１】
統合処理におけるターゲットクラスタの閾値である画素数は、画像サイズに対する割合と定義する方法が考えられる。例えば、割合を0.5%と定義すると、画像サイズが640×480の場合、閾値である画素数は640×480×0.005=1,536画素になる。
【００５２】
また、出力画像における面積から閾値の画素数を決定してもよい。例えば、出力画像上で5×5mm以下のサイズを無視すると仮定する。画像データの解像度が300ppi、印刷解像度が縦横1,200dpiとすると、5mmは印刷画像上の1200/25.4×5=236ドットに相当し、画像データ上では236×300/1200=59画素に相当する。つまり、59×59画素サイズ以下のクラスタがターゲットクラスタである。
【００５３】
次に、オブジェクト識別部204は、ステップS401からS408の処理を全フレーム画像に適用したか否かを判定する(S409)。未了のフレーム画像がある場合は処理をステップS401に戻して、次フレームに対してステップS401からS408の処理を行う。
【００５４】
動画像データにおいて隣接するフレーム間の経過時間は充分に短い（例えば24fpsの場合は約42ms）ため、次フレームにおけるオブジェクトの配置は前フレームに類似すると期待される。そこで、第2フレーム以降のクラスタの初期値は、前フレームのクラスタ構成を初期値に利用することが考えられる。ただし、次フレームにおける新規オブジェクトの出現などに対応するため、ランダムな位置に新規クラスタを追加して(S401)、ステップS402以降の処理を行うことが望ましい。
【００５５】
また、複数のクラスタ初期値の試行によりクラスタリングを行ってもよい。つまり、第1フレームに対して異なるクラスタ初期値を設定して複数回のクラスタリングを行い、それらの結果に共通するクラスタ境界をもつクラスタを処理結果に採用し、共通するクラスタ境界にならなかったクラスタ境界はノイズと見做す。これにより、クラスタ初期値に依存するクラスタリングエラーを防ぐことができる。
【００５６】
また、初期の数フレームにおけるシーン内のオブジェクトの動きが充分小さいと仮定し、第1フレームに複数のクラスタ初期値を設定する代わりに、初期の数フレームに互いに無関係なクラスタ初期値を設定してクラスタリングを行ってもよい。そして、それらの結果に共通するクラスタ境界をクラスタリング結果として採用する。
【００５７】
全フレーム画像についてクラスタリングが終了すると、オブジェクト識別部204は、各フレームにおいて、同一のオブジェクトを表すクラスタを関連付ける(S410)。例えば、隣接するフレームをフレームtとフレームt+1とする。フレームtのラベルiのクラスタCiと、フレームt+1のラベルjのクラスタのCjについて、次式により、オブジェクトの同一可能性を表す評価値Eが算出される。
Eij = √{(ri-rj)2+(gi-gj)2+(bi-bj)2+(xi-xj)2+(yi-yj)2+(Si-Sj)2}  …(2)
ここで、ri、gi、bi、xi、yiはクラスタCiの平均特徴値、
rj、gj、bj、xj、yjはクラスタCjの平均特徴値、
SiはクラスタCiの構成画素の数、
SjはクラスタCjの構成画素の数。
【００５８】
つまり、評価値Eijは、クラスタの構成画素の色、位置、数が同じ場合に最小になり、それら異なるほど大きな値になる。オブジェクト識別部204は、評価値Eijが所定の閾値未満の二つのクラスタを同一のオブジェクトを表すクラスタと判定して、それらクラスタを関連付ける。
【００５９】
オブジェクト識別部204は、クラスタを関連付けを第1フレームから順次最終フレームにまで行い、各オブジェクトと各フレームのクラスタの関係を示すオブジェクトテーブルを作成する(S411)。図6によりオブジェクトテーブルの一例を示す。
【００６０】
図6において、各行に入力動画像データに出現するオブジェクトが配置され、各列に時間順にフレーム番号が配置される。各セルには、各フレームにおけるクラスタのラベルが記録される。例えば、オブジェクト1は、第1フレームにおいてクラスタC1、第2フレームにおいてクラスタC1、第3フレームにおいてクラスタC2、…、に対応する。なお、図6には示さないが、別のラベルをもつクラスタが同一のオブジェクトを表すと判断される場合、セルに複数のラベルが記録される場合がある。
【００６１】
このようにして、オブジェクト識別部204は、入力動画像データのシーンに含まれる各オブジェクトを表す各フレームのクラスタを識別し、各オブジェクトを追跡する。なお、特徴量や評価値の算出は上式に限らず、各項に係数として重みをもたせてもよいし、他の式を用いてもよい。式(1)に重み付けを行う場合は次式のようになる。
Dip = √{kr(rCi-rp)2+kg(gCi-gp)2+kb(bCi-bp)2+kx(xCi-xp)2+ky(yCi-yp)2}  …(3)
ここで、kxは重みであり、kxがすべて1の場合は式(1)と等価である。
【００６２】
また、画像からオブジェクトを識別することができれば、上記に代わる公知の技術を用いることができる。例えば、パターンマッチング法に基づく方法、輪郭検出や投票法に基づく方法、画像の特徴点検出に基づく方法などが利用可能である。また、画像サイズが必要以上に大きいと、オブジェクトの識別に時間が掛かるため、そのような場合は、事前に解像度変換を行った低解像度のフレーム画像をオブジェクトの識別に利用するとよい。
【００６３】
●光沢情報の推定の概要
光沢情報の推定の説明に先立ち、その概要を説明する。図7(a)により入力動画像データが表すシーン例を示す。シーンには三種類の静止物体が存在し、移動するカメラがこれら物体を撮影すると仮定する。図7(a)に示すように、三種類の物体それぞれを、板状のオブジェクト1、球状のオブジェクト2、円錐状のオブジェクト3とする。カメラは、図7(a)に示す曲線に沿って動き、動画の開始時点はt=0である。
【００６４】
図7(b)(c)により図7(a)に示す条件で撮影された動画像データをフレームごとに示す。図7(b)はオブジェクト1が高光沢な場合を示し、図7(c)はオブジェクト1が低光沢な場合を示す。なお、オブジェクト2、3は低光沢とする。また、動画像データは3フレームから構成され、各フレームの撮影タイミングをt=0、1、2とする。
【００６５】
オブジェクト1の光沢の強弱の違いに起因し、フレームによってオブジェクトの見えに顕著な違いが現れる。つまり、高光沢なオブジェクト1の場合、図7(b)に示すように、カメラの移動に応じてシーンを照らす光源（画面外にある）の正反射光が画像に映り込み、フレームt=1、2においてオブジェクト1にハイライト部が発生する。一方、低光沢なオブジェクト1の場合、図7(c)に示すように、同じアングルから撮影しても光源の正反射光の映り込みが発生せず、目立つハイライト部が発生しない。このような画像上の見えの差を用いて、オブジェクトの光沢の強弱を光沢情報として推定する。
【００６６】
このような光沢由来のハイライト部は、次のような特徴をもつと考えられる。
特徴1：オブジェクトの境界の内側に発生、
特徴2：オブジェクトのサイズ以下、
特徴3：正反射光は高輝度で、オブジェクト色が残る場合があるが殆どは光源色（白色）に近い、
特徴4：フレームによって見え方が異なる。
【００６７】
カメラの位置姿勢の変化によるハイライト部の変化を示す特徴4は、ハイライト部が光沢由来か否かを判定するための重要な要素である。図7(b)のt=1におけるフレームを単独の画像として入力した場合、オブジェクト1にハイライト部が存在することが認識される。しかし、単独の画像から、当該ハイライト部が光沢由来か、オブジェクト1に備わる模様の一部かまでは判断することができない。
【００６８】
RGBやCMYKの色情報を記録した形式の画像データにはシーンにおける光沢情報が明示的に含まれていない。勿論、画像の見えとして光沢が観察される場合があるが、それは充分な情報とは言えない。動画像データの場合も光沢情報が明示的に含まれているわけではない。しかし、時間方向の動画像データの変化からハイライト部が光沢由来か否かを推定することができ、画像出力の制御に利用することができる。
【００６９】
●光沢情報の推定
次に、光沢推定部205が行う各オブジェクトの光沢情報の推定(S304)を説明する。以降の説明を簡単にするために、以下の処理において、これまでの全処理結果が自由に参照可能とする。なお、光沢情報の推定(S304)におけるオブジェクトとは、オブジェクトの識別(S303)によって画素の色や位置から領域分割されたクラスタに相当する。そのため、オブジェクトとして光沢によるハイライト部なども含まれる。言い替えれば、オブジェクトがシーンに含まれる現実の物体に対応するとは限らない。
【００７０】
図8のフローチャートにより光沢情報の推定(S304)を説明する。光沢推定部205は、識別された全オブジェクトの光沢情報を「低光沢」に初期設定する(S801)。これは、高光沢オブジェクトを抽出し、高光沢オブジェクトとして抽出されなかったオブジェクトを低光沢オブジェクトとするためである。そして、光沢推定部205は、第1フレームを注目フレームに設定する(S802)。
【００７１】
次に、光沢推定部205は、注目フレームのフレーム画像が表すシーンに含まれる二つのオブジェクトNとMを選定し(S803)、それらオブジェクトが包含関係にあるか否かを判定する(S804)。この判定は、上述した光沢由来のハイライト部の見えの特徴（以下、光沢由来特徴）1、2の判定に相当する。包含オブジェクトをN、被包含オブジェクトをMとすると、例えば、下の手順によって包含関係を判定することができる。
if (min(xN) ≦ min(xM))
if (max(xN) ≧ max(xM))
if (min(yN) ≦ min(yM))
if (max(yN) ≧ max(yM))
オブジェクトNはオブジェクトMを包含する；
else
オブジェクトNはオブジェクトMを包含しない；      …(4)
ここで、(xX, yX)はオブジェクトXに所属する画素の座標、
min( )は最小値を得る関数、
max( )は最大値を得る関数。
【００７２】
オブジェクトNがオブジェクトMを包含する場合、光沢推定部205は、オブジェクトMの色が白色に近いか否かを判定する(S805)。この判定は、光沢由来特徴3の判定に相当し、例えば、下の手順によって、オブジェクトMの色情報が閾値以上か否かによって、オブジェクトMの色が白色に近いか否かを判定することができる。
if (rM ≧ Rth)
if (gM ≧ Gth)
if (bM ≧ Bth)
オブジェクトMの色は白色に近い；
else
オブジェクトMの色は白色に近くない；      …(5)
ここで、(rM, gM, bM)はオブジェクトMの平均特徴値の色要素、
(Rth, Gth, Bth)は閾値。
【００７３】
上記判定の閾値は、例えば(Rth, Gth, Bth)=(240. 240, 240)などに設定すればよいが、包含オブジェクトNの平均特徴値の色要素に応じて変化させてもよい。例えば、包含オブジェクトNが赤色の場合、その光沢も赤味を帯びると想定して、Rth＞Gth、Rth＞Bthのような設定にする。
【００７４】
オブジェクトMの色が白色に近い場合、光沢推定部205は、時間経過に対する包含オブジェクトNと被包含オブジェクトMの間の相対的な関係変化を判定する(S806)。関係変化の判定は、光沢由来特徴4の判定に相当する。
【００７５】
被包含オブジェクトMが光沢由来のハイライト部である場合、時間経過（フレームの変化）に対して、被包含オブジェクトMの包含オブジェクトN内の位置が移動する、被包含オブジェクトMが変形する、被包含オブジェクトMが消失するなどが発生する。つまり、時間経過により被包含オブジェクトMの見え方が変化し、包含オブジェクトNと被包含オブジェクトMの間の相対的な関係が変化する。この関係変化は様々な面からの判定が考えられるが、本実施例では、下の手順により関係変化を判定する。
if (St+1(M) = 0)
時間経過に対する関係変化あり；
else
時間経過に対する関係変化なし；      …(6)
ここで、St+1(M)は次フレームにおけるオブジェクトMの画素数。
【００７６】
手順(6)によれば、注目フレームtに存在するオブジェクトMが、カメラ視点の移動により、次フレームt+1において消失した場合に「時間経過に対する関係変化あり」と判定される。一方、図7(b)(c)に示す、包含ブジェクト1と被包含オブジェクト2の場合は、フレームt=1にオブジェクト2が存在し、次フレームt=2にもオブジェクト2が存するため「時間経過に対する関係変化なし」と判定される。
【００７７】
上記では、比較的簡単な判定条件を説明したが、オブジェクトが光沢由来のハイライト部か否かの判定として様々なものが考えられる。例えば、包含関係の判定には、オブジェクトの重心や領域の追跡を利用してもよい。オブジェクトの重心や領域の追跡は、オブジェクトの出現や消失が光沢の見えの変化なのか、カメラの動きによるフレームイン・アウトなのかを、画像の四辺部にあるか否かで判断する場合にも利用可能である。また、オブジェクトの形状を検出し、形状が複雑な場合やエッジが明確で鋭い場合は光沢の見えではないと判断することも可能である。静止物体の場合、フレームアウトしない限り、画像上のサイズはほぼ一定として、オブジェクトのサイズ変化を複数フレームに亘り調べ、ある範囲のサイズ変化であれば光沢の見えではないとする手法なども考えられる。
【００７８】
ステップS804、S805、S806の全判定結果が真の場合、光沢推定部205は、包含オブジェクトMがオブジェクトNの光沢に由来するハイライト部であり、オブジェクトNが光沢を有すると推定する。そして、オブジェクトNの光沢情報を「高光沢」に設定し(S807)、処理をステップS808に進める。また、ステップS804、S805、S806の何れかの判定結果が偽の場合、光沢推定部205は、包含オブジェクトMがオブジェクトNの光沢に由来するハイライト部ではないと判定して、処理をステップS808に進める。
【００７９】
次に、光沢推定部205は、注目フレームにおいて包含関係が未判定のオブジェクトの組み合わせがあるか否かを判定する(S808)。包含関係が未判定のオブジェクトの組み合わせがある場合は処理をステップS803に戻し、オブジェクトNとMを再選定してステップS804以降の判定を繰り返す。
【００８０】
また、注目フレームにおいて包含関係が未判定のオブジェクトの組み合わせがなくなると、光沢推定部205は、高光沢オブジェクトの抽出が未了のフレームがあるか否かを判定する(S809)。抽出が未了のフレームがある場合は次のフレームを注目フレームに設定して(S810)、処理をステップS803に戻す。
【００８１】
なお、光沢情報は、各フレームに設定される情報ではなく、入力動画像データが表すシーンに含まれるオブジェクトに設定される情報である。あるシーンにおいて高光沢と判定されたオブジェクトに、後のシーンにおいて正反射光によるハイライト部が存在しないとしても、後のシーンにおいて低光沢と当該オブジェクトの光沢情報が設定されるわけではない。
【００８２】
光沢情報は、オブジェクトごとに、全フレーム共通である。言い換えれば、一度、高光沢と判定されたオブジェクトは、その後のフレームにおいても高光沢と推定される。従って、高光沢と判定されたオブジェクトについては、その後のフレームにおける光沢情報の推定を省略することができる。
【００８３】
また、オブジェクトの位置関係に基づき後のフレームにおける光沢情報の推定を省略可能である。つまり、あるフレームにおいて完全に分離した二つのオブジェクトは、以降のフレームにおいて包含関係にあったとしても光沢由来のハイライト部を表す関係にないことが明らかであり、後のフレームにおける光沢情報の推定を省略可能である。
【００８４】
逆に、一度、高光沢と判定したオブジェクトについて、その後のフレームで二つのオブジェクトの包含関係が否定された場合や、光沢由来のハイライト部と判定したオブジェクトが分離した場合があったとする。これらの場合、それらオブジェクトの組み合わせに基づく光沢情報の推定に誤りがあることになる。このような誤りを考慮する場合、まず、オブジェクト同士の包含関係を全フレームに亘って判定する処理順序が好ましい。
【００８５】
また、光沢情報はオブジェクトごとに全フレーム共通である。この点を利用して、高光沢オブジェクトと判定した際のオブジェクトの組み合わせを保持し、複数のフレームにおいて同じオブジェクトの組み合わせで高光沢オブジェクトと判定した場合に当該オブジェクトの光沢情報を「高光沢」に設定してもよい。
【００８６】
図7(a)の例において、高光沢のオブジェクト1の場合はオブジェクト1に対応するクラスタの画素の記録には光沢材が用いられ、低光沢のオブジェクト1の場合はオブジェクト1に対応するクラスタの画素の記録に光沢材は用いられない。ただし、オブジェクト1が高光沢か低光沢かに関わらず、画像形成に用いられる色情報に変化はない。変化するのは、オブジェクト1の領域における光沢材の使用の有無である。
【００８７】
動画像データには光沢情報が明示的に含まれていないものの、複数のフレームの情報から、シーンに含まれる物体の光沢情報を推定し、画像形成の制御に利用する。その結果、光沢制御用データの作成などのユーザ負担を増大させることなく、シーンに含まれる物体の光沢をより忠実に再現した出力画像を形成することができる。つまり、シーンに含まれる高光沢の物体は出力画像においても高光沢に再現され、高光沢ではない物体は出力画像においても光沢を抑えて再現される。
【００８８】
［変形例］
上記では、動画像データに含まれる複数のフレームの情報から、シーンに含まれるオブジェクトの識別と各オブジェクトの光沢情報を推定する方法を説明した。しかし、入力動画像データには様々な物体（静止物体、動きをもつ物体、発光する物体）が含まれ、フレーム間の変化にも様々な状態が考えられる。そのため、オブジェクト認識や光沢情報の推定に誤りが発生する可能性も存在する。
【００８９】
そこで、光沢情報の推定結果をユーザに提示する構成を備えてもよい。つまり、CPU101は、光沢情報の推定結果を示すフレーム画像、または、光沢情報の推定結果を適用した出力画像のプレビュー画像をUIに表示する。なお、高光沢な物体、または、光沢材を使用するオブジェクトを、他の物体やオブジェクトと区別可能に表示することは言うまでもない。
【００９０】
ユーザは、光沢情報の推定結果の提示を参照して、必要があれば、入力装置106を用いて光沢情報の推定結果を修正し、その後、画像出力またはキャンセルを指示する。その際、オブジェクトの識別結果を利用して、オブジェクト単位に、ユーザが光沢情報の設定ができるようにすると、ユーザ負担を抑制することができる。
【００９１】
また、光沢情報の推定前に、オブジェクトの識別結果をユーザに提示することも有効である。この場合、ユーザは、高光沢と理解しているオブジェクトの光沢情報を高光沢に設定することができる。また、低光沢と理解しているオブジェクトの光沢情報を低光沢に設定することができる。光沢情報のユーザ設定が行われた場合、光沢情報の推定が省略される。
【実施例２】
【００９２】
以下、本発明にかかる実施例2の画像処理装置および画像処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。
【００９３】
実施例1においては、画像形成装置105の出力するフレーム画像として、例えば、図7(b)に示すフレームt=0のフレーム画像が選択される例を説明した。この場合、オブジェクト1の画素の形成には光沢材が用いられ、出力画像を観察すると、オブジェクト1において、角度に依存する正反射光が再現される。
【００９４】
一方、画像形成装置105の出力するフレーム画像として、例えば、図7(b)に示すフレームt=1またt=2のフレーム画像が選択されると、当該フレーム画像には、光沢由来のハイライト部（白色に近いRGB情報）が含まれる。この場合も、オブジェクト1の画素の形成には光沢材が用いられ、出力画像を観察すると、オブジェクト1において、角度に依存する正反射光が再現される。しかし、オブジェクト1のハイライト部は白色または白色に近い色として形成され、オブジェクト1には角度に依存しない常在の正反射光表現が存在することになる。
【００９５】
言い替えれば、光沢由来のハイライト部を含むフレーム画像に基づき画像形成を行うと、光源→出力画像→視点の間の角度に依存して観察される正反射光と、出力画像に常在する正反射光表現が混在することになる。このような状況は、観察者に矛盾または違和感を感じさせる危惧がある。以下では、このような状況を防ぐ出力画像データの生成処理を説明する。
【００９６】
図9のフレーチャートにより実施例2における出力画像データの生成処理(S306)を説明する。出力画像生成部207は、選択されたフレーム画像に光沢値を追加し(S901)、フレーム画像において光沢情報に「高光沢」が設定されたオブジェクト（以下、高光沢オブジェクト）の一つを注目オブジェクトとして選択する(S902)。
【００９７】
次に、出力画像生成部207は、注目オブジェクトが光沢由来のハイライト部に対応するオブジェクト（以下、光沢由来オブジェクト）を包含するか否か判定する(S903)。注目オブジェクトが光沢由来オブジェクトを包含する場合、光沢由来オブジェクトに所属する画素の色情報を注目オブジェクトの色情報に置き換える(S904)。光沢由来オブジェクトの画素の色情報を置換する場合、色情報のソースは当該画素に最も近い注目オブジェクトの画素が好ましいが、注目オブジェクトの平均特徴量の色情報要素を置換に用いてもよい。
【００９８】
次に、出力画像生成部207は、フレーム画像における高光沢オブジェクトのすべてについてステップS903の判定を行ったか否かを判定する(S905)。未判定の高光沢オブジェクトがある場合、注目オブジェクトを変更して(S906)、処理をステップS903に戻す。
【００９９】
また、高光沢オブジェクトにおいても、光が充分に当たらず暗い領域では正反射光も小さいと考えられる。従って、出力画像生成部207は、高光沢オブジェクトにおいて輝度値（=√(r2+g2+b2）が所定値以下の領域の光沢値を弱にするなど、さらに光沢情報の補正を行ってもよい。
【実施例３】
【０１００】
以下、本発明にかかる実施例3の画像処理装置および画像処理方法を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。
【０１０１】
上記では、滑らかな物体上で光が反射される光沢について説明した。このような光沢は、カメラの視点移動により変化するが、固定のカメラ視点に対して光源が動く場合や物体が動く場合も同様に変化する。実施例1、2における処理は、それらの光沢変化に対応可能である。
【０１０２】
また、表面の微細な構造に起因してきらきらと輝く「ラメ」と呼ばれるような物体がある。このような物体の光沢に本発明を適用する実施例3を説明する。実施例3の処理は、とくに、ラメのような表現が可能な画像形成装置105や、形成画像の微細構造に角度異方性をもたせることが可能な画像形成装置105を用いる場合に好適である。
【０１０３】
図10(a)により実施例3における典型的な動画シーンを説明する。撮影中、カメラの位置姿勢は変化せず、撮影時間内にシーン内のオブジェクトの移動はないものとする。図10(a)において、画面の下半分を水面（オブジェクト1）が占める。水面（オブジェクト1）には細かい波があり、細波によって反射される光がきらきらと輝くように観察される。
【０１０４】
図10(b)により図10(a)のシーンを撮影した動画像データの連続する二つのフレームを示す。オブジェクト1上に存在するきらきらする輝き（図10(b)に白い十字で示す）は、不規則に位置を変化させる。このような輝き（以下、光輝）は、画像上のハイライト部であり、実施例1において提示した特徴1-4に加えて、次の特徴をもつと考えられる。
特徴5：一つのオブジェクト上に比較的小さなハイライト部が多数、密に存在する、
特徴6：時間経過に対してハイライト部の位置が変化する。
【０１０５】
以下、光輝の推定を説明するが、光輝のような比較的小さいハイライト部を処理対象にする場合、光輝に所属する画素が他のクラスタに吸収されないように、オブジェクトの識別処理(S303)を調整する必要がある。例えば、輝度値が所定値を超える画素は多数決フィルタ処理(S406)の適用外とし、平均特徴情報の色情報要素が示す輝度値が所定値を超えるクラスタについては、統合処理(S408)におけるターゲットクラスタの閾値を小さくするなどの調整を行う。
【０１０６】
以下では、図8に示すステップS808とS809の間、つまり包含関係が未判定のオブジェクトの組み合わせがないと判定された直後に光輝の推定が行われるとして説明を行う。従って、光輝の推定以前に、例えば、図10(b)に示す多数の光輝は、オブジェクト1の光沢に由来するハイライト部と判定され、オブジェクト1は高光沢オブジェクトとして設定されている。従って、光輝の推定は、高光沢オブジェクトについて行えばよいことになる。
【０１０７】
図11のフローチャートにより光輝の推定を説明する。光沢推定部205は、高光沢オブジェクトの一つを注目オブジェクトに選択し(S1101)、複数のフレームにおいて、注目オブジェクトが多数のオブジェクトを包含するか否かを判定する(S1102)。多数のオブジェクトを包含するか否かは、所定数以上（例えば10以上）のオブジェクトを包含するか否かで判定すればよい。また、判定の際、注目オブジェクトが多数のオブジェクトを包含するフレーム区間（以下、包含フレーム区間）を取得する。
【０１０８】
次に、光沢推定部205は、注目オブジェクトが包含する多数のオブジェクトそれぞれの色情報を取得して、色情報が閾値以上の白色に近いオブジェクトが多数のオブジェクトの大多数を占めるか否かを判定する(S1103)。例えば、閾値として(R, G, B)=(245, 245, 245)などを使用し、白色に近いオブジェクトが多数のオブジェクトの所定割合以上（例えば80%以上）を占める場合に判定結果を真とする。
【０１０９】
また、ステップS805と同様に、上記判定の閾値は、注目オブジェクトの平均特徴値の色要素に応じて変化させてもよい。例えば、注目オブジェクトが青色の場合、その光沢も青味を帯びると想定して、Bth＞Rth、Bth＞Gthのような設定にする。
【０１１０】
次に、光沢推定部205は、時間経過により多数のオブジェクトの位置が変化するか否かを判定をする(S1104)。包含フレーム区間において多数のオブジェクトの位置が変化し（判定条件1）、かつ、多数のオブジェクトの位置が注目オブジェクトの位置変化とは一致ない（判定条件2）と認識される場合、時間経過により多数のオブジェクトの位置が変化すると判定する。判定条件2は、注目オブジェクト上の模様が注目オブジェクトとともに移動している可能性を除外する判定条件である。
【０１１１】
ステップS1102、S1103、S1104の判定結果が真の場合、光沢推定部205は、注目オブジェクトが包含する多数のオブジェクトが光輝と判定する。そして、注目オブジェクトの光沢情報を「低光沢」に設定し、注目オブジェクトが包含する多数のオブジェクトの光沢情報を「光輝」に設定して(S1105)、処理をステップS1106に進める。また、ステップS1102、S1103、S1104の何れかの判定結果が偽の場合、光沢推定部205は、注目オブジェクトが包含する多数のオブジェクトが光輝ではないと判定して、処理をステップS1106に進める。
【０１１２】
次に、光沢推定部205は、注目フレームにおいて光輝の推定が未了の高光沢オブジェクトがあるか否かを判定する(S1106)。光輝の推定が未了の高光沢オブジェクトがある場合は処理をステップS1101に戻し、注目オブジェクトを再選定してステップS1102以降の判定を繰り返す。
【０１１３】
また、ステップS1104における判定条件に「包含フレーム区間において多数のオブジェクトの数が5〜50%程度変化する」を加えてもよい。剛体や模様であれば、このような数の変化は生じないため、より正確に光輝を推定することができる。
【０１１４】
光沢情報が「光輝」に設定された領域にはラメなどの表現（ラメ調プリント）が行われた出力画像が形成される。また、光輝を含む、例えば図10(a)に示すオブジェクト1の領域には角度異方性をもつ光沢を与えることができる。
【０１１５】
光輝を扱う場合、上述したように、オブジェクトの識別処理(S303)を調整する必要がある。また、画像形成装置105においても、ラメのような特殊な画像形成を行うために、記録材などの取り扱いや処理も通常の画像形成とは異なるようにした方がよい場合がある。このような点から、画像処理装置201と画像形成装置105が、実施例3の処理を行う例えば「ラメモード」を備えるのが好適である。ユーザがラメモードを指定した場合、画像処理装置201は、識別処理(S303)の調整を行い、光輝の推定を行う。
【０１１６】
なお、ステップS1105において、注目オブジェクトが光輝をもつ場合の注目オブジェクトの光沢情報は「低光沢」に設定した。しかし、画像形成装置105が光沢と光輝表現とを両立可能な場合は、注目オブジェクトの光沢情報の判定に従い「高光沢」に設定してもよい。
【０１１７】
［変形例］
上記では、一つのシーンに対応するフレーム画像を選択して画像形成を行う例を説明した。しかし、例えば特許文献1に開示されるような入力動画像データにおけるフレームの自動選択技術を用いて、一つの入力動画像データに含まれる複数のフレームについて画像形成を行ってもよい。
【０１１８】
また、上記では、入力動画像データの全フレームに対して、順に、デコード、オブジェクトの識別、光沢情報の推定を行う例を説明した。しかし、処理の効率化のため、ある処理段階において全フレームの処理が終わるのを待たずに、一部のフレームに対して次の段階の処理を行うようにしてもよい。この二つを組み合わせ、入力動画像データの記録時間の前方から部分的に処理を流し、順次出力させるストリーミング処理で画像形成を行うことができる。
【０１１９】
ただし、入力動画像データの一部のフレームに対して後続の処理を進めると、前フレームと後フレームの間で情報の偏りが生じる。つまり、あるオブジェクトについて、後フレームの処理時に初めて高光沢と判明する場合、前フレームの処理には当該情報がないために、当該オブジェクトは低光沢として扱われる場合があり得る。この場合、同じ入力動画像データについて、先に出力された画像と後に出力される画像において、同一の物体にも関わらず、光沢表現が異なる。
【０１２０】
そこで、出力した画像に対しては、その時点のオブジェクトの光沢情報を保持しておき、後の処理結果と照合する構成を採用することができる。もし、前後のフレームにおいて光沢情報に差異がある場合は、自動的に前フレームの光沢情報を更新し、再度、当該フレームの画像を出力する。自動的に再出力したくない場合は、出力前にユーザに警告する方式でもよいし、後フレームの光沢情報が出力済みのフレームの光沢情報に整合するように光沢情報を固定してもよい。
【０１２１】
上記では、光沢表現を強弱の二値として、光沢材のドットを形成するか否かを行う例を説明した。しかし、画像形成装置105による多値の光沢表現が可能な場合は、三値以上の光沢情報を用いてもよい。多値の光沢情報は、例えば、光沢由来のハイライト部の大きさ、白色度合いなどに従い推定すればよい。
【０１２２】
［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。
【符号の説明】
【０１２３】
204 … オブジェクト識別部、205 … 光沢推定部、206 … 出力フレーム選択部、207 … 出力画像生成部
【図１】
0006700682.tif 000002
【図２】
0006700682.tif 000003
【図３】
0006700682.tif 000004
【図４】
0006700682.tif 000005
【図５】
0006700682.tif 000006
【図６】
0006700682.tif 000007
【図７】
0006700682.tif 000008
【図８】
0006700682.tif 000009
【図９】
0006700682.tif 000010
【図１０】
0006700682.tif 000011
【図１１】
0006700682.tif 000012