(57)【要約】【課題】光学式クロススクリーンフィルターを使用しない動画像信号のデータストリームに対して、撮影時の条件情報を入力せずに、簡単にクロススクリーンフィルターの近似処理を行う。【解決手段】ステップＳ１は、動画信号より静止画フレームデータを切りだし、メモリに保存する処理を行う。対象フレームからクロスビームの輝点を抽出する処理（ステップＳ２）を行い、過去に抽出する輝点座標と現在の輝点座標より、輝点の移動ベクトルの算出を行う（ステップＳ３）。予め与えられているパラメータ、輝点のランク、輝点座標を参照し、各基点毎にクロスビームの長さ、回転の位相、描画輝度を演算し、現在の静止画フレームへの描画処理を行う（ステップＳ４）。全フレームを処理したかを確認し（ステップＳ５）、処理していなければステップＳ１に戻り、処理していれば終了する。【選択図】　　　図２
2004088140.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号のデータストリームに対してクロススクリーンフィルター近似処理を施すことを特徴とする動画像信号処理方法において、
動画中に含まれる一連の各静止画フレームにおける描画される光条の長さ、ならびに位相は、静止画フレームの映像信号から得られるフレームを構成する各画素の輝度情報、その輝度方向の分布度合い、ならびにその空間的な分布度合いによるランク付けの情報によって決定されることを特徴とする動画像信号処理方法。
【請求項２】
隣接するフレーム間の光条の中心となる各輝点の移動状態である時間軸方向に離散的な情報を調べて、次フレームの仮想輝点を予測し、仮想輝点が静止画フレームの範囲外に存在すると仮定される場合、この静止画枠外の仮想輝点から放射される光条につき描画を行うことを特徴とする請求項１記載の動画像信号処理方法。
【請求項３】
連続する静止画フレームに対して、初期位相から、静止画フレームのフレームナンバーの増加とともに、光条の位相に対し、回転角度を加えることを特徴とする請求項１記載の動画信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画信号に対してクロススクリーンフィルター近似処理を実行する動画像処理方法に関する。
【０００２】
【従来の技術】
従来、映像信号に施す変換処理において、「クロススクリーンフィルター」がある。「クロススクリーンフィルター」とは、面内の高輝度部分を中心として、放射状の輝線を発生させるものである。この変換処理は、光学式フィルターを用いて行われていたが、静止画フレームに対して、映像信号の演算処理によるクロススクリーンフィルター近似を行うものが特開昭６２−３２５７７号公報に開示されている。
【０００３】
図１９は、静止画フレームでの映像信号処理によるクロススクリーンフィルター近似の一例を示すブロック図である。
図１９において、ＩＦ１は静止画情報ソースであり、銀塩フィルムやフラッシュメモリーＩＣカードなどが考えられる。ＩＦ２は、各種撮影パラメータ（シャッター速度、絞り値、焦点距離、ストロボ使用の有無など）と撮影環境（明るさ、時刻、場所など）から構成される撮影条件情報であり、ＩＦ３は、近似を行う光学式フィルターの選択を代表とする変換処理条件情報である。
なお、本明細書では、クロススクリーンフィルターに限定するため、これら変換処理条件情報の詳細な説明については割愛する。
【０００４】
入力装置９０は、入力信号を電気信号に変換する装置である。入力装置９０１は、ＩＦ１の性質に応じて様々な構成が考えられるが、昨今のデジタルカメラの場合、フラッシュメモリーＩＣカードのリーダーにより保存されているＪＰＥＧ圧縮データを復元し、これをＲＧＢ構成のデジタル映像信号に変換する装置である。９１は、Ｒ、Ｇ、Ｂ三原色に対応したデジタル画像メモリである。処理装置９２はメモリ９１に蓄積されたデジタル画像信号を、必要に応じてワークファイル９３を用いながら変換処理を行う。変換が終了したら出力装置９４に形態に応じて出力を行うが、これらはＣＲＴ装置９８、印刷媒体９９、磁気ディスク１００、磁気テープ１０１などが考えられる。
【０００５】
処理装置９２の制御を行うのが制御装置９７である。制御装置９７は情報ＩＦ２、ＩＦ３を用いて制御を行う。ＩＦ２については変換処理の種類の選択であり、キーボードなどの入力操作装置（図示せず）により処理を行うオペレータにより入力される。ＩＦ３の撮影条件情報は、銀塩フィルムやその他の映像記録メディアのしかるべき位置に撮影時に記録されるものである。従って、これらの情報は入力装置９５によって、デコード処理を行った後、メモリ９６に保持される必要がある。最近ではデジタルスチルカメラが主流になりつつあるため、装置９５は、フラッシュメモリーＩＣカード中に存在するＥＸＩＦファイルのファイルヘッダ中の必要情報を読み取り、メモリ９６に格納する役割を果たす。制御装置９７は、メモリ９６に格納された情報を元に、処理装置９２が必要とするパラメータを決定し、これを処理装置９２に対して出力する。なお、情報ＩＦ３は、撮影時の情報ではなく、処理時にパラメータを変更することが可能となる。
【０００６】
図２０，２１，２２は、処理装置９２の従来技術での処理内容を示すフローチャートである。処理は大きく分けて、（１）クロスビームパターンの中心点＝輝点座標の算出（２）クロス形状の計算（３）元画面とクロスビームパターンの合成（描画）となる。
【０００７】
（１）輝点座標の算出＝図２０のステップＳ５１〜Ｓ５７
Ｒ、Ｇ、Ｂそれぞれが規定の閾値を超えている画素につき１を、それ以外の画素につき０をそれぞれワークファイル９３の第１のワーク画面に保持する（ステップＳ５１）。抽出された座標の画素（第１のワーク画面が立った画素）は、全てクロス処理を行う中心点（輝点）の候補であるが、輝点が連続すると描画される光条の径が大きくなりすぎるため、ここで輝点を小さくする処理を行う。このために第１のワーク画面中に値１が水平垂直両方向に連続した輝点の固まりを図形として捕らえ、これにラベリングを施す（ステップＳ５２）。ラベリングされたこれらの図形のうち、面積が閾値を超えるものについては第２のワーク画面に移動する（ステップＳ５３）。第２のワーク画面に図形があるかを確認し（ステップＳ５４）、図形がある場合、第２のワーク画面上で、図形の輪郭部分の画素を取り除くの収縮処理（ステップ５５）を行い、その結果を第１のワーク画面に戻す（ステップＳ５６）。以上の処理を第２のワーク画面に図形が存在しなくなるまで繰り返して行うことで、輝点の算出が終わる（ステップＳ５７）。
【０００８】
（２）クロス形状の計算＝図２１と図２２のステップＳ５８〜Ｓ７２
クロス形状を決定する要素として、光条の本数、位相、長さ、輝度分布がある。これらのパラメータのうち光条の長さＬについては与えられた撮影条件情報のうち、フィルムへの最大回折角θと焦点距離ｆを元に、次式で演算が可能である。
Ｌ＝ｆ×ｔａｎθ（ステップＳ５８）
【０００９】
フィルムに写し込んだ情報の中にクロススクリーンフィルター近似処理のパラメータ指示があるかを確認し（ステップＳ５９）、ない場合は、パラメータにデフォルト値を代入し（ステップＳ６０）、ある場合は、指定されたパラメータ値を代入する（ステップＳ６１）。
【００１０】
また、各パラメータは、撮影条件情報のみを基準に算出するのではなく、オペレータの入力による指定も可能である。そのため、処理装置９２は、キーボードからオペレータの入力によるパラメータ変更の指示があるかを確認し（ステップＳ６２）、ある場合は、指定されたパラメータ値に変更する（ステップＳ６３）。
【００１１】
クロスビームの演算・描画については、Ｒ、Ｇ、Ｂ各プレーンに対して行えば良い。ここではＲプレーンに関する方法を説明する。
先に抽出した第１のワーク画面に存在する輝度座標に該当するＲプレーン中の全画素データを第２のワーク画面に移動する（ステップＳ６４）。次にクロスデータの積算用に用意したバッファ画面を初期化し（ステップＳ６５）、描画する光条の本数を示すパラメータＩを１に初期化する（ステップＳ６６）。
【００１２】
ステップＳ６７では、与えられたパラメータにより算出されたクロスビームの位相（＝初期角度）に従い、第２のワーク画面を回転する。ただし、実際にはワーク画面そのものを回転するのではなく、後述する光条の描画方向を逆方向に回転させれば良い。同様にクロスビームの角度の方向に第２のワーク画面を１づつづらし、積算画面に加算を行う。これを予め求めたＬの距離だけ行うが、移動した距離に応じてクロスビームデータの輝度分布による重み付けを反映させる必要がある。そこで、クロスビームの角度の方向へワーク画面を距離１ずつ動かし、クロスビーム内の輝度分布と指定された値の重みづけをして積算画面に足してゆく（ステップＳ６８）。これで、積算画面中にＲプレーン中の１本のクロスビームデータ（第２のワーク画面中の輝点の数）が描画される。
【００１３】
Ｉに１を加え（ステップＳ６９）、Ｉがクロスビームの本数より大きいかを確認し（ステップＳ７０）、大きくなければＲ画面の輝点と判定された画素をワーク画面に移し（ステップＳ７１）、ステップＳ６７に戻る。こうして、この処理を光条の本数だけ繰り返すことで（ステップＳ６９〜Ｓ７１）、Ｒプレーンに該当する全クロスビームデータの形状が完成するが、この積算結果では輝度が飽和してしまうので、全データを与えられた輝度分布の総和にて除する（ステップＳ７２）ことによりＲプレーン用のデータが完成する。この処理をＧプレーン、Ｂプレーンに対しても行う。
【００１４】
（３）元画面とクロスビームパターンの合成（描画）＝図２２のステップＳ７３〜Ｓ７６
完成したクロスビームパターンとオリジナルの画面の合成は、オリジナル画面の輝点以外の輝度の平均輝度と、クロスビーム画像の平均輝度を求め（ステップＳ７３〜Ｓ７４）、これを経験的に求められた演算式に与えることで、画像の合成比率を求め（ステップＳ７５）、その比率で２つの画像の合成を実施する。（Ｓ７６）
【００１５】
【発明が解決しようとする課題】
従来の技術には、次のような課題がある。
【００１６】
（１）撮影時のパラメータ記録が必須となっている。
昨今のデジタルカメラにおいては、これらの情報は画像ファイルと同時に記録されることが多いとはいえ、全ての撮影機器が情報を保持しているわけではない。焦点距離はともかくも、レンズの最大回折角を記録するものは少ない。また、動画像撮影装置などの動画ストリームデータには、このような情報は存在しない。さらに、原稿読取装置（スキャナ）からのスキャン画像、またはインターネットに広く流通するデジタル静止画像についても、これらの情報が欠落している場合が多い。
【００１７】
（２）上記パラメータが存在しない場合、オペレータが入力する必要がある。
これらパラメータはカット＆トライで経験的に決定、入力する必要がある。特に動画ストリームに関しては、これらパラメータを逐次処理でオペレータが入力するのは困難が伴う。以上のようなことから、最低限の情報さえ入力すれば、従来技術で必要とされたレンズの最大回折角、焦点距離、光条の輝度分布などのパラメータをある程度自動的に算出する手法が求められる。
【００１８】
（３）動画ストリームに対し、時間軸に沿ったパラメータの変換が反映されない。
従来の技術を動画ストリーム中の全静止画データに対して適用し、これを動画に再構成すれば、光学式クロススクリーンフィルターを装備したビデオカメラで撮影したかのような動画像が得られる。しかしながら、従来技術では、輝点の移動、輝点の移動に伴う光条の変化などについての仕組みが用意されていないため、単なる静止画像に対する映像信号処理ではなく、動画であることを考慮した処理方法が必要である。
【００１９】
本発明の目的は、光学式クロススクリーンフィルターを使用しない動画像信号のデータストリームに対して、撮影時の条件情報を入力せずに、簡単にクロススクリーンフィルターの近似処理を行うことができる動画像信号処理方法を提供することにある。
【００２０】
【課題を解決するための手段】
本発明は、動画像信号のデータストリームに対してクロススクリーンフィルター近似処理を施すことを特徴とする動画像信号処理方法において、
動画中に含まれる一連の各静止画フレームにおける描画される光条の長さ、ならびに位相は、静止画フレームの映像信号から得られるフレームを構成する各画素の輝度情報、その輝度方向の分布度合い、ならびにその空間的な分布度合いによるランク付けの情報によって決定されることを特徴とする。
【００２１】
また、本発明は、隣接するフレーム間の光条の中心となる各輝点の移動状態である時間軸方向に離散的な情報を調べて、次フレームの仮想輝点を予測し、仮想輝点が静止画フレームの範囲外に存在すると仮定される場合、この静止画枠外の仮想輝点から放射される光条につき描画を行うことを特徴とする。
【００２２】
また、本発明は、連続する静止画フレームに対して、初期位相から、静止画フレームのフレームナンバーの増加とともに、光条の位相に対し、回転角度を加えることを特徴とする。
【００２３】
本発明においては、動画ストリーム中から抽出された静止画映像信号に対し、特に複雑なパラメータ設定を行わずにある程度の効果が得られるという意味で、従来技術を改良した静止画映像信号処理を行うことにより、光学式クロススクリーンフィルターを近似する。
【００２４】
また、一連の静止画映像信号処理を全フレームに適用するのではなく、クロスビームの光条径、長さ、輝度などの種々のパラメータにつき、動画ストリームの特徴である時間軸方向における変化を反映した形で重み付けを行う。これにより、ビデオカメラなどの動画撮影機器に光学式クロススクリーンフィルターを装着して撮影したものに近い動画像を生成することが可能となる。
さらに、光条の位相を時間軸方向に変化させることで、視覚的効果の高い動画像編集方法も提供する。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。
【００２６】
図１は、本発明に係る動画像処理方法を実行する処理システムを示すブロック図である。
図１において、Ｎ＿ＩＦ１は画像情報ソースである。デジタルビデオカメラ、デジタルスチルカメラなどの撮像機器が考えられる。本実施形態では、デジタルビデオカメラからの動画映像の処理につき説明するが、デジタルスチルカメラの静止画情報の処理は、単一フレームに対して、これを行えば良い。
【００２７】
Ｎ＿ＩＦ１から入力装置Ｎ１００を介して得られた動画映像情報は、一旦ファイル化され、記憶装置Ｎ１０１に保存される。図１において点線で示した部分は、これが既に撮像機器に内包されている場合も有りうることを示す。例えば、デジタルビデオカメラをデジタルインターフェイスを介して、パーソナルコンピュータに接続し、一旦パーソナルコンピュータに接続したハードディスクに信号を保存した上で以降の処理を行うシステム例も考えられるし、一連の機能をデジタルビデオカメラに具備させるシステム例も考えられる。後者の場合、記憶装置Ｎ１０１は、デジタルビデオカメラそのものが有する、磁気テープ読書装置ということになる。
【００２８】
処理装置Ｎ１０２では、記憶装置Ｎ１０１に保持された動画ストリームより、１枚の静止画フレームを切りだし、メモリＮ１０３に格納する処理を行う。なお、多くの場合、動画ストリームは、圧縮保存されているため、処理装置Ｎ１０２では、上記処理に加えて、適切なコーデックを用いて、圧縮データの復元を行う。
【００２９】
メモリＮ１０３は、従来の手法と異なり、Ｙ・Ｃｂ・Ｃｒの色空間表現に応じた３枚構成のものである。デジタルビデオカメラ内の動画ストリーム、ならびにデジタルスチルカメラ内の静止画ファイルは、多くの場合ＲＧＢ色空間ではなく、Ｙ・Ｃｂ・Ｃｒ形式でデータが保持されているため、ＲＧＢ再変換処理が不要であること、ならびに、本実施形態では、特にＲＧＢ色空間表現でなくても、輝度情報（Ｙプレーンのデータ）のみあれば、処理が可能であることを理由とする。
【００３０】
メモリＮ１０３に格納された信号を元に処理装置Ｎ１０４において、実際の処理を行うが、これらに先行して次の情報が必要となる。
【００３１】
回転角（位相）　：クロスビームの位相初期値
位相回転の有無　：時系列に応じて位相を回転させるかどうか。
回転角度　　　　：位相回転有りの時の、次フレーム位相への差分値
光条の数　　　　：１つの輝点から描画するクロスビームの本
【００３２】
これらの情報は、Ｎ＿ＩＦ２として、オペレータにより入力装置Ｎ１１４より得られた情報から生成し、メモリＮ１１３に蓄積されたものを使っても良いし、予め経験的に求められた初期値（デフォルト値）としてメモリＮ１１３に保持されているものを使っても良い。ここで注意すべきことは、これらの情報は、あくまでも事後処理の時点で必要になる情報であり、撮影時に保持されるべき情報が皆無であることである。
【００３３】
以上の情報を元に制御装置Ｎ１１１が生成したパラメータと、Ｗｏｒｋ画面Ｎ１０５を用い、処理装置Ｎ１０４にてクロススクリーンの近似処理を行う。
動画信号に含まれる静止画のフレーム数だけ、あるいは事前に指定した「プレビュー」用のフレーム数だけクロススクリーンの近似処理を行ったならば、これを一旦記憶装置Ｎ１０６に保存する。直接出力を行わないのは、動画の場合、処理の時間が長く、一度生成された結果に満足が得られなかった場合に、再処理を行うのに時間がかかることから、表示装置Ｎ１１２を用いて、オペレータが確認を行い、再度パラメータの変更を行った上で処理が行えるようにするためである。ここで表示装置Ｎ１１２は、ＣＲＴ、あるいはＬＣＤなどの装置が考えられる。
【００３４】
処理装置Ｎ１０７では、記憶装置Ｎ１０６に蓄積された一連の静止画信号を、動画信号として再構成し、必要に応じて適切なコーデックを用いた圧縮処理を行う。
最終出力段Ｎ１０８では、生成された動画信号を表示装置Ｎ１０９に表示する、あるいはファイル化、またはデータストリーム化して、記録装置Ｎ１１０に保存する。
【００３５】
（処理装置Ｎ１０４の詳細）
以下、処理装置Ｎ１０４が行う動画像信号処理を、図２〜図１８を参照して説明する。
図２は、本実施形態の動画像信号処理の流れを示すフローチャートである。
【００３６】
図中ステップＳ１は、動画信号より、指定されたフレーム番号に該当する静止画フレームデータを切りだし、これをＹ・Ｃｂ・Ｃｒ表現で、メモリＮ１０３に保存する処理を行う。この処理は処理する動画の時間長＝フレーム数分繰り返して行われるが、開始するフレーム番号、処理するフレーム総数については、処理開始時点におけるオペレータからの入力により任意に指定可能である。
【００３７】
次に対象フレームからクロスビームの輝点を抽出する処理（ステップＳ２）を行うが、この際、従来の技術では輝点情報は「輝点か否か」の２値データであったが、本実施形態では、輝点毎にそのランクを記録するものとする。
次に過去に抽出する輝点座標と現在の輝点座標より、輝点の移動ベクトルの算出を行う（ステップＳ３）。
さらに、予め与えられているパラメータ、輝点のランク、輝点座標を参照し、各基点毎にクロスビームの長さ、回転の位相、描画輝度を演算した上で、現在の静止画フレームへの描画処理を行う（ステップＳ４）。
全フレームを処理したかを確認し（ステップＳ５）、処理していなければ、ステップＳ１に戻り、処理していれば、終了する。こうして、指定フレーム数分繰り返すことで処理を終える。
【００３８】
図３は、ステップＳ２における輝点抽出処理の流れを示すフローチャートである。
まず、メモリＮ１０３のうち輝度信号（Ｙ信号）を保持するＹプレーンをＸ軸方向、Ｙ軸方向に全画素数分走査し、輝度の分布をヒストグラムとして保持する（ステップＳ１１）。例えば、輝度データの量子化レベルが８ビットであれば、輝度０〜２５５につき、それぞれ何画素存在しているかを示すヒストグラムを構成することになる。このようにヒストグラムを取るのは、従来の技術では、与えられた閾値のみで輝点とするか否かを決定していたが、この手法を用いた場合、例えば図４に示したような輝度分布の場合に、輝点の候補画素が大量になり、図２０中Ｓ５３〜Ｓ５６の処理に膨大な時間を要する可能性もあり、これを事前に防ぐための処置である。
【００３９】
次に、求めた輝度ヒストグラムを参照し、ヒストグラム中最上位から、第Ｘ位までの輝度をもつ画素で、かつ、予め与えられた閾値より大きい画素の座標を算出する（ステップＳ１２）。最上位のみを抽出しない理由は、図５に示した通り、輝度最上位に該当する画素が、その他の輝度を持つ画素の分布とは独立して、１点、あるいは極めて少数だけ個別に存在していた場合、基本閾値のレベルを兆節しても、輝点候補となる点が極端に少なくなってしまうことを防ぐためである。また、図６に示したような、基本的に輝度レベルが低い画素が分布しているような場合も有りうるため、従来技術と同等に、基本閾値により選別を行う必要がある。
なお、輝度第何位までを取るかについては、経験的に求められるが、輝度の量子化レベルが８ビットの場合に限定するならば、第３位以上を抽出するのが効果的である。
【００４０】
ステップＳ１３では、ステップＳ１２にて抽出した輝点候補座標の持つ輝度レベルデータを、図７に示した輝度保持用のワーク画面の対応する座標に対して複写する。輝度保持用のワーク画面は、輝点の移動の関係から、実際の静止画フレームの縦横のピクセル数よりも、大きめに確保しなければならない。さらに従来の技術とは異なり、抽出された輝点候補については、０か１かの２値でのフラグを立てるのではなく、輝度値そのものを複写する。従って、輝度保持用のワーク画面の各画素については、ソースとなる静止画信号の輝度信号面（Ｙプレーン）の量子化レベルと同等のビット数を持っている必要がある。
【００４１】
次に、輝度保持用のワーク画面に対して、適当な段数の鮮鋭化フィルター（ハイパスフィルター）処理を施す（ステップＳ１４）。例えば３×３のフィルターの場合の定数例として、下記のようなものが考えられる。
【００４２】
2004088140.tif 000003
【００４３】
ここで鮮鋭化フィルターを施すのは、輝度データ中の冗長な部分から、そのエッジを検出することを目的とする。
【００４４】
鮮鋭化の処理後、輝度保持用ワーク画面に対して、各輝点候補画素に対するランク分けを行う。（ステップＳ１５）この処理は、基本となる光条長をＬ１とするとき、各画素の輝度データからＬ１を減じ、その差分をランク分けすることで行う。基本光条長Ｌ１は、処理の対象となる静止画フレームの解像度（縦横の画素数）により、ある演算式を用いて計算されるが、２４００×１８００ピクセル程度の解像度の場合、８０画素程度が適当である。ランク分けの演算式は下記の通りである。
【００４５】
（輝度値−Ｌ１）／（ランク総数）
【００４６】
ここでランク分けを行うことは、即ち輝度値の再量子化を行っているに過ぎない。このランク総数を多くすればそれだけ品質が上がるが、後述するステップで実施する、冗長に続く輝点候補の選別処理にも影響を与えるため、余りランク数を多くするのは好ましくない。逆にランク総数を少なくしすぎると、描画品質の低下を招くと同時に、輝点候補の選別処理により、多くの輝点が失われてしまう。経験的には、上記８０画素をＬ１とする場合、２４ランクぐらいが適当であることが判明している。
【００４７】
当然、輝度値の上限は量子化ビット数の上限に等しいから、例えば量子化レベルが８ビットの場合、最大値は２５５である。従って、基本光条長Ｌ１が、これを超える場合、ステップＳ１５は成立しえない。この場合は、量子化レベルをオーバーサンプリングする、基本光条長を見なおすなどの方法で回避を行う。
【００４８】
ステップＳ１６では、輝点候補画素の冗長に連続する部分からの抽出を行う最終処理を行う。まず、輝度保持用ワーク画面の全輝度値を一次的なワークに複写し、一次ワークの全画素につき走査を行う。走査において現在着目している画素を中心とする基本光条長Ｌ１の矩形範囲内に１点でも輝点候補の画素（＝ランク１以上の画素）が存在した場合、現在着目している点のランクを１つ下げ、これを輝度保持用ワーク画面の輝度値に反映する。従って、輝点候補が集中している部分になればなるほど残る輝点候補は少なくなる。逆に、独立的に存在している輝点候補は、ランクが下がることなく存在し続ける。
【００４９】
この処理は、従来技術における輝点候補からなるラベリングされた図形の収縮処理とほぼ同等の結果を生むものであるが、走査回数が１回である点、ならびに複雑な処理をともなう、図形の外周の抽出処理（逆シードフィル）を伴わない分、高速な処理が可能となる。
【００５０】
図８、図９、図１０は、ステップＳ３における輝点の移動ベクトルの算出の流れを示すフローチャートである。
移動ベクトルの算出の目的は、輝点自体が画面外に移動したものの、光条については静止画面内に存在しうるような点を予測することにある。
【００５１】
ステップＳ２１では、現在着目しているフレーム番号で、処理を切り分けている。輝点の移動ベクトルが描画に反映されるのは３フレーム目以降であり、この輝点の移動ベクトルの算出は、現在着目しているフレームの１つ前のフレーム、２つ前のフレームの輝点座標値を用いて行われる。ここでは、実際の処理の流れとは異なるが、これらの輝点移動ベクトルの算出をどのように行うかを、まず説明する。
【００５２】
まずステップＳ２８において、輝度値保持用ワークを走査し、現在着目しているフレーム中に存在する輝点をラベリングし、これらをそれぞれＰＡ１、ＰＡ２、ＰＡ３、ＰＡｎと置く。ここでｎは、着目フレーム中の輝点の総数に一致する。
【００５３】
次に図１１に示すとおり、ＰＡ１〜ＰＡｎのそれぞれにつき、着目点以外との距離を算出し、そのうち最小のものをＰＤ１〜ＰＤｎとする（ステップＳ２９）。この処理で、現在のフレームの輝点情報を用いて、次フレーム、次々フレームに対して準備すべき処理は終了するので、描画処理（図９）に進む。
【００５４】
ステップＳ２５では、ステップＳ２８と同様にして、輝点をそれぞれＰＢ１〜ＰＢｍにラベリングする。次に、１つ前のフレームで算出したＰＡ１〜ＰＡｎのそれぞれにつき、ＰＢ１〜ＰＢｍの各輝点との距離を求め、その距離が最小でかつｄｎを超えない点を求める（ステップＳ２６）。この様子を図１２に示した。ここで、例えばＰＡｉに対して最も近く、かつＤｉを超えない点が、ＰＢｊだった場合、移動ベクトルＶｉは、次のようなものとなる。
【００５５】
始点座標：　　ＰＡｉ
終点座標：　　ＰＢｊ
大きさ　：　　｜ＰＡｉ−ＰＢｊ｜
以上のような手続きを繰り返すことによりＶ１〜Ｖｎをそれぞれ定義する（ステップＳ２７）。
【００５６】
ステップＳ２２では、１つ前、２つ前の輝度座標より求められた輝点移動ベクトルＶ１〜Ｖｎにつき、これらが等速直線運動をしていると仮定し、新規に移動したと思われる輝点座標ＶＰ１〜ＶＰｎをそれぞれ算出する。このとき、例えばＶｎの終点が、ＰＢｋだったと仮定するとき、次の仮想輝点は、ＰＢｋの座標にベクトルＶｎを加算することで求められる（図１３）。
【００５７】
以上のようにして求められた仮想輝点のうち、「処理対象の静止画の範囲より外」かつ「輝度値保持用ワークの範囲内」（図１３中、網がけの部分）に存在する仮想輝点につき、これを有効と見なし、輝度値保持用ワーク画面に点描画を行う。これは、静止画面範囲外にある輝点の光条が、範囲内に影響を与えることを考慮した処置である。このとき、描画する輝度レベルは、仮想輝点を与えるきっかけとなった、移動ベクトルＶの終点の値と一致させる。例えば、図１３では、条件に該当する仮想輝点は、ＶＰαであるが、この時の輝度レベルは、ＰＢαと等しくなる（ステップＳ２３〜Ｓ２４）。以上で、着目しているフレームに関する輝点が全て決定される。
【００５８】
図９、図１０は、今までの処理によって算出した輝点を中心に、光条（クロスビーム）を描画する流れを示すフローチャートである。この処理は、大きくわけて、３つの繰り返し処理（ループ処理）部からなる。即ち１本の光条の描画（ステップＳ３４〜Ｓ３９）、１つの輝点から派生する複数本の光条の描画（ステップＳ３３〜Ｓ４１）、全輝点に対する光条の描画（ステップＳ３１〜ステップＳ４２）である。
【００５９】
ステップＳ３０では、光条の描画に必要となるパラメータの初期化を行う。
位相初期値θ１は、最初の光条描画における水平方向からの位相である（図１４）。回転角速度θ２は、フレームｎ、フレームｎ＋１の間において、位相をどれだけ変化させるかという値である（図１５）。回転を行わない場合の値は０となる。このパラメータもオペレータからの入力により決定される。
【００６０】
光条数は、１つの輝点から何本の光条を描画するかを示し、これをＬＮとする。
次光条への位相差分とは、１つの輝点から数本の光条を引くときに、２本の光条間の角度がどれだけかを示す値である。図１６に示すとおり、この値δθは、２π／ＬＮ（単位：ラジアン）で求められる。
また、現在の位相初期値θ３は、位相初期値に対して、過去、どれだけθ２が加算されてきたかで求められるため、式θ３＝θ１×θ２×（フレーム番号ー１）にて算出される。
【００６１】
次にステップＳ３１において、ステップＳ３０までの処理において完成した輝度値保持用ワーク画面を走査し、輝度ランク１以上の点を求め、この座標値、輝度ランク、輝度値につき、それぞれＰ１（Ｘ、Ｙ）、Ｒ、Ｙ０に求める。
さらに、与えられている基本光条長Ｌ１に対して、輝度ランクＲに応じた差分値を加え、実光条長Ｌ２を求める（ステップＳ３２）。この概略を図１７に示した。
【００６２】
ステップＳ３３では、カウンタの概念を導入し、このカウンタＩを０に初期化する。光条の描画は、即ちこのカウンタが実光条長Ｌ２に至るまで描画されることに他ならない。また、Ｉ＝０の時の輝度値を、先にステップＳ３１で求めたＹ０に初期化する。以上で１本の光条を描画するための初期化処理を終える。
次に、ステップＳ３１で求めた輝点座標Ｐ１（Ｘ、Ｙ）から始まり、実際に描画を行う対象点の座標をＰ２（Ｘ＋Ｉ×ＣＯＳθ３、Ｙ＋Ｉ×ＳＩＮθ３）に求める（ステップＳ３４）。式の算出概念を図１８に示した。
【００６３】
ステップＳ３５ではクリッピング処理を行う。これは演算結果によっては、描画の対象となる点が、本来の静止画座標の範囲を超える場合があるためである。もし、静止画座標の範囲を超える範囲が対象となっている場合は、描画処理を行わず、ステップＳ３８に進み、次のＩに対しての処理を継続する。
【００６４】
今度は、メモリ上に格納された、ソースとなる静止画プレーンの座標値Ｐ２の点の輝度値をＹＳに求め、さらに現在の輝度値Ｙ０を用い、以下の計算式により、描画する輝度値ＹＤを求める（ステップＳ３６）。
【００６５】
ＹＤ＝ＹＳ×Ｋ＋Ｙ０×（１−Ｋ）（ただし、０≦Ｋ≦１）
【００６６】
ここで、Ｋは合成比率であり経験的に求められた値である。また、当然オーバーフローに関する処理を行う。
【００６７】
本実施形態では、白色光条を描画するため、Ｙ値にしか計算を行わないが、例えば輝点Ｐ１の持っている色差成分を光条に反映したい場合、輝点のＹ情報と、対応するＣｒプレーン、Ｃｂプレーンの値を用いて、同様な合成演算を行えば良い。
【００６８】
以下、一連の処理を経て、描画すべき座標Ｐ２、ならびに書きこむべき輝度値ＹＤが決定する。これを実際に行うのがステップＳ３７である。
ステップＳ３８では、次の描画を行うためにカウンタを１つ増加させると同時に、輝度値ＹＩから１を減じている。これは、輝点から距離が離れるに従い、輝度が減少することを反映している。本実施形態では減算する値は１としたが、これらは経験的に定めても良い。以下同様にＩを増加しつつ点を描画していくが、ステップＳ３９では、ＩとＬ２の値を比較することで、一本の光条が描かれたどうかを判断する。ＩがＬ２を超えていなければ、ステップＳ３４に戻り、超えていれば、ステップＳ４０に進む。
【００６９】
一本の光条への処理が終わると、次にステップＳ４０で全光条が描かれたかどうかを判断する。描かれていなかった場合、次の光条のための初期値θ３を更新しなければならない。この処理はθ３に対してδθを加えることで、ステップＳ４１で行い、ステップＳ３３に戻る。
【００７０】
以下、全光条の描画が終わったら、次の輝点を対象として同等の処理を繰り返す。全輝点からの光条の描画終了の判断を行っているのが、ステップＳ４２であり、全輝点からの光条の描画が終了していなければ、ステップＳ３１に戻る。全てのクロスビーム形状が描かれたなら、これで１フレームの描画が終わる。以下、全フレームに渉って、処理を繰り返す。
【００７１】
こうして、本実施形態においては、動画撮影機器への後からの光学式クロススクリーンフィルターの近似において、撮影時の条件情報を必要としない。多くの場合、動画撮影機器から記録されたデータには、これらの付帯条件情報が存在しないため、極めて有用である。
また、輝点からの光条が回転する効果を時間軸方向に与えることができ、動画としての表現能力を高める効果がある。
【００７２】
処理の内容から考え、現在のところ、パーソナルコンピュータ向けの編集アプリケーションなどへの実装が効果的であると思われる。処理内容としては、（光学式ではなく、ＰＣアプリケーションソフトウエア上の）フィルターの３重ループであり、例えばＭｉｃｒｏｓｏｆｔ社製Ｄｉｒｅｃｔ　Ｓｈｏｗ環境のフィルターとして設計する、あるいはＡｐｐｌｅ社製Ｑｕｉｃｋ　Ｔｉｍｅの拡張モジュールとして設計するなどの展開が可能である。
【００７３】
【発明の効果】
本発明によれば、動画像信号のデータストリームに対して実施するクロススクリーンフィルターの近似処理において、撮影時の条件情報を必要とせずに処理が可能となり、光学式クロススクリーンフィルターを使用せずともクロススクリーンフィルターの効果を簡単に得ることができる。
【図面の簡単な説明】
【図１】本発明に係る動画像処理方法を実行する処理システムを示すブロック図である。
【図２】本実施形態の動画像信号処理の流れを示すフローチャートである。
【図３】ステップＳ２における輝点抽出処理の流れを示すフローチャートである。
【図４】輝点の候補画素が大量にある場合の画素の輝度分布を示すグラフである。
【図５】輝度最上位にある画素が他の画素の分布とは独立して存在していた場合の画素の輝度分布を示すグラフである。
【図６】輝度レベルが低い画素が分布しているような場合の画素の輝度分布を示すグラフである。
【図７】輝度保持用のワーク画面の対応する座標を示す図である。
【図８】ステップＳ３における輝点の移動ベクトルの算出の流れを示すフローチャートである。
【図９】図８に続くステップＳ３における輝点の移動ベクトルの算出の流れを示すフローチャートである。
【図１０】図９に続くステップＳ３における輝点の移動ベクトルの算出の流れを示すフローチャートである。
【図１１】最短点への距離ＰＤ１〜ＰＤｎへの算出概念図である。
【図１２】輝点移動ベクトルＶ１〜Ｖｎの算出概念図である。
【図１３】輝点移動ベクトルＶ１〜Ｖｎを用いて生成した仮想輝点ＶＰ１〜ｎとその条件判断を示す説明図である。
【図１４】位相初期値θ１を示す概念図である。
【図１５】回転角速度θ２を示す概念図である。
【図１６】光条数と次光条への位相差分δθの関係図である。
【図１７】基本光条長Ｌ１と実光条長Ｌ２、ならびに輝度ランクＲの関係図である。
【図１８】カウンタパラメータＩと、輝点Ｐ１、描画点Ｐ２の関係図である。
【図１９】静止画フレームでの映像信号処理によるクロススクリーンフィルター近似の一例を示すブロック図である。
【図２０】処理装置９２の従来技術での処理内容を示すフローチャートである。
【図２１】図２０に続く処理装置９２の従来技術での処理内容を示すフローチャートである。
【図２２】図２１に続く処理装置９２の従来技術での処理内容を示すフローチャートである。
【符号の説明】
Ｎ＿ＩＦ１　画像情報ソース
Ｎ＿ＩＦ２　変換処理条件情報
Ｎ１００　入力装置
Ｎ１０１　一次記憶装置
Ｎ１０２　動画→静止画フレーム変換処理部
Ｎ１０３　デジタル画像メモリ
Ｎ１０４　主要変換処理部
Ｎ１０５　ワークメモリ、ワークファイル
Ｎ１０６　中間記憶装置
Ｎ１０７　静止画→動画再構成処理部
Ｎ１０８　出力装置
Ｎ１０９　表示装置
Ｎ１１０　出力用記憶装置
Ｎ１１１　コントローラ
Ｎ１１２　確認用表示装置
Ｎ１１３　変換条件情報蓄積用メモリ
Ｎ１１４　入力装置
【図１】
2004088140.tif 000004
【図２】
2004088140.tif 000005
【図３】
2004088140.tif 000006
【図４】
2004088140.tif 000007
【図５】
2004088140.tif 000008
【図６】
2004088140.tif 000009
【図７】
2004088140.tif 000010
【図８】
2004088140.tif 000011
【図９】
2004088140.tif 000012
【図１０】
2004088140.tif 000013
【図１１】
2004088140.tif 000014
【図１２】
2004088140.tif 000015
【図１３】
2004088140.tif 000016
【図１４】
2004088140.tif 000017
【図１５】
2004088140.tif 000018
【図１６】
2004088140.tif 000019
【図１７】
2004088140.tif 000020
【図１８】
2004088140.tif 000021
【図１９】
2004088140.tif 000022
【図２０】
2004088140.tif 000023
【図２１】
2004088140.tif 000024
【図２２】
2004088140.tif 000025