(57)【要約】【課題】複雑で時間のかかる手作業による種々のタスクの実行を自動的に行うことのできる方法を提供すること。【解決手段】個々のテイク間の境界を検出するステップと、候補領域を分類するステップに先立って検出された境界に後続もしくは先行するビデオシーケンスのイメージ内の候補領域を予め選定するステップとを含み、さらに、連続するイメージの情報を単独のコヒーレントな情報集合へマージングするステップと、信頼分析実行ステップの後で、トークンの外観における事象固有のポイントを知らせるような変化を検出するステップとを含むようにする。【選択図】図１
2004343713.tif 000002
【特許請求の範囲】
【請求項１】
個々のテイクを含んだビデオシーケンスにおける事象に割当てられているトークンの自動識別とその中に含まれている情報の自動抽出のための方法であって、
候補領域をトークンか又は非トークンかに分類するステップと、
候補領域内でトークンを位置付けるステップと、
トークン上の情報を位置付けるステップと、
トークン上の情報を解釈するステップと、
情報が正確に解釈されたことを保証するための情報の信頼分析を実行するステップとを含んでいる方法において、
前記方法は、さらに以下の方法ステップ、
個々のテイク間の境界を検出するステップと、
候補領域を分類するステップに先立って検出された境界に後続もしくは先行するビデオシーケンスのイメージ内の候補領域を予め選定するステップを含み、
さらに前記方法は、以下の方法ステップ、
連続するイメージの情報を単独のコヒーレントな情報の集合へマージングするステップと、
信頼分析実行ステップの後で、トークンの可視的出現における事象固有のポイントを示す変化を検出するステップとを含んでいることを特徴とする方法。
【請求項２】
個々のタスク間の境界の検出の後で、タイマーがセットされ、そのタイムアウトと同時に識別過程が終了される、請求項１記載の方法。
【請求項３】
個々のテイク間の境界を検出するステップにおいて、以下のステップ、
連続するイメージに対するイメージ特性からヒストグラムを作成するステップと
連続するイメージのフィルタリングされたヒストグラム間の間隔距離を計算するステップと、
計算された間隔距離を閾値のプリセットのために比較するステップと、
閾値を超えた間隔距離に基づいて検出された境界を示す信号を送出するステップが含まれている、請求項１記載の方法。
【請求項４】
候補イメージにおける候補領域を予め選択するステップにおいて、以下のステップ、
トークンに対応する基準特性値集合を定義するステップと、
適切に整形されている走査ウインドウを用いた変化位置でのイメージ走査ステップと、
各走査ウインドウ位置毎の特性値集合をコンピュータ処理するステップと、
各特性値集合を基準特性値集合と比較するステップと、
特性値集合を含む走査ウインドウを基準特性値集合との間隔距離に従ってランキングするステップとを含んでいる、請求項１記載の方法。
【請求項５】
候補領域をトークンか又は非トークンかに分類するステップに、
候補領域からの特性値を計算するステップと、
算出された特性値を基準画像の既知の分類された特性値と比較するステップと、
各候補領域に対してクラシファイアを割当てるステップと、
分類された候補領域に対して分類信頼値を割当てるステップとが含まれている、請求項１記載の方法。
【請求項６】
候補領域内でトークンを位置付けるステップに、
候補領域を、適切に整形された走査ウインドウを用いて走査するステップと、
走査ウインドウとトークンの基準イメージとの間の相関関係を記述する係数を計算するステップと、
前記係数を平均化することによって適応する信頼値を定めるステップと、
最も高い信頼値を有している走査ウインドウを候補ウインドウとして選択するステップとが含まれている、請求項１記載の方法。
【請求項７】
走査ウインドウ及び/又は基準イメージがその空間分解能において相関係数の計算に先行してデシメーション処理されるか又は補間され、その結果として走査ウインドウと基準画像に対する画素の対応数が定められる、請求項６記載の方法。
【請求項８】
前記候補領域は、信頼値が予め定められた閾値以下である場合に、非トークンに再分類される、請求項６記載の方法。
【請求項９】
トークン上の情報を位置付けるステップに、
候補イメージからのサブイメージを、トークン位置付けプロセスからのサイズと位置データを用いてカッティングするステップと、
サブイメージの画素がトークン上の情報に所属することの蓋然性を表わすサブイメージの確率マップを構成するステップと、
最大の確率値を有するサブイメージの領域を選択するステップが含まれている、請求項１記載の方法。
【請求項１０】
前記確率は、サブイメージの画素プロパティと、情報要素に属する予め定められた画素プロパティの比較によって得られる、請求項９記載の方法。
【請求項１１】
トークン上に含まれている情報を解釈するステップに、
最大の確率を有する選択されたサブイメージ領域を、その中に含まれている情報が水平方向に配向されるように回転させるステップと、
サブイメージ領域の確率マップ値を二進化させるステップと、
二進化されたマップをフィルタリングするステップと、
フィルタリングされたマップ上で光学的キャラクタ認識を実行するステップが含まれている、請求項１から９いずれか１項記載の方法。
【請求項１２】
前記信頼分析は、一貫性に対する連続したイメージから抽出された情報のチェックによって行われる、請求項１記載の方法。
【請求項１３】
前記情報のマージングステップには、不整合情報要素及び/又は補間された情報要素による低い信頼度の情報要素の置き換えが含まれる、請求項１記載の方法。
【請求項１４】
トークンの可視的出現における変化を検出するステップに、
候補領域における可視的特徴の分析と、可視的特徴と予め定められたトークンの可視的特徴との比較による変化の影響を受けるトークン部分を検出し位置付けするステップと、
連続するイメージにおいて検出された可視的特徴との比較による変化の影響を受ける部分の可視的出現における変化を監視するステップと、
予め定めたスターティングポイント及び/又はエンディングポイントに係る変化度合いを示すデータを出力するステップが含まれている、請求項１記載の方法。
【請求項１５】
前記可視的特徴は、分析と監視のためのシンプルモデルに変換される、請求項１４記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個々のテイクを含んでいるビデオシーケンスにおけるイベントに割当てられたトークンの自動識別とその中に含まれているデータの自動抽出のための方法に関する。
【背景技術】
【０００２】
映画フィルムの制作分野では、新たなテイク（カット）やショットのスタートを表わすのにトークン（合図）が頻繁に用いられる。これらのトークンは、大抵はクラップボード、いわゆる撮影のときに用いるカチンコと称されるスレートボード（薄板/石板）の形態でなされる。その他のトークンとしては、例えば自動車のナンバープレート、交通標識、ポスターなどがある。このトークンとは広義には、典型的な外観と読取り可能な記号を有する何らかの対象ないし合図であり得る。
【０００３】
以下の明細書ではわかりやすくするために、スレートを、トークンと置換可能な同意語として用いるものとする。
【０００４】
スレート（カチンコ）は、典型的には、本体部分とヒンジアーム部分を有しており、このヒンジアーム部分が、カットないしテイクの開始時点で本体に対して拍子木のように打たれる。このスレートは、さらにテイクに関する書込み情報、印刷された情報、あるいは電子的に表示される情報を含んでいる。これらの情報には、制作タイトル、シーンタイトル、テイクタイトル、テイクナンバー、日付などが含まれる。
【０００５】
フィルムを制作する場合、個々のシーンは、監督がその結果に満足するまでは、あるいは後からの編集で同じシーンを異なる視点でとらえるために、しばしば繰返し撮影される。１つのテイクの開始時点では、スレートがフィルムに撮られ、スレートアームがスレート本体に打ち当てられる。このスレート（カチンコ）の打ち当ては、オーディオとビデオトラックの同期化のための後処理の時にも利用される。撮影中はフィルム制作の日付、テイクナンバーが有利にはマルチカメラによってキャプチャされる。各カメラは、１つまたは複数のビデオシーケンスを供給する。各ビデオシーケンス（いわゆるデイリーとも称される）は、数百にも及ぶテイクナンバーを含み得る。このビデオシーケンスは、物理的にはフィルムロール、磁気テープ、ハードディスクドライブ（ＨＤＤ）、光ディスクまたはその他のメディアタイプに含まれる。これらのフォーマットは、アナログ方式、ディジタル方式、非圧縮もしくは圧縮された方式、ＭＰＥＧ標準方式などであり得る。基本的には、付属のオーディオトラックは、オーディオツールによってキャプチャされ、専用のオーディオメディアに記録される。
【０００６】
制作の後では、ディリーが後処理される。この後処理の時に、種々のテイクが品質に関して検査され、及び/又は監督によって合否判断され、及び/又は完成フィルムに使用するテイクの選別のためにカットされる。各テイクの開始を見つけるために、ビデオシーケンスにおいてはスレートの出現が調べられる。このスレートの正確で確実な識別は、様々な理由から重要である。すなわち第１に、検出されたスレートは、新たなテイクの開始を表わしていること、第２に、スレートから抽出された情報は、ショットの処理のために必要なこと、第３に、識別されたスレートは、デイリーとオーディオトラックとの同期化の支援になることである。オーディオ/ビジュアルシンクロナイズは、スレートからのオーディオ情報の活用によって実現されるか、又はスレートアームが本体に打ち付けられた瞬間の時間の検出によって実現される。ごく最近では、連続的に時間コードを表示する電子ディスプレイを使用しているスレートも投入されている。この時間コードは、音声記録装置とカメラにおける時間コードの同期化をコントロールする。
【０００７】
今日までは、記録された媒体におけるスレートの検索処理は、大抵はマニュアルで行われており、これは時間の浪費を伴い複雑で非能率的なものであった。このマニュアル方式でのスレートの識別では、スレートの出現に対して、すなわちスレートの検出とスレート上の情報の抽出に対して、手作業でのレコーディングの早送り/巻き戻し操作を必要とする。これらのタスクは、操作者によってプレイバック/フォワード/バックワード機能のビデオ端子を用いて行われる。スレートからの情報は、そこで読みとられ、手作業でオーディオビジュアルシンクロナイズツールに入力される。その後で、同期化の目的のためにスレートアームの状態、すなわちアームと本体の打ち当てが検出されなければならない。
【０００８】
ビデオシーケンス内のトークン出現の検出及びトークン上の情報の抽出作業並びに同期ツールへの情報の入力等の手作業の時間消費の観点からみれば、これらのタスクを自動的に処理していく方法の実現が強く望まれている。
【特許文献１】ヨーロッパ特許公開第 ０２０９０３６０．５号 明細書“Methodo and appartus for automaticaly or electronically calculating confidence measure values for the correctness or reliability of the assignment of data item samples to related one of different data class”
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の課題は、冒頭に述べたような形式のトークンの識別方法並びに情報の抽出方法において、これまでの複雑で時間のかかる手作業による種々のタスクの実行を自動的に行うことのできる方法を提供することである。
【課題を解決するための手段】
【００１０】
前記課題は本発明により、さらに以下の方法ステップ、
個々のテイク間の境界を検出するステップと、
候補領域を分類するステップに先立って検出された境界に後続もしくは先行する
ビデオシーケンスのイメージ内の候補領域を予め選定するステップとを含み、
さらに、以下の方法ステップ、
連続するイメージの情報を単独のコヒーレントな情報の集合へマージングするステップと、
信頼分析実行ステップの後で、トークンの外観における事象固有のポイントを知らせるような変化を検出するステップとを含むようにして解決される。
【発明を実施するための最良の形態】
【００１１】
本発明の別の有利な実施例は、従属請求項に記載されている。
【００１２】
本発明の方法によれば、ビデオシーケンスが個々のテイク間で境界について走査される。この境界走査には、連続するイメージのイメージプロパティからのヒストグラムが作成される。このヒストグラムは、有利には、ビデオシーケンスの輝度信号から導出される。しかしながら本発明は、この信号に限定されるものではなく、その他の信号や信号成分、例えばクロミナンスなど、あるいはその他のイメージプロパティが用いられてもよい。ヒストグラムは、低解像度バージョンまたはビデオシーケンスからのイメージのフィルタリングされたバージョンに基づいて導出されてもよい。低解像度イメージが使用される場合には有利には、さほど高くないコンピュータ処理能力が要求されるだけである。フィルタリングには、例えば高周波イメージ成分を低減するための低域ろ波が含まれ得る。つまり、ビデオ信号の描写とヒストグラム作成用に選択されたイメージプロパティに基づいて他のフィルタリング技術が考えられる。別の実施例によれば、ヒストグラムは、ビデオシーケンスからのイメージ変換のＤＣないし低周波係数を用いて導出される。適用可能な共通のイメージ変換は、ＤＣＴ（離散コサイン変換）タイプである。ヒストグラムさらにフィルタリングを施される。それからイメージのヒストグラム間の距離が計算される。計算された距離がプリセット閾値を超えたならば、境界の検出を指示する信号が発せられる。境界が検出された後では、境界に続くイメージ内の候補領域、いわゆる候補イメージが走査される。これらのイメージは、プログレッシブビデオのフレームや、インターレースビデオのフィールドであるが、以下の明細書でもわかりやすくするために、これらを含めて統合的にイメージと称するものとする。テイクの開始後の所定の時間内、例えばテイクの最初から４５秒後にスレートが出現するものと仮定する。それ故に、および誤った境界検出を検知するために、タイマーがスタートされる。このタイマーは、所定時間の経過後若しくは、相応の結果ぬきで所定の長さのビデオシーケンスが処理された後で、当該プロセスを停止させる。つまり検出される境界の両側からのトークンの検索を開始させることが可能である。コンピュータ処理の負担を低減させることと検出レートを向上させるために、高品質なイメージのうちから限られた数のイメージが候補イメージとして選択されればよい。圧縮されたビデオに対しては、候補イメージがイントラコーデットフレームであり、以下ではこのフレームを“Ｉフレーム”と称する。候補イメージは、サブサンプリング可能か、又はインテーレースビデオにおいては、１つのフィールドのみが使用される。候補イメージの走査は、前述したようにタイマーがタイムアウトした時に停止されるか、または相応の結果を得るためのその他の方法ステップ、例えばスレートの情報が正確に抽出されたか、および/またはスレートアーム状態検出ルーチン信号が良好に終了した時に停止される。この走査には、候補イメージ内でのスレートが良好に見つけられるべき候補領域のプリセレクトも含まれる。この候補領域のプリセレクトは、非常に高い認識率が成就されるような候補領域の集約された送出をねらいとしている。高い認識率とは、ほぼ全てのスレートが候��領域内に含まれることを意味する。同時にこのプリセレクトは、粗い精度であり得る。ここでの粗い精度とは、これらの候補領域の中で誤った検出も多いことを意味する。候補領域のプリセレクトの前には、１つまたは複数のトークンタイプに対応する１つ又は複数の基準特性値集合も開始され、基準イメージからコンピュータ処理され、又は多数の基準イメージ集合のトレーニングがなされる。基準特性値集合は、例えば１つのイメージの画素値又は矩形状の輪郭を有するボックスの画素値から抽出され、カラーヒストグラムは、特性値集合に基づいて使用される。有効なヒストグラムタイプは、例えばＹＣｒＣｂ空間（Ｙはルミナンスを表わし、Ｃｒはレッドのクロミナンス、Ｃｂはブルーのクロミナンスを表わす）の非線形的量子化から得られた５１２binsのヒストグラムである。ここで前記Ｙ，Ｃｒ，Ｃｂは、３つの空間次元を定める軸を表わす。量子化については、各カラー軸が同等サイズのクラスに分割される。どちらかといえば粗い分割が、ルミナンスＹの例えば８つのクラスでなされ、綿密なサブ分割は、２つのクロミナンス軸ＣｒとＣｂに対してなされる（例えば１２８サブ分割）。検出すべきスレートタイプに応じて、ヒストグラムが、適当に整形された領域内（例えば矩形の境界ボックス又は領域のサブ領域内）でコンピュータ処理される。電子スレートは、通常は交番カラー（カラーゼブラとも称される）の典型領域と、上方半分の電子ディジットを含み、低い部分は、背景内容に関連して識別されない。ここで、カラーヒストグラムは、矩形状境界ボックスの上半分においてコンピュータ処理される。しかしながら、特性値集合は、イメージ情報、例えば輝度値のみ、あるいは他のイメージプロパティに基づいて、あるいはイメージの描写に依存して使用され生成される。候補領域のプレセレクト過程中は、各候補イメージが相応に整形された走査ウインドウ（以下では候補境界ボックスとも称する）によって異なるスレートタイプに応じて異なるウインドウサイズ、異なるアスペクト比で、変動空間位置にて空間的に走査され得る。この走査ウインドウは、有利には矩形形状を有する。しかしながら本発明は、走査ウインドウの所定の形状に限定されるものではない。多重の候補境界ボックスの重畳が出現し得る。
【００１３】
境界ボックス、又は走査ウインドウ、及び基準特性値集合の間の間隔距離は、２つのヒストグラム、基準特性値集合に対するヒストグラム、及び境界ボックスに対するヒストグラムの間の距離としてコンピュータ処理できる。これらの間隔距離は、ビジュアルディスタンスとも称する。簡素なヒストグラム交差ディスタンス（例えば差分のbin-to-bin絶対値の和など）が用いられる。特性値集合は、走査ウインドウ毎、及びウインドウ位置毎にコンピュータ処理され、基準特性値集合と比較される。多重的位置における特性値の高速コンピュータ処理及び複数の“ベストマッチ”候補領域のリストの高速決定処理のためのプログラムは、ソフトウエア市場で入手可能である。例えばプリント基板の光学的検査用ソフトウエアなどをベースに使用してもよい。
【００１４】
プレセレクトモジュールが最終的に、基準特性値集合との距離の増加に伴って順位付けられる異なったサイズでの境界ボックスのリストを提供する。このリストは、能力に合わせて切り捨てを行ってもよい。その結果としての境界ボックスは、候補領域と呼ばれる。
【００１５】
これらの候補領域は、その後で分類され、候補領域内でトークンが位置付けられる。分類の開始時点では、１つ又は複数のクラシファイアが１つ又は複数のトークンタイプに対応して、サンプルイメージの１つ又は複数のトレーニング集合から学習を行う。このトレーニング集合のイメージは、たとえばトークンを示すか、もしくはトークンを示さない。各イメージ毎に、トークンが示されているかどうかがわかる。トレーニング集合からの学習毎に２つのステップが実行される。第１のステップでは、特性値が各イメージの画素から算出される。これらの特性値は、カラー若しくはルミナンスヒストグラム値、エッジ方向ヒストグラム値、ウエイブレットサブバンドエネルギー値、又はその他の既知の可視的イメージ特性値やそれらの組合わせであり得る。第２のステップでは、特性値空間におけるサポートベクトルが、サポートベクトルマシン（ＳＶＭ）によって抽出される。このケースの基準モデルは、以下のようなＪ個のベクトルの集合である。すなわち、
{ｖ，０≦ｊ≦Ｊ，ｖｊ∈ＲＮ}
ここで、前記Ｎは、特性値の数である。他の学習方法、例えばｋ平均クラスタリングやニューラルネットワークなども使用可能である。
【００１６】
これらの特性値は、各候補領域における画素から抽出され、学習クラスファイアに従ってトークンと非トークンに分類される。分類信頼値は、分類結果に対応付けられる。ヨーロッパ特許公開第 ０２０９０３６０．５号 明細書“Methodo and appartus for automaticaly or electronically calculating confidence measure values for the correctness or reliability of the assignment of data item samples to related one of different data class”によれば、ＳＶＭクラスファイアとｋ平均クラスタリングに基づいたクラスファイアのための信頼測定が提案されている。
【００１７】
各候補イメージ毎に最終処理が全ての分類された候補領域に対して適用される。ここで１以上の候補領域がトークンとして分類されたならば、最高の信頼値で絞られた公報領域が選択されて出力される。トークンとして分類された候補領域が何もないときには、候補領域なしが出力され、全ての候補領域から得られる信頼値の平均値が当該分類の信頼度となる。
【００１８】
分類に用いられる特性値の一例として、以下に述べる２５の特性値が用いられる。これらの全２５個の特性値は、所与のイメージ（学習用）か若しくは所与の候補領域（予測用）の全ての画素から計算されたものである。１２の特性値は、“１２-ｂｉｎ”ショートカラーヒストグラムから抽出される。このショートカラーヒストグラムは、予め選択されたオリジナルカラーヒストグラムからの線形量子化によって計算されたものである。１３番目の値は、漸増“ｂｉｎ”値に関する配列のオリジナルカラーヒストグラムによって抽出される。配列されたヒストグラムからは、累積的ヒストグラムが算出される。この累積的ヒストグラム（漸増配列）のｎ番目の“ｂｉｎ”が第１であるならば、それは所定の閾値ＴＨ１と等しいかそれ以上であることを意味する。１３番目の特性値は、ｎに対する集合である。典型的な閾値ＴＨ１は、０.９０である。最後の１２の特性値は、“１２−ｂｉｎ”エッジディレクションヒストグラムから抽出される。
【００１９】
エッジヒストグラムに対しては、所定のイメージ若しくは候補領域が、低域パスでフィルタリングされ、エッジピクセルが検出され、例えば“Dreiche”フィルタに使用される。検出されたエッジピクセルは、連続したエッジの形成に使用すべく結合される（すなわちエッジピクセルの局所的近隣領域におけるグラジエント分析）。連続エッジは、ポリゴニゼーションされる。このポリゴン化の結果としての方向性は、エッジディレクションヒストグラムによって表わされる。
【００２０】
クラシファイアの学習の前に、記述された特性値は、それらの標準偏差と学習集合から推定される平均値によって標準化される。平均と標準偏差の同じような推定は、クラシファイア適用前の候補領域から抽出された標準特性値に対して用いられる。
【００２１】
トークンの位置決めに対しては、１つ又は複数のトークンタイプを示す１つ又は複数の基準イメージがそれぞれ選択される。そしてトークンとして分類された、最良の分類信頼値を有する候補領域の数が選択される。選択された各候補領域毎に、候補境界ボックスの数が定められる。この候補境界ボックスのサイズは可変であり、多数の候補領域に関するサイズ係数の集合によって定められる。例えば８つのサイズ係数、すなわち１．０，１.２５，１.５…２.７５が使用されてもよい。各サイズ係数毎に、いくつかの候補境界ボックスが変化位置と共に生成される。位置は水平および垂直方向で変化し得る。２つの近接する候補境界ボックスの間の距離は、境界ボックスサイズに関するステップ係数によって定められる。このステップ係数には例えば０.１が使用され得る。候補境界ボックスは、定期的に複数の候補領域の周りでセンタリングされたイメージ領域をカバーし、相応の候補領域のサイズの例えば２.２５倍のサイズを有し得る。各候補境界ボックス毎に相関係数が算出される。ＹＰｒＰｂカラー表現係数は、有利には１つはルミナンスＹのために算出され、２つはクロミナンスＰｒ、Ｐｂのために算出される。他の係数は、他のイメージ表現のために用いられるか、あるいは可能ないくつかの係数のみが算出される。相関付けは、少なくとも１つの基準イメージと候補境界ボックスのピクセル間で実行される。この相関付けの前に、候補境界ボックスは、デシメーションされるか、もしくはその空間分解能において補間される。基準イメージは、次のように、すなわち基準イメージと候補境界ボックスのピクセルの数が最終的に対応するようにデシメート若しくは補間される。相関係数は、整合した信頼値を定めるべく平均化される。この平均化に対しては、ルミナンスもしくはクロミナンスが他よりも多くの影響を有するように重み付け係数が用いられてもよい。例えばルミナンスとクロミナンスＣｒは平均化され、クロミナンスＣｂはゼロで重み付けされてもよい（すなわち使用されない）。選択された候補領域毎に、トークン位置が“ベストマッチ”した候補境界ボックス（すなわち最大の整合信頼値を有するボックス）によって表示される。最大の整合信頼値は位置信頼値として使用される。この位置信頼値が閾値Ｔｈ２よりも低い場合には、選択された候補領域は、“スレートではない”ものとして再分類される。この閾値Ｔｈ２に対する典型的な値は、例えば０.４である。
【００２２】
トークンが位置付けされた後では、トークン上の情報を含んだ領域が位置付けされ、その情報が抽出される。この情報は、手書きのテキスト、印刷されたテキスト、電子的に表示されるテキストを含み得る。電子的に表示されるテキストの例では、例えば赤色ＬＥＤによりタイムコードが電光掲示盤タイプのスレート上で表示される。この電子的なタイムコードディスプレイを有するスレートは、図３のシーにおいて使用されている。このケースでは、情報の抽出が、スレート上に配置されるタイムコードに対応する数値の確定に向けられている。この情報抽出は、位置情報と実施情報からなる。
【００２３】
位置情報への入力は、トークンとトークン位置データ（例えば位置と境界ボックスのサイズ）を示す候補イメージである。トークンの方向付けは、未知となっている。位置付け情報に対しては、情報の伝達領域を囲繞する矩形のサブイメージが候補イメージから切り出される。電子的にディジタル化されたスレートのケースでは、電子掲示板を伴う領域が選択される。サブイメージのサイズと位置は、その高さと幅に関する２つの先行する定量の供給によるトークン位置からコンピュータ処理される。これらの定量は、異なるトークンタイプ毎に異なっている。サブイメージは、予め処理されていてもよい。この事前処理は、より小さなイメージ（例えば４０×３０画素）を得るためのフィルタリング及び/又はサブサンプリングであってもよい。その後で確率マップが構成される。サブイメージの各画素毎に、若しくは、事前処理されたそれらのバージョン毎に、ディジットに属する当該画素に対する確率を表わす値が電算処理される。この確率は、例えばサブイメージのピクセルカラー値と、ディジットピクセルの巨大データベースから先に学習され分配されたカラーディジット確率の比較によって得られてもよい。確率マップを得るためのこれ以外の手法も考えられる。例えば整形分析などに基づいた手法や他のイメージプロパティ、例えば２つの近接する画素間のルミナンスもしくはコントラストなどが確率マップの生成に用いられてもよい。最終ステップでは、最大のディジットカラー確率を有する矩形のディジット領域が検出される。このディジットカラー確率は、考慮された矩形に属する全ての画素に割当てられる確率の平均としてとらえられる。最適化の体系は、アルゴリズムに基づく完全な検索である。可能な中心位置毎に、及び矩形の可能な回転毎に、確率値が電算処理される。結果としての矩形は、最大の確率値を有するものに相当する。
【００２４】
情報の翻訳のために、位置付けされた情報は、確率マップから抽出される。必要に応じて情報を運ぶ領域が、ディジットが水平方向に配列するように回転される。その後で確率マップ値が二進化される。例えばグループ確率値を２つのクラスタ（ディジット/非ディジット）にクラスタリングするアルゴリズムを用いて得られた適応閾値の供給など。二進化とは個々のマルチビット画素値をシングルビット画素値に移行することを意味する。二進化されたマップは、フィルタリングされる。例えばクロージングおよびスケルトンオペレータなどを使用した形態学的フィルタリングの適用など。このモフォロジカルオペレーションとは、形態に関する処理であり、主要な形態の保存と同時に不適切な部分の廃棄が試みられる。スケルトンおよびクロージングオペレーションは、その中でもイメージ処理の分野において一般によく知られている。クロージングオペレーションは、イメージの中で小さなホールやギャップを埋めることができ、対象の輪郭上で所定の平滑化を作り出す。このクロージングは、対象輪郭の外側から平滑化をなす。スケルトンオペレーションは、対象の主要な形態の描写を試みる。これは、対象の中心を通る１つの画素の太いラインであり、対象の空間配列を維持する。但しこのフィルタリングの適用は、モフォロジカルフィルタリングへの限定を意味するものではない。データやさらなる処理に応じてその他のフィルタリングのタイプも適用可能である。
【００２５】
古典的なＯＣＲ手法（光学的文字認識）は、数字によって表わされる数値情報、例えばタイムコードなどを得るのに用いられる。このＯＣＲは、各数字に対して解釈信頼値を提供する。これは抽出された情報要素が正確に解釈されたことの確率を表わす。信頼分析は、情報要素と信頼値に基づいて実行される。この信頼分析は、連続したイメージから抽出された情報に亘るコンシステンシチェックからなっている。スレート上に電子的に表示されたタイムコードのための信頼分析は、例えばＯＣＲの使用下で受け渡された信頼値を用いた全ての候補イメージ中の全ての検出タイムコードの処理からなる。さらに付加的に、タイムコードの時間に伴う線形増分の必要条件検査のために、検出されたタイムコードを連続するイメージの中で比較検討してもよい。情報中のエラーを抽出するために、この必要条件は、いつでも遂行されるわけではない。それ故に情報要素のマージングは、低い解釈信頼値を有するディジットの置き換え、時間条件の遂行などの補間されたディジットによる時間情報の否定などからなる。このプロセスは、少なくとも１つの候補イメージに対する検査されたタイムコードを出力する。
【００２６】
最終的に、全ての連続した候補イメージ中で検出された全てのスレート情報要素は、偽情報の消去のために、単一で矛盾のない情報集合へ併合される。
【００２７】
トークンが位置付けされた場合には、平行して、視認できる外観上の変化が監視される。トークンが例えばスレートの場合では、スレートアームの閉成を検出するためにスレートアームの状態が監視される。視認できる外観は、他の形でも変化し得る。例えば色や輝度に関する突然の変化や漸進的な変化、トークンの回転、傾き、連結した動き、裏返し反転など。
【００２８】
視認可能な外観上の変化の監視は、以下ではスレートのスレートアームの状態を例にして、例えばスレートアームが開いているか閉じているかで行うものとする。この監視プロセスは、スレートアームの検出とスレートアームの動きの監視を介して、最終的にはスレートアームの閉じた状態の検出、すなわちスレートアームがスレート本体と接触している状態の検出からなる。
【００２９】
まず最初にスレートアームの検出のために、適切な形状の走査ウインドウが検討すべき候補イメージの内側に定められる。この場合他の可能な形状も含めた中で、例えば台形、円形、矩形の走査ウインドウなどが有利である。このサーチウインドウは、予め定められたスレートタイプとスレート位置付けプロセスからのデータに基づいて定められる。視認性の特性値は、“スレートアーム”と“非スレートアーム”のクラスに分類され、スレートアームを位置付けるために整合プロセスもスレート位置付けのものに類似して実行される。視覚的特徴には、カラー、パターン、構造あるいはそれらの組合わせが含まれる。カラー空間におけるイメージ描写（例えばＹＰｒＰｂ）に応じて、有効なイメージ情報の部分のみが視覚的特徴の決定のために使用されてもよい。一度スレートアームが位置付けされると、スレートアームの動きが連続イメージの中で監視される。スレート本体に対するスレートアーム位置についての情報が、さらなる処理のために出力される。
【００３０】
スレートアームの動きのシンプルな監視のために、スレートは例えば関節接合部（アーティキュレーション）を備えた剛性体、例えばスレートとスレートアームのアウトラインのみからなるベーシックモデルに変換されてもよい。このスレートアームのモデリングに対しては複数の連続したイメージが、関節運動モデルの適用によって分析される。この運動モデルは、スレートアームの動きに追従する。この関節接合部は、スレートアームがスレート本体にヒンジ付けされているところのポイントである。モデリングプロセスは、次の未知情報すなわち、スレートアームの回転角度、関節接合部位の整合、スレートの配向及び傾斜状態を確定する。これらの未知情報は、周知の動き予測手法を用いて、例えばフィーチュアマッチング、ブロックマッチングもしくはグラジエント手法などを用いて予測可能である。
【００３１】
アームクロージング検出は、動き予測結果を分析し、スレートアームがスレート本体と接触した瞬間の時間を検出する。これは加速回転モデルを例にした動的動きモデルによって実施可能である。あらゆる候補イメージに亘って、スレートアームの回転角度、スピード及び加速度が予測される。スレートアームのクロージングは、スレートアーム回転角度がもはやそれ以上動きモデルによって追従できないと予測される時、例えば停止する時に検出される。その情報は、スレートアーム回転角度及び/又はスレートアーム状態を表わす二進値（例えばオープン/クローズ）を伴ってさらなる処理のために出力される。
【００３２】
このプロセスは、スレートが適切に検出され有効な情報が抽出された時に終了するか、若しくは前述したようにタイマーのタイムアウトが生じた時に終了する。
【００３３】
前述したような何らかの処理が適用される前に、所定のイメージ、所定の候補領域、又はそれらに割当てられるデータが前処理されてもよい。この前処理は、処理アルゴリズムを容易にしたり、サポートするものであり得る。この前処理は、実行すべき処理に基づいて例えばヒストグラム等化処理、フィルタリング、コントラストストレッチング処理などからなっていてもよい。
【実施例】
【００３４】
次に本発明を図面に基づき以下の明細書で詳細に説明する。なお図面中同じ要素には同じ参照符号が付されている。
【００３５】
図１には、当該方法全体のベーシックな流れ図が示されている。ビデオシーケンスＶでは、テイクの開始を検出するために境界検出ＢＤがなされる。この境界検出ＢＤは、第１の候補イメージＣＩ１を送出する。この第１の候補イメージＣＩ１では、スレート検出ＳＤがなされる。このスレート検出ＳＤからは第２の候補イメージＣＩ２とスレートロケーションのデータＳＬが送出される。当該方法の第１の分岐では、第２の候補イメージＣＩ２とスレートロケーションデータＳＬが、情報抽出ＩＸのために処理される。この情報抽出では、情報素子ＩＥと対応する信頼値ＣＶが情報マージング過程ＩＭに供給される。この情報マージング過程からは、スレート情報ＳＩがさらなる処理のために送出される。当該方法の第２の分岐では、候補イメージＣＩ２とスレートロケーションデータＳＬがスレートアーム閉成検出ＡＣＤのために用いられる。このスレートアーム閉成検出ＳＤからはスレートアームの状態ＡＳに基づくデータがさらなる処理のために送出される。
【００３６】
図２には、２つの連続するテイク間の境界検出の実施例がフローチャートで表わされている。この実施例では、第１のステップ１１において、第１フィールドＬ(Ｎ−１)の輝度値が、フィールドＤＣ値ＤＣ（Ｎ−１）のコンピュータ処理のために用いられている。このＤＣ値は、例えばビデオシーケンスから得られるイメージの低解像度バージョンから導出され得る。ビデオシーケンスが圧縮されたビデオ形式であるならば、ＤＣ値は、イメージ変換のＤＣないし低周波係数であってもよい。このイメージ変換は、ＤＣＴ（離散コサイン変換）であってもよいが、本発明がこの変換方式に限定されるわけではない。ステップ１２ａでは、第１のヒストグラムＨ(Ｎ−１)がコンピュータ処理され、ステップ１３ではヒストグラムＨ(Ｎ−１)が低域ろ波される。有利な実施例では、５タップＦＩＲ（Finite Impulse Response）ローパスフィルタが使用されるが、本発明はこのフィルタタイプに限定されるものではない。ステップ１１ａでも、第２のフィールド輝度値Ｌ(Ｎ)のＤＣ値(Ｎ)が、同じような手法でコンピュータ処理される。ステップ１２ａでコンピュータ処理された第２のヒストグラムＨ(Ｎ)は、ステップ１３ａで低域ろ波される。ステップ１４では、ステップ１３とステップ１３ａで低域ろ波された結果同士の間の間隔距離δ（Ｎ−１,Ｎ）が計算され、ステップ１５において閾値γのプリセットのために比較される。前記間隔距離δ（Ｎ−１,Ｎ）が閾値γを越えている場合には、境界が検出されたものとみなされてカット決定信号ＣＤが送出される。
【００３７】
図３ａには、スレート検出のための候補イメージが示されている。このイメージは、７０４×４８０ピクセル画像から取り出したものであり、わかりやすくするためにスケッチ風に表わしている。このイメージは、フィルム製作現場での１つのテイクの撮影開始時点での典型的なシーンを表わしている。候補領域は、９つの異なったサイズの走査ウインドウ毎にサーチされる。これらの連続する２つの走査ウインドウ間の比は１：１.２５である。結果として走査ウインドウのサイズは、イメージのフルサイズから１１７×７９ピクセルの範囲となる。走査中の空間増分は、ウインドウサイズの１/４であり、結果的にトータルで１００９の位置検査が可能となる。３つの候補領域（６０，６１，６２）が、検出されたスレート６３上で表示されている。スレート６３と当該３つの候補領域（６０，６１，６２）が比較され、図３ａ中に波線で示されている候補領域６２が、記憶されている基準特性値集合との視認距離が最も小さい。
【００３８】
図３ｂは、図３ａの詳細な拡大図であり、スレート候補領域（６０，６１，６２）とスレートが表わされている。
【００３９】
本発明による方法の上記説明ではスレートを例にしてきたが、本発明は、前記トークンの実施例に限定されるものではない。それどころか本発明は、例えばフラッシュディスプレイなど、ビデオ制作の場面において使用される他のトークンにも適用可能であることはいうまでもない。
【図面の簡単な説明】
【００４０】
【図１】過程全体のベーシックな流れ図
【図２】境界検出の例示的実施例を表わした流れ図
【図３ａ】複数の候補領域を伴ったスレート検出のための候補イメージを表わした図
【図３ｂ】図３ａの拡大図
【符号の説明】
【００４１】
６０      候補領域
６１      候補領域
６２      候補領域
６３      スレート
【図１】
2004343713.tif 000003
【図２】
2004343713.tif 000004
【図３ａ】
2004343713.tif 000005
【図３ｂ】
2004343713.tif 000006