(57)【要約】      （修正有）【課題】運動参加者の標識文字の識別方法と識別設備を提供する。【解決手段】識別方法は、運動参加者を含む画像フレームにおいて運動参加者の顔を検出するステップＳ１０１と、検出された顔の周辺の所定区域において標識文字を検出するステップＳ１０２と、標識文字を識別するステップＳ１０３と、を含む。運動参加者の顔を検出することにより、標識文字を含む区域を正確的に位置付ける。運動参加者の標識文字が漏れるという問題や、識別が行われる区域においてノイズが高いという問題を回避して、標識文字の識別率を向上する。【選択図】図１
2015215893.tif 000002
【特許請求の範囲】
【請求項１】
運動参加者の標識文字の識別方法であり、
運動参加者を含む画像フレームにおいて運動参加者の顔を検出するステップと、
検出された顔の周辺の所定区域において前記標識文字を検出するステップと、
前記標識文字を識別するステップと、
を含む識別方法。
【請求項２】
前記運動参加者を含む画像フレームは、映像のうちのキーフレームである請求項１に記載の識別方法。
【請求項３】
運動参加者の身体比例に従って前記所定区域の位置を特定する請求項１に記載の識別方法。
【請求項４】
前記所定区域は、運動参加者の顔の下方に位置し、
且つ、前記所定区域と運動参加者の顔の距離は、この運動参加者の顔の長さである請求項１又は３に記載の識別方法。
【請求項５】
前記運動参加者を含む画像フレームにおいて運動参加者の顔を検出するステップは、
前記画像フレームにおける全ての顔を検出するステップと、
検出された顔のうち、面積が所定閾値よりも大きな顔を運動参加者の顔とするステップと、
を含む請求項１に記載の識別方法。
【請求項６】
前記検出された顔の周辺の所定区域において前記標識文字を検出するステップは、
パターン識別分類器を用いて、前記所定区域が前記標識文字を含むかどうかを特定するステップと、
前記標識文字を含む所定区域において、それに含まれる各文字を検出し、且つ、検出された各文字のうち、所定外形特徴を持つ文字を前記標識文字とするステップと、
を含む請求項１に記載の識別方法。
【請求項７】
前記外形特徴は、文字の輪郭の面積と、文字の外接矩形の面積と、文字の縦横比との少なくとも一つを含む請求項６に記載の識別方法。
【請求項８】
前記標識文字を識別するステップは、
運動フォントライブラリ中のフォントと運動映像フレームから抽出されたフォントとで形成されるトレーニングサンプルを用いて、前記標識文字を識別するステップを含む請求項１に記載の識別方法。
【請求項９】
運動参加者の標識文字の識別設備であり、
運動参加者を含む画像フレームにおいて運動参加者の顔を検出するように構成される顔検出ユニットと、
検出された顔の周辺の所定区域において前記標識文字を検出するように構成される文字検出ユニットと、
前記標識文字を識別するように構成される識別ユニットと、を含む識別設備。
【請求項１０】
前記運動参加者を含む画像フレームは、映像のうちのキーフレームである請求項９に記載の識別設備。
【請求項１１】
運動参加者の身体比例に従って前記所定区域の位置を特定する請求項９に記載の識別設備。
【請求項１２】
前記所定区域は、運動参加者の顔の下方に位置し、
且つ、前記所定区域と運動参加者の顔の距離は、この運動参加者の顔の長さである
請求項９又は１１に記載の識別設備。
【請求項１３】
前記顔検出ユニットは、
前記画像フレームにおける全ての顔を検出するように構成される第一の検出ユニットと、
検出された顔のうち、面積が所定閾値よりも大きな顔を運動参加者の顔として選択するように構成される選択ユニットと、
を含む請求項９に記載の識別設備。
【請求項１４】
前記文字検出ユニットは、
パターン識別分類器を用いて、前記所定区域が前記標識文字を含むかどうかを特定するように構成される特定ユニットと、
前記標識文字を含む所定区域において、それに含まれる各文字を検出し、且つ、検出された各文字のうち、所定外形特徴を持つ文字を標識文字とする第二の検出ユニットと、
を含む請求項９に記載の識別設備。
【請求項１５】
前記外形特徴は、文字の輪郭の面積と、文字の外接矩形の面積と、文字の縦横比との少なくとも一つを含む請求項１４に記載の識別設備。
【請求項１６】
前記識別ユニットは、
運動フォントライブラリ中のフォントと運動映像フレームから抽出されたフォントとで形成されるトレーニングサンプルを用いて、前記標識文字を識別する請求項９に記載の識別設備。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にパターン識別に関し、具体的に、運動参加者の標識文字の識別方法及び設備に関する。
【背景技術】
【０００２】
運動選手の標識文字を自動的に検出することにより運動選手の身分を識別することは、内容に基づく体育運動映像の解析に特に有用であり、そして、情報が急激的に増加する現在の時代において、映像索引と検索に対しても非常に価値がある。
【０００３】
運動シャツ文字（キャラクタと数字を含む）は、よく見られる代表的な運動選手標識文字の一つであり、そのサイズ、フォント、方向、姿、輝度などが多種の形式を持って、且つ場面により変化するので、運動シャツ文字を識別することが非常に難しい。
【０００４】
現在、常用の運動シャツ文字の識別方式では、文字識別を行うようにする映像フレームの中央区域や、他の経験に従って運動シャツ文字を含む可能性があると予測された区域において、辺角特徴で文字を検出し、その後検出された文字を抽出して文字分割を行い、最後、例えば、ＯＣＲ（光学キャラクタ認識）などの既存の文字識別アルゴリズムを採用して、分割後の文字のそれぞれを識別する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像フレームにおいて複雑なバックグランドと弱い監視特徴のため、経験に従って予測された、運動シャツ文字を含む区域は、正確ではない可能性が高い。例えば、運動シャツ文字が含まれなかったり、運動シャツ文字が含まれるが他のたくさんの無関係の文字も含まれたりして、バックグランドノイズが高くなってその中から運動シャツ文字を検出することが難しい場合があり、最終的に、運動シャツ文字の識別率が低くなってしまう。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも以上の問題点に鑑みて提出されたものである。本発明の実施例の一つによれば、運動参加者を含む画像フレームにおいて運動参加者の顔を検出するステップと、検出された顔の周辺の所定区域において標識文字を検出するステップと、標識文字を識別するステップと、を含む運動参加者の標識文字の識別方法を提供した。
【０００７】
本発明の実施例の他の一つによれば、運動参加者を含む画像フレームにおいて運動参加者の顔を検出するように構成される顔検出ユニットと、検出された顔の周辺の所定区域において標識文字を検出するように構成される文字検出ユニットと、標識文字を識別するように構成される識別ユニットと、を含む運動参加者の標識文字の識別設備を提供した。
【発明の効果】
【０００８】
本発明の実施例の運動参加者の標識文字の識別技術によれば、運動参加者の顔を識別することにより、標識文字を含む区域を正確的に位置付け、運動参加者の標識文字が漏れるという問題や、識別が行われる区域においてノイズが高いという問題を回避して、標識文字の識別率を向上した。
【図面の簡単な説明】
【０００９】
以下に、図面を併せて本開示の好ましい実施の形態をより詳しく記述することにより、本開示の上記及び他の目的、特徴と利点は、より明確になり、ここで、本開示の例示的な実施の形態では、一般的に、同一の参考符号が同一の手段を代表する。
【図１】図１は本発明の実施例による運動参加者の標識文字の識別方法のフローチャート図を模式的に示す。
【図２】図２は運動参加者の身体比例関係、及び運動参加者の顔と運動シャツ文字区域の位置関係を模式的に示す。
【図３Ａ】図３Ａは、パターン分類器を適用する前とパターン分類器を適用した後に、特定された運動シャツ文字区域を例示する。
【図３Ｂ】図３Ｂは、パターン分類器を適用する前とパターン分類器を適用した後に、特定された運動シャツ文字区域を例示する。
【図４】図４は本発明の実施例による運動参加者の標識文字の識別設備の模式的な構成ブロック図を示す。
【図５】図５は本発明の実施例による運動参加者の標識文字の識別システムの模式的な全体ハードウェアブロック図を示す。
【発明を実施するための形態】
【００１０】
以下に、図面を参考しながら、本開示の好ましい実施の形態をより詳しく記述する。図面において本開示の好ましい実施の形態が表示されているが、本開示は、ここで記述される実施の形態に限定されなく、各種の形式で実現されることができると理解すべきである。逆に、本開示をより徹底で完全的にして且つ本開示の範囲を当業者に完全的に伝えるために、これらの実施の形態を提供する。
【００１１】
図１を参照すると、図１は、本発明の実施例による運動参加者の標識文字の識別方法のフローチャート図を模式的に示す。
【００１２】
運動選手は、最も代表的な運動参加者であり、運動選手の身に着けられた運動シャツ上の運動シャツ文字（キャラクタと数字を含む）は、よく見られる代表的な運動参加者標識文字である。後述に、説明の便利のために、運動選手及び運動シャツ文字を例にして、運動参加者の標識文字の識別方法を説明する。
【００１３】
図１に示すように、ステップＳ１０１では、運動参加者を含む画像フレームにおいて運動参加者の顔を検出する。
【００１４】
運動参加者を含む画像フレームである文字識別を行うようとする画像フレームは、関心を持つ任意のフレームであってもよい。例えば、この画像フレームは、体育運動映像のうちの、運動選手の顔のクローズアップが存在するキーフレームであってもよい。
【００１５】
画像フレームで人の顔を検出する方法は、この分野で公知のものである。例えば、選択的には、両眼の連接線や、鼻と口の間の区域などのような画像特徴を抽出して、ｈａａｒ特徴に基づくカスケード分類器を採用して、画像フレームにおける人の顔のそれぞれを運動選手の顔として検出する。ここで、検出される人の顔は、正面顔であってもよく、側面顔であってもよい。
【００１６】
しかしながら、例えば、バスケボールの試合などのバックグランドが比較的に喧噪な場面で、上述のように検出された人の顔の中に、運動選手の以外の他の人（例えば、観客）の顔が含まれる可能性がある。文字識別を行うようとする画像フレームにおいて運動選手が占める面積は他の人よりも大きいことを考慮して、選択的に、画像フレームから検出された顔のうち、面積が所定閾値よりも大きな顔を、運動選手の顔としてもよく、例えば、検出された顔のうち、面積が画像フレームの１％よりも大きな顔を、運動選手の顔としてもよい。
【００１７】
ステップＳ１０２では、検出された顔の周辺の所定区域において標識文字を検出する。
【００１８】
識別が待たれる標識文字は例えば上述の運動シャツ文字である場合に、前記顔の周辺の所定区域は、運動シャツ文字区域である。
【００１９】
本発明者らは、運動選手の顔と運動選手の運動シャツ文字の間に固定的な相対位置関係が存在することを認識した。より明確的には、運動選手の顔を検出すると、運動選手の身体比例に従って運動シャツ文字区域の位置を特定することができる。例えば、図２に示すように、運動選手の顔が正面顔であり、且つ運動シャツ文字が運動選手の胸前に位置する場合に、前記運動シャツ文字区域は、運動選手の顔の下方に位置し、且つ、前記運動シャツ文字区域と運動選手の顔の距離は、例えばこの運動選手の顔の長さである。なお、選択的には、運動シャツ文字区域を矩形として、その長さと広さがそれぞれ運動選手の顔の長さの２倍と１．５倍であるようにしてもよい。上述運動シャツ文字区域の位置、形状、サイズは、一つの例示だけであるが本発明を限定するものではなく、当業者は、運動シャツ文字の位置、サイズ、運動選手の身体比例などの具体的な状況に従って設定を行えると理解すべきである。
【００２０】
このステップでは、それぞれの顔の周辺の運動シャツ文字区域において、それに含まれる文字を検出することができ、この検出は、本分野での公知の任意の適切な方法で行われてもよい。例えば、Ｃａｎｎｙエッジ検出器とＳｏｂｅｌ演算子を採用して辺角検出を行って運動シャツ文字区域における文字を検出することができ、そして、検出された文字を、例えば２値化処理と連結成分解析によって文字分割して、それぞれの独立の文字を得て次の文字識別を行う。
【００２１】
選択的に、検出されたそれぞれの独立の文字については、公知のノイズ除去方法を採用して、例えば、運動シャツの襟やリストバンドによるノイズをフィルタリングして除去してもよい。
【００２２】
例えば、選択的に、検出されたそれぞれの独立の文字のうち、所定外形特徴を持つ文字のみを標識文字として、次の文字識別を行ってもよい。前記外形特徴は、文字の輪郭の面積と、文字の外接矩形の面積と、文字の縦横比との少なくとも一つを含む。例えば、輪郭面積が運動シャツ文字区域の０．３％よりも大きな文字及び／又は外接矩形の面積が運動シャツ文字区域の１．５％よりも大きな文字を、標識文字とすることにより、小輪郭ノイズを除去することができる。もう一つの例として、運動シャツ文字は、一般的に、一定の特徴縦横比を持ち、例えば、キャラクタの高さと広さが略同じで、数字の高さが広さより大きいので、縦／横比が０．５−３．０範囲内にある文字を標識文字としてもよい。
【００２３】
なお、以上の記述では、検出された顔から特定される運動シャツ文字区域のそれぞれについて、いずれも、その中に含まれる文字を検出する。選択的に、識別効率を向上するために、パターン識別分類器を用いて、特定された運動シャツ文字区域のそれぞれが標識文字を含むかどうかを判断し、そして、標識文字を含む運動シャツ区域のみにおいて文字を検出してもよい。例えば、ＣＥＤＤ（色とエージの方向性記述子）特徴を採用して、ＫＮＮ分類器を用いて、特定された運動シャツ文字区域のそれぞれが標識文字を含むかどうか、つまり、本当の運動シャツ文字区域であるかどうかを判断してもよい。もちろん、ＣＥＤＤ特徴と分類器を採用するのは、一つの例示だけであるが本発明を限定するものではなく、当業者は、他の適切の特徴と分類器を採用してこの判断を行ってもよい。図３Ａと図３Ｂは、上記のようにパターン分類器を適用する前と後に、特定された運動シャツ文字区域の例示状況の一つを示す。図３Ａに示すように、ステップＳ１０１において４つの運動選手の顔が検出され、それで、対応の運動シャツ文字区域が４つ特定されたことを想定する。その中に、検出された顔ａは実際に観客の顔であり、検出された顔ｂは実際に画像フレームにおける文字であり、いずれも運動選手の顔ではなく、相応的に、顔ａと顔ｂに基づいて特定された、対応の運動シャツ文字区域ａとｂのいずれも本当の運動シャツ文字区域ではないことを分かることができる。図３Ｂは、図３Ａに示す運動シャツ文字区域に対してパターン分類器を適用した結果を示す。図３Ｂから分かるように、運動シャツ文字区域ａとｂのいずれもフィルタリングして除去され、従って、次の処理において、残った二つの運動シャツ文字区域を文字識別することのみが必要され、識別効率を向上した。
【００２４】
図１に戻って、ステップＳ１０３では、標識文字を識別する。
【００２５】
このステップでは、テンプレートマッチングに基づくアルゴリズムや、人工神経回路網に基づくアルゴリズムなどのような任意の公知の文字識別アルゴリズムを採用することにより、ステップＳ１０２で検出された標識文字を識別してもよい。例えば、一つの例示として、ハフライン(ｈｏｕｇｈ  ｌｉｎｅｓ)検出を採用して、検出されたそれぞれの単独の文字の傾き及び歪みを訂正し、次に、矩形マッチング法を用いて、訂正された文字を、予めに作成されたトレーニングサンプルと比較して、文字を識別してもよい。選択的に、運動フォントライブラリから各種の常用の運動シャツフォントを選択し、そして、常用の運動シャツフォントのそれぞれについて、運動映像フレームから各種の実際のフォントを抽出して前記トレーニングサンプルを作成する。
【００２６】
以上、本発明の実施例による運動参加者の標識文字の識別方法を詳しく記述した。この実施例では、運動参加者の顔を識別することにより、標識文字を含む区域を正確的に位置付けて、標識文字の識別率を向上した。
【００２７】
以上本発明の実施例による運動参加者の標識文字の識別方法の記述には、体育運動選手を例として説明したが、この識別方法は、運動選手だけではなく、裁判員や、チアリーダーなどの他の運動参加者に対しても適用することができると理解すべきである。
【００２８】
なお、以上本発明の実施例による運動参加者の標識文字の識別方法の記述には、運動シャツ文字を標識文字の例として説明したが、この識別方法は、運動シャツ文字だけではなく、例えば、運動参加者が着る帽子上の標識文字などの他の識別可能な運動参加者の標識文字に適用してもよい。
【００２９】
なお、本発明の実施例による運動参加者の標識文字の識別方法は、人間の体育運動だけではなく、競馬やドッグレースなどの動物体育運動、ロボットのサッカー試合などの非生命体の体育運動についても同様に適用し、その相違点は、具体的な運動参加者の身体比例によって、異なる顔の周辺の所定区域を設定することのみにある。
【００３０】
次に、図４を参照しながら、本発明の実施例による運動参加者の標識文字の識別設備の構成ブロック図を記述する。この設備は、上記の実施例で記述される方法を実行することができる。
【００３１】
上記のように、運動選手は、最も代表性的な運動参加者であり、運動選手の身に着けられた運動シャツ上の運動シャツ文字（キャラクタと数字を含む）は、よく見られる代表的な運動参加者標識文字の一つである。後述に、説明の便利のために、運動選手及び運動シャツ文字を例として、運動参加者の標識文字の識別設備を説明する。
【００３２】
図４のように、本発明の実施例による識別設備４００は、顔検出ユニット４１０と、文字検出ユニット４２０と、識別ユニット４３０とを含んでもよい。
【００３３】
顔検出ユニット４１０は、運動参加者を含む画像フレームにおいて運動参加者の顔を検出するように構成される。ここで、検出される人の顔は、正面顔でもよく、側面顔でもよい。画像フレームにおいて人の顔を検出する方法は、公知のものであり、顔検出ユニット４１０は、任意の公知の方法を採用して、画像フレームにおける人の顔を運動選手の顔として検出してもよい。選択的に、顔検出ユニット４１０は、前記画像フレームにおける全ての顔を検出するための第一の検出ユニット４１０１と、第一の検出ユニット４１０１で検出された顔のうち、面積が所定閾値よりも大きな顔を運動選手の顔とするための選択ユニット４１０２と、を含んでもよい。
【００３４】
文字検出ユニット４２０は、検出された顔の周辺の所定区域において、標識文字を検出するように構成される。上記したように、識別が待たれる標識文字は例えば上述の運動シャツ文字である場合に、前記顔の周辺の所定区域は、運動シャツ文字区域である。この運動シャツ文字区域の位置については、検出された運動選手の顔に基づいて運動選手の身体比例に従って特定することができる。例えば、運動選手の顔が正面顔であり、且つ運動シャツ文字が運動選手の胸前に位置する場合に、前記運動シャツ文字区域は、運動選手の顔の下方に位置し、且つ、前記運動シャツ文字区域と運動選手の顔の距離は、例えばこの運動選手の顔の長さである。文字検出ユニット４２０は、本分野での公知の任意の適切な方法を採用して、それぞれの顔の周辺の運動シャツ文字区域において、その中に含まれる各文字を検出して、次の文字識別を行う。選択的に、文字検出ユニット４２０は、それぞれの運動シャツ文字区域において検出された文字について、そのうち、所定外形特徴を持つ文字のみを標識文字として、次の文字識別を行う。前記外形特徴は、文字の輪郭の面積と、文字の外接矩形の面積と、文字の縦横比との少なくとも一つを含む。一方、選択的に、文字検出ユニット４２０は、特定ユニット４２０１と第二の検出ユニット４２０２を含み、その中に、特定ユニット４２０１は、パターン識別分類器を用いて、検出された顔の周辺の運動シャツ文字区域のそれぞれが標識文字を含むかどうかを特定し、第二の検出ユニット４２０２は、標識文字を含むと特定された、運動シャツ文字区域において、それに含まれる文字のそれぞれを検出し、且つ、上記のように、検出された文字のそれぞれを標識文字として次の文字識別を行い、又は、検出された文字のそれぞれのうち、所定外形特徴を持つ文字を標識文字として、文字識別を行う。
【００３５】
識別ユニット４３０は、文字検出ユニットで検出された標識文字を識別する。識別ユニット４３０は、テンプレートマッチングに基づくアルゴリズムや、人工神経回路網に基づくアルゴリズムなどのような本分野での任意の公知の文字識別アルゴリズムを採用することにより、標識文字を識別してもよい。上記したように、一つの例示として、識別ユニット４３０は、矩形マッチング法を用いて、標識文字を予めに作成されたトレーニングサンプルと比較して文字を識別し、ここで、運動フォントライブラリから各種の常用の運動シャツフォントを選択し、そして、常用の運動シャツフォントのそれぞれについて、運動映像フレームから各種の実際のフォントを抽出して前記トレーニングサンプルを作成してもよい。
【００３６】
以上に、本発明の実施例による運動参加者の標識文字の識別設備を詳しく記述した。この実施例では、運動参加者の顔を識別して、標識文字を含む区域を正確的に位置付けることにより、標識文字の識別率を向上した。
【００３７】
図５は、本発明の実施例による運動参加者の標識文字の識別システム５００の全体のハードウェアブロック図を示す。図５に示すように、識別システム５００は、入力設備５１０と、処理設備５２０と、出力設備５３０と、記憶設備５４０とを含む。前記入力設備５１０は、外部から関連の画像又は情報、例えば、体育運動映像を入力するものであり、この入力設備５１０は、例えば、キーボード、マウス、カメラなどであってもよい。前記処理設備５２０は、上記の本発明の実施例に基づく運動参加者の標識文字の識別方法を実施するものであり、又は上記の運動参加者の標識文字の識別設備として実施するものであり、この処理設備は、例えば、コンピュータのＣＰＵ又は処理能力を持つ他のチップなどであってもよい。前記出力設備５３０は、上記の運動参加者の標識文字の識別手順を実施して得られた結果、例えば、識別された文字を、外部に出力するものである。前記記憶設備５４０は、上記の標識文字の識別手順にかかるデータ、例えば、運動選手の顔の面積の所定閾値、身体比例関係、運動シャツ区域の位置とサイズ、文字の所定外形特徴などを、揮発性又は不揮発性的に記憶するものであり、この記憶設備は、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク、又は半導体メモリなどの揮発性又は不揮発性メモリであってもよい。
【００３８】
当業者にとっては、本発明の方法と装置の全て又は任意のステップや手段は、任意の計算装置（プロセッサ、記憶媒体などを含む）又は計算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせで実現されることができることを理解すべきであり、当業者は、本発明の説明を読んだ場合に、彼らの基本的なプログラミングスキルを運用して、これを実現することができる。
【００３９】
従って、本発明の目的は、任意の計算装置で動作する一つのプログラム又は一つのセットのプログラムで実現される。前記計算装置は、公知の汎用装置であってもよい。従って、本発明の目的は、前記方法又は装置を実現するプログラムコードを含むプログラム製品を提供することのみによって実現される。つまり、このようなプログラムも、本発明を構成し、且つ、このようなプログラム製品を記憶する記憶媒体も、本発明を構成する。明らかに、前記記憶媒体は、任意の公知の記憶媒体、又は将来に開発される任意の記憶媒体であってもよい。
【００４０】
本発明の装置と方法では、明らかに、各手段や各ステップの分解及び／または再結合
が可能であることを、さらに注意すべきである。これらの分離及び／または再結合は、本発明の等価方案と見なすべきである。そして、上記の一連の処理を実行するステップは、自然的に説明の順序に従って時間の順序に実行されてもよいが、必ず時間順序で実行されることに限定されない。一部のステップは、並列的又は独立的に実行されてもよい。
【００４１】
上記の具体的な実施の形態は、本発明の保護範囲を限定するものではない。当業者にとっては、設計要求と他の要因に応じて、様々の変更、コンビネーション、サブコンビネーション、及び置換が生じることが可能であると理解すべきである。本発明の精神と原則内において行われる変更、等価置換、改善などのいずれも、本発明の保護範囲に含まれる。
【図１】
2015215893.tif 000003
【図５】
2015215893.tif 000004
【図２】
2015215893.tif 000005
【図３Ａ】
2015215893.tif 000006
【図３Ｂ】
2015215893.tif 000007
【図４】
2015215893.tif 000008