(57)【要約】  入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する出演者情報抽出手段と、を備える。
2010058509.tif 000002
【特許請求の範囲】
【請求項１】
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、
前記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、
前記クレジット区間情報と前記認識文字情報とに基づいて、前記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、
前記出演者情報表示区間情報にて特定される時間区間内における前記認識文字情報に含まれる前記文字情報を前記出演者情報として抽出する出演者情報抽出手段と、
を備えた情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記出演者情報表示区間抽出手段は、前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記特定の文字は、前記映像情報が表す映像に出演しておらず当該映像情報の制作に関わる者の役割を表す文字である、
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記出演者情報表示区間抽出手段は、
前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を、前記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出する出演者情報表示区間候補抽出手段と、
前記クレジット区間情報と前記出演者情報表示区間候補情報とに基づいて、前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する出演者情報表示区間判定手段と、を備えた、
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記出演者情報表示区間判定手段は、前記出演者表示区間候補情報にて表される時間区間の長さに基づいて前記出演者情報表示区間情報を抽出する、
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記出演者情報表示区間判定手段は、前記出演者表示区間候補情報にて表される時間区間のうち、当該時間区間の長さが最長であり、前記クレジット区間情報に基づいて少なくともその時間区間の冒頭側の区間を前記出演者情報表示区間情報として抽出する、
情報処理装置。
【請求項７】
請求項４乃至６のいずれか一項に記載の情報処理装置であって、
前記出演者情報表示区間抽出手段は、前記クレジット区間情報と、予め設定された前記文字情報の再生時間と出演者情報の表示され易さとの関係を表した表示され易さ情報と、に基づいて、前記クレジット区間情報内の各時間における前記出演者情報が表示され得る確率を出演者情報表示確率情報として算出する出演者情報表示確率算出手段を備え、
前記出演者情報表示区間抽出手段が有する前記出演者情報表示区間判定手段は、前記出演者情報表示確率算出情報に基づいて、前記出演者情報表示区間候補情報のうち前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する、
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記出演者情報表示区間判定手段は、前記出演者情報表示確率算出情報の確率が最大となる時間を含む時間区間を前記出演者情報が表示される時間区間とする、
情報処理装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の情報処理装置であって、
前記認識文字情報が、映像中における前記文字情報の出現状況を表す出現パターン情報を含んでおり、
前記出演者情報表示区間抽出手段は、前記認識文字列情報に含まれる前記出現パターン情報に基づいて、前記出演者情報表示区間を算出する、
情報処理装置。
【請求項１０】
請求項４乃至６のいずれか一項に記載の情報処理装置であって、
前記出演者情報表示区間抽出手段は、前記認識文字情報から映像中における前記文字情報の出現状況を表す出現パターン情報を抽出する出現パターン解析手段を備え、
前記出演者情報表示区間抽出手段が有する前記出演者情報表示区間判定手段は、前記クレジット時間区間情報と前記出演者情報表示区間候補情報と前記出現パターン情報とに基づいて、前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する、
情報処理装置。
【請求項１１】
請求項７又は８に記載の情報処理装置であって、
前記出演者情報表示区間抽出手段は、前記認識文字情報から映像中における前記文字情報の出現状況を表す出現パターン情報を抽出する出現パターン解析手段を備え、
前記出演者情報表示区間抽出手段が有する前記出演者情報表示区間判定手段は、前記出演者情報表示確率情報と前記出演者情報表示区間候補情報と前記出現パターン情報とに基づいて、前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する、
情報処理装置。
【請求項１２】
請求項１０又は１１に記載の情報処理装置であって、
前記出現パターン解析手段は、前記認識文字情報に基づいて映像の再生時間の経過に伴う前記文字情報の出現頻度を前記出現パターンとして抽出する、
情報処理装置。
【請求項１３】
請求項１０乃至１２のいずれか一項に記載の情報処理装置であって、
前記出現パターン解析手段は、前記認識文字情報に基づいて映像の再生領域に対する前記文字情報のレイアウトを前記出現パターンとして抽出する、
情報処理装置。
【請求項１４】
請求項１乃至１３のいずれか一項に記載の情報処理装置であって、
前記クレジット区間抽出手段は、再生された映像上で前記文字情報が所定の方向にスクロールするロールテロップを検出し、当該ロールテロップが再生されている時間区間を前記クレジット区間情報とする、
情報処理装置。
【請求項１５】
請求項１乃至１３のいずれか一項に記載の情報処理装置であって、
前記クレジット区間抽出手段は、再生された映像上で再生される音楽を検出し、当該音楽が再生されている時間区間を前記クレジット区間情報とする、
情報処理装置。
【請求項１６】
情報処理装置に、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、
前記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、
前記クレジット区間情報と前記認識文字情報とに基づいて、前記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、
前記出演者情報表示区間情報にて特定される時間区間内における前記認識文字情報に含まれる前記文字情報を前記出演者情報として抽出する出演者情報抽出手段と、
を実現させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムであって、
前記出演者情報表示区間抽出手段は、前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、
プログラム。
【請求項１８】
請求項１６に記載のプログラムであって、
前記情報処理装置に、
前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を、前記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出する出演者情報表示区間候補抽出手段と、
前記クレジット区間情報と前記出演者情報表示区間候補情報とに基づいて、前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する出演者情報表示区間判定手段と、
を備えた前記出演者情報表示区間抽出手段を実現させるためのプログラム。
【請求項１９】
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出し、
前記クレジット区間情報の抽出に前後して、前記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出し、
前記クレジット区間情報と前記認識文字情報とに基づいて、前記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出し、
前記出演者情報表示区間情報にて特定される時間区間内における前記認識文字情報に含まれる前記文字情報を前記出演者情報として抽出する、
情報処理方法。
【請求項２０】
請求項１９に記載の情報処理方法であって、
前記出演者情報表示区間情報を抽出するときに、前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、
情報処理方法。
【請求項２１】
請求項２０に記載の情報処理方法であって、
前記出演者情報表示区間情報を抽出するときに、
前記認識文字情報に含まれる前記文字情報に、予め設定された特定の文字が含まれていない時間区間を、前記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出し、
前記クレジット区間情報と前記出演者情報表示区間候補情報とに基づいて、前記文字情報中に前記出演者情報が表示される時間区間を表す前記出演者情報表示区間情報を抽出する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置にかかり、特に、映像情報から特定の文字情報を抽出する情報処理装置に関する。
【背景技術】
【０００２】
近年、動画像や音楽といったコンテンツのデジタル化に伴い、これらコンテンツの著作権や著作隣接権などの権利に関する問題が多々生じている。例えば、コンテンツの無断使用や、コンテンツの使用許諾、使用料の徴収、などをいかに管理するか、が問題となっている。このような状況に対して、特許文献１では、動画像などのコンテンツに付随する著作権などの権利を管理する権利管理システムを開示している。この権利管理システムでは、コンテンツマネジメントサーバで著作権などの権利を一括管理し、契約管理サーバや課金サーバ、認証サーバなどと連携することによって、コンテンツ利用者の要求に応じた自動契約、およびコンテンツのセキュアな流通を実現している。【０００３】
ところが、上記システムでは、著作権などの権利情報は、仲介業者によって人手により登録されることを前提としている。このため、過去に制作したコンテンツを上述したようなシステムで取り扱えるようにするためには、手作業にてコンテンツから権利情報を抽出し、さらに、登録する、という必要がある。すると、例えば、過去のコンテンツの場合には、契約情報の詳細などが残っていないことも多く、まず、誰がコンテンツの権利を有するかを明確にする必要がある。そして、人手で確認しながら登録する作業を行うこととなるが、このプロセスに非常に膨大な工数を費やさねばならないという問題があった。そして、このことが、例えば、テレビ放送されたドラマなどの優良コンテンツが二次流通市場へ活用されることの妨げの原因ともなっていた。【０００４】
一方で、非特許文献１，２では、放送番組などのコンテンツ中に流れる製作者や出演者の名前などを表示するクレジット情報中の文字情報を読み取る、テロップ認識の技術を開示している。かかる技術を利用することで、映像から当該映像に存在する著作権や著作隣接権などの情報を自動的に抽出することも可能である。【０００５】
ここで、クレジットタイトルに含まれ、抽出したい著作権に関連する情報として、「原作者」、「脚本家」、「監督」などの人名情報と、著作隣接権に関連する情報として「出演者」の人名情報とがあり、これらは二次利用に際して特に重要である。そして、上記「原作者」や「脚本家」、「監督」などの権利者タイプを判定できる単語とともに人物名が表記されている場合には、テロップ認識後に単語との対応付けを行うことで、人物名の権利者タイプを判定できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１０９２５４号公報
【非特許文献】
【０００７】
【非特許文献１】堀修，三田雄志，”テロップ認識のための映像からのロバストな文字部抽出法”,電子情報通信学会論文誌, D-II, Vol.J84-D-II, No. 8, pp.1800-1808, 2001/08
【非特許文献２】新井啓之，桑野秀豪，倉掛正治，杉村利明，“映像中のテロップ表示フレーム検出方法”，電子情報通信学会論文誌, D-II, Vol.J83-D-II, No. 6, pp.1477-1486, 2000/06
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した後者の「出演者」の場合には、クレジットタイトルに権利者タイプを示す単語が示されず、名前だけが列挙されるか、あるいは、一般名詞ではない配役名と一緒に表記される場合がある。かかる場合には、クレジット情報から認識した文字情報だけでは、その人名が出演者かどうかを自動的に判別できず、その判別を、テロップ認識後に人手に頼らざるを得ない。従って、上述したように依然として、コンテンツに含まれる権利を明確にする作業コストが増大すると共に、コンテンツの二次利用が制限されてしまう、という問題があった。【０００９】
このため、本発明の目的は、上述した課題である、「コンテンツに含まれる権利情報を抽出するコストの増大、及び、コンテンツの二次利用の制限」を解決することが可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
かかる目的を達成するため本発明の一形態である情報処理装置は、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、
上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する出演者情報抽出手段と、
を備える。【００１１】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、
上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する出演者情報抽出手段と、
を実現させるためのプログラムである。【００１２】
また、本発明の他の形態である情報処理方法は、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出し、
上記クレジット区間情報の抽出に前後して、上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出し、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出し、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する、
という構成を採る。
【発明の効果】
【００１３】
本発明は、以上のように構成されることにより、映像コンテンツに含まれる権利情報を容易、高精度、低コストにて抽出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の情報処理装置の構成を示す機能ブロック図である。
【図２】映像の一例を示す図である。
【図３】映像の一例を示す図である。
【図４】図１に開示した情報処理装置の動作を示すフローチャートである。
【図５】実施形態２における情報処理装置の出演者情報表示区間抽出手段の構成を示す機能ブロック図である。
【図６】図５に開示した出演者情報表示区間抽出手段の動作を示すフローチャートである。
【図７】実施形態３における情報処理装置の出演者情報表示区間抽出手段の構成を示す機能ブロック図である。
【図８】図７に開示した出演者情報表示区間抽出手段の動作を示すフローチャートである。
【図９】実施形態４における情報処理装置の出演者情報表示区間抽出手段の構成を示す機能ブロック図である。
【図１０】図９に開示した出演者情報表示区間抽出手段の動作を示すフローチャートである。
【図１１】実施形態５における情報処理装置の出演者情報表示区間抽出手段の構成を示す機能ブロック図である。
【図１２】図１１に開示した出演者情報表示区間抽出手段の動作を示すフローチャートである。
【発明を実施するための最良の形態】
【００１５】
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図４を参照して説明する。図１は、情報処理装置の構成を示す機能ブロック図である。図２乃至図３は、映像の一例を示す図である。図４は、情報処理装置の動作を示すフローチャートである。なお、本実施形態は、後述する実施形態６にて開示する情報処理装置の具体的な一例を示すものである。【００１６】
［構成］
本実施形態における情報処理装置は、演算装置と記憶装置とを備えた一般的なコンピュータである。そして、映画やテレビ番組などの映像情報を入力し、この映像情報に重畳された文字情報のうち、出演者情報を抽出する、という構成を採っている。【００１７】
そして、本実施形態における情報処理装置１の基本的な構成は、図１に示すように、クレジット区間抽出手段２と、文字情報抽出手段３と、出演者情報表示区間抽出手段４と、出演者情報抽出手段５と、を備えている。なお、これら各手段２〜５は、演算装置に出演者情報抽出用プログラムが組み込まれることで、情報処理装置１に構築されている。以下、さらに詳述する。【００１８】
なお、上記プログラムは、例えば、予め情報処理装置１が装備する記憶装置に記憶されていたり、ＣＤ−ＲＯＭなどの記憶媒体に格納された状態で情報処理装置１に提供される。あるいは、上記プログラムは、ネットワーク上の他のサーバコンピュータの記憶装置に記憶され、当該他のサーバコンピュータからネットワークを介して情報処理装置１に提供されてもよい。【００１９】
まず、映像情報について詳述する。映像情報は、映画やテレビ番組など、所定の再生時間を有する動画像データである。そして、この映像情報には、文字情報が重畳されている。例えば、文字情報として、映像であるコンテンツの制作に関わった者の名前を表示したクレジット情報（クレジットタイトル）や、映像の説明や映像中の出演者のセリフなどのテロップと呼ばれるものがある。このうち、本発明では、クレジット情報の中からさらに出演者情報を抽出する。【００２０】
ここで、図２乃至図３に、映像情報の一例、つまり、映像が表示画面に表示されたときの表示例を示す。例えば、映像情報には、図２に示すように、番組の冒頭や最後などに、出演者などの名前（例えば、「○○  ○○」や「△△  △△」）であるクレジット情報を含む場合がある。この場合には、図２（Ａ）に示すように、出演者の名前のみが一行に表示される場合があるが、一方で、図２（Ｂ）に示すように、「原作者」、「脚本家」、「監督」などの映像に出演しておらず当該映像の制作に関わる者の役割を表す情報が表示される場合もある。なお、図２（Ａ），（Ｂ）の場合は、映像画面の中央に表示される場合を示したが、図３（Ａ）のように映像画面の下部のみに表示されたり、図３（Ｂ）のように、映像画面の半分に表示されるような場合もある。また、図示していないが、出演者の配役名と共に表示される場合もある。なお、出演者がしゃべった言葉などのテロップが表示される場合もある。【００２１】
そして、上記クレジット区間抽出手段２は、入力された映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間を、クレジット区間情報として抽出する。そして、このクレジット区間情報を、出演者情報表示区間抽出手段４に出力する。具体的に、クレジット区間抽出手段２は、番組中から主題歌の時間区間を抽出し、クレジット区間情報として出力する。これは、例えば、ドラマなどの映像の場合には、クレジット情報は主題歌に重畳される場合が多いことによる。従って、クレジット区間抽出手段２は、映像の再生中に再生される音楽を検出する機能を有し、当該音楽が再生されている時間区間をクレジット区間情報とする。このとき、クレジット区間抽出手段２は、例えば、連続した所定の大きさの音を検出することにより音楽が再生されていることを検出するが、その方法はいかなる方法であってもよい。また、クレジット情報は、バラエティ番組などの映像情報では、番組最後にロールテロップとして表示されることが多い。このため、クレジット区間抽出手段２は、例えば、番組最後で等速に水平または垂直方向といった所定の方向にスクロールするロールテロップを検知し、この時間区間をクレジット時間区間情報として出力してもよい。但し、クレジット区間抽出手段２によるクレジット区間の抽出方法は、上述した方法に限定されない。【００２２】
また、上記文字情報抽出手段３は、上記クレジット区間抽出手段２と同じく映像情報の入力を受ける。そして、映像情報に対して文字認識処理を行い、認識した文字列である文字情報を抽出する。このとき、文字情報抽出手段３は、認識した文字列が再生された時間を表す再生時間情報を取得して、この再生時間情報に認識した文字情報を関連付けて、認識文字情報として出演者情報表示区間抽出手段４と、出演者情報抽出手段５と、に出力する。なお、文字認識処理は、例えば、上述した非特許文献１，２等に開示されている技術を用いて、実現することができる。【００２３】
ここで、文字情報抽出手段３は、上記文字列と共に、当該文字列の映像画面（フレーム）上における位置情報を抽出し、この位置情報を文字列と共に関連付けて、認識文字情報に含めてもよい。例えば、認識された文字列の外接四角形の各頂点の位置座標や、外接四角形の１つの頂点と外接四角形の幅、高さの情報を、文字列の位置情報として抽出し、認識文字情報に含めてもよい。【００２４】
さらに、文字情報抽出手段３は、上述したクレジット区間抽出手段２にて抽出されたクレジット区間情報を取得し、このクレジット区間情報で指定される時間区間の映像に対してのみ、上述した文字認識処理を実行してもよい。【００２５】
また、上記出演者情報表示区間抽出手段４は、まず、上述したようにクレジット区間抽出手段４から出力されるクレジット区間情報と、文字情報抽出手段３から出力される認識文字情報との入力を受け付ける。そして、出演者情報表示区間抽出手段４は、これらクレジット区間情報と認識文字情報とに基づいて、当該文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間を特定し、この時間区間を表す出演者情報表示区間情報を抽出して、出演者情報抽出手段５に出力する。具体的に、出演者情報表示区間抽出手段４は、認識文字情報に含まれる認識された文字列の特性や、クレジット区間内における時間的な位置を表す情報を利用して、出演者情報が表示される時間区間を特定する。例えば、「クレジット情報中で出演者情報が表示される時間区間はまとまって存在する」という法則に基づき、クレジット区間情報のうち、文字情報の出現が密集している時間区間を、出演者情報表示区間とする。なお、この出演者情報表示区間抽出手段４のより詳細な構成、つまり、出演者情報表示区間の抽出方法については、他の実施形態にて詳述する。【００２６】
また、上記出演者情報抽出手段５は、出演者情報表示区間抽出手段４から出力された出演者情報表示区間情報と、文字情報抽出手段３から出力された認識文字情報と、の入力を受け付ける。そして、上記出演者情報表示区間情報にて特定される時間区間内における映像に含まれる上記文字情報を、出演者の名前を表す出演者情報として抽出する。このとき、出演者情報抽出手段５は、例えば、文字数や、ひらがなと漢字の配置、使用漢字などの観点から予め設定された判断基準情報に基づいて、文字列の人名らしさを判定し、所定の基準を満たした文字列を出演者の名前として抽出する。また、出演者情報抽出手段５は、他の例として、認識された文字列の映像画面上の配置などに基づいて、配役名などは排除した上で、出演者の名前のみを選別してもよい。例えば、人名が２列に並んでおり、一方の文字が小さい場合には、その小さいほうの文字を配役名と特定して排除し、他方の文字列を出演者の名前として抽出してもよい。【００２７】
さらに、出演者情報抽出手段５は、予め設定された映像の制作に関わる者の役割を表す文字列を検出した場合には、この役割を表す文字列と関連付けられている人名は、出演者ではないとして抽出しない。例えば、「原作者」、「脚本家」、「監督」などの映像に出演していない者の役割を表す文字列を検出した場合には、この役割を表す文字列と同一の列にある人名は、抽出しない。【００２８】
そして、出演者情報抽出手段５は、上述のようにして抽出した出演者の人名である出演者情報を、情報処理装置１のディスプレイに出力したり、所定のファイルに出力して記憶する。【００２９】
なお、上記出演者情報抽出手段５による出演者情報を抽出する方法は、上述した出演者情報表示区間抽出手段４が出演者情報表示区間を特定して抽出する際に用いてもよい。つまり、出演者情報表示区間抽出手段４は、上述したように、文字数、ひらがなと漢字の配置などから、出演者の名前が含まれていると判断した時間区間を、出演者情報表示区間として抽出し、出演者情報抽出手段に出力してもよい。【００３０】
［動作］
次に、上記構成の情報処理装置１の動作を、図４のフローチャートを参照して説明する。まず、情報処理装置１は、映像情報の入力を受け付ける（ステップＳ１）。そして、情報処理装置１は、映像中に文字情報であるクレジット情報が重畳されている時間区間を、クレジット区間情報として抽出する（ステップＳ２、クレジット区間抽出工程）。このとき、例えば、主題歌などの音楽が流れている時間区間を抽出したり、ロールテロップが流れている時間区間を抽出する。【００３１】
また、情報処理装置１は、上記クレジット区間情報の抽出処理に前後して、入力された映像情報中に重畳されている文字列を認識して、その出現時間と共に関連付け、認識文字情報として抽出する（ステップＳ３、文字情報抽出工程）。このとき、時間だけでなく、文字列の表示位置を特定する位置情報を抽出して、認識文字情報に含めてもよい。また、情報処理装置１は、上述したように、クレジット区間として抽出された時間区間のみの文字認識を行ってもよい。【００３２】
なお、上記クレジット区間抽出手段２によるステップＳ２の処理と、上記文字情報抽出手段３によるステップＳ３の処理とは、上述した順序で実行されることに限定されず、逆の順番や同時に実行されてもよい。【００３３】
続いて、情報処理装置１は、上記クレジット区間情報と上記認識文字情報とに基づいて、映像中に出演者情報が含まれている時間区間を抽出する（ステップＳ４、出演者情報表示区間抽出工程）。例えば、文字列が一定の基準以上まとまって表示されている時間区間や、映像における冒頭やエンディング部分などの特定の時間区間を、出演者情報が含まれている時間区間として抽出する。【００３４】
その後、情報処理装置１は、出演者情報が表示されていると特定された時間区間内の文字列から、出演者情報を抽出する（ステップＳ５、出演者情報抽出工程）。このとき、例えば、文字列の人名らしさを判定し、人名のみを抽出して、出演者情報とする。また、場合によっては、文字列の配置などに応じて、映像中の配役名を特定し、排除してもよい。また、「原作者」、「脚本家」、「監督」などの映像に出演していない者の役割を表す文字列を検出し、この役割を表す文字列が同一の列にない人名を、出演者の名前として抽出する。その後、出演者の名前を表す出演者情報を、ディスプレイやファイルに出力する（ステップＳ６）。【００３５】
以上のように、本実施形態では、まず、クレジット情報が表示されている時間区間とクレジットの文字内容とに基づいて、出演者情報が表示される時間区間を特定している。従って、映像から、容易かつ高精度、さらには、低コストに、出演者情報を抽出して、コンテンツに含まれる権利情報を特定することができる。【００３６】
＜実施形態２＞
本発明の第２の実施形態を、図５乃至図６を参照して説明する。図５は、情報処理装置の構成を示す機能ブロック図である。図６は、情報処理装置の動作を示すフローチャートである。【００３７】
本実施形態における情報処理装置１は、上述した実施形態１のものとほぼ同一の構成を採っている。そして、本実施形態では、特に、出演者情報表示区間抽出手段４の構成が異なる。従って、以下では、出演者情報表示区間抽出手段４の構成及び動作について、主に説明する。【００３８】
図５に示すように、本実施形態における情報処理装置１の出演者情報表示区間抽出手段４は、出演者情報表示区間候補抽出手段４１と、出演者情報表示区間判定手段４２と、を備えている。なお、これら各手段４１，４２は、演算装置に出演者情報抽出用プログラムが組み込まれることで、情報処理装置１内に構築されている。以下、さらに詳述する。【００３９】
なお、上記プログラムは、例えば、予め情報処理装置１が装備する記憶装置に記憶されていたり、ＣＤ−ＲＯＭなどの記憶媒体に格納された状態で情報処理装置１に提供される。あるいは、上記プログラムは、ネットワーク上の他のサーバコンピュータの記憶装置に記憶され、当該他のサーバコンピュータからネットワークを介して情報処理装置１に提供されてもよい。【００４０】
上記出演者情報表示区間候補抽出手段４１は、上述した図１に開示した文字情報抽出手段３にて映像から抽出された文字情報を含む認識文字情報を取得する。そして、出演者情報表示区間候補抽出手段４１は、認識文字情報に含まれる文字情報中に、予め定められた「特定の文字列」が含まれるかどうかを調べる。【００４１】
ここで、上記「特定の文字列」とは、「原作」、「脚本」、「監督」、「プロデューサー」など、映像に出演しておらず当該映像情報の制作に関わる者の役割を表す文字である。換言すると、特定の文字列とは、映像に対する著作権や著作隣接権などの権利種別を表す文字列である。【００４２】
そして、出演者情報表示区間候補抽出手段４１は、各文字列が特定の文字列に該当するかどうかを判定し、当該特定の文字列のいずれにも該当しない文字列が抽出された連続時間区間を求める。その後、この時間区間を特定する情報を出演者情報表示区間候補情報とし、出演者情報表示区間判定手段４２に出力する（ステップＳ１１、出演者情報表示区間候補抽出工程）。このとき、例えば、候補となる時間区間の開始と終了の時刻を、候補区間ごとに出力する。あるいは、候補区間の開始か終了のどちらか一方の時刻と、その区間の長さを表す区間長情報と、を区間ごとに出力するようにしてもよい。【００４３】
また、出演者情報表示区間判定手段４２は、上記出演者情報表示区間候補情報と、図１に開示したクレジット区間抽出手段２にて映像から抽出されたクレジット区間情報と、を取得する。そして、出演者情報表示区間判定手段４２は、クレジット区間情報を用いて、出演者情報表示区間候補情報に含まれる各候補区間の、文字情報の表示開始からの時間、つまり、各候補区間の時間的な長さを算出する。そして、出演者情報表示区間判定手段４２は、出演者表示区間候補情報にて表される時間区間が最長であるなど、当該時間区間の長さに基づいて、上記出演者情報表示区間情報を特定する。【００４４】
また、出演者情報表示区間判定手段４１は、候補となる時間区間の冒頭側の区間を、上記出演者情報表示区間情報として抽出してもよい。一例を挙げると、出演者は、クレジット表示の前半で表示されることが多いため、クレジット情報の前半に含まれ、かつ、時間区間長が最長となる候補区間を、出演者情報表示区間として選択する（ステップＳ１２、出演者情報表示区間判定工程）。そして、選択された時間区間を特定する情報を、出演者情報表示区間情報として出演者情報抽出手段５に出力する。【００４５】
なお、出演者情報表示区間判定手段４２は、上記出演者情報表示区間候補情報に含まれる情報のみから出演者情報表示区間情報を求め、これを出力してもよい。そして、候補区間が１つのみの場合には、これをそのまま出演者表示区間としてもよいし、あるいは、複数ある場合には、時間区間長等の基準で１つを選択し、出演者表示区間とするようにしてもよい。【００４６】
以上のように、本実施形態における出演者情報表示区間抽出手段４は、認識した文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出することで、より効率的に出演者情報が含まれる時間区間を絞り込むことができる。そして、さらに、特定の文字が含まれていない時間区間の長さや映像全体に対する相対的な時間などに基づいて、時間区間の候補の中から出演者情報が表示されている時間区間を抽出することで、より高精度に、出演者情報を抽出することができる。【００４７】
＜実施形態３＞
本発明の第３の実施形態を、図７乃至図８を参照して説明する。図７は、情報処理装置の構成を示す機能ブロック図である。図８は、情報処理装置の動作を示すフローチャートである。【００４８】
本実施形態における情報処理装置１は、上述した実施形態３のものとほぼ同一の構成を採っている。そして、本実施形態では、特に、出演者情報表示区間抽出手段４の構成が異なる。従って、以下では、出演者情報表示区間抽出手段４の構成及び動作について、主に説明する。【００４９】
図７に示すように、本実施形態における情報処理装置１の出演者情報表示区間抽出手段４は、出演者情報表示区間候補抽出手段１４１と、出演者情報表示区間判定手段１４２と、出演者情報表示確率算出手段１４３と、を備えている。なお、これら各手段１４１〜１４３は、演算装置に出演者情報抽出用プログラムが組み込まれることで、情報処理装置１内に構築されている。以下、さらに詳述する。【００５０】
なお、上記プログラムは、例えば、予め情報処理装置１が装備する記憶装置に記憶されていたり、ＣＤ−ＲＯＭなどの記憶媒体に格納された状態で情報処理装置１に提供される。あるいは、上記プログラムは、ネットワーク上の他のサーバコンピュータの記憶装置に記憶され、当該他のサーバコンピュータからネットワークを介して情報処理装置１に提供されてもよい。【００５１】
上記出演者情報表示確率算出手段１４３は、図１に開示したクレジット区間抽出手段２にて映像から抽出されたクレジット区間情報を取得する。ここで、情報処理装置１は、映像に対するクレジット情報の再生時間と、出演者情報の表示され易さと、の関係を表した「表示され易さ情報」を記憶している。この「表示され易さ情報」に基づいて、出演者情報表示確率算出手段１４３は、クレジット区間情報内の各時間毎において出演者情報が表示されうる確率を、出演者情報表示確率情報として算出する。【００５２】
なお、上記「表示され易さ情報」は、例えば、クレジットが表示される区間の長さで正規化された、クレジット表示の冒頭からの相対時間に対する関数で表され、これに基づいて各時間に対する確率を算出可能なデータである。また、この「表示され易さ情報」は、例えば、クレジット表示の冒頭から各相対時刻において、出演者情報が表示される確率そのものを値として保持していてもよい。また、「表示され易さ情報」は、クレジット表示の冒頭からの相対時間に対する関数をモデル化して、このモデルを記述するパラメータ情報であってもよい。そして、この「表示され易さ情報」は、これまでの複数のクレジット情報から情報処理装置１が組み込まれた処理機能に基づいて自動的に学習して算出したものであってもよいし、人手で調整して付与されたものであってもよい。【００５３】
そして、出演者情報表示確率算出手段１４３は、クレジット区間情報と、上述したように予め記憶された「表示され易さ情報」とに基づいて、映像の各再生時間における出演者情報が表示される確率を算出し、出演者情報表示区間判定手段１４２に出力する（ステップＳ２１、出演者情報表示確率算出工程）。【００５４】
また、上記出演者情報表示区間候補抽出手段１４１は、上述した実施形態３のものとほぼ同一である。つまり、出演者情報が含まれうる候補となる時間区間を表す出演者情報表示区間候補情報を、出演者情報表示区間判定手段１４２に出力する（ステップＳ２２、出演者情報表示区間候補抽出工程）。【００５５】
なお、上記出演者情報表示確率算出手段１４３によるステップＳ２１の処理と、上記出演者情報表示区間候補抽出手段１４１によるステップＳ２２の処理とは、上述した順序で実行されることに限定されず、逆の順番や同時に実行されてもよい。【００５６】
そして、上記出演者情報表示区間判定手段１４２は、上記出演者情報表示確率算出手段１４３から出力された上記出演者情報表示確率情報と、上記出演者情報表示区間候補抽出手段１４１から出力された出演者情報表示区間候補情報と、を取得する。そして、出演者情報表示区間判定手段１４２は、各候補区間における出演者情報が含まれる確率に基づいて、出演者情報が表示される時間区間を特定する（ステップＳ２３、出演者情報表示区間判定工程）。例えば、出演者情報表示区間候補情報にて特定された各候補区間に対し、各候補区間に出演者情報が表示され得る確率を算出する。このとき、例えば、各候補区間内における出演者情報表示確率の区間全体の平均や最大値、最小値などを用いて、その区間の確率とする。そして、各候補区間のうち、求めた確率が最大となる候補区間を出演者情報が表示される時間区間とし、この区間を特定する出演者情報表示区間情報を出演者情報抽出手段５に出力する。【００５７】
また、出演者情報表示区間判定手段１４２は、以下のように出演者情報表示区間を特定してもよい。例えば、出演者情報が表示される区間長に関する基準をさらに有しており、この基準に基づいて区間長に対する妥当性を検証し、上述の確率と合せて出演者情報表示区間を判定するようになっていてもよい。具体的には、出演者情報表示区間として妥当とする最小の長さを基準値として規定しておき、この基準値を満たした候補区間で、かつ上記確率が最大となる区間を選択するようになっていてもよい。【００５８】
以上のように、本実施形態では、統計などにより予め用意されている、映像の再生時間に応じた出演者情報の表示され易さを表す情報に基づいて、各再生時間毎における出演者情報の表示確率を算出する。そして、その確率が最大となる時間区間など、算出した確率に基づいて出演者情報が表示される時間区間を算出する。従って、より高精度に、出演者情報を抽出することができる。【００５９】
＜実施形態４＞
本発明の第４の実施形態を、図９乃至図１０を参照して説明する。図９は、情報処理装置の構成を示す機能ブロック図である。図１０は、情報処理装置の動作を示すフローチャートである。【００６０】
本実施形態における情報処理装置１は、上述した実施形態３のものとほぼ同一の構成を採っている。そして、本実施形態では、特に、出演者情報表示区間抽出手段４の構成が異なる。従って、以下では、出演者情報表示区間抽出手段４の構成及び動作について、主に説明する。【００６１】
図９に示すように、本実施形態における情報処理装置１の出演者情報表示区間抽出手段４は、出演者情報表示区間候補抽出手段２４１と、出演者情報表示区間判定手段２４２と、出現パターン解析手段２４４と、を備えている。なお、これら各手段２４１，２４２，２４４は、演算装置に出演者情報抽出用プログラムが組み込まれることで、情報処理装置１内に構築されている。以下、さらに詳述する。【００６２】
なお、上記プログラムは、例えば、予め情報処理装置１が装備する記憶装置に記憶されていたり、ＣＤ−ＲＯＭなどの記憶媒体に格納された状態で情報処理装置１に提供される。あるいは、上記プログラムは、ネットワーク上の他のサーバコンピュータの記憶装置に記憶され、当該他のサーバコンピュータからネットワークを介して情報処理装置１に提供されてもよい。【００６３】
上記出現パターン解析手段２４４は、図１に開示した文字情報抽出手段３にて映像から抽出された文字情報を含む認識文字情報を取得する。そして、出現パターン解析手段２４４は、認識文字情報に含まれる文字情報の映像に対する時間的な出現状況を表す出現パターンや、映像の再生領域に対する文字情報の表示レイアウトにおける出現状況を表す出現パターンを解析する。【００６４】
具体的に、上述した前者の文字情報の時間的な出現パターンの解析では、映像中における文字列の出現頻度情報を、クレジット情報中の各時刻に対して算出する。このとき、出演者情報は、例えば、主役級の人から脇役へと順次表示されるが、主役級の人が表示される場合にはその人単独で表示される場合が多く、単位時間当たりの文字列の出現頻度は低くなる。一方、脇役の人の場合には、まとめて複数の人が表示される場合が多いため、単位時間当たりの文字列の出現頻度は高くなる。従って、映像の再生時間の経過に伴う文字列の出現頻度情報を、後述する出演者情報表示区間判定手段２４２における出演者情報表示区間の特定に用いることができる。【００６５】
一方、上述した後者の文字情報の空間的なレイアウトは、事前に文字情報抽出手段３にて抽出した認識文字情報が、文字列の表示画面（フレーム）内における位置や大きさといったレイアウト情報を含んでいる場合に、解析を行うことができる。この場合、権利や役割の種別を表す文字列と人名（「脚本」というキーワードと脚本家の人名など）のように、２つの文字列が一行に表示されるなど、予め設定されたレイアウト構造に対応して表示される文字列が存在するかどうかを、認識された文字列のレイアウト情報から判定する。例えば、出演者は、配役名とともに表示される場合もあるが、配役名がなく、人名単独で表示される場合も多い。このようなケースでは、同一行などの特定のレイアウト構造にて対応する他の文字列が存在しない文字列の表示が連続する場合には、出演者が表示されている可能性が高いと考えられる。従って、このような文字列のレイアウト構造を解析して、後述する出演者情報表示区間判定手段２４２における出演者情報表示区間の判定精度向上に用いることが可能となる。【００６６】
なお、仮に配役名と出演者の名前が特定のレイアウトで同時に表示される場合であっても、他の権利者の情報の表示とは、レイアウトが異なって表示される場合がある。そこで、特定のレイアウト構造による他の対応文字列が検知された場合には、その空間的な位置関係を解析し、その対応関係に変化がある場合には、それを検知するようになっていてもよい。例えば、対応文字列同士の文字間隔に応じて、「権利者情報」と「人名」とが同時に表示されているか、あるいは、「配役名」と「人名」とが同時に表示されているか、を解析して判別することが可能である。【００６７】
また、空間的なレイアウト情報から、文字列の出現頻度情報に相当する情報を算出することも可能である。例えば，同一画面（フレーム）に表示される文字列間の距離は、上述の出現頻度と反比例の関係にあるため、この距離情報から単位時間当たりの文字列の出現頻度情報を算出してもよい。【００６８】
このようにして解析された時間的な出現パターン、空間的なレイアウトの解析結果の両方、あるいはいずれか一方を、文字列の出現パターン解析情報として抽出し、出演者情報表示区間判定手段２４２へ出力する（ステップＳ３１、出現パターン解析工程）。【００６９】
また、上記出演者情報表示区間候補抽出手段２４１は、上述した実施形態２のものとほぼ同一である。つまり、出演者情報が含まれうる候補となる時間区間を表す出演者情報表示区間候補情報を、出演者情報表示区間判定手段２４２に出力する（ステップＳ３２、出演者情報表示区間候補抽出工程）。【００７０】
なお、上記出現パターン解析手段２４４によるステップＳ３１の処理と、上記出演者情報表示区間候補抽出手段２４１によるステップＳ３２の処理とは、上述した順序で実行されることに限定されず、逆の順番や同時に実行されてもよい。【００７１】
そして、上記出演者情報表示区間判定手段２４２は、上記出現パターン解析情報と、図５に開示した出演者情報表示区間候補抽出手段２４１から出力された出演者情報表示区間候補情報と、を取得する。また、出演者情報表示区間判定手段２４２は、図１に開示したクレジット区間抽出手段２にて映像から抽出されたクレジット区間情報も取得する。そして、クレジット時間区間情報と、テロップパタン解析結果情報と、出演者情報表示区間候補情報と、から出演者情報表示区間を算出して抽出する（ステップＳ３３、出演者情報表示区間判定工程）。【００７２】
具体的に、出演者情報表示区間判定手段２４２は、まず、クレジット区間情報を用いて、出演者情報表示区間候補情報に含まれる各候補区間のクレジット表示開始からの相対時間を算出する。続いて、出演者情報表示区間判定手段２４２は、出現パターン解析結果情報を用いて、各候補区間に対して時間毎の出演者情報が表示されている確率を算出する。例えば、上記出現パターン解析結果情報が文字列の時間的な出現頻度情報を含む場合には，各候補区間内における出現頻度情報の増減を解析する。そして、この解析結果が、予め設定された出演者表示特有の時間的な文字列の出現頻度特性を表す情報に対して適合する度合いを判定し、その適合する度合いから出演者が表示されている確率を算出する。【００７３】
また、出現パターン解析結果情報が空間的なレイアウト情報の解析結果を含む場合には、当該出現パターン解析結果情報を用いて、各候補区間内におけるレイアウト的に出演者情報が表示されている確率を算出する。そして、この解析結果が、予め設定された出演者表示特有の空間的な文字列のレイアウト特性を表す情報に適合する度合いを判定し、その度合いから出演者が表示されている確率を算出する。ただし、出演者情報が配役名とともに表示され、かつ、配役名と出演者の表示位置の関係が他の権利者情報の場合と変化しない場合には、空間的なレイアウトからは出演者情報の表示の有無の判定を行うことが困難なため、空間的なレイアウト情報を用いないようにする。【００７４】
また、出現パターン解析結果情報が文字列の時間的な出現頻度情報と空間的なレイアウト情報の解析結果の両方を含む場合には、両方の情報を用いて文字列の時間的出現頻度特性、空間的レイアウト特性に適合する度合いを判定し、それらの度合いから出演者が表示されている確率を算出する。【００７５】
そして、このようにして算出された出演者情報が表示されている確率と、クレジット表示開始からの相対時刻情報とを用いて、出演者情報表示区間を選択し、出力する。例えば、出演者はクレジットの前半で表示されることが多いため、クレジットの前半に含まれる候補区間の中で、上述したように算出された確率が最大となる候補区間を、出演者情報表示区間として選択する。このとき、出演者情報が表示される区間長に関する基準をさらに有しており、区間長に対する妥当性を検証し、上述した確率と合せて出演者情報表示区間を判定するようになっていてもよい。【００７６】
あるいは，各候補区間のクレジット冒頭からの相対時刻情報と、区間長とから、出演者情報表示区間となりえる区間を予め絞りこんだ上で、上述の確率を算出し、確率が最大となる候補区間を出演者情報表示区間として判定して出力するようにしてもよい。【００７７】
＜実施形態５＞
本発明の第５の実施形態を、図１１乃至図１２を参照して説明する。図１１は、情報処理装置の構成を示す機能ブロック図である。図１２は、情報処理装置の動作を示すフローチャートである。【００７８】
本実施形態における情報処理装置１は、上述した実施形態３と実施形態４のものとほぼ同一の構成を採っている。そして、本実施形態では、特に、出演者情報表示区間抽出手段４の構成が異なる。従って、以下では、出演者情報表示区間抽出手段４の構成及び動作について、主に説明する。【００７９】
図１１に示すように、本実施形態における情報処理装置１の出演者情報表示区間抽出手段４は、出演者情報表示区間候補抽出手段３４１と、出演者情報表示区間判定手段３４２と、出現者情報表示確率算出手段３４３と、出現パターン解析手段３４４と、を備えている。なお、これら各手段３４１〜３４４は、演算装置に出演者情報抽出用プログラムが組み込まれることで、情報処理装置１内に構築されている。以下、さらに詳述する。【００８０】
なお、上記プログラムは、例えば、予め情報処理装置１が装備する記憶装置に記憶されていたり、ＣＤ−ＲＯＭなどの記憶媒体に格納された状態で情報処理装置１に提供される。あるいは、上記プログラムは、ネットワーク上の他のサーバコンピュータの記憶装置に記憶され、当該他のサーバコンピュータからネットワークを介して情報処理装置１に提供されてもよい。【００８１】
まず、出演者情報表示確率算出手段３４３は、上述した実施形態３のものとほぼ同一である。つまり、出演者情報表示確率算出手段３４３は、まず、図１に開示したクレジット区間抽出手段２にて映像から抽出されたクレジット区間情報を取得する。そして、予め記憶している情報処理装置１が記憶している、映像に対するクレジット情報の再生時間と、出演者情報の表示され易さと、の関係を表した「表示され易さ情報」に基づいて、クレジット区間情報内の各時間において出演者情報が表示されうる確率を、出演者情報表示確率情報として算出する。そして、出演者情報表示確率算出手段３４３は、算出した映像の各再生時間における出演者情報が表示される確率を、出演者情報表示区間判定手段３４２に出力する（ステップＳ４１、出演者情報表示確率算出工程）。【００８２】
また、出現パターン解析手段３４４は、上述した実施形態４のものとほぼ同一である。つまり、出現パターン解析手段３４４は、図１に開示した文字情報抽出手段３にて映像から抽出された文字情報を含む認識文字情報を取得する。そして、認識文字情報に含まれる文字情報の映像に対する時間的な出現状況を表す出現パターン、映像の再生領域に対するレイアウト的な出現状況を表す出現パターンの両方、あるいはいずれか一方を、出現パターン解析情報として抽出し、出演者情報表示区間判定手段３４２へ出力する（ステップＳ４２、出現パターン解析工程）。【００８３】
また、上記出演者情報表示区間候補抽出手段３４１は、上述した実施形態２のものとほぼ同一である。つまり、出演者情報が含まれうる候補となる時間区間を表す出演者情報表示区間候補情報を、出演者情報表示区間判定手段３４２に出力する（ステップＳ４３、出演者情報表示区間候補抽出工程）。【００８４】
なお、上述した出演者情報確率算出手段３４３、出現パターン解析手段３４４、出演者情報表示区間候補抽出手段３４１による処理は、図１２に示す順番にて実行されることに限定されず、いかなる順序でもよく、あるいは、並列に実行されてもよい。【００８５】
そして、上記出演者情報表示区間判定手段３４２では、出演者情報表示確率と、出現パターン解析結果情報と、出演者情報表示区間候補情報と、から出演者情報表示区間を算出する（ステップＳ４４、出演者情報表示区間判定工程）。具体的には、まず、上述した実施形態３の場合と同様に、出演者情報表示区間候補情報で特定された各候補区間に対し、その時間情報から各候補区間に出演者情報が表示され得る確率を算出する。次に、上述した実施形態４の場合と同様に、各候補区間に対し、出現パターン解析結果情報から出演者情報が表示されている確率を算出し、上記時間情報から求めた確率に掛け合わせる。そして、この結果、得られる確率が最大となる区間を出演者情報表示区間として選択する。あるいは、上述した実施形態３の場合と同様に、区間長に対する妥当性を検証し、上記の確率と合せて出演者情報表示区間を判定するようになっていてもよい。そして、選択された区間を記述する情報を出演者情報表示区間情報として出力する。これにより、より高精度に、出演者情報を抽出することができる。【００８６】
＜実施形態６＞
本発明の第６の実施形態を、図１を参照して説明する。図１は、情報処理装置の構成を示す機能ブロック図である。なお、本実施形態では、情報処理装置の構成の概略を説明する。【００８７】
本発明の一形態である情報処理装置１は、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段２と、
上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段３と、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段４と、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する出演者情報抽出手段５と、
を備える。【００８８】
上記構成の情報処理装置によると、情報処理装置は、まず、映像中に含まれる文字情報が再生される時間区間をクレジット区間情報として抽出する。また、情報処理装置は、映像に対して文字認識処理を行い、文字情報とその再生時間情報とを、認識文字情報として抽出する。さらに、情報処理装置は、上記クレジット区間情報と認識文字情報とに基づいて、映像に出演している出演者の名前を表す出演者情報が表示される映像中の時間区間を、出演者情報表示区間情報として抽出する。そして、情報処理装置は、抽出された出演者情報表示区間情報にて特定される映像中の時間区間に表示される文字情報を、出演者の名前として抽出する。【００８９】
このように、クレジットが表示されている時間区間とクレジットの文字内容とに基づいて、出演者情報が表示される時間区間を特定している。従って、映像から、容易かつ高精度、さらには、低コストに、出演者情報を抽出して、コンテンツに含まれる権利情報を特定することができる。【００９０】
そして、上記情報処理装置では、上記出演者情報表示区間抽出手段は、上記認識文字情報に含まれる上記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、という構成を採る。【００９１】
また、上記情報処理装置では、上記特定の文字は、上記映像情報が表す映像に出演しておらず当該映像情報の制作に関わる者の役割を表す文字である、という構成を採る。【００９２】
これにより、情報処理装置は、監督やプロデューサーなどの映像情報の制作に関わる者の役割を表す文字など、出演者ではない者を特定する文字が含まれていない時間区間を、出演者情報が表示されている時間区間とする。従って、より高精度に、出演者情報を抽出することができる。【００９３】
また、上記情報処理装置では、
上記出演者情報表示区間抽出手段は、
上記認識文字情報に含まれる上記文字情報に、予め設定された特定の文字が含まれていない時間区間を、上記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出する出演者情報表示区間候補抽出手段と、
上記クレジット区間情報と上記出演者情報表示区間候補情報とに基づいて、上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する出演者情報表示区間判定手段と、を備えた、
という構成を採る。【００９４】
そして、上記情報処理装置では、上記出演者情報表示区間判定手段は、上記出演者表示区間候補情報にて表される時間区間の長さに基づいて上記出演者情報表示区間情報を抽出する、という構成を採る。【００９５】
また、上記情報処理装置では、上記出演者情報表示区間判定手段は、上記出演者表示区間候補情報にて表される時間区間のうち、当該時間区間の長さが最長であり、上記クレジット区間情報に基づいて少なくともその時間区間の冒頭側の区間を上記出演者情報表示区間情報として抽出する、という構成を採る。【００９６】
これにより、特定の文字が表示されていない時間区間を出演者情報が表示されている時間区間の候補として抽出し、さらに、その時間区間の長さや映像全体に対する相対的な時間などに基づいて、時間区間の候補の中から出演者情報が表示されている時間区間を抽出する。従って、より高精度に、出演者情報を抽出することができる。【００９７】
また、上記情報処理装置では、
上記出演者情報表示区間抽出手段は、上記クレジット区間情報と、予め設定された上記文字情報の再生時間と出演者情報の表示され易さとの関係を表した表示され易さ情報と、に基づいて、上記クレジット区間情報内の各時間における上記出演者情報が表示され得る確率を出演者情報表示確率情報として算出する出演者情報表示確率算出手段を備え、
上記出演者情報表示区間抽出手段が有する上記出演者情報表示区間判定手段は、上記出演者情報表示確率算出情報に基づいて、上記出演者情報表示区間候補情報のうち上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する、
という構成を採る。【００９８】
また、上記情報処理装置では、上記出演者情報表示区間判定手段は、上記出演者情報表示確率算出情報の確率が最大となる時間を含む時間区間を上記出演者情報が表示される時間区間とする、構成を採る。【００９９】
これにより、統計などにより予め用意されている、映像の再生時間に応じた出演者情報の表示され易さを表す情報に基づいて、各再生時間毎における出演者情報の表示確率を算出する。そして、その確率が最大となる時間区間など、算出した確率に基づいて出演者情報が表示される時間区間を算出する。従って、より高精度に、出演者情報を抽出することができる。【０１００】
また、上記情報処理装置では、
上記認識文字情報が、映像中における上記文字情報の出現状況を表す出現パターン情報を含んでおり、
上記出演者情報表示区間抽出手段は、上記認識文字列情報に含まれる上記出現パターン情報に基づいて、上記出演者情報表示区間を算出する、
という構成を採る。【０１０１】
また、上記情報処理装置では、
上記出演者情報表示区間抽出手段は、上記認識文字情報から映像中における上記文字情報の出現状況を表す出現パターン情報を抽出する出現パターン解析手段を備え、
上記出演者情報表示区間抽出手段が有する上記出演者情報表示区間判定手段は、上記クレジット時間区間情報と上記出演者情報表示区間候補情報と上記出現パターン情報とに基づいて、上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する、
という構成を採る。【０１０２】
さらに、上記情報処理装置では、
上記出演者情報表示区間抽出手段は、上記認識文字情報から映像中における上記文字情報の出現状況を表す出現パターン情報を抽出する出現パターン解析手段を備え、
上記出演者情報表示区間抽出手段が有する上記出演者情報表示区間判定手段は、上記出演者情報表示確率情報と上記出演者情報表示区間候補情報と上記出現パターン情報とに基づいて、上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する、
という構成を採る。【０１０３】
そして、上記情報処理装置では、上記出現パターン解析手段は、上記認識文字情報に基づいて映像の再生時間の経過に伴う上記文字情報の出現頻度を上記出現パターンとして抽出する、という構成を採る。【０１０４】
また、上記情報処理装置では、上記出現パターン解析手段は、上記認識文字情報に基づいて映像の再生領域に対する上記文字情報のレイアウトを上記出現パターンとして抽出する、という構成を採る。【０１０５】
これにより、映像に対する文字情報の出現頻度や再生領域に対するレイアウトなどの出現パターンに基づいて、出演者情報が表示される時間区間を抽出する。従って、より高精度に、出演者情報を抽出することができる。【０１０６】
また、上記情報処理装置では、上記クレジット区間抽出手段は、再生された映像上で上記文字情報が所定の方向にスクロールするロールテロップを検出し、当該ロールテロップが再生されている時間区間を上記クレジット時間区間情報とする、という構成を採る。【０１０７】
また、上記情報処理装置では、上記クレジット区間抽出手段は、再生された映像上で再生される音楽を検出し、当該音楽が再生されている時間区間を上記クレジット時間区間情報とする、という構成を採る。【０１０８】
また、上述した情報処理装置は、当該情報処理装置に、プログラムが組み込まれることで実現できる。
具体的に、本発明の他の形態であるプログラムは、情報処理装置に、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出するクレジット区間抽出手段と、
上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出する文字情報抽出手段と、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出する出演者情報表示区間抽出手段と、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する出演者情報抽出手段と、
を実現させるためのプログラムである。【０１０９】
そして、上記プログラムでは、上記出演者情報表示区間抽出手段は、上記認識文字情報に含まれる上記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、という構成を採る。【０１１０】
また、上記プログラムは、
上記情報処理装置に、
上記認識文字情報に含まれる上記文字情報に予め設定された特定の文字が含まれていない時間区間を、上記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出する出演者情報表示区間候補抽出手段と、
上記クレジット区間情報と上記出演者情報表示区間候補情報とに基づいて、上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する出演者情報表示区間判定手段と、
を備えた上記出演者情報表示区間抽出手段を実現させるためのプログラムである。【０１１１】
また、上述した情報処理装置が作動することにより実行される情報処理方法は、
入力された所定の再生時間を有する映像情報に基づいて、当該映像情報に文字情報が重畳されている時間区間をクレジット区間情報として抽出し、
上記クレジット区間情報の抽出に前後して、上記映像情報に対して文字認識処理を行い、当該映像情報に含まれる文字情報と、当該文字情報が再生される時間を表す再生時間情報と、を関連付けて認識文字情報として抽出し、
上記クレジット区間情報と上記認識文字情報とに基づいて、上記文字情報中に映像に出演した出演者の名前を表す出演者情報が表示される時間区間である出演者情報表示区間情報を抽出し、
上記出演者情報表示区間情報にて特定される時間区間内における上記認識文字情報に含まれる上記文字情報を上記出演者情報として抽出する、
という構成を採る。【０１１２】
そして、上記情報処理方法では、上記出演者情報表示区間情報を抽出する時に、上記認識文字情報に含まれる上記文字情報に、予め設定された特定の文字が含まれていない時間区間を出演者情報が表示される時間区間として抽出する、という構成を採る。【０１１３】
また、上記情報処理方法では、
上記出演者情報表示区間情報を抽出する時に、
上記認識文字情報に含まれる上記文字情報に、予め設定された特定の文字が含まれていない時間区間を、上記出演者情報が表示されている候補となる時間区間を表す出演者情報表示区間候補情報として抽出し、
上記クレジット区間情報と上記出演者情報表示区間候補情報とに基づいて、上記文字情報中に上記出演者情報が表示される時間区間を表す上記出演者情報表示区間情報を抽出する、
という構成を採る。【０１１４】
上述した構成を有する、プログラム、又は、情報処理方法、の発明であっても、上記情報処理装置と同様の作用を有するために、上述した本発明の目的を達成することができる。【０１１５】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。【０１１６】
なお、本発明は、日本国にて２００８年１１月２１日に特許出願された特願２００８−２９７７５６の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【産業上の利用可能性】
【０１１７】
本発明は、映像を管理したり利用する事業者にて、映像情報から出演者の権利を自動的に抽出する際に利用することができ、産業上の利用可能性を有する。
【符号の説明】
【０１１８】
１  情報処理装置
２  クレジット区間抽出手段
３  文字情報抽出手段
４  出演者情報表示区間抽出手段
５  出演者情報抽出手段
４１，１４１，２４１，３４１  出演者情報表示区間候補抽出手段
４２，１４２，２４２，３４２  出演者情報表示区間判定手段
１４３，３４３  出演者情報表示確率算出手段
２４４，３４４  出現パターン解析手段
【図１】
2010058509.tif 000003
【図２】
2010058509.tif 000004
【図３】
2010058509.tif 000005
【図４】
2010058509.tif 000006
【図５】
2010058509.tif 000007
【図６】
2010058509.tif 000008
【図７】
2010058509.tif 000009
【図８】
2010058509.tif 000010
【図９】
2010058509.tif 000011
【図１０】
2010058509.tif 000012
【図１１】
2010058509.tif 000013
【図１２】
2010058509.tif 000014
【国際調査報告】
2010058509.tif 000015
2010058509.tif 000016
2010058509.tif 000017