(57)【要約】【課題】画像に重畳されて表示される文字に関する情報をより有効に活用することができるようにする。【解決手段】ヘッダ除去部４１は、字幕ストリームを構成するＰＥＳパケットのヘッダを除去し、ＥＳデータを生成する。字幕管理デコーダ４３は、および字幕文デコーダ４４は、ヘッダ除去部４１から供給されたデータを構成する単位データであるデータユニットに分解する。データユニットデコーダ４５は、データユニットのそれぞれを復号し、各種の制御情報等の字幕に関する情報を生成し、振り仮名判別部４６は、字幕に含まれる文字のそれぞれが振り仮名であるか否かを判別して、字幕に含まれる文字のそれぞれが振り仮名かどうかを表す情報を、字幕情報格納バッファ４７に格納されている情報に追加する。【選択図】図３
2010199711.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの画像に重畳されて表示される文字からなる字幕のデータを抽出する字幕データ抽出手段と、
前記抽出した字幕のデータに基づいて、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報を取得する文字情報取得手段と、
前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に振り仮名の文字が含まれているか否かを判定する振り仮名判定手段と、
前記字幕に振り仮名の文字が含まれていると判定された場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字のうち、振り仮名の文字を特定する情報を生成する振り仮名情報生成手段と
を備えるコンテンツ処理装置。
【請求項２】
前記振り仮名判定手段は、前記字幕が横書きまたは縦書きのいずれであるかを表すフォーマットを特定し、
前記字幕のフォーマットが横書きである場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字の高さが２種類以上存在するか否かを判定することで、前記字幕に振り仮名の文字が含まれるか否かを判定する
請求項１に記載のコンテンツ処理装置。
【請求項３】
前記振り仮名情報生成手段は、
前記字幕に含まれる文字のうち、前記文字のサイズを表す情報に基づいて特定される高さの値が最も小さい文字を、振り仮名の候補文字として検出し、
前記字幕に含まれる文字のうち、前記候補文字と同じ高さの値の文字を前記振り仮名の文字として特定する
請求項２に記載のコンテンツ処理装置。
【請求項４】
前記振り仮名情報生成手段は、前記字幕が横書きまたは縦書きのいずれであるかを表すフォーマットを特定し、
前記字幕のフォーマットが縦書きである場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字の幅が２種類以上存在するか否かを判定することで、前記字幕に振り仮名の文字が含まれるか否かを判定する
請求項１に記載のコンテンツ処理装置。
【請求項５】
前記振り仮名情報生成手段は、
前記字幕に含まれる文字のうち、前記文字のサイズを表す情報に基づいて特定される幅の値が最も小さい文字を、振り仮名の候補文字として検出し、
前記字幕に含まれる文字のうち、前記候補文字と同じ幅の値の文字を前記振り仮名の文字として特定する
請求項４に記載のコンテンツ処理装置。
【請求項６】
予め設定された情報に基づいて、前記振り仮名情報生成手段により特定された前記振り仮名の文字を、画面表示するか否かを制御する画面表示制御手段
をさらに備える請求項１に記載のコンテンツ処理装置。
【請求項７】
前記字幕のデータ、および前記振り仮名情報生成手段により特定された前記振り仮名の文字に基づいて、前記コンテンツのメタデータを生成するメタデータ生成手段
をさらに備える請求項１に記載のコンテンツ処理装置。
【請求項８】
コンテンツの画像に重畳されて表示される文字からなる字幕のデータに基づいて、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報を取得し、
前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に振り仮名の文字が含まれているか否かを判定し、
前記字幕に振り仮名の文字が含まれていると判定された場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字のうち、振り仮名の文字を特定する情報を生成する
ステップを含むコンテンツ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ処理装置および方法に関し、特に、画像に重畳されて表示される文字に関する情報をより有効に活用することができるようにするコンテンツ処理装置および方法に関する。
【背景技術】
【０００２】
近年、デジタル放送においては、字幕情報がテキスト情報として放送局から送出され、受信機側で表示することが可能となっている。
【０００３】
また、カラオケ装置において、平仮名、片仮名、英語などで歌詞を表示する技術も提案されている（例えば、特許文献１参照）。
【０００４】
さらに、ビデオ信号から字幕部分を取り除き、ビデオ圧縮符号化を行う際に不利となる高域周波数成分を減少させることで、符号化効率を上げ、より高画質な画像データの記録が可能となるようにすることも提案されている（例えば、特許文献２参照）。
【０００５】
これにより、字幕に関しても、映像、音声とは独立して記録することで受信機による運用性を高め、再生時に字幕の表示を行うか否かを、ユーザが任意に選択できるようになっている。
【０００６】
【特許文献１】特開平４―１３２８８号公報
【特許文献２】特開２００２―３００５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、規格などにおいて字幕には特別に「振り仮名」を付するべきとするような規定はないが、一般的にかなりの頻度で読み仮名が付与されている。
【０００８】
このような振り仮名は、十分な読解力がある人にとっては、かえってわずらわしいものでもある。
【０００９】
しかしながら、従来の技術では、振り仮名を表示しない選択をすることができなかった。また、字幕の文字を、例えば、コンテンツのメタデータとして用いる場合などは、振り
仮名の文字が特定できないため、適切にメタデータを生成できないという問題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、画像に重畳されて表示される文字に関する情報をより有効に活用することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、コンテンツの画像に重畳されて表示される文字からなる字幕のデータを抽出する字幕データ抽出手段と、前記抽出した字幕のデータに基づいて、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報を取得する文字情報取得手段と、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に振り仮名の文字が含まれているか否かを判定する振り仮名判定手段と、前記字幕に振り仮名の文字が含まれていると判定された場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字のうち、振り仮名の文字を特定する情報を生成する振り仮名情報生成手段とを備えるコンテンツ処理装置である。
【００１２】
前記振り仮名判定手段は、前記字幕が横書きまたは縦書きのいずれであるかを表すフォーマットを特定し、前記字幕のフォーマットが横書きである場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字の高さが２種類以上存在するか否かを判定することで、前記字幕に振り仮名の文字が含まれるか否かを判定するようにすることができる。
【００１３】
前記振り仮名情報生成手段は、前記字幕に含まれる文字のうち、前記文字のサイズを表す情報に基づいて特定される高さの値が最も小さい文字を、振り仮名の候補文字として検出し、前記字幕に含まれる文字のうち、前記候補文字と同じ高さの値の文字を前記振り仮名の文字として特定するようにすることができる。
【００１４】
前記振り仮名情報生成手段は、前記字幕が横書きまたは縦書きのいずれであるかを表すフォーマットを特定し、前記字幕のフォーマットが縦書きである場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字の幅が２種類以上存在するか否かを判定することで、前記字幕に振り仮名の文字が含まれるか否かを判定するようにすることができる。
【００１５】
前記振り仮名情報生成手段は、前記字幕に含まれる文字のうち、前記文字のサイズを表す情報に基づいて特定される幅の値が最も小さい文字を、振り仮名の候補文字として検出し、前記字幕に含まれる文字のうち、前記候補文字と同じ幅の値の文字を前記振り仮名の文字として特定するようにすることができる。
【００１６】
予め設定された情報に基づいて、前記振り仮名情報生成手段により特定された前記振り仮名の文字を、画面表示するか否かを制御する画面表示制御手段をさらに備えるようにすることができる。
【００１７】
前記字幕のデータ、および前記振り仮名情報生成手段により特定された前記振り仮名の文字に基づいて、前記コンテンツのメタデータを生成するメタデータ生成手段をさらに備えるようにすることができる。
【００１８】
本発明の一側面は、コンテンツの画像に重畳されて表示される文字からなる字幕のデータに基づいて、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報を取得し、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に振り仮名の文字が含まれているか否かを判定し、前記字幕に振り仮名の文字が含まれていると判定された場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字のうち、振り仮名の文字を特定する情報を生成するステップを含むコンテンツ処理方法である。
【００１９】
本発明の一側面においては、コンテンツの画像に重畳されて表示される文字からなる字幕のデータに基づいて、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報が取得され、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に振り仮名の文字が含まれているか否かが判定され、前記字幕に振り仮名の文字が含まれていると判定された場合、前記字幕に含まれる文字、およびそれらの文字それぞれのサイズを表す情報に基づいて、前記字幕に含まれる文字のうち、振り仮名の文字が特定される。
【発明の効果】
【００２０】
本発明によれば、画像に重畳されて表示される文字に関する情報をより有効に活用することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。
【図２】図１のコンテンツ処理装置の構成例を示すブロック図である。
【図３】図２の字幕デコーダブロックの詳細な構成例を示すブロック図である。
【図４】字幕の例を説明する図である。
【図５】図４に示される字幕に対応するＰＥＳパケットに含まれる情報の例を示す図である。
【図６】振り仮名特定処理の例を説明するフローチャートである。
【図７】振り仮名候補抽出処理の例を説明するフローチャートである。
【図８】字幕の別の例を説明する図である。
【図９】図８に示される字幕に対応するＰＥＳパケットに含まれる情報の例を示す図である。
【図１０】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るコンテンツ処理装置の例を示す図である。同図に示されるコンテンツ処理装置１は、例えば、ＨＤＤ（Hard Disk Drive）レコーダとして構成され、テレビジョン受像機などとして構成されるディスプレイ２に接続されている。
【００２４】
図２は、図１のコンテンツ処理装置１の構成例を示すブロック図である。
【００２５】
コンテンツ処理装置１は、例えば、ユーザによって設定された録画の予約に従ってテレビジョン放送の番組を録画するようになされている。
【００２６】
コンテンツ処理装置１は、図示せぬアンテナで受信されたデジタル放送波を受信するデジタル放送受信回路２１を備えている。デジタル放送受信回路から出力されるデータは、ＤＥＭＵＸ２２に供給され、ＤＥＭＵＸ２２により、ビデオストリーム、オーディオストリーム、および字幕ストリームに分離される。
【００２７】
ＤＥＭＵＸ２２から出力されるビデオストリームのデータは、ビデオデコーダ２３に供給され、例えば、MPEG方式で圧縮符号化されたデータが復号され、画像データが生成される。ビデオデコーダ２３から出力される画像データは、一旦、映像格納バッファ２４に格納され、所定のタイミングで、表示プレーンのデータとして出力されていく。
【００２８】
なお、映像格納バッファ２４から出力される表示プレーンは、後述するように合成部６１により字幕の表示データと合成されてディスプレイ２に出力される。これにより、コンテンツの画像には、必要に応じて字幕の文字が重畳されて表示されるのである。
【００２９】
ＤＥＭＵＸ２２から出力されるオーディオストリームのデータは、オーディオデコーダ２６に供給され、例えば、MPEG方式で圧縮符号化されたデータが復号され、音声データが生成される。オーディオデコーダ２６から出力される音声データは、一旦、音声情報格納バッファ２７に格納され、所定のタイミングで、図示せぬ音声再生装置に出力されていく。なお、音声再生装置は、例えば、ディスプレイ２などに設けられている。
【００３０】
ＤＥＭＵＸ２２から出力される字幕ストリームのデータは、字幕デコーダブロック４０に供給される。
【００３１】
図３は、図２の字幕デコーダブロック４０の詳細な構成例を示すブロック図である。
【００３２】
同図に示されるように、字幕ストリームを構成するＰＥＳ（Packetized Elementary Stream）パケットは、ヘッダ除去部４１に供給される。ヘッダ除去部４１は、ＰＥＳパケットのヘッダを除去し、ＥＳ（Elementary Stream）データを生成する。
【００３３】
ヘッダ除去部４１は、ＥＳデータを字幕管理データと字幕文データとに分離し、字幕管理データを字幕管理デコーダ４３に出力し、字幕文データを字幕文デコーダ４４に出力するようになされている。
【００３４】
字幕管理デコーダ４３は、ヘッダ除去部４１から供給された字幕管理データを、字幕管理データを構成する単位データであるデータユニットに分解する。字幕文デコーダ４４は、ヘッダ除去部４１から供給された字幕文データを、字幕文データを構成する単位データであるデータユニットに分解する。
【００３５】
データユニットデコーダ４５は、字幕管理デコーダ４３と字幕文デコーダ４４から供給されるデータユニットのそれぞれを復号するようになされている。例えば、ＡＲＩＢ（Association of Radio Industries and Businesses）の規格に適合するデータユニットは、８単位符号の符号化方式により符号化されている。データユニットデコーダ４５は、８単位符号化されたデータユニットを復号し、各種の制御情報等の字幕に関する情報を生成するようになされている。
【００３６】
データユニットデコーダ４５から出力される字幕に関する情報は、字幕情報格納バッファ４７に格納される。これにより、字幕情報格納バッファ４７には、字幕の各文字のビットマップ情報、各文字の表示位置の情報、各文字のサイズの情報、その他の属性情報が格納されることになる。
【００３７】
振り仮名判別部４６は、字幕情報格納バッファ４７に格納されている情報に基づいて、字幕に含まれる文字のそれぞれが振り仮名であるか否かを判別するようになされている。そして、振り仮名判別部４６は、字幕に含まれる文字のそれぞれが振り仮名かどうかを表す情報を、字幕情報格納バッファ４７に格納されている情報に追加するようになされている。
【００３８】
設定情報格納バッファ４８には、振り仮名に関にして予め設定された情報が格納されている。設定情報格納バッファ４８には、例えば、振り仮名を表示するか否かを表す情報が格納されている。なお、振り仮名を表示するか否かを表す情報は、例えば、予めユーザにより設定されているものとする。
【００３９】
表示制御部４９は、設定情報格納バッファ４８に格納されている情報に基づいて、字幕に含まれる文字のうち、振り仮名の文字を取捨選択して出力するようになされている。例えば、設定情報格納バッファ４８に格納されている情報が、振り仮名を表示することを表す情報である場合、表示制御部４９は、字幕情報格納バッファ４７に格納されている情報に基づいて、字幕に含まれる文字の全てを画面に表示させる表示データを生成して出力する。この表示データが、図２の合成部６１により、映像格納バッファ２４から出力される表示プレーンに合成されることで、ディスプレイ２の画面においてコンテンツの画像に振り仮名付きの字幕が表示されることになる。
【００４０】
また、例えば、設定情報格納バッファ４８に格納されている情報が、振り仮名を表示しないことを表す情報である場合、表示制御部４９は、字幕情報格納バッファ４７に格納されている情報に基づいて、字幕に含まれる振り仮名以外の文字を画面に表示させる表示データを生成して出力する。この表示データが、図２の合成部６１により、映像格納バッファ２４から出力される表示プレーンに合成されることで、ディスプレイ２の画面においてコンテンツの画像に振り仮名なしの字幕が表示されることになる。
【００４１】
メタ情報制御部５０は、字幕情報格納バッファ４７に格納されている情報をメタデータとして用いるための情報に変換し、メタ情報格納バッファ５１に格納するようになされている。例えば、メタ情報制御部５０は、字幕に含まれる文字の情報をテキスト情報に変換するとともに、各文字が振り仮名であるか否かを表す情報と対応付けてメタ情報格納バッファ５１に格納する。
【００４２】
例えば、字幕デコーダブロック４０に供給される１つのＰＥＳパケットにより表示される字幕が、図４に示されるものであったとする。図４の例では、「今日は寒い」という文字列と、「今日」に付される振り仮名、および「寒」に付される振り仮名が示されている。なお、図中において、各文字を囲む四角形の枠のそれぞれは、文字のサイズを分かり易くするためのものであり、実際の字幕は、「今日は寒い」という文字列、およびその振り仮名のみが表示されるものとなる。
【００４３】
図４の例は、横書きで表示される場合の字幕の例であって、「今日は寒い」という文字列が１行で表示されている。
【００４４】
図４に示される字幕に対応するＰＥＳパケットには、少なくとも図５に示されるような情報が含まれている。同図に示されるように、ＰＥＳパケットに含まれる字幕に関する情報は、字幕の各文字を特定する情報、各文字のサイズ、および各文字の表示位置により構成されている。
【００４５】
図５の例では、字幕の各文字を特定する情報（図中では「文字」と記載）として、「き」、「ょ」、「う」、「今」、「日」、・・・が記述されている。同図に示されるように、ＰＥＳパケットに含まれる字幕に関する情報は、振り仮名（いまの場合、「き」、「ょ」、「う」など）の文字に続いて、その振り仮名が付される漢字など（いまの場合、「今」、「日」など）の文字が記述されている。すなわち、振り仮名を付すべき漢字の「今」、および「日」の前に、その振り仮名「き」、「ょ」、「う」が記述されている。その後、振り仮名を付す必要のない平仮名「は」が記述されている。そして、振り仮名を付すべき漢字の「寒」の前に、その振り仮名「さ」、「む」が記述され、その後、振り仮名を付す必要のない平仮名「い」が記述されている。
【００４６】
なお、入力された１つのＰＥＳパケットが、ヘッダ除去部４１乃至データユニットデコーダ４５の処理を経ることで、字幕情報格納バッファ４７に、図５に示されるような情報が格納されることになる。
【００４７】
図５の例では、各文字のサイズの情報（図中では「サイズ」と記載）として、「１８×１８」、「９×１８」、「３６×３６」と記述されている。例えば、字幕の文字「今」、「日」、「は」、・・・のサイズは「３６×３６」とされており、振り仮名の文字「き」のサイズは「１８×１８」であり、振り仮名の文字「ょ」のサイズは「９×１８」とされている。ここで、文字のサイズは、乗算記号の左辺が文字の幅（画面水平方向の表示範囲）を表し、右辺が文字の高さ（画面垂直方向の表示範囲）を表すものとする。例えば、サイズが「９×１８」の文字は、画面水平方向に９画素、画面垂直方向に１８画素の矩形として構成される表示範囲内に表示される。なお、ここでは、サイズの単位を１画素として説明したが、例えば、所定の複数の画素がサイズの単位とされるようにしてもよい。
【００４８】
図５の例の場合、字幕の文字のサイズは、幅、高さともに「３６」とされている。一方、振り仮名の文字のサイズは、高さは全て「１８」とされているが、幅は「９」のものと「１８」のものがある。例えば、図４に示されるように、振り仮名の文字「ょ」は、いわゆる捩れた音の拗音を表す文字であるから、直音を表す文字より小さく表記する必要があるため、それぞれの振り仮名の文字の幅が異なっているのである。また、図４の例には示されていないが、いわゆるつまった音の促音を表す文字（例えば、「っ」の文字）も同様に幅が小さいサイズの文字とされる。
【００４９】
このように、振り仮名の文字のサイズには、通常、直音を表す文字のサイズと、拗音、促音などを表す文字のサイズとが含まれる。しかし、拗音、促音などを表す文字のサイズは、直音を表す文字より幅が小さいものとされるものの、直音を表す文字と高さが異なるものではない。
【００５０】
従って、字幕に含まれる文字のうち、振り仮名の文字の高さを特定して、字幕に含まれる文字の中で特定された高さの文字サイズの文字を検出することにより、振り仮名の文字を特定することが可能となる。
【００５１】
ここでは、字幕が横書きの場合の例について説明したが、字幕が縦書きの場合、振り仮名の文字の幅を特定して、字幕に含まれる文字の中で特定された幅の文字サイズの文字を検出することにより、振り仮名の文字を特定することが可能となる。
【００５２】
図３の振り仮名判別部４６は、例えば、図５に示されるような情報に基づいて、振り仮名の文字の高さまたは幅を特定するのである。そして、振り仮名判別部４６は、図５に示されるような情報に基づいて、字幕に含まれる文字の中で特定された高さまたは幅の文字サイズの文字を検出することにより、振り仮名の文字を特定するのである。
【００５３】
また、図５の例では、各文字の表示位置の情報（図中では「位置」と記載）として、「（１００，１００）」、「（１１８，１００）」、「（１２７，１００）」、「（１００，１３６）」、・・・と記述されている。ここで、文字の表示位置の情報は、座標位置として表されるものとし、ｘ座標が画面水平方向の表示位置を表し、ｙ座標が画面垂直方向の表示位置を表すものとする。なお、表示位置の座標は、文字のサイズに対応する矩形の枠の左下端の点の位置を表すものとする。
【００５４】
図４の例において、字幕に含まれる文字は横書きの文字とされているので、図５に示される「今」、「日」などの文字の表示位置のｙ座標の値は「１３６」であり一定とされている。すなわち、画面の水平方向の仮想的直線（ｙ＝１３６）に沿って「今日は寒い」という字幕の文字が表示されることが分かる。
【００５５】
また、図４の例において、字幕に含まれる文字は横書きの文字とされているので、振り仮名の文字である「き」、「ょ」、「う」などは、「今」、「日」などの文字の上に表示すべきものとされる。このため、図５に示される振り仮名の文字の表示位置のｙ座標の値は「１００」であり一定とされている。すなわち、画面の水平方向の仮想的直線（ｙ＝１３６）に沿って「今日は寒い」という字幕の文字が表示されるとともに、それらの文字列と平行な画面垂直方向上側の仮想的直線（ｙ＝１００）に沿って「きょう」、「さむ」という振り仮名の文字列が表示されることが分かる。
【００５６】
次に、図６のフローチャートを参照して、図３の振り仮名判別部４６による振り仮名特定処理について説明する。
【００５７】
ステップＳ２１において、振り仮名判別部４６は、字幕情報格納バッファ４７に格納されている字幕に関する情報を読み出して取得する。このとき、１つのＰＥＳパケットがヘッダ除去部４１乃至データユニットデコーダ４５の処理を経ることで得られた、例えば、図５を参照して説明した情報が取得されることになる。
【００５８】
ステップＳ２２において、振り仮名判別部４６は、ステップＳ２１の処理で取得された字幕に関する情報を、振り仮名特定処理の処理対象とするか否かを判定する。例えば、字幕に振り仮名の文字が含まれていない場合、そもそも振り仮名を特定する必要がないので、振り仮名の文字が含まれていない字幕に関する情報は、ステップＳ２１において、処理対象としないものと判定される。
【００５９】
具体的には、振り仮名判別部４６が、ステップＳ２１の処理で取得された字幕に関する情報の文字のサイズの情報をチェックし、字幕が横書きである場合、文字の高さが２種類以上存在するか否かを判定する。例えば、ステップＳ２１の処理で図５に示されるような情報が取得された場合、文字の高さは、「１８」または「３６」の２通りであるから、ステップＳ２２の処理では、当該情報を振り仮名特定処理の処理対象とすると判定することになる。
【００６０】
ここでは、字幕が横書きの場合の例について説明したが、字幕が縦書きの場合、ステップＳ２２では、振り仮名の文字の幅が２種類以上存在するか否かが判定されるようにすればよい。
【００６１】
なお、字幕が横書きであるか縦書きであるかの特定は、例えば、図５に示されていない情報であって、ＰＥＳパケットに含まれる字幕のフォーマットを表す情報などに基づいて特定される。
【００６２】
あるいはまた、図５に示される各文字の表示位置の情報に基づいて、字幕が横書きであるか縦書きであるかの特定がなされるようにしてもよい。例えば、図５の場合、複数の文字の表示位置のｙ座標の値が一致している。このため、画面の水平方向の仮想的直線（ｙ＝１３６）に沿って「今日は寒い」という字幕の文字が表示されることが分かる。同様に、画面の水平方向の仮想的直線（ｙ＝１００）に沿って「きょう」、「さむ」という振り仮名の文字が表示されることが分かる。
【００６３】
このように、画面の水平方向の仮想的直線に沿って文字が表示される場合、その字幕は横書きであると特定することが可能である。一方、画面の垂直方向の仮想的直線に沿って文字が表示される場合、その字幕は縦書きであると特定することが可能である。
【００６４】
さらに、上述した方式以外の方式により、字幕が横書きであるか縦書きであるかの特定がなされるようにしても構わない。
【００６５】
ステップＳ２３において、振り仮名判別部４６は、図７のフローチャートを参照して後述する振り仮名候補抽出処理を実行する。これにより、ステップＳ２１で取得された情報に対応する字幕に含まれる文字の中から振り仮名の文字と推定される文字が１つ、振り仮名候補として抽出される。
【００６６】
ステップＳ２４において、振り仮名判別部４６は、字幕のフォーマットを判定する。ここでは、ステップＳ２１で取得された情報に対応する字幕が縦書きであるか、横書きであるかが判定される。
【００６７】
ステップＳ２４において、字幕が横書きであると判定された場合、処理は、ステップＳ２５に進む。一方、ステップＳ２４において、字幕が縦書きであると判定された場合、処理は、ステップＳ２６に進む。
【００６８】
ステップＳ２５において、振り仮名判別部４６は、ステップＳ２１で取得された情報に対応する字幕の文字の中で、ステップＳ２３の処理で抽出された振り仮名候補の文字と同じ高さの文字を抽出し、振り仮名の文字と特定する。これにより、横書きの字幕の中で振り仮名の文字が特定されることになる。
【００６９】
ステップＳ２６において、振り仮名判別部４６は、ステップＳ２１で取得された情報に対応する字幕の文字の中で、ステップＳ２３の処理で抽出された振り仮名候補の文字と同じ幅の文字を抽出し、振り仮名の文字と特定する。これにより、縦書きの字幕の中で振り仮名の文字が特定されることになる。
【００７０】
なお、ステップＳ２２において、ステップＳ２１の処理で取得された字幕に関する情報を、振り仮名特定処理の処理対象としないと判定された場合、ステップＳ２３乃至ステップＳ２６の処理は、スキップされる。
【００７１】
次に、図７のフローチャートを参照して、図６のステップＳ２３の振り仮名候補抽出処理の詳細な例について説明する。
【００７２】
ステップＳ４１において、振り仮名判別部４６は、字幕のフォーマットを判定する。ここでは、ステップＳ２１で取得された情報に対応する字幕が縦書きであるか、横書きであるかが判定される。
【００７３】
ステップＳ４１において、字幕が横書きであると判定された場合、処理は、ステップＳ４２に進む。
【００７４】
ステップＳ４２において、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の文字のサイズの情報をチェックする。そして、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の最初の文字の高さを取得する。
【００７５】
ステップＳ４３において、振り仮名判別部４６は、その最初の文字を振り仮名候補の文字とする。
【００７６】
ステップＳ４４において、振り仮名判別部４６は、次の文字があるか否かを判定し、次の文字があると判定された場合、処理は、ステップＳ４５に進む。
【００７７】
ステップＳ４５において、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の文字のサイズの情報をチェックし、次の文字の高さを取得する。
【００７８】
ステップＳ４６において、振り仮名判別部４６は、ステップＳ４５の処理で取得された文字の高さと、振り仮名候補の文字の高さとを比較する。いまの場合、ステップＳ４５の処理で取得された文字の高さと、ステップＳ４２の処理で取得された文字の高さとが比較される。そして、ステップＳ４５の処理で取得された文字の高さの値が振り仮名候補の文字の高さの値より小さいか否かが判定される。
【００７９】
ステップＳ４６において、ステップＳ４５の処理で取得された文字の高さの値が振り仮名候補の文字の高さの値より小さいと判定された場合、処理は、ステップＳ４３に戻り、振り仮名候補の文字が更新される。いまの場合、最初の文字に替わって次の文字が振り仮名候補の文字とされることになる。
【００８０】
また、ステップＳ４６において、ステップＳ４５の処理で取得された文字の高さの値が振り仮名候補の文字の高さの値より小さくないと判定された場合、処理は、ステップＳ４４に戻り、さらに次の文字があるか否かが判定される。
【００８１】
このように、ステップＳ４４で次の文字がないと判定されるまで、ステップＳ４３乃至ステップＳ４６の処理が繰り返し実行される。
【００８２】
一方、ステップＳ４１において、字幕が縦書きであると判定された場合、処理は、ステップＳ４７に進む。
【００８３】
ステップＳ４７において、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の文字のサイズの情報をチェックする。そして、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の最初の文字の幅を取得する。
【００８４】
ステップＳ４８において、振り仮名判別部４６は、その最初の文字を振り仮名候補の文字とする。
【００８５】
ステップＳ４９において、振り仮名判別部４６は、次の文字があるか否かを判定し、次の文字があると判定された場合、処理は、ステップＳ５０に進む。
【００８６】
ステップＳ５０において、振り仮名判別部４６は、ステップＳ２１で取得された情報の中の文字のサイズの情報をチェックし、次の文字の幅を取得する。
【００８７】
ステップＳ５１において、振り仮名判別部４６は、ステップＳ５０の処理で取得された文字の幅と、振り仮名候補の文字の幅とを比較する。いまの場合、ステップＳ５０の処理で取得された文字の幅と、ステップＳ４７の処理で取得された文字の幅とが比較される。そして、ステップＳ５０の処理で取得された文字の幅の値が振り仮名候補の文字の幅の値より小さいか否かが判定される。
【００８８】
ステップＳ５１において、ステップＳ５０の処理で取得された文字の幅の値が振り仮名候補の文字の幅の値より小さいと判定された場合、処理は、ステップＳ４８に戻り、振り仮名候補の文字が更新される。いまの場合、最初の文字に替わって次の文字が振り仮名候補の文字とされることになる。
【００８９】
また、ステップＳ５１において、ステップＳ５０の処理で取得された文字の幅の値が振り仮名候補の文字の幅の値より小さくないと判定された場合、処理は、ステップＳ４９に戻り、さらに次の文字があるか否かが判定される。
【００９０】
このように、ステップＳ４９で次の文字がないと判定されるまで、ステップＳ４８乃至ステップＳ５１の処理が繰り返し実行される。
【００９１】
ステップＳ４４の処理、またはステップＳ４９の処理で、文字がないと判定された場合、振り仮名候補抽出処理は終了する。これにより、振り仮名候補の文字が１つ抽出されたことになり、図６のステップＳ２４に処理が進むことになる。
【００９２】
このようにして、振り仮名特定処理が実行される。
【００９３】
図８と図９を参照して、振り仮名特定処理についてさらに詳細に説明する。
【００９４】
図８は、字幕デコーダブロック４０に供給される１つのＰＥＳパケットにより表示される字幕の例を示す図である。なお、ここでは、横書きの字幕を例として説明することにする。
【００９５】
図８の例では、「今日は寒い  いや暑い」という文字列と、「今日」に付される振り仮名、「寒」に付される振り仮名、および「暑」に付される振り仮名が示されている。なお、図中において、各文字を囲む四角形の枠のそれぞれは、文字のサイズを分かり易くするためのものであり、実際の字幕は、「今日は寒い  いや暑い」という文字列、およびその振り仮名のみが表示されるものとなる。
【００９６】
また、この例では、「今日は寒い」という文字列が１行で表示され、「いや暑い」という文字列が別の１行で表示されている。すなわち、図８に示される字幕は、２行で表示されるものである。
【００９７】
図８には、参考として「今」の文字の表示位置の座標と、その振り仮名「き」の文字の表示位置の座標が表示されている。この例では、「今」の表示位置の座標が（１００，１３６）とされ、「き」の表示位置の座標が（１００，１００）とされている。また、同様に、参考として「暑」と同じ行の「い」の文字の座標と、「暑」の振り仮名「あ」の文字の表示位置の座標が表示されている。この例では、「い」の表示位置の座標が（１７２，１９０）とされ、「あ」の表示位置の座標が（２４４，１５４）とされている。これらの座標は参考であり、実際の字幕においては表示されない。
【００９８】
図８に示される字幕に対応するＰＥＳパケットには、図９に示されるような情報が含まれているものとする。同図に示されるように、ＰＥＳパケットに含まれる字幕に関する情報は、図５を参照して上述した場合と同様に、字幕の各文字を特定する情報、各文字のサイズ、および各文字の表示位置により構成されている。図９の例では、「今日は寒い  いや暑い」という文字列の文字のサイズは、全て「３６×３６」とされ、振り仮名の文字のサイズは、「１８×１８」または「１８×９」とされている。
【００９９】
いま、図６のステップＳ２１において、図９に示されるような情報が取得されたものとする。
【０１００】
図８の字幕は横書きだから、ステップＳ２２では、文字の高さが２種類以上存在するか否かが判定され、振り仮名特定処理の処理対象とされる。なお、図８に示される字幕は、画面の水平方向の仮想的直線（ｙ＝１００、ｙ＝１３６、ｙ＝１５４、ｙ＝１９０）に沿って文字が表示されるものなので、この字幕は横書きであると特定することが可能である。
【０１０１】
また、図７のステップＳ４１においても、字幕が横書きであると判定され、ステップＳ４２において、図９に示される情報の最初の文字の高さが取得される。いまの場合、最初
の文字は「き」であり、その高さは１８である。
【０１０２】
ステップＳ４３では、その最初の文字「き」が振り仮名候補の文字とされる。
【０１０３】
ステップＳ４４では、次の文字があるか否かが判定され、「ょ」の文字があるから次の文字があると判定され、処理は、ステップＳ４５に進む。
【０１０４】
ステップＳ４５では、「ょ」の文字の高さ「１８」が取得される。
【０１０５】
ステップＳ４６では、文字「ょ」の高さと、振り仮名候補の文字「き」の高さとが比較される。いまの場合、文字の高さが同じなので、ステップＳ４５の処理で取得された文字の高さの値が振り仮名候補の文字の高さの値より小さくないと判定される。
【０１０６】
その後、処理は、ステップＳ４４に戻り、それぞれ「う」、「今」、「日」、・・・「暑」、「い」の文字の高さがチェックされていく。しかし、それぞれの文字の高さは「１８」または「３６」なので、ステップＳ４６では、都度、ステップＳ４５の処理で取得された文字の高さの値が振り仮名候補の文字の高さの値より小さくないと判定される。
【０１０７】
この例では、ステップＳ４６で振り仮名候補の文字の高さの値より小さいと判定されないので、ステップＳ４３で振り仮名候補の文字が更新されないが、実際には、振り仮名候補の文字が更新されることもある。
【０１０８】
すなわち、図９の例では、最初の文字が振り仮名の文字なので、振り仮名候補を更新する必要はないが、最初の文字が振り仮名の文字でない場合、ステップＳ４６の判定結果に基づいて振り仮名候補の文字を更新する必要がある。
【０１０９】
図７の処理が終了した時点で、振り仮名候補の文字は「き」であり、振り仮名候補の文字の高さは「１８」である。
【０１１０】
そして、図７の処理が終了した後、図６のステップＳ２４において、字幕が横書きであると判定され、ステップＳ２５の処理に進むことになる。ステップＳ２５では、図９の文字の中で、振り仮名候補の文字と同じ高さの文字が抽出されて、振り仮名の文字と特定される。いまの場合、上述したように、振り仮名候補の文字の高さは「１８」なので、高さが「１８」である文字「き」、「ょ」、「う」、「あ」、「つ」が抽出されることになる。すなわち、図９に示される文字のうち、ハッチングで示される文字のそれぞれが振り仮名の文字として特定されることになるのである。なお、図中ではハッチングで表されている字幕に含まれる文字のそれぞれが振り仮名かどうかを表す情報は、例えば、フラグとして追加されるようにしてもよい。
【０１１１】
このように振り仮名の文字が特定され、字幕に含まれる文字のそれぞれが振り仮名かどうかを表す情報が、字幕情報格納バッファ４７に格納されている情報に追加されることになる。すなわち、図６と図７のフローチャートを参照して上述した処理を経た後、字幕情報格納バッファ４７に格納されている情報においては、例えば、図９に示されるように、「き」、「ょ」、「う」、「あ」、「つ」の文字がそれぞれ振り仮名の文字であると特定できるようになされている。
【０１１２】
これにより、上述したように、設定情報格納バッファ４８に格納されている情報に基づいて、字幕に含まれる文字のうち、振り仮名の文字を取捨選択して出力することが可能になるのである。また、字幕に含まれる文字の情報をテキスト情報に変換するとともに、各文字が振り仮名であるか否かを表す情報と対応付けてメタ情報格納バッファ５１に格納することも可能となる。
【０１１３】
従来、例えば、カラオケ装置において、平仮名、片仮名、英語などで歌詞を表示することは行われていた。さらに、ビデオ信号から字幕部分を取り除き、ビデオ圧縮符号化を行う際に不利となる高域周波数成分を減少させることで、符号化効率を上げ、より高画質な画像データの記録が可能となるようにすることも行なわれている。
【０１１４】
しかしながら、十分な読解力がある人にとって、振り仮名が付されていると、かえってわずらわしいと感じられることがあるが、一般的に、字幕にはかなりの頻度で振り仮名が付されている。
【０１１５】
また、字幕の文字を、例えば、コンテンツのメタデータとして用いる場合などは、振り仮名の文字が特定できないと、適切にメタデータを生成できないという問題があった。
【０１１６】
従来の技術では、字幕の中の振り仮名の文字だけを表示しないようにすることができなかったし、字幕の中の振り仮名の文字を特定することもできなかった。
【０１１７】
これに対して本発明では、振り仮名の文字を特定することが可能であるため、字幕の中の振り仮名の文字だけを表示しないようにすることができ、また、適切にメタデータを生成することもできる。
【０１１８】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１１９】
図１０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２０】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１２１】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１２２】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１２３】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１２４】
なお、この記録媒体は、図１０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD（Mini-Disc）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１２５】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２７】
１  コンテンツ処理装置，  ２  ディスプレイ，  ２２  ＤＥＭＵＸ，  ２３  ビデオデコーダ，  ２４  映像格納バッファ，  ２６  オーディオデコーダ，  ２７  音声情報格納バッファ，  ４０  字幕デコーダブロック，  ４１  ヘッダ除去部，  ４２  データグループデコーダ，  ４３  字幕管理デコーダ，  ４４  字幕文デコーダ  ４５  データユニットデコーダ，  ４６  振り仮名判別部，  ４７  字幕情報格納バッファ，  ４８  設定情報格納バッファ，  ４９  表示制御部，  ５０  メタ情報制御部，  ５１  メタ情報格納バッファ，  ６１  合成部
【図１】
2010199711.tif 000003
【図２】
2010199711.tif 000004
【図３】
2010199711.tif 000005
【図４】
2010199711.tif 000006
【図５】
2010199711.tif 000007
【図６】
2010199711.tif 000008
【図７】
2010199711.tif 000009
【図８】
2010199711.tif 000010
【図９】
2010199711.tif 000011
【図１０】
2010199711.tif 000012