【手続補正書】
【提出日】平成23年4月4日(2011.4.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図２に、このような表示を実現させる情報提示装置１００の、内部構成例を示してある。図２に示した情報提示装置１００は、映像・字幕入力部１０、符号化・復号処理部２０、蓄積部３０、表示映像生成部４０、表示部５０、視線位置検出部７０、制御部６０とで構成される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
そして、データメモリ４１に蓄積されたデータを用いて、まず通常画像生成部４２で通常画像Ｉｍ１が生成され（ステップＳ２）、字幕画像生成部４３によって字幕画像Ｃが生成され（ステップＳ３）、重要情報画像生成部４４で重要情報画像Ｉｍ２が生成される（ステップＳ３）。通常画像Ｉｍ１と字幕画像Ｃと重要情報画像Ｉｍ２は、画像合成部４５によって合成され（ステップＳ５）、合成して生成された表示画像が、表示部５０に出力される（ステップＳ６）。最後に、映像信号の入力が終了したか否かの判断が行われ、終了した場合には処理は終了となる。映像信号の入力が継続している場合には、ステップＳ１に戻って処理が続けられる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
次に、図５〜図７を参照して、字幕画像生成部４３の詳細について説明する。図５は、字幕画像生成部４３内に設けられた字幕情報テーブル４３ａの構成例を示す図である。字幕情報テーブル４３ａは、例えば１つの番組中に含まれるすべての字幕情報を、字幕のひとまとまり毎に区切り、区切られた字幕のまとまり毎に、画面への表示開始時刻Ｔｓと、表示終了時刻Ｔｅと、字幕の内容と示したものである。表示開始時刻Ｔｓと表示終了時刻Ｔｅとは、番組等のコンテンツが開始されてからの経過秒数で示してある。字幕Ｎｏとは、各字幕のまとまりに対して、表示開始時間の早いものから順に割り振った番号である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
また字幕画像生成部４３では、出力用画像メモリ４３ｂ内に配置された各字幕の文字に対して、映像において発話されている内容と対応する位置を算出して、現在位置Ｗｔとして画像合成部４５に出力する処理も行う。ここで出力する現在位置Ｗｔは、例えば出力用画像メモリ４３ｂ内の座標等で表現される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図７に、字幕画像生成部４３による字幕画像生成処理の例をフローチャートで示してある。字幕画像生成部４３は、まず出力用画像メモリ４３ｂを、透明色を適用することによって初期化する（ステップＳ１１）。初期化した後は、字幕情報テーブル４３ａから、現在時刻Ｔと対応する字幕の情報を取得する（ステップＳ１２）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
ここでいう現在時刻Ｔとは、映像信号の再生開始時点からの経過時間を指し、「４．０秒」等の秒数で表現される。「現在時刻Ｔと対応する字幕の情報」とは、字幕情報テーブル４３ａ内の字幕Ｎｏ０からｎ（ｎは自然数）までの各字幕情報において、表示開始時刻Ｔｓから表示終了時刻Ｔｅまでの間に、「現在時刻Ｔ」が含まれる字幕情報を指す。現在時刻Ｔとしての秒数が、例えば８．０秒であった場合には、８．０秒は、字幕情報テーブル４３ａ内では７．３秒から１２．１秒の範囲内に含まれる。従って、ステップＳ１２では、表示開始時刻Ｔｓが７．３秒、表示終了時刻Ｔｅが１２．１秒である字幕Ｎｏ１の字幕情報が読み込まれる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
現在時刻Ｔとしての秒数が、例えば１９．０秒であった場合には、１９秒は、字幕Ｎｏ２の字幕情報における表示終了時刻Ｔｅと、字幕Ｎｏ３の字幕情報における表示開始時刻Ｔｓとの間の秒数となる。このため、図７のステップＳ１３での、取得する情報の有無を判断する分岐においては、「取得する情報なし」としてＹｅｓが選択される。つまり、字幕情報が含まれない映像区間においては、字幕画像生成部４３での処理は行われないことになる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
図９のフローチャートは、表示部５０の画像表示領域Ａｒ１に表示される通常画像Ｉｍ１を、重要情報とみなした場合における、定義済み処理の例を示したものである。通常画像Ｉｍ１を重要情報とした場合は、重要情報画像生成部４４はまずデータメモリ４１（図３参照）より、現在時刻Ｔと対応するタイムコードを有する現在画像を取得し（Ｓ３１）、取得した現在画像を出力する（ステップＳ３２）。つまり、通常画像Ｉｍ１と同じ画像が、重要情報画像Ｉｍ２となる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
図１４に、次のトピックまでの秒数と、次のトピックの内容を示す画像の例を示してある。図１４には、次のトピックまでの秒数を示すプログレスバーＰｂ１と、トピック（この場合は野球）を示すアイコンＩｃ２とが、重要情報画像Ｉｍ２として表示されている例を示してある。このように構成した重要情報画像Ｉｍ２を、字幕画像Ｃの字幕表示領域Ａｒ２近辺に表示させることで、視聴者Ｕは字幕を読みつつ、次に話題に上がるトピックの種類と、そのトピックについての発話が開始するまでの秒数とを、同時に把握することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
そして、字幕画像生成部４３から出力された字幕画像Ｃを、出力用画像メモリ４５ａに重畳し（ステップＳ６９）、このようにして生成した表示画像を表示部５０に出力する（ステップＳ７０）。ここで、画像合成部４５への映像信号の入力が終了したか否かの判断が行われ（ステップＳ７１）、映像信号の入力が続けられている場合には、ステップＳ６１に戻って処理が続けられる。映像信号の入力が終了した場合には、処理も終了となる。なお、本例では、字幕画像生成部４３から、現在位置の座標が送信されていない場合には、予め設定しておいた所定の座標上に、重要情報画像Ｉｍ２を配置するようにしたが、他の処理を行うようにしてもよい。例えば、重要情報画像Ｉｍ２の表示を行わない処理や、前回の字幕終了位置と同じ位置に表示する処理などを行ってもよい。または、これらの処理を、モードの切り替えによって選択的に設定できるようにしてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
図１７に、この場合の表示映像生成部４０Ａの構成例を示してある。図１７において、図３と対応する箇所には同一の符号を付してあり、説明は省略する。図１７に示した表示映像生成部４０Ａは、重要情報画像生成部４４の代わりに、ＰｉｎＰ領域表示画像検出部４６を設けたものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
ＰｉｎＰ領域表示画像検出部４６は、図１８に示したように、画像表示領域Ａｒ１上にＰｉｎＰ領域Ａｒ３が重畳されている場合に、ＰｉｎＰ領域Ａｒ３内に表示されている画像（ＰｉｎＰ領域表示画像）Ｉｍ３を抽出する処理を行う。ＰｉｎＰ領域表示画像検出部４６は、重要情報画像生成部４４と同様に、抽出した画像を縮小して小画像を生成し、その画像を重要情報画像Ｉｍ２として画像合成部４５に出力する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
図２２に示した情報提示装置１００Ｂは、表示部５０−１及び表示部５０−２の２台の表示部を有するとともに、表示部５０−１に表示画像を出力する表示映像生成部４０−１と、表示部５０−２に表示画像を出力する表示映像生成部４０−２とを備える。図２２における表示映像生成部４０−１，４０−２は、図３に示した表示映像生成部４０と同一の構成としてあり、図４に示した処理と同様の処理を行う。情報提示装置１００Ｂでは、表示部５０−１、５０−２の画像表示領域Ａｒ１に表示された通常画像Ｉｍ１を、重要情報とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
また、図２４に示したように、隣に配置された表示部５０−１または５０−２で表示中の画像を、重要情報画像Ｉｍ２として提示するようにしてもよい。図２４においては、男性の画像を表示中の表示部５０−１には、隣の表示部５０−２に表示中の女性の画像を重要情報画像Ｉｍ２として重畳してあり、女性の画像を表示中の表示部５０−２には、隣の表示部５０−１に表示中の男性の画像を重要情報画像Ｉｍ２として重畳してある。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
図２６に、テロップ解析部４８による処理の例を示してある。テロップ解析部４８は、まず、通常画像生成部４２から出力された通常画像Ｉｍ１内に、テロップが含まれているか否かの判断を行い（ステップ８１）、テロップが含まれていた場合には、テロップの画面上での座標（テロップ位置）を取得する（ステップＳ８２）。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
次に、テロップ長を取得し（ステップＳ８３）、取得したテロップ位置、テロップ長と、テロップが画面上に出現する時刻の情報から、字幕における現在位置を算出する（ステップＳ８４）。そして、算出した現在位置の上方の位置を、重要情報画像Ｉｍ２の提示位置として画像合成生成部４５に出力する（ステップＳ８５）。ステップＳ８１で、テロップの存在を確認できなかった場合には、テロップ解析部４８による処理は終了となる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
字幕として、映像信号中に含まれるテロップを流用する場合には、テロップの背面に、重要情報画像Ｉｍ２上に字幕の文字を重ねる等の処理を行うことはできない。このため、重要情報画像Ｉｍ２によって、テロップとして表示される字幕が隠れてしまわないように、重要情報画像Ｉｍ２の配置位置を、テロップの上方の位置とする処理を行っている。なお、重要情報画像Ｉｍ２の配置位置は、テロップの上方に限定されるものではなく、テロップの下方等の周辺位置に配置するようにしてもよい。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
図２７に、図２５に示した表示映像生成部４０Ｃ内の、画像合成部４５による処理の例を示してある。画像合成部４５は、まず、出力用画像メモリ４５ａ（図３参照）を初期化すると（ステップＳ９１）、通常画像生成部４２（図３参照）から出力された通常画像Ｉｍ１を、出力用画像メモリ４５ａに配置する（ステップＳ９２）。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
続いて、視線位置検出部７０（図２参照）から注視位置Ｐが入力されたか否かの判断を行い（ステップＳ９３）、視線位置検出部７０からの入力を検知した場合には、入力された注視位置Ｐに、重要情報画像Ｉｍ２を配置する（ステップＳ９４）。視線位置検出部７０からの入力を確認できなかった場合には、次に、テロップ解析部４８から重要情報画像Ｉｍ２の配置位置が送信されたか否かの判断を行う（ステップＳ８９）。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
テロップ解析部４８から、重要情報画像Ｉｍ２の配置位置が送信された場合は、画像合成部４５は、重要情報画像Ｉｍ２を、配置位置として示された座標上に配置する（ステップＳ９６）。テロップ解析部４８から、配置位置が送信されていない場合には、予め設定しておいた所定の座標上に、重要情報画像Ｉｍ２を配置する（ステップＳ９７）。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
そして、このようにして生成した表示画像を表示部５０に出力する（ステップＳ９８）。ここで、画像合成部４５への映像信号の入力が終了したか否かの判断が行われ（ステップＳ９９）、映像信号の入力が続けられている場合には、ステップＳ９１に戻って処理が続けられる。映像信号の入力が終了した場合には、処理は終了となる。
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図２６
【補正方法】変更
【補正の内容】
【図２６】
2009253689.tif 000001
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図２７
【補正方法】変更
【補正の内容】
【図２７】
2009253689.tif 000002