(57)【要約】【課題】ユーザが、ユーザの好みに応じた速度で映像および字幕を認識することによって番組内容をよりよく理解できるようにする。【解決手段】中央演算処理部１０４は、ユーザによる入力操作によって選択された字幕と同時刻の映像の映像情報を記録部１０１から読み出す動作か、または一時記憶部１０５に保存された，上記同時刻の映像の映像信号を読み出す動作を行う。記録部１０１から映像情報が読み出された場合、読み出された映像情報は、デコーダ部１０３において映像信号に伸長され、一時記憶部１０５に一旦保存される。そして、中央演算処理部１０４によっていずれの動作が行われた場合も、一時記憶部１０５に保存された上記同時刻の映像の映像信号が読み出され、画像合成部１０６が、選択された字幕を含む複数の字幕と上記同時刻の映像とを合成した合成画像の映像信号を生成する。そして、合成画像が、表示デバイス部１０７に表示される。【選択図】図１
2008160452.tif 000002
【特許請求の範囲】
【請求項１】
記録部に記録されたコンテンツを表示デバイス部に再生する再生装置であって、
上記コンテンツに含まれた字幕情報と映像情報に基づいて、複数の字幕と、ユーザによる入力によって上記複数の字幕から選択されている字幕と同時刻の静止映像とを上記表示デバイス部に表示させる処理部を備えていることを特徴とする再生装置。
【請求項２】
請求項１の再生装置において、
上記処理部は、
一時記憶部を備え、
過去のユーザによる入力に基づいて、ユーザによって次に選択される字幕を予測し、予測した字幕と同時刻の映像の映像情報を上記記録部から読み出し、映像信号にデコードして上記一時記憶部に保存し、次に選択された字幕が上記予測した字幕と一致した場合、上記一時記憶部から上記映像信号を読み出すことによって、当該時刻の静止映像を上記選択された字幕を含む複数の字幕とともに上記表示デバイス部に表示させるように構成されていることを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、記録されたコンテンツを再生する機能を有する再生装置に関するものである。
【背景技術】
【０００２】
近年、高密度実装技術の発展や、半導体技術の発展、バッテリーの高容量化によって、持ち歩くことができるサイズのコンテンツ再生機器が普及してきた。音楽再生機器の主流は、従来のテープや光ディスクから、ハードディスクドライブやフラッシュメモリ等のデジタルオーディオ機器に移行しつつある。また、携帯電話に代表されるように、高精細な画質で画像を表示可能な液晶画面を搭載した機器も登場している。これらにより、テレビや映画などを携帯機器に保存しておき、いつでもどこでも見たい時に視聴することが可能になっている。
【０００３】
しかし、街中や電車の中等、気軽に音を出せない環境において番組等の映像が視聴される場合、ユーザが番組の内容を理解できるよう、音声の代替手段となる情報を含む映像が表示されることがしばしば必要とされる。例えば、映画やテレビ等のコンテンツが携帯機器によって再生される場合、映像だけでは登場人物の会話の内容等を認識できないためである。そこで、その音声が出力される代わりに字幕が映像とともに表示されるよう、字幕放送等が行われている。テレビ番組では、聴覚障害者用に出演者の台詞を示す字幕情報が、映画では、外国語の台詞を訳した日本語の台詞を示す字幕情報が、映像情報および音声情報に付けられることが多い。
【０００４】
また、携帯機器での視聴は、暇つぶしが主な視聴理由であるため、例えば１時間等のコンテンツを短縮して視聴することによって、じっくり視聴することなく、内容やストーリーをユーザが理解できるようにすることが求められており、そのための方法が数多く提案されている。例えば、番組の盛り上がる部分のみを自動的に抽出して、抽出された部分だけを視聴できるようにする手法が提案されている。
【０００５】
なお、特許文献１には、音声リピート信号がオン状態に切り替えられた場合に、その瞬間の静止画を出力するとともに、その瞬間から所定期間過去に遡った音声を繰り返して出力する映像処理装置について記載されている。この映像処理装置は、音声リピート信号がオン状態の間、音声を繰り返して出力するとともに、スクロール信号の入力に応じて、字幕を切り替えて、静止画に合成して出力するようになっている。
【特許文献１】特開平８−１５４２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、字幕の表示時間は、映像の登場人物の会話の速度や、解説者の言葉の速度に応じたものであり、ユーザによる字幕の認識時間と異なる場合が多い。例えば、文字を早く読めるユーザは会話よりも先にその先の文字まで読めてしまうため字幕の更新を遅く感じるが、文字を読むのが遅いユーザは字幕を読むのに精一杯で同時に表示される映像を見る余裕がないといったことが起きる。そこで、文字を表示する速度をユーザの好みに応じて変更できるようにすることが考えられる。しかし、文字を表示する速度を変更したとしても、映像を映像情報に付された時刻情報どおりに再生させると、映像と文字の表示に差ができてしまう。
【０００７】
また、番組の盛り上がる部分だけを視聴できるようにする手法では、視聴者は、スポーツ番組等の内容は理解できても、ドラマ等のストーリーは理解できないことが多い。
【０００８】
本発明は、上記の点に鑑み、ユーザが、ユーザの好みに応じた速度で映像および字幕を認識することによって番組内容をよりよく理解できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１の発明は、
記録されたコンテンツを表示デバイス部に再生する再生装置であって、
上記コンテンツに含まれた字幕情報と映像情報に基づいて、複数の字幕と、ユーザによる入力によって上記複数の字幕から選択されている字幕と同時刻の静止映像とを上記表示デバイス部に表示させる処理部を備えていることを特徴とする。
【００１０】
これにより、ユーザによる入力によって選択された字幕と同時刻の映像が、選択されている字幕を含む複数の字幕とともに表示デバイス部に表示される。また、静止映像が表示されるので、機器への負荷が抑えられる。
【００１１】
また、請求項２の発明は、
請求項１の再生装置において、
上記処理部は、
一時記憶部を備え、
過去のユーザによる入力に基づいて、ユーザによって次に選択される字幕を予測し、予測した字幕と同時刻の映像の映像情報を上記記録部から読み出し、映像信号にデコードして上記一時記憶部に保存し、次に選択された字幕が上記予測した字幕と一致した場合、上記一時記憶部から上記映像信号を読み出すことによって、当該時刻の静止映像を上記選択された字幕を含む複数の字幕とともに上記表示デバイス部に表示させるように構成されていることを特徴とする。
【００１２】
これにより、次に選択された字幕が予測された字幕であった場合、映像信号が一時記憶部から読み出される。したがって、映像情報から映像信号へのデコードを行う必要がない分、ユーザによって選択する字幕が切り替えられてから、その切り替わりに応じて表示デバイス部に表示される映像が切り替わるまでにかかる時間を短くできる。
【発明の効果】
【００１３】
本発明によると、再生装置が、ユーザによる入力によって選択された字幕と同時刻の映像を、選択された字幕を含む複数の字幕とともに表示デバイス部に表示させる。したがって、ユーザが、ユーザの好みに応じた速度で映像および字幕を認識することによって番組内容をよりよく理解できるようになる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。
【００１５】
《発明の実施形態》
本発明の実施形態に係る再生装置１００は、字幕情報および映像情報を含むコンテンツを記録する機能と、記録されたコンテンツを再生する機能を有する。具体的な構成としては、図１に示すように、記録部１０１、ユーザインタフェイス部１０２、デコーダ部１０３、中央演算処理部１０４、一時記憶部１０５、画像合成部１０６、および表示デバイス部１０７を備えている。また、再生装置１００は、図２に示すような外見を有する携帯型の再生装置である。
【００１６】
記録部１０１は、再生装置１００で再生可能なコンテンツを記録保存する。コンテンツには、字幕情報、映像情報が含まれる。字幕情報には、字幕の表示時刻を示す時刻情報（数値）が含まれ、映像情報にも、映像の表示時刻を示す時刻情報が含まれる。記録部１０１は、ハードディスクやフラッシュメモリ等、再生装置１００に内蔵されている機器で構成される。しかし、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＤ（MiniDisc）等の光ディスク、ＳＤメモリカード（Secure Digital memory card）、コンパクトフラッシュカード等の外部メモリ媒体にコンテンツが保存され、再生装置１００には、記録部１０１に代えて、その外部メモリ媒体からデータを読み取る装置が設けられるようにしてもよい。また、外部の記憶装置にコンテンツが保存され、再生装置１００には、記録部１０１に代えて、無線ＬＡＮ（Local Area Network）やＢｌｕｅｔｏｏｔｈなどの通信手段を用いて外部の記憶装置にアクセスする仕組み（通信機能）が設けられるようにしてもよい。
【００１７】
ユーザインタフェイス部１０２は、再生装置１００を使用するユーザの入力操作を受け付ける機能を有する。ユーザは、ユーザインタフェイス部１０２に後述する所定の操作を行うことによって、再生したいコンテンツを選択し、再生装置１００に対して再生開始を指示する。再生装置１００は、ユーザインタフェイス部１０２として、図２に示すように、上下左右の方向を入力できるキーと、「Ａ」と「Ｂ」と書かれた押しボタンキーを備えている。なお、ユーザインタフェイス部１０２は、このようなボタンスイッチに限らず、リモコン、タッチパネル、圧電センサー、マウス、キーボード等で構成されてもよい。なお、ユーザは、表示デバイス部１０７に表示される映像を参考にして、ユーザインタフェイス部１０２に入力操作を行い、再生装置１００を制御する。
【００１８】
デコーダ部１０３（処理部の一部）は、記録部１０１から読み出された映像情報を映像信号にデコードする。より詳しくは、ＭＰＥＧ（Moving Picture Experts Group）等の方式で圧縮された映像情報を映像信号に伸長する。
【００１９】
中央演算処理部１０４（処理部の一部）は、再生装置１００の各部の動作を管理する。例えば、ユーザインタフェイス部１０２へのユーザによる入力操作に応じて、記録部１０１に保存されているコンテンツからユーザが再生を望むコンテンツを選択して再生させる。中央演算処理部１０４は、マイコンやＣＰＵ（Central Processing Unit）等の機器で構成される。
【００２０】
一時記憶部１０５（処理部の一部）は、コンテンツを蓄積保存している記録部１０１とは異なり、一時的に情報を記録する。記録する情報は、デコーダ部１０３によって映像情報から伸長された映像信号である。一時記憶部１０５として、情報の読み書き速度は高速であるが記憶容量が小さいという特徴を持つＳＤ−ＲＡＭ（Synchronous Dynamic Random Access Memory）等が使用される。
【００２１】
画像合成部１０６（処理部の一部）は、一時記憶部１０５に保存された映像信号に基づく映像を、字幕、およびフレーム等と合成した合成画像を表示デバイス部１０７に表示させる。
【００２２】
表示デバイス部１０７は、再生装置１００に取り付けられた小型の液晶モニタである。
【００２３】
表示デバイス部１０７の液晶画面には、図２に示すような映像が表示される。同図に示すように、表示画面は左右に分割され、右側に字幕（文字）、左側に映像が表示される。本実施形態では、表示される字幕は、下に位置するものほど、コンテンツの時間軸に対して新しいものとする。つまり、下に表示されている字幕ほど、その字幕情報に含まれる時刻情報で示される時刻が後のものであるとする。なお、表示画面は、左右に分割される代わりに、上下に分割されるようにしてもよい。また、３分割以上されるようにしてもよいし、分割されないようにしてもよい。
【００２４】
図２の表示画面において、破線で囲まれた字幕が選択されているものとする。なお、この例では、選択された字幕（文章）が破線で囲まれることによって、他の選択されていない字幕（文章）と区別できるようになっている。しかし、破線以外の枠線で囲まれるようにしてもよい。また、下線の有無、色、フォントのサイズまたは種類等によって、選択された字幕を他の選択されていない字幕と区別できるようにしてもよい。
【００２５】
ここで、上記のように構成された再生装置の各部の動作について説明する。
【００２６】
まず、表示デバイス部１０７の液晶画面に、図３（ａ）に示すような映像が表示されているときに、ユーザが、ユーザインタフェイス部１０２の上下左右の方向を入力できるキーによって、カーソル、すなわち選択された字幕を囲む破線を、下に移動させる入力操作を行ったとする。
【００２７】
この入力操作によってユーザが再生装置１００に対して行った指示は、電気信号に置き換えられ、中央演算処理部１０４に入力として伝達される。中央演算処理部１０４は、伝達された電気信号に応じて、入力操作によって選択された字幕と同時刻の映像の映像情報を記録部１０１から読み出す動作か、または一時記憶部１０５に保存された，上記選択された字幕と同時刻の映像の映像信号を読み出す動作を行う。同時刻の映像とは、時刻情報によって示される時刻が選択された字幕と同じ映像である。ここで、各動作がどういった場合に行われるかについては後述する。記録部１０１から映像情報が読み出された場合、読み出された映像情報は、デコーダ部１０３において映像信号に伸長され、映像信号が一時記憶部１０５に一旦保存される。そして、中央演算処理部１０４によっていずれの動作が行われた場合も、画像合成部１０６は、一時記憶部１０５から読み出された、選択された字幕と同時刻の映像の映像信号に基づいて、映像と字幕とを合成した合成画像の映像信号を生成する。そして、図３（ｂ）に示すような合成画像を静止映像として表示デバイス部１０７に表示させる。このように、表示される映像（絵）が更新される。これにより、ユーザは、映像を挿絵として利用しつつ、字幕を読むことができる。またこの時、字幕（文字）は、ユーザによる入力操作によるスクロールが可能な状態で、映像と共に表示される。したがって、この字幕を参照し、選択される字幕（文章）を更新することによって、その字幕と同じ時刻の映像を静止画（静止映像）として表示させることができる。
【００２８】
このように、カーソルで示された字幕と同じ時刻の映像が表示されるので、カーソルを移動させることによって、表示される映像を字幕と連動して更新できる。
【００２９】
また、字幕をスクロールさせる機能を有していれば、ユーザに、画面に収まらない量の字幕から字幕を選択させることも可能である。ユーザが、スクロールによって、画面に収まらない量のすべての字幕を表示させることができるからである。また、この場合、ユーザの入力操作によって、どの字幕（文章）を読んでいるかをあらわす目印が字幕とともに表示されるようにしてもよい。これにより、この目印を参照し、目安とすることによって、ユーザは、次にどの字幕を選択するかを判断しやすくなる。
【００３０】
また、表示デバイス部１０７の画面には、互いに別の時刻に表示される複数の字幕が並べて表示される。つまり、字幕が細切れではなく、連続した文章として表示される。したがって、ユーザは、表示された字幕を読み物として利用しやすい。また、複数の字幕から、同時刻の映像を表示させる字幕を、所定の入力操作によって選択できる。
【００３１】
ここで、記録部１０１から映像情報が読み出されてから、デコーダ部１０３でデコードされて一時記憶部１０５に保存されるまでには時間がかかる。したがって、ユーザによるユーザインタフェイス部１０２への入力操作の速度が速い場合、字幕のスクロールに対して画像の更新が間に合わない場合がある。そのことに対処するために、ユーザによって次に視聴される映像を予測して事前に用意しておく処理が、上述の動作と並行して行われる。
【００３２】
ユーザがユーザインタフェイス部１０２の上下左右の方向を入力できるキーによって、カーソル、すなわち選択された字幕を囲む破線を、下に移動させる入力操作を行った場合、ユーザは古い映像から順に再生させている可能性が高い。したがって、中央演算処理部１０４は、カーソルで示された字幕の次の字幕、すなわち、カーソルで示された１つ下の字幕が次に選択されると予測し、当該字幕と同時刻の映像の映像情報を記録部１０１から読み出す。一方、ユーザがカーソルを上に移動させる入力操作を行った場合、ユーザは新しい映像から順に再生させている可能性が高い。したがって、中央演算処理部１０４は、カーソルで示された字幕の前の字幕、すなわち、カーソルで示された１つ上の字幕が次に選択されると予測し、当該字幕と同時刻の映像の映像情報を記録部１０１から読み出す。そして、中央演算処理部１０４によって読み出された情報は、デコーダ部１０３によってデコードされる。デコーダ部１０３によってデコードされた情報は、中央演算処理部１０４によって一時記憶部１０５に保存される。
【００３３】
次に、ユーザが前回と同じ入力操作を再度行なった場合には、中央演算処理部１０４は、記録部１０１から映像情報を読み出さずに、一時記憶部１０５にすでに保存された映像信号を読み出す。そして、一時記憶部１０５から読み出された映像信号に基づいて、画像合成部１０６が映像と字幕とを合成した合成画像の映像信号を生成し、合成画像を表示デバイス部１０７に表示させる。一方、ユーザが前回と異なる入力操作を行った場合には、中央演算処理部１０４は、記録部１０１から映像情報を読み出す。そして、読み出された映像情報は、デコーダ部１０３において映像信号に伸長され、一時記憶部１０５に一旦保存される。そして、一時記憶部１０５から読み出された映像信号に基づいて、画像合成部１０６が映像と字幕とを合成した合成画像の映像信号を生成し、合成画像を表示デバイス部１０７に表示させる。
【００３４】
このように、ユーザによる入力を参考にして、ユーザによってこれから視聴される映像が先読みされ、次に表示されると予想された映像の映像信号が、静止画の映像信号として保持される。これにより、再生装置１００は、デコード処理等に時間のかかる映像であっても、ユーザによって字幕がスクロールされたタイミングから短い時間で表示できる。したがって、ユーザは、字幕と映像を高速に表示させることによって、短時間で手軽に多くの字幕と映像を認識できる。
【００３５】
ここでは、デコーダ部１０３、中央演算処理部１０４、および画像合成部１０６を別々のものとして説明したが、デコード処理及び画像合成処理を行うスペックを有する高性能な１つのＣＰＵやマイコンによって、それらの処理が行われるようにしてもよい。またシステムＬＳＩ等を用いることによって、各部の機能を１チップのＬＳＩで実現してもよい。
【００３６】
《その他変形例》
なお、上記実施形態において、中央演算処理部１０４は、ユーザによって次に選択される字幕を予測し、その予測に応じて、１つ前の映像および１つ後の映像のいずれか一方を一時記憶部１０５に保存させておくようになっていた。しかし、予測を行わずに、前後両方の映像を保存させておくようにしてもよい。これにより、前後どちらの字幕が次に選択された場合でも、記録部１０１からではなく、一時記憶部１０５にすでに保存されている映像信号を読み出せばよくなる。この場合においても、一時記憶部１０５から読み出された映像信号に基づいて、画像合成部１０６によって合成が行われ、合成画像が表示デバイス部１０７に表示される。
【００３７】
また、一時記憶部１０５に保存させる映像は、１つ前の映像および１つ後の映像の一方または両方に限らず、一時記憶部１０５の容量によっては、より多くの映像であってもよい。
【００３８】
また、一時記憶部１０５を設けず、中央演算処理部１０４が、ユーザによって次に選択される字幕を予測しないようにしてもよい。この場合、ユーザが字幕を選択する入力操作を行った後に、中央演算処理部１０４が、その入力操作によって選択された字幕と同時刻の映像の映像情報を記録部１０１から読み出す。そして、読み出された映像情報がデコーダ部１０３によって映像信号にデコードされ、映像信号が直接、画像合成部１０６に入力される。そして、合成画像の映像信号が生成され、合成画像が表示デバイス部１０７に表示される。
【００３９】
また、上記実施形態において、中央演算処理部１０４は、前回のユーザによる入力に基づいて、次に選択される字幕を選択するようになっていた。しかし、前回の入力に限らず、その他の過去の入力に基づいて選択するようにしてもよいし、過去の複数回の入力に基づいて選択するようにしてもよい。
【産業上の利用可能性】
【００４０】
本発明に係る再生装置は、ユーザが、ユーザの好みに応じた速度で映像および字幕を認識することによって番組内容をよりよく理解できるようになるという効果を有し、例えば、記録されたコンテンツを再生する機能を有する再生装置等として有用である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る再生装置１００の構成を示すブロック図である。
【図２】同、再生装置１００の斜視図である。
【図３】同、ユーザによってカーソルを下に移動させる入力操作が行われる前後の再生装置１００の斜視図である。
【符号の説明】
【００４２】
１０１    記録部
１０２    ユーザインタフェイス部
１０３    デコーダ部（処理部の一部）
１０４    中央演算処理部（処理部の一部）
１０５    一時記憶部（処理部の一部）
１０６    画像合成部（処理部の一部）
１０７    表示デバイス部
【図１】
2008160452.tif 000003
【図２】
2008160452.tif 000004
【図３】
2008160452.tif 000005