(57)【要約】【課題】動画の再生中に音声の編集区間の指定の操作の煩わしさを軽減する。【解決手段】動画データと前記動画データに関連する音声データとを入力する入力手段と、前記音声データから音声を認識する音声認識手段と、前記音声認識手段の認識結果に応じて字幕画像データを生成する生成手段と、前記動画データと前記字幕画像データとを表示する表示手段と、前記字幕画像データの表示中に所定の操作を検出した場合に、前記字幕画像データに対応した音声データを所定の音声データに変更する編集手段とを備えることを特徴とする。【選択図】図１
2015216556.tif 000002
【特許請求の範囲】
【請求項１】
動画データと前記動画データに関連する音声データとを入力する入力手段と、
前記音声データから音声を認識する音声認識手段と、
前記音声認識手段の認識結果に応じて字幕画像データを生成する生成手段と、
前記動画データと前記字幕画像データとを表示する表示手段と、
前記字幕画像データの表示中に所定の操作を検出した場合に、前記字幕画像データに対応した音声データを所定の音声データに変更する編集手段とを備えることを特徴とする信号処理装置。
【請求項２】
前記表示手段は、前記音声データの再生時間よりも長く前記字幕画像データを表示することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記編集対象の字幕画像データの一覧を表示することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記編集手段は更に、前記字幕画像データに対応した音声データの音量を変更することを特徴とする請求項１に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置に関し、特に、動画信号と音声信号の処理に関する。
【背景技術】
【０００２】
近年、スマートフォンなどの普及に伴い、カメラ機能を搭載した携帯端末を用いて手軽に動画を撮影する人が増えてきている。
【０００３】
撮影した動画はＳＤカード等の記録媒体や、ネットワーク経由で簡単に配ることもでき、その際、動画を配る側のユーザーとしては不要な音声等のデータを編集したいという要望がある。動画の再生中に編集位置を指定する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１３５３５４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画の再生中に編集位置を指定する場合、編集箇所を見つけた時にはすでに音声は流れてしまっているため、一度編集箇所まで再生を戻し、再度編集箇所を指定する必要があり、操作が煩わしいという課題がある。
【０００６】
特許文献１によると、画像の再生中にユーザーから指定された再生位置から所定の時間だけ後の位置までの区間を編集区間と決定するという技術が公開されている。しかしながら、画像に付随する音声の編集点を正確に指定することはできない。
【０００７】
本発明は上記の問題に関して鑑みてなされたもので、動画の再生中に音声の編集区間の指定の操作の煩わしさを軽減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る信号処理装置の構成は、動画データと前記動画データに関連する音声データとを入力する入力手段と、前記音声データから音声を認識する音声認識手段と、前記音声認識手段の認識結果に応じて字幕画像データを生成する生成手段と、前記動画データと前記字幕画像データとを表示する表示手段と、前記字幕画像データの表示中に所定の操作を検出した場合に、前記字幕画像データに対応した音声データを所定の音声データに変更する編集手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画の音声を編集する際、編集箇所の指定の操作の煩わしさが軽減する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る信号処理装置のブロック図である。
【図２】音声認識部の処理を示す図である。
【図３】記録画像管理情報データリストの図である。
【図４】記録音声管理情報データリストの図である。
【図５】記録動作のフローチャートである。
【図６】再生動作時の画像表示、音声出力、字幕表示のタイミング図である。
【図７】再生及び編集動画のフローチャートである。
【図８】編集選択時のイメージ図である。
【図９】選択情報データリストを示す図である。
【図１０】編集選択時のイメージ図である。
【図１１】編集時の概念図である。
【図１２】編集動作のフローチャートである。
【図１３】編集動作時の表示例を示す図である。
【図１４】編集動作のフローチャートである。
【図１５】ユーザー入力データ画面の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１２】
［実施例１］
図１は、本発明の実施形態に係る信号処理装置１００の構成を示すブロック図である。１０９は、着脱可能なメモリカードなどの記録媒体である。１０１は、ＤＲＡＭであり、画像データや音声データ、メモリカード２００から読み込んだ動画像データ等を一時保持することが可能である。１０２は、ＤＲＡＭ１０１へのアクセスするためのデータバスである。１０３は、ユーザーとのインタフェースとなる各種操作キーを備える操作部である。１０４は、撮像部で、被写体を取り込みデジタル化し、画像データに変換し、ＤＲＡＭ１０１上に保持する画像入力手段を持つ。
【００１３】
１０５は、マイクを含み、マイクからの音声を取り込み、音声データに変換し、ＤＲＡＭ１０１上に保持する音声入力手段と、ＤＲＡＭ１０１上に一時保持されている音声データをヘッドフォンやスピーカに出力し、音声を発生させる音声再生手段を持つオーディオ部である。
【００１４】
１０６は、タッチパネルであり、液晶パネル等の表示装置と透明な平板状の位置入力センサーを組み合わせた電子部品であり、画面上の表示をユーザーが接触することで位置情報を検出することが可能である表示部である。１０７は、ＤＲＡＭ１０１上に一時保持されている音声データから単語、文章等を認識する音声認識手段を持ち、音声列の文字列データを出力する音声認識部である。１０８は、音声認識部１０７で出力した文字列データから字幕画像データを生成する字幕データ生成部である。
【００１５】
１１０は、記録媒体１０９からデータをＤＲＡＭ１０１へ読み込み、また、ＤＲＡＭ１０１のデータを記録媒体１０９へ書き込むことが可能なＭｅｄｉａＩ／Ｆである。１１１は、ＣＰＵ１１２が被写体検出部１０１〜ＭｅｄｉａＩ／Ｆ１０７ へ制御指示を行うための制御バスである。１１２は、動画記録再生装置１００全体の制御をおこなうメインＣＰＵである。１３は、ＣＰＵ１１２と、ＲＯＭ１１４及びＲＡＭ１１５を接続するプログラムバスである。１１４は、ＣＰＵ１１２のプログラムが格納されているＲＯＭ、１１５は、ＣＰＵ１１２のワークメモリであるＲＡＭである。ＲＯＭ１１４にはＣＰＵ１１２によって実行可能なプログラムが格納されている。
【００１６】
図２は、音声認識部１０７の処理内容を示したものである。２０１ではオーディオ部１０５によってＤＲＡＭ１０１に保持された音声データから雑音等を取り除き、音声部分を抽出する音声の特徴抽出を行う。２０２では「ａ（あ）」や「ｉ（い）」等の音素波形データと２０１で行った音声の特徴抽出で得た音声の特徴を照合して音素に変換する。（変換した音素は誤差等あるため、数種類の候補の音素を生成する。例として「gohantabetai」、「botantabetai」等の候補を生成する）。
【００１７】
検出を開始した時のＤＲＡＭ１０１上の音声データの位置は２０１で保持しておく。なお、音素波形データは音声認識部１０７にあらかじめ登録されているものとする。
【００１８】
次に２０３では２０２で生成した音素から音素の組合せと単語の対応データである認識辞書と照合して言葉に変換する。（例としてgohanという音素は認識辞書の「ご飯」にあてはまる。その結果、「五半食べたい」、「ご飯食べたい」、「ボタン食べたい」というような言葉が生成される）。認識辞書は音声認識部１０７にあらかじめ登録されているものとする。
【００１９】
２０４では言葉使いや言い回しの蓄積データである言語モデルを用いて２０３で生成した言葉から妥当な候補を一つ選択する。選択した時のＤＲＡＭ１０１上の音声データの位置は２０４で保持しておく。言語モデルは音声認識部１０７にあらかじめ登録されているものとする。
【００２０】
２０５ではＣＰＵ１１２に対し、２０１〜２０４の処理で抽出した音声の結果を通知する。音声の結果は、どのくらいの時間か（音声列時間）、音声の文字列データといったものからなる。音声列時間は２０４で保持したＤＲＡＭ１０１上の音声データの位置と２０１でＤＲＡＭ１０１上に保持した音声データの位置の差分から算出できる。音声列は２０４で選択した候補を文字列データとして生成する。
【００２１】
図３は、動画像データの画像と音声を管理する記録管理情報のデータリストである。３０１は、動画像データの画像のフレームレートで１秒間あたりの画像の数を示す。３０２は、動画像データ中の画像の番号で、１、２、３、・・・と連番となる。３０３は、画像番号３０２の画像データが記録されている記録媒体１０９のファイル上の位置であり、ファイル先頭からのオフセット位置を示す。３０４は、画像番号３０２に対応する音声データが記録されている記録媒体１０９のファイル上の位置であり、ファイル先頭からのオフセット位置を示す。
【００２２】
図４は、動画像データの画像に対応する字幕画像データを管理する字幕管理情報のデータリストである。４０１は、動画像データ内の字幕の数を示した字幕番号であり、字幕画像データがあるごとに１、２、３、・・・と連番となる。４０２は、字幕番号４０１の字幕画像データに対応する画像の番号であり、画像番号３０２のことを示す。４０３は、字幕番号４０１の字幕画像データの字幕時間（音声時間）である。４０４は、字幕番号４０１の字幕画像データを表示部１０７に表示する表示位置である。４０５は、字幕番号４０１の字幕画像データが記録されている記録媒体１０９のファイル上の位置であり、ファイル先頭からのオフセット位置を示す。
【００２３】
図５は、動画記録再生装置の記録動作フロー（記録手段）である。尚、フレームレートは記録開始前に決定しているものとし、Ｓ５０１から次のＳ５０１に戻る周期はフレームレートと同じとなるように動作するものとする。
【００２４】
Ｓ５０１では、撮像部１０３が被写体を取り込み、画像データを生成し、ＤＲＡＭ１０１に保持し、Ｓ５０２に進む。尚、画像データは表示部１０６が読み出し、表示してもよい。また、記録画像番号を＋１してインクリメントさせる。
【００２５】
Ｓ５０２では、オーディオ部１０５が音声を取り込み、音声データを生成し、ＤＲＡＭ１０１に保持し、Ｓ５０３に進む。Ｓ５０３では、Ｓ５０２で生成した音声データをもとに音声認識部１０７が音声認識処理を行い、Ｓ５０４に進む。尚、図２で示した通り、音声データから音声列が認識できたときに音声列時間、音声列の文字列データが得られる。
【００２６】
Ｓ５０４では、Ｓ５０３で認識した認識情報（音声列時間、音声列の文字列データ）があるか否か判断する。認識情報があると判断されるとＳ５０５に進み、そうでなければＳ５０７に進む。Ｓ５０５では、Ｓ５０３で認識した音声列の文字列データから字幕データ生成部１０８が字幕画像データを生成し、記録媒体１０９に記録し、Ｓ５０６に進む。
【００２７】
Ｓ５０６では、Ｓ５０３で得られた音声列時間、及びＳ５０１で得られる現在の記録画像番号から字幕管理情報を生成して記録媒体１０９に記録し、Ｓ５０７に進む。字幕管理情報データリストの字幕画像データに対応する画像の番号４０２は現在の記録画像番号から音声列時間だけ戻った記録画像番号であり、音声列時間が４秒で、現在の記録画像番号が１８１で、かつフレームレートが３０[fps]とした場合、１８１−（３０[fps]×４秒）＝６１となる。
【００２８】
字幕時間４０３は音声列時間と同じになる。
【００２９】
表示位置４０４は表示部１０６のどの位置に表示するというものであり、常に同じ場所でもよい。字幕画像データが記録されている記録媒体１０９上のファイル上の位置４０５はＳ５０５で字幕画像データを記録媒体１０９に記録したファイル上の位置となる。また、字幕番号を＋１してインクリメントさせ、字幕番号４０１に設定する。
【００３０】
Ｓ５０７では、Ｓ５０１で得られた画像データ及びＳ５０２で得られた音声データを記録媒体１０９に記録し、Ｓ５０８に進む。Ｓ５０８では、記録管理情報を生成して記録媒体１０９に記録し、Ｓ５０９に進む。記録管理情報データリストのフレームレート３０１は記録開始前に決定している値、記録画像番号はＳ５０１で得られる記録画像番号で、Ｓ５０７で記録した画像データ及び音声データの記録媒体１０９上のファイル上の位置が画像位置３０３及び音声位置３０４となる。
【００３１】
Ｓ５０９では、記録動作を終了するか否か判断する。記録動作終了と判断されると終了し、そうでなければＳ５０１に進む。記録動作を終了するか否かの判断は、操作部１０３がユーザーからの記録終了指示を受け取ったか否かで判断する。
【００３２】
図６は、再生動作時の表示部１０７が表示する画像データ及び字幕画像データ、オーディオ部１０５が出力する音声のタイミング図である。６０１は表示部１０７が表示する画像データで、再生開始指示を受けてから画像番号１、２、３、・・・の順に表示されている。このときの１枚の画像の表示時間はフレームレートに従い、フレームレート３０[fps]の場合、１／３０＝３３．３[ms]である。
【００３３】
６０２はオーディオ部１０５が出力する音声データで、再生開始指示を受けてから画像番号１、２、３、・・・のそれぞれに対応する音声データを出力している。６０３は表示部１０７が表示する字幕画像データで、再生中に表示画像に対応する字幕画像データがあれば表示され、それ以外は何も表示されない。字幕画像データが表示されている区間は音声データに音声が入っており、字幕画像データが表示されていない区間の音声データは無音ということになる。尚、字幕画像データの表示区間は、実際に音声が入っている音声データの区間よりも長い時間表示してもよい。
【００３４】
図７は、本実施形態における再生動作フローである。Ｓ７０１では、記録動作で記録した記録管理情報及び字幕管理情報を記録媒体１０９から読み込み、ＤＲＡＭ１０１に格納し、Ｓ７０２に進む。尚、フレームレートは記録管理情報から得られ、Ｓ７０２から次のＳ７０２までの周期がフレームレートに等しくなるものとする。
【００３５】
Ｓ７０２では、Ｓ７０１で読みだした記録管理情報から記録媒体１０９上の動画像データから画像データの位置を取得し、画像データを読み込み、ＤＲＡＭ１０１に格納し、Ｓ７０３に進む。Ｓ７０３では、表示部１０６がＳ７０２で格納した画像データを表示し、Ｓ７０４に進む。Ｓ７０４では、表示部１０６が字幕画像データを表示するか否かを判断する。字幕画像データを表示すると判断されるとＳ７０５に進み、そうでなければＳ７０７に進む。字幕画像データを表示するかの判断は、Ｓ７０３で表示している画号データの画像番号が、字幕管理情報内の字幕に対応するフレーム番号から字幕時間分の間に入っているかいなかで判断する。
【００３６】
Ｓ７０５では、字幕管理情報をもとにＳ７０３で表示している画像番号に対応している字幕画像データを記録媒体１０９から読み出し、ＤＲＡＭ１０１に格納し、Ｓ７０６に進む。尚、字幕画像データの読み込みは画像１枚単位に読み出す必要はなく、字幕画像データに対応する最初の画像データの表示時に行えばよい。
【００３７】
Ｓ７０６では、表示部１０６がＳ７０５で格納した字幕画像データを表示し、Ｓ７０６に進む。尚、表示する位置は字幕管理情報の表示位置に従う。Ｓ７０７では、記録管理情報をもとに表示している画像データの画号番号に対応する音声データを記録媒体１０９から読み出し、Ｓ７０８に進む。
【００３８】
Ｓ７０８では、オーディオ部１０５がＳ７０７で格納した音声データを出力し、Ｓ７０９に進む。Ｓ７０９では、操作部１０３がユーザーからの字幕選択操作を受信し、字幕を選択したか否かを判断する。字幕を選択したと判断されるとＳ７１０に進み、そうでなければＳ７１１に進む。Ｓ７１０では、編集操作判断手段で編集操作を決定し、編集操作情報を生成し、Ｓ７１１に進む。編集操作判断手段は後述する。
【００３９】
Ｓ７１１では、操作部１０３がユーザーからの再生終了指示を受けたか否かを判断する。再生終了指示を受けたと判断されるとＳ７１２に進み、そうでなければＳ７０２に進む。Ｓ７１２では、再生動作中に字幕を選択されたか否かを判断する。字幕を選択されたと判断されるとＳ７１３に進み、そうでなければ終了する。Ｓ７１３では、Ｓ７１０で生成した編集操作情報をもとに編集手段で編集処理を行い、終了する。編集手段は後述する。
【００４０】
図８は、再生動作中に、ユーザーによる編集点選択をしたときの表示部１０７の表示例である。８０１は、再生動作時に表示部１０７に表示される画像データ及び字幕画像データの全体図である。８０２は、表示部１０７に表示される字幕画像データである。８０３は、再生動作時に字幕を選択したユーザーの手であり、字幕の列に沿って右方向に選択している。８０４は、字幕画像データ８０２で表わされる音声を発している被写体とする。図８の例では、主被写体でない人物が音声を出し、その音声を字幕表示している。
【００４１】
図９は、編集点を管理する編集操作管理情報のデータリストである。ユーザーが字幕を選択するごとに行が追加される。９０１は、ユーザーが選択した字幕番号で、字幕管理情報の字幕番号４０１に対応している。９０２は、選択した字幕番号に対し、ユーザーが操作を行った操作情報である。例として一重線、二重線を示している。その他に上下選択、タッチ選択等、ユーザーの操作が識別できる操作は登録可能とする。
【００４２】
９０３は、操作情報９０２に対し、編集動作を行う方法である。例えば一重線のときは無音に編集、二重線のときはピー音に編集、上操作のときは音量を増やす、下操作のときは音量を減らす、１回タッチのときはＢＧＭ音声に編集、といった方法を意味し、操作に対する方法は予めＲＯＭ１１４に登録されているものとする。
【００４３】
図１０は、編集操作を判断する例を示したものである。１００１〜１００４はユーザーが表示部１０７に表示されている字幕画像データを選択した時の時系列の図である。１００１〜１００４の時系列で表示部１０７はユーザーが表示部のどの部分をタッチしたかを検出し、一重線の選択か、二重線の選択かなどのユーザー操作を判断する。
【００４４】
図１１は、編集動作時の記録媒体１０９内の動画像データと字幕画像データのデータ編集を示したものである。１１０１は、記録動作で記録媒体１０９内に記録した画像データ及び音声データを含む動画像データである。１１１１は、記録動作で記録媒体１０９内に記録した字幕画像データである。
【００４５】
１１０２〜１１０４は、編集動作時に編集する動画像データ内の音声データで、それぞれ字幕番号１、字幕番号５、字幕番号１０に対応する音声データである（再生動作時にユーザーが字幕番号１、字幕番号５、字幕番号１０を選択したとする）。
【００４６】
１１０５〜１１０７は、音声データ１１０２〜１１０４を編集する編集後の音声データである。図１１の例では、無音音声、ピー音音声、無音音声としている。１１０８〜１１０１０は、編集した音声データの字幕画像データであり、無音字幕画像データ、ピー音字幕画像データ、無音字幕画像データである。尚、無音字幕画像データは無音であるため、画像データとして存在しなくてもよい。
【００４７】
なお、編集する無音音声データ、ピー音音声データ等の音声データは予めＲＡＭ１１５に保持されているものとし、編集する無音音声字幕画像データ及びピー音音声字幕画像データは予めＲＡＭ１１５に保持されているものとしてもよいし、字幕データ生成部１０８が随時字幕画像データを生成するものとしてもよい。この編集動作により、動画像データ１１０１及び字幕画像データ１１１１を編集する。
【００４８】
図１２は、編集時の編集動作フローである。この編集動作フローは図７のＳ７１３に該当する。尚、編集する音声データは予めＲＡＭ１１５に保持されているものとする。
【００４９】
Ｓ１２０１では、記録媒体１０９に記録されている記録管理情報及び字幕管理情報、再生動作時に生成した字幕操作情報（Ｓ７１０）を取得し、Ｓ１２０２に進む。Ｓ１２０２では、編集操作を行うか否かを判断する。編集操作を行うと判断されるとＳ１２０３に進み、そうでなければ終了する。編集操作を行うかの判断はＳ７１０で字幕操作情報を作成したかどうかで判断する。
【００５０】
Ｓ１２０３では、編集操作情報に存在するユーザーが選択した字幕番号９０１に該当する記録媒体１０９内の音声データを記録管理情報、字幕管理情報をもとに検索し、読み出し、ＤＲＡＭ１０１に格納し、Ｓ１２０４に進む。Ｓ１２０４では、編集操作情報をもとに編集する音声データ、字幕画像データをＲＡＭ１１５から読み出し、ＤＲＡＭ１０１に格納し、Ｓ１２０５に進む。
【００５１】
Ｓ１２０５では、Ｓ１２０３で格納した音声データをＳ１２０４で格納した音声データに差し替え、Ｓ１２０６に進む。Ｓ１２０６では、Ｓ１２０５で差し替えた音声データを記録媒体１０９に書き込み、Ｓ１２０７に進む。Ｓ１２０７では、編集操作情報に存在するユーザーが選択した字幕番号９０１に該当する記録媒体１０９内の字幕画像データを記録管理情報、字幕管理情報をもとに検索し、読み出し、ＤＲＡＭ１０１に格納し、Ｓ１２０８に進む。
【００５２】
Ｓ１２０８では、Ｓ１２０７で格納した字幕画像データをＳ１２０４で格納した字幕画像データに差し替え、Ｓ１２０９に進む。Ｓ１２０９では、Ｓ１２０８で差し替えた字幕画像データを記録媒体１０９に書き込み、Ｓ１２０２に進む。尚、編集動作の終了時に図１３のような編集前の字幕データ（１３０１）、編集後の字幕データ（１３０２）の一覧を表示部１０７に表示してもよい。
［実施例２］
【００５３】
次に、第２実施形態について説明する。第２の実施形態では、音声データの編集時にユーザーから任意の音声を入力し、入力した音声に編集するものである。再生装置１００のブロック図は実施例１と同じであるため説明は省略する。記録管理情報データリスト、字幕管理情報データリストは、それぞれ図３、図４と同じであるため説明は省略する。第２の実施形態の記録手段及び再生手段は実施例１と同じであるため説明は省略する。
【００５４】
編集点を管理する編集操作管理情報のデータリストは図９と同じであるが、操作情報に「ユーザーによる任意の音声入力」を意味する操作（例えばタッチ２回する等）の情報も加える。
【００５５】
図１４は、第２の実施形態の編集時の編集動作フローである。Ｓ１４０１〜Ｓ１４０３は、図１２のＳ１２０１〜Ｓ１２０３と同じであるため、差異のあるＳ１４０４〜Ｓ１４１３について説明する。Ｓ１４０４では、ユーザーによる任意の音声入力編集か否か判断する。ユーザーによる任意の音声入力と判断されるとＳ１４０５に進み、そうでなければＳ１４０８に進む。ユーザーによる任意の音声入力か否かの判断は編集操作管理情報の操作方法をもとに判断する。
【００５６】
Ｓ１４０５では、表示部１０７がユーザー入力データ画面を表示し、Ｓ１４０６に進む。ユーザー入力データ画面は予めＲＡＭ１０１に格納されているものとする。Ｓ１４０６では、操作部１０３がユーザーからの入力データを読み込み、音声データを生成し、Ｓ１４０７に進む。尚、ユーザーからの入力データは操作部１０３でなく、ユーザーからの音声（言葉）をオーディオ部１０５が読み込んでもよい。
【００５７】
Ｓ１４０７では、Ｓ１４０６で生成した音声データから字幕データ生成部１０８が字幕画像データを生成し、ＲＡＭ１０１に格納し、Ｓ１４１０に進む。Ｓ１４０８では、編集操作情報をもとに編集する音声データ、字幕画像データをＲＡＭ１１５から読み出し、ＤＲＡＭ１０１に格納し、Ｓ１４０９に進む。
【００５８】
Ｓ１４０９では、Ｓ１４０３で格納した音声データを、Ｓ１４０８で格納した音声データ、またはＳ１４０７で格納した音声データに差し替え、Ｓ１４１０に進む。Ｓ１４１０では、Ｓ１４０９で差し替えた音声データを記録媒体１０９に書き込み、Ｓ１４１１に進む。
【００５９】
Ｓ１４１１では、編集操作情報に存在するユーザーが選択した字幕番号９０１に該当する記録媒体１０９内の字幕画像データを記録管理情報、字幕管理情報をもとに検索し、読み出し、ＤＲＡＭ１０１に格納し、Ｓ１４１２に進む。Ｓ１４１２では、Ｓ１４１１で格納した字幕画像データをＳ１４１１で格納した字幕画像データに差し替え、Ｓ１４１３に進む。Ｓ１４１３では、Ｓ１４１２で差し替えた字幕画像データを記録媒体１０９に書き込み、Ｓ１４０２に進む。
【００６０】
図１５は、Ｓ１４０５で表示部１０７が表示するユーザー入力データ画面の例である。１５０１は、ユーザーへの操作指示を表す文字画像である。１５０２は、ユーザーが入力する音声情報を表す音声入力部である。操作部１０３がユーザーからの音声入力を受信すると、入力した音声が表示されるとする。
【符号の説明】
【００６１】
１００  信号処理装置、１０１  ＤＲＡＭ、１０２  データバス、１０９  記録媒体、
２００  メモリカード
【図２】
2015216556.tif 000003
【図３】
2015216556.tif 000004
【図４】
2015216556.tif 000005
【図６】
2015216556.tif 000006
【図９】
2015216556.tif 000007
【図１】
2015216556.tif 000008
【図５】
2015216556.tif 000009
【図７】
2015216556.tif 000010
【図８】
2015216556.tif 000011
【図１０】
2015216556.tif 000012
【図１１】
2015216556.tif 000013
【図１２】
2015216556.tif 000014
【図１３】
2015216556.tif 000015
【図１４】
2015216556.tif 000016
【図１５】
2015216556.tif 000017