(57)【特許請求の範囲】
【請求項１】
字幕テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕編集・試写支援システムであって、
編集の対象となる表示単位字幕の表示開始タイミングと表示終了タイミングとを、当該編集の対象となる番組の時間経過を時間軸として示すタイムライン上の該当するタイミング位置に関連づける手段と、
前記表示単位字幕を四角の枠内部に含み枠の一端を表示開始位置とし、他端を終了位置として、前記タイムライン上に関連づけられた当該字幕表示開始タイミングと終了タイミングを表す位置にそれぞれ一致させるとともに、前記字幕に対応するスピーチの波形を前記タイムラインに一致させて表示する手段と、
表示された前記表示単位字幕の表示開始位置又は終了位置を移動することにより当該表示単位字幕の表示開始タイミングまたは表示終了タイミングを修正する手段と
を有することを特徴とする字幕編集・試写支援システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人手による字幕制作工程と、自動による字幕制作工程とを効果的に組み合わせた半自動型字幕番組制作システムにおいて、字幕編集・試写作業を支援するため、表示単位字幕表示領域の境界線の移動という方法で、当該表示単位字幕の表示タイミングの修正を行う技術に関する。
【０００２】
〔発明の概要〕
本発明は、各表示単位字幕をタイムライン上に配置し、その境界などの移動でタイミング修正を簡単に行うものである。
【０００３】
視覚的、かつ直感的にタイミング修正と修正結果の確認が可能となり、表示単位字幕のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与する。
【０００４】
【従来の技術】
オフラインで字幕番組を自動制作する技術としては、ニュース番組やナレーション主体のドキュメンタリー番組を対象とし、電子化原稿が存在する場合に、「自動要約」、「自動同期」、及び「自動字幕画面作成技術」などの研究成果を集約し、「自動字幕番組制作システム」として構築された技術が存在する。
【０００５】
これらの技術は、すでに特願平１１−７２６７１号等で特許出願されているが、かかる技術を適用できる番組範囲は限られており、電子化原稿が存在しない番組、ドラマやバラエティーなど背景音レベルの大きい番組などに対しては、自動機能として限界があるため、限界以上の部分は、手動による字幕制作や試写・修正の範囲でカバーせざるを得ない。
【０００６】
【発明が解決しようとする課題】
実際の字幕制作現場では、高度な専門技術、知識を持った多くの専門家が携わっており、字幕制作はこのような人間の能力に負っている部分が多い。一方、今日のように、字幕番組の急速な拡充が要請されている状況の下において、字幕制作は、専門家でなくても、ワープロ作業が一応できるパートタイマーでも作業の一端を分担できるようなシステムとすることが望ましい。したがって、自動処理を前提とした字幕制作システムのみならず、手作業を含む字幕用電子化テキストの作成や、字幕画面の試写・編集などの作業も含めたトータルシステムとして、字幕制作効率を考える必要がある。
【０００７】
そこで、本件発明の発明者らは、これまでに行った自動字幕制作システムのシステム評価などから得た知見を基に、各自動化要素技術を高性能化した新しい自動字幕システムを中核に、新たに開発した効率的な手動字幕制作サブシステムを適用することで、実用性のより高い半自動型字幕番組制作システムを開発した。
【０００８】
この半自動型字幕番組制作システムは別途出願しているが、かかる半自動型字幕番組制作システムでは、字幕番組データ編集・試写機能については、手動作業で行うことしている。
【０００９】
すなわち、字幕番組データ編集・試写機能での作業は、一応出来上がった字幕番組データを専門知識を有する作業者が試写し、必要なら修正するものであるが、この作業において、作業者が字幕内容・タイミングなどに関する修正がしやすいように支援するシステムがあれば、作業者に要求される能力や、作業時間、緊張の程度を軽減することができ、より効率的な編集作業が可能となる。
【００１０】
本発明は、このような課題に鑑みてなされたもので、半自動型字幕番組制作システムにおいて、表示単位字幕をタイムライン上に配置し、この表示単位字幕表示領域の境界線を移動するという簡単な操作で、当該表示単位字幕の表示タイミングの修正を行い、字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によるタイムライン上に配置した字幕の境界移動による字幕支援システムは、字幕テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕編集・試写支援システムであって、編集の対象となる表示単位字幕の表示開始タイミングと表示終了タイミングとを、当該編集の対象となる番組の時間経過を時間軸として示すタイムライン上の該当するタイミング位置に関連づける手段と、前記表示単位字幕を四角の枠内部に含み枠の一端を表示開始位置とし、他端を終了位置として、前記タイムライン上に関連づけられた当該字幕表示開始タイミングと終了タイミングを表す位置にそれぞれ一致させるとともに、前記字幕に対応するスピーチの波形を前記タイムラインに一致させて表示する手段と、表示された前記表示単位字幕の表示開始位置又は終了位置を移動することにより当該表示単位字幕の表示開始タイミングまたは表示終了タイミングを修正する手段とを有することを特徴とする。
【００１２】
表示単位字幕表示領域の表示開始位置又は終了位置を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うことが出来るので、表示単位字幕データの編集を簡単かつ高性能に実施できるように支援することができる。
【００１３】
【発明の実施の形態】
まず、本発明を適用する半自動字幕番組制作システムについて図２を参照して説明する。
【００１４】
半自動型字幕番組制作システムの主要な機能は、図２に示すように、字幕テキスト書起し機能１と、自動字幕番組データ制作機能２と、字幕番組データ編集・試写機能３、及び字幕画面編集支援機能４からなっている。
【００１５】
ここで、字幕テキスト書き起こし機能１とは、素材番組の音声を聞き取って、字幕用テキストの書き起こしや開始・終了タイミングなどの付加データを入力する機能であり、素材番組の映像・音声を、パソコンのディスクに圧縮記録するとともに、記録された映像音声の再生および特殊再生操作のための操作キーを備え、対応する動作を行う「ディスク記録再生制御機能」、書き起こしおよび付加情報データの入力の手動作業を支援するため、素材番組の映像・音声、書き起こしテキストなどに関する各種の情報を、タイムライン上にビジュアルに表示する「情報表示機能」、書き起こしたテキストやスピーチポーズの時間データ入力操作のための操作キーを備え、対応する動作をする「データ作成制御機能」、及びデータ作成画面や主映像表示画面とからなる。
【００１６】
また、自動字幕番組データ制作機能２とは、提示時間順に配列された字幕用テキストの中から、適切な改行・改頁によって表示単位字幕文を形成し、音声認識処理を含む同期検出技術などを適用することにより、この表示単位字幕文毎に始点及び終点を同期点として検出して、始点／終点タイミング情報を表示単位字幕毎に付与する一連の動作を自動的に行う機能であり、必要な場合は字幕用テキストを要約する「テキスト自動要約機能」と「表示単位字幕作成機能」と「タイミング検出・付与機能」とからなる。
【００１７】
また、字幕番組データ編集・試写機能３とは、書き起こしした字幕用テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、開始および終了時間、字幕の改ページ、改行などに関し編集・試写作業支援用特殊表示操作のための専用操作キーを備え、対応する動作をする「ディスク記録再生および字幕データ制御機能」、各種の情報を、タイムライン上にビジュアル表示し、特に字幕番組データについては、タイミング変更支援画面を表示し対応する動作をする「情報表示・字幕タイミング制御機能」、字幕データのページ単位編集のための専用操作キーを備え、対応する動作をする「字幕データページ編集操作キーと機能」、映像に重畳した指定字幕データ表示のための、操作キーを備え、対応する動作をする「字幕データ・映像表示機能」、及び部分試写、通し試写など、試写形式の選択に必要な操作キーを備え、対応する動作をする「試写用キーとその機能」とからなる。
【００１８】
字幕画面編集支援機能４とは、字幕番組編集・試写機能３に適用し、編集作業を支援するものである。
【００１９】
なおここで、「字幕用テキスト」とは、字幕番組において、字幕画面を形成表示するための元になる字幕テキスト全体をいい、「表示単位字幕」とは、一定時間継続して画面上に表示させる字幕であって、提示時間順に配列された字幕テキストの中から適切な改行・改頁によって抽出されたものをいう。
【００２０】
本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムは、字幕画面編集支援機能４として字幕番組編集・試写機能を支援する。
【００２１】
まず、本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムについて、基本原理を図１を参照して説明する。
【００２２】
図１（ａ）は字幕の境界移動をする前の状態を示し、図１（ｂ）は字幕の境界移動により表示単位字幕１１の表示タイミングを変更した後の状態を示す。
【００２３】
本発明は、図１（ａ）に示すように、字幕の境界を示す四角形の枠で囲んだ各表示単位字幕（１１ａ，１１ｂ，１１ｃ）をタイムライン１２上に配置するとともに、四角形の枠を移動することにより、各表示単位字幕（１１ａ，１１ｂ，１１ｃ）の表示タイミングの修正を簡単かつ可視的に行うようにしたものである。
【００２４】
試写・編集の対象となる各表示単位字幕（１１ａ，１１ｂ，１１ｃ）は、本発明を適用する半自動字幕番組制作システムにおいて、すでに自動字幕画面作成処理などにより、改行・改ページがなされ、さらにその開始・終了のタイミングが付与されている。
【００２５】
図１（ａ）及び（ｂ）に示す四角形の枠で囲んだ各表示単位字幕（１１ａ，１１ｂ，１１ｃ）の左辺は、字幕の表示開始タイミングデータを示し、右辺は表示終了タイミングデータを示している。そして、右辺及び左辺の表示位置は、タイムライン１２とリンクしている。
【００２６】
したがって、表示単位字幕１１を表す四角形の左辺と右辺は付与された開始と終了タイミングに基づき、タイムライン１２上の対応する位置に配置されることとなる。ここで、表示単位字幕１１を表す四角形の表示位置を変更すると、新しい位置に対応するタイミングデータが保存される。また、四角形の枠の中には、表示単位字幕１１の改行を含むテキストも同時に表示される。
【００２７】
このように、タイムライン１２上に配置した表示単位字幕１１の表示開始・終了タイミングを表す四角形の右辺と左辺を、マウスなどを使ってタイムライン１２上で移動すると、その新しい位置に対応するタイミングデータが保存されるので、表示単位字幕１１を表示開始するタイミングや表示が終了するタイミングが変更される。また、表示単位字幕１１を表す四角形全体を左右に移動すると、表示時間長を変更することなく、表示単位字幕１１を表示するタイミングを変更することができる。
【００２８】
例えば、図１（ａ）においては、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、字幕の境界を示す四角形の左辺は、タイムライン１２上の１４分１７．４秒の位置、右辺は１４分２３．６秒の位置にある。したがって、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、１４分１７．４秒のタイミングでその番組の画面上に表示され、１４分２３．６秒のタイミングでその画面から消えることが分かる。
【００２９】
しかし、この字幕はその内容に比較し表示時間が少し少ないので、字幕の境界を示す四角形の左辺をマウス等で左に移動し、１４分１６．５秒の所へもってゆき長くすると、図１（ｂ）に示すように、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、１４分１６．５秒の時刻でその番組の画面上に表示され、１４分２３．６秒のタイミングでその画面から消えるように変更され、表示時間を長くすることができる。表示単位字幕１１ｂも同様である。
【００３０】
このように、視覚的かつ直感的にタイミング修正と修正結果の確認が可能となり、表示単位字幕１１のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与することができる。
【００３１】
続いて、本発明にかかる、タイムライン上に配置した字幕の境界移動による字幕編集支援システム、を半自動字幕番組制作システムの字幕番組編集・試写機能に適用した実施の形態を図３及び図４を参照して説明する。
【００３２】
字幕番組データ編集・試写機能３は、前述の通り、作成した字幕テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、「ディスク記録再生および字幕データ制御機能」、「情報表示・字幕タイミング制御機能」、「字幕データページ編集操作キーと機能」、「字幕データ・映像表示機能」、及び「試写用キーとその機能」とからなる。
【００３３】
本発明は、字幕番組データ編集・試写機能の一部である「字幕データ・映像表示機能」において。タイムライン１２上に、字幕の境界を示す四角形の枠で囲んだ表示単位字幕１１を表示することにより、字幕番組データ編集作業を支援するものである。
【００３４】
図３は、本発明を適用した字幕素材編集のメイン画面である。メイン画面は、各種機能の呼び出しを行うメニュー領域３１、字幕本文の入力を行う編集領域３２、及びＭＰＥＧ／ＡＶＩ画像と字幕本文の一覧領域３３に分けられる。なお、ここで「字幕素材」とは、送出／消去時間、字幕本文、管理情報より構成された字幕番組データをいう。
【００３５】
図４は、本発明を適用した字幕素材編集のメイン画面から字幕本文の一覧領域３３部分のみを抜き出したものである。
【００３６】
字幕本文一覧領域３３には、図４に示すように、画像１３と各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）と音声power値の特定周波数範囲（例えば５〜７Hz）成分を適当なレベルでスライスし２値化したスピーチ近似データ波形１４とが表示される。
【００３７】
ここで、各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）は、本発明を適用する半自動字幕番組制作システムにおいて、すでに自動字幕画面作成処理などにより、改行・改ページがなされ、さらにその開始・終了のタイミングが付与され、四角の枠に囲われて表示される。この四角の枠は、二段に線で区切られ、下段に、各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）が表示され、上段には、対応するページ番号が表示される。
【００３８】
四角の枠で囲んだ各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）の左辺は、字幕の表示開始タイミングを示し、右辺は表示終了タイミングを示している。本実施の形態においては、最初の表示単位字幕例えば１１ｄの表示終了タイミングと次の表示単位字幕１１ｅの表示開始タイミングとが一致しているので、表示単位字幕１１ｄを囲む四角の枠の右辺と、表示単位字幕１１ｅを囲む四角の枠の左辺とが重なり合って１つの辺を形成している。
【００３９】
この状態で、表示単位字幕１１ｄを囲む四角の枠の上段のページ番号が記載されている部分の右辺を、マウス等で左側にドラッグすると表示単位字幕１１ｄの表示終了のタイミングのみが変更され、次の表示単位字幕１１ｅが表示開始されるタイミングは変更されない。一方、表示単位字幕１１ｄを囲む四角の枠の下段の表示単位字幕が表示されている部分の右辺を、マウス等で左側にドラッグすると表示単位字幕１１ｄの表示終了のタイミングとともに、次の表示単位字幕１１ｅの表示開始のタイミングも変更される。すなわち、表示単位字幕１１ｄの表示終了のタイミングと、表示単位字幕１１ｅが表示開始されるタイミングとは一致させたまま、両者表示が切り替わるタイミングが変更されることとなる。
【００４０】
各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）の表示開始及び終了のタイミングを示す四角の枠の右辺及び左辺は、その下の欄に表示されたスピーチ近似データ波形１４と時間軸を共通にしているため、スピーチ近似データ波形１４として２値化されて表示されたデータと見比べ、スピーチやポーズの位置を確認しつつ、字幕表示の時間幅や表示タイミングの変更を行うことが出来る。
【００４１】
このように、視覚的かつ直感的ににスピーチやポーズの位置を判断することができ、また、表示単位字幕表示領域の境界線を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うことが出来るので、表示単位字幕データの編集を簡単かつ高性能に実施でき字幕の表示タイミングの編集が容易となる。さらに、字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することができる。
【００４２】
【発明の効果】
上記のように、本発明によれば、表示単位字幕表示領域の境界線を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うので、半自動型字幕番組制作システムに本発明を適用することによって、視覚的、かつ直感的にタイミングの修正と修正結果の確認が可能となる。また、表示単位字幕のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与する。
【図面の簡単な説明】
【図１】本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムの基本原理を示す図であり、図１（ａ）は字幕の境界移動をする前の状態を示し、図１（ｂ）は字幕の境界移動により表示単位字幕の表示タイミングを変更した後の状態を示す。
【図２】本発明を適用する半自動字幕番組制作システムの機能図である。
【図３】本発明を適用した字幕素材編集のメイン画面である。
【図４】字幕素材編集のメイン画面中の字幕本文の一覧領域部分である。
【符号の説明】
１  字幕テキスト書き起こし機能
２  自動字幕データ制作機能
３  字幕番組編集・試写機能
４  字幕画面編集支援機能
１１  表示単位字幕文
１２  タイムライン
【図１】
0004088669.tif 000002
【図２】
0004088669.tif 000003
【図３】
0004088669.tif 000004
【図４】
0004088669.tif 000005