(57)【要約】【課題】  動画像の字幕表示には、視認性を高めるために高輝度の白色を用いることが多いが、周波数領域での量子化をベースとした圧縮方式で、このような字幕付き動画を圧縮すると、文字周囲にモスキートノイズが発生しやすく、また、文字部にビットが集中するために画像全体の画質が、字幕がないときに比べて劣化する。【解決手段】  動画像データは、動画像圧縮回路113で圧縮され、字幕テキストデータとマルチプレクサ114で合成され、蓄積・伝送系115を介して使用者のもとに届けられる。使用者が受け取ったデータは、デマルチプレクサ116により、圧縮画像データとテキストデータに分離される。画像データは信号線120を通して動画像伸長回路117に送られる。テキストデータは、信号線121を通して字幕スーパインポーザ118に送られ、ここでビットマップテキスト画像に展開され、動画像伸長回路117で伸長された動画像へ重畳される。【選択図】  図4
2004266850.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータが重畳されていない動画像データを周波数領域変換して圧縮符号化した動画像符号化データと、テキストデータとが多重化された情報データを外部装置から受信する受信手段と、
前記受信手段により受信された情報データから前記動画像符号化データと前記テキストデータを分離する分離手段と、
前記分離手段により分離された動画像符号化データを復号する復号手段と、
前記復号手段により復号された動画像データに、前記分離手段により分離されたテキストデータを重畳する際の、テキストデータの重畳条件を設定するための設定手段と、
前記重畳条件に基づき、前記動画像データに前記テキストデータを重畳する重畳手段と、
前記テキストデータが重畳された動画像データを出力する出力手段とを有することを特徴とする動画像処理装置。
【請求項２】
テキストデータが重畳されていない動画像データを周波数領域変換して圧縮符号化した動画像符号化データと、テキストデータとが多重化された情報データを外部装置から受信し、
受信された前記情報データから前記動画像符号化データと前記テキストデータを分離し、
分離された前記動画像符号化データを復号し、
復号された動画像データに、分離された前記テキストデータを重畳する際の、テキストデータの重畳条件の設定を受け付け、
前記重畳条件に基づき、前記動画像データに前記テキストデータを重畳し、
前記テキストデータが重畳された動画像データを出力することを特徴とする動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像処理装置およびその方法に関し、とくに動画像に対してスーパインポーズなどの編集を施す動画像処理に関する。
【背景技術】
【０００２】
従来、ディジタル動画像データを編集、圧縮、伝送する場合は、動画像データを編集した後、加工済の動画像データを圧縮するのが一般的であった。ここで編集とは、例えば文字や図形などを動画像上にスーパインポーズしたり、次に説明するトランジションエフェクトなどを動画像に施すことである。
【０００３】
トランジションエフェクトとは、例えば時間的に連続する二つの動画像シーケンスを滑らかに接続するために、時間的に前方にある動画像をフェードアウトしながら、時間的に後方にある動画像をフェードインする処理のことである。この場合、遷移期間に指定した範囲においては、二つの動画像シーケンスが重なり合った特殊な状態の画像が現れることになる。
【０００４】
こうして得られた編集済の動画像データは、種々提案されている動画像符号化方式により符号化されて、通信回線を通じて受信側へ伝送される。受信側では、受信した符号データを復号して表示する。
【０００５】
図2は従来の動画像編集手順を示すフローチャートで、同図(a)は送信側端末の手順を、同図(b)は受信端末の手順をそれぞれ示す。
【０００６】
同図(a)において、送信側端末は、ステップS1で、動画像データを入力してメモリに記憶する。続いて、送信側端末は、ステップS2でトランジションエフェクトなどの効果の指定を受付け、ステップS3で、ステップS2で受付けた指定に基づいて、メモリに記憶した画像データを編集する。
【０００７】
次に、同図(b)において、受信側端末は、ステップS6で符号データを受信する。続いて、受信側端末は、ステップS7で、受信した符号データを復号して、復号して得た動画像データをメモリに記憶する。続いて、受信側端末は、ステップS8でディスプレイに動画像を表示する。
【０００８】
【特許文献１】特開平4-103271号公報
【特許文献２】特開昭60-79883号公報
【特許文献３】特開平2-123881号公報
【特許文献４】特開平1-286682号公報
【特許文献５】特開平1-232573号公報
【特許文献６】特開平4-256296号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
通常、テレビジョンや映画など動画像の字幕表示には、視認性を高めるために高輝度の白色を用いることが多いが、周波数領域での量子化をベースとしたMPEGなど圧縮方式で、このような字幕付き動画を圧縮すると、文字周囲にモスキートノイズが発生しやすく、また、文字部にビットが集中するために画像全体の画質が、字幕がないときに比べて劣化するという問題があった。
【００１０】
また、使用者の操作性の点でも問題が多い。例えば、字幕の位置は、通常、画面下部に固定され、使用者が表示位置を任意に切替えることはできず、字幕が不要な場合にも、これを非表示に切替えることもできなかった。
【００１１】
さらに、例えば映画などの動画像について、日本語と英語の字幕を切替えながら観るということができない問題があった。二種類の字幕を必要とする場合は、使用者は字幕部のみ異なる二つの動画像データを入手する必要があり、他方、制作者側も、販売圏（例えば日本語圏と英語圏）に応じて、異なった版を作制する必要かあり、無駄が多かった。
【００１２】
本発明は、上述の問題を解決するもので、動画像データへのテキストデータの重畳に起因する画質の劣化を防ぐとともに、受信側におけるテキストデータの重畳条件の設定を可能にすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１４】
本発明によれば、テキストデータが重畳されていない動画像データを周波数領域変換して圧縮符号化した動画像符号化データと、テキストデータとが多重化された情報データを外部装置から受信し、受信された前記情報データから前記動画像符号化データと前記テキストデータを分離し、分離された前記動画像符号化データを復号し、復号された動画像データに、分離された前記テキストデータを重畳する際の、テキストデータの重畳条件の設定を受け付け、前記重畳条件に基づき、前記動画像データに前記テキストデータを重畳し、前記テキストデータが重畳された動画像データを出力することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、受信側で動画像データにテキストデータを重畳することで、送信側において動画像データへテキストデータを重畳することに起因する画質の劣化を防ぐとともに、受信側におけるテキストデータの重畳条件の設定を可能にすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明にかかる実施例の動画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１７】
図1は、本発明にかかる第1実施例の動画像処理方法によって動画像を処理するシステムの構成例を示すブロック図である。同図の動画像伝送システムは、通信回線によって結合された複数の端末a1、端末b2、端末c3、…によって構成され、端末a1は次のような構成を備えている。
【００１８】
同図の動画像伝送システムは、通信回線によって結合された複数の端末a1、端末b2、端末c3、…によって構成され、端末a1は次のような構成を備えている。
【００１９】
11は入力ポートで、動画像データをビデオカメラなどの画像入力装置19より取込む。12はCPUであり、ROM 14に記憶された制御プログラムに従って、画像データの処理、および、バス18を介した端末1a全体の制御を実行する。また、CPU 12は、RAM 13の所定の領域へアクセスすることにより、RAM 13に記憶された動画像データの任意フレームの任意座標における画素値を読み出すことができる。
【００２０】
15は符号化/復号回路、16はディスプレイであり、17はインタフェイスで、通信回線101との間のデータ通信を仲介する。なお、上記の構成部は、バス18によって相互に接続されている。また、他端末b2、端末c3、…も端末a1と略同様の構成を備えている。
【００２１】
図3は本実施例の動画像編集手順の一例を示すフローチャートで、同図(a)は送信側端末の手順を、同図(b)は受信側端末の手順をそれぞれ示す。
【００２２】
同図(a)において、本実施例の送信側端末は、ステップS11で、入力ポート11を介して、動画像データをRAM 13へ読み込む。続いて、送信側端末は、ステップS12で、スーパインポーズやトランジションエフェクト（フェードアウト、ワイプ等）などの複数の効果の指定を受け付ける。
【００２３】
続いて、送信側端末は、ステップS13で、インタフェイス17を介して、ステップS12で受け付けた効果指定データ（コマンドデータ）を通信回線101へ送出する。続いて、送信端末は、ステップS14で動画像データを符号化/復号回路15で符号化し、ステップS15で、インタフェイス17を介して、符号データを通信回線101へ送出する。なお、動画像データは予め符号化しておき、効果指定データを付加して通信回線101に送出するようにしてもよい。
【００２４】
すなわち、本実施例においては、効果指定データと、符号化した未編集の動画像データとを送出する。
【００２５】
次に、図3(b)において、受信側端末は、ステップS16で、インタフェイス17によって効果指定データを受信して、RAM 13に記憶する。続いて、受信端末は、ステップS17で、インタフェイス17によって動画像データの符号データを受信して、RAM 13に記憶する。続いて、受信側端末は、ステップS18で、符号化/復号回路15によって、RAM 13に記憶した符号データを復号して、復号して得た動画像データをRAM 13に記憶する。続いて、受信側端末は、ステップS19で、RAM 13に記憶した効果指定データに基づいて、RAM 13に記憶した動画像データを編集する。
【００２６】
編集は例えば以下のように行われる。今、受信した動画像のレートが毎秒5コマで、ディスプレイ16の表示可能なレートが毎秒20コマであるとする。このとき、フェードアウトを行うコマンドを受信した場合には、毎秒5コマの動画像のフレーム間を補間し、毎秒20コマの動画像データを作成した後に、フェードアウトの処理を行う（図6A参照）。ここで、補間処理としては、最も簡単なものとして、単純に同一画面を4コマ分繰返すことが考えられる。
【００２７】
なお、従来方式によれば、図6Bのような表示画像になる。また、フェードアウトの他にも例えば、ワイプなどのトランジションエフェクトも上述と同様の方法で行うことができる。
【００２８】
続いて、受信側端末は、ステップS20でディスプレイ16に動画像を表示する。
【００２９】
すなわち、本実施例は、受信側端末において、効果指定データおよび動画像データを受信した後、該符号データを復号して得た動画像データを、該効果指定データに基づいて編集する。
【００３０】
上記従来例においては、例えば、動画像上へ文字などをスーパインポーズしようとすると、線画データ（すなわち文字）が重畳された画像データを符号化することになり、主として自然画像の圧縮を目的とした公知の動画像符号化方式（例えばMPEGの符号化方式）では、画質を良くしようとすると効率よく圧縮できずに符号データの増大を招く一方、圧縮率を高くしようとすると文字が判読困難になるなどの著しい画質劣化を生じていた。また、従来例においては、秒間10コマ程度の低フレームレートで動画像データを伝送する場合に、動画像のフェードアウトを行うと、フェードアウトする画像の変化も低フレームレートで表現するほかなく、ぎくしゃくしたぎこちない効果しか得られなかった。
【００３１】
一方、本実施例によれば、文字のスーパインポーズは、受信側端末において、画像表示の直前に行われるので、圧縮効率の低下を招くことはなく、さらに画質劣化も生じない。また、本実施例によれば、動画像のフェードアウトを行う場合に、受信側端末において、上述の補間処理を行うことにより、フェードアウトする画像の変化部分のみ、他の部分よりもフレームレートを挙げることが容易にできるので、画像データの伝送効率を劣化させずに、滑らかなフェードアウトを得ることができる。
【００３２】
なお、上述の説明および図においては、符号化/復号回路15によって、動画像の符号化/復号を行う例を説明したが、本実施例はこれに限定されるものではなく、例えば、CPU 12によって、動画像の符号化/復号をソフトウェア処理によって実現してもよい。この場合、処理速度は低下するが、端末のコストを低減できる。
【００３３】
また、上述の説明および図においては、入力ポート11によって入力した動画像データ、またはインタフェイス17によって受信した符号データを、そのままRAM 13に記憶する例を説明したが、本実施例はこれに限定されるものではなく、例えば、充分に高速な符号化/復号回路を備えて、動画像データを入力しながらリアルタイムで符号化し、あるいは符号データを受信しながらリアルタイムで復号して、RAM 13に記憶してもよい。この場合、処理速度を向上できるほか、前者の場合にはRAM 13のメモリ容量を低減することができる。
【００３４】
また、上述の説明および図においては、データの記憶にRAMを用いる例を説明したが、本実施例はこれに限定されるものではなく、例えば、高速な処理を要求されない場合には、ハードディスクなどの外部記憶装置を用いてもよい。この場合、データ量の大きな動画像データを、低コストで処理することができる。
【００３５】
以上説明したように、本実施例によれば、受信端末で動画像データを編集することによって、符号化/復号による圧縮効率の低下や画質の劣化を招くことなく、高品位な動画像伝送を実現できる。
【００３６】
なお、本実施例の端末は、複数の機器から構成されるシステム、例えばビデオカメラ、ホストコンピュータなどのシステムであってもよく、また、一つの機器からなる装置、例えば動画像を記憶したホストコンピュータであってもよい。また。本実施例の処理は、システムあるいは装置へ、媒体に記憶されたプログラムを供給することによって実現してもよい。
【００３７】
以上、本発明の第1実施例によれば、動画像データの編集情報を伝送し、該動画像データを符号化して効率よく伝送する動画像処理方法を提供できる。また、本発明の第1実施例によれば、受信した編集情報に基づいて、受信した符号データを復号して得た動画像データを編集する動画像処理方法を提供できる。
【実施例２】
【００３８】
本実施例は、上述した第1実施例の動画像処理方法を、例えば映画の字幕や動画像付きカラオケの歌詞など、動画像に同期してテキストを画像上にスーパインポーズする技術に応用したものである。
【００３９】
本実施例では、動画像データと字幕などのテキストデータを別々に保持し、再生時に字幕などのテキストをビットマップに展開して画像上にスーパインポーズすることにより、字幕などのテキストを挿入したことに起因する画像圧縮/伸長時の画質劣化を防ぐと同時に、上述のような操作性の問題を解決している。
【００４０】
以下、図面を参照しながら、本発明にかかる第2実施例を詳細に説明する。
【００４１】
図4は本実施例における動画像処理システムの構成図である。111は字幕テキストデータを記憶する字幕テキストデータメモリ、112は動画像データを記憶する動画像データメモリ、113は動画像圧縮回路、114はマルチプレクサ、115は蓄積・伝送系、116はデマルチプレクサ、117は動画像伸長回路、118は字幕スーパインポーザ、119は表示器、120および121は信号線である。
【００４２】
動画像データメモリ112に蓄積された動画像データは、動画像圧縮回路113で圧縮され、字幕テキストデータメモリ111に蓄積されたテキストデータと、マルチプレクサ114で合成され、蓄積・伝送系115に送られる。ここで、蓄積・伝送系とは、テープやCD-ROMなどのパッケージメディアや、ISDN、TV放送などの通信系であり、これらを通じてデータが使用者のもとに届けられる。
【００４３】
使用者が受け取ったデータは、デマルチプレクサ116により、圧縮画像データとテキストデータに分離される。画像データは信号線120を通して動画像伸長回路117に送られる。テキストデータは、信号線121を通して字幕スーパインポーザ118に送られ、ここでビットマップテキスト画像に展開され、動画像伸長回路117で伸長された動画像へ重畳される。こうして得られた字幕付き動画像が表示器119により表示される。
【００４４】
なお、表示器の代わりに画像形成装置（レーザビームプリンタ等）を用いて、動画像をフレーム毎にハードコピーしてもよく、本実施例で注目すべきは、字幕スーパインポーザが使用者側にあるということである。そして、操作パネル122により、使用者が字幕の表示/非表示、表示色、表示位置、文字の大きさなどを設定し、その設定に基づき制御回路123は、字幕スーパインポーザ118によるスーパインポーズを制御する。
【００４５】
上述の従来の伝送方法では、字幕スーパインポーザは送信側（動画像の制作者側）にあるため、字幕は固定位置に常に表示され続けていた。これに対して本実施例によれば、ユーザが字幕スーパインポーザに指示を与えることにより、字幕の表示/非表示、表示色、表示位置、文字の大きさなどを自由に設定でき、操作性を大幅に改善できる。また、本実施例によれば、上述のような画質と圧縮効率の関係も良好にすることができる。
【００４６】
また、図4に示した動画像圧縮回路113としては、国際標準の動画像圧縮方式であるMPEGのエンコーダを用いることができる。MPEGのビットストリームには「ユーザデータ領域」が規定されており、MPEGに準拠した上で一ピクチャごとに任意のデータを書込むことができるため、マルチプレクサ114では、この「ユーザデータ領域」にテキストデータを書込むという動作を行う。デマルチプレクサ116では、MPEGビットストリームの「ユーザデータ領域」からテキストデータを読出して字幕スーパインポーザ118に送る。動画像伸長回路117にはMPEGデコーダを用いる。
【００４７】
本実施例によれば、標準的な動画像圧縮方式であるMPEGに準拠した符号データを生成できるという利点がある。
【００４８】
本実施例で説明した再生系ではなく、通常のMPEGデコーダで再生した場合は、ユーザデータ領域のデータが無視され、字幕が表示できなくなるだけで、動画像は正しく再生できるので、互換性は保たれる。
【００４９】
以上説明したように、本発明にかかる第2実施例によれば、画像にテキストがスーパインポーズされることに起因する画質劣化を回避することができ、また使用者が字幕の表示方法を任意に選択できるようになる。
【実施例３】
【００５０】
以下、図面を参照しながら、本発明にかかる第3実施例を詳細に説明する。
【００５１】
図5は本実施例における動画像処理システムの構成図である。131、132、133はそれぞれ字幕テキストデータを記憶する字幕テキストデータメモリ、134は動画像データメモリ、135は動画像圧縮回路、136はマルチプレクサ、137は蓄積、伝送系、138はデマルチプレクサ、139は動画像伸長回路、140は字幕スーパインポーザ、141は表示器、142は切替スイッチである。
【００５２】
字幕テキストデータメモリ131、132、133には、それぞれ異なる種類のテキストデータが入っている。例えば、第1字幕テキストデータメモリ131には日本語字幕、第2字幕テキストデータメモリ132には英語字幕、第3字幕テキストデータメモリ133には中国語字幕が入っているものとする。これら、三種類のテキストデータが、動画像データメモリ134から動画像圧縮回路135を経て圧縮された画像データと、マルチプレクサ136で重畳されて、蓄積、伝送系137に送られる。
【００５３】
受信側でデータは、デマルチプレクサ138を通り、圧縮画像データと三種類のテキストデータに分離される。圧縮画像データは動画像伸長回路139で伸長され、字幕スーパインポーザ160に送られる。スイッチ142は、テキストデータの何れか一つを選択する。本実施例では、使用者が三ヵ国語の字幕から所望のものを選択できることになる。ここで選択されたテキストデータは、スーパインポーザ140でビットマップに展開され、動画像と重畳され、表示器141で表示される。
【００５４】
以上説明したような構成をとることにより、使用者が複数種類の字幕の中から任意のものを選んで表示することが可能になる。
【００５５】
また、ここでは字幕テキストの種類を三系統としたが、勿論これに限られるものではなく、蓄積、伝送系の容量や転送能力の許す限り何系統でも入れることができる。また、とくに多国語を用意する必要もなく、同一言語で異なる内容のテキストを入れてもよいことはいうまでもない。
【００５６】
テキストをビットマップ展開して画像上にスーパインポーズする代わりに、音声合成装置でテキストを読み上げ、動画像に付随する音声とミキシングし（もしくは音声と差替え）て再生してもよい。
【００５７】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。また。本実施例は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【図面の簡単な説明】
【００５８】
【図１】本発明にかかる第1実施例の動画像処理によって動画像を処理するシステムの構成例を示すブロック図、
【図２】従来の動画像の編集手順を示すフローチャート、
【図３】本発明にかかる第1実施例の動画像の編集手順を示すフローチャート、
【図４】本発明にかかる第2実施例の構成例を示すブロック図、
【図５】本発明にかかる第3実施例の構成例を示すブロック図、
【図６Ａ】第1実施例によるフェードアウトの一例を説明する図、
【図６Ｂ】従来例によるフェードアウトを説明する図である。
【図１】
2004266850.tif 000003
【図２】
2004266850.tif 000004
【図３】
2004266850.tif 000005
【図４】
2004266850.tif 000006
【図５】
2004266850.tif 000007
【図６Ａ】
2004266850.tif 000008
【図６Ｂ】
2004266850.tif 000009