(57)【特許請求の範囲】
【請求項１】
付加情報がスーパーインポーズされた第一の画像を原画像に復元する原画像復元装置において、
前記第一の画像のスーパーインポーズ領域を検出する領域検出部と、
前記第一の画像から、前記スーパーインポーズ領域の画像情報を除いた第二の画像を生成する画像生成部と、前記第一の画像の前及び／又は後の画像から、スーパーインポーズされる前のスーパーインポーズ領域である第三の画像を取得する画像取得部と、
前記第二の画像と、前記第三の画像とを合成して原画像を復元する原画像復元部とを有し、
前記原画像復元部は、前記第二の画像に前記第三の画像を上書きして原画像を復元した場合に復元できない画素があったときは、フレーム画像内で空間内挿を行う空間内挿部を有することを特徴とする原画像復元装置。
【請求項２】
前記画像取得部は、
前記第一の画像から画像の動きベクトルを推定する動きベクトル推定部と、
前記第一の画像の前及び／又は後の画像から、前記動きベクトルに基づいて前記スーパーインポーズ領域の画像を抽出する画像抽出部とを有することを特徴とする請求項１に記載の原画像復元装置。
【請求項３】
前記動きベクトル推定部は、
カメラパラメータを用いて動きベクトルを検出することを特徴とする請求項２に記載の原画像復元装置。
【請求項４】
前記動きベクトル推定部は、
フレーム画像単位に比較することにより動きベクトルを検出することを特徴とする請求項２に記載の原画像復元装置。
【請求項５】
前記動きベクトル推定部は、
前記画像を所定の画素ブロック毎に分割し、前記ブロック単位で時間的に異なる対応した画素毎に比較して動きベクトルを検出することを特徴とする請求項２に記載の原画像復元装置。
【請求項６】
前記領域検出部は、
スーパーインポーズ領域を検出する際に予め設定された付加情報の表示領域のデータを用いることを特徴とする請求項１乃至５の何れか一項に記載の原画像復元装置。
【請求項７】
コンピュータに、付加情報がスーパーインポーズされた第一の画像を原画像に復元するための処理を実行させるプログラムにおいて、
コンピュータに、前記第一の画像のスーパーインポーズ領域を検出する領域検出ステップと、
前記第一の画像から、前記スーパーインポーズ領域の画像情報を除いた第二の画像を生成する画像生成ステップと、
前記第一の画像の前及び／又は後の画像から、スーパーインポーズされる前のスーパーインポーズ領域である第三の画像を取得する画像取得ステップと、
前記第二の画像と、前記第三の画像とを合成して原画像を復元する原画像復元ステップとを実行させ、
前記原画像復元ステップは、前記第二の画像に前記第三の画像を上書きして原画像を復元した場合に復元できない画素があったときは、フレーム画像内で空間内挿を行う空間内挿ステップを有することを特徴とする原画像復元プログラム。
【請求項８】
前記画像取得ステップは、
前記第一の画像から画像の動きベクトルを推定する動きベクトル推定ステップと、スーパーインポーズされている前及び／又は後の画像から、前記動きベクトルに基づいて、前記スーパーインポーズ領域の画像を抽出する画像抽出ステップとを有することを特徴とする請求項７に記載の原画像復元プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原画像復元装置、及び原画像復元プログラムに係り、特に、文字スーパーやテロップ等の付加情報がスーパーインポーズされた画像から、スーパーインポーズされる前の原画像を復元する原画像復元装置、及び原画像復元プログラムに関する。
【０００２】
【従来の技術】
テレビジョン放送において、緊急ニュース、音楽番組の歌詞、或いはスポーツのスコア等の文字情報、時報、又はテロップ等の情報（以下、付加情報という）は、本来の番組である原画像に対し文字画像をスーパーインポーズして視聴者に放送している。
【０００３】
また、最近では、チャンネル数の増加及び番組の多様化に伴い、以前に番組で使用したスーパーインポーズされている画像を、再び別の番組素材として利用する方法が多く用いられている。一度使用した画像を再利用することにより、効率的に番組を生成し視聴者に提供することができる。
【０００４】
ここで、画像を再利用する場合にはスーパーインポーズされた画像から元の画像を復元することができず、文字の該当部分をモザイク等の特殊編集によってぼかしたり、別の画像で上書きしたりして対処している。上述の内容を図を用いて説明する。
【０００５】
図１は、従来のスーパーインポーズされた画像を再利用した場合の画像の一例を示す図である。
【０００６】
図１において、例えば、緊急なニュース情報を視聴者に知らせるために「臨時ニュース」というテロップをスーパーインポーズした画像を生成し、放送したとする（図１（ａ））。その後、この画像を他の番組で利用することになった場合は、「臨時ニュース」と表示されている画面のテロップ領域に対して、別の画像で上書きしたり、モザイクを入れたりして、表示されている内容が視聴者に理解できないように画像に特殊編集を行い、その画像が放送される（図１（ｂ））。
【０００７】
一方、上述のように最初から画像に付加情報をスーパーインポーズせずに、垂直帰線期間やデジタル放送のデータ放送の領域で、付加情報を画像情報とは別に符号化して伝送する方法が考えられる。
【０００８】
また、スーパーインポーズされる前の原画像を受信機側で復元できるようにするため、スーパーインポーズする箇所に該当する原画像を別途符号化する方法が、特開２０００−４１１８５号公報（テレビジョン信号の符号化装置および復号化装置）にて開示されている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した方法において、モザイク等の特殊編集を行う場合は、画像の再利用時に、上述したような特殊編集を行う必要が生じると共に、特殊編集された画像の領域は視聴者に違和感を与えるため、好ましい方法とは言えない。
【００１０】
また、文字情報等を画像情報とは別に符号化して伝送する方法の場合、データ放送に対応していない受信機では視聴することができないため、例えば、災害時の緊急ニュース等、全視聴者に知らせる必要がある場合には有効ではない。
【００１１】
また、スーパーインポーズする箇所のみの原画像を別途符号化する方法の場合、別途符号化された原画像を利用することで、スーパーインポーズされていない動画像を復元することができるが、スーパーインポーズされる部分については画像を２重に保存しておくことに等しいため、画像の情報量が膨大になってしまう。
【００１２】
したがって、既にスーパーインポーズされた画像（動画像）を効率的に再利用するためには、前記画像のみからスーパーインポーズされる前の原画像を復元する方法が必要となる。
【００１３】
本発明は、上記の点に鑑みなされたものであり、付加情報がスーパーインポーズされた場合に、画像の動き情報を利用して付加情報がスーパーインポーズされた画像部分に、他のフレーム画像の情報から取得した画像を合成することにより、スーパーインポーズされる前の原画像を復元することができる原画像復元装置、及び原画像復元プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１５】
請求項１に記載された発明は、付加情報がスーパーインポーズされた第一の画像を原画像に復元する原画像復元装置において、前記第一の画像のスーパーインポーズ領域を検出する領域検出部と、前記第一の画像から、前記スーパーインポーズ領域の画像情報を除いた第二の画像を生成する画像生成部と、前記第一の画像の前及び／又は後の画像から、スーパーインポーズされる前のスーパーインポーズ領域である第三の画像を取得する画像取得部と、前記第二の画像と、前記第三の画像とを合成して原画像を復元する原画像復元部とを有し、前記原画像復元部は、前記第二の画像に前記第三の画像を上書きして原画像を復元した場合に復元できない画素があったときは、フレーム画像内で空間内挿を行う空間内挿部を有することを特徴とする。
【００１６】
請求項１記載の発明によれば、付加情報がスーパーインポーズされた画像をスーパーインポーズされる前の原画像に効率的に復元することができる。また、一度スーパーインポーズされた画像を有効に再利用することができる。更に、復元できない画素があったときは、フレーム画像内で空間内挿を行うことで、より高精度な原画像の復元を行うことができる。
【００１７】
請求項２に記載された発明は、前記画像取得部は、前記第一の画像から画像の動きベクトルを推定する動きベクトル推定部と、前記第一の画像の前及び／又は後の画像から、前記動きベクトルに基づいて前記スーパーインポーズ領域の画像を抽出する画像抽出部とを有することを特徴とする。
【００１８】
請求項２記載の発明によれば、動きベクトルを推定することで、第一の画像の前及び／又は後の画像から、付加情報がスーパーインポーズされていない前記スーパーインポーズ領域の画像を抽出することができる。
【００１９】
請求項３に記載された発明は、前記動きベクトル推定部は、カメラパラメータを用いて動きベクトルを検出することを特徴とする。
【００２０】
請求項３記載の発明によれば、カメラパラメータを用いて撮影された画像の動きを把握することができ、動きベクトルを容易に推定することができる。
【００２１】
請求項４に記載された発明は、前記動きベクトル推定部は、フレーム画像単位に比較することにより動きベクトルを検出することを特徴とする。
【００２２】
請求項４記載の発明によれば、カメラパラメータがない場合でも、画像の全体的な動きが把握できるときに、フレーム単位に比較を行うことで、動きベクトルを容易に推定することができる。
【００２３】
請求項５に記載された発明は、前記動きベクトル推定部は、前記画像を所定の画素ブロック毎に分割し、前記ブロック単位で時間的に異なる対応した画素毎に比較して動きベクトルを検出することを特徴とする。
【００２４】
請求項５記載の発明によれば、カメラパラメータがなく、更に画像全体の動きが把握できない場合でも、前記ブロック単位で時間的に異なる対応した画素毎に比較することにより動きベクトルを容易に推定することができる。
【００２５】
請求項６に記載された発明は、前記領域検出部は、スーパーインポーズ領域を検出する際に予め設定された付加情報の表示領域のデータを用いることを特徴とする。
【００２６】
請求項６記載の発明によれば、領域検出部において、第一の画像のスーパーインポーズ領域を検出する処理を削減することができ、効率的にスーパーインポーズ領域を検出することができる。
【００２９】
請求項７に記載された発明は、コンピュータに、付加情報がスーパーインポーズされた第一の画像を原画像に復元するための処理を実行させるプログラムにおいて、コンピュータに、前記第一の画像のスーパーインポーズ領域を検出する領域検出ステップと、前記第一の画像から、前記スーパーインポーズ領域の画像情報を除いた第二の画像を生成する画像生成ステップと、前記第一の画像の前及び／又は後の画像から、スーパーインポーズされる前のスーパーインポーズ領域である第三の画像を取得する画像取得ステップと、前記第二の画像と、前記第三の画像とを合成して原画像を復元する原画像復元ステップとを実行させ、前記原画像復元ステップは、前記第二の画像に前記第三の画像を上書きして原画像を復元した場合に復元できない画素があったときは、フレーム画像内で空間内挿を行う空間内挿ステップを有することを特徴とする。
【００３０】
請求項７記載の発明によれば、付加情報がスーパーインポーズされた画像をスーパーインポーズされる前の原画像に効率的に復元することができる。また、一度スーパーインポーズされた画像を有効に再利用することができる。更に、復元できない画素があったときは、フレーム画像内で空間内挿を行うことで、より高精度な原画像の復元を行うことができる。
【００３１】
請求項８に記載された発明は、前記画像取得ステップは、前記第一の画像から画像の動きベクトルを推定する動きベクトル推定ステップと、スーパーインポーズされている前及び／又は後の画像から、前記動きベクトルに基づいて、前記スーパーインポーズ領域の画像を抽出する画像抽出ステップとを有することを特徴とする。
【００３２】
請求項８記載の発明によれば、動きベクトルを推定することで、第一の画像の前及び／又は後の画像から、付加情報がスーパーインポーズされていない前記スーパーインポーズ領域の画像を抽出することができる。
【００３３】
【発明の実施の形態】
本発明は、画像内で付加情報がスーパーインポーズされた箇所（領域）が、動画像の動きにより該当フレーム画像以外の時間的に前後する画像において、スーパーインポーズされていない状態が現れることを利用し、スーパーインポーズされた箇所に、他の画像から同じ箇所でインポーズされていない画像領域を取得し、該画像領域を合成する（上書きする）ことにより、スーパーインポーズされる前の原画像を復元することを主眼とする。
【００３４】
ここで、本件発明に内容を容易に理解するため、画像の一例を図に示して説明する。
【００３５】
図２は、本発明における原画像の復元方法を説明するための画像の一例を示す図である。
【００３６】
図２において、例えば、動画像内に「臨時ニュース」のテロップがスーパーインポーズされた画像（第一の画像）があった場合に、前記画像からテロップ部分の領域を抽出するテロップ部抽出処理と前記第一の画像から前記テロップ部分を除いた画像（第二の画像）を生成する非テロップ生成処理（図２▲１▼）、前記画像の前後にある複数の画像のフレームから大画面画像を作成し、テロップ部分の領域に対応するスーパーインポーズされていない同位置の画像領域（第三の画像）を切り出すテロップ領域切出処理（図２▲２▼）とを行い、前記第二の画像と前記第三の画像とを合成することにより原画像を復元することができる。これにより、原画像の復元が容易で且つ効率的にできるため、他の番組で画像を有効に利用することができ、再利用された動画像を見た視聴者も違和感なく視聴することができる。
【００３７】
なお、本発明における原画像を復元するための原画像復元方法は、この限りではなく、例えば、上述の領域切出処理において、テロップ部抽出処理にて抽出された領域が、１つのフレーム内にある場合は、大画面画像を作成する必要がなく、該当フレーム画像の直前のフレーム画像のみを利用することによりテロップ領域切出処理を行い、切出したテロップ領域部分を用いて原画像を復元することができる。
【００３８】
次に、本発明の実施の形態について、図を用いて説明する。また、説明を容易にするため、本発明における付加情報の１つであるテロップがスーパーインポーズされた画像に基づいて説明を行うが、他の付加情報でも同様の処理を行うことができる。
【００３９】
図３は、本発明における原画像復元装置の一例のブロック図である。
【００４０】
図３の原画像復元装置１は、カット検出部１１と、動き推定部１２と、テロップ部分抽出部１３と、画像更新部１４と、画像蓄積部１５と、テロップ切出部１６と、非テロップ部分生成部１７と、画像合成部１８と、フレーム内画素補填部１９とを有するよう構成されている。
【００４１】
図３において、スーパーインポーズされた画像信号は、カット検出部１１、動き推定部１２、テロップ部分抽出部１３、画像更新部１４、及び非テロップ部分生成部１７へ供給される。
【００４２】
カット検出部１１では、スーパーインポーズされた画像フレームが動画像のカット切り換え直後のフレームか否かを検出し、その結果を出力する。なお、カット切り換えの検出方法は、例えば、直前のフレーム画像との差分値を計算し、その差分値が所定の閾値を超える場合にカット切り換えが行われていると判断することで検出することができる。
【００４３】
動き推定部１２は、スーパーインポーズされた画像信号と、カット検出部１１より出力されたカット検出信号とを入力する。動き推定部１２では、例えば、図４に示すような動き推定の処理フローチャートにしたがって、画像の動き推定を行う。
【００４４】
図４では、まず、画像撮影時のカメラパラメータが存在するか否かを判断する（Ｓ１１）。ここで、カメラパラメータとは、撮影中に用いたカメラの水平方向の動きを示すパン、鉛直方向の動きを示すチルト及びズーム等のカメラの動きがパラメータ化されたものである。
【００４５】
Ｓ１１にて、カメラパラメータが存在した場合は（Ｓ１１にて、ＹＥＳ）、カメラパラメータを画像の動きモデル、例えば、透視投影変換やアフィン変換モデル等に合わせた動きデータに変換し、変換した結果をそのフレーム画像の動きベクトルデータとして出力する（Ｓ１２）。
【００４６】
また、Ｓ１１にて、カメラパラメータが存在しない場合は（Ｓ１１にて、ＮＯ）、画像から動きベクトルを推定する。画像からの動きベクトルの推定については、大域的動き推定を行うか否かの判断を行う（Ｓ１３）。Ｓ１３にて、カメラのパンやチルトのように画像全体が動いている場合には（Ｓ１３にて、ＹＥＳ）、動きベクトルの推定をフレーム画像単位で行う大域的動き推定を行い、カメラパラメータ有りの場合と同様に画像の動きモデルに合わせた動きベクトルデータを推定して出力する（Ｓ１４）。
【００４７】
なお、大域的動き推定の方法としては、例えば、Ｊｏｚａｗａ，Ｋａｍｉｋｕｒａ，Ｓｅｇａｔａ，Ｋｏｔｅｒａ，Ｗａｔａｎａｂｅ，“Ｔｗｏ−ｓｔａｇｅｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ  ｕｓｉｎｇ  ａｄａｐｔｉｖｅ  ｇｌｏｂａｌ  ＭＣ  ａｎｄ  ｌｏｃａｌ  ａｆｆｉｎｅ  ＭＣ”，ＩＥＥＥ  Ｔｒａｎｓ．  Ｃｉｒｃｕｉｔ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  ＶｉｄｅｏＴｅｃｈ．，ｖｏｌ．７，ｎｏ．１，ｐｐ．７５−８５，  Ｊａｎ．１９９７等に開示されている。
【００４８】
一方、画像の中で様々な動きがあり、画像全体の動きが特定できない場合には、大域的動き推定を行わず（Ｓ１３にて、ＮＯ）、画像を１６×１６画素や８×８画素といった大きさの領域ブロックに分割し、これらのブロック単位に動き推定を行い、ブロック単位の動きベクトルを推定して出力する（Ｓ１５）。なお、ブロック単位での動きベクトルの推定には、一般的なブロックマッチング法や勾配法等を利用することができる。
【００４９】
上述の内容により、動き推定部１２は、入力された画像信号の動きベクトルを出力することができる。
【００５０】
次に、テロップ部分抽出部１３は、スーパーインポーズされた画像信号を入力すると、例えば、図５に示すようなテロップ部分抽出の処理フローチャートにしたがって、文字等のテロップがスーパーインポーズされた画像からのテロップ形状の領域を抽出する。
【００５１】
図５では、最初に、前のフレームで既にテロップ形状が抽出されていて、更に前フレームで抽出されたテロップ形状と比べて変化がない場合は（Ｓ２１にて、ＹＥＳ）、テロップ形状領域を示したマスク画像の抽出は行わず、既に抽出されているマスク画像をそのまま利用する。
【００５２】
また、Ｓ２１にて、前フレームにてフレーム形状が抽出されてないか、又はフレーム形状が抽出されているがその形状に変化があった場合（Ｓ２１にて、ＮＯ）、テロップの形状パターンが所定のパターンに該当するか否かの判断を行う（Ｓ２２）。
【００５３】
Ｓ２２にて、テロップの形状パターンが所定のパターンに該当する場合（Ｓ２２にて、ＹＥＳ）、例えば、時報のスーパーのように、０から９までの数字と、時間と分との間のコロン「：」との組合せからなるテロップ形状であると特定できる場合は、予め所定のパターンとして形状領域データ２１を蓄積しておき、形状領域データ２１を参照してテロップパターンに該当するテロップ形状の領域を抽出し、その結果をテロップ形状を示すマスク画像として出力する（Ｓ２３）。
【００５４】
なお、領域の検出は、上述した動画像の動きベクトル推定の方法を利用してパターンマッチングにより行う。また、パターンを予め設定し形状領域データに蓄積しておき、そのパターンに合うように番組編集側でスーパーインポーズを行うことにより、テロップ形状の領域を容易に抽出できると共に、時報以外の多様なテロップパターンにも対応することができる。
【００５５】
また、Ｓ２２にてテロップ形状パターンが所定のパターンに該当しなかった場合は（Ｓ２２にて、ＮＯ）、使用者がディスプレイ等で画像を確認し、テロップ形状の領域を新たに設定することにより、領域の切り出しを行いテロップ形状を示すマスク画像として出力する（Ｓ２４）。
【００５６】
次に、画像更新部１４は、スーパーインポーズされた画像信号と、カット検出部１１にて検出されたカット検出信号と、動き推定部１２にて出力される動きベクトル信号と、テロップ部分抽出部１３にて出力されるテロップ形状マスク画像信号と、画像蓄積部１５から出力される参照画像信号とを入力する。
【００５７】
画像更新部１４は、例えば、図６に示すような参照画像更新の処理フローチャートにしたがって、画像の復元に用いる参照画像の更新が行われる。図６では、まず、カット検出部１１から入力するカット検出信号により、スーパーインポーズされた画像信号がカット切り換え直後のフレーム画像であるか否かを判断し（Ｓ３１）、カット切り換え直後のフレーム画像である場合は（Ｓ３１にて、ＹＥＳ）、画像蓄積部１５より入力した参照画像信号は、前のカットの参照画像であるため使用せずにデータをリフレッシュする（Ｓ３２）。
【００５８】
次に、参照画像の更新処理として該当フレーム画像の直前のフレーム画像のみを用いるか否かを判断する（Ｓ３３）。判断基準としては、例えば、背景画像に動きがなく、且つ突然表示されるテロップ等については、直前のフレーム画像のみを用いてテロップ形状の領域を上書きするための参照画像を作成することができる。一方、画像に動きがあり、直前のフレームだけではテロップ領域の全ての画像位置が表示されない場合は、複数のフレーム画像から大画面画像を生成して参照画像の作成を行う。なお、画像が動いているか否かは、動きベクトル信号により判断する。また、Ｓ３３での判断を行わずに予め更新処理の方法を設定しておいてもよい。
【００５９】
Ｓ３３において、直前のフレーム画像のみを用いる場合は（Ｓ３３にて、ＹＥＳ）、画像の更新はスーパーインポーズされた画像信号からテロップ形状マスク画像信号で示されるテロップ部分を除いた部分の画像を直前のフレーム画像に上書きする画像上書き更新処理を行う（Ｓ３４）。なお、この場合、画像のサイズは入力されるスーパーインポーズされた画像信号と同一であるため、動き推定部１２より入力する動きベクトル信号を使って上書きするための座標変換を行う必要はない。
【００６０】
また、Ｓ３３において、参照する画像として推定した動きベクトルで作成した大画面の画像信号を用いる場合は（Ｓ３３にて、ＮＯ）、例えば、泰泉寺、石橋、小林著、「カメラモーション抽出によるスプライト自動生成」、信学論、Ｄ−ＩＩ，ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，ｎｏ．６，ＰＰ．１０１８−１０３０，１９９９等に開示されているパラメータを利用して動画像を貼り合わせるスプライト生成技術（方法）により、大画面背景画像を作成するのと同じ方法で大画面画像更新処理を行う（Ｓ３５）。
【００６１】
この場合、新たに貼り合わせる（上書きする）画像は、スーパーインポーズされた画像信号からテロップ形状のマスク画像信号で示されたテロップ領域部分を取り除いた画像を、動きベクトル信号により基準となる座標系に変換した画像となる。
【００６２】
なお、カメラパラメータを利用して求めた動きベクトルを用いて大画面の画像信号を作成する場合は、本出願人による出願「特願２００１−３３４０４９号（背景画像生成装置およびそのプログラム）」に記載されている方法を用いて処理することができる。この方法によれば、実時間での画像の幾何変換によって、各画面を精度よく貼り合わせて大画面画像を生成することができる。
【００６３】
上述の処理（Ｓ３４、Ｓ３５）により更新された画像信号は、画像蓄積部１５へ出力され画像蓄積部１５にて更新画像が蓄積される。
【００６４】
上述したように参照画像を蓄積することにより、例えば、連続する画像において、スーパーインポーズされた画像のテロップ形状の領域が同じであった場合に、一度生成された参照画像を画像のテロップ形状の領域が変わるまで、継続して利用することができ、効率的な復元処理を行うことができる。
【００６５】
テロップ切出部１６は、画像蓄積部１５に蓄積されている参照画像信号と、動き推定部より出力される動きベクトル信号と、テロップ部分抽出部１３より出力されるテロップ形状マスク画像信号とを入力する。テロップ切出部１６は、動きベクトル信号に合わせて参照画像信号を座標変換し、テロップ形状マスク画像信号で示される部分の画像のみを参照画像から切り出して、テロップ該当箇所画像信号を出力する。
【００６６】
非テロップ部分生成部１７は、スーパーインポーズされた画像信号とテロップ形状マスク画像信号とを入力し、スーパーインポーズされた画像信号からテロップ形状マスク画像信号で表されるテロップ形状部分を除いた非テロップ部分画像信号を生成して出力する。
【００６７】
画像合成部１８は、テロップ切出部１６より出力されるテロップ該当箇所画像信号と、非テロップ部分生成より出力される非テロップ部分画像信号とを入力する。画像合成部１８では、非テロップ部分画像信号のテロップ該当部分にテロップ該当箇所画像信号を上書きするように合成し、合成画像信号を出力する。
【００６８】
フレーム内画素補填部１９は、画像合成部１８から出力された合成画像信号を入力する。フレーム内画素補填部１９は、合成画像信号の画素の中で、画素位置に対応する参照画像が無いために内挿されていない部分をフレーム内の空間内挿で補う処理を施す。ここで、空間内挿として、例えば、動画像符号化方式ＭＰＥＧ−４規格で用いられているパディング方式を用いることにより画素単位で内挿することができる。
【００６９】
なお、上述にて原画像を復元するための原画像復元方法について説明したが、原画像に復元する各処理を実行させるための原画像復元プログラムを生成し、そのプログラムに基づいて、コンピュータに、原画像を復元する処理を実行させることも可能である。
【００７０】
ここで、上述の原画像復元プログラムが実行する一例の処理をフローチャートを用いて説明する。
【００７１】
図７は、原画像復元プログラムが実行する処理の一例のフローチャートである。
【００７２】
図７において、まず、付加情報がスーパーインポーズされた画像（第一の画像）から付加情報（例えば、テロップ）形状部分（領域）を抽出する付加情報部分抽出処理を行う（Ｓ４１）。次に、Ｓ４１にて抽出された付加情報形状部分に基づいて、スーパーインポーズされた画像から付加情報形状部分を除いた画像（第二の画像）を生成する非付加情報部分生成処理を行う（Ｓ４２）。
【００７３】
また、付加情報がスーパーインポーズされているフレーム画像がカット切り換え直後のフレーム画像であるか否かを検出するカット検出処理を行い（Ｓ４３）、次に、カメラパラメータ又は画像の前後のフレーム画像から動きベクトルの推定をする動き推定処理を行う（Ｓ４４）。その後、Ｓ４３及びＳ４４で出力される結果に基づいて、スーパーインポーズされた画像の前後のフレーム画像からスーパーインポーズされる前の付加情報形状部分の画像（第三の画像）を参照画像として取得する参照画像取得処理を行う（Ｓ４５）。なお、Ｓ４３及びＳ４４は、ステップを分けずにＳ４５にて行ってもよい。
【００７４】
次に、Ｓ４２にて生成された画像（第二の画像）と、Ｓ４５にて取得された画像（第三の画像）とを合成する画像合成処理を行い（Ｓ４６）、画像の復元を行う。なお、Ｓ４６にて、出力される画像に画素が内挿されていない箇所があった場合は、フレーム内の空間内挿による画素補填処理を行う（Ｓ４７）。これにより高精度な原画像を復元することができる。
【００７５】
また、図３に示す各部の処理は、コンピュータのメモリに格納された上述の原画像復元プログラムによって実行される。
【００７６】
なお、上述した原画像復元プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶させてコンピュータにインストールすることにより、原画像の復元を容易に実行することができる。更に、この他の方法として、原画像復元プログラムを通信インターフェース及びネットワークからファイル形式で取得し、コンピュータにインストールすることによっても原画像の復元を実行させることができる。
【００７７】
上述により、図３に示す原画像復元装置１、又は原画像復元プログラムを用いることにより、付加情報がスーパーインポーズされた画像信号からスーパーインポーズされる前の原画像を復元することができる。また、復元された原画像を用いて、画像を用いた番組の有効な再利用を容易に行うことができる。更に、本発明における復元された原画像を用いることで、番組を視聴する視聴者に違和感を与えることなく提供することができる。
【００７８】
【発明の効果】
上述の如く本発明によれば、テロップ等の付加情報が画像にスーパーインポーズされた場合に、該当フレーム画像以外のフレーム画像を利用して、スーパーインポーズされる前の原画像を復元でき、画像を効率的に再利用することができる。
【図面の簡単な説明】
【図１】従来のスーパーインポーズされた画像を再利用した場合の画像の一例を示す図である。
【図２】本発明における原画像の復元方法を説明するための画像の一例を示す図である。
【図３】本発明における原画像復元装置の一例のブロック図である。
【図４】動き推定の処理フローチャート例である。
【図５】テロップ部分抽出の処理フローチャート例である。
【図６】参照画像更新の処理フローチャート例である。
【図７】原画像復元プログラムが実行する処理の一例のフローチャートである。
【符号の説明】
１  原画像復元装置
１１  カット検出部
１２  動き推定部
１３  テロップ部分抽出部
１４  画像更新部
１５  画像蓄積部
１６  テロップ切出部
１７  非テロップ部分生成部
１８  画像合成部
１９  フレーム内画素補填部
２１  形状領域データ
【図１】
0004095336.tif 000002
【図２】
0004095336.tif 000003
【図３】
0004095336.tif 000004
【図４】
0004095336.tif 000005
【図５】
0004095336.tif 000006
【図６】
0004095336.tif 000007
【図７】
0004095336.tif 000008