(57)【要約】【課題】本発明の目的は、画像データに文字等の情報データを多重して送信する場合におういて、画像の劣化を軽減しながら情報データを多重する方法及び装置と、多重された情報データを抽出すると共に、画質を元通りにする抽出方法及び装置を提供することにある。【解決手段】原画像データに基づき隣接する原画像データから当該隣接画像データに対する補間データを得、当該補間データが小数点以下の値を含む場合には小数点以下の値を切り捨てる小数点処理を施し、小数点以下の切り捨て処理をした補間データについてのみ当該補間データの最下位ビットに情報データを加算するものとし、前記小数点処理をした補間データあるいは小数点処理しない補間データのそれぞれを当該隣接する原画像データの間に挿入することを特徴とする画像データ及び情報データのデータ多重方法。【選択図】      図１
2005026903.tif 000002
【特許請求の範囲】
【請求項１】
原画像データに基づき隣接する原画像データから当該隣接画像データに対する補間データを得、当該補間データが小数点以下の値を含む場合には小数点以下の値を切り捨てる小数点処理を施し、小数点以下の切り捨て処理をした補間データについてのみ当該補間データの最下位ビットに情報データを加算するものとし、前記小数点処理をした補間データあるいは小数点処理しない補間データのそれぞれを当該隣接する原画像データの間に挿入することを特徴とする拡大画像データに対する情報データのデータ多重方法。
【請求項２】
前記データ多重方法により多重された多重画像データを受信し、ダウンサンプリングにより原画像データを生成し、この原画像データに基づき隣接する原画像データから再生補間データを得ると共に、前記受信した多重画像データから補間データを抽出し、前記再生補間データが小数点以下の値を含む場合において、前記補間データと前記再生補間データの整数部における最下位ビットを比較し、一致する場合には情報データとして０レベルの論理値を出力し、また不一致の場合には情報データとして１レベルの論理値を出力することを特徴とする拡大画像に対する情報データのデータ抽出方法。
【請求項３】
コンピュータに請求項１に記載される拡大画像データに対する情報データのデータ多重方法を実行させるためのプログラム。
【請求項４】
コンピュータに請求項２に記載される拡大画像データに対する情報データのデータ抽出方法を実行させるためのプログラム。
【請求項５】
原画像データに基づき隣接する原画像データから当該隣接画像データに対する補間データを得るアップサンプル部と、
前記補間データが小数点以下の値を含む場合には小数点以下の値を切り捨て処理する少数処理部と、
前記小数点以下の値を切り捨て処理をした補間データについてのみ当該補間データの最下位ビットに情報データを加算し、前記小数点処理をした補間データあるいは小数点処理しない補間データのそれぞれを当該隣接する原画像データの間に挿入するデータ多重部と、
を特徴とする拡大画像データに対する情報データのデータ多重装置。
【請求項６】
前記データ多重装置により多重された多重画像データを受信し、ダウンサンプリングにより原画像データを生成するダウンサンプル部と、
前記原画像データに基づき隣接する原画像データから再生補間データを生成するアップサンプル部と、
前記受信した多重画像データから補間データを抽出する補間データ抽出部と、
前記再生補間データが小数点以下の値を含むか否かを判定する少数有無判定部と、
前記判定により再生補間データが小数点以下の値を含むと判定された場合において、前記補間データと前記再生補間データの整数部における最下位ビットを比較し、一致する場合には情報データとして０レベルの論理値を出力し、また不一致の場合には情報データとして１レベルの論理値を出力するデータ整数部ＬＳＢ比較部と、
を備えることを特徴とする拡大画像データに対する情報データのデータ抽出装置。
【請求項７】
前記データ整数部ＬＳＢ比較部における比較を排他的論理和回路により行うことを特徴とする請求項６記載の拡大画像データに対する情報データのデータ抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は原画像データを画像拡大し、これに他のデータを多重し、またこの多重データから他のデータを抽出する方法及び装置に関する。
【０００２】
【従来の技術】
現在、ＴＶ放送局では、デジタル放送の進展に伴い、高画質なハイビジョンＴＶが一般的になりつつあり、従来のＳＤＴＶ画像をアップコンバージョン（以下アップコンと略する）して、ＨＤＴＶフォーマットへ拡大変換することが多くなっている。アップコンする際、ＳＤＴＶ信号の映像ブランキング期間に多重された字幕放送や文字放送情報などのデータをどのようにＨＤＴＶ信号へ再多重するかが、課題となっている。その際、ＨＤＴＶのブランキング期間へ再多重することが考えられるが、規格が異なるために変換が必要となる。
【０００３】
その課題を解決する方法の一つとして、アップコンされた画像へ多重する方法が考えられる。従来の画像データ多重処理方法（特開２００１−７８００８号公報）では、予め決められた画像データ、または全ての画像データのＬＳＢ（最下位ビット）を２値の情報データで置き換えていた。この方法を拡大画像に対して適用した例を、図３に示す。まず、原画像をアップサンプリングした後、補間フィルタ処理を施すことによって画像を拡大する。拡大された画像に対して、従来方法を適用し、ＬＳＢへ情報データを多重する。
【０００４】
【特許文献１】
特開２００１−７８００８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来方法では、ＬＳＢを情報データへ置き換えているため、画素値を表現するビット数を１ビット減らすことに相当し、データ多重された画像の画質を劣化させていた。また、情報データ抽出後も、画質を元通りにすることは不可能であった。そのため、情報データの多重によって、デジタル放送メリットの一つである高画質が損なわれてしまう問題があった。
【０００６】
すなわち、従来の技術においては、画像の画質劣化に関して、まったく考慮されていない。仮に、データを多重する画素を制限したとしても、データ多重された画素では、真値との誤差は最大で１以上となっていた。また、情報データ抽出後も、画質を元通りにすることは不可能であった。
【０００７】
そこで、本発明の目的は、前述の問題点である画像の劣化を軽減しながら情報データを多重する方法及び装置と、多重された情報データを抽出すると共に、画質を元通りにする抽出方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１記載の発明によれば、原画像データに基づき隣接する原画像データから当該隣接画像データに対する補間データを得、当該補間データが小数点以下の値を含む場合には小数点以下の値を切り捨てる小数点処理を施し、小数点以下の切り捨て処理をした補間データについてのみ当該補間データの最下位ビットに情報データを加算するものとし、前記小数点処理をした補間データあるいは小数点処理しない補間データのそれぞれを当該隣接する原画像データの間に挿入することを特徴とする拡大画像データに対する情報データのデータ多重方法を得ることができる。
【０００９】
請求項２記載の発明によれば、前記データ多重方法により多重された多重画像データを受信し、ダウンサンプリングにより原画像データを生成し、この原画像データに基づき隣接する原画像データから再生補間データを得ると共に、前記受信した多重画像データから補間データを抽出し、前記再生補間データが小数点以下の値を含む場合において、前記補間データと前記再生補間データの整数部における最下位ビットを比較し、一致する場合には情報データとして０レベルの論理値を出力し、また不一致の場合には情報データとして１レベルの論理値を出力することを特徴とする拡大画像に対する情報データのデータ抽出方法を得ることができる。
【００１０】
請求項３記載の発明によれば、コンピュータに請求項１に記載される拡大画像データに対する情報データのデータ多重方法を実行させるためのプログラムを得ることができる。
【００１１】
請求項４記載の発明によれば、コンピュータに請求項２に記載される拡大画像データに対する情報データのデータ抽出方法を実行させるためのプログラムを得ることができる。
【００１２】
請求項５記載の発明によれば、原画像データに基づき隣接する原画像データから当該隣接画像データに対する補間データを得るアップサンプル部と、前記補間データが小数点以下の値を含む場合には小数点以下の値を切り捨て処理する少数処理部と、前記小数点以下の値を切り捨て処理をした補間データについてのみ当該補間データの最下位ビットに情報データを加算し、前記小数点処理をした補間データあるいは小数点処理しない補間データのそれぞれを当該隣接する原画像データの間に挿入するデータ多重部と、を特徴とする拡大画像データに対する情報データのデータ多重装置を得ることができる。
【００１３】
請求項６記載の発明によれば、前記データ多重装置により多重された多重画像データを受信し、ダウンサンプリングにより原画像データを生成するダウンサンプル部と、前記原画像データに基づき隣接する原画像データから再生補間データを生成するアップサンプル部と、前記受信した多重画像データから補間データを抽出する補間データ抽出部と、前記再生補間データが小数点以下の値を含むか否かを判定する少数有無判定部と、前記判定により再生補間データが小数点以下の値を含むと判定された場合において、前記補間データと前記再生補間データの整数部における最下位ビットを比較し、一致する場合には情報データとして０レベルの論理値を出力し、また不一致の場合には情報データとして１レベルの論理値を出力するデータ整数部ＬＳＢ比較部と、を備えることを特徴とする拡大画像データに対する情報データのデータ抽出装置を得ることができる。
【００１４】
請求項７記載の発明によれば、前記データ整数部ＬＳＢ比較部における比較を排他的論理和回路により行うことを特徴とする請求項６記載の拡大画像データに対する情報データのデータ抽出装置を得ることができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して、この発明の好適な実施の形態を例示的に説明する。ただし、この実施の形態に記載されている構成部品の寸法、材質、その相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１６】
図１に、本発明の一実施の形態にかかる原画像に対する文字データの多重装置のブロック図を示す。このデータ多重装置１は、原画像データ及び情報データからなる２系統が入力され、後述する処理により原画像データに情報データを挿入する。原画像データの系統では、当該原画像データをアップサンプリングするアップサンプル部３と、この出力を入力とし隣接する原画像データの中間値を補間するフィルタ４と、補間値が小数点以下を含む場合には切り捨て処理を行う少数処理部５と、を備える。一方、情報データは、情報データ部７にて受信され、前記小数点切り捨て処理に応じて情報データを出力する。そして、少数処理部５の処理に応じて、情報データ部７からの情報データと補間値を含む原画像データとを多重するデータ多重部６を備える。
【００１７】
次に、図４に示すフローチャートを用いてデータ多重装置１の動作について説明する。以下では、原画像データとして８ビットで表現されたデジタル画像を入力する場合であって、当該原画像データを水平方向又は垂直方向に拡大するものとし、２倍の画像データを生成する場合における情報データの多重を説明する。すなわち、拡大時には、入力される隣接の原画像データ（２画素）に対して１つの補間データを生成する事になる。ここで、画素値を保存する補間方法としては、線型補間を採用するものとし、既知の技術により種々の補間方法が適用されることはいうまでもない。本発明の本質は、種々の補間方法ではなく、補間処理により補間データを得た後において画質が劣化しないような情報データの多重を特徴とするからである。
【００１８】
アップサンプル部３では、受信した原画像データをアップサンプルリングし、隣接する原画像データから補間値を生成する（ステップＳ１）。フィルタ４は、アップサンプル部３から出力される原画像データ及び補間データを入力とし、所定のフィルタ処理を施す（Ｓ２）。
【００１９】
上記アップサンプリング処理及びフィルタ処理後の原画像データ及び補間データは、少数処理部５に入力され、補間データの小数点処理を行う（ステップＳ３）。ここで、隣接した画素値ｘ１、ｘ２に対して生成された補間データｆ（ｘ）は、図５に示すとおり（ｘ１＋ｘ２）／２で表すことができる。なお、実際の小数点処理では、この数式に対してフィルタ処理した後の数式となるが、説明を簡単にするためこの数式の補間データを用いて小数点処理を説明する。
【００２０】
小数処理部５は、補間データｆ（ｘ）に小数点以下を含む場合には、当該小数点以下の切り捨て処理を実行するとともに、情報データ部７からの情報データをデータ多重部に出力するように制御する。また、小数点以下を含まない場合には、そのまま後段に出力するとともに、情報データ部７の多重は行われない。ここで、補間データｆ（ｘ）の小数以下が０にならないケースは、ｘ１，ｘ２の組み合わせが奇数と偶数の場合に限定される。今回、ｘ１を偶数、ｘ２を奇数とすれば、ｘ１＝２ｐ、ｘ２＝２ｑ＋１（ｐ、ｑ非負整数）と仮定するならば、ｆ（ｘ）＝（ｘ１＋ｘ２）／２より、ｆ（ｘ）＝ｐ＋ｑ＋０．５となる。
【００２１】
データ多重部６は、小数処理部５における処理の結果、小数点以下が切り捨てされた場合に限り、当該補間データのＬＳＢ（整数部）に情報データ部７から読み出した情報データを加算して出力する（ステップＳ４）。ただし、原画像データのビット数がｎである時、補間データが２ｎ−１を超える場合にのみ、小数点が存在しても、情報データの多重処理は行わず、小数部分の切り捨てを行う。上記の場合、画素データが２５５．０以上の場合、情報データの多重処理は行わないことになる。
【００２２】
以上説明したように、データ多重された画素値と真値の誤差は、小数点以下を切り捨てた後に０又は１を加算するため誤差は１未満となる。
【００２３】
次に、受信側において上記データ多重装置から受信したデータの抽出動作について説明する。図２に本実施の形態にかかるデータ抽出装置のブロック図を示す。当該データ抽出装置２は、受信した多重画像データから補間データを抽出する補間データ抽出部１２と、多重画像データからダウンサンプルにより原画像データを抽出するダウンサンプル部８と、抽出した原画像データからアップサンプリングにより補間データを再生するアップサンプリング部３と、アップサンプリング部３の出力をフィルタ処理するフィルタ部４と、フィルタ処理後の再生補間データを参照し小数点以下を含むか否かを判定する少数有無判定部９と、この判定を受けて多重画像データから抽出した補間データと再生補間データとを比較するデータ整数部ＬＳＢ比較部１０と、比較の結果に応じて情報データを抽出する情報データ抽出部１１と、を備える。
【００２４】
続いて、図５に示すフローチャートを用いて多重画像データに多重された情報データの抽出動作について説明する。以下の説明では、情報データを１ビット抽出する動作について説明するものとする。
【００２５】
多重画像データを受信すると、ダウンサンプル部８は、ダウンサンプリングにより原画像データを抽出する（ステップＳ１１）。
【００２６】
アップサンプル部３は、抽出された隣接する原画像データから送信側と同様に補間データを再生し、これを再生補間データとして出力する（ステップＳ１２）。
【００２７】
少数有無判定部９は、フィルタ処理された再生補間データに小数点以下が含まれるか否かを判定する。ここでは、再生補間データに小数点以下の値を含まない場合には「０」を、小数点以下の値を含む場合には「１」をそれぞれ判定結果として出力するものとする。また、判定結果「１」を出力する場合には、再生補間データも併せて後段に出力するものとする。
【００２８】
再生された補間データに小数点が含まれている場合、前述したとおり送信側において小数点以下の切り捨て処理及び情報データの多重処理が施されていることがわかる。したがって、データ整数部ＬＳＢ比較部１０は、少数有無判定部９から判定結果「１」が出力された場合、以下の手順に従って補間データ抽出部１２からの補間データから情報データを抽出する。
【００２９】
データ整数部ＬＳＢ比較部１０は、補間データ抽出部１２から出力された補間データのＬＳＢと、小数有無判定部９から受信した再生補間データにおける整数部分についてのＬＳＢとを比較する。その結果、両者が一致する場合には、送信側において「０」の情報データが多重されたものと判断し「０」を出力する。また、両者不一致の場合、送信側において「１」の情報データが多重されたものと判断し「１」を出力する。
【００３０】
なお、両者の比較を排他的論理和（ＥＸＯＲ）により求めることができる（ステップＳ１５）。すなわち、ＥＸＯＲ演算の結果、０の場合（ＬＳＢが一致）、情報データとして「０」を出力する（ステップＳ１６）。一方、１の場合（ＬＳＢが不一致）、情報データとして「１」を出力する（ステップＳ１７）。
【００３１】
尚、上記の説明では、１ビットの情報データを多重、抽出する方法を説明したが、一般的に、情報データには、多重データ数を含んだヘッダ情報が付加されており、そのデータ数を基に、連続的に情報データを多重、抽出する手順は明らかである。
【００３２】
本発明は放送の分野以外にも、インターネットなどのネットワーク上での画像拡大時にも適用が可能である。
【００３３】
【発明の効果】
以上により、本発明によれば、原画像を拡大変換し、拡大した画像に対して、データ多重処理を行う場合におこる画像の劣化を軽減することができる。本発明では、補間データが小数点以下を有する場合に、これを切り捨て情報データを挿入するため、従来比として誤差が少なくなるからである。また、補間データに小数点が含まれない場合、情報データを挿入することはないので、原画像データを劣化するようなこともない。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかるデータ多重装置のブロック図である。
【図２】本発明の一実施の形態にかかるデータ抽出装置のブロック図である。
【図３】従来技術のデータ多重装置のブロック図である。
【図４】データ多重装置１のデータ多重方法を示すフローチャートである。
【図５】データ抽出装置２のデータ抽出方法を示すフローチャートである。
【図６】原画像を２倍に行った時の線型補間法の概念図を示す。
【符号の説明】
１  データ多重装置
２  データ抽出装置
３  アップサンプル部
４  フィルタ部
５  小数処理部
６  データ多重部
７  情報データ
８  ダウンサンプル部
９  小数有無判定部
１０  データ整数部ＬＳＢ比較部
１１  データ抽出部
１２  ＬＳＢ処理部
１３  補間データ抽出部
【図１】
2005026903.tif 000003
【図２】
2005026903.tif 000004
【図３】
2005026903.tif 000005
【図４】
2005026903.tif 000006
【図５】
2005026903.tif 000007
【図６】
2005026903.tif 000008