(57)【要約】【課題】処理速度の高い部品を使用することなく、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない画像符号化装置及び画像符号化方法を提供する。【解決手段】テキスト合成位置・符号量決定部１１が、動画像データに対するテキストデータの合成位置を決定すると共に、決定した合成位置に該合成位置以外の部分の符号量よりも多い符号量を決定し、決定した合成位置を示す合成位置情報及び符号量を示す符号量情報を出力し、合成部１２が、テキスト合成位置・符号量決定部１１から出力された合成位置情報に基づき、動画像データにテキストデータを合成して合成画像データを出力し、動画像符号化部１３が、テキスト合成位置・符号量決定部１１から出力された合成位置情報及び符号量情報に基づき、合成部１２から出力される合成動画像データを符号化する。【選択図】図１
2009165002.tif 000002
【特許請求の範囲】
【請求項１】
画像データにオブジェクトデータを合成する位置を決定すると共に、前記位置以外の部分の符号量よりも多い符号量を前記位置に割り当てるように前記位置における符号量を決定し、合成位置情報及び符号量情報を出力するオブジェクト合成位置・符号量決定手段と、
前記オブジェクト合成位置・符号量決定手段から出力される前記合成位置情報に基づき、前記画像データに前記オブジェクトデータを合成し、合成画像データを出力するオブジェクト合成手段と、
前記オブジェクト合成位置・符号量決定手段から出力される前記合成位置情報及び前記符号量情報に基づき、前記オブジェクト合成手段から出力される前記合成画像データを符号化する合成画像符号化手段と、
を備えた画像符号化装置。
【請求項２】
前記画像データは、動画像データである請求項１記載の画像符号化装置。
【請求項３】
前記オブジェクトデータは、テキストデータである請求項２記載の画像符号化装置。
【請求項４】
前記オブジェクト合成手段は、前記画像データに前記オブジェクトデータを合成する際、符号化の単位に合わせて前記オブジェクトデータの占有面積を調整する請求項１記載の画像符号化装置。
【請求項５】
前記オブジェクトデータを合成する位置は、画像データの符号化開始位置から順に、もしくは符号化開始位置から終了位置までの前半部分に配置するように決定する請求項１記載の画像符号化装置。
【請求項６】
音声データを入力する音声入力手段と、
前記音声データを認識してテキストデータに変換する音声認識手段とをさらに備え、
前記オブジェクト合成位置・符号量決定手段は、前記画像データの符号化開始位置と、前記音声認識手段にて変換されたテキストデータの文字数とに基づいて、前記テキストデータを合成する位置を決定する請求項３記載の画像符号化装置。
【請求項７】
請求項１乃至請求項６のいずれかに記載の画像符号化装置を備えた電子機器。
【請求項８】
画像データにオブジェクトデータを合成する位置を決定すると共に、前記位置以外の部分の符号量よりも多い符号量を前記位置に割り当てるように前記位置における符号量を決定し、合成位置情報及び符号量情報を出力するオブジェクト合成位置・符号量決定工程と、
前記オブジェクト合成位置・符号量決定工程にて出力される前記合成位置情報に基づき、前記画像データに前記オブジェクトデータを合成し、合成画像データを出力するオブジェクト合成工程と、
前記オブジェクト合成位置・符号量決定工程にて出力される前記合成位置情報及び前記符号量情報に基づき、前記オブジェクト合成工程にて出力される前記合成画像データを符号化する合成画像符号化工程と、
を備えた画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する画像符号化装置及び画像符号化方法に関し、特に画像データとテキストデータを合成して符号化する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
近年、ＤＶＤ（Digital Versatile Disk）／ＨＤＤ（Hard Disk Drive）レコーダなどの録画再生装置の普及により、ＭＰＥＧ（Moving Picture coding Experts Group）などのコーデックを利用した圧縮動画像データを記録・再生することが一般的になってきている。なお、圧縮動画像データを扱うその他の電子機器には、テレビ電話装置やテレビ電話機能を有する携帯端末がある。
【０００３】
特許文献１で開示されたテレビ電話装置は、発信側の音声を音声認識してテキストデータに変換し、カメラ画像データに重畳して対局に送信する機能を有する。このテレビ電話装置は、音声をテキストデータに変換するので、聴覚が不自由な人でも対話することができるという利点を有しているものの、テキストデータをカメラ画像データに重畳して符号化することで、復号時に文字が潰れるなどして見づらくなる欠点を有している。
【０００４】
一方、特許文献２で開示された画像処理装置は、画像の一部に文字があると、その文字を抽出してそこに符号量を割り当て、その際、文字が見え易いように文字の符号量を多くし、その他の部分の符号量を少なくする機能を有している。この機能により、復号時の文字を見易くしながら圧縮効率を高めることができ、上述した特許文献１の欠点を解決することができる。
【０００５】
【特許文献１】特開２００４−３０４６０１号公報
【特許文献２】特開２００５−１５９６６２号号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２で開示された画像処理装置においては、リアルタイムでの文字領域抽出処理となるので、処理負荷が高くなり、他の処理に影響を与える虞があるという問題がある。なお、この問題は、処理速度の高い部品を使用することで回避することは可能であるが、処理速度の高い部品を使用することでコストが嵩み、製品価格に反映されてしまうという新たな問題が生ずる。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、処理速度の高い部品を使用することなく、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像符号化装置は、画像データにオブジェクトデータを合成する位置を決定すると共に、前記位置以外の部分の符号量よりも多い符号量を前記位置に割り当てるように前記位置における符号量を決定し、合成位置情報及び符号量情報を出力するオブジェクト合成位置・符号量決定手段と、前記オブジェクト合成位置・符号量決定手段から出力される前記合成位置情報に基づき、前記画像データに前記オブジェクトデータを合成し、合成画像データを出力するオブジェクト合成手段と、前記オブジェクト合成位置・符号量決定手段から出力される前記合成位置情報及び前記符号量情報に基づき、前記オブジェクト合成手段から出力される前記合成画像データを符号化する合成画像符号化手段と、を備える。
【０００９】
上記構成によれば、画像データに対するオブジェクトデータの合成位置を決定すると共に、決定した合成位置に該合成位置以外の部分の符号量よりも多い符号量を決定する。そして、決定した合成位置を示す合成位置情報に基づき、画像データにオブジェクトデータを合成して合成画像データを得た後、決定した合成位置を示す合成位置情報及び決定した符号量を示す符号量情報に基づき、合成画像データを符号化する。したがって、リアルタイムでの文字領域抽出処理を行うことがないので、処理負荷が高くなることがなく、製品コストを上昇させることがない。また、オブジェクトデータの画像データに対する合成位置の符号量を多くすることから、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない。
【００１０】
また、上記構成において、前記画像データは、動画像データである。
【００１１】
また、上記構成において、前記オブジェクトデータは、テキストデータである。
【００１２】
また、上記構成において、前記オブジェクト合成手段は、前記画像データに前記オブジェクトデータを合成する際、符号化の単位に合わせて前記オブジェクトデータの占有面積を調整する。
【００１３】
この構成によれば、符号化の単位に合わせてオブジェクトデータの占有面積を調整するので、オブジェクトデータを画像部分に対して無駄なく配置させることができ、またそれによって画像部分により多くの符号量を割り当てることができる。
【００１４】
また、上記構成において、前記オブジェクトデータを合成する位置は、画像データの符号化開始位置から順に、もしくは符号化開始位置から終了位置までの前半部分に配置するように決定する。
【００１５】
この構成によれば、符号化開始から前半のオブジェクトデータ部分の符号量を確定した後、後半の画像データ部分の符号量を制御し全体の符号量を調整できるため、リアルタイム符号量調整処理に向いている。なお、一般的に符号量は画像データの内容により変動するため、符号化終了付近に符号量を多く割り当てるべきオブジェクトデータ部分を配置してしまうと、画像データ全体の目標符号量に対して大きくずれてしまう可能性がある。ＴＶ電話などのリアルタイム符号量調整処理時に目標符号量を大きく上回ってしまうと、送信される画像データのフレームレートが下がり、カクカクしたような動画になってしまう。
【００１６】
また、上記構成において、音声データを入力する音声入力手段と、前記音声データを認識してテキストデータに変換する音声認識手段とをさらに備え、前記オブジェクト合成位置・符号量決定手段は、前記画像データの符号化開始位置と、前記音声認識手段にて変換されたテキストデータの文字数とに基づいて、前記テキストデータを合成する位置を決定する。
【００１７】
この構成によれば、画像データの符号化開始位置と、テキストデータの文字数とに基づいて、テキストデータを合成する位置を決定するので、テキストデータを画像部分に対して無駄なく配置させることができ、またそれによって画像部分により多くの符号量を割り当てることができる。
【００１８】
本発明の電子機器は、上記画像符号化装置を備える。
【００１９】
上記構成によれば、符号化における処理負荷が低く、また復号してもオブジェクトデータが見づらくなることがない。
【００２０】
本発明の画像符号化方法は、画像データにオブジェクトデータを合成する位置を決定すると共に、前記位置以外の部分の符号量よりも多い符号量を前記位置に割り当てるように前記位置における符号量を決定し、合成位置情報及び符号量情報を出力するオブジェクト合成位置・符号量決定工程と、前記オブジェクト合成位置・符号量決定工程にて出力される前記合成位置情報に基づき、前記画像データに前記オブジェクトデータを合成し、合成画像データを出力するオブジェクト合成工程と、前記オブジェクト合成位置・符号量決定工程にて出力される前記合成位置情報及び前記符号量情報に基づき、前記オブジェクト合成工程にて出力される前記合成画像データを符号化する合成画像符号化工程と、を備える。
【００２１】
上記方法によれば、画像データに対するオブジェクトデータの合成位置を決定すると共に、決定した合成位置に該合成位置以外の部分の符号量よりも多い符号量を決定する。そして、決定した合成位置を示す合成位置情報に基づき、画像データにオブジェクトデータを合成して合成画像データを得た後、決定した合成位置を示す合成位置情報及び符号量を示す符号量情報に基づき、合成画像データを符号化する。したがって、リアルタイムでの文字領域抽出処理を行うことがないので、処理負荷が高くなることがなく、製品コストを上昇させることがない。また、オブジェクトデータの画像データに対する合成位置の符号量を多くすることから、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない。
【発明の効果】
【００２２】
本発明によれば、文字領域を抽出することなく、文字領域の位置（すなわち画像データに合成する位置）を事前に決定しておいて、その部分に符号量を多く割り当てて符号化するので、処理速度の高い部品を使用することなく、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２４】
図１は、本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図である。同図において、本実施の形態に係る画像符号化装置１は、音声認識処理部１０と、テキスト合成位置・符号量決定部１１と、合成部１２と、動画像符号化部１３と、送出部１４とを備えて構成される。
【００２５】
音声認識処理部１０は、マイク３０から入力された音声データを認識してテキストデータに変換し出力する。テキスト合成位置・符号量決定部１１は、動画像データにテキストデータを合成する位置を決定すると共に、該位置以外の部分の符号量よりも多い符号量を該位置に割り当てるように該位置における符号量を決定し、合成位置情報及び符号量情報を出力する。
【００２６】
合成部１２は、テキスト合成位置・符号量決定部１１から出力される合成位置情報に基づき、カメラ４０からの動画像データにテキストデータを合成し、合成動画像データを出力する。合成部１２は、動画像データにテキストデータを合成する際、符号化の単位に合わせてテキストデータの占有面積を調整する。符号化の単位に合わせた調整を行うことでテキストデータを画像部分に対して無駄なく配置させることが可能となる。また、それによって画像部分により多くの符号量を割り当てることが可能となる。この処理の詳細については後述する。
【００２７】
動画像符号化部１３は、テキスト合成位置・符号量決定部１１から出力される合成位置情報及び符号量情報に基づき、合成部１２から出力される合成動画像データを符号化し、動画像符号化データを出力する。送出部１４は、動画像符号化部１３から出力される動画像符号化データを送出する。
【００２８】
なお、上記テキスト合成位置・符号量決定部１１は、オブジェクト合成位置・符号量決定手段に対応する。また、上記合成部１２は、オブジェクト合成手段に対応する。また、上記動画像符号化部１３は、合成画像符号化手段に対応する。また、上記動画像データは画像データに対応し、上記テキストデータはオブジェクトデータに対応する。
【００２９】
次に、上記構成の画像符号化装置１の動作について説明する。図２は、画像符号化装置１の動作を示すフロー図である。同図において、音声認識処理部１０でマイク３０からの音声データがテキストデータに変換された後、該テキストデータの送信文字内容より、必要なマクロブロック数を決定する（ステップＳＴ１）。すなわち、何文字あるか、フォントサイズがいくらか、行間がいくらかといった内容に従ってマクロブロック数を決定する。マクロブロックとは符号化する際の単位である。
【００３０】
テキストデータの送信文字内容に応じた必要なマクロブロック数を決定した後、例えば画面の左上から右方向へ、右終端にきたら一段下の左端から右方向へを繰り返す順次で、ステップＳＴ１で決定した数分のマクロブロックのみ符号量を高品質で固定するよう設定する（ステップＳＴ２）。すなわち、符号量を多く割り当てる部分を画像データの符号化開始位置から送信文字内容分のサイズで決定する。符号量を多く割り当てることで送信文字が高品質になり、圧縮しても復号後の文字が見づらくなることがない。なお、マクロブロックの符号量を画面の左上から固定するのは、ＭＰＥＧ４の規格によるものであり、当該規格に従わなければ必ずしも画面の左上から固定する必要はなく任意である。また、符号量を多く割り当てるということは、量子化値を小さく割り当てるということと等価である。また左上から順にとしているが、一部のマクロブロックを飛び越して、例えば、左上から中心までと一段下の左端から中心までに符号量を高品質で固定するような割り当て方法でも可能である。
【００３１】
ここで、参考として量子化値と符号量の定義を明確にする。アナログデータをデジタル値に変換（１６段階、２５６段階等）したものに対して、さらに小段階に丸めることを「量子化」としている。小段階に丸めるために除算する値を「量子化値」と言い、例えば２５６段階を１２８段階にする場合は「２」、３２段階にするには「８」となる。この最終的な段階をビット変換したときの量が「符号量」となり（例えば、２５６段階では８ビット、３２段階では５ビット必要）、段階が少ないほうが符号量は少なくなる。つまり、「量子化値」が「小」なら「符号量」は「大」となる。さらに、「量子化値」が「大」になると、データ値が粗くなるため（例えば、２５１／２５６を量子化値「８」で丸めると、２４８／２５６＝３１／３２となり、３／２５６の誤差がでる。量子化値「２」であれば「１」の誤差で済む）、元のデータ値との差が大きくなり、画像で言えば、ぼやけたような感じになる。つまり、「量子化値」が「大」なら「符号量」が「小」となり、画質は悪くなる。
【００３２】
図２において、ステップＳＴ２の処理を行った後、カメラ画像の左上から送信文字を合成し（ステップＳＴ３）、その後、合成動画像データを符号化し、動画像符号化データを出力する（ステップＳＴ４）。動画像符号化データを出力した後、通常のテレビ電話処理を行う。
【００３３】
図３は、本実施の形態の画像符号化装置１をテレビ電話機能付きの携帯端末に適用した場合の表示イメージの一例を示す図である。この場合、上述した動画像符号化データを受信したときの表示イメージを示す図である。同図において、携帯端末５０における対局送出画像５１は、画像データ上にテキストデータが合成されたものである。符号５２で示す領域がテキスト合成領域である。
【００３４】
図４は、テキスト配置イメージの一例を示す図である。図４の（ａ）は、テキストの大きさや配置・行間を調整していない場合のテキスト配置イメージであり、図４の（ｂ）はテキストの大きさや配置・行間を調整した場合のテキスト配置イメージである。図４の（ａ）及び（ｂ）において、点線で区切った部分がマクロブロックＭＢである。テキストが少しでも符号化単位であるマクロブロックＭＢにかかると、そのマクロブロックＭＢごと高品質に圧縮することになり、無駄が多くなる。これに対し、テキストの大きさや配置・行間を調整してぎりぎりマクロブロックＭＢに入るようにすることで、無駄が少なくなり、通常のカメラ画像部分に、図４の（ａ）の場合と比べてより多くの符号量を割り当てることが可能となる。このテキストの大きさや配置・行間の調整は合成部１２で行われる。
【００３５】
このように、本実施の形態に係る画像符号化装置１によれば、テキスト合成位置・符号量決定部１１が、動画像データに対するテキストデータの合成位置を決定すると共に、決定した合成位置に該合成位置以外の部分の符号量よりも多い符号量を決定し、決定した合成位置を示す合成位置情報及び符号量を示す符号量情報を出力し、合成部１２が、テキスト合成位置・符号量決定部１１から出力された合成位置情報に基づき、動画像データにテキストデータを合成して合成画像データを出力し、動画像符号化部１３が、テキスト合成位置・符号量決定部１１から出力された合成位置情報及び符号量情報に基づき、合成部１２から出力される合成動画像データを符号化する。
【００３６】
したがって、リアルタイムでの文字領域抽出処理を行うことがないので、処理負荷が高くなることがなく、製品コストを上昇させることがない。また、オブジェクトデータの画像データに対する合成位置の符号量を多くすることから、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがない。
【００３７】
また、合成部１２は、動画像データにテキストデータを合成する際に、符号化の単位に合わせてテキストデータの占有面積を調整するので、テキストデータを画像部分に対して無駄なく配置させることができ、またそれによって画像部分により多くの符号量を割り当てることが可能となる。
【００３８】
また、テキスト合成位置・符号量決定部１１は、オブジェクトデータを合成する位置を、画像データの符号化開始位置から順に、もしくは符号化開始位置から終了位置までの前半部分に配置する。これにより、符号化開始から前半のオブジェクトデータ部分の符号量を高品質で確定した後、後半の画像データ部分の符号量を制御し全体の符号量を調整できるため、ＴＶ電話などのリアルタイム符号量調整処理時に有効である。
【産業上の利用可能性】
【００３９】
本発明は、処理速度の高い部品を使用することなく、ＭＰＥＧなどのコーデックを利用した圧縮を行っても復号後の文字が見づらくなることがないといった効果を有し、ＤＶＤ／ＨＤＤレコーダなどの録画再生装置、テレビ電話装置、テレビ電話機能を有する携帯端末などの画像符号化処理を行う電子機器への適用が可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施の形態に係る画像符号化装置の概略構成を示すブロック図
【図２】図１の画像符号化装置の動作を説明するためのフロー図
【図３】図１の画像符号化装置をテレビ電話機能付き携帯端末に適用した場合の表示イメージの一例を示す図
【図４】図１の画像符号化装置をテレビ電話機能付き携帯端末に適用した場合のテキスト配置イメージの一例を示す図
【符号の説明】
【００４１】
１  画像符号化装置
１０  音声認識処理部
１１  テキスト合成位置・符号量決定部
１２  合成部
１３  動画像符号化部
１４  送出部
３０  マイク
４０  カメラ
５０  テレビ電話機能付き携帯端末
５１  対局送出画像
５２  テキスト合成領域
【図１】
2009165002.tif 000003
【図２】
2009165002.tif 000004
【図３】
2009165002.tif 000005
【図４】
2009165002.tif 000006