(57)【要約】【課題】画像変形を行った場合に、画像に含まれる文字を容易に認識できるようにする。【解決手段】入力された画像データから文字データを抽出し、文字データが抽出された画像データにおける空白部分を周囲の背景に基づいて補正する。そして、補正した画像データを、透視図法を用いて変形する。一方、前記抽出された文字データにおける文字の配置位置と大きさとを決定し、前記配置位置と大きさとが決定された文字と、前記変形された画像とを合成することにより、画像を変形しても文字の向き、形を変更させないようにし、視聴者は変形した画像から正しい情報を得ることができるようにする。【選択図】図１
2010277535.tif 000002
【特許請求の範囲】
【請求項１】
画像から文字を抽出する文字抽出手段と、
前記文字抽出手段によって前記文字が抽出された画像を変形する画像変形手段と、
前記文字抽出手段によって抽出された文字の配置位置と大きさとを決定する文字配置位置決定手段と、
前記文字配置位置決定手段によって前記配置位置と大きさとが決定された文字と、前記画像変形手段によって変形された画像とを合成する画像合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記文字抽出手段によって前記文字が抽出された前記画像における空白部分を周囲の背景に基づいて補正する画像補正手段をさらに有し、
前記合成手段は、前記文字配置位置決定手段によって前記配置位置と大きさとが決定された文字と、前記画像補正手段によって前記空白部分が補正された画像とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
文字を含む画像を変形する画像変形手段と、
前記画像変形手段によって変形された画像から文字を抽出する文字抽出手段と、
前記文字抽出手段によって抽出された文字の向きを、前記画像変形手段によって変形される前の向きに戻す画像方向復元手段と、
前記画像方向復元手段によって向きが戻った文字と、前記画像変形手段によって変形された画像とを合成する画像合成手段とを有することを特徴とする画像処理装置。
【請求項４】
画像から文字を抽出する文字抽出手段と、
前記文字抽出手段によって前記文字が抽出された画像と、前記文字抽出手段によって抽出された文字とを変形する画像変形手段と、
前記画像変形手段によって変形された文字の向きを前記変形する前の向きに戻す画像方向復元手段と、
前記画像方向復元手段によって向きが戻った文字と、前記画像変形手段によって変形された画像とを合成する画像合成手段とを有することを特徴とする画像処理装置。
【請求項５】
前記文字抽出手段によって前記文字が抽出された前記画像における空白部分を周囲の背景に基づいて補正する画像補正手段をさらに有し、
前記合成手段は、前記画像方向復元手段によって向きが戻った文字と、前記画像補正手段によって前記空白部分が補正された画像とを合成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記画像変形手段は、透視図法を用いることにより画像の変形を行うことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において前記文字が抽出された画像を変形する画像変形工程と、
前記文字抽出工程において抽出された文字の配置位置と大きさとを決定する文字配置位置決定工程と、
前記文字配置位置決定工程において前記配置位置と大きさとが決定された文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とを有することを特徴とする画像処理方法。
【請求項８】
文字を含む画像を変形する画像変形工程と、
前記画像変形工程において変形された画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において抽出された文字の向きを、前記画像変形工程において変形される前の向きに戻す画像方向復元工程と、
前記画像方向復元工程において向きが戻った文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とを有することを特徴とする画像処理方法。
【請求項９】
画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において前記文字が抽出された画像と、前記文字抽出工程において抽出された文字とを変形する画像変形工程と、
前記画像変形工程において変形された文字の向きを前記変形する前の向きに戻す画像方向復元工程と、
前記画像方向復元工程において向きが戻った文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とを有することを特徴とする画像処理方法。
【請求項１０】
画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において前記文字が抽出された画像を変形する画像変形工程と、
前記文字抽出工程において抽出された文字の配置位置と大きさとを決定する文字配置位置決定工程と、
前記文字配置位置決定工程において前記配置位置と大きさとが決定された文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
文字を含む画像を変形する画像変形工程と、
前記画像変形工程において変形された画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において抽出された文字の向きを、前記画像変形工程において変形される前の向きに戻す画像方向復元工程と、
前記画像方向復元工程において向きが戻った文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
画像から文字を抽出する文字抽出工程と、
前記文字抽出工程において前記文字が抽出された画像と、前記文字抽出工程において抽出された文字とを変形する画像変形工程と、
前記画像変形工程において変形された文字の向きを前記変形する前の向きに戻す画像方向復元工程と、
前記画像方向復元工程において向きが戻った文字と、前記画像変形工程において変形された画像とを合成する画像合成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１０〜１２の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム及び記憶媒体に関し、特に、画像を他の形状に変換するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、画面内に複数のウィンドウを表示させる際、画面内が煩雑になってしまうため、それぞれのウィンドウを３次元的に台形変換し、画面内を有効に扱う技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−６５８０６号公報
【特許文献２】特開２００７−１６６００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、例えば、画像を台形変換した場合、画像中に含まれる文字までも台形変換されてしまう。特に台形変換をする角度が大きくなってくると、横方向または縦方向に文字が大きくつぶれてしまい、例えば図８に示すように、文字が読み取りにくくなるといった問題があった。
【０００５】
本発明は前述の問題点に鑑み、画像変形を行った場合に、画像に含まれる文字を容易に認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像から文字を抽出する文字抽出手段と、前記文字抽出手段によって前記文字が抽出された画像を変形する画像変形手段と、前記文字抽出手段によって抽出された文字の配置位置と大きさとを決定する文字配置位置決定手段と、前記文字配置位置決定手段によって前記配置位置と大きさとが決定された文字と、前記画像変形手段によって変形された画像とを合成する画像合成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像変形を行った場合であっても、画像に含まれる文字を容易に認識することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る映像処理装置の構成例を示すブロック図である。
【図２】第２の実施形態に係る映像処理装置の構成例を示すブロック図である。
【図３】第３の実施形態に係る映像処理装置の構成例を示すブロック図である。
【図４】新しい文字座標パラメータを用いて文字の配置位置を決定する処理の概要を示す図である。
【図５】画像を変形する処理の一例を説明する図である。
【図６】文字列の各文字について向きの変形を行う処理の概要を示す図である。
【図７】画像の方向を復元する処理の一例を説明する図である。
【図８】従来において、画像を台形変換した場合の文字列の一例を示す図である。
【図９】画像を台形変換した場合の文字列の一例を示す図である。
【図１０】第１の実施形態における画像処理手順の一例を示すフローチャートである。
【図１１】第２の実施形態における画像処理手順の一例を示すフローチャートである。
【図１２】第３の実施形態における画像処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る映像処理装置（画像処理装置）１００の構成例を示すブロック図である。
図１において、映像入力部１０１は２次元の画像データを入力するためのものである。文字抽出部１０２は、入力された画像データから文字データを抽出する。そして、抽出した文字データ１０８を後述する文字配置位置決定部１０５に出力するとともに、文字データが抽出された画像データ１０９を画像補正部１０３に出力する。
【００１０】
画像補正部１０３は、文字抽出部１０２により文字が抽出された画像データにおいて、文字の抽出によって生じた空白部分を補正するためのものである。画像変形部１０４は、画像の形状を変形するためのものである。文字配置位置決定部１０５は、抽出された文字列において、各文字の配置する座標と大きさとを決定するためのものである。画像合成部１０６は、画像変形部１０４により画像の形状が変形された画像データと、文字配置位置決定部１０５により文字の配置する座標と大きさとが決定された文字データとを合成するためのものである。また、映像出力部１０７は、合成された画像データを出力するためのものである。
【００１１】
次に、処理の流れについて図１０を参照しながら説明する。図１０は、本実施形態における画像処理手順の一例を示すフローチャートである。
まず、ステップＳ１００１において、文字抽出部１０２は、映像入力部１０１を介して画像データを入力し、文字データを含まない画像データ１０９と文字データ１０８とに分離する。このとき、抽出された文字の座標の情報を、文字座標パラメータとして不図示のメモリに保存しておく。
【００１２】
次に、ステップＳ１００２において、文字データが抽出された画像データ１０９は文字が抽出された部分に空白が生じるため、画像補正部１０３は、その空白部分の補正を行う。本実施形態では、補正の一例として、周囲の背景画像を利用して推測し、画像を補完する方法を用いる。
【００１３】
次に、ステップＳ１００３において、画像変形部１０４は、画像補正部１０３により空白部分が補正された画像データに対して画像の形状を変形する変換処理を行う。ここで、画像の変形処理とは、拡大、縮小、回転、台形、四辺形等の形状に変形する処理である。例えば、台形に変形する処理の方法としては、各入力画素に伸長計数を乗、加算し、座標変換を行う方法などがある（例えば、特許文献２参照）。
【００１４】
図５は、本実施形態における画像を変形する処理の一例を説明する図である。
図５（ａ）及び図５（ｃ）において、画像奥への法線方向の軸をｚ軸、画像の水平方向をｘ軸、画像鉛直方向をｙ軸とする。変形手順としては、二次元の画像を、長方形の左辺を軸にして画面奥方向に角度θだけ回転させた後に、透視図法を用いることにより台形変形を行う。
【００１５】
図５（ａ）において、ｄ1×２ｄ2の変形前の画像５０１中のある点ａ，ｂ，ｃは、座標がそれぞれａ＝（ｘ1，ｙ1）、ｂ＝（ｘ2，ｙ2）、ｃ＝（ｘ3，ｙ3）に存在するピクセルを示す。図５（ｄ）に示すように、画像５０１を角度θだけ回転することにより、点ａ，ｂ，ｃはそれぞれ回転画像５０４中の点ａ'、ｂ'、ｃ'に移動する。ここで、透視図法を用いることにより、点ａ'、ｂ'、ｃ'はそれぞれ、図５（ｂ）に示すようにスクリーン５０５上の点ａ"、ｂ"、ｃ"に移される。
【００１６】
この方法を用いると、点ａについては、ａ'＝（ｘ1'，ｙ1'）、ａ"＝（ｘ1"，ｙ1"）とした場合、
ｘ1'＝ｘ1cosθ
ｙ1'＝ｙ1
ｘ1"＝ｓ−（ｓ−ｘ1'）＊Ｌ1／（Ｌ1＋Ｌ2）
ｙ1"＝ｙ1'＊Ｌ1／（Ｌ1＋Ｌ2）
となる。以上の計算を全ピクセルに対して行い、台形変形を行う。
【００１７】
ここで、文字抽出処理を行った際に保存しておいた文字座標パラメータについても以上の計算を行い、新しい文字座標パラメータとする。さらに、ある文字の座標を（ｍ，ｎ）とした場合、新しい文字座標パラメータにおいて、
Ａ＝（ｘ＝ｍでの上辺のｙ座標）−（ｘ＝ｍでの下辺のｙ座標）
を算出し、回転した軸（この場合ｙ軸）との比を拡大縮小パラメータとする。
【００１８】
次に、ステップＳ１００４において、文字配置位置決定部１０５は、画像変形部１０４において算出された新しい文字座標パラメータと拡大縮小パラメータとを用いて、文字の配置位置及び文字の大きさを決定する。具体的は、例えば図４に示すように、抽出されている各文字に拡大縮小パラメータを適用し、それぞれの大きさを変更する。その後、新しい文字座標パラメータを用いて文字の配置位置を決定する。
【００１９】
次に、ステップＳ１００５において、画像合成部１０６は、文字配置位置決定部１０５によって配置する場所と拡大縮小率とが決定した文字データと、画像変形部１０４によって変形された画像データとを合成する。そして、合成した画像データを、映像出力部１０７を介して出力し、処理を終了する。
【００２０】
以上のように本実施形態によれば、図９に示すように、画像を変形しても文字の向き、形を変更させないようにしたので、文字の視認性を高めることができ、視聴者は変形した画像から正しい情報を得ることができる。
【００２１】
（第２の実施形態）
本実施形態の映像処理装置の構成について、図２のブロック図を参照しながら説明する。図２は、本実施形態に係る映像処理装置（画像処理装置）２００の構成例を示すブロック図である。
図２において、映像入力部２０１は２次元の画像データを入力するためのものである。画像変形部２０２は入力された画像データを変形するためのものである。
文字抽出部２０３は画像変形部２０２により変形された画像データから文字データを抽出するためのものある。
【００２２】
画像方向復元部２０４は、画像変形部２０２により変形された画像の中の文字列において、変形の際に使用したパラメータを用いて一文字ずつ大きさを変えずに文字を向きだけ変形するためのものである。画像補正部２０５は、文字抽出部２０３により文字データが抽出された画像データ２０９において、文字の抽出によって生じた空白部分を補正するためのものである。画像合成部２０６は、画像方向復元部２０４により文字の向きが変形された文字データと、画像補正部２０５により空白部分が補正された画像データとを合成するためのものである。また、映像出力部２０７は合成された画像データを出力するためのものである。
【００２３】
次に、処理の流れについて図１１を参照しながら説明する。図１１は、本実施形態における画像処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、画像変形部２０２は、映像入力部２０１を介して画像データを入力し、入力した画像データに対して画像の形状を変形する変換処理を行う。ここで、画像の変形処理とは、拡大、縮小、回転、台形、四辺形等の形状に変形する処理である。
【００２４】
第１の実施形態と同様に、図５（ａ）及び図５（ｃ）において、画像奥への法線方向の軸をｚ軸、画像の水平方向をｘ軸、画像鉛直方向をｙ軸とする。変形手順としては、二次元の画像を、長方形の左辺を軸にして画面奥方向に角度θだけ回転させた後に、透視図法を用いることにより台形変形を行う。
【００２５】
図５（ａ）において、ｄ1×２ｄ2の変形前の画像５０１中のある点ａ，ｂ，ｃは、座標がそれぞれａ＝（ｘ1，ｙ1）、ｂ＝（ｘ2，ｙ2）、ｃ＝（ｘ3，ｙ3）に存在するピクセルを示す。図５（ｄ）に示すように、画像５０１を角度θだけ回転することにより、点ａ，ｂ，ｃはそれぞれ回転画像５０４中の点ａ'、ｂ'、ｃ'に移動する。ここで、透視図法を用いることにより、点ａ'、ｂ'、ｃ'はそれぞれ、図５（ｂ）に示すようにスクリーン５０５上の点ａ"、ｂ"、ｃ"に移される。
【００２６】
この方法を用いると、点ａについては、ａ'＝（ｘ1'，ｙ1'）、ａ"＝（ｘ1"，ｙ1"）とした場合、
ｘ1'＝ｘ1cosθ
ｙ1'＝ｙ1
ｘ1"＝ｓ−（ｓ−ｘ1'）＊Ｌ1／（Ｌ1＋Ｌ2）
ｙ1"＝ｙ1'＊Ｌ1／（Ｌ1＋Ｌ2）
となる。以上の計算を全ピクセルに対して行い、台形変形を行う。
【００２７】
次に、ステップＳ１１０２において、文字抽出部２０３は、変形処理された画像データを、文字データを含まない画像データ２０９と、文字データ２０８とに分離する。そして、ステップＳ１１０３において、文字データが抽出された画像データ２０９は文字が抽出された部分に空白が生じるため、画像補正部２０５は、その空白部分の補正を行う。本実施形態では、補正の一例として、周囲の背景画像を利用して推測し、画像を補完する方法を用いる。
【００２８】
次に、ステップＳ１１０４において、画像方向復元部２０４は、文字抽出部２０３によって抽出された文字データ２０８に対して、文字の大きさを変えないようにしてもとの向きに戻す。具体的には、例えば、図６に示すように、文字列の各文字について向きの変形を行う。
【００２９】
図７は、本実施形態において、画像の方向を復元する処理の一例を説明する図である。
図７（ａ）に示す画像６０１中において、点ｄ"及び点ｅ"はそれぞれ、ｙ＝０であり、変形された文字のｘ座標が左端及び右端の点である。ここで、図７（ｂ）に示すように、画像６０１をθだけ回転させていたものとする。上から見た図７（ｃ）に示すように、回転によって変形された文字の図形６０４が生成されるが、これは、図形６０５を点ｄ"を軸に回転して透視図法を使ってスクリーンに映したものである。つまり、図形６０５は図形６０４の元の図形である。
【００３０】
また、点ｄ'のｘ座標、ｙ座標をそれぞれｘ4'、ｙ4'とし、点ｅ'のｘ座標、ｙ座標をそれぞれｘ5'、ｙ5'とする。さらに、点ｄ"のｘ座標、ｙ座標をそれぞれｘ4"、ｙ4"とし、点ｅ"のｘ座標、ｙ座標をそれぞれｘ5"、ｙ5"とする。図形６０５の長さをＬとすると、相似の関係より、以下の式が成立する。
ｘ5'／cosθ：Ｌ＝ｘ5"：（ｘ5"−ｘ4"）
この式からＬを算出することにより、図形６０４を図形６０５の形に戻すことができる。
【００３１】
次に、ｙ座標の復元について説明する。ｙ座標については、各文字の回転を行う軸（文字右端のｄ"を通過する軸）の長さをＬとし、ｘ＝ａでの変形された文字の上辺のｙ座標と下辺のｙ座標との差をＡとする。そして、ｘ＝ａの部分にＬ／Ａをかけることにより復元が可能である。これにより、大きさを変えずに方向のみを元に戻すことが可能である。
【００３２】
なお、本実施形態では、文字部分の片側（点ｄ"が通過する軸）を中心に回転させる例について説明したが、図６に示したように、文字の中央を軸として回転させてもよい。この場合、文字の中央部分の上辺のｙ座標と下辺のｙ座標との差に長さを合わせるようにすれば復元が可能である。
【００３３】
次に、ステップＳ１１０５において、画像合成部２０６は、画像方向復元部２０４によって文字が復元された文字データと画像補正部２０５によって補正された画像データとを合成する。そして、合成した画像データを、映像出力部２０７を介して出力し、処理を終了する。
【００３４】
以上のように本実施形態によれば、図９に示すように、画像を変形しても文字の向き、形を変更させないようにしたので、文字の視認性を高めることができ、視聴者は変形した画像から正しい情報を得ることができる。
【００３５】
（第３の実施形態）
本実施形態の映像処理装置の構成について、図３のブロック図を参照しながら説明する。図３は、本実施形態に係る映像処理装置（画像処理装置）３００の構成例を示すブロック図である。
図３において、映像入力部３０１は２次元の画像データを入力するためのものである。文字抽出部３０２は入力された画像データから文字データを抽出する。そして、抽出した文字データ３０８と、文字データ３０８が抽出された画像データ３０９とを画像変形部３０３に出力する。
【００３６】
画像変形部３０３は文字抽出部３０２によって文字が抽出された画像データ３０９と、文字データ３０８とを変形する。そして、変形した文字データ３１０を画像方向復元部３０４に出力するとともに、変形した画像データ３１１を画像補正部３０５に出力する。
【００３７】
画像方向復元部３０４は、画像変形部３０３において画像の中の変形された文字列において、変形の際に使用したパラメータの一部を用いて、一文字ずつ大きさを変えずに文字を向きだけ変形するためのものである。画像補正部３０５は、画像変形部３０３において変形された画像において、文字の抽出によって生じた空白部分を補正するためのものである。画像合成部３０６は、画像方向復元部３０４により文字の向きが変形された文字データと、画像補正部３０５により空白部分が補正された画像データとを合成するためのものである。また、映像出力部３０７は、合成された画像データを出力するためのものである。
【００３８】
次に、処理の流れについて図１２を参照しながら説明する。図１２は、本実施形態における画像処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、文字抽出部３０２は、映像入力部３０１を介して画像データを入力し、文字データを含まない画像データ３０９と、文字データ３０８とに分離する。
【００３９】
次に、ステップＳ１２０２において、画像変形部３０３は、文字データを抽出された画像データ３０９及び文字データ３０８に対して、画像及び文字の形状を変形する変換処理を行う。なお、変形する際には、画像及び文字の双方とも同じパラメータを用いて行う。ここで、画像及び文字の変形処理とは、拡大、縮小、回転、台形、四辺形等の形状に変形する処理である。
【００４０】
第１の実施形態と同様に、図５（ａ）及び図５（ｃ）において、画像奥への法線方向の軸をｚ軸、画像の水平方向をｘ軸、画像鉛直方向をｙ軸とする。変形手順としては、二次元の画像を、長方形の左辺を軸にして画面奥方向に角度θだけ回転させた後に、透視図法を用いることにより台形変形を行う。
【００４１】
図５（ａ）において、ｄ1×２ｄ2の変形前の画像５０１中のある点ａ，ｂ，ｃは、座標がそれぞれａ＝（ｘ1，ｙ1）、ｂ＝（ｘ2，ｙ2）、ｃ＝（ｘ3，ｙ3）に存在するピクセルを示す。図５（ｄ）に示すように、画像５０１を角度θだけ回転することにより、点ａ，ｂ，ｃはそれぞれ回転画像５０４中の点ａ'、ｂ'、ｃ'に移動する。ここで、透視図法を用いることにより、点ａ'、ｂ'、ｃ'はそれぞれ、図５（ｂ）に示すようにスクリーン５０５上の点ａ"、ｂ"、ｃ"に移される。
【００４２】
この方法を用いると、点ａについては、ａ'＝（ｘ1'，ｙ1'）、ａ"＝（ｘ1"，ｙ1"）とした場合、
ｘ1'＝ｘ1cosθ
ｙ1'＝ｙ1
ｘ1"＝ｓ−（ｓ−ｘ1'）＊Ｌ1／（Ｌ1＋Ｌ2）
ｙ1"＝ｙ1'＊Ｌ1／（Ｌ1＋Ｌ2）
となる。以上の計算を全ピクセルに対して行い、台形変形を行う。
【００４３】
次に、ステップＳ１２０３において、画像方向復元部３０４は、画像変形部３０３によって変形された文字データ３１０に対して、文字を元の形に戻す。具体的には、例えば、図６に示すように、文字列の各文字について方向の変形を行う。
【００４４】
第２の実施形態と同様に、図７（ａ）に示す画像６０１中において、点ｄ"及び点ｅ"はそれぞれ、ｙ＝０であり、変形された文字のｘ座標が左端及び右端の点である。ここで、図７（ｂ）に示すように、画像６０１をθだけ回転させていたものとする。上から見た図７（ｃ）に示すように、回転によって変形された文字の図形６０４が生成されるが、これは、図形６０５を点ｄ"を軸に回転して透視図法を使ってスクリーンに映したものである。つまり、図形６０５は図形６０４の元の図形である。
【００４５】
また、点ｄ'のｘ座標、ｙ座標をそれぞれｘ4'、ｙ4'とし、点ｅ'のｘ座標、ｙ座標をそれぞれｘ5'、ｙ5'とする。さらに、点ｄ"のｘ座標、ｙ座標をそれぞれｘ4"、ｙ4"とし、点ｅ"のｘ座標、ｙ座標をそれぞれｘ5"、ｙ5"とする。図形６０５の長さをＬとすると、相似の関係より、以下の式が成立する。
ｘ5'／cosθ：Ｌ＝ｘ5"：（ｘ5"−ｘ4"）
この式からＬを算出することにより、図形６０４を図形６０５の形に戻すことができる。
【００４６】
次に、ｙ座標の復元について説明する。ｙ座標については、各文字の回転を行う軸（文字右端のｄ"を通過する軸）の長さをＬとし、ｘ＝ａでの変形された文字の上辺のｙ座標と下辺のｙ座標との差をＡとする。そして、ｘ＝ａの部分にＬ／Ａをかけることにより復元が可能である。これにより、大きさを変えずに方向のみを元に戻すことが可能である。
【００４７】
なお、本実施形態では、文字部分の片側（点ｄ"が通過する軸）を中心に回転させる例について説明したが、図６に示したように、文字の中央を軸として回転させてもよい。この場合、文字の中央部分の上辺のｙ座標と下辺のｙ座標との差に長さを合わせるようにすれば復元が可能である。
【００４８】
次に、ステップＳ１２０４において、画像変形部３０３によって変形された画像データ３１１は文字が抽出された部分に空白が生じるため、画像補正部３０５は、その空白部分の補正を行う。本実施形態では、補正の一例として、周囲の背景画像を利用して推測し、画像を補完する方法を用いる。
【００４９】
次に、ステップＳ１２０５において、画像合成部３０６は、画像方向復元部３０４によって文字が復元された文字データと、画像補正部３０５によって補正された画像データとを合成する。そして、合成した画像データを、映像出力部３０７を介して出力し、処理を終了する。
【００５０】
以上のように本実施形態によれば、図９に示すように、画像を変形しても文字の向き、形を変更させないようにしたので、文字の視認性を高めることができ、視聴者は変形した画像から正しい情報を得ることができる。
【００５１】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１０〜図１２に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【符号の説明】
【００５５】
１０２  文字抽出部、１０４  画像変形部、１０５  文字配置位置決定部、１０６  画像合成部
【図１】
2010277535.tif 000003
【図２】
2010277535.tif 000004
【図３】
2010277535.tif 000005
【図４】
2010277535.tif 000006
【図５】
2010277535.tif 000007
【図６】
2010277535.tif 000008
【図７】
2010277535.tif 000009
【図８】
2010277535.tif 000010
【図９】
2010277535.tif 000011
【図１０】
2010277535.tif 000012
【図１１】
2010277535.tif 000013
【図１２】
2010277535.tif 000014