(57)【要約】【課題】漢字を含むテキストデータを圧縮する際の圧縮率の向上を図り得る、データ圧縮装置、データ圧縮方法、及びプログラムを提供する。【解決手段】漢字を含むテキストデータに対してデータ圧縮を行うデータ圧縮装置１を用いる。データ圧縮装置１は、テキストデータに含まれる漢字を、テキストデータに含まれる、漢字以外の文字から分離する漢字分離部６と、分離された漢字を特定する漢字リストデータ、及び漢字のテキストデータにおける位置を特定する漢字位置データを生成する漢字データ生成部７とを備えている。【選択図】図１
2010102559.tif 000002
【特許請求の範囲】
【請求項１】
漢字を含むテキストデータに対してデータ圧縮を行うデータ圧縮装置であって、
前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離する漢字分離部と、
分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成する漢字データ生成部とを備える、ことを特徴とするデータ圧縮装置。
【請求項２】
前記テキストデータに含まれる漢字をかなに変換し、漢字以外の文字のみで構成されたかな変換テキストデータを生成する漢字かな変換部を更に備える、
請求項１に記載のデータ圧縮装置。
【請求項３】
前記漢字リストデータ、前記漢字位置データ、および前記かな変換テキストデータに対してデジタル圧縮を実行するデータ圧縮部を、更に、備えている、請求項１または２に記載のデータ圧縮装置。
【請求項４】
前記データ圧縮部が、外部から指示があった場合は、前記漢字リストデータ及び前記漢字位置データを破棄し、前記かな変換テキストデータに対してのみデジタル圧縮を実行する、請求項３に記載のデータ圧縮装置。
【請求項５】
前記テキストデータに対して形態素解析を実行し、前記テキストデータを単語単位に分解する形態素解析部を更に備え、
前記漢字かな変換部が、前記形態素解析の結果を利用して、前記テキストデータに含まれる漢字をかなに変換し、前記かな変換テキストデータを生成する、請求項２に記載のデータ圧縮装置。
【請求項６】
漢字を含むテキストデータに対してデータ圧縮を行うためのデータ圧縮方法であって、
（ａ）前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離するステップと、
（ｂ）分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成するステップとを有する、ことを特徴とするデータ圧縮方法。
【請求項７】
（ｃ）前記テキストデータに含まれる漢字をかなに変換し、漢字以外の文字のみで構成されたかな変換テキストデータを生成するステップを、更に有する、請求項６に記載のデータ圧縮方法。
【請求項８】
（ｄ）前記漢字リストデータ、前記漢字位置データ、および前記かな変換テキストデータに対してデジタル圧縮を実行するステップを、更に有する、請求項６または７に記載のデータ圧縮方法。
【請求項９】
前記（ｄ）のステップにおいて、外部から指示があった場合に、前記漢字リストデータ及び前記漢字位置データを破棄し、前記かな変換テキストデータに対してのみデジタル圧縮を実行する、請求項８に記載のデータ圧縮方法。
【請求項１０】
（ｅ）前記テキストデータに対して形態素解析を実行し、前記テキストデータを単語単位に分解するステップを更に有し、
前記（ｅ）のステップは、前記（ａ）のステップの実行前に、実行され、
前記（ａ）のステップにおいて、前記（ｅ）のステップで得られた形態素解析の結果を利用して、前記テキストデータに含まれる漢字をかなに変換し、前記かな変換テキストデータを生成する、請求項７に記載のデータ圧縮方法。
【請求項１１】
コンピュータ装置を用いて、漢字を含むテキストデータに対してデータ圧縮を実行するためのプログラムであって、
前記コンピュータ装置に、
（ａ）前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離するステップと、
（ｂ）分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成するステップとを実行させる、ことを特徴とするプログラム。
【請求項１２】
（ｃ）前記テキストデータに含まれる漢字をかなに変換し、漢字以外の文字のみで構成されたかな変換テキストデータを生成するステップを、更に前記コンピュータ装置に実行させる、請求項１１に記載のプログラム。
【請求項１３】
（ｄ）前記漢字リストデータ、前記漢字位置データ、および前記かな変換テキストデータに対してデジタル圧縮を実行するステップを、更に前記コンピュータ装置に実行させる、請求項１１または１２に記載のプログラム。
【請求項１４】
前記（ｄ）のステップにおいて、外部から指示があった場合に、前記漢字リストデータ及び前記漢字位置データを破棄し、前記かな変換テキストデータに対してのみデジタル圧縮を実行する、請求項１３に記載のプログラム。
【請求項１５】
（ｅ）前記テキストデータに対して形態素解析を実行し、前記テキストデータを単語単位に分解するステップを、前記（ａ）のステップの実行前に、更に前記コンピュータ装置に実行させ、
前記（ａ）のステップにおいて、前記（ｅ）のステップで得られた形態素解析の結果を利用して、前記テキストデータに含まれる漢字をかなに変換し、前記かな変換テキストデータを生成する、請求項１２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータに対して圧縮を行うデータ圧縮装置、データ圧縮方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、電子化されたデータに対しては、データ転送の効率化や、データ記憶域の有効利用のため、データ圧縮が行われている。データ圧縮には、大きく分けて、可逆圧縮と非可逆圧縮とがある。このうち、非可逆圧縮では、その名の通り、元のデータの一部が失われるため、圧縮後のデータから元のデータを完全に復元することは不可能となる。但し、非可逆圧縮は、可逆圧縮に比べて非常に高い圧縮率を達成できる点で優れている。
【０００３】
例えば、音声データや画像データ等においては、一部のデータを除いて、人間の可聴範囲外の音や、識別不能な色の変化などを平準化しても、実質的に失われるデータは少なく、これらのデータは、完全に復元できなくても情報として利用可能である。よって、画像データや音声データ等に対しては、データサイズの大きさ故に高い圧縮率が求められていることと相俟って、非可逆圧縮が主に利用されている（例えば、特許文献１〜３参照）。
【０００４】
これに対して、プログラムデータや、文書データ等のテキストデータに非可逆圧縮を行った場合は、テキストが文字単位の離散データであり、ノイズに弱いことから、復元が極めて困難となる。この場合、プログラムデータにおいては、復元後にプログラムが正常に動作しなくなるという問題が生じてしまう。また、文書データにおいては、復元後に文字化けが発生し、情報として利用できなくなるという問題が生じてしまう。
【０００５】
このように、プログラムデータや文書データ等のテキストデータに対して、非可逆圧縮を実行するのは難しく、テキストデータの圧縮には、主に、可逆圧縮が用いられている。但し、テキストデータに対しても、圧縮率の向上が求められており、従来から、種々の圧縮方法が提案されている（例えば、特許文献４〜６参照。）。
【０００６】
例えば、特許文献４は、文書データを電子メールとして送信する場合において、データ量を削減するデータ圧縮技術を開示している。特許文献４のデータ圧縮技術では、全角ひらがなの半角カタカナへの変換、全角英数字の半角英数字への変換、及び特定の文字列の特定の記号への変換等によってデータ圧縮を行っている。
【０００７】
また、特許文献５は、イメージが付加された文書データを圧縮する際に、テキストデータに対してはＬＺＨやＺＩＰ等の可逆圧縮を行い、イメージデータについては非可逆圧縮を行うデータ圧縮技術を開示している。特許文献５のデータ圧縮技術によれば、イメージが付加された文書データに対する圧縮率の向上が可能となる。
【０００８】
更に、特許文献６は、コンピュータ装置からプリンタに送られる印刷用の文書データを圧縮するデータ圧縮技術を開示している。特許文献６のデータ圧縮技術では、先ず、テキストデータはドットマップデータに変換され、その後、得られたドットマップデータに対して圧縮が行われるため、圧縮率の向上が図られる。
【特許文献１】特表２００１−５０７１９５号公報
【特許文献２】特表２００４−５２３９３３号公報
【特許文献３】特表２００５−５００７０９号公報
【特許文献４】特開２００３−１９６２６８号公報（第５図）
【特許文献５】特開２００５−１８２７３５号公報
【特許文献６】特開２００６−１２０１４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献４に開示のデータ圧縮技術では、文書データ中に含まれている漢字に対しては、対応する記号が設定されている場合を除き、データの圧縮が行わることはない。特許文献４に開示のデータ圧縮技術では、テキストデータの圧縮率の向上には限界がある。
【００１０】
また、特許文献５に開示のデータ圧縮技術では、テキストデータは、ＬＺＨやＺＩＰ等の一般的な可逆圧縮アルゴリズムによって圧縮されるに過ぎない。よって、特に漢字が含まれる文書データに対しては、テキストデータの圧縮率の向上は困難である。
【００１１】
更に、特許文献６に開示のデータ圧縮技術では、テキストデータは、ドットマップデータに変換され、その後、圧縮されるが、圧縮率の向上を図る場合は、テキストの品位を落とす必要がある。このため、特にテキストデータが漢字を含む場合は、圧縮率の向上は極めて困難となる。
【００１２】
本発明の目的は、上記問題を解消し、漢字を含むテキストデータを圧縮する際の圧縮率の向上を図り得る、データ圧縮装置、データ圧縮方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明におけるデータ圧縮装置は、漢字を含むテキストデータに対してデータ圧縮を行うデータ圧縮装置であって、
前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離する漢字分離部と、
分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成する漢字データ生成部とを備える、ことを特徴とする。
【００１４】
また、上記目的を達成するため、本発明におけるデータ圧縮方法は、  漢字を含むテキストデータに対してデータ圧縮を行うためのデータ圧縮方法であって、
（ａ）前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離するステップと、
（ｂ）分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成するステップとを有する、ことを特徴とする。
【００１５】
更に、上記目的を達成するため、本発明におけるプログラムは、  コンピュータ装置を用いて、漢字を含むテキストデータに対してデータ圧縮を実行するためのプログラムであって、
前記コンピュータ装置に、
（ａ）前記テキストデータに含まれる前記漢字を、前記テキストデータに含まれる、前記漢字以外の文字から分離するステップと、
（ｂ）分離された前記漢字を特定する漢字リストデータ、及び前記漢字の前記テキストデータにおける位置を特定する漢字位置データを生成するステップとを実行させる、ことを特徴とする。
【発明の効果】
【００１６】
以上の特徴により、本発明におけるデータ圧縮装置、データ圧縮方法、及びプログラムによれば、漢字を含むテキストデータを圧縮する際の圧縮率の向上が図られる。
【発明を実施するための最良の形態】
【００１７】
（実施の形態）
以下、本発明の実施の形態におけるデータ圧縮装置、データ圧縮方法、及びプログラムについて、図１〜図４を参照しながら説明する。最初に、本実施の形態におけるデータ圧縮装置の構成について図１〜図３を用いて説明する。
【００１８】
図１は、本発明の実施の形態におけるデータ圧縮装置の構成を示すブロック図である。図２は、本発明の実施の形態におけるデータ圧縮装置で行われる処理の結果の一例を示す図である。図３は、本実施の形態におけるデータ圧縮装置で生成されるデータの一例を示す図である。
【００１９】
図１に示すデータ圧縮装置１は、漢字を含むテキストデータ１２（図２参照）に対してデータ圧縮を実行する。図１に示すように、データ圧縮装置１は、漢字分離部６と漢字データ生成部７とを有する漢字処理部５を備えている。
【００２０】
漢字分離部６は、データ圧縮の対象となるテキストデータ１２に含まれる漢字を、同じくテキストデータに含まれる、漢字以外の文字（かなや英数字）から分離する。漢字データ生成部７は、分離された漢字を特定する漢字リストデータと、漢字のテキストデータ１２における位置を特定する漢字位置データとを生成する（図３参照）。
【００２１】
本実施の形態では、圧縮が困難な漢字は、かなや英数字から分離され、漢字リストデータと漢字位置データとに変換される。そして、図３に示すように、漢字リストデータは、英数字の組合わせで作成される漢字コードで構成でき、漢字リストデータに対するデジタル圧縮は容易である。また、図３に示すように、漢字位置データは文書中の場所を示せれば良く、英数字で構成できるので、漢字位置データに対するデジタル圧縮も容易である。このため、本実施の形態によれば、漢字を含むテキストデータに対して、高い圧縮率で、圧縮を行うことができる。
【００２２】
続いて、データ圧縮装置１の構成について更に具体的に説明する。図１に示すように、本実施の形態では、データ圧縮装置１は、漢字処理部５に加えて、データ読込部２、形態素解析部３、辞書４、補助圧縮部９、データ圧縮部１０、及びデータ出力部１１を備えている。また、漢字処理部５は、漢字分離部６及び漢字データ生成部７に加えて、更に、漢字かな変換部８を有している。
【００２３】
データ読込部２は、外部から入力されるテキストデータを読み込み、これを形態素解析部３に出力する。入力されるテキストデータとしては、例えば、図２に示す、漢字を含む日本語のテキストデータ１２が挙げられる。なお、実際には、テキストデータ１２は、コード化された状態で入力される。
【００２４】
本実施の形態において、テキストデータは、例えば、データ圧縮装置１に接続されたキーボードやマウスといった入力機器を介して、又は外部のコンピュータ装置からネットワークを介して、データ読込部２に入力される。この場合、データ読込部２としては、外部とデータ圧縮装置１とを接続するためのインターフェイスが用いられる。また、テキストデータは、記録媒体に格納された状態で提供されても良い。この場合は、データ読込部２としては、読取装置が用いられる。
【００２５】
形態素解析部３は、辞書４を参照しながら形態素解析を行い、テキストデータを単語単位で分解する。辞書４は、品詞、漢字表記、読み等の情報が付された単語リストを格納している。本実施の形態において、形態素解析のアルゴリズムは特に限定されるものではなく、形態素解析部３は、規則に基づく形態素解析を行っても良いし、確率的言語モデルに基づく形態素解析を行っても良い。
【００２６】
また、形態素解析が終了すると、形態素解析部３は、形態素解析の結果を示すデータ１３（図２参照）を、漢字処理部５に出力する。本実施の形態では、形態素解析部３は、後述する漢字かな変換部８での変換処理を可能とするため、データ１３には、各漢字の読み（図２において図示せず）を付加している。
【００２７】
漢字分離部６は、上述したように、テキストデータ１２に含まれる漢字を漢字以外の文字から分離する。このとき、本実施の形態では、漢字分離部６は、文字コードに基づいて、漢字を分離する。また、漢字分離部６は、分離された漢字毎に、対応する漢字コードを抽出し、更に、漢字の位置を特定する情報（漢字位置情報）も抽出する。本実施の形態では、漢字コードとしては、例えば、ＪＩＳコード、シフトＪＩＳコード、Ｕｎｉｃｏｄｅ等が用いられる。また、漢字位置情報としては、例えば、文頭の文字を「１」として、順に番号付けした場合の番号が用いられる。
【００２８】
漢字データ生成部７は、漢字分離部６が抽出した漢字コードを用いて、図３に示す漢字リストデータを生成する。更に、漢字データ生成部７は、漢字分離部６が抽出した漢字位置情報を用いて、図３に示す漢字位置データも生成する。
【００２９】
漢字かな変換部８は、かな変換テキストデータ１４（図２参照）を生成する。かな変換テキストデータ１４は、テキストデータ１２（図２参照）に含まれる漢字をかなに変換して得られる、漢字以外の文字のみで構成されたデータである。本実施の形態では、漢字かな変換部８は、テキストデータ１２に含まれる文字毎に、文字コードが漢字コードであるかどうかを判定する。そして、漢字かな変換部８は、漢字コードであると判定した文字については、形態素解析の結果を利用して、対応するかなへと変換する。これにより、かな変換テキストデータ１４が生成される。
【００３０】
図２に示すように、かな変換テキストデータ１４は、漢字以外の文字で構成され、同一の文字種が連続したデータとなる。よって、かな変換テキストデータ１４においては、テキストデータ１２から漢字のみを取り除いたデータ（例えば「が／る／まで／で／った／・・・」（データ１３参照））に比べて、圧縮の対象となる共通領域が増加する。本実施の形態では、かな変換テキストデータ１４の作成により、更なる圧縮率の向上が図られる。
【００３１】
補助圧縮部９は、かな変換テキストデータ１４に含まれる文字コードの種類を削減し、かな変換テキストデータ１４のデータ量を圧縮する。具体的には、補助圧縮部９は、破裂音、濁音、及び促音の清音文字への変換（例えば、ぱ→は、が→か、っ→つ）や、カタカナのひらがなへの変換、更には、カタカナ及びひらがなのローマ字への変換を実行する。図２において、データ１５は、補助圧縮によって得られたデータを示している。なお、本実施の形態において、補助圧縮部９による圧縮は、必要に応じて行われれば良く、行われない態様であっても良い。
【００３２】
データ圧縮部１０には、図３に示す、漢字リストデータ、漢字位置データ、及びかな変換テキストデータ１４（補助圧縮部９による補助圧縮が行われた場合はデータ１５）が入力される。具体的には、データ圧縮部１０は、例えば、ＬＺＨ形式、ＬＺ（Lempel-Ziv）形式、又はＺＩＰ形式等の可逆圧縮アルゴリズムを利用して、データのデジタル圧縮を実行する
【００３３】
また、上述したように、実際には、漢字リストデータ、漢字位置データ、及びかな変換テキストデータは英数字で構成される。よって、データ圧縮部１０によって圧縮されたデータは、背景技術の欄において特許文献４〜６に示した技術によって圧縮される場合に比べて、高い圧縮率で圧縮される。本実施の形態によれば、漢字を含む日本語のテキストデータ１２（図２参照）が、高い圧縮率で圧縮される。
【００３４】
更に、本実施の形態では、データ圧縮部１０は、外部からの指示、具体的には、データ圧縮装置１のオペレータからの指示に応じて、漢字リストデータ及び漢字位置データを破棄し、かな変換テキストデータ１４に対してのみデジタル圧縮を実行することもできる。この場合は、圧縮後のデータを元のテキストデータ１２に復元することは、不可能となるが、可逆的に圧縮を行う必要がなく、高い圧縮率だけが求められる場合に有効となる。
【００３５】
圧縮後のデータは、データ出力部１１によって外部に出力される。具体的には、圧縮後のデータは、データ圧縮装置１にネットワークを介して接続された別のコンピュータ装置や、記録媒体へと出力される。
【００３６】
次に、本発明の実施の形態におけるデータ圧縮方法について図４を用いて説明する。図４は、本発明の実施の形態におけるデータ圧縮方法で行われる処理の流れを示すフロー図である。本実施の形態におけるデータ圧縮方法は、図１に示したデータ圧縮装置１を動作させることによって実施できる。このため、以降において、本実施の形態におけるデータ圧縮方法の説明は、適宜図１〜図４を参酌しながら、図１に示したデータ圧縮装置の動作の説明と共に行う。
【００３７】
先ず、図４に示すように、テキストデータ１２（図２参照）がデータ圧縮装置１に入力されると、データ読込部２は、入力されたテキストデータ１２を読み込み（ステップＳ１）、読み込んだテキストデータ１２を形態素解析部３に入力する。
【００３８】
次に、テキストデータ１２が入力されると、形態素解析部３は、辞書４を参照しながら、これに対して形態素解析を実行し、各漢字の読みが付加されたデータ１３を生成する（ステップＳ２）。形態素解析部３は、生成したデータ１３を漢字処理部５に入力する。
【００３９】
続いて、漢字処理部５はテキストデータ１２に漢字が含まれているかどうかを判定する（ステップＳ３）。漢字が含まれていない場合は、補助圧縮部９によってステップＳ５が実行される。一方、漢字が含まれている場合は、漢字処理部５は、漢字処理を行なう（ステップＳ４）。
【００４０】
具体的には、ステップＳ４においては、先ず、漢字分離部６が、テキストデータ１２に含まれる漢字を漢字以外の文字（かなや英数字）から分離し、分離された各漢字に対応する漢字コード及び漢字位置情報を抽出する。次に、ステップＳ４においては、漢字データ生成部７が、抽出された漢字コードと漢字位置情報とを用いて、漢字リストデータ及び漢字位置データを生成する（図３参照）。更に、ステップＳ４においては、漢字かな変換部８が、かな変換テキストデータ１４を生成する。
【００４１】
次に、補助圧縮部９が、かな変換テキストデータ１４に対して、データ量を削減するための補助圧縮を実行する（ステップＳ５）。なお、ステップＳ４が実行されていない場合は、補助圧縮部９は、形態素解析によって生成されたデータ１３に対して、補助圧縮を実行する。
【００４２】
続いて、データ圧縮部１０が、漢字リストデータ、漢字位置データ、及び、補助圧縮後のかな変換テキストデータ１４に対して、データ圧縮を実行する（ステップＳ６）。なお、ステップＳ４が実行されていない場合は、データ圧縮部１０は、補助圧縮後のデータ１３に対して、データ圧縮を実行する。
【００４３】
その後、データ出力部１１が、ステップＳ６で圧縮されたデータを外部に出力する（ステップＳ７）。ステップＳ７が終了すると、データ圧縮装置１は処理を終了する。このように、本実施の形態におけるデータ圧縮法を実行すれば、漢字は漢字以外の文字とは別に圧縮され、漢字を含むテキストデータ１２は、高い圧縮率で圧縮されることとなる。
【００４４】
また、本実施の形態におけるプログラムは、コンピュータ装置に、図４に示すステップＳ１〜Ｓ７を具現化させるプログラムである。よって、データ圧縮装置１は、コンピュータに、このプログラムをインストールし、このプログラムを実行することによって、実現することができる。この場合、コンピュータのＣＰＵ（central  processing  unit）は、形態素解析部３、漢字処理部５、補助圧縮部９、データ圧縮部１０及びデータ出力部１１として機能し、ステップＳ１〜Ｓ７の処理を行なう。
【００４５】
本実施の形態では、辞書４は、コンピュータ装置に備えられたハードディスク等の記憶装置に、辞書４を構成するデータファイルを格納することによって、実現することができる。また、辞書４は、データファイルが格納された記録媒体をコンピュータ装置と接続された読取装置に搭載することによっても実現できる。更に、辞書４は、プログラムがインストールされたコンピュータ装置とは別のコンピュータ装置によって提供されていても良い。
【図面の簡単な説明】
【００４６】
【図１】図１は、本発明の実施の形態におけるデータ圧縮装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態におけるデータ圧縮装置で行われる処理の結果の一例を示す図である。
【図３】図３は、本実施の形態におけるデータ圧縮装置で生成されるデータの一例を示す図である。
【図４】図４は、本発明の実施の形態におけるデータ圧縮方法で行われる処理の流れを示すフロー図である。
【符号の説明】
【００４７】
１  データ圧縮装置
２  データ読込部
３  形態素解析部
４  辞書
５  漢字処理部
６  漢字分離部
７  漢字データ生成部
８  漢字かな変換部
９  補助圧縮部
１０  データ圧縮部
１１  データ出力部
１２  テキストデータ
１３  形態素分析後のデータ
１４  かな変換テキストデータ
１５  補助圧縮後のデータ
【図１】
2010102559.tif 000003
【図２】
2010102559.tif 000004
【図３】
2010102559.tif 000005
【図４】
2010102559.tif 000006