\section{はじめに}
\label{sec:hajime}実際に使用された文例を集めたコーパスは，コンピュータによって検索できる形で準備されることにより，自然言語の研究者にとって便利で重要な資料として利用価値が高まっている．コーパスの種類としては，文例のみを集めた生コーパス（新聞記事など多数がある），文例を単語分けして品詞情報などを付加したタグ付きコーパス（ここでは{\bf品詞タグ付きコーパス}と呼ぶ），さらに文の構文情報を付加した解析済みコーパス\cite{EDR2001}\cite{KyouDai1997}の三種類に分類される．付加情報を持つコーパスは，特にコンピュータによる自然語情報処理において重視されている．しかし，その作成には，対象言語の知識を持つ専門家を含む作成者の多大の時間と手間を要し，作成を容易にして量を揃えることが一つの課題である．最近，日本語の古典をCD-ROMなどに収容する「電子化」の動きが盛んである．これらの提供する古典テキストは生コーパスとして利用できる．さらに単語や品詞の条件による対話検索機能を含むものがあるが，通常は，品詞タグ付きコーパスとして利用することができない．つまり，古典文の品詞タグ付きコーパスはほとんど公開されていない．日本の古典の研究者が従来使用してきた研究補助手段として索引資料がある．特に，いわゆる{\bf総索引}は，「ある文献に出てくるすべての事項・字句とその所在箇所を示す索引」\cite{Nikkoku2001}であり，多数の古典に対して作成され利用されている\cite{Kobayashi2000}．総索引の多くは，単語とその品詞の組からそれを含む文を参照できるなど，言語の研究に必要な情報を含み，その情報内容は品詞タグ付きコーパスに匹敵する．しかし，品詞タグ付きコーパスは，単語・品詞などによる検索機能\cite{Oota1997}\cite{EDR1999}\cite{Suzuki1999}の実現が可能なほかに，単語の列，品詞の列，単語と品詞の対応などを網羅的に調べて統計的に処理する統計的（確率的）言語処理\cite{Kita1996}に利用することができることが重要である．総索引は単語と品詞からその本文での出現箇所を与えるが，単語や品詞の系列に関する情報を与えることはできない．そこで，古典の総索引を変換し品詞タグ付きコーパスを作成する方法を実現し，実際に，平安時代の歌物語三篇\cite{UTA1994}と日記五篇\cite{NIKKI1996}について実験した．品詞タグ付きコーパスの形式は,基本的には，{\bfEDR電子化辞書}の{\bf日本語コーパス}\cite{EDR2001}の形式に従った．使用した総索引資料は，本文編と索引編とから成り，後者は，単語の仮名表記・漢字表記・品詞情報を見出しとして，その単語の本文での出現位置の全てを行番号のリストとして与えている．索引語は，自立語・付属語を問わず全単語である．変換処理の条件と考慮事項は次の通りである．総索引の活用語の見出し表記は終止形で与えられ，その品詞情報として活用型と活用形の名称（ここでは，未然形などを「活用形の名称」と呼び，「活用形」は活用語が活用した具体的な文字列を示すものとする）が与えられるので，変換機能には活用表の知識を保持した．しかし，処理を簡単にするため，単語辞書や単語間の接続可能性などの文法知識は保持しないこととした．総索引は単語の出現位置情報を本文の行番号で与えるが，品詞タグ付きコーパスでは行内の単語位置にタグを付ける必要がある．そこで，ある単語の部分文字列が他の単語の文字列と一致することがあり，これらが同一行に出現する場合の行内の位置決めの問題が生ずる．これに対処するため一種の最長一致法を用いた．総索引の見出しの漢字表記が，まさに漢字のみの表現であり，送り仮名等の単語を構成する仮名文字部分を含んでいないため，本文との照合が完全には行なえないという問題に対しては，照合条件を緩める一種の先読み処理法を用いた．これらの対処によっても照合が完全でない部分については，変換途中に人手によるチェックと修正を行なうこととした．この作業を容易にするため，照合の不完全の部分を示す中間結果を出力した．総索引情報自体に誤りが皆無ではなく，そのための照合失敗もあり得るが，これも人手修正の対象である．この人手作業の結果を取入れて，最終的なコーパス形式の出力を行なう．タグ付きの日本語コーパスの作成例には，EDR電子化辞書の日本語コーパス\cite{EDR2001}や京大コーパス\cite{KyouDai1997}がある．これらは品詞タグの他に構文情報を含む．総索引からの品詞タグ付きコーパスの作成については発表を見ない．欧州では，{\bfコンコーダンス}(concordance)と呼ばれる索引資料が聖書や古典作品に対して作成されており，KWIC(KeyWordInContext)形式で単語の使用例と所在を示している．ただし，単語の品詞などの文法情報は与えられていない\cite{Witten1999}．そのため品詞タグ付きコーパスの変換には用いられないと考えられる．以下，まず\ref{sec:Conc&Corpus}節で総索引と品詞タグ付きコーパスの概要を記し，\ref{sec:trans}節で，実験に用いた総索引と品詞タグ付きコーパスの内容・形式と前者から後者への変換方法を示し，\ref{sec:result＆}節で変換実験の結果とその検討を記す．最後に\ref{sec:musubi}節で，まとめと課題を記す．
\section{総索引と品詞タグ付きコーパス}
\label{sec:Conc&Corpus}一般の総索引と品詞タグ付きコーパスについて，内容の概略を記す．変換実験で使用した総索引および作成する品詞タグ付きコーパスの形式と内容については，次節で述べる．\subsection{総索引}\label{sec:concordance}総索引は，ある文献に出てくる全単語とその所在を示す索引であり，日本の古典に関して多数が出版されている．総索引は，単語の表記（見出し語）と品詞とから成るキーと，その本文での出現位置の一覧（{\bf転置リスト}）との対によって構成されるレコードを，見出し語の辞書順に並べた配列であると言える．本文における出現位置の一覧は，その見出し語の現れる本文の行の識別番号を昇順に並べたものが多い．総索引によっては，出現位置を示す行番号などに加えて，語の使用状況を示すために出現位置の周辺のテキストを見出し語に強調を置いて表示するKWICを提供するものがある\cite{Yamada1958}．しかし，総索引の電子化文書は少ない．最近，日本の古典の本文テキストが電子化文書として提供されることが盛んである．電子化された本文があれば文字列の照合は可能であり，実際にそのような機能とともに本文データを提供する電子化文書も公開されている．しかし，このような単なる文字列としての検索機能では，「たき（滝）」という単語の用例を探そうとして「めでたき」，「ありがたき」の部分文字列も得られてしまうなど基本的な問題がある\cite{Hayashi2000}．この問題を解決して要求に応えるには，単語の認定の必要がある．また，活用語を活用形によらずに検索するには活用語の基本形の情報を持つ必要がある．単語の表記と品詞との組で検索するには，品詞の認定の必要がある．最近，単語・品詞などを条件とする検索機能と古典テキストとを備えた電子化文書の公開もなされているが，対話型検索機能を介してのみ単語・品詞情報などの付加情報の利用が可能であり，それらの情報を直接には参照できないという制約を持つものが多い．この制約は重大であり，品詞タグ付きコーパスで可能な統計的言語処理への適用がこのためにできなくなる．その中で，検索機能とともに本文と索引データ自体を電子化文書として提供するものが現れた\cite{UTA1994}\cite{NIKKI1996}．この総索引データを利用すれば，品詞タグ付きコーパスへの変換が可能であると考えた．\subsection{品詞タグ付きコーパス}\label{sec:tagged-corpus}品詞タグ付きコーパスは，文を単語分けし，それに対応して品詞情報を加えた文例集である．日本文では，EDR電子化辞書\cite{EDR2001}の日本語コーパスや京大コーパス\cite{KyouDai1997}などが作成され活用されている．日本語の古典については，電子化文書の形での生コーパスの作成が盛んであるが，品詞タグ付きコーパスの作成例は見ない．作成者にとって，品詞タグ付きコーパスが生コーパスと異なるのは，単語の認定法・品詞の認定法の検討，本文に対して品詞などのタグ情報を対応づけるデータ構造の設計，個々の文例に関する単語分け・品詞付けの認定作業とそれらのデータの入力作業などの多大な人手を要するという点である(これらの多くは総索引の作成においても，同様に必要である)．多くの人が利用するためには，タグの内容やデータ構造の汎用性や利用の容易性が要求される．実際，コーパスのタグ構造に対する要求は拡大しつつあり，汎用性を重視するコーパス形式の検討もなされている\cite{Tanaka2000}\cite{Hashida1999}．品詞タグ付きコーパスは，品詞タグ付き文例レコードの配列より成る．品詞タグ付き文例レコードは，各単語の表記と仮名表記と品詞情報とを含む品詞タグ付き単語情報を文例上の単語の出現順に並べた列より成る．品詞タグ付きコーパスの情報から単語や品詞による検索を行なうことが可能である．また，品詞タグ付きコーパスは，単語・品詞の連接関係などを網羅的に収集して利用する統計的言語処理の手段を提供するという，総索引では提供できない効果を持つ．総索引から品詞タグ付きコーパスへの変換を試みる意義はここにある．すでに出版された総索引は多数あり，それらを電子化してこの変換ができれば，それによって品詞タグ付きコーパスの充実が可能になる．
\section{総索引から品詞タグ付きコーパスへの変換}
\label{sec:trans}ここでは，総索引から品詞タグ付きコーパスへの変換処理について述べる．まず，変換実験の入力である総索引の形式・内容と出力である品詞タグ付きコーパスの形式・内容について記し，次に，本文テキストからのコーパス・レコードの切り出し法，総索引の形式・内容に関する変換処理上の問題点と解決策を記し，最後に変換処理手順を記す．\subsection{利用する総索引の情報内容と形式}\label{sec:ConcStyle}変換実験で用いた総索引は，平安時代の歌物語三篇（伊勢物語，平中物語，大和物語）\cite{UTA1994}と日記文学五篇（土佐日記，蜻蛉日記，和泉式部日記，紫式部日記，更級日記）\cite{NIKKI1996}に関するものである．これらは，本文編（歴史的仮名遣いに改め，濁点・句読点を補い，適宜，漢字を充て，会話部分を「」で括るなどの処置が施されている）と索引編とから成る．いずれも印刷文書と電子化文書の形態で公開されているが，ここでは処理対象の電子化文書の内容と形式に関して述べる（下の記述では適宜簡略化して示す）．以下，本文編と索引編とに分けて，それぞれの形式と内容を記す．\noindent{\bf(1)本文編}本文編は，行番号と行文字列の対から成る{\bf行レコード}の配列である．行文字列は，歴史的仮名遣いによる漢字仮名混じり表現であり，句読点や引用の「」が付けられている．行の単位は底本の行体裁を尊重して決められているが，一つの単語は行内に収める仕様になっている（両索引の本文編凡例）．もちろん，行末が文の途中であることがあり，また，文の開始が行頭とは限らない．なお，和歌と通常文とは行を分けている．多くの場合，和歌一首は２行に分けて収容されているが，通常文の中に和歌の一部が現れることがあり，この場合にも和歌の部分は別の行に置かれる．次に，行レコードの例を挙げる．\vspace{-8pt}\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\noindent【行レコードの例】土佐日記冒頭行．0001,男もすなる日記という物を、女もしてみむとて\noindent【行レコードの例】伊勢物語から２行．1026,世にあふことかたき女になむ。1263,の前の海のほとりに遊び歩き\vspace{-8pt}\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\noindent{\bf(2)索引編}索引編は，索引レコードの配列である．{\bf索引レコード}は次の内容から成る．作品名,所在行,仮名見出し語,漢字表記,品詞情報,Ｋ,Ｗ前節では，索引レコードの一般的形式として，単語と品詞のキーと，その単語の本文での出現位置の一覧（すなわち，転置リスト）との対であると述べたが，上のレコードは，単純なレコード構造を採用し，１レコードには１つの所在行のみを記している．本文の複数箇所に現れる単語については，出現箇所の個数分（転置リストの要素数分）のレコードを並べることになる．品詞情報は，見出し語の品詞を与えるが，これが活用語の場合には，活用型，活用形の名称をも与える品詞コードとして表現される．活用語の場合，仮名見出しは終止形で与えられるが，所在行での実際の活用形の仮名表現は見出し語と品詞情報とから作成できるようになっている．このため品詞情報には形容詞の活用型（カリ，ク，シク活用），形容動詞の活用型（ナリ，タリ活用）,音便表現の使用（音便表現が用いられていることを示す．イ音便など音便の種類は電子化文書には存在しないので，これについては内部処理で補う）を表示できるようになっている．索引レコードの漢字表記は，仮名見出しのみでは利用者が単語を同定できないのでそれを補うためのものであり，本文では仮名表記であっても索引に漢字表記が記載されていることがある．別の問題は，この漢字表記が通常の国語辞典の見出しで使われている漢字表記とは異なり，送り仮名などを省略して漢字部分のみを記したものになっているということである．これらにより，索引語を本文上で照合する処理が単純でない．索引レコードのＫとＷは，それぞれその語が会話および和歌の中に現れていることを示す．次に，索引レコードの例を挙げる．\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\noindent【索引レコードの例】索引レコードから３レコード．品詞情報F4は四段動詞連体形，F2は四段動詞連用形，A0は名詞を示す．仮名表記の次の漢字表記が「逢・合」であり「逢う・合う」でないこと，「遊歩」であり「遊び歩く」でないことに注意．最後の例の「からころも」は和歌の中で使われていることが，記号Ｗによって判る．伊勢,1026,あふ,逢・合,F4伊勢,1263,あそびありく,遊歩,F2伊勢,143,からころも,唐衣,A0,Ｗ\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\subsection{作成する品詞タグ付きコーパスの情報内容と形式}\label{sec:EDRStyle}変換実験で出力する品詞タグ付きコーパスの形式について記す．この形式は，基本的にEDR電子化辞書の日本語コーパスの形式\cite{EDR2001}に従って定めた．それは，すでに作成されているEDR日本語コーパスの検索機能などが使えるためである\cite{Oota1997}\cite{EDR1999}\cite{Suzuki1999}．EDR日本語コーパスは，{\bf日本語コーパス・レコード}の配列である．日本語コーパス・レコードは，レコード番号，文情報，構成要素情報，形態素情報，構文情報，意味情報，管理情報より成るが，構文情報と意味情報を除いた部分が今回の作成対象である．文情報は，管理番号，出典情報，用例文より成る．構成要素情報は構成要素の配列である．構成要素は，構成要素番号，表記，かな表記，品詞，概念選択より成るが，ここでは概念選択を除いた．形態素情報は，形態素の用例での表記を番号を付けて並べたものである．管理情報は更新日付等を記す．この結果，変換実験で出力する品詞タグ付きコーパスの{\bfレコード形式}は次の通りである．レコード番号，文情報，構成要素情報，形態素情報，管理情報ここで，構成要素情報は，構成要素番号，表記，かな表記，品詞と活用型，活用形名称から成る構成要素の配列である．なお，EDR電子化辞書の日本語コーパスの品詞情報は，まさに品詞のみしか記さず(活用語の活用型・活用形名称の記載がない)，活用語は，語幹と活用語尾に分けて示し，活用語尾には「語尾」という品詞を与えている．この仕様であると，総索引に記載されている情報の一部を捨てることになり，また，品詞や活用型・活用形を含めた文法学習などへのコーパスの適用範囲を狭くしてしまう恐れがある．そこで，総索引の与える情報に対応して，活用語尾を含めて単語とし，品詞の他に活用型，活用形の名称を記すこととした．総索引では，活用語の見出し語は終止形で与えられたが，本コーパスで構成要素情報および形態素情報の活用語は，本文における活用形として与えられる．品詞のセットについては，おおむね，総索引のそれを採用するものとする．ただし，総索引では句読点や引用記号などは語として扱われないが，ここでは，EDR日本語コーパスの規則に従って語として扱い，記号という「品詞名」を付ける．次に，品詞タグ付きコーパスのレコードのうち，用例文と構成要素情報と形態素情報の例を挙げる．形態素情報は，本変換によるコーパス・レコードにおいては，構成要素情報の中の構成要素番号と表記の情報と常に同じ内容である．\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\noindent【品詞タグ付きコーパスのレコード例】伊勢物語より．レコード番号・管理情報は省略．構成要素情報\verb+{}+は構成要素の配列．構成要素の最後のフィールドは活用形を示すが，活用語でない場合には＊を置いている．昔，男ありけり。｛１昔むかし名詞＊２男おとこ名詞＊３ありあり動詞ラ変連用４けりけり助動詞終止５。。記号＊｝/１:昔/２:男/３:あり/４:けり/５:。\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\subsection{本文テキストからのコーパス・レコードの切り出し}\label{sec:Sentence}次に，コーパスのレコード単位の切り出し法に関する問題点と，対処法について記す．コーパス・レコードの単位は文であるが，文の区切りを直接に示す情報は本文にも索引にも存在しない．そこで本文の句点によってレコードの区切りとする方法が考えられる．これに関して次の二つの問題がある．その第一は，{\bf会話部を含む文}に関するものである．文中に「」で囲まれた会話部があり，その中に一つあるいは複数の文が含まれることがある．この場合，会話部を含めて全体を１レコードとすべきである(EDR日本語コーパスでも会話部を含んで１レコードとしている)．そこで，会話部分の外部の句点（。）のみを文の終りとして用いる必要がある．その第二は，{\bf和歌を含む文}に関するものである．本文上で，和歌には句読点が付けられていない．和歌が文の途中で現れるとき，これらはコーパス上でまとめて１レコードとすべきである．一つまたは複数の和歌が通常文とは別に現れることがあるが，この場合は和歌一首毎にコーパス・レコードとすべきである．しかし，和歌から通常文に続くか切れるかの判定ができない．索引語に和歌で用いられているとの表示（前記のＷ）があるが，文の開始の印はどこにもないので，和歌の後にある記述が単独の文か，和歌に続く文かは判定できない．そこで，後述の中間結果の上で，和歌部分（複数の場合もある）の開始と終了を表す記号【と】とを本文中に挿入し，人手によって再編集するときの標識とする．人手によってこの部分を調べ，文の区切りの場合にはその印を付けてコーパス・レコード切り出し処理に知らせることとした．なお，この和歌の標識はコーパス上でも保存し（品詞を「記号」とした），コーパス利用時の標識として用いることとした．次に，和歌を含む本文の例を示す．\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\noindent【例】伊勢物語から．文の構成要素として和歌が使われる例．0179,みな人見知らず。渡し守に問ひ0180,ければ、「これなむ都鳥」と言ふを0181,聞きて、0183,名にしおはばいざこと問はむ都鳥0184,わが思ふ人はありやなしやと0185,とよめりければ、船こぞりて泣きにけり。\vspace{-8pt}\begin{verbatim}-----------------------------------------------------------------------------\end{verbatim}\vspace{-8pt}\subsection{総索引の形式・内容の問題点と解決法}\label{sec:ConcProb}総索引の形式・内容の変換処理上の問題点と，それらに対して採用した対処策を次に記す．\begin{itemize}\item{\bf活用表の知識の保持}活用語の見出し表記は終止形で与えられ，その品詞情報として活用型と活用形名称が与えられている．先の索引レコードの例における，見出し語の動詞「あそびありく」に対して，「四段活用」が活用型を，「連用形」が活用形の名称を与えている．この情報によって，その活用形の文字列表現「あそびありき」を求めることが期待されている．そこで，変換機能には各活用語の活用表の知識を保持することとした．学校文法の活用表では同じ活用形名称に対して複数の活用形が記載されていることがあるが，本索引では品詞情報(活用型や活用形の種類の追加)によって活用形がほとんど一意に決められるように配慮されている．\\そこで，仮名表記・活用形名称を用いて活用形の仮名表現を作り照合に用いる．ただし，本文での活用語の表記が漢字を含む場合には，その読みが判らないため，活用形の仮名表現との後方文字の一致で照合とみなす後述の不完全照合を採用する．\item{\bf最長一致法}ある単語Ａの部分文字列が他の単語Ｂの文字列と一致することがあり，両者が同一行に出現することがあり得る．この場合，単語Ｂの照合が本文の単語Ａの途中位置においても成功してしまう．品詞間の連接関係などの文法的な知識は用いないという条件の下でこの問題に対処する方法として一種の最長一致法を用いた．すなわち，索引語と行テキストとの照合時に候補箇所を保存し，当該行に関する索引見出しの全てについて候補箇所を作成した上で，同じテキスト部分に複数の索引見出しとの照合候補がある場合，文字列の長さの最長の単語を採用する．もちろん，同一の長さの候補の間ではいずれかを決められない．\\なお，同一語が行内に複数個現れる場合，同じ作品名・行番号・見出し語の索引レコードがその個数だけ置かれている．\\次に，ある単語とその部分文字列である単語が同一行に現れる例を示す．\\\vspace{-14pt}\begin{verbatim}-----------------------------------------------------------------------\end{verbatim}【最長一致処理の必要な例】連語「その」と助詞「の」が三度現れる本文行．先頭の「の」は，連語「その」の部分とも助詞「の」とも考えられるが，長い方の前者を採用する．\\伊勢,1292,その家の女の子どもいでて，浮き海松の\begin{verbatim}-----------------------------------------------------------------------\end{verbatim}\item{\bf不完全照合法}通常の書物の索引項目は本文で使われる表記によって記載される．それは当然のことと考えられる．ところが，総索引の見出しの漢字表記の主目的は，仮名表記のみでは同定することができない見出し語を同定することのようである(索引編の凡例\cite{NIKKI1996}に，漢字表記の部分の説明として「見出し語の意味を区別するために適宜漢字を充てた」とある)．すなわち，この漢字表記が本文で使われているとは限らず，本文では仮名表記であるかもしれない．しかし，本文で漢字を含む表記が用いられている単語については，索引の漢字表記のいずれかと照合できると考えた(この仮定が必ずしも成立しないことは実験結果の検討の項で述べる)．\\ところが，さらに問題がある．それは，この漢字表記の記述がまさに漢字のみの表現であり，送り仮名などの単語を構成する仮名文字部分を含まないことである(本文「菊の露」に対して索引の見出し語の漢字表記は「菊露」)．この結果，辞書を保持せずに処理を行なうという前提条件の下では本文との照合が完全には行なえないことになる．その対策として，照合条件を緩めて，１文字の不一致があっても先読みを進めて，続く文字列が一致すれば照合成功と扱う不完全照合法を採用することとした．また，本文での活用語に対して漢字が用いられている場合，索引の漢字の読みが不明のため，漢字仮名混じりの活用形が作れない．そこで仮名文字列として作成した活用形と本文の漢字仮名混じり表現との照合では，活用語尾を与えると見られる後方文字の一致で照合成功とみなすこととする．\\結局，索引語と本文との照合において，与えられている全ての漢字表記に基づく不完全照合とともに仮名表記に基づく照合も行ない，他の部分の照合状況と合わせて適切な候補を求めることとした．次に，漢字表記が本文の表記と一致しない例を挙げる．\begin{verbatim}-----------------------------------------------------------------------\end{verbatim}【索引の漢字表記と本文の表記の関係を示す例】\\索引レコード:大和,801,をぐらのやま,小倉山,A0,．．．\\本文レコード:大和,801,給へるに、紅葉、小倉の山にいろいろ\begin{verbatim}-----------------------------------------------------------------------\end{verbatim}\item{\bf人手修正の支援機能}上記の対策が十分でないことがあるために人手による確認を要する部分が生じる．一方，索引情報と本文情報の不整合（本文を正しいと考えるなら，索引情報の誤り）の場合もあり得る．これらの場合，その中間結果を人手で確認し，場合によっては修正する必要がある．この作業を容易にするため，不完全照合の部分についてはそのことを示す感嘆符！を，照合失敗部(不完全照合法を用いたが失敗した部分を含む)については疑問符？を出力することとした．疑問符を付した文字列については，必ず人手による修正の必要がある．いずれの表示もない箇所については，照合は正しく行なわれているはずである．なお，先に述べたように中間結果の中に和歌の開始・終了を表す標識を出力する．これは人手による和歌と通常文の分割作業の支援のためである．\end{itemize}\subsection{変換処理手順}\label{sec:Method}変換処理では全ての索引レコードと全ての本文レコードの参照が必要であるが，外側ループで取り出すのが索引レコードか本文レコードかの二通りの流れが考えられる．いずれも他方のレコードの取り出しを内ループで行なう．前者の方法では，索引データを順に読み込む毎にそれが参照する本文情報に関する本文行と索引との照合データを蓄える(あるいは，既作成のデータを取出して情報を追加する)．後者の方法では，順に読み込む本文レコード毎に，その行を参照している全索引レコードを探して，本文のタグ付けのためのデータを１行ずつ完成させていく．ここでは処理の単純さのため，後者の方法を採用した．図\ref{Flow}に示すように，処理は３段階に分かれる．第１段階の本文と索引との{\bf照合処理}が変換の主処理であり，本文と索引との照合の結果として，人手確認・修正用の必要な部分についての表示を含めた中間結果を本文行単位に出力する．第２段階は中間結果の{\bf確認修正処理}であり，人手作業によって第１段階の中間結果の処理結果表示を参照し確認・修正を行なう．また，和歌と通常文の区切りが必要な位置にはそのことを示す印を付加した．第３段階は{\bfコーパス作成処理}で，修正済みの中間結果と本文に基づいて，文単位のコーパス・レコードとしてまとめながら品詞タグ付きコーパスを出力する．以下，各処理を詳述する．\begin{figure}[bt]\begin{center}\epsfile{file=Fig1.eps,scale=0.5}\end{center}\caption{変換処理手順}\label{Flow}\end{figure}\noindent{\bf第１段階：照合処理}次に示す本文１行に対する処理を，本文の全レコードに対して繰り返す．\noindent{\bf(1)本文レコードの読み込み}本文レコードの次の１行を読み込み，その作品名と行番号を得る．\noindent{\bf(2)索引レコードの読み込みと整備}索引ファイルから，上で求めた作品の該当行を所在行とする索引レコードを読み込み，活用語の場合，仮名見出しと品詞情報からその仮名による活用形を作成する．これを，該当行を所在行とする全ての索引レコードについて行ない，この関連索引データを保持する．\noindent{\bf(3)照合処理による照合候補の探索}本文１行に対する索引データが全て揃うと，その中で本文と索引情報との照合候補の作成を次の３ステップによって行なう（実際にはこれらの処理を２廻り行なった．１廻り目で確定した部分を他の単語の照合候補から除外して２廻り目の照合候補を絞った）．照合の結果として，索引の単語が出現する本文テキスト上の位置と，一致した文字数を得る．照合が成功した場合，その語の部分には成功の印である＊記号を出力する．照合が失敗した場合，その語の部分には失敗の印である？記号を出力する．\noindent{\bf漢字照合}：索引の見出しに漢字表記が存在する場合，その先頭文字が本文中にあれば，以降の漢字照合を行なう．照合に成功しないと一文字の先読みを行ない，不完全照合処理を行なう（複数個の漢字表記が記されている場合があり，その場合，それぞれについて行なう）．活用語の場合は仮名による活用形を作成した後，活用語尾も含めて，一文字先読み・不完全照合処理を行なう．以上によって照合が成功した場合は，この語の部分に不完全照合を示す印として！記号を出力する．照合結果として，索引の単語が出現する本文上の先頭位置と一致文字数を得る．\noindent{\bf仮名読み照合}：索引に漢字表記が存在しないかどうかによらず仮名読みによる照合を行なう．照合の結果として，索引の単語が出現する本文テキスト上の位置と，一致文字数を得る．\noindent{\bf最長一致照合}：上の二つの処理により得られた候補のうち，次のようにして一致文字数の最大のものを第１候補とする．索引見出しに漢字表記がある場合，漢字照合結果があればその中から最長なものを選ぶ．漢字照合結果がなければ，仮名読み照合の結果から一致文字数の最大のものを第一候補とする．索引見出しに漢字表記がない場合にも，仮名読み照合の結果から一致文字数の最大のものを第１候補とする．\noindent{\bf(4)行単位の照合処理による照合候補の絞り込み}上で求めた照合候補の中から，第１候補が求められた部分について，本文に対するタグを作る．そうでない場合は，その語の部分には失敗の印である？記号を出力するとともに作成途中の情報を出力する．\noindent{\bf(5)人手作業用の中間結果の編集出力}行単位の照合処理の結果を編集して出力する．その出力形式とその例を図\ref{CheckF}に示す．その内容について項目別に記し，その後に例を挙げる．\\\noindent{\bf本文行の文字列}：次の例外を除き，本文行の文字列をそのまま記す．例外は和歌の場合であり，記号【】を挿入して和歌部分を囲む．前述のように，本文編で和歌（その部分）は通常文とは別の行に置かれている．また，索引編では索引語の当該行での使用が和歌の中の使用かどうかの区別（Ｗ印）がある．これらにより，変換処理において，行レコード全体が和歌部分か否か判定できる．判定の結果，行毎に記号【】を挿入するのではなく，連続する和歌行の先頭行の行頭に記号【を，連続する和歌行の最終行の行末に記号】を挿入した（これにより複数の和歌が【】で囲まれることがある．人手による修正時にこれを一首ずつに分けた）．\\\noindent{\bf照合結果を示す特殊記号の列}：本文の文字位置に対応して，照合成功の＊記号，不完全照合成功の！記号，照合失敗の？記号を示す．\\\noindent{\bf本文行に対する単語情報の列}：この単語情報は，第一候補番号の後に，一または複数の単語候補のリストを並べたものである．第一候補番号とは，後続の単語候補のうち，何番目の候補（先頭を０番目とする）を採用したかを示す番号である．個々の単語候補は次の情報より成る：\noindent{\bf記号K/M}：記号Kは照合が仮名見出しに依って得られたこと，記号Mは照合が漢字見出しに依って得られたことを示す．\\{\bf単語の漢字表記と仮名表記}：索引の漢字表記と索引情報より作成した仮名表記（活用語の場合は活用形の仮名表記）を示す．\\{\bf本文行内の単語の位置と長さ}：行内で単語の現れる先頭バイト位置と単語のバイト数を示す．\\{\bf品詞・活用型・活用形名称}：単語の品詞，および，活用語の場合はその活用型と活用形名称（ただし，活用語でない場合，活用形名称の代りに＊印を置く）．\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}【中間結果の例１】図\ref{CheckF}の場合について．\\・本文「富士の山」：索引の漢字表記が「富士山」であるため１文字先読みにより不完全照合に成功する（！印）．\noindent・本文「見れ」：索引の漢字表記が本文の「見」と一致し，活用型と活用形名称より求めた仮名表記「みれ」の「れ」の一致により不完全照合に成功する（！印）．\noindent・本文「五月のつごもり」：索引の漢字表記が「五月晦日」であり１字先読みで解決せず不完全照合でも失敗する（？印）．\noindent【中間結果の例２】本文「遊び歩き」，索引：「あそびありく,遊歩,F2」の照合．\\「遊」のあと１文字が一致しないが先読みして「歩」が一致し，さらに四段活用連用形より仮名見出しの活用形「あそびありき」を得てその最後の文字「き」が本文の「歩」の次の「き」と一致する．これにより不完全照合の成功．\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}\begin{figure}[tb]\begin{center}\epsfile{file=Fig2.eps,scale=0.5}\end{center}\caption{中間結果の形式とその例}\label{CheckF}\end{figure}\noindent{\bf第２段階：人手による確認・修正}上の中間結果を人手によって参照して確認・修正する．この作業の結果の中間結果が第３段階の品詞タグ付きコーパス作成処理の入力となる．確認・修正作業内容は次の通りである．\noindent{\bf照合の確認と修正}:確認を要する不完全照合成功の！記号の場合，単語候補について，先頭バイト位置・バイト数が正しいかどうかを確認する．正しければ何もせず誤りがあれば修正する（後述のように，誤りは全くなかった）．また修正を要する照合失敗の？記号が存在すれば，第１候補番号および単語候補の行内位置（先頭バイト位置）・長さ（バイト数）を修正する．一般に，他の部分の修正はしない．\noindent{\bf和歌と通常文の接続関係の判断とその反映}:和歌の開始終了標識を参照し，次の文と接続しない場合には和歌終了の直後にコーパス・レコードの終了を示す区切りを置く．また，和歌の開始終了標識が複数の和歌を含む場合，和歌毎に開始終了標識【】で区切り，コーパス・レコードの区切りを置くべきならばその区切り記号を置く．\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}【中間結果の確認・修正例】図\ref{CheckF}の「五月のつごもり」での失敗を次のように修正する．０（五月晦日さつきのつごもり1814名詞*）ここで修正したのは当該単語の長さ（バイト数）の部分のみである．単語候補の「五月晦日」は本文表記と一致しないがこれは修正しない．後述のように，第３段階でタグの漢字表記としては本文における単語の行内位置（ここでは18バイト目）・単語の長さ（ここでは14バイト）によって得られる表記を採用するので，上の修正のみで，正しく「五月のつごもり」となる．\begin{verbatim}----------------------------------------------------------------------------\end{verbatim}\noindent{\bf第３段階：タグ付きコーパス作成処理}第２段階での修正結果の行単位レコードから，文単位のタグ付きレコードを構成する（\ref{sec:Sentence}）．その区切り方の基本は，引用部「」の外にある句点（。）によって１レコードを構成するということである．ただし，和歌の前後については，第２段階で人手によって付けた特別の区切り記号によってレコード区切りを行なう．これに関するレコード内容としては次のような場合がある：単独の和歌の場合，通常文（の部分）と後続の和歌の場合，和歌と後続の通常文（の部分）の場合，通常文（の部分）の間に和歌を挟んだ場合．いずれの場合にも，コーパス・レコードの本文文字列の中に和歌の開始・終了を表す【】を用いる（和歌の一部が通常文の中で使われることがあるが，その部分も【】で囲んだ）．コーパス・レコードの各単語部分については，中間結果の第１候補番号の単語候補の指す本文表記を単語表記とし，中間結果の単語候補の他の内容（ただし，タグの漢字表記部分は，行内位置情報と長さ情報によって本文表記を求めてこの文字列で置換える）をそのタグとする．
\section{変換結果と検討}
\label{sec:result＆}前節の方法によって，実際に，平安時代の歌物語三篇\cite{UTA1994}と日記五篇\cite{NIKKI1996}について品詞タグ付きコーパスを作成する実験を実施した．本節では，まずこの変換実験で得たコーパスと変換・修正で発生した事象を記したあと，総索引の内容と形式に対する要望を記し，また変換方式の改良案を記す．\subsection{変換実験の結果と評価}\label{sec:Exp}変換実験で得られた品詞タグ付コーパスについて，作品別に，単語数，人手修正の結果判明した変換失敗単語数，失敗の要因などを表１に示す．表のA.単語数は，各作品の含む単語数とその合計を記す．合計は約１５万語であった．ただし，ここでの単語数には，コーパス上で単語として扱った句読点や，引用の「」や和歌を囲む【】を含む．B.失敗数は，人手修正時に修正した単語の個数である．C欄には，失敗数の単語数に対する割合を示す．人手作業では，照合成功の＊印，不完全照合の！印，照合失敗の？印が付けられた本文文字の，特に！印と？印の部分に注目して確認と修正を行なった．その結果，！印の部分には全く誤りはなく，？印の部分について誤りを修正した．それが合計9,530件（全体の6.4％）であった．D.漢字表記，E.行またがりは，失敗原因の二例についての内訳個数を示したものである．F欄には，失敗原因の失敗数に対する割合を示す．前者の「漢字表記」（漢字表記が本文の表記と一致しないこと）による失敗は全失敗の約半数を占めている．「行またがり」とは，本文上で一つの単語は単一行内に収めるという仕様が索引の全ての見出し語に適用できると考えて処理したところ，複合語の場合などでは行にまたがって配置されることがあったために失敗したものであるが，その数は少ない．これら以外の誤りとしては，連語の活用型が索引に記載されないことによるもの，特殊な活用型を用意していなかったための誤り（「同じ」など），同表記の複数個の単語が同一行に現れたときに各々の位置を特定できないための失敗などがあった．\begin{table}[tb]\begin{center}\caption{変換実験とその結果}\epsfile{file=TAB1.eps,scale=0.5}\end{center}\label{TAB1}\end{table}\subsection{総索引の内容と形式への要望}\label{sec:request}利用者の立場から総索引に対する要望が発表されている\cite{Miyajima1969}．そこでは，主として，「あることばを索引にのせる際のあつかいかた」の統一性に関する問題が国語学の専門の立場から述べられている．ことばを索引にのせる際の扱い方とは，{\bf単語の認定法}（「散りはつ」などの複合動詞，「かぎりなし」などの体言＋用言の構成，「藤の花」などの体言＋の＋体言の構成を見出し語とするかどうか），{\bf見出し語の形態}（活用語の活用形ごとに見出し語とするより，終止形などでまとめた上に活用形によっても検索できることが望ましい），{\bfよみの決定法}（底本の漢字に対する読みが一意に決まらないことへの対処法），{\bf活用形の認定}などがある．統一としては，{\bf複数の総索引間の統一}（品詞セット，単語の認定法，見出しの立て方など）と{\bf総索引内での統一}の問題とを挙げている．今回の変換実験を通して，総索引の内容と形式に関する第一の要望は，本文で用いられている通りの漢字仮名混じり表記を索引レコードの漢字表記に含むということである．これは，変換処理のためだけでなく，人が参照する場合にも有用であると考えられ，また，索引情報が本文に現れる単語を網羅していることの確認を行なうためにも必要であろう．なお，仮名見出しの単語の同定を目的とし本文の表記の反映を意図しないという漢字表記の役割は，変換に用いた総索引のみでなく大多数の索引で採用されている．二十篇程参照した平安時代の仮名文学の索引文書の中で，その見出し語として本文の漢字仮名混じり表記を採用すると明記しているものは唯一つであった\cite{Yanai1999}．上の「注文」は三十余年前に発表されているが，その後に発行された総索引に十分反映されたとは考えられない．それだけ要求を満たすことが困難であるということかも知れない．しかし，現在では，総索引の作成の道具としてコンピュータを用いることができる．総索引の作成において，いかに統一的な方針を定めても，作業中に誤りが混入することが避けられないが，見出し語の網羅性，本文の表記と索引レコードの漢字表記の整合性，認定した複合語の全文への適用などの確認作業において，コンピュータの支援の効果は大きいはずである．実際，今回の変換実験において，総索引および本文の誤りと思われる次の問題が発見された．\noindent{\bf文字コードの不統一}：本文テキストは２バイトコードで表されているはずであるが，括弧や句読点については，１バイトコードが使われている箇所が多数あった．\noindent{\bf活用型の欠如}：補助動詞と連語については，索引上で活用型の表示がなく，活用形名称が使われているため，これについては活用形表現を作成することができず，必ず照合失敗を起すこととなった．これらについても活用型を表示することが望ましい．\noindent{\bf音便の種類の脱落}：総索引の印刷物には索引レコードに音便の種類（イ音便，促音便など）の表示があるが，電子化文書にはこの記述が抜けている．\noindent{\bf索引語の不足と過剰}：索引語が本文の単語を網羅していない．また，本文に存在しない単語が索引に存在すること．\subsection{変換方式の改良案}\label{sec:newmethod}今回採用した変換では，単語の知識を保持せず，文法知識を最小限に保持したものである．それによる実験の中で，索引情報の形式との関係でこれらの知識の必要性も考慮すべきであることが判明した．以下，変換方式の改良案として記す．今回は総索引の活用語に対して示されている活用型について活用表を用意した．これらの活用型は教科書に載っている標準的なものである．ところが，形容詞「同じ」のように標準の活用型を記されていながら，実は一部で例外的な活用（連体形として「同じき」でなく「同じ」が使われることが多い）をするものがある．このような語に応じた活用表を用意する必要がある．同じ文や行の中に，同じ表記で異なる語（品詞が異なる場合と品詞が同じ場合とがある）の出現があると，現在の変換法では単語の位置をいずれと決めることができない．助詞と助動詞の「に」や，推定と断定の助動詞「なり」の区別などである．この対策としては，助詞・助動詞の接続規則を保持することが考えられる．索引の漢字表記が今回の場合のように，送り仮名や活用語尾などの仮名部分を省略して漢字のみで与えられる場合の対策としては，単語辞書を持つことが考えられる．この単語辞書の漢字表記には本文で用いられる漢字仮名交じり表現が与えられる必要がある．しかし，索引の漢字表記が本文の表記と同じ漢字仮名交じり表記を与えているならば，単語辞書を用いることなく，より高精度の結果を与えることが可能であり，この方が自然な処置であると考える．
\section{むすび}
\label{sec:musubi}\subsection{結論}\label{sec:Conclusion}品詞タグ付きコーパスは，その上に単語・品詞検索などの検索機能を作成することが可能であり，また，単語列や品詞列を扱う統計的自然言語処理にも有用である．しかし，日本文，特に古文についての品詞タグ付きコーパスはほとんど作成されていない．そこで，多数の作成例がある日本語古典の総索引を品詞タグ付きコーパスに変換する方法を検討した．使用した総索引は本文編と索引編とから成り，後者は単語の仮名／漢字表記・品詞情報を見出しとし，その単語の本文での出現行番号のリストを与える．品詞タグ付きコーパスとしては，基本的にはEDR電子化辞書の日本語コーパスの形式を採用した．ただし，品詞情報を拡張し活用語については活用型・活用形情報をタグに反映するなどの変更を加えた．変換機能には活用表の知識のみを保持するが，単語辞書・単語間の接続規則などの知識は持たない簡単な実現法を目指した．ある単語の部分文字列が他の単語の表記と一致し，両者が同一行に出現することがあり得る問題に対し，一種の最長一致法を用いた．索引の見出しの漢字表記が送り仮名等の仮名文字を含まないため，照合条件を緩める先読みと不完全照合法を用いた．不完全照合法により照合できた部分の確認と索引自体の誤りその他による照合失敗部の修正とを容易に行なうため，それぞれの要因を区別する表示を付けた中間結果を出力し，人手によって検査・修正した．以上の結果，約15万単語の品詞タグ付きコーパスを得て，品詞タグ付きコーパスの増強に関して，本方法が有効であることを示した．不完全照合法による照合部分の確認の結果，誤りはなく，不完全照合法が有効に働いたことが判った．本実験における照合失敗すなわち変換誤りについては，その要因の検討を行なった．また，総索引の形式への提案，変換方法の改良案などについて述べた．\subsection{今後の課題}\label{sec:Future}品詞タグ付きコーパスの量と質の増強が今後の課題である．質の向上のためには，単語や品詞の認定などに関するコーパス内の統一性の確保はもちろん，コーパス間統一性も必要であり，相当な検討を要する．この検討においては，利用者および利用目的の多様性を確保するという観点も必要になる．コーパスの形式自体にも汎用性からの検討が必要である．これらについては既に実施中の検討と共通の点が多い\cite{Tanaka2000}\cite{Hashida1999}．古典の主要な文献については，すでに総索引が作成されている．これらについて，上記の検討を加えた上でその電子化を行なうならば，変換処理により，品詞タグ付きコーパスの充実を計ることが可能である．明治時代以降の文献については，EDRコーパスなどの少数例を除いて品詞タグ付きコーパスの例が少ない．また，単語・品詞の認定作業を経た総索引資料が極めて少なく，この点については古典文の場合よりも状況が悪い．今後の基礎的な努力が期待される．\acknowledgment本研究の初期検討を担当した瀧本景子氏，照合不完全部の確認と修正によりコーパスを完成させた田熊亜希子，佃美香，林朋子の各位に感謝します．本研究は\cite{UTA1994}および\cite{NIKKI1996}によって実施した．両著作の著者の方々に感謝したい．なお、本研究の一部は文部省科学研究費補助金（基盤研究Ｃ２No.13680492）によって実施した．\bibliographystyle{jnlpbbl}\bibliography{jpaper}\begin{biography}\biotitle{略歴}\bioauthor{上原徹三}{1969年京都大学大学院・工学研究科・修士課程修了．同年日立製作所中央研究所入所．1993年武蔵工業大学工学部教授．文書処理・日本語処理の研究に従事．博士(工学)．情報処理学会，言語処理学会，計量国語学会，ACM各会員．}\bioauthor{金澤恵}{2001年武蔵工業大学工学部電子情報工学科卒業．現在，武蔵工大大学院・工学研究科・電気工学専攻修士課程２年．日本語処理の研究に従事．}\bioauthor{潮靖之}{1999年武蔵工業大学工学部電子通信工学科卒業．2001年同大学院・工学研究科・修士課程修了．現在，(株)東芝に勤務．}\bioauthor{矢古宇智子}{2001年武蔵工業大学工学部電子情報工学科卒業．現在，(株)日立ＩＮＳソフトウェアに勤務．}\bioreceived{受付}\bioaccepted{採録}\end{biography}\end{document}