日本語日常対話コーパスへの基礎解析アノテーション

自然言語処理の研究・開発は，近年は分野として言語横断的な取り組みを推奨する動きはあるものの[1]，依然として英語を対象とした議論が主導的である．日本語を対象とした自然言語処理，たとえば，英語をはじめ他言語のうえで確立された最先端の技術や知見の日本語への適応可能性を検証すること，あるいは，日本語話者の文化や思想が反映された日本語特有の表現を満足に処理する方法論を確立することなどを議論していくためには，日本語言語資源の整備が必要不可欠である．日本語日常対話コーパス（JDailyDialogue;JDD）は，規範的な日本語表現で構成される高品質なマルチターン日常対話コーパスである[2]．日本語の対話コーパスは音声対話の書き起こしを収録したものが多いなか，日本語日常対話コーパスは，BusinessSceneDialogue[3]，JPersonaChat，JEmpatheticDialogues[4]と同様，人が創作したテキスト対話を収録したものである．これらのコーパスは，人間同士の自然対話で観察されるリアルな言語現象（フィラーや相槌の多用，発話途中の話者交代など）を含まないが，近年の対話研究のデファクトスタンダードである英語対話データDailyDialog[5]，Persona-Chat[6]，EmpatheticDialogues[7]の日本語版と見做すことができ，日英言語横断的研究の土台を成している．日本語日常対話コーパスをより標準的で利便性の高い言語資源として整備することを目的として，コーパス内の対話に対して形態論情報や統語情報などの基礎解析情報のアノテーションを進めている．さらに，これらの情報に基づき，日本語日常対話コーパスを多言語間で共通化された依存構造アノテーション仕様であるUniversalDependencies(UD)[8]に準拠した言語資源として再構築している．基礎解析情報が付与されている日本語対話コーパスには日本語話し言葉コーパス[9,10]や日本語日常会話コーパス[11]があるが，これらはいずれも自然音声発話の書き起こしデータであり，日本語日常対話コーパスのような高品質テキスト対話に解析情報が付与されている言語資源は希少である．日本語のUD言語資源にはUDJapanese-GSDなど[12,13,14]があるが，著作権の都合で表層形と合わせて利用可能な言語資源は限定的である．本稿で紹介するUDJapanese-JDDは，データの包括性に加えて規模と品質の観点からも，日本語のUD言語資源としての高い有用性が期待できる．本稿では，日本語日常対話コーパスに対して実施している基礎解析アノテーションの内容および手順を説明し，基礎解析結果の概要を報告する．また，基礎解析結果に基づいて構築したUDJapanese-JDDの活用の一例として依存構造解析器を作成し，既存解析器との比較によりその特性を明らかにする．