文章の前処理では、一般的に以下の手順が行われます。 文字の正規化（大文字・小文字の統一、句読点や特殊文字の削除） トークン化（文書を単語やフレーズに分割） ストップワードの削除（意味の薄い一般的な単語の除去） ステミング・レンマタイゼーション（単語の基本形への変換）