データ分析において不可欠なステップであるデータ前処理（DP）に対して，大規模言語モデル（LLM）の活用が注目を集めている．しかし，既存手法の多くはGPTのAPIに依存しており，プライバシーやコスト面での課題が残されている．本研究では，ローカル環境で実行可能な，Llama3-8B,mistral-7Bなどのパラメータ規模が小さいLLMにのInstruction-tuningを実施し，代表的なDPタスクにおける性能を包括的に評価した．本実験により，全てのモデルの性能向上が確認され，GPT-3.5/4に匹敵する処理能力を実証した．この取り組みは，ローカル環境で実行でき，プライバシーとコストを考慮しつつ高性能なDPを実現しうるLLMによる実用的な解決策を提案するものである．モデルおよび学習データはhttps://huggingface.co/NECOUDBFMで公開されている．

データ前処理（DP）は，データ分析パイプラインにおいて，生データを扱いやすく処理可能な形式へ変換する極めて重要なステップである．過去数十年にわたり，さまざまなDPタスクにおいて大きな進歩がみられたが，2021年頃までは，エラー検出（ED）[1,2]，データ補完（DI）[3,4,5]，スキーママッチング（SM）[6]，エンティティマッチング（EM）[7,8]など，個別のタスクに特化した研究が中心であった．DPの汎用的な解決策を開発する上での主要な課題は，これらのタスクにおける対象（エラー，異常値，マッチデータなど）と，操作手法（検出，修正，アラインメントなど）がそれぞれ異なる点にある．一方，大規模言語モデル（LLM）の登場により，より幅広いDPタスクに対応できる汎用解決策の開発が促進された．従来のDP手法と比べ，LLMを用いた手法は自然言語生成能力，内部知識，推論能力，汎化能力に加え，ゼロショット[9]あるいはフューショット[10]学習による適応性を備えている．そのため，パラメータチューニングといった人手による作業コストを削減でき，さらに可解釈性の向上も期待できる．しかし，既存のLLMによるDP解決策[11,12,13]は，GPTのAPIへの依存によりデータ漏洩の懸念を引き起こしてきた[14]．また，GPTシリーズは高度に専門的なドメインのデータを扱う場合，追加学習のコストが高く，モデルのカスタマイズが困難である．これらの課題に対し，本研究ではDPタスク向けのインストラクションデータ構築方法と，LLMのチューニング手法を探究する．本研究の主要な問いは以下の三つである：•ローカルLLMはInstruction-tuningによりGPTシリーズと同等のDP精度を達成できるか．•同一のデータセットは異なるアーキテクチャやパラメータサイズのLLMに対しても有効か．•訓練データに含まれないドメイン外DPタスクにおいても精度向上が見られるか．これらを明らかにするため，本研究では独自に構築したDP向けインストラクションデータを用い，異なるLLMを比較する．本研究で提案するファインチューニング済みモデルのJellyﬁshは，構造化データを対象とし，ドメイン外タスクやデータセットに対する知識注入仕組みを備えている．さらに，プロンプトエンジニアリングに対する性能を維持しつつ，将来的なカスタマイズにも対応できる汎化能力を有している．また，7B，8B，13Bという三つのパラメータサイズを持つモデルを用いて，提案手法の有効性を検証した．Jellyﬁshの評価では，広く使用されるDPベンチマークを用いて，非LLM手法およびGPTシリーズを代表とするLLM手法との比較を行った．その結果，すべてのJellyﬁshモデルにおいてDP性能の大幅な向上が確認された．特に，13Bモデルはドメイ.TuningInstanceSerializaonInstruconData(DPTask)RawDatasetsLabeledforDPKnowledgeInjeconDPTasksInstruconData(DPTaskwithReasoning)LargerOpenLLM(Mixtral8x7B)EDDISMEMン内タスクで非LLM手法を一貫して上回る性能を示した．また，7B/8BモデルもDIとEMタスクを中心に競争力のある結果を達成した．ドメイン外タスクにおいても，各JellyﬁshモデルはGPT-3.5/4に匹敵する性能を示し，ファインチューニングに用いたドメイン内タスクを超えた幅広いDPタスクに汎化できる可能性が示唆された．