train_data/merge_json.py

import json

# JSONファイル名のリストを作成します。
json_files = ['databricks-dolly-15k-ja.json', 'oasst1_ja.json', 'ojousamatalkscript200.json', 'zundamon.json']

# マージされたデータを格納するリストを作成します。
merged_data = []

# 各JSONファイルを読み込み、データをマージします。
for file in json_files:
    with open(file, 'r', encoding='utf-8') as f:
        data = json.load(f)
        merged_data.extend(data)

# マージされたデータを新しいJSONファイルに保存します。
with open('merged_data.json', 'w', encoding='utf-8') as f:
    json.dump(merged_data, f, ensure_ascii=False, indent=2)