inu-ai's picture
Upload train_data
0612e53
import json
# JSONファイル名のリストを作成します。
json_files = ['databricks-dolly-15k-ja.json', 'oasst1_ja.json', 'ojousamatalkscript200.json', 'zundamon.json']
# マージされたデータを格納するリストを作成します。
merged_data = []
# 各JSONファイルを読み込み、データをマージします。
for file in json_files:
with open(file, 'r', encoding='utf-8') as f:
data = json.load(f)
merged_data.extend(data)
# マージされたデータを新しいJSONファイルに保存します。
with open('merged_data.json', 'w', encoding='utf-8') as f:
json.dump(merged_data, f, ensure_ascii=False, indent=2)