Upload train_data

.gitattributes

@@ -32,3 +32,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+train_data/databricks-dolly-15k-ja.json filter=lfs diff=lfs merge=lfs -text
+train_data/oasst1_ja.json filter=lfs diff=lfs merge=lfs -text

train_data/databricks-dolly-15k-ja.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a7053bd9081719ea68765e0e743c6e222fd78de65a41de3411d11362b631815e
+size 17061804

train_data/make_json_from_oasst1_ja.py

@@ -0,0 +1,107 @@
+import pandas as pd
+from datasets import load_dataset
+import json
+from tqdm import tqdm
+
+ds = load_dataset("OpenAssistant/oasst1")
+train = ds['train']
+val = ds['validation']
+
+# データフレームを連結
+df = pd.concat([pd.DataFrame(train), pd.DataFrame(val)])
+
+ds_ja = load_dataset("kunishou/oasst1-89k-ja")
+
+# データフレーム
+df_ja = pd.DataFrame(ds_ja['train'])
+
+# 'message_id' をキーにして df_ja と df を結合し、df_ja の列名が優先されるようにします。
+merged_df = df_ja.merge(df, on='message_id', how='left', suffixes=('', '_y'))
+
+# 重複した列を削除します。
+merged_df = merged_df.drop(columns=[col for col in merged_df.columns if col.endswith('_y')])
+
+# 同じmessage_tree_idでデータをグループ化
+grouped = merged_df.groupby('message_tree_id')
+
+def find_longest_chain(group, root_message_id):
+    max_length = 0  # 最長のチェーンの長さを初期化
+    min_toxicity = 2.0  # 最小の毒性を初期化
+    leaf_id = None  # 最長のチェーンの末端のメッセージIDを初期化
+
+    # グループ内の各行に対して処理を行う
+    for _, row in group.iterrows():
+        current_id = row['message_id']
+        if current_id == root_message_id:
+            continue  # ルートメッセージを処理しない
+
+        chain_length = 0  # チェーンの長さを初期化
+        toxicity = 1.0  # 毒性を初期化
+
+        # ルートメッセージにたどり着くまでチェーンを辿る
+        while current_id != 'nan':
+            chain_length += 1
+            detoxify_data = group.loc[group['message_id'] == current_id, 'detoxify'].iloc[0]
+            toxicity = detoxify_data['toxicity'] if detoxify_data is not None else 1.0  # 毒性がない場合は1.0を代入
+            current_id = group.loc[group['message_id'] == current_id, 'parent_id'].values[0]
+
+            # チェーンが現在の最長のチェーンと同じか長く、毒性が現在の最小の毒性以下の場合
+            if chain_length >= max_length and toxicity <= min_toxicity:
+                max_length = chain_length
+                min_toxicity = toxicity
+                leaf_id = row['message_id']  # 末端のメッセージIDを更新
+
+    return leaf_id  # 最長のチェーンの末端のメッセージIDを返す
+
+leafs = []  # 最長チェーンの末端のメッセージIDを格納するリストを初期化
+
+
+for _, group in tqdm(grouped):
+    # parent_idがnullのメッセージを見つける（ルートメッセージ）
+    root_message = group[group['parent_id'] == 'nan'].iloc[0]
+    root_message_id = root_message['message_id']
+
+    # 英語かスペイン語か日本語
+    if root_message['lang'] in ['en', 'es', 'ja']:
+        leaf_id = find_longest_chain(group, root_message_id)
+        leafs.append(leaf_id)
+
+# 最も深いメッセージから辿ってメッセージを作成する関数
+def create_message_path(message):
+    role = "User" if message['role'] == "prompter" else "Assistant"  # メッセージの役割に応じて、UserかAssistantを選択
+    formatted_message = f"{role}:{message['text_ja']}"  # 役割とメッセージを連結
+    if pd.isnull(message['parent_id']):  # 親メッセージがない場合
+        return [formatted_message]
+    else:
+        parent_messages = merged_df[merged_df['message_id'] == message['parent_id']]  # 親メッセージを検索
+        if parent_messages.empty:  # 親メッセージが見つからない場合
+            return [formatted_message]
+        parent_message = parent_messages.iloc[0]  # 親メッセージを取得
+        # 親メッセージから再帰的にメッセージを作成し、現在のメッセージを追加
+        return create_message_path(parent_message) + [formatted_message]
+
+result = []  # 結果を格納するリストを初期化
+for leaf_id in tqdm(leafs):  # 進捗状況を表示するためにtqdmを使用
+    leaf_message = merged_df[merged_df['message_id'] == leaf_id].iloc[0]  # 末端のメッセージを取得
+    leaf_text = create_message_path(leaf_message)  # 末端のメッセージからメッセージのチェーンを作成
+    leaf_json = {}
+    odd = len(leaf_text) % 2
+    if len(leaf_text) <= 3:  # メッセージのチェーンが3つ以下の場合
+        leaf_json['instruction'] = leaf_text[0].replace("User:", "", 1)
+        leaf_json['input'] = ""
+        leaf_json['output'] = leaf_text[1].replace("Assistant:", "", 1)
+    else:  # メッセージのチェーンが4つ以上の場合
+        instruction = ""
+        for t in leaf_text[0:-2-odd]:  # 最後の2つのメッセージを除いて、指示文を作成
+            instruction += t + " "
+        leaf_json['instruction'] = instruction
+        leaf_json['input'] = leaf_text[-2-odd]  # 入力メッセージを設定
+        leaf_json['output'] = leaf_text[-1-odd].replace("Assistant:", "", 1)  # 出力メッセージを設定
+    result.append(leaf_json)  # 結果リスト��JSONを追加
+
+# JSON データを作成
+json_data = json.dumps(result, ensure_ascii=False, indent=4)
+
+# JSON をファイルに保存
+with open("oasst1_ja.json", "w", encoding="utf-8") as json_file:
+    json_file.write(json_data)

train_data/oasst1_ja.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f726ad7113b60c4bfe322884d385c9d9c7da1c99b0e7deeac27dc6934ac3b3c1
+size 14463337