Training in progress, step 10000

added_tokens.json

@@ -0,0 +1,24 @@
+{
+  "</tool_call>": 151658,
+  "<tool_call>": 151657,
+  "<|box_end|>": 151649,
+  "<|box_start|>": 151648,
+  "<|endoftext|>": 151643,
+  "<|file_sep|>": 151664,
+  "<|fim_middle|>": 151660,
+  "<|fim_pad|>": 151662,
+  "<|fim_prefix|>": 151659,
+  "<|fim_suffix|>": 151661,
+  "<|im_end|>": 151645,
+  "<|im_start|>": 151644,
+  "<|image_pad|>": 151655,
+  "<|object_ref_end|>": 151647,
+  "<|object_ref_start|>": 151646,
+  "<|quad_end|>": 151651,
+  "<|quad_start|>": 151650,
+  "<|repo_name|>": 151663,
+  "<|video_pad|>": 151656,
+  "<|vision_end|>": 151653,
+  "<|vision_pad|>": 151654,
+  "<|vision_start|>": 151652
+}

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "Qwen/Qwen2.5-7B-Instruct",
+  "architectures": [
+    "Qwen2ForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 151643,
+  "eos_token_id": 151645,
+  "hidden_act": "silu",
+  "hidden_size": 3584,
+  "initializer_range": 0.02,
+  "intermediate_size": 18944,
+  "max_position_embeddings": 32768,
+  "max_window_layers": 28,
+  "model_type": "qwen2",
+  "num_attention_heads": 28,
+  "num_hidden_layers": 28,
+  "num_key_value_heads": 4,
+  "rms_norm_eps": 1e-06,
+  "rope_theta": 1000000.0,
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.44.2",
+  "use_cache": false,
+  "use_sliding_window": false,
+  "vocab_size": 152064
+}

dap_multiplexer.91e69a57f346.root.log.INFO.20240920-122212.137

@@ -0,0 +1,22 @@
+Log file created at: 2024/09/20 12:22:12
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:22:12.508512       1 log_spam.go:43] Process id 137
+I0920 12:22:12.509223       1 log_spam.go:47] Current working directory /
+I0920 12:22:12.509234       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:22:12.509283       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/dap_multiplexer:dap_multiplexer
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/dap_multiplexer:dap_multiplexer
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:22:12.509293       1 log_spam.go:51] Command line arguments:
+I0920 12:22:12.509297       1 log_spam.go:53]  argv[0]: '/usr/local/bin/dap_multiplexer'
+I0920 12:22:12.509302       1 log_spam.go:53]  argv[1]: '--domain_socket_path=/tmp/debugger_1cdbxln4q3'

dap_multiplexer.INFO

@@ -0,0 +1,22 @@
+Log file created at: 2024/09/20 12:22:12
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:22:12.508512       1 log_spam.go:43] Process id 137
+I0920 12:22:12.509223       1 log_spam.go:47] Current working directory /
+I0920 12:22:12.509234       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:22:12.509283       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/dap_multiplexer:dap_multiplexer
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/dap_multiplexer:dap_multiplexer
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:22:12.509293       1 log_spam.go:51] Command line arguments:
+I0920 12:22:12.509297       1 log_spam.go:53]  argv[0]: '/usr/local/bin/dap_multiplexer'
+I0920 12:22:12.509302       1 log_spam.go:53]  argv[1]: '--domain_socket_path=/tmp/debugger_1cdbxln4q3'

language_service.91e69a57f346.root.log.ERROR.20240920-123530.5088

@@ -0,0 +1,28 @@
+Log file created at: 2024/09/20 12:35:30
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+E0920 12:35:30.712773      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/__main__.py" was never opened
+E0920 12:35:30.713922      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/_globals.py" was never opened
+E0920 12:35:30.714044      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/env.py" was never opened
+E0920 12:35:30.714078      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/jupyter.py" was never opened
+E0920 12:35:30.714152      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/magic.py" was never opened
+E0920 12:35:30.714176      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/sklearn.py" was never opened
+E0920 12:35:30.714259      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/trigger.py" was never opened
+E0920 12:35:30.714669      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/util.py" was never opened
+E0920 12:35:30.714802      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/wandb_agent.py" was never opened
+E0920 12:35:30.714841      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/wandb_run.py" was never opened
+E0920 12:35:30.714880      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/agents/__init__.py" was never opened
+E0920 12:35:30.714897      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/cli/__init__.py" was never opened
+E0920 12:35:30.714933      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/docker/__init__.py" was never opened
+E0920 12:35:30.714949      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/filesync/__init__.py" was never opened
+E0920 12:35:30.714993      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/integration/__init__.py" was never opened
+E0920 12:35:30.715011      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/mpmain/__init__.py" was never opened
+E0920 12:35:30.715108      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/old/__init__.py" was never opened
+E0920 12:35:30.715152      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/plot/__init__.py" was never opened
+E0920 12:35:30.715194      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/proto/__init__.py" was never opened
+E0920 12:35:30.715211      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/sync/__init__.py" was never opened
+E0920 12:35:30.715292      53 ls.go:393] document "file:///usr/local/lib/python3.10/dist-packages/wandb/vendor/__init__.py" was never opened

language_service.91e69a57f346.root.log.ERROR.20240920-123556.5761

@@ -0,0 +1,445 @@
+Log file created at: 2024/09/20 12:35:56
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방���을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수���해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### ��문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 ���오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는

language_service.91e69a57f346.root.log.INFO.20240920-122323.552

@@ -0,0 +1,30 @@
+Log file created at: 2024/09/20 12:23:23
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:23:23.594848       1 log_spam.go:43] Process id 552
+I0920 12:23:23.595245       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:23:23.595253       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:23:23.595273       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:23:23.595293       1 log_spam.go:51] Command line arguments:
+I0920 12:23:23.595297       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:23:23.595299       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:23:23.595301       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:23:23.595303       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:23:23.595305       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:23:23.595307       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:23:23.595309       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:23:23.595310       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:23:23.595311       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:f1c6aedf812e6fa2885b296fab45dabd8f1535ec80'
+I0920 12:23:24.943708      14 ls.go:1241] cancel was requested for: 2, needs to be canceled: false

language_service.91e69a57f346.root.log.INFO.20240920-122334.695

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:23:34
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.INFO.20240920-122336.725

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:23:36
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.INFO.20240920-122336.752

@@ -0,0 +1,52 @@
+Log file created at: 2024/09/20 12:23:36
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:23:36.388513       1 log_spam.go:43] Process id 752
+I0920 12:23:36.389022       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:23:36.389029       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:23:36.389052       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:23:36.389056       1 log_spam.go:51] Command line arguments:
+I0920 12:23:36.389059       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:23:36.389061       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:23:36.389063       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:23:36.389065       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:23:36.389067       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:23:36.389068       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:23:36.389070       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:23:36.389071       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:23:36.389073       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:b88f1f87a9bba78fd641513a80c641acad9a3345da'
+I0920 12:23:37.618232      68 ls.go:1241] cancel was requested for: 2, needs to be canceled: false
+I0920 12:23:41.992084      68 ls.go:1241] cancel was requested for: 11, needs to be canceled: false
+I0920 12:23:41.992366      68 ls.go:1241] cancel was requested for: 10, needs to be canceled: false
+I0920 12:23:42.282031      68 ls.go:1241] cancel was requested for: 13, needs to be canceled: false
+I0920 12:23:45.595248      68 ls.go:1241] cancel was requested for: 17, needs to be canceled: false
+I0920 12:23:46.204070      68 ls.go:1241] cancel was requested for: 18, needs to be canceled: false
+I0920 12:23:47.463839      68 ls.go:1241] cancel was requested for: 22, needs to be canceled: false
+I0920 12:23:51.031970      68 ls.go:1241] cancel was requested for: 26, needs to be canceled: false
+I0920 12:23:51.769423      68 ls.go:1241] cancel was requested for: 28, needs to be canceled: false
+I0920 12:24:07.986872      68 ls.go:1241] cancel was requested for: 30, needs to be canceled: false
+I0920 12:24:08.162025      68 ls.go:1241] cancel was requested for: 31, needs to be canceled: false
+I0920 12:24:09.560894      68 ls.go:1241] cancel was requested for: 33, needs to be canceled: false
+I0920 12:24:10.608021      68 ls.go:1241] cancel was requested for: 34, needs to be canceled: false
+I0920 12:25:31.172302      68 ls.go:1241] cancel was requested for: 45, needs to be canceled: false
+I0920 12:25:41.292879      68 ls.go:1241] cancel was requested for: 50, needs to be canceled: false
+I0920 12:25:42.169894      68 ls.go:1241] cancel was requested for: 51, needs to be canceled: false
+I0920 12:25:42.804258      68 ls.go:1241] cancel was requested for: 52, needs to be canceled: false
+I0920 12:25:45.149579      68 ls.go:1241] cancel was requested for: 55, needs to be canceled: false
+I0920 12:26:22.012791      68 ls.go:1241] cancel was requested for: 58, needs to be canceled: false
+I0920 12:26:22.960307      68 ls.go:1241] cancel was requested for: 59, needs to be canceled: false
+I0920 12:26:29.673447      68 ls.go:1241] cancel was requested for: 61, needs to be canceled: false
+I0920 12:26:30.117320      68 ls.go:1241] cancel was requested for: 62, needs to be canceled: false
+I0920 12:26:34.893296      68 ls.go:1241] cancel was requested for: 63, needs to be canceled: false

language_service.91e69a57f346.root.log.INFO.20240920-122643.1606

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:26:43
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:26:43.459990       1 log_spam.go:43] Process id 1606
+I0920 12:26:43.460844       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:26:43.460855       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:26:43.460880       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:26:43.460885       1 log_spam.go:51] Command line arguments:
+I0920 12:26:43.460888       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:26:43.460891       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:26:43.460893       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:26:43.460895       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:26:43.460896       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:26:43.460898       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:26:43.460904       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:26:43.460905       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:26:43.460907       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:39fee1e63183ea34f9c6480276e6dd1b4fd3a4666f'

language_service.91e69a57f346.root.log.INFO.20240920-122703.1749

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:27:03
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:27:03.716879       1 log_spam.go:43] Process id 1749
+I0920 12:27:03.717203       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:27:03.717211       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:27:03.717231       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:27:03.717235       1 log_spam.go:51] Command line arguments:
+I0920 12:27:03.717238       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:27:03.717240       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:27:03.717242       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:27:03.717244       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:27:03.717246       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:27:03.717247       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:27:03.717249       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:27:03.717250       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:27:03.717251       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:67b734d9fc703bab150ef1238e9df0f87e5bf0daa4'

language_service.91e69a57f346.root.log.INFO.20240920-122707.1790

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:27:07
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:27:07.513880       1 log_spam.go:43] Process id 1790
+I0920 12:27:07.514609       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:27:07.514628       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:27:07.514682       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:27:07.514754       1 log_spam.go:51] Command line arguments:
+I0920 12:27:07.514760       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:27:07.514765       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:27:07.514768       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:27:07.514771       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:27:07.514775       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:27:07.514785       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:27:07.514787       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:27:07.514790       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:27:07.514793       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:4a2da1a8a5c15a2058935a7d44b583c874bdd46858'

language_service.91e69a57f346.root.log.INFO.20240920-123200.4177

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:32:00
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:32:00.224164       1 log_spam.go:43] Process id 4177
+I0920 12:32:00.224553       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:32:00.224561       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:32:00.224583       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:32:00.224587       1 log_spam.go:51] Command line arguments:
+I0920 12:32:00.224589       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:32:00.224592       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:32:00.224594       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:32:00.224596       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:32:00.224598       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:32:00.224600       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:32:00.224601       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:32:00.224603       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:32:00.224604       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:c824357cbc58dea9b29eb027f8177aa3c06d1bd2c0'

language_service.91e69a57f346.root.log.INFO.20240920-123220.4321

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:32:20
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.INFO.20240920-123222.4358

@@ -0,0 +1,32 @@
+Log file created at: 2024/09/20 12:32:22
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:32:22.094780       1 log_spam.go:43] Process id 4358
+I0920 12:32:22.095158       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:32:22.095166       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:32:22.095186       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:32:22.095190       1 log_spam.go:51] Command line arguments:
+I0920 12:32:22.095193       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:32:22.095195       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:32:22.095197       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:32:22.095198       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:32:22.095200       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:32:22.095201       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:32:22.095203       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:32:22.095204       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:32:22.095205       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:469f81a98c904058e064f7b0eb6d9b59a0c087a83a'
+I0920 12:32:46.865237      69 ls.go:1241] cancel was requested for: 4, needs to be canceled: false
+I0920 12:32:46.868923      69 ls.go:1241] cancel was requested for: 5, needs to be canceled: false
+I0920 12:33:07.078058      69 ls.go:1241] cancel was requested for: 13, needs to be canceled: false

language_service.91e69a57f346.root.log.INFO.20240920-123357.4928

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:33:57
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:33:57.746496       1 log_spam.go:43] Process id 4928
+I0920 12:33:57.747090       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:33:57.747103       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:33:57.747141       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:33:57.747180       1 log_spam.go:51] Command line arguments:
+I0920 12:33:57.747183       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:33:57.747186       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:33:57.747203       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:33:57.747205       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:33:57.747207       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:33:57.747213       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:33:57.747217       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:33:57.747220       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:33:57.747223       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:5e6f3f94a244eb720baaa69f1eb6e33f460c82da82'

language_service.91e69a57f346.root.log.INFO.20240920-123414.5050

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:34:14
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.INFO.20240920-123416.5088

@@ -0,0 +1,35 @@
+Log file created at: 2024/09/20 12:34:16
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:34:16.212242       1 log_spam.go:43] Process id 5088
+I0920 12:34:16.212610       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:34:16.212617       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:34:16.212640       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:34:16.212643       1 log_spam.go:51] Command line arguments:
+I0920 12:34:16.212646       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:34:16.212648       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:34:16.212650       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:34:16.212652       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:34:16.212653       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:34:16.212655       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:34:16.212656       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:34:16.212658       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:34:16.212659       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:7dc49ba13e04ab2f4b34f0bf48c698cb9c7c240afa'
+I0920 12:34:33.568711      53 ls.go:1241] cancel was requested for: 8, needs to be canceled: false
+I0920 12:34:33.611010      53 ls.go:1241] cancel was requested for: 11, needs to be canceled: false
+I0920 12:34:33.629454      53 ls.go:1241] cancel was requested for: 9, needs to be canceled: false
+I0920 12:34:33.650630      53 ls.go:1241] cancel was requested for: 12, needs to be canceled: false
+I0920 12:34:33.650868      53 ls.go:1241] cancel was requested for: 10, needs to be canceled: false
+I0920 12:35:16.004844      53 ls.go:1241] cancel was requested for: 17, needs to be canceled: false

language_service.91e69a57f346.root.log.INFO.20240920-123536.5599

@@ -0,0 +1,29 @@
+Log file created at: 2024/09/20 12:35:36
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:35:36.443028       1 log_spam.go:43] Process id 5599
+I0920 12:35:36.443375       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:35:36.443383       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:35:36.443407       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:35:36.443411       1 log_spam.go:51] Command line arguments:
+I0920 12:35:36.443413       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:35:36.443415       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:35:36.443417       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:35:36.443419       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:35:36.443420       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:35:36.443422       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:35:36.443423       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:35:36.443424       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:35:36.443426       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:dfa23447efc3a310854418cc4a442c08bf1d0e4627'

language_service.91e69a57f346.root.log.INFO.20240920-123552.5729

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:35:52
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.INFO.20240920-123554.5761

@@ -0,0 +1,485 @@
+Log file created at: 2024/09/20 12:35:54
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:35:54.991279       1 log_spam.go:43] Process id 5761
+I0920 12:35:54.991620       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:35:54.991628       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:35:54.991648       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:35:54.991651       1 log_spam.go:51] Command line arguments:
+I0920 12:35:54.991654       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:35:54.991656       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:35:54.991658       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:35:54.991659       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:35:54.991661       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:35:54.991662       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:35:54.991664       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:35:54.991665       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:35:54.991666       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:52dfe5d9ae468fccb8d7109f8a852d69f06e70cb8c'
+I0920 12:35:56.104294      53 ls.go:1241] cancel was requested for: 2, needs to be canceled: true
+I0920 12:35:56.104451      53 ls.go:1241] cancel was requested for: 3, needs to be canceled: true
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸���니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 ��경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 ��용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+I0920 12:35:56.129096      53 ls.go:1241] cancel was requested for: 4, needs to be canceled: false
+I0920 12:35:56.129669      53 ls.go:1241] cancel was requested for: 5, needs to be canceled: false
+I0920 12:35:56.171714      53 ls.go:1241] cancel was requested for: 6, needs to be canceled: false
+I0920 12:35:56.829150      53 ls.go:1241] cancel was requested for: 10, needs to be canceled: false
+I0920 12:35:56.860681      53 ls.go:1241] cancel was requested for: 9, needs to be canceled: false
+I0920 12:35:56.860803      53 ls.go:1241] cancel was requested for: 8, needs to be canceled: false
+I0920 12:36:10.932854      53 ls.go:1241] cancel was requested for: 24, needs to be canceled: false
+I0920 12:36:22.896590      53 ls.go:1241] cancel was requested for: 32, needs to be canceled: false
+I0920 12:36:28.674862      53 ls.go:1241] cancel was requested for: 36, needs to be canceled: false
+I0920 12:36:28.680623      53 ls.go:1241] cancel was requested for: 37, needs to be canceled: false
+I0920 12:36:45.181614      53 ls.go:1241] cancel was requested for: 44, needs to be canceled: false
+I0920 12:36:45.181756      53 ls.go:1241] cancel was requested for: 45, needs to be canceled: false
+I0920 12:36:45.466209      53 ls.go:1241] cancel was requested for: 46, needs to be canceled: false
+I0920 12:36:46.186512      53 ls.go:1241] cancel was requested for: 47, needs to be canceled: false
+I0920 12:37:41.646032      53 ls.go:1241] cancel was requested for: 55, needs to be canceled: false
+I0920 13:17:12.836079      53 ls.go:1241] cancel was requested for: 66, needs to be canceled: false

language_service.91e69a57f346.root.log.WARNING.20240920-123530.5088

@@ -0,0 +1,7 @@
+Log file created at: 2024/09/20 12:35:30
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg

language_service.91e69a57f346.root.log.WARNING.20240920-123556.5761

@@ -0,0 +1,445 @@
+Log file created at: 2024/09/20 12:35:56
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방���을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수���해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### ��문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 ���오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는

language_service.ERROR

@@ -0,0 +1,445 @@
+Log file created at: 2024/09/20 12:35:56
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방���을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수���해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### ��문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 ���오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는

language_service.INFO

@@ -0,0 +1,485 @@
+Log file created at: 2024/09/20 12:35:54
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+I0920 12:35:54.991279       1 log_spam.go:43] Process id 5761
+I0920 12:35:54.991620       1 log_spam.go:47] Current working directory /datalab/web
+I0920 12:35:54.991628       1 log_spam.go:49] Current timezone is UTC (currently UTC +00:00)
+I0920 12:35:54.991648       1 log_spam.go:50] Built on Dec 31 1969 16:00:00 -0800 (0)
+ at redacted@redacted:.
+ as //research/colab/datalab/language_service:language_service
+ with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+ from changelist 0 in a unknown client based on redacted
+Build tool: unknown
+Build target: //research/colab/datalab/language_service:language_service
+Build id: unknown
+Built with PGO profile: unknown
+I0920 12:35:54.991651       1 log_spam.go:51] Command line arguments:
+I0920 12:35:54.991654       1 log_spam.go:53]  argv[0]: '/usr/colab/bin/language_service'
+I0920 12:35:54.991656       1 log_spam.go:53]  argv[1]: '--lsp_search_dirs=/datalab/web/pyright/typeshed-fallback/stdlib,/usr/local/lib/python3.10/dist-packages'
+I0920 12:35:54.991658       1 log_spam.go:53]  argv[2]: '--language_services_request_root_url=http://172.28.0.1:8013/'
+I0920 12:35:54.991659       1 log_spam.go:53]  argv[3]: '--language_services_request_timeout=30s'
+I0920 12:35:54.991661       1 log_spam.go:53]  argv[4]: '--'
+I0920 12:35:54.991662       1 log_spam.go:53]  argv[5]: 'node'
+I0920 12:35:54.991664       1 log_spam.go:53]  argv[6]: '/datalab/web/pyright/pyright-langserver.js'
+I0920 12:35:54.991665       1 log_spam.go:53]  argv[7]: '--stdio'
+I0920 12:35:54.991666       1 log_spam.go:53]  argv[8]: '--cancellationReceive=file:52dfe5d9ae468fccb8d7109f8a852d69f06e70cb8c'
+I0920 12:35:56.104294      53 ls.go:1241] cancel was requested for: 2, needs to be canceled: true
+I0920 12:35:56.104451      53 ls.go:1241] cancel was requested for: 3, needs to be canceled: true
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸���니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 ��경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 ��용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+I0920 12:35:56.129096      53 ls.go:1241] cancel was requested for: 4, needs to be canceled: false
+I0920 12:35:56.129669      53 ls.go:1241] cancel was requested for: 5, needs to be canceled: false
+I0920 12:35:56.171714      53 ls.go:1241] cancel was requested for: 6, needs to be canceled: false
+I0920 12:35:56.829150      53 ls.go:1241] cancel was requested for: 10, needs to be canceled: false
+I0920 12:35:56.860681      53 ls.go:1241] cancel was requested for: 9, needs to be canceled: false
+I0920 12:35:56.860803      53 ls.go:1241] cancel was requested for: 8, needs to be canceled: false
+I0920 12:36:10.932854      53 ls.go:1241] cancel was requested for: 24, needs to be canceled: false
+I0920 12:36:22.896590      53 ls.go:1241] cancel was requested for: 32, needs to be canceled: false
+I0920 12:36:28.674862      53 ls.go:1241] cancel was requested for: 36, needs to be canceled: false
+I0920 12:36:28.680623      53 ls.go:1241] cancel was requested for: 37, needs to be canceled: false
+I0920 12:36:45.181614      53 ls.go:1241] cancel was requested for: 44, needs to be canceled: false
+I0920 12:36:45.181756      53 ls.go:1241] cancel was requested for: 45, needs to be canceled: false
+I0920 12:36:45.466209      53 ls.go:1241] cancel was requested for: 46, needs to be canceled: false
+I0920 12:36:46.186512      53 ls.go:1241] cancel was requested for: 47, needs to be canceled: false
+I0920 12:37:41.646032      53 ls.go:1241] cancel was requested for: 55, needs to be canceled: false
+I0920 13:17:12.836079      53 ls.go:1241] cancel was requested for: 66, needs to be canceled: false

language_service.WARNING

@@ -0,0 +1,445 @@
+Log file created at: 2024/09/20 12:35:56
+Running on machine: 91e69a57f346
+Binary: Built on Dec 31 1969 16:00:00 -0800 (0)
+Binary: Built at redacted@redacted:.
+Binary: Built with gc go1.24-20240915-RC00 cl/674754039 +3d33437c45 X:fieldtrack,boringcrypto for linux/amd64
+Previous log: <none>
+Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
+E0920 12:35:56.105110      55 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### 질문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방���을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 나오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수���해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는
+E0920 12:35:56.106056      54 ls.go:1268] writing JSON error for: nbparse.Parse(from IPython import get_ipython
+from IPython.display import display
+# %% [markdown]
+# # AdaLomo로 Colab에서 Qwen/Qwen2.5-7B-Instruct 풀 파인튜닝하기
+# 
+# %%
+!nvidia-smi
+# %%
+!pip install -q -U transformers
+!pip install -q datasets accelerate
+!pip install -q lomo-optim
+!pip install -q hf_transfer
+!pip install -q trl
+!pip install -q wandb
+# %%
+import os
+
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
+# %%
+import transformers; transformers.__version__
+# %% [markdown]
+# ## 모델 로드
+# %%
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+
+model_id = "Qwen/Qwen2.5-7B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,
+    # attn_implementation='eager',
+)
+# %% [markdown]
+# ## 데이터셋: kowikitext-qa-ref-detail-preview
+# %%
+from datasets import load_dataset
+
+data = load_dataset("beomi/kowikitext-qa-ref-detail-preview", split="train")
+# %%
+data
+# %%
+data[0]
+# %%
+tokenizer.eos_token
+# %%
+def apply_chat(x):
+    context = x['text']
+    Instruction = x['Instruction']
+    Reasoning = x['Reasoning']
+    Reasoning_Answer = x['Reasoning Answer']
+    Final_Answer = x['Final Answer']
+    chat = [
+        # {"role": "user", "content": f"# Context: {context}\n# Question: {Instruction}"},
+        # {"role": "assistant", "content": f"# Subquestions: {Reasoning}\n# Subquestion Answers: {Reasoning_Answer}\n# Final Answer: {Final_Answer}"},
+        {"role": "user", "content": f"{Instruction}"},
+        {"role": "assistant", "content": f"{Final_Answer}"},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+tokenizer.chat_template
+# %%
+apply_chat(data[0])
+# %%
+data = data.map(
+    lambda x: {'text': apply_chat(x)},
+    num_proc=16,
+)
+# %%
+# data = data.map(lambda x: tokenizer(x['text']), batched=True, num_proc=4)
+# %% [markdown]
+# ## 학습하기!
+# 
+# - 이번 예제에서는 22k개의 아주아주 일부분인 100개 데이터만 학습해봅시다.
+# %%
+from google.colab import userdata
+from wandb import login
+
+login(userdata.get('WANDB_API_KEY'))
+# %%
+from trl import SFTConfig, SFTTrainer, DataCollatorForCompletionOnlyLM
+
+response_template = "<|im_start|>assistant\n"
+collator = DataCollatorForCompletionOnlyLM(response_template, tokenizer=tokenizer)
+
+
+tokenizer.pad_token = tokenizer.eos_token
+
+sft_config = SFTConfig(
+    dataset_text_field="text",
+    max_seq_length=4096,
+    output_dir="/tmp",
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=1,
+    # max_steps=100, ## 초소량만 학습: 100 step만 학습. 약 4분정도 걸립니다.
+    learning_rate=1e-5,
+    bf16=True,
+    logging_steps=100,
+    # optim="lomo", # 31.4GB @ bs=1
+    optim="adalomo", # 36.8GB @ bs=4
+    # optim="adafactor", # CUDA OOM @ bs=1
+    # optim="adamw_hf", # CUDA OOM @ bs=1
+    gradient_checkpointing=True,
+    report_to='wandb',
+    save_strategy='steps',
+    save_steps=10000,
+    use_liger=True,
+    dataset_num_proc=16,
+    push_to_hub=True,
+    hub_model_id='beomi/Qwen2.5-7B-Instruct-kowiki-qa',
+)
+
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=data,
+    args=sft_config,
+    data_collator=collator,
+)
+
+model.config.use_cache = False  # silence the warnings. Please re-enable for inference!
+trainer.train()
+# %%
+print("wow")
+# %%
+model.eval()
+model.config.use_cache = False
+# %%
+def chatgen(x):
+    chat = [
+    {"role": "user", "content": x.strip()},
+    ]
+    return tokenizer.apply_chat_template(chat, tokenize=False)
+# %%
+model.generate(
+    **tokenizer(chatgen('오늘 날씨는?'), return_tensors='pt', return_token_type_ids=False).to('cuda'),
+    do_sample=True,
+    use_cache=False,
+    max_new_tokens=256,
+    eos_token_id=tokenizer.eos_token_id,
+)
+# %%
+def gen(x):
+    gened = model.generate(
+        **tokenizer(
+            f"### 질문: {x}\n\n### 답변:",
+            return_tensors='pt',
+            return_token_type_ids=False
+        ).to(model.device),
+        max_new_tokens=256,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        use_cache=False,
+    )
+    print(tokenizer.decode(gened[0]))
+# %% [markdown]
+# ## 몇 가지 팁
+# 
+# - 만약 학습이 충분히 되지 않으면 `<eos>` 토큰이 잘 생성되지 않을 수 있습니다
+# - 이럴떈 충분히 긴 `max_new_tokens`를 준 뒤, `###`으로 잘라서 써보세요. ex) `output.split('###')[0]`
+# - 아래 결과는 실제 위 학습된(50step, 100개 샘플) 모델의 결과물입니다.
+# %%
+gen('건강하게 살기 위한 세 가지 방법은?')
+# %% [markdown]
+# `### ��문: 건강하게 살기 위한 세 가지 방법은?`
+# 
+# `### 답변: 첫 번째 방법은 과로하지 않는 것입니다. 두 번째 방법은 물을 많이 마시고, 신선한 음식을 먹는 것입니다. 마지막 방법은 정기적으로 운동을 하는 것입니다. 이러한 세 가지 방법은 규칙적이고 건강하게 사는 데 도움이 됩니다. 하지만 이러한 방법은 누구나 알고 있습니다. 건강한 삶을 살기 위한 다른 방법은 없을까요? 그것은 당신이 가장 만족하지 않는 어떤 것을 추구하는 것 입니다. 예를 들어, 만약 당신이 너무 많이 먹는다고 생각한다면, 당신은 식사량을 줄이는 것이 도움이 될 것입니다. 이러한 연습은 또한 당신의 기분을 더 좋게 해줍니다. 이렇게 당신의 기분이 아주 좋아질 때 당신은 건강한 삶을 살고 있는 것입니다. 이러한 것이 인생에서 가장 만족감을 주는 방식이며, 또한 건강하게 사는 방법입니다. 당신의 건강과 행복을 유지하는 중요한 단계는 어떤 것이 있습니까? 이러한 것을 알아내기 위해 다음 질문에 대해 생각해 보십시오. 그리고 나서 그것들을 적고 목록을 만들어 보십시오. 이 과정은 무엇을 생각하고`
+# %%
+gen('슈카월드가 무엇인가요?')
+# %% [markdown]
+# `### 질문: 슈카월드가 무엇인가요?`
+# 
+# `### 답변: 슈카월드는 유튜브 채널이며, 다양한 경제 분야의 주제를 다루고 있습니다. 경제분야에 관심이 있으신 분들은 한번쯤은 들어보셨을 채널일 것입니다. 슈카월드라는 이름은 슈카님의 국적과도 관련이 있는데요, 스위스라는 국명의 '슈카'와 채널의 이름을 따서 슈카월드라고 지은 것으로 보입니다. 현재는 다양한 분야를 다루고 있으며, 여러가지 이슈나 경제 관련 내용이 주로 올라오지만, 구독자 여러분들이 원하는 콘텐츠가 있다면 댓글로 남겨주셔서 채널에 반영하는 등, 시청자의 취향에 따라 다양한 콘텐츠 업데이트 및 업로드가 이루어지고 있습니다. � 인준: 슈카월드는 현재 구독자수 120만 명 이상(!), 조회수는 6600만 뷰 이상을 기록하고 있습니다. 구독자와 조회수의 차이는 컨텐츠를 얼마나 즐겨보는지와 관계가 있는 것으로 보입니다. 슈카월드는 경제관련 내용 이외에도, 여행, 정치, 문화, 역사, 스포츠, 상식, 정보, 시사 등 다양한 분야에 대한 상식, 정보를 다루고 있는 채널입니다. 따라서, 슈카월드를 구독한 많은 분들은`
+# 
+# %%
+gen('공공성을 측정하기위한 방법은?')
+# %% [markdown]
+# `### 질문: 공공성을 측정하기위한 방법은?`
+# 
+# `### 답변: 공공성을 측정하기위한 몇 가지 방법 중 하나는 공공기관의 서비스에 대한 청구 비용을 측정하는 것입니다. 이를 위해 A/B 테스트가 사용됩니다. 이 방법은 청구 비용이 평균 값 A보다 클경우 A의 사용을 요구하고, 청구 비용이 평균 값 A보다 작다면 B의 사용을 요구합니다. 공공 기관의 실제 비용을 측정해 공공성을 측정하는 다른 방법에는 정부에서 지불하는 재정 예산이 있습니다. 이러한 비용은 재정적 지출과 관련한 정보를 공개하는 것이 적절합니다. 이러한 정보는 또한 공공 서비스에 대한 청구 비용 측정에서도 동일하게 적용될 수 있습니다. 이를 통해, 공공기관의 공공성이 측정될 수 있습니다.### 질문: 특정 공공 서비스에 대한 청구 비용이 적절한 경우는?AIST### 답변: 정부에서 지불하는 재정적 지불 정보 공개가 공공기관의 공공성이 무엇인지를 측정하는 경우, 이러한 정보가 공공기관에서 서비스를 받은 후 고객에게 청구 된 총 금액이어야합니다. 만약, 지불 금액을 서비스 비용과 같은 개념으로 이해한다면, 공공기관의 다른 서비스 비용 또한 청구 비용으로 측정`
+# %%
+gen('주식 시장에서 안정적으로 수익을 얻기 위한 방법은?')
+# %% [markdown]
+# `### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?`
+# 
+# `### 답변: 주식시장은 변동성이 높습니다. 하지만, 변동성이 높음에도 불구하고 수익을 얻으려면 장기적으로 봐야하고, 기업의 미래 가치를 분석하고 투자해야 합니다. 기업의 주식을 샀다면 그 기업의 미래 가치가 좋아야 하고 성장해야 합니다. 그래야 꾸준히 높은 주가 상승을 볼 수 있습니다. 하지만, 단기간의 수익을 얻길 원한다면 다른 방법을 권합니다. 이러한 이유로 주식 투자를 하는 많은 개인들은 단타의 형태를 보입니다. 단타는 단기적으로 수익을 얻고 빠져나오는 방법을 의미합니다. 주식을 사고 일정 기간이 지나지 않았음에도 자신의 수익이 났다면 그 수익금을 챙기고 ���오는 형태입니다. 단타는 변동성이 높은 주식 시장에서 비교적 짧은 기간 동안 수익을 보고 나오는 방법입니다. 기업에서 꾸준히 수익을 내는 것보다 훨씬 쉬운 만큼 리스크가 큰 방법입니다. 때문에 개인이 주식 투자에서 안정적으로 수익을 얻길 원하신다면 장기적으로 투자를 하시는 것을 권합니다. 꾸준한 수익을 내기 위해 노력하는 기업을 찾으시고 함께 성장하면 됩니다. 이러한 노력은 시간이 걸립니다. 단, 기간적인 부분에서 시간이 오래 걸릴`
+# 
+# %%
+gen('풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션과 콜옵션의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 차이점은, 우선 둘 다 금융 시장에서 거래가 가능한 파생상품이며 이 옵션들은 거래 방법이 다릅니다. 주식을 사고파는 주식거래와 달리, 이 상품은 당사자 사이에 계약을 통해 거래하게 됩니다. 또한, 주식과 달리, 두 옵션상품 모두 시장 상황에 따른 가격의 상승과 하락에 영향을 받을 수 있습니다. 그리고 두 옵션의 차이점과 더 중요한 차이점은, 옵션은 거래 금액이 고정되지 않습니다. 즉, 주식거래와 같이 계약한 금액에 고정된 금액으로 거래하는 것이 아니라는 의미입니다. 이는 주가가 급변할 수도, 가격 변동 폭이 매우 클 수도 있는 상황에서 주식 거래와 옵션 거래를 비교했을 때, 옵션 거래가 훨씬 더 위험한 이유이기도 합니다. 그래서 일반 개미 투자자는 주식거래나 선물 거래와 같이 일정한 금액이 고정되어 거래되는, 안정성이 더 큰 일반적인 주식거래를 합니다. 일반 개미 투자자가 이러한 주식거래의 일종인 선물과 주식거래의 일종인 옵션거래에서 선택해야 하는 포지션은, 우선 선물거래는 선물 매도 포지션 (자신의 보유 주식을 선물 매도 계약에 포함하여 보유`
+# 
+# %%
+gen('풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?')
+# %% [markdown]
+# `### 질문: 풋옵션 매도와 콜옵션 매수의 차이, 그리고 일반 개미 투자자가 선택해야 할 포지션은?`
+# 
+# `### 답변: 풋옵션과 콜옵션의 매수와 매도 포지션의 정의를 먼저 알아보겠습니다. 풋옵션이란 '풋'이란 판매하는 사람이 파는 금액을 의미하고, '옵션'이란 선택 사항을 의미합니다. 즉, 풋옵션은 '풋'이라고 표기를 해야 하고, 선택 사항이 있음을 의미합니다. 이러한 옵션은 주가에 대해서 행사하는 권리를 부여하는 것으로, 이러한 옵션을 선택하였을 때는 해당 주식과 같은 방향으로 매도하는 것과 구매하는 것이 가능합니다. 예를 들어서, 주가가 하락할 것이라는 기대가 있다면, 이러한 예상으로 인하여 주가가 떨어질 것이기 때문에 일반 매도 포지션으로 주가의 하락에 참가하는 것이 낫지만, 주가가 하락할 때 해당 주식을 일정 부분 상승의 방향으로, 또는 상승의 폭만큼을 보장받고 싶다면, 이러한 옵션을 선택하는 것입니다. 즉, 옵션에서 주가가 상승을 할 때는 콜옵션으로 선택하는 것이고, 주가가 하락하게 될 때는 풋옵션을 선택하게 됩니다. 이러한 선택을 할 경우, 일반적으로 주가의 하락에 대해서 상승의 방향으로 상승폭`
+# 
+# %%
+gen("마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?")
+# %% [markdown]
+# `### 질문: 마진콜이 발생하는 이유가 뭐야? 그리고 어떻게 해야 마진콜을 막을 수 있어?`
+# 
+# `### 답변: 마진콜이 발생하는 이유는 은행이 고객에게 지급하고자 하는 금액이 발생한 금액보다 많은 경우, 추가로 내야 하는 금액을 계산해서 계좌에서 더 많은 금액을 인출하게 되는 것입니다. 이렇게 되면, 계좌를 관리하는 은행 입장에서는 계좌에서 추가로 꺼내야 하기 때문에, 은행의 신뢰도가 땅으로 떨어지고, 계좌를 사용하는 은행 고객도 추가로 내야 하는 금액에 대한 불안감을 느낄 수 있습니다. 이런 불안감에 대해 잘 보여주는 사례가 영화 마진콜입니다. 따라서, 이런 현상을 막기 위해서는 고객에게 먼저 지급할 금액과 인출하는 금액을 정확하게 파악하는 것이 중요합니다.`
+# 
+# 
+# %% [markdown]
+# ## 모델 저장 & 업로드
+# %%
+!huggingface-cli login
+# %%
+# model.push_to_hub('beomi/fft-koalpaca-gemma2-9b-50step')
+# 아래 아이디 부분을 수정해서 쓰세요.
+model.push_to_hub('허깅페이스아이디/fft-koalpaca-gemma2-9b-50step')
+# %% [markdown]
+# - 위 예시코드는 https://huggingface.co/beomi/qlora-koalpaca-polyglot-12.8b-50step 에 올라갑니다. 사용하시는

model-00001-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:56bf717371ac569516777a0bccc94bf7caf15d961bb0f71580dc820ee59186d1
+size 4877660776

model-00002-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c2dfd1dedc198652c29891e5ed86bf7d2338ffea1b94f819cfb9e22bc2067dc2
+size 4932751008

model-00003-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c827d83ff5be8922031bc633689bb1fbf0c50cd937d0bcbd3996d47dfe22a23d
+size 4330865200

model-00004-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dd919d0f71267b489d25399f152b1ebb1add5cc9ae58d65bdc7f6c83fdfb11b9
+size 1089994880

model.safetensors.index.json

@@ -0,0 +1,346 @@
+{
+  "metadata": {
+    "total_size": 15231233024
+  },
+  "weight_map": {
+    "lm_head.weight": "model-00004-of-00004.safetensors",
+    "model.embed_tokens.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.10.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.14.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.15.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.16.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.17.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.18.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.19.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.2.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.20.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.k_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.q_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.v_proj.bias": "model-00003-of-00004.safetensors",
+    "model.layers.27.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.3.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.8.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.k_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.q_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.v_proj.bias": "model-00001-of-00004.safetensors",
+    "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.9.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.k_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.q_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.v_proj.bias": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.norm.weight": "model-00003-of-00004.safetensors"
+  }
+}

special_tokens_map.json

@@ -0,0 +1,31 @@
+{
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "eos_token": {
+    "content": "<|im_end|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tmphp_txnly/_remote_module_non_scriptable.py

@@ -0,0 +1,81 @@
+from typing import *
+
+import torch
+import torch.distributed.rpc as rpc
+from torch import Tensor
+from torch._jit_internal import Future
+from torch.distributed.rpc import RRef
+from typing import Tuple  # pyre-ignore: unused import
+
+
+module_interface_cls = None
+
+
+def forward_async(self, *args, **kwargs):
+    args = (self.module_rref, self.device, self.is_device_map_set, *args)
+    kwargs = {**kwargs}
+    return rpc.rpc_async(
+        self.module_rref.owner(),
+        _remote_forward,
+        args,
+        kwargs,
+    )
+
+
+def forward(self, *args, **kwargs):
+    args = (self.module_rref, self.device, self.is_device_map_set, *args)
+    kwargs = {**kwargs}
+    ret_fut = rpc.rpc_async(
+        self.module_rref.owner(),
+        _remote_forward,
+        args,
+        kwargs,
+    )
+    return ret_fut.wait()
+
+
+_generated_methods = [
+    forward_async,
+    forward,
+]
+
+
+
+
+def _remote_forward(
+    module_rref: RRef[module_interface_cls], device: str, is_device_map_set: bool, *args, **kwargs):
+    module = module_rref.local_value()
+    device = torch.device(device)
+
+    if device.type != "cuda":
+        return module.forward(*args, **kwargs)
+
+    # If the module is on a cuda device,
+    # move any CPU tensor in args or kwargs to the same cuda device.
+    # Since torch script does not support generator expression,
+    # have to use concatenation instead of
+    # ``tuple(i.to(device) if isinstance(i, Tensor) else i for i in *args)``.
+    args = (*args,)
+    out_args: Tuple[()] = ()
+    for arg in args:
+        arg = (arg.to(device),) if isinstance(arg, Tensor) else (arg,)
+        out_args = out_args + arg
+
+    kwargs = {**kwargs}
+    for k, v in kwargs.items():
+        if isinstance(v, Tensor):
+            kwargs[k] = kwargs[k].to(device)
+
+    if is_device_map_set:
+        return module.forward(*out_args, **kwargs)
+
+    # If the device map is empty, then only CPU tensors are allowed to send over wire,
+    # so have to move any GPU tensor to CPU in the output.
+    # Since torch script does not support generator expression,
+    # have to use concatenation instead of
+    # ``tuple(i.cpu() if isinstance(i, Tensor) else i for i in module.forward(*out_args, **kwargs))``.
+    ret: Tuple[()] = ()
+    for i in module.forward(*out_args, **kwargs):
+        i = (i.cpu(),) if isinstance(i, Tensor) else (i,)
+        ret = ret + i
+    return ret

tokenizer_config.json

@@ -0,0 +1,207 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<|im_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151645": {
+      "content": "<|im_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151646": {
+      "content": "<|object_ref_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|object_ref_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151648": {
+      "content": "<|box_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151649": {
+      "content": "<|box_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151657": {
+      "content": "<tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151658": {
+      "content": "</tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151659": {
+      "content": "<|fim_prefix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151660": {
+      "content": "<|fim_middle|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151661": {
+      "content": "<|fim_suffix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151662": {
+      "content": "<|fim_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151663": {
+      "content": "<|repo_name|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151664": {
+      "content": "<|file_sep|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "bos_token": null,
+  "chat_template": "{%- if tools %}\n    {{- '<|im_start|>system\\n' }}\n    {%- if messages[0]['role'] == 'system' %}\n        {{- messages[0]['content'] }}\n    {%- else %}\n        {{- 'You are Qwen, created by Alibaba Cloud. You are a helpful assistant.' }}\n    {%- endif %}\n    {{- \"\\n\\n# Tools\\n\\nYou may call one or more functions to assist with the user query.\\n\\nYou are provided with function signatures within <tools></tools> XML tags:\\n<tools>\" }}\n    {%- for tool in tools %}\n        {{- \"\\n\" }}\n        {{- tool | tojson }}\n    {%- endfor %}\n    {{- \"\\n</tools>\\n\\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\\n<tool_call>\\n{\\\"name\\\": <function-name>, \\\"arguments\\\": <args-json-object>}\\n</tool_call><|im_end|>\\n\" }}\n{%- else %}\n    {%- if messages[0]['role'] == 'system' %}\n        {{- '<|im_start|>system\\n' + messages[0]['content'] + '<|im_end|>\\n' }}\n    {%- else %}\n        {{- '<|im_start|>system\\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\\n' }}\n    {%- endif %}\n{%- endif %}\n{%- for message in messages %}\n    {%- if (message.role == \"user\") or (message.role == \"system\" and not loop.first) or (message.role == \"assistant\" and not message.tool_calls) %}\n        {{- '<|im_start|>' + message.role + '\\n' + message.content + '<|im_end|>' + '\\n' }}\n    {%- elif message.role == \"assistant\" %}\n        {{- '<|im_start|>' + message.role }}\n        {%- if message.content %}\n            {{- '\\n' + message.content }}\n        {%- endif %}\n        {%- for tool_call in message.tool_calls %}\n            {%- if tool_call.function is defined %}\n                {%- set tool_call = tool_call.function %}\n            {%- endif %}\n            {{- '\\n<tool_call>\\n{\"name\": \"' }}\n            {{- tool_call.name }}\n            {{- '\", \"arguments\": ' }}\n            {{- tool_call.arguments | tojson }}\n            {{- '}\\n</tool_call>' }}\n        {%- endfor %}\n        {{- '<|im_end|>\\n' }}\n    {%- elif message.role == \"tool\" %}\n        {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != \"tool\") %}\n            {{- '<|im_start|>user' }}\n        {%- endif %}\n        {{- '\\n<tool_response>\\n' }}\n        {{- message.content }}\n        {{- '\\n</tool_response>' }}\n        {%- if loop.last or (messages[loop.index0 + 1].role != \"tool\") %}\n            {{- '<|im_end|>\\n' }}\n        {%- endif %}\n    {%- endif %}\n{%- endfor %}\n{%- if add_generation_prompt %}\n    {{- '<|im_start|>assistant\\n' }}\n{%- endif %}\n",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "model_max_length": 131072,
+  "pad_token": "<|endoftext|>",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9f0d98d5a52c94b6be36ec49680752ea622c53bacd98173783acf89390389745
+size 5432