first

config.json

@@ -0,0 +1,45 @@
+{
+  "_name_or_path": "ehdwns1516/klue-roberta-base_sae",
+  "architectures": [
+    "RobertaForSequenceClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "yes/no",
+    "1": "alternative",
+    "2": "wh- questions",
+    "3": "prohibitions",
+    "4": "requirements",
+    "5": "strong requirements"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "yes/no": 0,
+    "alternative": 1,
+    "wh- questions": 2,
+    "prohibitions": 3,
+    "requirements": 4,
+    "strong requirements": 5
+  },
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 512,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "problem_type": "single_label_classification",
+  "tokenizer_class": "BertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.9.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 32000
+}

klue-roberta-base-kornli.ipynb

@@ -0,0 +1,854 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "id": "4ef9f047",
+   "metadata": {},
+   "source": [
+    "# HuggingFace Transformers를 이용한 NLI 모델 학습\n",
+    "\n",
+    "* 본 노트북에서는 klue/roberta-base 모델을 kakaobrain에서 제공하는 KorNLI 데이터셋을 활용하여 모델을 훈련하는 예제입니다. \n",
+    "\n",
+    "* KorNLI 데이터셋은 [kakaobrain](https://github.com/kakaobrain/KorNLUDatasets?fbclid=IwAR0LX_jem7qb6HUikflO-F6lPpfoefK9Yc0jSQIdSKdkX4s8SW1UvoVGc7I)에서 제공하는 데이터셋이며, KLUE의 NLI 데이터셋 보다 데이터 크기가 더 커서 시간이 오래 걸립니다. \n",
+    "\n",
+    "* 모든 소스 코드는 [huggingface-notebook](https://github.com/huggingface/notebooks)을 참고하였습니다.\n",
+    "\n",
+    "* 본 노트북의 학습 내용 대부분은 Huffon님의 [klue-transformers-tutorial](https://github.com/Huffon/klue-transformers-tutorial)을 참고하였습니다.\n",
+    "\n",
+    "* 학습을 통해 얻어질 klue-roberta-base-kornli 모델은 입력된 두 문장의 추론 관계를 예측하는데 사용할 수 있게 됩니다.\n",
+    "\n",
+    "* 노트북의 환경은 ainize workspace 입니다. [ainze](https://ainize.ai/) 홈페이지 오른쪽 상단의 github로 아이디 생성 후 My space에서 workspace를 생성할 수 있습니다. 제가 사용한 workspace의 GPU 환경은 tesla V100 32GB입니다.\n",
+    "\n",
+    "\n",
+    "## 노트북 환경 설정\n",
+    "\n",
+    "모델을 학습시키기 전에 자신의 노트북 환경을 확인하고 필요한 라이브러리를 설치합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "id": "9ddee489",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "True\n"
+     ]
+    }
+   ],
+   "source": [
+    "import torch\n",
+    "use_cuda = torch.cuda.is_available()\n",
+    "print(use_cuda)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "68700205",
+   "metadata": {},
+   "source": [
+    "모델을 학습시킬 때 GPU를 사용해야 학습을 빠르게 할 수 있으므로 학습시키기 전 자신의 노트북 환경에서 GPU가 잘 동작 하는지 확인을 합니다. True가 출력이 된다면 학습할 때 GPU가 동작하는 것이고 False가 나오면 동작하지 않는 것입니다. False가 출력이 되신다면 검색을 통해 GPU를 활성화 시키는 방법을 찾아 활성화 시키시면 됩니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "id": "49766327",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "[name: \"/device:CPU:0\"\n",
+      "device_type: \"CPU\"\n",
+      "memory_limit: 268435456\n",
+      "locality {\n",
+      "}\n",
+      "incarnation: 4073418392972710111\n",
+      ", name: \"/device:GPU:0\"\n",
+      "device_type: \"GPU\"\n",
+      "memory_limit: 19146211328\n",
+      "locality {\n",
+      "  bus_id: 1\n",
+      "  links {\n",
+      "  }\n",
+      "}\n",
+      "incarnation: 16025480191014330435\n",
+      "physical_device_desc: \"device: 0, name: Tesla V100-DGXS-32GB, pci bus id: 0000:07:00.0, compute capability: 7.0\"\n",
+      "]\n"
+     ]
+    }
+   ],
+   "source": [
+    "from tensorflow.python.client import device_lib\n",
+    "print(device_lib.list_local_devices())"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "cbad9661",
+   "metadata": {},
+   "source": [
+    "본인이 작성하고 있는 노트북 GPU 환경을 알 수 있는 코드입니다. 저는 ainize workspace에서 Tesla V100 환경에서 노트북을 테스트했기 때문에 Tesla V100-DGXS-32GB이라고 잘 나오네요."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "id": "4a699d02",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#!pip install -U transformers datasets scipy scikit-learn"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "8c957b4c",
+   "metadata": {},
+   "source": [
+    "모델 훈련을 위한 transformers와 학습 데이터셋 로드를 위해 datasets 라이브러리를 설치합니다. 그 외 모델 성능 검증을 위해 scipy, scikit-learn 또한 추가로 설치해줍니다.\n",
+    "\n",
+    "\n",
+    "## 문장 분류 모델 학습"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "id": "401dacc7",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import random\n",
+    "import logging\n",
+    "import torch\n",
+    "from IPython.display import display, HTML\n",
+    "import numpy as np\n",
+    "import pandas as pd\n",
+    "import datasets\n",
+    "from datasets import load_dataset, load_metric, ClassLabel, Sequence, list_datasets\n",
+    "from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "0ae8dc56",
+   "metadata": {},
+   "source": [
+    "���트북을 실행하는데 필요한 라이브러리를 모두 임포트 해줍니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "id": "1d99beee",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "model_checkpoint = \"klue/roberta-base\"\n",
+    "batch_size = 32\n",
+    "task = \"nli\""
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "048072e8",
+   "metadata": {},
+   "source": [
+    "학습에 필요한 정보를 변수로 기록합니다.\n",
+    "\n",
+    "본 노트북애서는 klue-roberta-base 모델을 활용하지만, https://huggingface.co/klue 페이지에서 더 다양한 사전학습 언어 모델을 확인하실 수 있습니다.\n",
+    "\n",
+    "학습 태스크로는 nli를, 배치 사이즈는 32로 지정하겠습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "id": "5e5c4151",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "Reusing dataset kor_nlu (/workspace/.cache/huggingface/datasets/kor_nlu/nli/1.0.0/4facbba77df60b0658056ced2052633e681a50187b9428bd5752ebd59d332ba8)\n"
+     ]
+    }
+   ],
+   "source": [
+    "datasets = load_dataset(\"kor_nlu\", task)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "06d9dc6d",
+   "metadata": {},
+   "source": [
+    "저는 학습에 사용할 데이터셋을 kakaobrain에서 제공하는 KorNLI 데이터셋을 사용할 것이므로 HuggingFace datasets 라이브러리에 등록된 kor_nlu의 nli 데이터을 다운로드 합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "id": "01457377",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "DatasetDict({\n",
+       "    train: Dataset({\n",
+       "        features: ['premise', 'hypothesis', 'label'],\n",
+       "        num_rows: 550146\n",
+       "    })\n",
+       "    validation: Dataset({\n",
+       "        features: ['premise', 'hypothesis', 'label'],\n",
+       "        num_rows: 1570\n",
+       "    })\n",
+       "    test: Dataset({\n",
+       "        features: ['premise', 'hypothesis', 'label'],\n",
+       "        num_rows: 4954\n",
+       "    })\n",
+       "})"
+      ]
+     },
+     "execution_count": 7,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "datasets"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "a8291fbf",
+   "metadata": {},
+   "source": [
+    "다운로드 후 얻어진 datasets의 객체를 보면 KorNLI 데이터에는 훈련 데이터, 검증 데이터, 테스트 데이터가 포함되어 있는 것을 확인할 수 있습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "id": "07659e8c",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'premise': '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.',\n",
+       " 'hypothesis': '한 사람이 경쟁을 위해 말을 훈련시키고 있다.',\n",
+       " 'label': 1}"
+      ]
+     },
+     "execution_count": 8,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "datasets[\"train\"][0]"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "29d24878",
+   "metadata": {},
+   "source": [
+    "각 데이터는 위와 같이 두개의 문장과 두 문장의 추론 관계를 라벨로 가지고 있습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "id": "33ce978b",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def show_random_elements(dataset, num_examples=10):\n",
+    "    assert num_examples <= len(dataset), \"Can't pick more elements than there are in the dataset.\"\n",
+    "\n",
+    "    picks = []\n",
+    "    \n",
+    "    for _ in range(num_examples):\n",
+    "        pick = random.randint(0, len(dataset)-1)\n",
+    "\n",
+    "        # 이미 등록된 예제가 뽑힌 경우, 다시 추출\n",
+    "        while pick in picks:\n",
+    "            pick = random.randint(0, len(dataset)-1)\n",
+    "\n",
+    "        picks.append(pick)\n",
+    "\n",
+    "    # 임의로 추출된 인덱스들로 구성된 데이터 프레임 선언\n",
+    "    df = pd.DataFrame(dataset[picks])\n",
+    "\n",
+    "    for column, typ in dataset.features.items():\n",
+    "        # 라벨 클래스를 스트링으로 변환\n",
+    "        if isinstance(typ, ClassLabel):\n",
+    "            df[column] = df[column].transform(lambda i: typ.names[i])\n",
+    "\n",
+    "    display(HTML(df.to_html()))"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "58c8a3aa",
+   "metadata": {},
+   "source": [
+    "데이터셋을 전반적으로 살펴보기 위해 시각화 함수를 정의합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 10,
+   "id": "d4500f78",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>premise</th>\n",
+       "      <th>hypothesis</th>\n",
+       "      <th>label</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>젊고 늙은 여성들은 큰 잔디밭에서 사회, 정치, 교회 모임이 될 수 있는 곳에 그려져 있다.</td>\n",
+       "      <td>한 무리의 여성이 교회 지하실에서 정치적 회의를 하고 있다.</td>\n",
+       "      <td>contradiction</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>한 사람이 차 옆 바위가 많은 곳에서 물건을 줍는다.</td>\n",
+       "      <td>사람이 밖에 있다.</td>\n",
+       "      <td>entailment</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>하얀 셔츠를 입은 남자가 야외 테이블에서 여자 맞은편에 앉아 있다.</td>\n",
+       "      <td>커다란 인간이 앉아 있었다.</td>\n",
+       "      <td>neutral</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>오렌지색 조끼를 입은 두 명의 직원이 서류 작업을 하고 있다.</td>\n",
+       "      <td>사람들이 자고 있다.</td>\n",
+       "      <td>contradiction</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>빨간 저지를 입은 축구선수가 공을 던지려고 하는 하얀 저지를 입은 축구선수와 싸우고 있다.</td>\n",
+       "      <td>수녀가 카페에서 커피를 주문한다.</td>\n",
+       "      <td>contradiction</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>5</th>\n",
+       "      <td>노란 원피스와 분홍색 샌들을 신은 아이가 커다란 물에서 걸어간다.</td>\n",
+       "      <td>한 아이가 그녀의 개를 호수에서 쫓아낸다.</td>\n",
+       "      <td>neutral</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>6</th>\n",
+       "      <td>초라한 드레스를 입은 여자.</td>\n",
+       "      <td>그 드레스는 약간 쌀쌀하다.</td>\n",
+       "      <td>neutral</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>7</th>\n",
+       "      <td>두 마리의 말이 한 여자를 수레에 태우고 있다.</td>\n",
+       "      <td>여자가 마차를 타고 말을 탄다.</td>\n",
+       "      <td>entailment</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>8</th>\n",
+       "      <td>낙서로 뒤덮인 벽돌담을 지나가는 남자와 여자.</td>\n",
+       "      <td>두 사람이 벽에 걸린 낙서를 지나간다.</td>\n",
+       "      <td>entailment</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>9</th>\n",
+       "      <td>인도 여성들이 전통무용에 손을 잡고 있다.</td>\n",
+       "      <td>인도 여성들은 결혼식에서 전통 춤을 춘다.</td>\n",
+       "      <td>neutral</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>"
+      ],
+      "text/plain": [
+       "<IPython.core.display.HTML object>"
+      ]
+     },
+     "metadata": {},
+     "output_type": "display_data"
+    }
+   ],
+   "source": [
+    "show_random_elements(datasets[\"train\"])"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "5dc9ddf3",
+   "metadata": {},
+   "source": [
+    "앞서 정의한 함수를 이용하여 임의의 훈련 데이터를 살펴보도록 합니다.\n",
+    "\n",
+    "KorNLI에는 관계 추론을 할 때 entailment, neutral 그리고 contradiction 세 개의 라벨을 가지고 있음을 알 수 있습니다.\n",
+    "\n",
+    "이렇게 데이터를 살펴보면 각 라벨에 어떠한 문장들이 해당되는지 알 수 있어 감을 익힐 수 있는데에 장점이 있습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 11,
+   "id": "e1dbaa2b",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "metric = load_metric(\"glue\", \"qnli\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "d112985e",
+   "metadata": {},
+   "source": [
+    "훈련 과정 중 모델의 성능 파악을 위해 메트릭을 설정합니다.\n",
+    "\n",
+    "datasets 라이브러리에는 이미 구현된 메트릭을 사용할 수 있는 load_metric 함수가 있어서 쉽게 설정이 가능합니다.\n",
+    "\n",
+    "그 중 GLUE 데이터셋의 qnli 태스크의 메트릭을 사용하도록 하겠습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 12,
+   "id": "7be908b6",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "(array([0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1,\n",
+       "        0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 1, 1, 0, 1, 1,\n",
+       "        1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0]),\n",
+       " array([0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0,\n",
+       "        1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0,\n",
+       "        0, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 1]))"
+      ]
+     },
+     "execution_count": 12,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "fake_preds = np.random.randint(0, 2, size=(64,))\n",
+    "fake_labels = np.random.randint(0, 2, size=(64,))\n",
+    "fake_preds, fake_labels"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "7b7de386",
+   "metadata": {},
+   "source": [
+    "메트릭이 정상적으로 작동하는 것을 확인하기 위해 랜덤한 예측 값과 라벨 값을 생성합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 13,
+   "id": "b3cce09f",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'accuracy': 0.5}"
+      ]
+     },
+     "execution_count": 13,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "metric.compute(predictions=fake_preds, references=fake_labels)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "a040c7e9",
+   "metadata": {},
+   "source": [
+    "생성한 랜덤 값들을 compute() 함수를 통해 잘 동작하는지 확인합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 14,
+   "id": "6b7eb994",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "tokenizer = AutoTokenizer.from_pretrained(model_checkpoint, use_fast=True)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "439ef8aa",
+   "metadata": {},
+   "source": [
+    "이제 학습에 활용할 토크나이저를 로드해옵니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 15,
+   "id": "88f32f23",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'input_ids': [0, 1891, 3611, 2052, 3855, 2069, 3627, 1041, 2069, 4484, 2067, 2089, 2088, 1513, 2062, 18, 2, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}"
+      ]
+     },
+     "execution_count": 15,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "tokenizer(\"한 사람이 경쟁을 위해 말을 훈련시키고 있다.\", \"말을 탄 사람이 고장난 비행기 위로 뛰어오른다.\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "fcde8cd6",
+   "metadata": {},
+   "source": [
+    "로드된 토크나이저가 두 문장을 토큰화하는 방식을 파악하기 위해 두 문장을 입력 값으로 넣어서 확인해 봅니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 16,
+   "id": "6a927431",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Sentence 1: 말을 탄 사람이 고장난 비행기 위로 뛰어오른다.\n",
+      "Sentence 2: 한 사람이 경쟁을 위해 말을 훈련시키고 있다.\n"
+     ]
+    }
+   ],
+   "source": [
+    "sentence1_key, sentence2_key = (\"premise\", \"hypothesis\")\n",
+    "print(f\"Sentence 1: {datasets['train'][0][sentence1_key]}\")\n",
+    "print(f\"Sentence 2: {datasets['train'][0][sentence2_key]}\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "0fb0ba8b",
+   "metadata": {},
+   "source": [
+    "이제 앞서 로드한 데이터셋에서 각 문장에 해당하는 value를 뽑아주기 위한 key를 정의합니다.\n",
+    "\n",
+    "KorNLI 데이터셋에서 두 문장의 label이 각각 premise와 hypothesis라는 이름으로 정의된 것을 확인하였으므로, 두 문장의 key 는 마찬가지로 각각 premise, hypothesis가 됩니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 20,
+   "id": "4e020138",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def preprocess_function(examples):\n",
+    "    print(examples)\n",
+    "    return tokenizer(\n",
+    "        examples[sentence1_key],\n",
+    "        examples[sentence2_key],\n",
+    "        truncation=True,\n",
+    "        return_token_type_ids=False,\n",
+    "    )"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "42c8f5a8",
+   "metadata": {},
+   "source": [
+    "이제 key 도 확인이 되었으니, 데이터셋에서 각 예제들을 뽑아와 토큰화 할 수 있는 함수를 위와 같이 정의해줍니다.\n",
+    "\n",
+    "해당 함수는 모델을 훈련하기 앞서 데이터셋을 미리 토큰화 시켜놓는 작업을 위한 콜백 함수로 사용되게 됩니다.\n",
+    "\n",
+    "인자로 넣어주는 truncation는 모델이 입력 받을 수 있는 최대 길이 이상의 토큰 시퀀스가 들어오게 될 경우, 최대 길이 기준으로 시퀀스를 자르라는 의미를 지닙니다.\n",
+    "\n",
+    "( * return_token_type_ids는 토크나이저가 token_type_ids를 반환하도록 할 것인지를 결정하는 인자입니다. transformers==4.7.0 기준으로 token_type_ids가 기본적으로 반환되므로 token_type_ids 자체를 사용하지 않는 RoBERTa 모델을 활용하기 위해 해당 인자를 False로 설정해주도록 합니다.)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 21,
+   "id": "ac8d69bd",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "{'premise': ['말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '카메라에 웃고 손을 흔드는 아이들', '카메라에 웃고 손을 흔드는 아이들', '카메라에 웃고 손을 흔드는 아이들', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '방금 점심을 먹고 작별인사를 한 두 여자.', '방금 점심을 먹고 작별인사를 한 두 여자.', '방금 점심을 먹고 작별인사를 한 두 여자.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '해변에서 즐기는 남자, 여자, 아이.'], 'hypothesis': ['한 사람이 경쟁을 위해 말을 훈련시키고 있다.', '한 사람이 식당에서 오믈렛을 주문하고 있다.', '사람은 야외에서 말을 타고 있다.', '그들은 부모님을 보고 웃고 있다', '아이들이 있다', '아이들이 얼굴을 찌푸리고 있다', '소년은 인도를 따라 스케이트를 탄다.', '그 소년은 스케이트보드를 타는 묘기를 부린다.', '소년이 안전 장비를 착용하고 있다.', '나이 든 남자가 딸이 퇴근하기를 기다리면서 주스를 마신다.', '한 소년이 햄버거를 뒤집는다.', '한 노인이 작은 가게에 앉아 있다.', '몇몇 여성들은 휴가 때 포옹을 하고 있다.', '여자들이 자고 있다.', '애정을 보이는 여자들이 있다.', '사람들이 오믈렛을 먹고 있��.', '사람들이 학교 책상에 앉아 있다.', '손님들이 식당에 있다.', '남자가 주스를 마시고 있다.', '두 여자가 식당에서 와인을 마시고 있다.', '식당에서 한 남자가 식사가 도착하기를 기다리고 있다.', '공원의 분수대에서 물을 마시는 금발의 남자.', '갈색 셔츠를 입은 금발 남자가 공원의 벤치에서 책을 읽고 있다.', '분수대에서 물을 마시는 금발 남자.', '친구들은 저녁 식탁을 가득 채우고 서로를 노려본다.', '이 사진에는 두 여자가 있습니다.', '친구들은 20년 만에 처음 만났고, 따라잡는 데 즐거운 시간을 보냈다.', '두 자매는 붐비는 식당을 가로질러 서로를 보고 포옹을 나누며 둘 다 개 가방을 움켜잡았다.', '두 그룹의 라이벌 갱단원들이 서로를 배신했다.', '두 여자가 서로 껴안는다.', '한 팀이 승리를 거두기 위해 득점을 시도하고 있다.', '한 팀이 주자를 따돌리려 하고 있다.', '한 팀이 토성에서 야구를 하고 있다.', '한 학교가 농구 경기를 주최한다.', '한 고등학교가 행사를 주최하고 있다.', '한 학교가 행사를 주최하고 있다.', '여자들은 어떤 옷을 입든 상관하지 않는다.', '여자들이 전차 옆에서 기다리고 있다.', '여성들은 좋은 패션 감각을 갖는 것을 즐긴다.', '여름방학 때 해변에서 엄마 아빠와 함께 있는 아이.'], 'label': [1, 2, 0, 1, 0, 2, 2, 0, 1, 1, 2, 0, 1, 2, 0, 1, 2, 0, 0, 2, 1, 1, 2, 0, 2, 0, 1, 1, 2, 0, 1, 0, 2, 2, 1, 0, 2, 0, 1, 1]}\n"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "{'input_ids': [[0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 1891, 3611, 2052, 3855, 2069, 3627, 1041, 2069, 4484, 2067, 2089, 2088, 1513, 2062, 18, 2], [0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 1891, 3611, 2052, 5499, 27135, 3, 4867, 19521, 1513, 2062, 18, 2], [0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 3611, 2073, 8296, 27135, 1041, 2069, 11532, 1513, 2062, 18, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 636, 2031, 2073, 4267, 2098, 2069, 4530, 1474, 2088, 1513, 2062, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 3651, 7285, 1513, 2062, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 3651, 7285, 3977, 2069, 19556, 2088, 1513, 2062, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 5950, 2073, 4543, 2138, 3653, 19090, 2138, 25695, 18, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 636, 5950, 2073, 19090, 11507, 2138, 1761, 2259, 1087, 2015, 2138, 29121, 2062, 18, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 5950, 2052, 4040, 5424, 2138, 7845, 19521, 1513, 2062, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 4358, 880, 3997, 2116, 900, 2052, 8194, 31302, 2138, 5037, 31369, 12228, 2138, 23457, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 1891, 5950, 2052, 14995, 2138, 6762, 2259, 2062, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 1891, 4662, 2052, 1518, 2073, 6042, 2170, 1379, 2227, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 7396, 3811, 2031, 2073, 6493, 904, 20957, 2069, 6159, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 3883, 7285, 5883, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 7689, 2069, 3783, 2259, 3883, 7285, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3611, 7285, 3, 1059, 2088, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3611, 7285, 3741, 7961, 2170, 1379, 2227, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 6654, 7285, 5499, 2170, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3997, 2116, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 864, 3883, 2116, 5499, 27135, 6612, 2069, 5012, 2088, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 5499, 27135, 1891, 3997, 2116, 5067, 2116, 5082, 31302, 2138, 5037, 2088, 1513, 2062, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 4599, 2079, 11790, 2104, 27135, 1093, 2069, 5012, 2259, 21459, 2079, 3997, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 14008, 10727, 2138, 1511, 2073, 21459, 3997, 2116, 4599, 2079, 9262, 27135, 1644, 2069, 1508, 2088, 1513, 2062, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 11790, 2104, 27135, 1093, 2069, 5012, 2259, 21459, 3997, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 3949, 2031, 2073, 4750, 10160, 2069, 4983, 8140, 2088, 4084, 2138, 10631, 7471, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 1504, 4035, 2170, 2259, 864, 3883, 2116, 1513, 2219, 3606, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 3949, 2031, 2073, 3619, 2440, 1038, 2170, 3790, 5836, 2088, 16, 15856, 2259, 842, 7924, 3641, 2069, 5755, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 9646, 2259, 26576, 2259, 5499, 2069, 19642, 4084, 2138, 4530, 20957, 2069, 4835, 2307, 867, 809, 558, 6840, 2069, 13955, 2741, 2886, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 4063, 2079, 12574, 563, 2286, 2252, 7285, 4084, 2138, 10004, 2371, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 3883, 2116, 4084, 15322, 2259, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 4644, 2138, 6387, 2015, 3627, 6300, 2069, 4703, 19521, 1513, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 6788, 2138, 18841, 2370, 6159, 1513, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 24820, 27135, 4878, 2138, 6159, 1513, 2062, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 3741, 2116, 7124, 3682, 2138, 6771, 4538, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 5868, 2116, 3925, 2138, 6771, 19521, 1513, 2062, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 3741, 2116, 3925, 2138, 6771, 19521, 1513, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3883, 2031, 2073, 3711, 1451, 2069, 1511, 2778, 5468, 2205, 2118, 1380, 2259, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3883, 7285, 13533, 1438, 27135, 5037, 2088, 1513, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3811, 2031, 2073, 1560, 2073, 5179, 5700, 2069, 554, 2259, 575, 2069, 21589, 18, 2], [0, 9738, 27135, 5380, 2259, 3997, 16, 3883, 16, 3651, 18, 2, 4565, 2239, 2218, 904, 9738, 27135, 4122, 5091, 2522, 3655, 1513, 2259, 3651, 18, 2]], 'attention_mask': [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]}"
+      ]
+     },
+     "execution_count": 21,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "preprocess_function(datasets[\"train\"][:40])"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "7b8b48f7",
+   "metadata": {},
+   "source": [
+    "앞서 정의한 process_function은 위와 같이 여러 개의 예제 데이터를 받을 수도 있습니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "07593d57",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "encoded_datasets = datasets.map(preprocess_function, batched=True)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "7bbf64ea",
+   "metadata": {},
+   "source": [
+    "이제 정의된 전처리 함수를 활용해 데이터셋을 미리 토큰화시키는 작업을 수행합니다.\n",
+    "\n",
+    "datasets 라이브러리를 통해 얻어진 DatasetDict 객체는 map() 함수를 지원하므로, 정의된 전처리 함수를 데이터셋 토큰화를 위한 콜백 함수로 map() 함수 인자로 넘겨주면 됩니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "840516c6",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "num_labels = 3\n",
+    "model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=num_labels)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "80281b6f",
+   "metadata": {},
+   "source": [
+    "학습을 위한 모델을 로드합니다.\n",
+    "\n",
+    "앞서 살펴본 바와 같이 KorNLI에는 총 3개의 클래스가 존재하므로, 3개의 클래스를 예측할 수 있는 SequenceClassification 구조로 모델을 로드합니다.\n",
+    "\n",
+    "모델을 로드할 때 발생하는 경고 문구는 두 가지 의미를 지닙니다.\n",
+    "1. Masked Language Modeling 을 위해 존재했던 lm_head가 현재는 사용되지 않고 있음을 의미합니다.\n",
+    "2. 문장 분류를 위한 classifier 레이어를 백본 모델 뒤에 이어 붙였으나 아직 훈련이 되지 않았으므로, 학습을 수행해야 함을 의미합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "ea50be8c",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def compute_metrics(eval_pred):\n",
+    "    predictions, labels = eval_pred\n",
+    "    predictions = np.argmax(predictions, axis=1)\n",
+    "    return metric.compute(predictions=predictions, references=labels)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "d62aef1e",
+   "metadata": {},
+   "source": [
+    "마지막으로 앞서 정의한 메트릭을 모델 예측 결과에 적용하기 위한 함수를 정의합니다.\n",
+    "\n",
+    "입력으로 들어오는 eval_pred는 EvalPrediction 객체이며, 모델의 클래스 별 예측 값과 정답 값을 지닙니다.\n",
+    "\n",
+    "클래스 별 예측 중 가장 높은 라벨을 argmax()를 통해 뽑아낸 후, 정답 라벨과 비교를 하게 됩니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "09688900",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "metric_name = \"accuracy\"\n",
+    "\n",
+    "args = TrainingArguments(\n",
+    "    \"test-nli\",\n",
+    "    evaluation_strategy=\"epoch\",\n",
+    "    learning_rate=2e-5,\n",
+    "    per_device_train_batch_size=batch_size,\n",
+    "    per_device_eval_batch_size=batch_size,\n",
+    "    num_train_epochs=5,\n",
+    "    weight_decay=0.01,\n",
+    "    load_best_model_at_end=True,\n",
+    "    metric_for_best_model=metric_name,\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "9a768407",
+   "metadata": {},
+   "source": [
+    "이제 앞서 정의한 정보들을 바탕으로 transformers에서 제공하는 Trainer 객체를 활용하기 위한 인자 관리 클래스를 초기화합니다.\n",
+    "\n",
+    "metric_name은 앞서 얻어진 메트릭 함수를 활용했을 때, 아래와 같이 dict 형식으로 결과 값이 반환되는데 여기서 우리가 사용할 key 를 정의해준다고 생각하시면 됩니다.\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "080c165e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "trainer = Trainer(\n",
+    "    model,\n",
+    "    args,\n",
+    "    train_dataset=encoded_datasets[\"train\"],\n",
+    "    eval_dataset=encoded_datasets[\"validation\"],\n",
+    "    tokenizer=tokenizer,\n",
+    "    compute_metrics=compute_metrics,\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "03a9041d",
+   "metadata": {},
+   "source": [
+    "이제 로드한 모델, 인자 관리 클래스, 데이터셋 등을 이용하여 Trainer를 초기화 해줍니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "5cdf8b98",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "trainer.train()"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "515e7b86",
+   "metadata": {},
+   "source": [
+    "앞서 초기화한 trainer 객체를 훈련시킵니다. 데이터 셋의 크기가 커서 그런지 제 환경에서는 약 3시간 30분 정도 걸렸네요."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "c8a0e594",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "trainer.evaluate()"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "0eba9443",
+   "metadata": {},
+   "source": [
+    "학습한 모델을 evalutate()를 통해 평가를 하여 정확도를 확인해 봅니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "0f57d941",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "trainer.save_model(\"./\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "69a124cf",
+   "metadata": {},
+   "source": [
+    "학습한 모델을 나중에 사용하기 위해 저장 경로에 저장합니다. 저는 현재 폴더에 저장하였습니다.\n",
+    "\n",
+    "## 마치며\n",
+    "\n",
+    "제가 인공지능을 시작한지 얼마 되지 않아 개념이 덜 잡혀있고, 정말 어려워 했었는데 Huffon님의 [github](https://github.com/Huffon)에 올라가있는 노트북을 보며 많이 배운 것 같습니다. 본 노트북은 Huffon님의 예제 코드와 설명을 따라친 것이 대부분이지만 눈으로 보는 것과 실제 해보는 것의 차이가 엄청 크다는 것을 느꼈습니다."
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.7.9"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:714a296e4cf0c0f584471b4291f7b8a2af77675c9a4f98feba067c674209ed78
+size 442575305

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "[CLS]", "eos_token": "[SEP]", "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]"}

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "do_basic_tokenize": true, "never_split": null, "bos_token": "[CLS]", "eos_token": "[SEP]", "model_max_length": 512, "special_tokens_map_file": "/workspace/.cache/huggingface/transformers/9d0c87e44b00acfbfbae931b2e4068eb6311a0c3e71e23e5400bdf57cab4bfbf.70c17d6e4d492c8f24f5bb97ab56c7f272e947112c6faf9dd846da42ba13eb23", "name_or_path": "klue/roberta-base", "tokenizer_class": "BertTokenizer"}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:66f689c35735c17dcdcddb56ac4d319208e4c9f41b16b09e71fe2d3fdec197dc
+size 2607