File size: 44,951 Bytes
9e4703e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 795 796 797 798 799 800 801 802 803 804 805 806 807 808 809 810 811 812 813 814 815 816 817 818 819 820 821 822 823 824 825 826 827 828 829 830 831 832 833 834 835 836 837 838 839 840 841 842 843 844 845 846 847 848 849 850 851 852 853 854 855 |
{
"cells": [
{
"cell_type": "markdown",
"id": "4ef9f047",
"metadata": {},
"source": [
"# HuggingFace Transformers를 이용한 NLI 모델 학습\n",
"\n",
"* 본 노트북에서는 klue/roberta-base 모델을 kakaobrain에서 제공하는 KorNLI 데이터셋을 활용하여 모델을 훈련하는 예제입니다. \n",
"\n",
"* KorNLI 데이터셋은 [kakaobrain](https://github.com/kakaobrain/KorNLUDatasets?fbclid=IwAR0LX_jem7qb6HUikflO-F6lPpfoefK9Yc0jSQIdSKdkX4s8SW1UvoVGc7I)에서 제공하는 데이터셋이며, KLUE의 NLI 데이터셋 보다 데이터 크기가 더 커서 시간이 오래 걸립니다. \n",
"\n",
"* 모든 소스 코드는 [huggingface-notebook](https://github.com/huggingface/notebooks)을 참고하였습니다.\n",
"\n",
"* 본 노트북의 학습 내용 대부분은 Huffon님의 [klue-transformers-tutorial](https://github.com/Huffon/klue-transformers-tutorial)을 참고하였습니다.\n",
"\n",
"* 학습을 통해 얻어질 klue-roberta-base-kornli 모델은 입력된 두 문장의 추론 관계를 예측하는데 사용할 수 있게 됩니다.\n",
"\n",
"* 노트북의 환경은 ainize workspace 입니다. [ainze](https://ainize.ai/) 홈페이지 오른쪽 상단의 github로 아이디 생성 후 My space에서 workspace를 생성할 수 있습니다. 제가 사용한 workspace의 GPU 환경은 tesla V100 32GB입니다.\n",
"\n",
"\n",
"## 노트북 환경 설정\n",
"\n",
"모델을 학습시키기 전에 자신의 노트북 환경을 확인하고 필요한 라이브러리를 설치합니다."
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "9ddee489",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"True\n"
]
}
],
"source": [
"import torch\n",
"use_cuda = torch.cuda.is_available()\n",
"print(use_cuda)"
]
},
{
"cell_type": "markdown",
"id": "68700205",
"metadata": {},
"source": [
"모델을 학습시킬 때 GPU를 사용해야 학습을 빠르게 할 수 있으므로 학습시키기 전 자신의 노트북 환경에서 GPU가 잘 동작 하는지 확인을 합니다. True가 출력이 된다면 학습할 때 GPU가 동작하는 것이고 False가 나오면 동작하지 않는 것입니다. False가 출력이 되신다면 검색을 통해 GPU를 활성화 시키는 방법을 찾아 활성화 시키시면 됩니다."
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "49766327",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"[name: \"/device:CPU:0\"\n",
"device_type: \"CPU\"\n",
"memory_limit: 268435456\n",
"locality {\n",
"}\n",
"incarnation: 4073418392972710111\n",
", name: \"/device:GPU:0\"\n",
"device_type: \"GPU\"\n",
"memory_limit: 19146211328\n",
"locality {\n",
" bus_id: 1\n",
" links {\n",
" }\n",
"}\n",
"incarnation: 16025480191014330435\n",
"physical_device_desc: \"device: 0, name: Tesla V100-DGXS-32GB, pci bus id: 0000:07:00.0, compute capability: 7.0\"\n",
"]\n"
]
}
],
"source": [
"from tensorflow.python.client import device_lib\n",
"print(device_lib.list_local_devices())"
]
},
{
"cell_type": "markdown",
"id": "cbad9661",
"metadata": {},
"source": [
"본인이 작성하고 있는 노트북 GPU 환경을 알 수 있는 코드입니다. 저는 ainize workspace에서 Tesla V100 환경에서 노트북을 테스트했기 때문에 Tesla V100-DGXS-32GB이라고 잘 나오네요."
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "4a699d02",
"metadata": {},
"outputs": [],
"source": [
"#!pip install -U transformers datasets scipy scikit-learn"
]
},
{
"cell_type": "markdown",
"id": "8c957b4c",
"metadata": {},
"source": [
"모델 훈련을 위한 transformers와 학습 데이터셋 로드를 위해 datasets 라이브러리를 설치합니다. 그 외 모델 성능 검증을 위해 scipy, scikit-learn 또한 추가로 설치해줍니다.\n",
"\n",
"\n",
"## 문장 분류 모델 학습"
]
},
{
"cell_type": "code",
"execution_count": 4,
"id": "401dacc7",
"metadata": {},
"outputs": [],
"source": [
"import random\n",
"import logging\n",
"import torch\n",
"from IPython.display import display, HTML\n",
"import numpy as np\n",
"import pandas as pd\n",
"import datasets\n",
"from datasets import load_dataset, load_metric, ClassLabel, Sequence, list_datasets\n",
"from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer\n"
]
},
{
"cell_type": "markdown",
"id": "0ae8dc56",
"metadata": {},
"source": [
"노트북을 실행하는데 필요한 라이브러리를 모두 임포트 해줍니다."
]
},
{
"cell_type": "code",
"execution_count": 5,
"id": "1d99beee",
"metadata": {},
"outputs": [],
"source": [
"model_checkpoint = \"klue/roberta-base\"\n",
"batch_size = 32\n",
"task = \"nli\""
]
},
{
"cell_type": "markdown",
"id": "048072e8",
"metadata": {},
"source": [
"학습에 필요한 정보를 변수로 기록합니다.\n",
"\n",
"본 노트북애서는 klue-roberta-base 모델을 활용하지만, https://huggingface.co/klue 페이지에서 더 다양한 사전학습 언어 모델을 확인하실 수 있습니다.\n",
"\n",
"학습 태스크로는 nli를, 배치 사이즈는 32로 지정하겠습니다."
]
},
{
"cell_type": "code",
"execution_count": 6,
"id": "5e5c4151",
"metadata": {},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"Reusing dataset kor_nlu (/workspace/.cache/huggingface/datasets/kor_nlu/nli/1.0.0/4facbba77df60b0658056ced2052633e681a50187b9428bd5752ebd59d332ba8)\n"
]
}
],
"source": [
"datasets = load_dataset(\"kor_nlu\", task)"
]
},
{
"cell_type": "markdown",
"id": "06d9dc6d",
"metadata": {},
"source": [
"저는 학습에 사용할 데이터셋을 kakaobrain에서 제공하는 KorNLI 데이터셋을 사용할 것이므로 HuggingFace datasets 라이브러리에 등록된 kor_nlu의 nli 데이터을 다운로드 합니다."
]
},
{
"cell_type": "code",
"execution_count": 7,
"id": "01457377",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"DatasetDict({\n",
" train: Dataset({\n",
" features: ['premise', 'hypothesis', 'label'],\n",
" num_rows: 550146\n",
" })\n",
" validation: Dataset({\n",
" features: ['premise', 'hypothesis', 'label'],\n",
" num_rows: 1570\n",
" })\n",
" test: Dataset({\n",
" features: ['premise', 'hypothesis', 'label'],\n",
" num_rows: 4954\n",
" })\n",
"})"
]
},
"execution_count": 7,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"datasets"
]
},
{
"cell_type": "markdown",
"id": "a8291fbf",
"metadata": {},
"source": [
"다운로드 후 얻어진 datasets의 객체를 보면 KorNLI 데이터에는 훈련 데이터, 검증 데이터, 테스트 데이터가 포함되어 있는 것을 확인할 수 있습니다."
]
},
{
"cell_type": "code",
"execution_count": 8,
"id": "07659e8c",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"{'premise': '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.',\n",
" 'hypothesis': '한 사람이 경쟁을 위해 말을 훈련시키고 있다.',\n",
" 'label': 1}"
]
},
"execution_count": 8,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"datasets[\"train\"][0]"
]
},
{
"cell_type": "markdown",
"id": "29d24878",
"metadata": {},
"source": [
"각 데이터는 위와 같이 두개의 문장과 두 문장의 추론 관계를 라벨로 가지고 있습니다."
]
},
{
"cell_type": "code",
"execution_count": 9,
"id": "33ce978b",
"metadata": {},
"outputs": [],
"source": [
"def show_random_elements(dataset, num_examples=10):\n",
" assert num_examples <= len(dataset), \"Can't pick more elements than there are in the dataset.\"\n",
"\n",
" picks = []\n",
" \n",
" for _ in range(num_examples):\n",
" pick = random.randint(0, len(dataset)-1)\n",
"\n",
" # 이미 등록된 예제가 뽑힌 경우, 다시 추출\n",
" while pick in picks:\n",
" pick = random.randint(0, len(dataset)-1)\n",
"\n",
" picks.append(pick)\n",
"\n",
" # 임의로 추출된 인덱스들로 구성된 데이터 프레임 선언\n",
" df = pd.DataFrame(dataset[picks])\n",
"\n",
" for column, typ in dataset.features.items():\n",
" # 라벨 클래스를 스트링으로 변환\n",
" if isinstance(typ, ClassLabel):\n",
" df[column] = df[column].transform(lambda i: typ.names[i])\n",
"\n",
" display(HTML(df.to_html()))"
]
},
{
"cell_type": "markdown",
"id": "58c8a3aa",
"metadata": {},
"source": [
"데이터셋을 전반적으로 살펴보기 위해 시각화 함수를 정의합니다."
]
},
{
"cell_type": "code",
"execution_count": 10,
"id": "d4500f78",
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"<table border=\"1\" class=\"dataframe\">\n",
" <thead>\n",
" <tr style=\"text-align: right;\">\n",
" <th></th>\n",
" <th>premise</th>\n",
" <th>hypothesis</th>\n",
" <th>label</th>\n",
" </tr>\n",
" </thead>\n",
" <tbody>\n",
" <tr>\n",
" <th>0</th>\n",
" <td>젊고 늙은 여성들은 큰 잔디밭에서 사회, 정치, 교회 모임이 될 수 있는 곳에 그려져 있다.</td>\n",
" <td>한 무리의 여성이 교회 지하실에서 정치적 회의를 하고 있다.</td>\n",
" <td>contradiction</td>\n",
" </tr>\n",
" <tr>\n",
" <th>1</th>\n",
" <td>한 사람이 차 옆 바위가 많은 곳에서 물건을 줍는다.</td>\n",
" <td>사람이 밖에 있다.</td>\n",
" <td>entailment</td>\n",
" </tr>\n",
" <tr>\n",
" <th>2</th>\n",
" <td>하얀 셔츠를 입은 남자가 야외 테이블에서 여자 맞은편에 앉아 있다.</td>\n",
" <td>커다란 인간이 앉아 있었다.</td>\n",
" <td>neutral</td>\n",
" </tr>\n",
" <tr>\n",
" <th>3</th>\n",
" <td>오렌지색 조끼를 입은 두 명의 직원이 서류 작업을 하고 있다.</td>\n",
" <td>사람들이 자고 있다.</td>\n",
" <td>contradiction</td>\n",
" </tr>\n",
" <tr>\n",
" <th>4</th>\n",
" <td>빨간 저지를 입은 축구선수가 공을 던지려고 하는 하얀 저지를 입은 축구선수와 싸우고 있다.</td>\n",
" <td>수녀가 카페에서 커피를 주문한다.</td>\n",
" <td>contradiction</td>\n",
" </tr>\n",
" <tr>\n",
" <th>5</th>\n",
" <td>노란 원피스와 분홍색 샌들을 신은 아이가 커다란 물에서 걸어간다.</td>\n",
" <td>한 아이가 그녀의 개를 호수에서 쫓아낸다.</td>\n",
" <td>neutral</td>\n",
" </tr>\n",
" <tr>\n",
" <th>6</th>\n",
" <td>초라한 드레스를 입은 여자.</td>\n",
" <td>그 드레스는 약간 쌀쌀하다.</td>\n",
" <td>neutral</td>\n",
" </tr>\n",
" <tr>\n",
" <th>7</th>\n",
" <td>두 마리의 말이 한 여자를 수레에 태우고 있다.</td>\n",
" <td>여자가 마차를 타고 말을 탄다.</td>\n",
" <td>entailment</td>\n",
" </tr>\n",
" <tr>\n",
" <th>8</th>\n",
" <td>낙서로 뒤덮인 벽돌담을 지나가는 남자와 여자.</td>\n",
" <td>두 사람이 벽에 걸린 낙서를 지나간다.</td>\n",
" <td>entailment</td>\n",
" </tr>\n",
" <tr>\n",
" <th>9</th>\n",
" <td>인도 여성들이 전통무용에 손을 잡고 있다.</td>\n",
" <td>인도 여성들은 결혼식에서 전통 춤을 춘다.</td>\n",
" <td>neutral</td>\n",
" </tr>\n",
" </tbody>\n",
"</table>"
],
"text/plain": [
"<IPython.core.display.HTML object>"
]
},
"metadata": {},
"output_type": "display_data"
}
],
"source": [
"show_random_elements(datasets[\"train\"])"
]
},
{
"cell_type": "markdown",
"id": "5dc9ddf3",
"metadata": {},
"source": [
"앞서 정의한 함수를 이용하여 임의의 훈련 데이터를 살펴보도록 합니다.\n",
"\n",
"KorNLI에는 관계 추론을 할 때 entailment, neutral 그리고 contradiction 세 개의 라벨을 가지고 있음을 알 수 있습니다.\n",
"\n",
"이렇게 데이터를 살펴보면 각 라벨에 어떠한 문장들이 해당되는지 알 수 있어 감을 익힐 수 있는데에 장점이 있습니다."
]
},
{
"cell_type": "code",
"execution_count": 11,
"id": "e1dbaa2b",
"metadata": {},
"outputs": [],
"source": [
"metric = load_metric(\"glue\", \"qnli\")"
]
},
{
"cell_type": "markdown",
"id": "d112985e",
"metadata": {},
"source": [
"훈련 과정 중 모델의 성능 파악을 위해 메트릭을 설정합니다.\n",
"\n",
"datasets 라이브러리에는 이미 구현된 메트릭을 사용할 수 있는 load_metric 함수가 있어서 쉽게 설정이 가능합니다.\n",
"\n",
"그 중 GLUE 데이터셋의 qnli 태스크의 메트릭을 사용하도록 하겠습니다."
]
},
{
"cell_type": "code",
"execution_count": 12,
"id": "7be908b6",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"(array([0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1,\n",
" 0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 1, 1, 0, 1, 1,\n",
" 1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0]),\n",
" array([0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0,\n",
" 1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0,\n",
" 0, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 1]))"
]
},
"execution_count": 12,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"fake_preds = np.random.randint(0, 2, size=(64,))\n",
"fake_labels = np.random.randint(0, 2, size=(64,))\n",
"fake_preds, fake_labels"
]
},
{
"cell_type": "markdown",
"id": "7b7de386",
"metadata": {},
"source": [
"메트릭이 정상적으로 작동하는 것을 확인하기 위해 랜덤한 예측 값과 라벨 값을 생성합니다."
]
},
{
"cell_type": "code",
"execution_count": 13,
"id": "b3cce09f",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"{'accuracy': 0.5}"
]
},
"execution_count": 13,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"metric.compute(predictions=fake_preds, references=fake_labels)"
]
},
{
"cell_type": "markdown",
"id": "a040c7e9",
"metadata": {},
"source": [
"생성한 랜덤 값들을 compute() 함수를 통해 잘 동작하는지 확인합니다."
]
},
{
"cell_type": "code",
"execution_count": 14,
"id": "6b7eb994",
"metadata": {},
"outputs": [],
"source": [
"tokenizer = AutoTokenizer.from_pretrained(model_checkpoint, use_fast=True)"
]
},
{
"cell_type": "markdown",
"id": "439ef8aa",
"metadata": {},
"source": [
"이제 학습에 활용할 토크나이저를 로드해옵니다."
]
},
{
"cell_type": "code",
"execution_count": 15,
"id": "88f32f23",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"{'input_ids': [0, 1891, 3611, 2052, 3855, 2069, 3627, 1041, 2069, 4484, 2067, 2089, 2088, 1513, 2062, 18, 2, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}"
]
},
"execution_count": 15,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"tokenizer(\"한 사람이 경쟁을 위해 말을 훈련시키고 있다.\", \"말을 탄 사람이 고장난 비행기 위로 뛰어오른다.\")"
]
},
{
"cell_type": "markdown",
"id": "fcde8cd6",
"metadata": {},
"source": [
"로드된 토크나이저가 두 문장을 토큰화하는 방식을 파악하기 위해 두 문장을 입력 값으로 넣어서 확인해 봅니다."
]
},
{
"cell_type": "code",
"execution_count": 16,
"id": "6a927431",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Sentence 1: 말을 탄 사람이 고장난 비행기 위로 뛰어오른다.\n",
"Sentence 2: 한 사람이 경쟁을 위해 말을 훈련시키고 있다.\n"
]
}
],
"source": [
"sentence1_key, sentence2_key = (\"premise\", \"hypothesis\")\n",
"print(f\"Sentence 1: {datasets['train'][0][sentence1_key]}\")\n",
"print(f\"Sentence 2: {datasets['train'][0][sentence2_key]}\")"
]
},
{
"cell_type": "markdown",
"id": "0fb0ba8b",
"metadata": {},
"source": [
"이제 앞서 로드한 데이터셋에서 각 문장에 해당하는 value를 뽑아주기 위한 key를 정의합니다.\n",
"\n",
"KorNLI 데이터셋에서 두 문장의 label이 각각 premise와 hypothesis라는 이름으로 정의된 것을 확인하였으므로, 두 문장의 key 는 마찬가지로 각각 premise, hypothesis가 됩니다."
]
},
{
"cell_type": "code",
"execution_count": 20,
"id": "4e020138",
"metadata": {},
"outputs": [],
"source": [
"def preprocess_function(examples):\n",
" print(examples)\n",
" return tokenizer(\n",
" examples[sentence1_key],\n",
" examples[sentence2_key],\n",
" truncation=True,\n",
" return_token_type_ids=False,\n",
" )"
]
},
{
"cell_type": "markdown",
"id": "42c8f5a8",
"metadata": {},
"source": [
"이제 key 도 확인이 되었으니, 데이터셋에서 각 예제들을 뽑아와 토큰화 할 수 있는 함수를 위와 같이 정의해줍니다.\n",
"\n",
"해당 함수는 모델을 훈련하기 앞서 데이터셋을 미리 토큰화 시켜놓는 작업을 위한 콜백 함수로 사용되게 됩니다.\n",
"\n",
"인자로 넣어주는 truncation는 모델이 입력 받을 수 있는 최대 길이 이상의 토큰 시퀀스가 들어오게 될 경우, 최대 길이 기준으로 시퀀스를 자르라는 의미를 지닙니다.\n",
"\n",
"( * return_token_type_ids는 토크나이저가 token_type_ids를 반환하도록 할 것인지를 결정하는 인자입니다. transformers==4.7.0 기준으로 token_type_ids가 기본적으로 반환되므로 token_type_ids 자체를 사용하지 않는 RoBERTa 모델을 활용하기 위해 해당 인자를 False로 설정해주도록 합니다.)"
]
},
{
"cell_type": "code",
"execution_count": 21,
"id": "ac8d69bd",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"{'premise': ['말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '말을 탄 사람이 고장난 비행기 위로 뛰어오른다.', '카메라에 웃고 손을 흔드는 아이들', '카메라에 웃고 손을 흔드는 아이들', '카메라에 웃고 손을 흔드는 아이들', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '한 소년이 빨간 다리 한가운데 스케이트보드에 뛰어오르고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '나이 든 남자가 커피숍의 작은 테이블에 오렌지 주스를 들고 앉아 있고 밝은 색 셔츠를 입은 직원들은 뒤에서 미소를 짓고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '금발 여자 둘이 서로 껴안고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '식당에 있는 몇몇 사람들, 그들 중 한 명은 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '한 나이든 남자가 식당에서 오렌지 주스를 마시고 있다.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '금발의 남자, 그리고 공공 분수대에서 술을 마시는 갈색 셔츠.', '방금 점심을 먹고 작별인사를 한 두 여자.', '방금 점심을 먹고 작별인사를 한 두 여자.', '방금 점심을 먹고 작별인사를 한 두 여자.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '두 여자가 음식 운반 용기를 들고 포옹을 했다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '리틀리그 팀이 오후 경기에서 베이스로 미끄러지는 주자를 잡으려고 한다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '이 학교는 다른 문화들이 파티에서 어떻게 다루어지는지에 대한 미국 문화를 보여주기 위해 특별한 행사를 열고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '고급 패션 아가씨들이 도시의 사람들 옆에서 전차 밖에서 기다리고 있다.', '해변에서 즐기는 남자, 여자, 아이.'], 'hypothesis': ['한 사람이 경쟁을 위해 말을 훈련시키고 있다.', '한 사람이 식당에서 오믈렛을 주문하고 있다.', '사람은 야외에서 말을 타고 있다.', '그들은 부모님을 보고 웃고 있다', '아이들이 있다', '아이들이 얼굴을 찌푸리고 있다', '소년은 인도를 따라 스케이트를 탄다.', '그 소년은 스케이트보드를 타는 묘기를 부린다.', '소년이 안전 장비를 착용하고 있다.', '나이 든 남자가 딸이 퇴근하기를 기다리면서 주스를 마신다.', '한 소년이 햄버거를 뒤집는다.', '한 노인이 작은 가게에 앉아 있다.', '몇몇 여성들은 휴가 때 포옹을 하고 있다.', '여자들이 자고 있다.', '애정을 보이는 여자들이 있다.', '사람들이 오믈렛을 먹고 있다.', '사람들이 학교 책상에 앉아 있다.', '손님들이 식당에 있다.', '남자가 주스를 마시고 있다.', '두 여자가 식당에서 와인을 마시고 있다.', '식당에서 한 남자가 식사가 도착하기를 기다리고 있다.', '공원의 분수대에서 물을 마시는 금발의 남자.', '갈색 셔츠를 입은 금발 남자가 공원의 벤치에서 책을 읽고 있다.', '분수대에서 물을 마시는 금발 남자.', '친구들은 저녁 식탁을 가득 채우고 서로를 노려본다.', '이 사진에는 두 여자가 있습니다.', '친구들은 20년 만에 처음 만났고, 따라잡는 데 즐거운 시간을 보냈다.', '두 자매는 붐비는 식당을 가로질러 서로를 보고 포옹을 나누며 둘 다 개 가방을 움켜잡았다.', '두 그룹의 라이벌 갱단원들이 서로를 배신했다.', '두 여자가 서로 껴안는다.', '한 팀이 승리를 거두기 위해 득점을 시도하고 있다.', '한 팀이 주자를 따돌리려 하고 있다.', '한 팀이 토성에서 야구를 하고 있다.', '한 학교가 농구 경기를 주최한다.', '한 고등학교가 행사를 주최하고 있다.', '한 학교가 행사를 주최하고 있다.', '여자들은 어떤 옷을 입든 상관하지 않는다.', '여자들이 전차 옆에서 기다리고 있다.', '여성들은 좋은 패션 감각을 갖는 것을 즐긴다.', '여름방학 때 해변에서 엄마 아빠와 함께 있는 아이.'], 'label': [1, 2, 0, 1, 0, 2, 2, 0, 1, 1, 2, 0, 1, 2, 0, 1, 2, 0, 0, 2, 1, 1, 2, 0, 2, 0, 1, 1, 2, 0, 1, 0, 2, 2, 1, 0, 2, 0, 1, 1]}\n"
]
},
{
"data": {
"text/plain": [
"{'input_ids': [[0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 1891, 3611, 2052, 3855, 2069, 3627, 1041, 2069, 4484, 2067, 2089, 2088, 1513, 2062, 18, 2], [0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 1891, 3611, 2052, 5499, 27135, 3, 4867, 19521, 1513, 2062, 18, 2], [0, 1041, 2069, 1763, 3611, 2052, 8514, 2336, 7046, 7587, 5603, 17290, 2062, 18, 2, 3611, 2073, 8296, 27135, 1041, 2069, 11532, 1513, 2062, 18, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 636, 2031, 2073, 4267, 2098, 2069, 4530, 1474, 2088, 1513, 2062, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 3651, 7285, 1513, 2062, 2], [0, 5677, 2170, 1474, 2088, 1284, 2069, 18882, 2259, 3651, 2031, 2, 3651, 7285, 3977, 2069, 19556, 2088, 1513, 2062, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 5950, 2073, 4543, 2138, 3653, 19090, 2138, 25695, 18, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 636, 5950, 2073, 19090, 11507, 2138, 1761, 2259, 1087, 2015, 2138, 29121, 2062, 18, 2], [0, 1891, 5950, 2052, 8013, 5035, 6853, 3832, 19090, 11507, 2170, 5603, 5667, 2088, 1513, 2062, 18, 2, 5950, 2052, 4040, 5424, 2138, 7845, 19521, 1513, 2062, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 4358, 880, 3997, 2116, 900, 2052, 8194, 31302, 2138, 5037, 31369, 12228, 2138, 23457, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 1891, 5950, 2052, 14995, 2138, 6762, 2259, 2062, 18, 2], [0, 4358, 880, 3997, 2116, 18970, 2079, 1518, 2073, 6889, 2170, 11150, 12228, 2138, 882, 2088, 1379, 2227, 1513, 2088, 1124, 2073, 1245, 10727, 2138, 1511, 2073, 4070, 2031, 2073, 873, 27135, 5658, 2138, 1590, 2088, 1513, 2062, 18, 2, 1891, 4662, 2052, 1518, 2073, 6042, 2170, 1379, 2227, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 7396, 3811, 2031, 2073, 6493, 904, 20957, 2069, 6159, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 3883, 7285, 5883, 1513, 2062, 18, 2], [0, 21459, 3883, 867, 2052, 4084, 15322, 2088, 1513, 2062, 18, 2, 7689, 2069, 3783, 2259, 3883, 7285, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3611, 7285, 3, 1059, 2088, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3611, 7285, 3741, 7961, 2170, 1379, 2227, 1513, 2062, 18, 2], [0, 5499, 2170, 1513, 2259, 7396, 3611, 2031, 16, 636, 2031, 1570, 1891, 1076, 2073, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 6654, 7285, 5499, 2170, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 3997, 2116, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 864, 3883, 2116, 5499, 27135, 6612, 2069, 5012, 2088, 1513, 2062, 18, 2], [0, 1891, 4358, 2778, 3997, 2116, 5499, 27135, 11150, 12228, 2138, 5012, 2088, 1513, 2062, 18, 2, 5499, 27135, 1891, 3997, 2116, 5067, 2116, 5082, 31302, 2138, 5037, 2088, 1513, 2062, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 4599, 2079, 11790, 2104, 27135, 1093, 2069, 5012, 2259, 21459, 2079, 3997, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 14008, 10727, 2138, 1511, 2073, 21459, 3997, 2116, 4599, 2079, 9262, 27135, 1644, 2069, 1508, 2088, 1513, 2062, 18, 2], [0, 21459, 2079, 3997, 16, 3673, 4437, 11790, 2104, 27135, 1299, 2069, 5012, 2259, 14008, 10727, 18, 2, 11790, 2104, 27135, 1093, 2069, 5012, 2259, 21459, 3997, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 3949, 2031, 2073, 4750, 10160, 2069, 4983, 8140, 2088, 4084, 2138, 10631, 7471, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 1504, 4035, 2170, 2259, 864, 3883, 2116, 1513, 2219, 3606, 18, 2], [0, 9684, 5961, 2069, 1059, 2088, 17812, 2179, 2063, 2138, 1891, 864, 3883, 18, 2, 3949, 2031, 2073, 3619, 2440, 1038, 2170, 3790, 5836, 2088, 16, 15856, 2259, 842, 7924, 3641, 2069, 5755, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 9646, 2259, 26576, 2259, 5499, 2069, 19642, 4084, 2138, 4530, 20957, 2069, 4835, 2307, 867, 809, 558, 6840, 2069, 13955, 2741, 2886, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 4063, 2079, 12574, 563, 2286, 2252, 7285, 4084, 2138, 10004, 2371, 2062, 18, 2], [0, 864, 3883, 2116, 4182, 11047, 6153, 2138, 882, 2088, 20957, 2069, 1902, 2062, 18, 2, 864, 3883, 2116, 4084, 15322, 2259, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 4644, 2138, 6387, 2015, 3627, 6300, 2069, 4703, 19521, 1513, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 6788, 2138, 18841, 2370, 6159, 1513, 2062, 18, 2], [0, 18023, 17665, 1823, 2052, 4082, 3682, 27135, 9763, 2200, 21371, 2259, 6788, 2138, 1523, 2279, 10554, 3605, 18, 2, 1891, 1823, 2052, 24820, 27135, 4878, 2138, 6159, 1513, 2062, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 3741, 2116, 7124, 3682, 2138, 6771, 4538, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 5868, 2116, 3925, 2138, 6771, 19521, 1513, 2062, 18, 2], [0, 1504, 3741, 2259, 3656, 3697, 7285, 7291, 27135, 3842, 5778, 4379, 18246, 2170, 3618, 3666, 3697, 2138, 3897, 2223, 2015, 3627, 4014, 2470, 3925, 2138, 1432, 2088, 1513, 2062, 18, 2, 1891, 3741, 2116, 3925, 2138, 6771, 19521, 1513, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3883, 2031, 2073, 3711, 1451, 2069, 1511, 2778, 5468, 2205, 2118, 1380, 2259, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3883, 7285, 13533, 1438, 27135, 5037, 2088, 1513, 2062, 18, 2], [0, 5399, 5179, 9019, 7285, 3763, 2079, 3611, 2031, 1438, 27135, 13533, 4044, 2112, 5037, 2088, 1513, 2062, 18, 2, 3811, 2031, 2073, 1560, 2073, 5179, 5700, 2069, 554, 2259, 575, 2069, 21589, 18, 2], [0, 9738, 27135, 5380, 2259, 3997, 16, 3883, 16, 3651, 18, 2, 4565, 2239, 2218, 904, 9738, 27135, 4122, 5091, 2522, 3655, 1513, 2259, 3651, 18, 2]], 'attention_mask': [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]}"
]
},
"execution_count": 21,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"preprocess_function(datasets[\"train\"][:40])"
]
},
{
"cell_type": "markdown",
"id": "7b8b48f7",
"metadata": {},
"source": [
"앞서 정의한 process_function은 위와 같이 여러 개의 예제 데이터를 받을 수도 있습니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "07593d57",
"metadata": {},
"outputs": [],
"source": [
"encoded_datasets = datasets.map(preprocess_function, batched=True)"
]
},
{
"cell_type": "markdown",
"id": "7bbf64ea",
"metadata": {},
"source": [
"이제 정의된 전처리 함수를 활용해 데이터셋을 미리 토큰화시키는 작업을 수행합니다.\n",
"\n",
"datasets 라이브러리를 통해 얻어진 DatasetDict 객체는 map() 함수를 지원하므로, 정의된 전처리 함수를 데이터셋 토큰화를 위한 콜백 함수로 map() 함수 인자로 넘겨주면 됩니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "840516c6",
"metadata": {},
"outputs": [],
"source": [
"num_labels = 3\n",
"model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=num_labels)"
]
},
{
"cell_type": "markdown",
"id": "80281b6f",
"metadata": {},
"source": [
"학습을 위한 모델을 로드합니다.\n",
"\n",
"앞서 살펴본 바와 같이 KorNLI에는 총 3개의 클래스가 존재하므로, 3개의 클래스를 예측할 수 있는 SequenceClassification 구조로 모델을 로드합니다.\n",
"\n",
"모델을 로드할 때 발생하는 경고 문구는 두 가지 의미를 지닙니다.\n",
"1. Masked Language Modeling 을 위해 존재했던 lm_head가 현재는 사용되지 않고 있음을 의미합니다.\n",
"2. 문장 분류를 위한 classifier 레이어를 백본 모델 뒤에 이어 붙였으나 아직 훈련이 되지 않았으므로, 학습을 수행해야 함을 의미합니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "ea50be8c",
"metadata": {},
"outputs": [],
"source": [
"def compute_metrics(eval_pred):\n",
" predictions, labels = eval_pred\n",
" predictions = np.argmax(predictions, axis=1)\n",
" return metric.compute(predictions=predictions, references=labels)"
]
},
{
"cell_type": "markdown",
"id": "d62aef1e",
"metadata": {},
"source": [
"마지막으로 앞서 정의한 메트릭을 모델 예측 결과에 적용하기 위한 함수를 정의합니다.\n",
"\n",
"입력으로 들어오는 eval_pred는 EvalPrediction 객체이며, 모델의 클래스 별 예측 값과 정답 값을 지닙니다.\n",
"\n",
"클래스 별 예측 중 가장 높은 라벨을 argmax()를 통해 뽑아낸 후, 정답 라벨과 비교를 하게 됩니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "09688900",
"metadata": {},
"outputs": [],
"source": [
"metric_name = \"accuracy\"\n",
"\n",
"args = TrainingArguments(\n",
" \"test-nli\",\n",
" evaluation_strategy=\"epoch\",\n",
" learning_rate=2e-5,\n",
" per_device_train_batch_size=batch_size,\n",
" per_device_eval_batch_size=batch_size,\n",
" num_train_epochs=5,\n",
" weight_decay=0.01,\n",
" load_best_model_at_end=True,\n",
" metric_for_best_model=metric_name,\n",
")"
]
},
{
"cell_type": "markdown",
"id": "9a768407",
"metadata": {},
"source": [
"이제 앞서 정의한 정보들을 바탕으로 transformers에서 제공하는 Trainer 객체를 활용하기 위한 인자 관리 클래스를 초기화합니다.\n",
"\n",
"metric_name은 앞서 얻어진 메트릭 함수를 활용했을 때, 아래와 같이 dict 형식으로 결과 값이 반환되는데 여기서 우리가 사용할 key 를 정의해준다고 생각하시면 됩니다.\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "080c165e",
"metadata": {},
"outputs": [],
"source": [
"trainer = Trainer(\n",
" model,\n",
" args,\n",
" train_dataset=encoded_datasets[\"train\"],\n",
" eval_dataset=encoded_datasets[\"validation\"],\n",
" tokenizer=tokenizer,\n",
" compute_metrics=compute_metrics,\n",
")"
]
},
{
"cell_type": "markdown",
"id": "03a9041d",
"metadata": {},
"source": [
"이제 로드한 모델, 인자 관리 클래스, 데이터셋 등을 이용하여 Trainer를 초기화 해줍니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "5cdf8b98",
"metadata": {},
"outputs": [],
"source": [
"trainer.train()"
]
},
{
"cell_type": "markdown",
"id": "515e7b86",
"metadata": {},
"source": [
"앞서 초기화한 trainer 객체를 훈련시킵니다. 데이터 셋의 크기가 커서 그런지 제 환경에서는 약 3시간 30분 정도 걸렸네요."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "c8a0e594",
"metadata": {},
"outputs": [],
"source": [
"trainer.evaluate()"
]
},
{
"cell_type": "markdown",
"id": "0eba9443",
"metadata": {},
"source": [
"학습한 모델을 evalutate()를 통해 평가를 하여 정확도를 확인해 봅니다."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "0f57d941",
"metadata": {},
"outputs": [],
"source": [
"trainer.save_model(\"./\")"
]
},
{
"cell_type": "markdown",
"id": "69a124cf",
"metadata": {},
"source": [
"학습한 모델을 나중에 사용하기 위해 저장 경로에 저장합니다. 저는 현재 폴더에 저장하였습니다.\n",
"\n",
"## 마치며\n",
"\n",
"제가 인공지능을 시작한지 얼마 되지 않아 개념이 덜 잡혀있고, 정말 어려워 했었는데 Huffon님의 [github](https://github.com/Huffon)에 올라가있는 노트북을 보며 많이 배운 것 같습니다. 본 노트북은 Huffon님의 예제 코드와 설명을 따라친 것이 대부분이지만 눈으로 보는 것과 실제 해보는 것의 차이가 엄청 크다는 것을 느꼈습니다."
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.9"
}
},
"nbformat": 4,
"nbformat_minor": 5
}
|