{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- configuration.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "047d95084e98403589b108942daf1a0c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)esolve/main/model.py:   0%|          | 0.00/6.66k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "840315351a8e489d9e65c4285a9511b2",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)event_arg_predict.py:   0%|          | 0.00/12.8k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e211aa84be44465396acb1e1e1b5b683",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)/args_model_utils.py:   0%|          | 0.00/11.2k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- args_model_utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b4c2fe2b94884fa5bc8e245a874ad21a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)nt_nugget_predict.py:   0%|          | 0.00/10.7k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "d192dbc95c6749b6a9c6a5c984c646fd",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)ugget_model_utils.py:   0%|          | 0.00/6.59k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- nugget_model_utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0ca6f6c3195c4708bb1834a0c876e893",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)esolve/main/utils.py:   0%|          | 0.00/7.05k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- event_nugget_predict.py\n",
      "- nugget_model_utils.py\n",
      "- utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- event_arg_predict.py\n",
      "- args_model_utils.py\n",
      "- event_nugget_predict.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2776f9469d414ed6aaa5b594fae0c6a8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)nt_realis_predict.py:   0%|          | 0.00/11.5k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "22265c1ceb7d4611a5118fbde096bc1d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading (…)ealis_model_utils.py:   0%|          | 0.00/7.09k [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- realis_model_utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- event_realis_predict.py\n",
      "- realis_model_utils.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
      "A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
      "- model.py\n",
      "- event_arg_predict.py\n",
      "- event_realis_predict.py\n",
      ". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
      "Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
      "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n",
      "Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
      "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n",
      "Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
      "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
     ]
    }
   ],
   "source": [
    "# Load model directly\n",
    "from transformers import AutoModelForTokenClassification\n",
    "model = AutoModelForTokenClassification.from_pretrained(\"CyberPeace-Institute/Cybersecurity-Knowledge-Graph\", trust_remote_code=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e3e5818a4d6b4ba99243603a068622d0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f3a24eb19f414ae3ad974b1461fc3e64",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3c3dd376f5614f739e5c0780af8b3a9b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "20c9cd31ea854bb58208249c18840e14",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a668052410cf41968f97ebdcf187debc",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "[{'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 287, 'token': ' As', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 502, 'token': ' June', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 336, 'token': ' 2016', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 55, 'token': ' more', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 87, 'token': ' than', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 3982, 'token': ' 150', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 153,\n",
       "  'token': ' million',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2171,\n",
       "  'token': ' active',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1434,\n",
       "  'token': ' users',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 10754,\n",
       "  'token': ' interact',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 19, 'token': ' with', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 65, 'token': ' one', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 277,\n",
       "  'token': ' another',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1230,\n",
       "  'token': ' daily',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1241, 'token': ' via', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11477,\n",
       "  'token': ' Snapchat',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5763,\n",
       "  'token': ' Others',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 32, 'token': ' are', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4777,\n",
       "  'token': ' drawn',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 30, 'token': ' by', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 544,\n",
       "  'token': ' service',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 55, 'token': ' more', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 485,\n",
       "  'token': ' recent',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1575,\n",
       "  'token': ' features',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2246,\n",
       "  'token': ' Those',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 680,\n",
       "  'token': ' include',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 14100,\n",
       "  'token': ' Snap',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 20122, 'token': 'cash', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5448,\n",
       "  'token': ' method',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2942,\n",
       "  'token': ' introduced',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 13, 'token': ' for', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1434,\n",
       "  'token': ' users',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2142, 'token': ' send', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1830,\n",
       "  'token': ' mobile',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 3081,\n",
       "  'token': ' payments',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 964,\n",
       "  'token': ' friends',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 6211,\n",
       "  'token': ' Given',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1553, 'token': ' app', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7347,\n",
       "  'token': ' popularity',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 24, 'token': ' it', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 117, 'token': ' no', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5170,\n",
       "  'token': ' wonder',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 804,\n",
       "  'token': ' online',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 9177,\n",
       "  'token': ' criminals',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 278, 'token': ' set', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 579, 'token': ' s', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 6183, 'token': 'ights', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 15, 'token': ' on', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11597,\n",
       "  'token': ' hacking',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1434,\n",
       "  'token': ' users',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11477,\n",
       "  'token': ' Snapchat',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 2349,\n",
       "  'token': ' accounts',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 286, 'token': ' For', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4327,\n",
       "  'token': ' instance',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 124, 'token': ' back', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 628,\n",
       "  'token': ' late',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Time',\n",
       "  'realis': 'O'},\n",
       " {'id': 1014,\n",
       "  'token': ' 2013',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Time',\n",
       "  'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10,\n",
       "  'token': ' a',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 333,\n",
       "  'token': ' group',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 9,\n",
       "  'token': ' of',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 11344,\n",
       "  'token': ' hackers',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 1027,\n",
       "  'token': ' published',\n",
       "  'nugget': 'B-Databreach',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'B-Data', 'realis': 'O'},\n",
       " {'id': 8503,\n",
       "  'token': ' database',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Data',\n",
       "  'realis': 'O'},\n",
       " {'id': 8200,\n",
       "  'token': ' containing',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'B-PII', 'realis': 'O'},\n",
       " {'id': 32200,\n",
       "  'token': ' usernames',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1028,\n",
       "  'token': ' phone',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 1530,\n",
       "  'token': ' numbers',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2219,\n",
       "  'token': ' approximately',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 204, 'token': ' 4', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 401, 'token': '6', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 153,\n",
       "  'token': ' million',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 11477,\n",
       "  'token': ' Snapchat',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 1434,\n",
       "  'token': ' users',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 234, 'token': ' N', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4550, 'token': 'ef', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 38313,\n",
       "  'token': 'arious',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2172,\n",
       "  'token': ' individuals',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 115, 'token': ' could', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 341, 'token': ' used', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 335,\n",
       "  'token': ' information',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4392,\n",
       "  'token': ' profile',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 3247,\n",
       "  'token': ' targets',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 420,\n",
       "  'token': ' across',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1533,\n",
       "  'token': ' multiple',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 3748, 'token': ' web', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2349,\n",
       "  'token': ' accounts',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 166, 'token': ' We', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 67, 'token': ' also', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 6056, 'token': ' ca', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 295, 'token': ' n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 75, 'token': \"'t\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 4309,\n",
       "  'token': ' forget',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 59, 'token': ' about', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 573,\n",
       "  'token': ' security',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1160,\n",
       "  'token': ' incident',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2756,\n",
       "  'token': ' occurred',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 124, 'token': ' back', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 902,\n",
       "  'token': ' February',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Time',\n",
       "  'realis': 'O'},\n",
       " {'id': 336,\n",
       "  'token': ' 2016',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Time',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 96, 'token': ' In', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14,\n",
       "  'token': ' that',\n",
       "  'nugget': 'B-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 908,\n",
       "  'token': ' attack',\n",
       "  'nugget': 'I-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 951,\n",
       "  'token': ' someone',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 7444,\n",
       "  'token': ' posed',\n",
       "  'nugget': 'B-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 25,\n",
       "  'token': ' as',\n",
       "  'nugget': 'I-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 138,\n",
       "  'token': ' company',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Organization',\n",
       "  'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1324,\n",
       "  'token': ' CEO',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7013,\n",
       "  'token': ' convinced',\n",
       "  'nugget': 'B-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11477,\n",
       "  'token': ' Snapchat',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 3200,\n",
       "  'token': ' employee',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2142,\n",
       "  'token': ' send',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Purpose',\n",
       "  'realis': 'O'},\n",
       " {'id': 81,\n",
       "  'token': ' over',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Purpose',\n",
       "  'realis': 'O'},\n",
       " {'id': 10984,\n",
       "  'token': ' payroll',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Purpose',\n",
       "  'realis': 'O'},\n",
       " {'id': 335,\n",
       "  'token': ' information',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'I-Purpose',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 20,\n",
       "  'token': ' The',\n",
       "  'nugget': 'B-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 1800,\n",
       "  'token': ' successful',\n",
       "  'nugget': 'I-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 28237,\n",
       "  'token': ' phish',\n",
       "  'nugget': 'I-Phishing',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 3284,\n",
       "  'token': ' ultimately',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 13969,\n",
       "  'token': ' compromised',\n",
       "  'nugget': 'B-Databreach',\n",
       "  'argument': 'O',\n",
       "  'realis': 'Actual'},\n",
       " {'id': 4295,\n",
       "  'token': ' dozens',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1321,\n",
       "  'token': ' employees',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-Person',\n",
       "  'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14875,\n",
       "  'token': ' identities',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'B-PII',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 598, 'token': ' To', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 28, 'token': ' be', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2105, 'token': ' fair', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14251,\n",
       "  'token': ' mega',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 6999,\n",
       "  'token': ' breach',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 15, 'token': ' on', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 3189,\n",
       "  'token': ' scale',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 99, 'token': ' what', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2132,\n",
       "  'token': ' affected',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 6582,\n",
       "  'token': ' LinkedIn',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 9494,\n",
       "  'token': ' Tumblr',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10354,\n",
       "  'token': ' Yahoo',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 34, 'token': ' has', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 648, 'token': ' yet', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2506,\n",
       "  'token': ' strike',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11203,\n",
       "  'token': ' messaging',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 1553, 'token': ' app', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 125, 'token': ' But', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 45, 'token': ' not', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 224, 'token': ' say', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 9177,\n",
       "  'token': ' criminals',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 32, 'token': ' are', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 295, 'token': ' n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 75, 'token': \"'t\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 667,\n",
       "  'token': ' trying',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 465, 'token': ' find', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 169, 'token': ' way', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 88, 'token': ' into', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 82, 'token': ' people', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2349,\n",
       "  'token': ' accounts',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 46450,\n",
       "  'token': ' Hackers',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2563,\n",
       "  'token': ' clearly',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 11477,\n",
       "  'token': ' Snapchat',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 579, 'token': ' s', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 6183, 'token': 'ights', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 61, 'token': ' which', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 16, 'token': ' is', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 596, 'token': ' why', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1434,\n",
       "  'token': ' users',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 240, 'token': ' need', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1532,\n",
       "  'token': ' learn',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 141, 'token': ' how', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1514, 'token': ' spot', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2892,\n",
       "  'token': ' warning',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 2434,\n",
       "  'token': ' signs',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 14157,\n",
       "  'token': ' hack',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 141, 'token': ' how', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 51, 'token': ' they', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 64, 'token': ' can', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 5312,\n",
       "  'token': ' recover',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 2349,\n",
       "  'token': ' accounts',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 114, 'token': ' if', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 951,\n",
       "  'token': ' someone',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 30478,\n",
       "  'token': ' compromises',\n",
       "  'nugget': 'O',\n",
       "  'argument': 'O',\n",
       "  'realis': 'O'},\n",
       " {'id': 106, 'token': ' them', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
       " {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'}]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "input = \"\"\"\n",
    "As of June 2016, more than 150 million active users interact with one another daily via Snapchat. Others are drawn by the service's more recent features. Those include Snapcash, a method introduced for users to send mobile payments to their friends. \n",
    "Given the app's popularity, it's no wonder online criminals have set their sights on hacking users' Snapchat accounts. For instance, back in late 2013, a group of hackers published a database containing the usernames and phone numbers of approximately 4.6 million Snapchat users. \n",
    "Nefarious individuals could have used that information to profile targets across multiple web accounts. We also can't forget about the security incident that occurred back in February 2016. In that attack, someone posed as the company's CEO and convinced a Snapchat employee to send over payroll information. \n",
    "The successful phish ultimately compromised dozens of employees' identities. To be fair, a mega breach on the scale of what affected LinkedIn, Tumblr, and Yahoo has yet to strike the messaging app. But that's not to say criminals aren't trying to find a way into people's accounts. \n",
    "Hackers clearly have Snapchat in their sights, which is why users need to learn how to spot the warning signs of a hack and how they can recover their accounts if someone compromises them.\n",
    "\"\"\"\n",
    "\n",
    "model(input)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.forward()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.15"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}