Duplicate from CreatorPhan/VDT

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,13 @@
+---
+title: VDT
+emoji: 💻
+colorFrom: gray
+colorTo: pink
+sdk: gradio
+sdk_version: 3.32.0
+app_file: app.py
+pinned: false
+duplicated_from: CreatorPhan/VDT
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

agent_gpt.py

@@ -0,0 +1,67 @@
+from langchain.document_loaders.unstructured import UnstructuredFileLoader 
+from langchain.text_splitter import CharacterTextSplitter
+from langchain.embeddings import OpenAIEmbeddings
+from langchain.vectorstores import Chroma
+from langchain.chains import RetrievalQA
+from langchain.chat_models import ChatOpenAI
+from langchain.schema import AIMessage, HumanMessage, SystemMessage, Document
+import os
+
+
+API_KEY = os.getenv("API_TOKEN")
+print("API:", API_KEY)
+
+class Agent:
+    def __init__(self, args=None) -> None:
+        self.embeddings = OpenAIEmbeddings(openai_api_key=API_KEY)
+        self.llm = ChatOpenAI(temperature=0.5, openai_api_key=API_KEY)
+        self.context_value = ""
+        self.use_context = False
+
+    def load_context(self, doc_path):
+        loader = UnstructuredFileLoader(doc_path.name)
+        print('Loading file:', doc_path.name)
+        self.documents = loader.load()
+        self.split()
+
+        return f"Using file from {doc_path.name}"
+    
+    def split(self):
+        text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
+        texts = text_splitter.split_documents(self.documents)
+        docsearch  = Chroma.from_documents(texts, self.embeddings)
+        self.qa = RetrievalQA.from_chain_type(llm=self.llm, chain_type="stuff", retriever=docsearch.as_retriever())
+
+        print("Context updated")
+        self.use_context = True
+
+    def asking(self, prompt):
+        if self.use_context:
+            print("Answering with your context")
+            return self.qa.run(prompt)
+        else:
+            print("Answering without your context")
+            return self.llm([HumanMessage(content=prompt)]).content
+
+    
+    def get_context(self, context):
+        self.context_value = context
+
+        self.documents = [Document(page_content=context, metadata={'source': ''})]
+        self.split()
+
+        self.use_context = True
+    
+    def load_context_file(self, file):
+        print('Loading file:', file.name)
+        text = ''
+        for line in open(file.name, 'r', encoding='utf8'):
+            text += line
+
+        self.context_value = text
+        return text
+    
+    def clear_context(self):
+        self.context_value = ""
+        self.use_context = False
+        return ""

agent_t5.py

@@ -0,0 +1,160 @@
+from langchain.document_loaders.unstructured import UnstructuredFileLoader 
+from langchain.text_splitter import CharacterTextSplitter
+from langchain.embeddings import OpenAIEmbeddings
+from langchain.vectorstores import Chroma
+from langchain.chains import RetrievalQA
+from langchain.chat_models import ChatOpenAI
+from langchain.schema import AIMessage, HumanMessage, SystemMessage, Document
+from langchain.document_loaders import PyPDFLoader
+
+from transformers import AutoTokenizer, T5ForConditionalGeneration
+from retrieval.retrieval import Retrieval, BM25
+from datetime import datetime
+import os, time, torch
+from torch.nn import Softmax
+import requests
+
+API_URL = "https://api-inference.huggingface.co/models/CreatorPhan/ViQA-small"
+headers = {"Authorization": "Bearer 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"}
+
+class Agent:
+    def __init__(self, args=None) -> None:
+        self.args = args
+        self.choices = args.choices
+        self.corpus = Retrieval(k=args.choices)
+        
+        self.context_value = ""
+        self.use_context = False
+        self.softmax = Softmax(dim=1)
+        self.temp = []
+        self.replace_list = torch.load('retrieval/replace.pt')
+        
+        print("Model is loading...")
+        self.model = T5ForConditionalGeneration.from_pretrained(args.model).to(args.device)
+        self.tokenizer = AutoTokenizer.from_pretrained(args.tokenizer)
+        print("Model loaded!")
+
+
+    def load_context(self, doc_path):
+        print('Loading file:', doc_path.name)
+        if doc_path.name[-4:] == '.pdf':
+            context = self.read_pdf(doc_path.name)
+        else:
+            # loader = UnstructuredFileLoader(doc_path.name)
+            context = open(doc_path.name, encoding='utf-8').read()
+        
+        self.retrieval = Retrieval(docs=context)
+        self.choices = self.retrieval.k
+        self.use_context = True
+
+        return f"Using file from {doc_path.name}"
+    
+    def API_call(self, prompt):
+        response = requests.post(API_URL, headers=headers, json={"inputs": prompt}).json()
+        if isinstance(response, list):
+            return response[0]['generated_text']
+        else:
+            time.sleep(3)
+            return self.API_call(prompt)
+
+    def asking(self, question):
+        timestamp = datetime.now()
+        timestamp = timestamp.strftime("[%Y-%m-%d %H:%M:%S]")
+        print(timestamp, end=' ')
+
+        s_query = time.time()
+        if self.use_context:
+            print("Answering with your context:", question)
+            contexts = self.retrieval.get_context(question)
+        else:
+            print("Answering without your context:", question)
+            contexts = self.corpus.get_context(question)
+
+        prompts = []
+        for context in contexts:
+            prompt = f"Trả lời câu hỏi: {question} Trong nội dung: {context['context']}"
+            prompts.append(prompt)
+
+        s_token = time.time()
+        tokens = self.tokenizer(prompts, max_length=self.args.seq_len, truncation=True, padding='max_length', return_tensors='pt')
+        
+        s_gen = time.time()
+        outputs = self.model.generate(
+            input_ids=tokens.input_ids.to(self.args.device),
+            attention_mask=tokens.attention_mask.to(self.args.device),
+            max_new_tokens=self.args.out_len,
+            output_scores=True,
+            return_dict_in_generate=True
+        )
+
+
+        s_de = time.time()
+        results = []
+
+        scores = self.softmax(outputs.scores[0])
+        scores = scores.max(dim=1).values*100
+        # print(scores)
+        for i in range(self.choices):
+            result = contexts[i]
+            score = round(scores[i].item())
+            result['score'] = score
+            
+            answer = self.tokenizer.decode(outputs.sequences[i], skip_special_tokens=True)
+            result['answer'] = answer
+            results.append(result)
+
+        def get_score(record):
+            return record['score']**2 * record['score_bm']
+
+        results.sort(key=get_score, reverse=True)
+
+        self.temp = results
+        t_mess = "t_query: {:.2f}\t t_token: {:.2f}\t t_gen: {:.2f}\t t_decode: {:.2f}\t".format(
+            s_token-s_query, s_gen-s_token, s_de-s_gen, time.time()-s_de
+        )
+        print(t_mess, len(self.temp))
+        if results[0]['score'] > 60:
+            return results[0]['answer']
+        else:
+            return f"Tôi không chắc nhưng câu trả lời có thể là: {results[0]['answer']}\nBạn có thể tham khảo các câu trả lời bên cạnh!"
+
+
+    
+    def get_context(self, context):
+        self.context_value = context
+
+        self.retrieval = Retrieval(k=self.choices, docs=context)
+        self.choices = self.retrieval.k
+        self.use_context = True
+        return context
+    
+    def load_context_file(self, file):
+        print('Loading file:', file.name)
+        text = ''
+        for line in open(file.name, 'r', encoding='utf8'):
+            text += line
+
+        self.context_value = text
+        return text
+    
+    def clear_context(self):
+        self.context_value = ""
+        self.use_context = False
+        self.choices = self.args.choices
+        return ""
+
+    def replace(self, text):
+        for key, value in self.replace_list:
+            text = text.replace(key, value)
+        return text
+
+    def read_pdf(self, file_path):
+        loader = PyPDFLoader(file_path)
+        pages = loader.load_and_split()
+        text = ''
+        for page in pages:
+            page_content = page.page_content
+            text += self.replace(page_content)
+
+        return text
+

app.py

@@ -0,0 +1,99 @@
+import gradio as gr
+import random
+import time
+from agent_t5 import Agent
+from config import Config
+from retrieval.retrieval import BM25
+
+
+args = Config()
+chatbot = Agent(args)
+RLHF = []
+
+with gr.Blocks() as demo:
+    gr.Markdown( """<h1><center>Vietnamese QA assistant</center></h1>""")
+    with gr.Tab("Chatbot"):
+        with gr.Row():
+            with gr.Column():
+                chatbot_area = gr.Chatbot(
+                    [[None, "Xin chào!"],
+                     [None, "Tôi là một công cụ đọc hiểu cho tiếng Việt. Bạn có thể đặt bất kì câu hỏi cho tôi hoặc bạn có thể upload văn bản của bạn và hỏi tôi về nó ở tab 'Your context'"],
+                     ["Công dụng của paracetamol", "hạ sốt, giảm đau"]]
+                ).style(height=600)
+                msg = gr.Textbox(label='Your prompt')
+
+            with gr.Column(scale=0.3, min_width=500):
+                for i in range(args.show_c):
+                    with gr.Accordion(f"Answer {i+1}", open=False) as answer_area:
+                        with gr.Row():
+                            gr.Button('👍 Answer').style(size='sm', full_width=False)
+                            gr.Button('👎🏻 Answer').style(size='sm', full_width=False)
+                        context_area = gr.Markdown(f"Context {i+1}")
+                        # gr.CheckboxGroup(choices=['Good Answer', 'Bad Answer', 'Good Context', 'Bad Context'])
+
+                        with gr.Row():
+                            gr.Button('👍 Context').style(size='sm', full_width=False)
+                            gr.Button('👎🏻 Context').style(size='sm', full_width=False)
+
+                        RLHF.append(answer_area)
+                        RLHF.append(context_area)
+                clear_chat = gr.Button("Clear history")
+
+    with gr.Tab("Your context"):
+        context_box = gr.Textbox(
+            label="Bạn có thể upload hoặc viết văn bản của bạn vào đây và quay lại tab 'Chatbot' để hỏi tôi!",
+            lines=20,
+            placeholder="Enter your context here..."
+        )
+        
+        with gr.Row() as taskbar:
+            upload_btt = gr.UploadButton('Upload Context File')
+            clear_context_btt = gr.Button("Clear context")
+            context_btt = gr.Button("Using context")
+
+
+    def user(user_message, history):
+        print("Context box value:", context_box.info)
+        return "", history + [[user_message, None]]
+
+    def bot(history):
+        question = history[-1][0]
+        answers = chatbot.asking(question)
+
+
+        print(answers)
+        history[-1][1] = ""
+        for character in answers:
+            history[-1][1] += character
+            time.sleep(0.01)
+            yield history
+    
+    def fill_feedback(prompt):
+        results = chatbot.temp
+        outptus = []
+        for i in range(args.show_c):
+            if i < chatbot.choices:
+                answer = f"{results[i]['score']}% | {results[i]['answer']}"
+                outptus.append(RLHF[2*i].update(label=answer, visible=True, open=False))
+                outptus.append(results[i]['context'])
+            else:
+                outptus.append(RLHF[2*i].update(visible=False))
+                outptus.append("No context")
+
+        return outptus
+
+    def clear_history(history):
+        history = []
+        return history
+
+    msg.submit(user, [msg, chatbot_area], [msg, chatbot_area], queue=False).then(
+        bot, chatbot_area, chatbot_area
+    ).then(fill_feedback, msg, RLHF)
+
+    context_btt.click(chatbot.get_context, [context_box, ])
+    upload_btt.upload(chatbot.load_context, [upload_btt, ], context_box)
+    clear_context_btt.click(chatbot.clear_context, outputs=context_box)
+    clear_chat.click(clear_history, chatbot_area, chatbot_area)
+
+demo.queue()
+demo.launch(server_name='0.0.0.0')

config.py

@@ -0,0 +1,10 @@
+class Config:
+    model = 'flan-small'
+    tokenizer = 'CreatorFPT/T5-base'
+    # model = 'vietAI-base-MRC'
+    # tokenizer = 'VietAI/vit5-base'
+    seq_len = 512
+    out_len = 170
+    device = 'cpu'
+    choices = 16
+    show_c = 8

flan-small/config.json

@@ -0,0 +1,61 @@
+{
+  "_name_or_path": "/media/data/sinhnta/pretrained/flan-small",
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "d_ff": 1024,
+  "d_kv": 64,
+  "d_model": 512,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 8,
+  "num_heads": 6,
+  "num_layers": 8,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "task_specific_params": {
+    "summarization": {
+      "early_stopping": true,
+      "length_penalty": 2.0,
+      "max_length": 200,
+      "min_length": 30,
+      "no_repeat_ngram_size": 3,
+      "num_beams": 4,
+      "prefix": "summarize: "
+    },
+    "translation_en_to_de": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to German: "
+    },
+    "translation_en_to_fr": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to French: "
+    },
+    "translation_en_to_ro": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to Romanian: "
+    }
+  },
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.29.2",
+  "use_cache": true,
+  "vocab_size": 36096
+}

flan-small/generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.29.2"
+}

flan-small/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b033cd751356912697a07be627533d4cdd0bcd7fbf92d52e70fef5e9a624ab08
+size 324163077

requirements.txt

@@ -0,0 +1,13 @@
+
+torch
+psutil
+langchain
+openai
+unstructured
+tabulate
+pdf2image
+chromadb
+tiktoken
+transformers
+sentencepiece
+pyvi

retrieval/bm25.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eef0c1dd2ec0cc725d559100a228b610754b017dd63f3c1497a9a8be56b5a40e
+size 35390697

retrieval/context.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:64acd92300763406bb08f00537e7603a1e7e5d2be2a2e891be92a47263563935
+size 12962223

retrieval/replace.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8382d12663510cda95bc250f78af5884cf1f8cd534bc9fad795e09831b31ba21
+size 3311

retrieval/retrieval.py

@@ -0,0 +1,225 @@
+import torch, math
+from pyvi.ViTokenizer import tokenize
+import re, os, string
+import pandas as pd
+import math
+import numpy as np
+
+
+class BM25:
+
+    def __init__(self, k1=1.5, b=0.75):
+        self.b = b
+        self.k1 = k1
+
+    def fit(self, corpus):
+        """
+        Fit the various statistics that are required to calculate BM25 ranking
+        score using the corpus given.
+
+        Parameters
+        ----------
+        corpus : list[list[str]]
+            Each element in the list represents a document, and each document
+            is a list of the terms.
+
+        Returns
+        -------
+        self
+        """
+        tf = []
+        df = {}
+        idf = {}
+        doc_len = []
+        corpus_size = 0
+        for document in corpus:
+            corpus_size += 1
+            doc_len.append(len(document))
+
+            # compute tf (term frequency) per document
+            frequencies = {}
+            for term in document:
+                term_count = frequencies.get(term, 0) + 1
+                frequencies[term] = term_count
+
+            tf.append(frequencies)
+
+            # compute df (document frequency) per term
+            for term, _ in frequencies.items():
+                df_count = df.get(term, 0) + 1
+                df[term] = df_count
+
+        for term, freq in df.items():
+            idf[term] = math.log(1 + (corpus_size - freq + 0.5) / (freq + 0.5))
+
+        self.tf_ = tf
+        self.df_ = df
+        self.idf_ = idf
+        self.doc_len_ = doc_len
+        self.corpus_ = corpus
+        self.corpus_size_ = corpus_size
+        self.avg_doc_len_ = sum(doc_len) / corpus_size
+        return self
+
+    def search(self, query):
+        scores = [self._score(query, index) for index in range(self.corpus_size_)]
+        return scores
+
+    def _score(self, query, index):
+        score = 0.0
+
+        doc_len = self.doc_len_[index]
+        frequencies = self.tf_[index]
+        for term in query:
+            if term not in frequencies:
+                continue
+
+            freq = frequencies[term]
+            numerator = self.idf_[term] * freq * (self.k1 + 1)
+            denominator = freq + self.k1 * (1 - self.b + self.b * doc_len / self.avg_doc_len_)
+            score += (numerator / denominator)
+
+        return score
+
+class Retrieval:
+    def __init__(
+            self, k=8,
+            model='retrieval/bm25.pt', 
+            contexts='retrieval/context.pt', 
+            stop_words='retrieval/stopwords.csv',
+            max_len = 400,
+            docs = None
+        ) -> None:
+        self.k = k
+        self.max_len = max_len
+
+        data = pd.read_csv(stop_words, sep="\t", encoding='utf-8')
+        self.list_stopwords = data['stopwords']
+
+        if docs:
+            self.tuning(docs)
+        else:
+            self.bm25 = torch.load(model)
+            self.contexts = torch.load(contexts)
+        
+
+    def get_context(self, query='Chảy máu chân răng là bệnh gì?'):
+
+        def clean_text(text):
+            text = re.sub('<.*?>', '', text).strip()
+            text = re.sub('(\s)+', r'\1', text)
+            return text
+
+        def normalize_text(text):
+            listpunctuation = string.punctuation.replace('_', '')
+            for i in listpunctuation:
+                text = text.replace(i, ' ')
+            return text.lower()
+
+        def remove_stopword(text):
+            pre_text = []
+            words = text.split()
+            for word in words:
+                if word not in self.list_stopwords:
+                    pre_text.append(word)
+            text2 = ' '.join(pre_text)
+
+            return text2
+
+        def word_segment(sent):
+            sent = tokenize(sent.encode('utf-8').decode('utf-8'))
+            return sent
+
+
+        query = clean_text(query)
+        query = word_segment(query)
+        query = remove_stopword(normalize_text(query))
+        query = query.split()
+
+        scores = self.bm25.search(query)
+        scores_index = np.argsort(scores)
+        
+        results = []
+        ss = []
+        for k in range(1, self.k+1):
+            index = scores_index[-k]
+            result = {'score_bm':scores[index], 'index':index, 'context':self.contexts[index]}
+            results.append(result)
+            ss.append(scores[index])
+        print("BM25:", ss)
+        return results
+
+    def split(self, document):
+        document = document.replace('\n', ' ')
+        document = re.sub(' +', ' ', document)
+        sentences = document.split('. ')
+        context_list = []
+
+        context = ""
+        length = 0
+        pre = ""
+        len__ = 0
+        for sentence in sentences:
+            sentence += '. '
+            len_ = len(sentence.split())
+            if length + len_ > self.max_len:
+                context_list.append(context)
+                context = pre
+                length = len__
+            
+            length += len_
+            context += sentence
+
+            pre = sentence
+            len__ = len_
+        context_list.append(context)
+
+        self.contexts = context_list
+        if len(context_list) < self.k:
+            self.k = len(context_list)
+
+
+    def tuning(self, document):
+
+        def clean_text(text):
+            text = re.sub('<.*?>', '', text).strip()
+            text = re.sub('(\s)+', r'\1', text)
+            return text
+
+        def normalize_text(text):
+            listpunctuation = string.punctuation.replace('_', '')
+            for i in listpunctuation:
+                text = text.replace(i, ' ')
+            return text.lower()
+
+        def remove_stopword(text):
+            pre_text = []
+            words = text.split()
+            for word in words:
+                if word not in self.list_stopwords:
+                    pre_text.append(word)
+            text2 = ' '.join(pre_text)
+
+            return text2
+
+        def word_segment(sent):
+            sent = tokenize(sent.encode('utf-8').decode('utf-8'))
+            return sent
+        
+        self.split(document)
+
+        docs = []
+        for content in self.contexts:
+            content = clean_text(content)
+            content = word_segment(content)
+            content = remove_stopword(normalize_text(content))
+            docs.append(content)
+        
+        print('There is', len(docs), 'contexts')
+        texts = [
+            [word for word in document.lower().split() if word not in self.list_stopwords]
+            for document in docs
+        ]
+
+        self.bm25 = BM25()
+        self.bm25.fit(texts)

retrieval/stopwords.csv

@@ -0,0 +1,1943 @@
+stopwords
+mà_thôi
+tuy_có
+đâu_như
+quay_bước
+hỏi_lại
+khẳng_định
+giờ_này
+ren_rén
+một_cơn
+ủa
+chợt
+tốt_bộ
+tuổi_tôi
+mới_hay
+hơn
+để_lòng
+vừa_qua
+thêm_vào
+ào_vào
+nghe_không
+cái_đã
+bây_nhiêu
+cha_chả
+tự_ý
+cái_đó
+không_tính
+chưa_kể
+phía
+tính_từ
+như_ai
+anh_ấy
+lâu_lâu
+nhất_loạt
+khó_khăn
+vùng
+dù_rằng
+sự_việc
+gây_cho
+phải_như
+mạnh
+bước
+dễ_sử_dụng
+nhanh_lên
+bất_quá
+bởi_vì
+cả_ngày
+ô_hay
+cho_đến
+ba_ba
+dưới
+dạ_bán
+gặp
+tránh_xa
+thật_là
+vài_điều
+một_cách
+ba_cùng
+vượt_quá
+vô_kể
+nghe_được
+và
+ô_kê
+vì
+nhận_nhau
+tên
+riu_ríu
+không_kể
+lời_nói
+trước_đây
+phải_chi
+gần_bên
+chỉ_chính
+cả_tin
+nhất_mực
+cơ_chỉ
+cao_thế
+xuống
+quan_tâm
+ông_từ
+mỗi_lần
+xử_lý
+là_ít
+gì_gì
+quả
+chú_khách
+quay_số
+qua_đi
+thực_vậy
+hơn_là
+làm_mất
+bỏ_quá
+nặng
+dạ_con
+gặp_khó_khăn
+các_cậu
+bằng_được
+đang_thì
+để_đến_nỗi
+nghe_đâu
+nước
+trả_của
+gây_thêm
+tới_mức
+ừ_ào
+trong_đó
+tôi
+thanh_thanh
+thường_đến
+tò_te
+nền
+nhỡ_ra
+từng
+tù_tì
+phải
+phăn_phắt
+cái_gì
+phía_trước
+mọi_giờ
+trước_khi
+tiện_thể
+lên_số
+đến_nơi
+cách_nhau
+nước_quả
+thấy_tháng
+ấy
+chùn_chùn
+ngay_khi
+nhìn
+là_phải
+một_vài
+đại_nhân
+hơn_trước
+chúng_ta
+ăn_tay
+vậy_ư
+không_bán
+theo
+biết_mình
+với_nhau
+ý_hoặc
+cuối_cùng
+đầy_năm
+bấy_chừ
+cụ_thể
+tỏ_ra
+vèo_vèo
+con_nhà
+cơ
+ông
+vài_nơi
+tránh_tình_trạng
+ở_vào
+làm_tin
+thuộc_lại
+thế_thường
+ngôi_nhà
+ngồi_bệt
+hiểu
+cho_đang
+nhìn_nhận
+tới_thì
+chuyện
+ra
+bỏ_lại
+vừa
+hãy_còn
+chứ_lại
+thuần
+thêm_giờ
+ắt_hẳn
+ra_đây
+do_đó
+xoẹt
+gì
+giữa_lúc
+giá_trị_thực_tế
+coi_mòi
+ái
+không_có
+ông_tạo
+sự_thế
+còn_thời_gian
+nhận_họ
+tự_vì
+đều_đều
+á
+à
+xin
+trển
+nếu_thế
+ý
+tạo_ra
+nhưng
+đưa_ra
+nhằm_để
+đến_lúc
+ôi_chao
+sáng
+đây_này
+quá_mức
+cách
+cơ_cùng
+làm_ra
+khỏi
+ra_ngôi
+rén
+lại_bộ
+như_thường
+nói_ý
+đến_thì
+lần_trước
+bán
+để_lại
+dạ_dài
+bác
+thiếu_gì
+thì_thôi
+quá_thì
+trên_bộ
+song_le
+rồi_sao
+bấy_giờ
+mức
+đưa_chuyện
+nhà_chung
+rõ_thật
+răng_răng
+sất
+ai_ai
+tính_phỏng
+thì_phải
+chung_cục
+không_cứ
+kể_cả
+qua_tay
+nhận_làm
+thếch
+hơn_nữa
+như_không
+vẫn
+chốc_chốc
+chẳng_phải
+muốn
+thực_tế
+thế_nào
+trước_hết
+người_người
+bắt_đầu_từ
+ra_vào
+tức_thì
+kể_như
+thường_thôi
+thậm
+thực_sự
+do
+cũng_nên
+vung_thiên_địa
+vào_đến
+chưa
+ngày_tháng
+làm_tăng
+trệu_trạo
+tốt
+ngay_tức_khắc
+bất_tử
+bỏ_bà
+nhà_ngươi
+mang_nặng
+nhằm_lúc
+đành_đạch
+tất_cả
+nhất_luật
+điểm
+vùng_lên
+khó_mở
+từ_thế
+không_điều_kiện
+sáng_thế
+thỏm
+bắt_đầu
+phải_chăng
+gần
+người_nghe
+hơn_cả
+có_ăn
+trước_kia
+họ_xa
+trong
+ở_đây
+dễ_như_chơi
+hãy
+ăn_hết
+được
+dùng_cho
+tấn
+mọi
+nếu_mà
+ba_ngôi
+đâu
+con
+nước_bài
+người
+hết_của
+gần_như
+những_như
+bây_bẩy
+ở_lại
+nói_lên
+cần_số
+vẫn_thế
+hết_ý
+quận
+chọn_ra
+sang_tay
+tênh
+lấy_thêm
+nghĩ_tới
+tuy_vậy
+tạo_điều_kiện
+chuyển_đạt
+tanh
+đại_để
+thì
+giảm_thế
+thà
+ra_điều
+thanh_điểm
+mất
+vung_tán_tàn
+nói_qua
+cuối
+chợt_nhìn
+cuốn
+chúng
+đến_lời
+thường_bị
+bạn
+vài_nhà
+nên_người
+với
+khách
+chứ_lị
+từng_thời_gian
+ào
+từ_đó
+tính_người
+nhằm
+nếu_cần
+sáng_ý
+chọn
+từ_tại
+bằng_nào
+toà
+ạ_ơi
+do_vậy
+cả_nghe
+có_ý
+đánh_đùng
+ăn_quá
+cho_đến_khi
+đưa_tới
+tăm_tắp
+nhận
+trời_đất_ơi
+có_họ
+nhìn_chung
+bỗng_dưng
+sang_năm
+sì
+vào_vùng
+chịu_ăn
+hay
+vì_rằng
+bài
+trỏng
+tăng_thế
+thỉnh_thoảng
+thích_cứ
+làm_đúng
+bấy_chầy
+không_cần
+từ_ái
+trong_ngoài
+phải_cách
+mới_rồi
+tính
+vâng_ý
+a_lô
+quả_vậy
+ngọn
+nghĩ_lại
+ngọt
+ngày_ngày
+cụ_thể_là
+người_khách
+lượng
+nói_chung
+nhà_việc
+tin_thêm
+khoảng_cách
+bà
+nào_hay
+bộ_điều
+giảm_chính
+thật_ra
+có_nhiều
+thật_quả
+chao_ôi
+ít_có
+sớm_ngày
+lâu
+bập_bõm
+cao_thấp
+ngay_lúc_này
+ra_chơi
+thế_thôi
+chỉ_tên
+dẫu_mà
+rất_lâu
+bấy_lâu
+chắc_ăn
+như_sau
+bán_thế
+thích_ý
+tuy_rằng
+đây_đó
+không_dùng
+vị_trí
+tăng_giảm
+tạo_nên
+cá_nhân
+ngoài
+vả_chăng
+em_em
+đúng_ra
+làm
+ngồi
+tất_tật
+tốt_mối
+ngõ_hầu
+ra_lời
+không_phải_không
+lại_làm
+lần_sau
+khi
+dễ_thấy
+làm_lấy
+áng_như
+trong_vùng
+tin
+nhất_tâm
+giảm_thấp
+không_ngoài
+biết_đâu
+đều_bước
+theo_tin
+đâu_có
+thiếu
+cậu
+nói
+ngày_này
+nóc
+ô_kìa
+chăn_chắn
+nào_phải
+mọi_nơi
+đáng_số
+ờ_ờ
+ừ_thì
+xuất_hiện
+chứ_sao
+dễ_nghe
+đang
+trả_ngay
+nước_xuống
+đến_xem
+ối_giời
+phía_bạn
+cùng_cực
+những_khi
+đánh_giá
+ba_họ
+dì
+hay_sao
+không_ai
+nên_làm
+dù
+tự_tính
+veo
+nhớ_bập_bõm
+từng_ấy
+nếu_có
+cơ_mà
+để_giống
+suýt
+quá_tin
+của
+bất_cứ
+chị_bộ
+vậy
+biết_đâu_đấy
+từ_nay
+có_vẻ
+kể_tới
+đầy
+nhìn_lại
+xuất_kỳ_bất_ý
+riêng
+lấy_xuống
+điểm_gặp
+đại_loại
+biết_chừng_nào
+tọt
+thôi
+cho_tới
+bệt
+biết_chắc
+sốt_sột
+thật_lực
+tại_đó
+chịu_lời
+chưa_cần
+rứa
+nhỏ
+nghĩ_đến
+giữ_ý
+nhỉ
+nhờ
+nhớ
+nức_nở
+nói_rõ
+vậy_nên
+thanh_không
+cứ_việc
+ở_đó
+nói_đến
+thường_tại
+vài_người
+có_chăng_là
+tại_tôi
+lại_quả
+từng_cái
+điều
+dùng_đến
+cách_bức
+cho_ăn
+đâu_nào
+nhà_ngoài
+chứ_còn
+mối
+chết_tiệt
+thời_điểm
+ắt_là
+đáng_lý
+tà_tà
+ăn_sáng
+đáng_lí
+bất_giác
+lên_xuống
+căn_cắt
+hết_chuyện
+có_nhà
+như_thế
+cao
+dành_dành
+tự_khi
+gây
+có_thể
+lên_mạnh
+ngay
+phải_khi
+ông_ổng
+xiết_bao
+vào
+vài
+nhờ_nhờ
+phè
+vào_gặp
+rồi
+điều_kiện
+ví_thử
+ngồi_trệt
+mang_mang
+thế_là
+ít_thôi
+ra_sao
+khó_biết
+đặt_ra
+nhiên_hậu
+nghe_đâu_như
+lúc_lâu
+đâu_cũng
+đến_thế
+ứ_ừ
+chung_cuộc
+âu_là
+tạo_cơ_hội
+nó
+à_này
+so
+bởi_vậy
+nhằm_vào
+thời_gian_tính
+thấp_thỏm
+càng_càng
+lớn_nhỏ
+giờ_đến
+có_điều_kiện
+tốt_hơn
+phải_lời
+bản
+giờ_lâu
+ở_năm
+dùng
+nghỉm
+cả
+chùn_chũn
+ái_chà
+chịu
+giống
+quan_trọng_vấn_đề
+đến_khi
+hay_đâu
+lòng_không
+em
+nào_đó
+đến_bao_giờ
+bất_đồ
+tấn_tới
+nghiễm_nhiên
+ứ_hự
+rất
+lại_giống
+làm_nên
+ngăn_ngắt
+lấy_làm
+cật_sức
+khác_xa
+xệp
+cô_tăng
+nhớ_ra
+nơi_nơi
+tăng_cấp
+một_ít
+nếu
+mọi_người
+lại_còn
+phần
+gây_ra
+tênh_tênh
+biết_trước
+thiếu_điểm
+chiếc
+chắc_vào
+như_thể
+sau_nữa
+tựu_trung
+ai_nấy
+nếu_được
+xa
+thường_khi
+giữ_lấy
+bởi_chưng
+nếu_như
+của_ngọt
+dùng_hết
+trực_tiếp_làm
+sở_dĩ
+lớn_lên
+bởi_thế_cho_nên
+điểm_đầu_tiên
+ấy_là
+quay
+ối_giời_ơi
+một
+không
+cùng
+thà_là
+dưới_nước
+có_chuyện
+ông_ấy
+oai_oái
+chứ_không_phải
+việc_gì
+nói_khó
+ngay_thật
+sao
+bội_phần
+anh
+có_dễ
+xăm_xắm
+thêm_chuyện
+giống_như
+trong_khi
+sau
+bỏ_ra
+ngày_qua
+trước_tuổi
+xa_cách
+rón_rén
+bây_giờ
+không_chỉ
+hết_cả
+buổi_làm
+sáng_ngày
+chúng_tôi
+hay_nói
+lấy_lý_do
+ngay_tức_thì
+này_nọ
+thuần_ái
+trong_số
+bỏ_không
+có_thế
+thuộc_cách
+căn_tính
+sang_sáng
+lại_cái
+nhân_tiện
+xa_nhà
+khó_làm
+bởi_thế
+nhiều_ít
+buổi_ngày
+quả_thế
+thực_hiện
+thím
+chăng_nữa
+chú
+đặt
+chú_mình
+cho_nên
+ớ
+chung_qui
+cấp_số
+vụt
+chung_quy
+duy_có
+tại_sao
+nặng_mình
+biết_đâu_chừng
+làm_dần_dần
+đến_điều
+bất_chợt
+ăn_chịu
+ở_được
+ồ_ồ
+thốc_tháo
+vì_vậy
+nói_toẹt
+thật_thà
+tháng_năm
+ô_hô
+nói_nhỏ
+dùng_làm
+tuy
+đã_lâu
+sau_cuối
+từ_căn
+lúc_đó
+chí_chết
+bất_kỳ
+ăn_riêng
+giống_nhau
+làm_lòng
+bất_kể
+đã_không
+bỗng_đâu
+chịu_chưa
+mang
+lần_nào
+ít_hơn
+giữ
+thái_quá
+thộc
+đưa_tay
+thật_tốt
+rằng
+không_gì
+rồi_thì
+rằng_là
+giờ
+lấy_để
+quá
+còn_nữa
+khác
+tại_nơi
+ít_ra
+tất_thảy
+chăng_chắc
+dẫu_sao
+dần_dà
+lời_chú
+khác_khác
+ít_lâu
+phía_sau
+cuối_điểm
+khoảng
+chỉ_có
+xem_ra
+bỏ_mẹ
+tránh_ra
+nhìn_thấy
+mang_lại
+cứ
+thấp_cơ
+mình
+mỗi
+cùng_ăn
+xăm_xăm
+sau_sau
+hay_là
+đưa_cho
+thường_xuất_hiện
+sao_đang
+đã_hay
+từng_giờ
+phần_lớn
+nhân_dịp
+giữa
+tháng_tháng
+nhờ_đó
+phần_nhiều
+nghĩ_xa
+đáng
+có_tháng
+chết_nỗi
+cũng
+bị_chú
+có_phải
+phót
+nhận_ra
+phóc
+làm_tại
+đã_thế
+tạo
+trong_mình
+tại
+sắp_đặt
+lấy_ráo
+nhờ_chuyển
+biết_bao
+ra_bài
+thốt_nhiên
+ra_lại
+làm_vì
+hỏi
+giờ_đi
+vượt
+do_vì
+lấy_ra
+về_sau
+tăng
+cụ_thể_như
+thành_thử
+thường_hay
+bằng_như
+tông_tốc
+đều
+nhìn_theo
+ăn_trên
+bỏ
+phần_sau
+nhất_định
+chưa_từng
+tắp_tắp
+mà_vẫn
+bớ
+bộ
+thi_thoảng
+nhanh
+ra_gì
+đúng_với
+tất_cả_bao_nhiêu
+khi_trước
+như_trên
+ơi
+cô
+chầm_chập
+tha_hồ
+chính_thị
+ngày_nào
+có_khi
+có
+nhận_việc
+choa
+ở_như
+tên_chính
+thục_mạng
+làm_ngay
+không_cùng
+sử_dụng
+chỉn
+bởi_tại
+không_có_gì
+quá_bộ
+bước_tới
+vạn_nhất
+hỏi_xem
+việc
+như_là
+khá_tốt
+quá_đáng
+thường_sự
+cây_nước
+trước_ngày
+bập_bà_bập_bõm
+đâu_đó
+được_cái
+ráo_trọi
+nhất_sinh
+ngồi_sau
+con_dạ
+từ_tính
+sa_sả
+tại_đâu
+càng_hay
+lần_sang
+bỏ_cuộc
+tại_đây
+nghe_thấy
+nghĩ
+ra_ý
+trong_này
+mở_ra
+ai
+ráo_cả
+ngày_xưa
+tình_trạng
+xem_số
+phải_không
+tháng
+thốt_thôi
+đặt_mức
+nữa_rồi
+bỗng_nhiên
+đặt_làm
+vừa_vừa
+không_phải
+nói_ra
+á_à
+người_hỏi
+vậy_thì
+lời
+tốt_ngày
+có_người
+chị_ấy
+ái_dà
+phỉ_phui
+chính_là
+ý_da
+bên
+lấy_vào
+ngày_ấy
+đáng_kể
+cho_rằng
+rồi_đây
+chớ_chi
+còn_về
+bỏ_cha
+nhưng_mà
+vượt_khỏi
+phía_trên
+ở_trên
+lớn
+lúc_ấy
+thoạt_nhiên
+chung_ái
+phải_tay
+bỗng_thấy
+nhất_nhất
+nhất_quyết
+bỏ_việc
+để_được
+nghe_lại
+bằng_không
+trếu_tráo
+có_ngày
+đặt_để
+sang
+thì_giờ
+bài_bỏ
+lại_người
+tiếp_theo
+nhất_tề
+lượng_số
+qua_lại
+xảy_ra
+hiện_nay
+chính_giữa
+mang_về
+thật
+chứ_như
+chợt_nghe
+hỗ_trợ
+đến_ngày
+làm_tôi
+mọi_việc
+nói_đủ
+được_lời
+lượng_từ
+thật_vậy
+dở_chừng
+dễ
+phải_lại
+thời_gian
+sao_bản
+vì_thế
+từ_loại
+tháng_ngày
+dữ
+vừa_rồi
+lần_theo
+chỉ_là
+chắc_hẳn
+họ
+phỏng_như
+bông
+loại
+vâng_dạ
+vấn_đề
+sáng_rõ
+tuy_nhiên
+gồm
+phương_chi
+sắp
+gần_đây
+hay_tin
+hay_làm
+nặng_căn
+cơ_dẫn
+cần
+dễ_đâu
+dù_cho
+nghe_trực_tiếp
+cật_lực
+mà_cả
+số_thiếu
+chơi_họ
+ngày_rày
+đủ_dùng
+ăn_chung
+thật_chắc
+có_điều
+bấy_nay
+thậm_cấp
+ví_phỏng
+cho_nhau
+thuộc_bài
+nữa_là
+nhớ_lại
+thế_à
+vốn_dĩ
+chưa_có
+giá_trị
+ắt_phải
+sao_vậy
+bất_quá_chỉ
+thế_chuẩn_bị
+lượng_cả
+không_bao_lâu
+mọi_lúc
+thế_đó
+bay_biến
+về
+nhón_nhén
+đưa_về
+dào
+còn
+làm_như
+ở
+vô_luận
+ờ
+tự_lượng
+ồ
+luôn_cả
+toẹt
+ừ
+cứ_điểm
+ử
+chưa_bao_giờ
+dạ
+chịu_tốt
+tăng_thêm
+bằng_người
+phỏng_theo
+có_đâu
+lâu_các
+tuốt_tuồn_tuột
+riêng_từng
+tỏ_vẻ
+cao_số
+như
+đại_phàm
+lên_cơn
+đủ_điểm
+thế_nên
+lần
+trả_trước
+là_nhiều
+tắp
+quay_đi
+a_ha
+xăm_xúi
+lòng
+tắp_lự
+phải_người
+bỏ_mình
+chú_dẫn
+đủ_điều
+khoảng_không
+đã_vậy
+yêu_cầu
+câu_hỏi
+cho_tới_khi
+nước_đến
+để
+chính_điểm
+tìm_hiểu
+ăn_hỏi
+dẫu
+ngươi
+gần_hết
+như_tuồng
+khỏi_nói
+tìm_ra
+bất_thình_lình
+trực_tiếp
+mới
+xa_gần
+xa_tanh
+chứ_gì
+ngoải
+dài_ra
+bao_nả
+này
+trên_dưới
+số_cụ_thể
+nói_là
+nào
+luôn
+nước_nặng
+khác_gì
+cả_đến
+đó_đây
+thay_đổi
+gần_ngày
+phía_trong
+như_thế_nào
+tạo_ý
+buổi
+quay_lại
+khá
+có_cơ
+cảm_ơn
+dễ_ngươi
+khó
+như_chơi
+phải_giờ
+tuổi
+tốc_tả
+răng
+nhờ_có
+rồi_xem
+ngoài_xa
+chưa_tính
+được_nước
+thình_lình
+phía_bên
+sau_đó
+lại_ăn
+sao_bằng
+quá_bán
+nguồn
+phụt
+nhất_thì
+cùng_nhau
+nên_chi
+nghe_nhìn
+lấy_được
+cho_chắc
+bỏ_riêng
+ơi_là
+lên_cao
+mới_đây
+thế_thì
+bằng_vào
+cuộc
+kể_từ
+bất_kì
+đầu_tiên
+trả_lại
+ngôi_thứ
+ít_nhất
+cách_không
+nhằm_khi
+chung_quy_lại
+cu_cậu
+xuất_kì_bất_ý
+nhất_thiết
+phải_biết
+nghen
+đưa_đến
+kể
+đâu_phải
+dễ_gì
+đến_gần
+quả_là
+đến_nay
+cao_xa
+thốt_nói
+nghe_nói
+bởi_nhưng
+phè_phè
+công_nhiên
+đặt_trước
+bước_đi
+lấy_cả
+chứ_không
+tuần_tự
+thích_tự
+mà_lại
+để_mà
+ạ
+với_lại
+đến_giờ
+ngày_càng
+bản_bộ
+dẫu_rằng
+ừ_ừ
+nói_bông
+như_quả
+bèn
+về_phần
+chậc
+tìm_việc
+làm_được
+lúc_đến
+có_đáng
+mọi_sự
+vâng
+úi_chà
+khác_nhau
+tự_ăn
+ngay_từ
+nhung_nhăng
+khác_thường
+số_người
+khó_tránh
+bỗng
+cứ_như
+bởi_đâu
+một_khi
+tính_cách
+tiếp_đó
+qua_khỏi
+mất_còn
+là_thế_nào
+giống_người
+ông_nhỏ
+hoặc_là
+vung_tàn_tán
+cũng_được
+thanh_ba
+con_tính
+chắc_chắn
+vị_tất
+ngày_nọ
+bên_bị
+cóc_khô
+ngay_bây_giờ
+thì_là
+làm_riêng
+chứ_ai
+tuy_đã
+đâu_đây
+trừ_phi
+lý_do
+đâu_đâu
+ôi_thôi
+nhiều
+quá_trình
+ăn_chắc
+chuyển_tự
+duy
+ngày_giờ
+khi_nên
+chắc_dạ
+nên_chăng
+tuốt_luốt
+dành
+không_nhận
+văng_tê
+cả_thể
+tấm_các
+nói_thêm
+thà_rằng
+đưa
+xoét
+ráo
+à_ơi
+thích_thuộc
+đặc_biệt
+ngày_xửa
+chưa_dùng
+duy_chỉ
+phỏng
+phía_dưới
+rồi_ra
+thế_lại
+thường_tính
+bà_ấy
+những_lúc
+chành_chạnh
+trước_đó
+thứ_bản
+số_là
+lại_thôi
+thoạt
+giờ_đây
+lại_nói
+rõ
+đ��_số
+tha_hồ_chơi
+từ_giờ
+khó_chơi
+quá_giờ
+trở_thành
+ngay_cả
+ví_dù
+sau_hết
+cấp
+bằng_cứ
+ngay_lúc
+ít_khi
+đủ_nơi
+bên_cạnh
+lên_nước
+chúng_mình
+qua_thì
+được_tin
+đây
+biết_việc
+thực_hiện_đúng
+tên_tự
+làm_theo
+nghe_rõ
+mở
+tột
+rồi_sau
+ăn_ngồi
+vào_khoảng
+lấy_có
+thảo_hèn
+cái_ấy
+đến_nỗi
+cực_lực
+đủ
+suýt_nữa
+nói_phải
+thậm_chí
+cho_biết
+hơn_hết
+mợ
+buổi_mới
+tại_vì
+từng_phần
+thứ
+năm_tháng
+rốt_cuộc
+nói_thật
+ơ_kìa
+nước_ăn
+thì_ra
+hầu_hết
+lâu_nay
+ngày_cấp
+bài_bác
+như_trước
+sao_cho
+loại_từ
+phải_rồi
+ba
+đều_nhau
+trả
+lúc_sáng
+ớ_này
+bỗng_không
+mọi_thứ
+cây
+vừa_lúc
+lấy
+vừa_khi
+phốc
+chớ_không
+người_mình
+bằng_nhau
+nghe_hiểu
+tại_lòng
+nhé
+không_những
+cả_nhà
+nữa_khi
+lần_lần
+bị
+rày
+sau_đây
+tay_quay
+bằng
+con_con
+nghe_ra
+sẽ_hay
+thích
+chủn
+than_ôi
+càng
+vài_tên
+bị_vì
+ối_dào
+hoặc
+xềnh_xệch
+không_để
+ra_tay
+nặng_về
+veo_veo
+sau_này
+cả_ăn
+coi_bộ
+ý_chừng
+làm_bằng
+vâng_vâng
+cao_ráo
+thanh_tính
+không_hay
+lại_đây
+xin_gặp
+nói_trước
+phần_nào
+tránh
+rén_bước
+đơn_vị
+nay
+thửa
+tuốt_tuột
+tột_cùng
+oái
+quá_lời
+lúc_trước
+lấy_số
+đưa_em
+khó_thấy
+ít_nhiều
+ở_nhờ
+cùng_với
+nọ
+khi_khác
+tối_ư
+nớ
+lần_này
+dầu_sao
+làm_gì
+bởi_ai
+gặp_phải
+hỏi_xin
+nhất
+chẳng_nữa
+rõ_là
+đúng
+ai_đó
+xa_tắp
+căn_cái
+ba_bản
+tấm_bản
+cũng_vậy_thôi
+cùng_tột
+nhà_tôi
+bỗng_nhưng
+khó_nói
+quá_tuổi
+nấy
+ngay_khi_đến
+ổng
+vâng_chịu
+vở
+sẽ
+bấy_lâu_nay
+tuy_thế
+tự_tạo
+điều_gì
+lúc_này
+mỗi_một
+ngồi_không
+mỗi_người
+lúc_nào
+qua_ngày
+gây_giống
+bỗng_chốc
+hay_biết
+cao_răng
+tuyệt_nhiên
+giảm
+thúng_thắng
+dạ_dạ
+vả_lại
+nhau
+vừa_mới
+vùng_nước
+nói_lại
+ngọn_nguồn
+trên
+cao_sang
+ngôi
+chung_cho
+sì_sì
+năm
+đảm_bảo
+thế
+sẽ_biết
+ngộ_nhỡ
+dễ_khiến
+thậm_từ
+tự
+cả_nghĩ
+riệt
+ăn_về
+rồi_nữa
+lần_khác
+chưa_chắc
+tìm_cách
+cả_người
+thương_ôi
+tha_hồ_ăn
+bấy_nhiêu
+ít_biết
+chắc
+hay_hay
+tất_tần_tật
+cha
+tới_nơi
+vậy_là
+thế_sự
+dạ_khách
+cho
+ào_ào
+tanh_tanh
+đến_hay
+biết_bao_nhiêu
+alô
+bỏ_xa
+thuộc_từ
+lúc_đi
+biết_được
+chẳng_lẽ
+chính
+hết_rồi
+tự_cao
+cho_hay
+vài_ba
+chớ_gì
+nếu_vậy
+có_chăng
+cho_thấy
+bản_thân
+tay
+thẩy
+cho_được
+khi_không
+chuyển
+hết_nói
+có_ai
+bán_cấp
+cho_tin
+ít_quá
+bước_khỏi
+là_vì
+xuể
+ba_tăng
+bây_chừ
+có_chứ
+tăng_chúng
+nữa
+lúc
+biết_mấy
+sau_chót
+từ_điều
+ầu_ơ
+đạt
+quan_trọng
+cho_rồi
+như_ý
+bất_ngờ
+khó_nghe
+ít
+nào_cũng
+cô_ấy
+nhược_bằng
+chết_thật
+cơn
+thanh_chuyển
+quá_tay
+thoắt
+từng_đơn_vị
+đầy_phè
+bất_luận
+lấy_lại
+ăn_người
+trệt
+đến
+thế_mà
+thảo_nào
+quá_ư
+làm_sao
+biết_thế
+ơ
+nước_cùng
+đáng_lẽ
+thường
+mở_mang
+chung
+rút_cục
+đến_tuổi
+ngày_đến
+nhớ_lấy
+nhà_làm
+bởi
+hết_ráo
+nhận_được
+tránh_khỏi
+cho_về
+áng
+những
+ăn_cuộc
+ngoài_này
+tít_mù
+điểm_chính
+nhóm
+sau_cùng
+cách_đều
+bức
+qua
+tới
+tin_vào
+nhận_thấy
+nói_với
+vô_hình_trung
+ráo_nước
+đang_tay
+cô_mình
+về_không
+đến_cùng
+đây_rồi
+nhất_là
+chưa_dễ
+úi_dào
+tới_gần
+tốt_bạn
+thốt
+thốc
+đã_là
+làm_tắp_lự
+đúng_ngày
+ăn
+qua_chuyện
+chú_mày
+nghĩ_ra
+trước_nay
+nào_là
+chu_cha
+chẳng_những
+thật_sự
+dù_dì
+tìm
+vậy_mà
+để_cho
+chắc_lòng
+ví_bằng
+xoành_xoạch
+vèo
+đó
+sự
+rích
+làm_thế_nào
+bản_riêng
+bao_nhiêu
+đã
+đến_cùng_cực
+trước_tiên
+quả_thật
+đã_đủ
+như_vậy
+số
+quá_nhiều
+nói_riêng
+cao_lâu
+nên_tránh
+chuẩn_bị
+một_số
+không_được
+cho_đến_nỗi
+về_tay
+bán_dạ
+bằng_ấy
+phỏng_tính
+nhất_đán
+gì_đó
+tiếp_tục
+trước
+dù_sao
+tên_cái
+bao_giờ
+có_số
+mà_không
+lấy_sau
+cơ_chừng
+chăng
+theo_bước
+liên_quan
+dài_lời
+úi
+về_nước
+những_ai
+thêm
+dễ_sợ
+cổ_lai
+béng
+để_phần
+không_đầy
+phứt
+cơ_hồ
+dễ_dùng
+nên
+toé_khói
+phần_việc
+dữ_cách
+tuổi_cả
+cả_thảy
+còn_như
+bỏ_nhỏ
+nơi
+hay_nhỉ
+để_không
+mỗi_ngày
+cả_năm
+xin_vâng
+chia_sẻ
+có_được
+theo_như
+hay_không
+thứ_đến
+bởi_sao
+ít_thấy
+lại_nữa
+bấy
+amen
+chính_bản
+trong_lúc
+phắt
+nghe_tin
+lâu_ngày
+đối_với
+thanh
+ngoài_ra
+ít_nữa
+nào_đâu
+dù_gì
+cùng_chung
+thôi_việc
+cần_cấp
+bản_ý
+phỏng_nước
+lần_tìm
+nghe_chừng
+nói_tốt
+thường_số
+người_khác
+bộ_thuộc
+bên_có
+bằng_nấy
+dễ_ăn
+cái
+không_biết
+các
+tên_họ
+bao_lâu
+những_muốn
+cùng_tuổi
+số_cho_biết
+nói_xa
+nhanh_tay
+đặt_mình
+khó_nghĩ
+trước_sau
+từ_từ
+nhỏ_người
+gần_xa
+tấm
+tức_tốc
+từ_ấy
+buổi_sớm
+đúng_tuổi
+chơi
+dài
+mỗi_lúc
+luôn_luôn
+nhiệt_liệt
+không_bao_giờ
+thấp_xuống
+pho
+hoàn_toàn
+chung_nhau
+lên
+chung_chung
+chắc_người
+dẫn
+không_khỏi
+một_lúc
+ngày
+bỏ_mất
+trước_nhất
+lúc_khác
+lên_đến
+xa_xả
+so_với
+xem
+trong_ấy
+thế_ra
+ngay_lập_tức
+phải_cái
+ắt_thật
+nghe
+dễ_thường
+qua_lần
+xa_xa
+ư
+vì_sao
+lấy_giống
+chớ
+cô_quả
+lên_ngôi
+chị
+như_nhau
+chỉ
+ắt
+biết
+chớ_kể
+chớ_như
+mở_nước
+khác_nào
+chứ
+nước_lên
+cơ_hội
+nhà
+thực_ra
+họ_gần
+làm_lại
+ba_ngày
+tìm_bạn
+thấp
+là_là
+rồi_tay
+chọn_bên
+cũng_thế
+thấy
+số_phần
+ra_bộ
+từ
+nhìn_xuống
+tính_căn
+khi_nào
+vào_lúc
+nhận_biết
+căn
+hiện_tại
+từ_khi
+ơ_hay
+mà
+phù_hợp
+thuộc
+tớ
+nghe_như
+chui_cha
+sớm
+ừ_nhé
+đưa_tin
+tuy_là
+thoạt_nghe
+ra_người
+xem_lại
+không_còn
+người_nhận
+tập_trung
+vấn_đề_quan_trọng
+nhà_khó
+vì_chưng
+vậy_ra
+thành_ra
+chúng_ông
+cảm_thấy
+xoẳn
+rốt_cục
+của_tin
+tôi_con
+những_là
+số_loại
+xon_xón
+vô_vàn
+từng_nhà
+đồng_thời
+gần_đến
+đến_đâu
+thay_đổi_tình_trạng
+là_cùng
+cũng_như
+đến_cả
+làm_cho
+bển
+bài_cái
+nếu_không
+lấy_thế
+cũng_vậy
+cấp_trực_tiếp
+luôn_tay
+là
+không_thể
+thường_thường
+cần_gì
+mọi_khi
+đáo_để
+ăn_làm
+thanh_điều_kiện
+đầy_tuổi
+đưa_vào
+đưa_xuống
+bất_nhược
+khiến
+thời_gian_sử_dụng
+cái_họ
+hết
+lại
+thế_thế
+dần_dần

tutorial.py

@@ -0,0 +1,12 @@
+from retrieval.retrieval import Retrieval, BM25
+
+# retrieval = Retrieval(k=4)
+# contexts = retrieval.get_context()
+
+
+docs = open('../document2.txt', encoding='utf-8').read()
+retrieval = Retrieval(docs=docs)
+# retrieval.tuning(docs)
+contexts = retrieval.get_context("Khi nào bệnh nhên nên đến bệnh viện?")
+for context in contexts:
+    print(context)

vietAI-base-MRC/config.json

@@ -0,0 +1,31 @@
+{
+  "_name_or_path": "VietAI/vit5-base",
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "d_ff": 3072,
+  "d_kv": 64,
+  "d_model": 768,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "relu",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "relu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": false,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 12,
+  "num_heads": 12,
+  "num_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "torch_dtype": "float32",
+  "transformers_version": "4.29.2",
+  "use_cache": true,
+  "vocab_size": 36096
+}

vietAI-base-MRC/generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.29.2"
+}

vietAI-base-MRC/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2c538908b267e54de3b84ef29e9a0362855f2cf2b7813ddbfc2edb20723efa41
+size 903892625