Spaces:
Running
Running
| import requests | |
| import json | |
| class LlmInference: | |
| def __init__( | |
| self, | |
| url, | |
| header, | |
| ): | |
| self.url = url | |
| self.header = header | |
| def __call__(self, question, contexts): | |
| contexts = ' '.join(contexts.split()[:600]) | |
| info = { | |
| # "inputs": f'''[INST] <<SYS>> Trả lời câu hỏi đưa ra dựa vào văn bản được cung cấp <</SYS>> | |
| # Văn bản: Tiền thân của Trường Đại học Bách khoa là Trung tâm Kỹ thuật Quốc gia được thành lập từ năm 1957 | |
| # Câu hỏi: Trường đại học Bách Khoa thành lập vào năm nào | |
| # Trả lời: [/INST] | |
| # Trường đại học Bách Khoa thành lập vào năm 1957 | |
| # [INST] Văn bản: {contexts} | |
| # Câu hỏi: {question} | |
| # Trả lời: [/INST]''', | |
| "inputs": f'''[INST] <<SYS>> Trả lời câu hỏi đưa ra dựa vào văn bản về trường đại học Bách Khoa Hồ Chí Minh được cung cấp <</SYS>> | |
| Văn bản: ```{contexts}``` | |
| Câu hỏi: ```{question}``` | |
| Trả lời: [/INST]''', | |
| "parameters": {"max_new_tokens":300, 'truncate':1024, 'temperature':1, 'top_k':3, 'top_p':0.9, 'repetition_penalty':1.1, 'do_sample':True} | |
| } | |
| try: | |
| resp = requests.post("https://www.ura.hcmut.edu.vn/ura-llama/generate", headers = self.header, data=json.dumps(info)) | |
| data = json.loads(resp.content) | |
| except: | |
| data = {"generated_text":"something wrong with the LLM server !!!"} | |
| return data['generated_text'] | |
| # try: | |
| # resp = requests.post(self.url, headers = self.header, data=json.dumps(info)) | |
| # print(resp) | |
| # # print(self.url) | |
| # # print(self.header) | |
| # data = json.loads(resp.content) | |
| # return data['generated_text'] | |
| # except: | |
| # print('response error') | |
| # return None | |
| ''' Yeu cau | |
| Văn bản: | |
| Câu hỏi: | |
| Trả lời: | |
| Văn bản: | |
| Câu hỏi: | |
| Trả lời: ''' | |
| if __name__ == '__name__': | |
| pass |