cnmoro commited on
Commit
3bf7a23
1 Parent(s): 35de02b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +32 -1
README.md CHANGED
@@ -57,4 +57,35 @@ What is granulovacuolar degeneration and what was its observation on electron mi
57
  {"relevant": true}</s>
58
  ```
59
 
60
- Recommended to use with vLLM
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
57
  {"relevant": true}</s>
58
  ```
59
 
60
+ vLLM recommended request parameters:
61
+
62
+ ```python
63
+ prompt = "<s><|system|>\nYou are a chatbot who always responds in JSON format indicating if the context contains relevant information to answer the question</s>\n<|user|>\nContext:\nConhecida como missão de imagem de raios-x e espectroscopia (da sigla em inglês XRISM), a estratégia é utilizar o telescópio para ampliar os estudos da humanidade a níveis celestiais com uma fração dos pixels da tela de um Gameboy original, lançado em 1989. Isso é possível por meio de uma ferramenta chamada “Resolve”. Apesar de utilizar a medição em pixels, a tecnologia é bastante diferente de uma câmera. Com um conjunto de microcalorímetros de seis pixels quadrados que mede 0,5 cm², ela detecta a temperatura de cada raio-x que o atinge. Como funciona o Resolve do telescópio XRISM? Cientista do projeto XRISM da NASA, Brian Williams explicou em um comunicado o funcionamento do telescópio. “Chamamos o Resolve de espectrômetro de microcalorímetros porque cada um de seus 36 pixels está medindo pequenas quantidades de calor entregues por cada raio-x recebido, nos permitindo ver as impressões digitais químicas dos elementos que compõem as fontes com detalhes sem precedentes”.\n\nQuestion:\nQual é a sigla em alemão mencionada?</s>\n<|assistant|>\n{\"is_relevant\":"
64
+
65
+ headers = {
66
+ "Accept": "text/event-stream",
67
+ "Authorization": "Bearer EMPTY"
68
+ }
69
+
70
+ body = {
71
+ "model": model,
72
+ "prompt": [prompt],
73
+ "best_of": 5,
74
+ "max_tokens": 1,
75
+ "temperature": 0,
76
+ "top_p": 1,
77
+ "use_beam_search": True,
78
+ "top_k": -1,
79
+ "min_p": 0,
80
+ "repetition_penalty": 1,
81
+ "length_penalty": 1,
82
+ "min_tokens": 1,
83
+ "logprobs": 1
84
+ }
85
+
86
+ result = requests.post(base_uri, headers=headers, json=body)
87
+ result = result.json()
88
+
89
+ boolean_response = bool(eval(json_result['choices'][0]['text'].strip().title()))
90
+ print(boolean_response)
91
+ ```