increase max_new_tokens to 3072
Browse files- src/pdfchat/app.py +1 -1
src/pdfchat/app.py
CHANGED
@@ -121,7 +121,7 @@ def get_response(prompt: str) -> str:
|
|
121 |
LLM_URL,
|
122 |
json={
|
123 |
"prompt": prompt,
|
124 |
-
"max_new_tokens":
|
125 |
},
|
126 |
).json()
|
127 |
|
|
|
121 |
LLM_URL,
|
122 |
json={
|
123 |
"prompt": prompt,
|
124 |
+
"max_new_tokens": 3072,
|
125 |
},
|
126 |
).json()
|
127 |
|