update
Browse files- app.py +24 -5
- examples.csv +1 -1
app.py
CHANGED
@@ -96,10 +96,22 @@ css='''
|
|
96 |
}
|
97 |
|
98 |
'''
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
99 |
task_styles = []
|
100 |
examples_list = []
|
101 |
task_style_to_task_prefix = {}
|
102 |
import csv
|
|
|
103 |
def read_examples(input_file):
|
104 |
header = True
|
105 |
with open(input_file) as finput:
|
@@ -112,7 +124,7 @@ def read_examples(input_file):
|
|
112 |
task_styles.append(task_style)
|
113 |
task_style_to_task_prefix[task_style] = task_prefix
|
114 |
examples_list.append([task_style, example])
|
115 |
-
|
116 |
read_examples("./examples.csv")
|
117 |
#print(task_styles)
|
118 |
def preprocess(text, task):
|
@@ -123,6 +135,7 @@ def preprocess(text, task):
|
|
123 |
return task_style_to_task_prefix[task] + "\n" + text + "\n答案:"
|
124 |
|
125 |
def inference_gen(text, task, do_sample, top_p, top_k, max_token, temperature, beam_size, length_penalty):
|
|
|
126 |
text = preprocess(text, task)
|
127 |
generate_config = {
|
128 |
"do_sample": do_sample,
|
@@ -135,11 +148,17 @@ def inference_gen(text, task, do_sample, top_p, top_k, max_token, temperature, b
|
|
135 |
}
|
136 |
#print(generate_config)
|
137 |
#print(text)
|
|
|
138 |
try:
|
139 |
-
|
140 |
-
|
141 |
-
|
142 |
-
|
|
|
|
|
|
|
|
|
|
|
143 |
except Exception as e:
|
144 |
logger.error(f"error, {e}")
|
145 |
return
|
|
|
96 |
}
|
97 |
|
98 |
'''
|
99 |
+
|
100 |
+
default_generate_config = {
|
101 |
+
"do_sample": False,
|
102 |
+
"top_p": 0,
|
103 |
+
"top_k": 50,
|
104 |
+
"max_length": 64,
|
105 |
+
"temperature": 1,
|
106 |
+
"num_beams": 1,
|
107 |
+
"length_penalty": 0.6
|
108 |
+
}
|
109 |
+
|
110 |
task_styles = []
|
111 |
examples_list = []
|
112 |
task_style_to_task_prefix = {}
|
113 |
import csv
|
114 |
+
examples_set = set()
|
115 |
def read_examples(input_file):
|
116 |
header = True
|
117 |
with open(input_file) as finput:
|
|
|
124 |
task_styles.append(task_style)
|
125 |
task_style_to_task_prefix[task_style] = task_prefix
|
126 |
examples_list.append([task_style, example])
|
127 |
+
examples_set.add((task_style, example))
|
128 |
read_examples("./examples.csv")
|
129 |
#print(task_styles)
|
130 |
def preprocess(text, task):
|
|
|
135 |
return task_style_to_task_prefix[task] + "\n" + text + "\n答案:"
|
136 |
|
137 |
def inference_gen(text, task, do_sample, top_p, top_k, max_token, temperature, beam_size, length_penalty):
|
138 |
+
default_example = (task, text) in examples_set
|
139 |
text = preprocess(text, task)
|
140 |
generate_config = {
|
141 |
"do_sample": do_sample,
|
|
|
148 |
}
|
149 |
#print(generate_config)
|
150 |
#print(text)
|
151 |
+
default_example = default_example and generate_config == default_generate_config
|
152 |
try:
|
153 |
+
if default_example:
|
154 |
+
prediction = cl.generate(
|
155 |
+
model_name='clueai-base',
|
156 |
+
prompt=text)
|
157 |
+
else:
|
158 |
+
prediction = cl.generate(
|
159 |
+
model_name='clueai-base',
|
160 |
+
prompt=text,
|
161 |
+
generate_config=generate_config)
|
162 |
except Exception as e:
|
163 |
logger.error(f"error, {e}")
|
164 |
return
|
examples.csv
CHANGED
@@ -3,7 +3,7 @@
|
|
3 |
纠错,文本纠错:,你必须服从命令,不要的考虑。你的思想被别人手下来。
|
4 |
改写,生成与下列文字相同意思的句子:,长期通胀前景在今天可能不确定性更大。
|
5 |
中心词提取,中心词提取:,现在有京东国际太方便了,可以安全的买到正经的电子设备,游戏机完全没问题,发货非常快,第二天就到
|
6 |
-
|
7 |
情感倾向,文字中包含了怎样的情感:,"超可爱的帅哥,爱了。。。
|
8 |
选项:厌恶,喜欢,开心,悲伤,惊讶,生气,害怕"
|
9 |
关键词抽取, 抽取关键词:,当地时间21日,美国联邦储备委员会宣布加息75个基点,将联邦基金利率目标区间上调到3.00%至3.25%之间,符合市场预期。这是美联储今年以来第五次加息,也是连续第三次加息,创自1981年以来的最大密集加息幅度。
|
|
|
3 |
纠错,文本纠错:,你必须服从命令,不要的考虑。你的思想被别人手下来。
|
4 |
改写,生成与下列文字相同意思的句子:,长期通胀前景在今天可能不确定性更大。
|
5 |
中心词提取,中心词提取:,现在有京东国际太方便了,可以安全的买到正经的电子设备,游戏机完全没问题,发货非常快,第二天就到
|
6 |
+
标题生成文章,根据标题生成文章:,标题:俄天然气管道泄漏爆炸
|
7 |
情感倾向,文字中包含了怎样的情感:,"超可爱的帅哥,爱了。。。
|
8 |
选项:厌恶,喜欢,开心,悲伤,惊讶,生气,害怕"
|
9 |
关键词抽取, 抽取关键词:,当地时间21日,美国联邦储备委员会宣布加息75个基点,将联邦基金利率目标区间上调到3.00%至3.25%之间,符合市场预期。这是美联储今年以来第五次加息,也是连续第三次加息,创自1981年以来的最大密集加息幅度。
|