feat(*): add 12345 datas

data_12345/label.txt

@@ -0,0 +1,24 @@
+住建
+教育
+交通运输
+社会治安管理类
+人社
+市场监管
+营商环境
+医疗保障
+城市管理
+卫生健康
+农业农村
+民政
+生态环境
+财政税收
+干部违纪
+电力
+物价
+通信
+商务
+水利
+自然资源
+司法
+金融
+其他

data_12345/test.txt

@@ -0,0 +1,21 @@
+今年6月20日向问政湖南市长信箱举报长沙美达客运有限公司不为本人和众员工缴纳和未足额缴纳社保及偷税漏税等，十多年涉嫌偷逃国家费税上百万问题，自今年3月多次向市政热线和长沙县社保局，县税务局(星沙分所)等部门投诉，同样的举报材料长沙县社保局负责补缴本人社保部分已完成，而星沙税务分所核实举报材料无误后并作询问笔录，当着双方当事人面确认了公司违法行为并责成公司补缴社保，暗中却采取推诿，拖延，敷衍的工作态度拖延至今长达4个月都没解决问题，导致本人至今都无法办理退休手续，面对市长信箱转至的举报材料，不但拒绝处理并声称"不怕举报″，为此法律强制性的社保，分所举报中心不受理，社保稽查科不稽查，肩负为国征费职责，玩忽职守，包庇公司违法行为，造成国家应征费税上百万的流失，损害国家和众员工利益。在倡导法制的今天，时蓬全国人大社保大检查活动，不知星沙分所何来的底气？。作为主管上级的长沙市政府，负有监管督促和纠正下级不作为职责，仅仅是转交举报而置至不理，导致下级藐视上级权咸，不敬畏法律，违法乱纪，丧失公信力。希望上级部门再次收到举报能督促和纠正星沙分所玩忽职守不作为，并予回复。
+"尊敬的政府领导们: 我是中南汽车世界R07栋的居民,我想就小区内楼下的噪音扰民问题作出投诉。\\n自从R07栋的新感觉KTV开业以来，由于隔音装修没做到位，经常在晚上及深夜开启严重噪音扰民的蹦迪及震动、有时候还会长期敞开大门和隔音门帘，导致小区内在深夜时噪音嘈杂,以及客人散场出门后大声喧哗吵闹，严重影响了该ktv楼上和左右相邻楼栋几十户居民的正常休息和生活。 开业之前在与该营业主交涉无果后,也曾向物业公司反映此事,并且同物业公司人员同到现场KTV内部查看过，但是一直没有改善，后因没得到解决多次拨打行政执法投诉热线85252110、12345热线接听后只是当时回复后并无实际解决，这样反反复复投诉打电话一直拖了10来年都没有部门落实解决这个问题，今看到此处能有相关部门解决投诉这家kTⅤ噪音问题的渠道，又抱着一丝丝希望来诉求，这种噪音扰民的行为严重影响到了我和其他居民的正常生活,我希望有关部门能够彻底处理此事,通过执法停止这个kTV噪音的扰民侵扰,保障居民的权益。\\n嗓音问题一直没处理好！希望有关部门领导重视一下谢谢！"
+"尊敬的政府领导们: 我是中南汽车世界R07栋的居民,我想就小区内楼下的噪音扰民问题作出投诉。\\n自从R07栋的新感觉KTV开业以来，由于隔音装修没做到位，经常在晚上及深夜开启严重噪音扰民的蹦迪及震动、有时候还会长期敞开大门和隔音门帘，导致小区内在深夜时噪音嘈杂,以及客人散场出门后大声喧哗吵闹，严重影响了该ktv楼上和左右相邻楼栋几十户居民的正常休息和生活。 开业之前在与该营业主交涉无果后,也曾向物业公司反映此事,并且同物业公司人员同到现场KTV内部查看过，但是一直没有改善，后因没得到解决多次拨打行政执法投诉热线85252110、12345热线接听后只是当时回复后并无实际解决，这样反反复复投诉打电话一直拖了10来年都没有部门落实解决这个问题，今看到此处能有相关部门解决投诉这家kTⅤ噪音问题的渠道，又抱着一丝丝希望来诉求，这种噪音扰民的行为严重影响到了我和其他居民的正常生活,我希望有关部门能够彻底处理此事,通过执法停止这个kTV噪音的扰民侵扰,保障居民的权益。\\n嗓音问题一直没处理好！希望有关部门领导重视一下谢谢！"
+尊敬的长沙市人民政府\\n响应国家的政策号召，“振兴乡村”，带动当地经济，提高当地就业率，增加国家税收，本人苏向利（原湖南省中泰家具有限公司）于2015年在江背镇特立村稻田弯组（原荒废的精灰厂）处建立厂房（合同见附件）。\\n自2015年建设以来，当地村民（王柱刚村民组长又是党员）霸占我方用地800多平方米至今，多次与其协商收回收无果，且对方态度相当恶劣，横蛮无理，这跟村霸有何区别。如今又得寸进尺，在未与我方协商同意的情况下，于我方用地上强行搭建房屋，再次与其协商归还无果，这行为己是寻衅滋事。\\n自建设以来至今，镇，村，组织要求对方协调，对方置之不理，无视镇政府和村委，对方不讲不点道理，种种行为，对我方的营商环境及相关公司的生产运营造成了极其恶劣的影响与经济损失，公理何在？合法权益何在？恳请求当地政府为民做主，打击侵占他人土地的恶意不良行为及作风。\\n我企业坚信在政府的支持及帮助下，让我们企业与当地的经济能够健康发展并成长，为大家创造一个更好的环境。
+易建明在长沙县斗塘新村前田坪组有唯一合法住宅。2024年3月26日晚间被不明真相的黑恶势力拆成一片废墟。事发后已报警。恳请政府抓出真凶，恢复公民应有的居住权。现易建明生命垂危。生病期间已花光积累，请领导为草民作主。吴书记是长沙秉公执法的好书记。尊敬的吴书记，小人投诉无门，只好拜托您了。谢谢！
+易建明在长沙县斗塘新村前田坪组有唯一合法住宅。2024年3月26日晚间被不明真相的黑恶势力拆成一片废墟。事发后已报警。恳请政府抓出真凶，恢复公民应有的居住权。现易建明生命垂危。生病期间已花光积累，请领导为草民作主。吴书记是长沙秉公执法的好书记。尊敬的吴书记，小人投诉无门，只好拜托您了。谢谢！
+如图，这是融创上东1617地块，九栋的入户门锁？请问这是指纹密码锁吗？长沙哪里还能找到这种门锁？请政府维护我们的基本权益。
+尊敬的领导：我是长沙县华润五彩城的一名业主，现在我们小区所有业主处于水深火热之中，由于靠近华润万象汇的星沙大道每天不停的挖坑基和大型机器不停施工，导致我们小区墙体开裂，尤其是靠近星沙大道的西单元，1套房子近百万，现在我们每晚都睡不着，这个房子还能不能住人？还卖得掉吗？掉价多少钱？\\n我们的心很疼，也很无助，谁能帮帮我们这些可怜的平头百姓？朗朗乾坤，求助无门，望市住建局领导帮帮我们。
+会展片区楼盘日子增多，目前已有幼儿园，小学，初中开学，并且绝大部分都是名校合作，但会展还缺乏高中，请问如图所示，明天会计划建设高中吗？如图所示，哪所学校的新校区可能搬过来呢？
+碧桂园物业在水岸人家西边毁坏绿地建停车场，不顾业主意见，执法队来就停工，走就动工。
+目前长沙县的物业完全没有部门能监管，街道物管办压根不起作用，无法对物业形成监管三年来小区出警率，投诉率居高不下，目前更加离谱两条大门烂成这样，坏一个月了就换来了一句报修更换中，管理无能又混乱。请问相关领导目前是否有对物业考核监管的部门，为什么物业越来越无法无天。
+目前长沙县的物业完全没有部门能监管，街道物管办压根不起作用，无法对物业形成监管三年来小区出警率，投诉率居高不下，目前更加离谱两条大门烂成这样，坏一个月了就换来了一句报修更换中，管理无能又混乱。请问相关领导目前是否有对物业考核监管的部门，为什么物业越来越无法无天。
+请各位银行老总，政府领导：关注一下在乡镇建自动取款机\\n　　建议今年市政府在长沙市各乡镇增加几个银行，更重要的是现在乡下经济也算活跃，谁都会有几张卡，可是没几哪个乡镇有自动取款机。就那么一个信用社，给人们带来了很大的不便 。\\n　　白若铺在二十几年前还两家银行，现在只有农村合作银行，建议搞一两个自动取款机。增加工行，建行等。
+长沙环球融创上东城A22开发商延期1年多仍旧还不加班抢工程！\\n地址：长沙市长沙县国展路15号，环球融创上东城A22楼盘\\n合同交房时间：23年3月30号\\n现况：环球融创开发商延期1年多还不抢工程进度。\\n事情描述：开发商环球融创磨洋工不抢工。政府专班24年4月30号保交楼的二度承诺又要形同虚设，如今只剩1个月时间，而A22工程进度仍旧严重延误，开发商也不加人加班抢工，业主一辈子的心血任资本剥削，政府管不动也不尽心去解决？难道硬要逼大家上首都上访才肯管人民的死活？\\n诉求：保交楼保民生不是做戏，A22楼400多户3000多人业主只是合情合理合法合规、倾尽所有的买一个属于自己的家，恳求长沙人民政府和厄令融创加人加班抢进度保质保量在24年4月30号顺利交房！党政府是为人民做主的而不是见死不救的，当官要为民作主啊！
+2023年3月16日我们从黑龙江大庆来到湖南长沙市长沙县福中路77号湖南省富达日化有限公司，其宣传的特殊配方洗衣液比立白和蓝月亮的去污效果要好很多，还有油污净自称中国去污第一名，做了一些去除废机油的实验，油污净清洗废机油，洗洗液去除废机油，洗完后直接排入城市管网的下水池，每天都在进行相关测试，废机油属于危险废物，严重危害公共环境，请湖南环保局对其污染环境进行查处。其公司宣传材料存在大量虚假宣传，夸大其词，感觉就是个传销组织，说其公司有妆字号资质，药字号资质，��国工业产品餐具用洗涤剂资质，声称其设备是纯净水设备，是否有涉水批件，是否有消字号证件，其消字号所有产品是否都进行备案和匹配的检测报告，请湖南市场监督管理局对其进行查处，1997年到现在坑害全国百姓加盟其公司，请湖南商务局查处其是否具有特许经营资质，自称每年营业额1亿元多元，从97年坑害到23年大量的客户没有开局相应的发票，存在重大偷税漏税嫌疑，请湖南税务机关对其进行查处！还有其出口的设备，渠道是否正规，是白关，灰关，还是黑关，请湖南 海关相关部门对其进行查处。	市场监管
+长沙融创会展上东城合同上是2022年12月30日交房。现在已经是2023年4月份了，不仅没有完善好房屋，而且交房遥遥无期。已经烂尾了。融创和中建七局断断续续恶意停工。无视国家保交楼政策。致普通业主与水火之中。中建七局摆烂到底。各种恶意停工。翻旧账说没拿到钱，现拿到钱也不施工。普通百姓买房不易，自从买了这套房，都快被压成神经病了。恳求领导能同情一下贫苦百姓。帮帮我们吧。	住建
+万家丽北高架延长线，市级主流媒体曾说2022年底建成通车，至今还在建设，城市建设市民支持，只是工程建设方能不能兼顾文明施工科学施工，一是沿线路面破损十分严重，颠簸厉害；下雨天，还不是大雨，就涝成车通过都困难，更别说人了！不下雨时，灰尘巨大，特别是地铁土桥附近，人流量、车流量也大，画面中这种路面市民行路都难。另外湘龙路此前的改造没有兼顾地下排水，造成只下雨就积水漫过行人鞋面，行人出行十分不便。恳请能在科学规范施工的同时，能早日完工，能最大限度减少降低对行人，对市民出行的安全风险与困难。	交通运输
+1. 万家丽路和湘龙路交汇处，保利国际方向，每年雨季整条街都被淹。无论大雨小雨，都积水严重。去年甚至车在路中央因积水过深熄火。今年雨季来临，又积水严重，何时才能彻底改善。\\n2. 万家丽路和湘龙路段，多年修高架，就不见修好，原本属于重要车辆枢纽往来地段，现在因修高架路挡掉一多半，常年早上晚上堵车严重，何时才能修好。道路破烂严重，是否考虑维修？\\n3. 湘龙路段沿线全部都是居民小区，山水湾、保利国际高层区、别墅区、保利金香槟。沿线这么多小区和住户，每晚都有很多大型车辆经过，一整晚严重噪音影响，尤其是走空车都时候，加上道路不平路款差，每天都被惊醒。是否可控制大车晚上扰民现象。	交通运输
+1. 万家丽路和湘龙路交汇处，保利国际方向，每年雨季整条街都被淹。无论大雨小雨，都积水严重。去年甚至车在路中央因积水过深熄火。今年雨季来临，又积水严重，何时才能彻底改善。\\n2. 万家丽路和湘龙路段，多年修高架，就不见修好，原本属于重要车辆枢纽往来地段，现在因修高架路挡掉一多半，常年早上晚上堵车严重，何时才能修好。道路破烂严重，是否考虑维修？\\n3. 湘龙路段沿线全部都是居民小区，山水湾、保利国际高层区、别墅区、保利金香槟。沿线这么多小区和住户，每晚都有很多大型车辆经过，一整晚严重噪音影响，尤其是走空车都时候，加上道路不平路款差，每天都被惊醒。是否可控制大车晚上扰民现象。	交通运输
+长沙县湘龙街道红树湾小区，物业管理一片乱遭，至今无合法选聘新物业，好几年从未依法公布公共收益，消防灭火器都没有配备，大多数消防木门已经损坏，整个小区的金属设施设备、有的生锈到成灰，高空坠物、伸缩缝生锈到自然脱落，粪便溢出，电梯频频泡水故障，绿化破损，单元门禁损坏。整个小区又臭又脏，还不如小区外面的马路，图中景象有的持续数年，各种诉求反反复复，业主们诉求近百遍，无人问津，从未改善。视频中的问题，至少出现了三年多，投诉很多次，从未改善。电梯厢是第四次反馈了，15栋架空层地面破损及绿化破损至少诉求了五年，从来没改过，街道倒是多次答复已经改善了！	住建
+星沙街道开元东路开元剧院至东二路段间、天华路凉塘路交界处人行道，每天人行道上都散落着大量涉黄小卡片，卡片上图案文字不堪入目，附近每天都有数以千计的中小学生过往，严重影响学生身心健康，同时还滋生违法犯罪、败坏了、社会风气。请问，在天网密布、大数据时代，为何该现象一直不能得到根治？恳请吴书记督促有关部门下重拳整治该违法行为，还星沙居民、学生一个和谐文明的居住环境。	公安

main.py

@@ -55,7 +55,7 @@ def main():
         model.load_state_dict(torch.load(config.saved_model))
         model.eval()
         while True:
-            sentence = input("请输入文本:\n")
+            sentence = input("please input txt:\n")
             inputs = tokenizer(
                 sentence, 
                 max_length=config.max_seq_len,
@@ -66,7 +66,7 @@ def main():
                 outputs = model(**inputs)
                 logits = outputs[0]
                 label = torch.max(logits.data, 1)[1].tolist()
-                print("分类结果:" + config.label_list[label[0]])
+                print("Classification result:" + config.label_list[label[0]])
             flag = str(input("continue? (y/n):"))
             if flag == "Y" or flag == "y":
                 continue

preprocess.py

@@ -1,5 +1,6 @@
 # coding: UTF-8
 
+import os
 import time
 import torch
 import random
@@ -11,15 +12,16 @@ def get_time_dif(start_time):
     time_dif = end_time - start_time
     return timedelta(seconds=int(round(time_dif)))
 
+## 获取张量数据
 class DataProcessor(object):
-    def __init__(self, path, device, tokenizer, batch_size, max_seq_len, seed):
+    def __init__(self, dataPath, device, tokenizer, batch_size, max_seq_len, seed):
         self.seed = seed
         self.device = device
         self.tokenizer = tokenizer
         self.batch_size = batch_size
         self.max_seq_len = max_seq_len
 
-        self.data = self.load(path)
+        self.data = self.load(dataPath)
 
         self.index = 0
         self.residue = False
@@ -31,14 +33,25 @@ class DataProcessor(object):
     def load(self, path):
         contents = []
         labels = []
+        labels_map = {}
+
+        labels_path = os.path.join(os.path.dirname(path), "labels.txt")
+        with open(labels_path, mode="r", encoding="UTF-8") as f:
+            for index, line in enumerate(tqdm(f)):
+                line = line.strip()
+                if line:
+                    labels_map[line] = index
+
         with open(path, mode="r", encoding="UTF-8") as f:
             for line in tqdm(f):
                 line = line.strip()
                 if not line:    continue
-                if line.find('\t') == -1:   continue
-                content, label = line.split("\t")
-                contents.append(content)
-                labels.append(int(label))
+                if '\t' not in line: continue
+                content, label = line.rsplit('\t', 1)
+                if(labels_map.get(label)>=0) :
+                    contents.append(content)
+                    labels.append(int(labels_map.get(label)))
+
         #random shuffle
         index = list(range(len(labels)))
         random.seed(self.seed)

requirements.txt

@@ -1,3 +1,4 @@
-torch
 transformers
+torch
 scikit-learn
+pandas

train.py

@@ -8,6 +8,7 @@ import time
 import torch
 import numpy as np
 
+#评估模型性能
 def eval(model, config, iterator, flag=False):
     model.eval()
 
@@ -38,7 +39,7 @@ def eval(model, config, iterator, flag=False):
         return acc, total_loss / len(iterator), report, confusion
     return acc, total_loss / len(iterator)
 
-
+#测试验证模型
 def test(model, config, iterator):
     model.load_state_dict(torch.load(config.saved_model))
     start_time = time.time()
@@ -52,7 +53,7 @@ def test(model, config, iterator):
     time_dif = get_time_dif(start_time)
     print("Time usage:", time_dif)
 
-
+#训练模型并保存
 def train(model, config, train_iterator, dev_iterator):
     model.train()
     start_time = time.time()