Instructions to use Lixpr/bert-disaster-tweets with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers.js
How to use Lixpr/bert-disaster-tweets with Transformers.js:
// npm i @huggingface/transformers import { pipeline } from '@huggingface/transformers'; // Allocate pipeline const pipe = await pipeline('text-classification', 'Lixpr/bert-disaster-tweets');
BERT 灾难推文二分类
课程实验模型。0 = 非灾难表达,1 = 灾难事件描述。模型不提供事实核查、灾害预警或应急决策。
训练与评估
输入数据来自 Kaggle Disaster Tweets 的公开镜像 venetis/disaster_tweets。
原始7613条;删除56条冲突标签记录和74条重复记录,剩余7483条。
规范化精确去重后按标签分层划分:训练5238、验证1122、测试1123。
固定随机种子20261029。最大长度96,batch=8,梯度累积2,AdamW lr=2e-5,weight decay=0.01,FP16,3轮,按验证F1选择检查点。
测试集(未经阈值调优,threshold=0.5):Accuracy=0.832591,F1=0.796976,ROC AUC=0.895227。
浏览器与CPU部署
onnx/model_quantized.onnx 为INT8动态量化模型,约110MB。
量化F1=0.797765,与PyTorch预测一致率=0.968833。
量化不是逐样本无损转换;完整验证记录见 export_verification.json。
默认公开仓库提供浏览器用ONNX与配置。完整FP32 PyTorch检查点保留在本地课程项目的 models/bert-disaster-tweets/;需要时可使用发布脚本的 --include-pytorch 选项另行上传。
在线演示:https://huggingface.co/spaces/Lixpr/disaster-tweets-demo
局限
单次随机种子、单个自建留出集;可能存在近义文本或事件级泄漏。 比喻、歌词、玩笑、上下文不足及数据集标注争议会导致误判。 仅用于英语文本课程实验。用户应自行复核预测,概率不是事实发生概率。
来源
- BERT: https://huggingface.co/google-bert/bert-base-uncased
- Dataset mirror: https://huggingface.co/datasets/venetis/disaster_tweets
- Original competition: https://www.kaggle.com/competitions/nlp-getting-started
- Downloads last month
- 22
Model tree for Lixpr/bert-disaster-tweets
Base model
google-bert/bert-base-uncased