Overview of visocial-Sailor-4B-Instruct
The visocial-Sailor-4B-Instruct LLM, a fine-tuned version of the 5CD-AI/visocial-Sailor-4B, excels in handling social media text 📱 and e-commerce information 🛒. It effectively classifies sentiment 😊, extracts order details 📦, responds to comments 💬, and writes product descriptions 📝. This model is adept at understanding social media language, making it valuable for online presence management 🌐. In e-commerce, it provides detailed product descriptions, manages customer feedback 🗣️, and extracts order information, enhancing efficiency and customer satisfaction for retailers 🛍️.
Pre-training Step
We trimmed vocabulary size to 50,934 and continually pretrained sail/Sailor-4B[1] on a merged 20GB dataset 📚. The training dataset includes:
- Internal data (100M comments 💬 and 15M posts on Facebook 👍)
- UIT data, which is used to pretrain
uitnlp/visobert[2]. - MC4 ecommerce 🚛.
- Vietnamese Wiki Corpus 📖.
- 10.7M comments on VOZ Forum from
tarudesu/VOZ-HSD[3]🥑. - 3.6M reviews from Amazon translated into Vietnamese from
5CD-AI/Vietnamese-amazon_polarity-gg-translated[4]🏄🏻♂️.
Instruction Fine-tuning Step
The model was fine-tuned on nearly 800k instruction samples taken from various datasets and a 200k carefully crafted custom dataset 🧩, with the tasks distributed as follows:
Some of instruction samples:
[{
"instruction": "Tạo ra một bản tóm tắt nội dung bài viết",
"input": "Bài viết:\n📣📣 🌹 Tree rose STRAWBERRY MACARON màu hoa đẹp xuất sắc luôn ạ 😊💯💯\n👉🏽Em hiện tại còn duy nhất 1 em \nAnh chị nào quan tâm và yêu thích em này thì chủ động inbox cho em 😊😊!\n✅Một vẻ đẹp của thiên thần của Macaron rose, siêu khỏe và sai hoa cho những chùm hoa lớn màu phớt hồng dịu dàng của những cô thiếu nữ đôi mươi.\n✅ Hương thơm dịu nhẹ nhưng cũng đủ để người yêu hoa thương nhớ. Nếu muốn sở hữu khóm hồng ngay trước sân nhà thì bạn nên trồng ngay một chậu hoa hồng ngoại Strawberry Macaron này ngay nhé!\n🚛🚚 Bên em giao hàng toàn quốc và ship tận nhà cho khách 🏘!\nBình luận:\nThành Nè Cchào (anh) chị ạ, Mộc Hương đã inbox cho (anh)chị rồi ạ Anh(chị) check inbox của Mộc Hương \nĐẹp quá inbox chị 3 cây em ơi.\nNguyễn Tuấn Minh Cchào (anh) chị ạ, Mộc Hương đã inbox cho (anh)chị rồi ạ Anh(chị) check inbox của Mộc Hương \nCây này đẹp lắm nụ quá.\nDanh Bạn Cchào (anh) chị ạ, Mộc Hương đã inbox cho (anh)chị rồi ạ Anh(chị) check inbox của Mộc Hương \nBao nhiêu vậy ạ?\nPham Kiet Cchào (anh) chị ạ, Mộc Hương đã inbox cho (anh)chị rồi ạ Anh(chị) check inbox của Mộc Hương ",
"output": "Tree rose STRAWBERRY MACARON là một loại hoa đẹp xuất sắc, duy nhất còn 1 cây. Với vẻ đẹp của thiên thần Macaron rose, hoa lớn màu phớt hồng dịu dàng, và hương thơm nhẹ, cây hoa này là sự lựa chọn tuyệt vời cho người yêu hoa."
},
{
"instruction": "Phân tích cảm xúc bài viết",
"input": "Bài viết:\n🌴#Áo_Cặp_Team_đi_biển 🍉🍍🍌\n🌴#Quần_đi_biển, #Quần_đôi_đi_biển 🍉🍍🍌\n🌴 #Áo_Gia_đình 🍉🍍🍌\n🌴#Áo_Team_Building 🍉🍍🍌\n🌴 Những mẫu Áo #Hot_nhất 🍉🍍🍌\n🌴Hoạ tiết màu sắc rõ nét 🍉🍍🍌\n=============================================\n✨Ship Hàng toàn quốc - Giao Hàng Tận Nơi - \nThanh Toán Khi Nhận Hàng✨\n===========================================\n✨Hoặc Inbox để được tư vấn trực tiếp✨\n☎ & Zalo: 0899.00.85.88\nWebsite: http://atstore.xyz/\n#đồ_đi_biển, #đồ_đôi_đi_biển, #áo_thun_cặp_nhóm, #áo_gia_đình, #áo_cặp, #áo_nhóm, #quần_đi_biển, #quần_đôi_đi_biển",
"output": "{'Tính chất cảm xúc': 'Bài viết truyền tải cảm giác vui vẻ, sôi động và thân thiện. Có sự hào hứng và hướng đến việc mang lại trải nghiệm tích cực khi mặc đồ đi biển.'
},
{
"instruction": "Sinh ra câu hỏi thăm dò ý kiến khách hàng. Lưu ý: có thể trả ra văn bản hoặc json.",
"input": "🔴🔴Phòng Cách Âm Nhạc Mạnh 🔴🔴\n150m vuông - Làm nhanh - đẹp -hiệu quả trong 1 ngày là xong nhé.\n☎️0️⃣9️⃣0️⃣3️⃣0️⃣1️⃣7️⃣6️⃣7️⃣5️⃣\n✅✅Tất cả sản phẩm - vật liệu bên Em là có sẵn hết nha khách .✅✅\n➡️➡️ Nhấp vào đây xem VIDEO Tất cả Sản Phẩm Tại Đây :\nhttps://m.facebook.com/my.van.54772/albums/2584822048408801/\n➡️➡️➡️Nhấp vàp đây xem Album hình tổng hợp các mẫu tiêu âm - cách âm mới nhất :\nhttps://m.facebook.com/my.van.54772/albums/2335227570034918/\n➡️➡️➡️ Nhấp vào đây Xem các hình Thi Công Thực Tế các mẫu Cách Âm - Tiêu Âm :\nhttps://m.facebook.com/my.van.54772/albums/2335606396663702/\n#cách_âm #tiêu_âm #cửa_phòng_ngủ #phòng_nghỉ #khách_sạn vv.....",
"output": "{'question': 'Bạn nghĩ sao về phòng cách âm nhạc có diện tích 150m vuông? Có những sản phẩm nào bạn quan tâm nhất? Liên hệ để biết thêm chi tiết: 0903017675.'
},
{
"instruction": "Tìm sản phẩm có thể liên quan. Lưu ý: có thể trả ra văn bản hoặc json.",
"input": "Định nghĩa lại hàng Truất's 😁\n#IPhone_11Promax256G\n✅️ Máy nguyên bản 100% _ Hộp theo máy , Sạc nhanh 18w , cáp sạc TypeC to Lightning , Tai nghe chân dẹt Lightning , Sách vở + cả que chọc sim.\n\n💎 Chỉ #Hơn15trieu✈️✈️✈️. Không lấy phụ kiện theo máy -700k. \n👉 Lỗi 1 đổi 1 trong 1 tháng. Bảo hành 9 tháng đầy đủ. \n👉 Tặng : Sạc - cáp - Ốp lưng - Dán màn hình. \n☎️ Liên hệ Hotline : 0934-33-8765 (Zalo)\n🏠 Địa chỉ : Lê Thóc Cellphone’s Trung tâm Ngã Ba Mao Điền - Cẩm Giàng - Hải Dương. \n\n✅ Hỗ trợ Trả góp 0% qua Thẻ tín dụng Nội địa - Quốc tế (Visa - Master - PayPal...)\n✅ Hỗ trợ Trả góp qua : FE Credit - Mirae Asset.",
"output": "{'related_products': [{'product_name': 'iPhone 12 Pro', 'price_range': '20-25 triệu'}, {'product_name': 'Samsung Galaxy S21', 'price_range': '15-20 triệu'}, {'product_name': 'OnePlus 9', 'price_range': '18-22 triệu'}]
},
{
"instruction": "Bài viết vài bình luận trên mạng xã hội tương ứng như sau, hãy đọc và thực hiện nhiệm vụ bên dưới: \nNhiệm vụ: Hãy nêu ra ý đồ của bình luận và tạo phản hồi thích hợp với emoji vui nhộn nếu có thể, trả về json với các key sau: Nội_dung. Ý_đồ. Câu_trả_lời",
"input": "Bài viết:\n👩🏻🦱Helo buổi sang yeu thuong \n💃 Vì Sao Chúng Ta Cần Phải Đẹp💃\n🏵️Đẹp 👉 để kéo dài tuổi thanh xuân\n🏵️ Đẹp 👉 để tự tin hơn trong cuộc sống\n🏵️ Đẹp 👉 để nửa kia không rời mắt\n🏵️ Đẹp 👉 để được lung linh tỏa sáng\n🏵️ Đẹp 👉 để bao ánh mắt phải liếc nhìn\n🏵️ Đẹp 👉 để người khác phải ganh tỵ\n🏵️ Đẹp 👉 để mặc gì cũng xinh lung linh\n💁 Chần chừ là sẽ không đẹp\n💁 Đắn đo là không bao giờ đẹp\n💁 Suy nghĩ hoài bạn sẽ mất tự tin làm đẹp\n\n☎️0975385358 \n💁♀️Ib cho e để được tư vấn\n\nBình luận: Nay búi tóc yêu hey..Nhìn như cô bé học cấp 2 á",
"output": "{'Nội_dung': 'Nay búi tóc yêu hey..Nhìn như cô bé học cấp 2 á', 'Ý_đồ': 'Chia sẻ ý kiến về cách tóc được buội và so sánh với hình ảnh ngây thơ của một cô bé học cấp 2.', 'Câu_trả_lời': 'Cảm ơn bạn! Búi tóc này có vẻ trẻ trung và đáng yêu phải không? 😊'}"
},
"instruction": "Bài viết hướng đến nhóm đối tượng người dùng nào?",
"input": "Bài viết:\n🔔🔔🔔Sau nhiều ngày chuẩn bị thì cuối cùng những mẫu váy nhà #TiTi cũng đã được lên sóng rồi các nàng ơi😘😘😘\n\n❌❌ Mini Game❌❌\n\n💥 B1: Like page và bài viết.\n💥 B2: Cmt 2 số bất kì và tag tên 3 ng bạn.\n💥 B3: Chia sẻ bài viết.\n🎁🎁🎁Phần quà là chiếc váy tuỳ chọn cho bạn có cmt 2 số trung vs kqsxmb ngày 14/7/2019 và làm đủ các bước trên.\n👑👑👑👑👑 TiTi Store👑👑👑👑👑\n\n-------------------------------------------------------------------------\n🏠 Đ/c: SỐ 8 NGÕ 4C -ĐẶNG VĂN NGỮ -ĐỐNG ĐA -HÀ NỘI\n📞Hotline: 0967626523\n❤ Ship cod toàn quốc , mua từ 3sp free ship\nBình luận:\nThúy Hoài bạn check ib nhA\nLê Tuyền bạn check ib ạ\nVân Moon\n56kg mặc vừa ko ạ\nNgọc Lan Quỳnh Nguyễn Nhung Nhung 17\n24 Phong Tử Hạ Nguyễn Ngọc Khánh Linh\n02 Thắm Bé Bùi Thị Hoài Thu",
"output": "Bài viết hướng đến nhóm đối tượng là các người yêu thời trang, đặc biệt là những ai quan tâm đến váy nhà và sản phẩm thời trang của TiTi Store."
},
{
"instruction": "Phân tích ý đồ của từng bình luận?",
"input": "Bài viết:\n😤😤😤 SƠMI ZRA 😤😤😤\n☁️ Nhìn hàng đoán tên nhé ((( = , với chất liệu linen cực thoáng mát, bền, giặt ko bị ra màu. Một chiếc áo sơ mi cho mùa hè đích thực. Phong cách trang nhã sang trọng, đi kèm vs thương hiệu ZR 🙈🙈🙈, đây sẽ là lựa chọn của bạn?\n☁️ Hàng xuất xịn đầy đủ tem tag. Hàng chính hãng.\n👆🏼👆🏼👆🏼\n🛵🛵🛵\n�# SHIP HÀNG TOÀN QUỐC, COD HCM ONLY\n�# 10AM - 22PM\n�# Contact: 01202636340\n�# Instagram: https://www.instagram.com/wrealmone/�\n# STORE Q3: 400/11 LÊ VĂN SỸ, QUẬN 3, TPHCM�\n# STORE TĐ: 356/17 VÕ VĂN NGÂN, THỦ ĐỨC, TPHCM\nBình luận:\nĐã tl ib ạ\nÁo nhiu v anh\nbao nhiu v ạ\nInbox cái giá thánh nhây\nĐax tl ib ạ\nBao nhiu bao nhiu\nInbox mình giá",
"output": "[{'bình luận': 'Đã tl ib ạ', 'ý đồ': 'Người này đã trả lời inbox.'}, {'bình luận': 'Áo nhiu v anh', 'ý đồ': 'Hỏi về số lượng và giá áo.'}, {'bình luận': 'Bao nhiêu v ạ', 'ý đồ': 'Hỏi về giá áo.'}, {'bình luận': 'Inbox cái giá thánh nhây', 'ý đồ': 'Yêu cầu gửi giá vào hộp thư.'}, {'bình luận': 'Đax tl ib ạ', 'ý đồ': 'Thông báo đã trả lời inbox.'}, {'bình luận': 'Bao nhiêu bao nhiêu', 'ý đồ': 'Hỏi về giá áo.'}, {'bình luận': 'Inbox mình giá', 'ý đồ': 'Yêu cầu gửi giá vào hộp thư.'}]"
},
{
"instruction": "Tạo một vài bình luận ngắn phản hồi tự động bài viết PHẢI trả về dưới dạng LIST",
"input": "Bài viết:\n🍀SÉT BỘ THÊU CAO CẤP .\n👉👉BẤM VÀO XEM THÊM MẪU NHA MẤY CHỊ ĐẸP💐\n👉 GIÁ Ở TỪNG MẪU Ạ\n💐👉ship 30k Toàn Quốc.🌺\n🌹MUA 3 BỘ MIỄN SHIP🌹\n\n🎉 Bộ mặc nhà đi chơi hoạ tiết cực xinh về hàng🌻🌻\n🌟 Chất liệu..SOLEN CAO CẤP. co giãn 4 chiều mềm mướt, mịn mát, mặc cực kì thích luôn🌷🌷🌷\n👉Bộ form sang chảnh,lịch sự,trẻ trung - , ở nhà cũng phải thật đẹp nhé \n👉Đủ size 1.2.3.4.5\nTừ 45kg đến 85kg\nTùy chiều cao \n✅ Không xù không nhăn, không bay màu !\n✅Hình shop chụp thật \n\nĐược Kiểm Tra Hàng - Ship Cod Toàn Quốc\n☎️SĐT ĐẶT HÀNG:0966.235.244\n🏫Địa Chỉ BÌNH CHÁNH TPHCM",
"output": "{'Bình luận phản hồi': ['Bộ này đẹp quá!', 'Chất liệu cao cấp, thích lắm!', 'Giá cả hợp lý', 'Mua 3 bộ được miễn ship, rất ưu đãi!']
}]
Model Using
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"
model = AutoModelForCausalLM.from_pretrained(
'5CD-AI/visocial-Sailor-4B-Instruct',
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained('5CD-AI/visocial-Sailor-4B-Instruct')
system_prompt= 'You are a helpful assistant'
prompt = "Hãy so sánh điện bếp từ và bếp ga."
#prompt = """Bạn là trợ lý AI. Người dùng sẽ cho bạn 1 tác vụ. Phân loại cảm xúc của bình luận sau theo từng khía cạnh ăn mặc và nói chuyện của chủ thể.
#Bình luận: về cách ăn mặc của cô thì quá 😡 😡 . nhưng về cách nói chuyện thì rất 😍"""
messages = [
{"role": "system", "content": system_prompt},
{"role": "question", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
input_ids = model_inputs.input_ids.to(device)
generated_ids = model.generate(
input_ids,
max_new_tokens=256,
num_beams=3
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
Examples
<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>question
Bạn là trợ lý ảo AI hữu ích, Hãy trả lời câu hỏi sau: So sánh bếp từ và bếp ga ?<|im_end|>
<|im_start|>assistant
Bếp từ và bếp ga đều là những lựa chọn phổ biến cho các gia đình. Tuy nhiên, mỗi loại bếp có những ưu điểm và nhược điểm riêng. Bếp từ sử dụng điện để làm nóng đáy nồi, trong khi bếp ga sử dụng khí gas để làm nóng đáy nồi. Bếp từ có nhiều ưu điểm hơn bếp ga, bao gồm hiệu suất nấu nướng cao, tiết kiệm năng lượng và an toàn hơn. Tuy nhiên, bếp ga cũng có một số ưu điểm, bao gồm giá thành thấp hơn và dễ sử dụng hơn. Cả bếp từ và bếp ga đều là những lựa chọn tuyệt vời cho các gia đình, tùy thuộc vào nhu cầu và sở thích cá nhân của bạn.<|endoftext|>
<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>question
Bạn là một trợ lý AI. Người dùng sẽ cung cấp cho bạn một nhiệm vụ. Mục tiêu của bạn là hoàn thành nhiệm vụ một cách chính xác nhất có thể. Trích xuất loại sản phẩm, màu, giá, số lượng, kích cỡ, tên người mua, sdt người mua: trong bình luận sau. trả ra kết quả dưới dạng json {"sản phẩm", "màu", "giá":, "số lượng", "kích cỡ", "tên người mua:", "sdt người mua"} trả N/A nếu không tìm thấy thông tin.
Thông tin đặt hàng: 10 cái Áo 120k màu trắng sai M em Katy nha,sdt em 0378182433.<|im_end|>
<|im_start|>assistant
{"sản phẩm": "Áo", "màu": "trắng", "giá": "120000", "số lượng": "10", "kích cỡ": "M", "tên người mua": "Katy", "sdt người mua": "0378182433"}<|endoftext|>
<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>question
Bạn là trợ lý AI. Người dùng sẽ cho bạn 1 tác vụ. Phân loại cảm xúc của bình luận sau theo từng khía cạnh của chủ thể.
Bình luận: về cách ăn mặc của cô thì quá 😡 😡 . nhưng về cách nói chuyện thì rất 😍.<|im_end|>
<|im_start|>assistant
Về mặt ăn mặc: Bình luận này có thể được phân loại là tiêu cực (😡).
Về mặt nói chuyện: Bình luận này có thể được phân loại là tích cực (😍).<|endoftext|>
References
[1] sail/Sailor-4B
[2] ViSoBERT: A Pre-Trained Language Model for Vietnamese Social Media Text Processing
- Downloads last month
- 35