Package: underthesea
Open-source Vietnamese Natural Language Process ToolkitUndertheseais:🌊A Vietnamese NLP toolkit.Underthesea is a suite of open source Python modules data sets and tutorials supporting research and development inVietnamese Natural Language Processing. We provides extremely easy API to quickly apply pretrained NLP models to your Vietnamese text, such as word segmentation, part-of-speech tagging (PoS), named entity recognition (NER), text classification and dependency parsing.🌊An open-source software.Underthesea is published under theGNU General Public License v3.0license. Permissions of this strong copyleft license are conditioned on making available complete source code of licensed works and modifications, which include larger works using a licensed work, under the same license.🎁Support Us!Every bit of support helps us achieve our goals. Thank you so much. 💝💝💝🎉Hey there!Have you heard aboutLLMs, theprompt-based models? Well, guess what? Starting from Underthesea version 6.7.0, you can now dive deep with thissuper-cool featurefortext classification! Dive in and make a splash! 💦🚀InstallationTo install underthesea, simply:$pipinstallunderthesea
✨🍰✨Satisfaction, guaranteed.TutorialsSentence Segmentation- Breaking text into individual sentences📜📜 Usage>>>fromundertheseaimportsent_tokenize>>>text='Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng. Amanda cũng thoải mái với mối quan hệ này.'>>>sent_tokenize(text)["Taylor cho biết lúc đầu cô cảm thấy ngại với cô bạn thân Amanda nhưng rồi mọi thứ trôi qua nhanh chóng.","Amanda cũng thoải mái với mối quan hệ này."]Text Normalization- Standardizing textual data representation📜📜 Usage>>>fromundertheseaimporttext_normalize>>>text_normalize("Ðảm baỏ chất lựơng phòng thí nghịêm hoá học")"Đảm bảo chất lượng phòng thí nghiệm hóa học"Word Segmentation- Dividing text into individual words📜📜 Usage>>>fromundertheseaimportword_tokenize>>>text="Chàng trai 9X Quảng Trị khởi nghiệp từ nấm sò">>>word_tokenize(text)["Chàng trai","9X","Quảng Trị","khởi nghiệp","từ","nấm","sò"]>>>word_tokenize(sentence,format="text")"Chàng_trai 9X Quảng_Trị khởi_nghiệp từ nấm sò">>>text="Viện Nghiên Cứu chiến lược quốc gia về học máy">>>fixed_words=["Viện Nghiên Cứu","học máy"]>>>word_tokenize(text,fixed_words=fixed_words)"Viện_Nghiên_Cứu chiến_lược quốc_gia về học_máy"POS Tagging- Labeling words with their part-of-speech📜📜 Usage>>>fromundertheseaimportpos_tag>>>pos_tag('Chợ thịt chó nổi tiếng ở Sài Gòn bị truy quét')[('Chợ','N'),('thịt','N'),('chó','N'),('nổi tiếng','A'),('ở','E'),('Sài Gòn','Np'),('bị','V'),('truy quét','V')]Chunking- Grouping words into meaningful phrases or units📜📜 Usage>>>fromundertheseaimportchunk>>>text='Bác sĩ bây giờ có thể thản nhiên báo tin bệnh nhân bị ung thư?'>>>chunk(text)[('Bác sĩ','N','B-NP'),('bây giờ','P','B-NP'),('có thể','R','O'),('thản nhiên','A','B-AP'),('báo','V','B-VP'),('tin','N','B-NP'),('bệnh nhân','N','B-NP'),('bị','V','B-VP'),('ung thư','N','B-NP'),('?','CH','O')]Dependency Parsing- Analyzing grammatical structure between words⚛️⚛️ Deep Learning Model$pipinstallunderthesea[deep]>>>fromundertheseaimportdependency_parse>>>text='Tối 29/11, Việt Nam thêm 2 ca mắc Covid-19'>>>dependency_parse(text)[('Tối',5,'obl:tmod'),('29/11',1,'flat:date'),(',',1,'punct'),('Việt Nam',5,'nsubj'),('thêm',0,'root'),('2',7,'nummod'),('ca',5,'obj'),('mắc',7,'nmod'),('Covid-19',8,'nummod')]Named Entity Recognition-  Identifying named entities (e.g., names, locations)📜⚛️📜 Usage>>>fromundertheseaimportner>>>text='Chưa tiết lộ lịch trình tới Việt Nam của Tổng thống Mỹ Donald Trump'>>>ner(text)[('Chưa','R','O','O'),('tiết lộ','V','B-VP','O'),('lịch trình','V','B-VP','O'),('tới','E','B-PP','O'),('Việt Nam','Np','B-NP','B-LOC'),('của','E','B-PP','O'),('Tổng thống','N','B-NP','O'),('Mỹ','Np','B-NP','B-LOC'),('Donald','Np','B-NP','B-PER'),('Trump','Np','B-NP','I-PER')]⚛️ Deep Learning Model$pipinstallunderthesea[deep]>>>fromundertheseaimportner>>>text="Bộ Công Thương xóa một tổng cục, giảm nhiều đầu mối">>>ner(text,deep=True)[{'entity':'B-ORG','word':'Bộ'},{'entity':'I-ORG','word':'Công'},{'entity':'I-ORG','word':'Thương'}]Text Classification- Categorizing text into predefined groups📜⚡📜 Usage>>>fromundertheseaimportclassify>>>classify('HLV đầu tiên ở Premier League bị sa thải sau 4 vòng đấu')['The thao']>>>classify('Hội đồng tư vấn kinh doanh Asean vinh danh giải thưởng quốc tế')['Kinh doanh']>>classify('Lãi suất từ BIDV rất ưu đãi',domain='bank')['INTEREST_RATE']⚡ Prompt-based Model$pipinstallunderthesea[prompt]$exportOPENAI_API_KEY=YOUR_KEY>>>fromundertheseaimportclassify>>>text="HLV ngoại đòi gần tỷ mỗi tháng dẫn dắt tuyển Việt Nam">>>classify(text,model='prompt')ThểthaoSentiment Analysis- Determining text's emotional tone or sentiment📜📜 Usage>>>fromundertheseaimportsentiment>>>sentiment('hàng kém chất lg,chăn đắp lên dính lông lá khắp người. thất vọng')'negative'>>>sentiment('Sản phẩm hơi nhỏ so với tưởng tượng nhưng chất lượng tốt, đóng gói cẩn thận.')'positive'>>>sentiment('Đky qua đường link ở bài viết này từ thứ 6 mà giờ chưa thấy ai lhe hết',domain='bank')['CUSTOMER_SUPPORT#negative']>>>sentiment('Xem lại vẫn thấy xúc động và tự hào về BIDV của mình',domain='bank')['TRADEMARK#positive']Say 🗣️- Converting written text into spoken audio⚛️Text to Speech API. Thanks to awesome work fromNTT123/vietTTSInstall extend dependencies and models```bash
$ pip install underthesea[wow]
$ underthesea download-model VIET_TTS_V0_4_1
```Usage examples in script```python
>>> from underthesea.pipeline.say import say

>>> say("Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam")
A new audio file named `sound.wav` will be generated.
```Usage examples in command line```sh
$ underthesea say "Cựu binh Mỹ trả nhật ký nhẹ lòng khi thấy cuộc sống hòa bình tại Việt Nam"
```Vietnamese NLP ResourcesList resources$underthesealist-data|Name|Type|License|Year|Directory||---------------------------+-------------+---------+------+------------------------------------||CP_Vietnamese_VLC_v2_2022|Plaintext|Open|2023|datasets/CP_Vietnamese_VLC_v2_2022||UIT_ABSA_RESTAURANT|Sentiment|Open|2021|datasets/UIT_ABSA_RESTAURANT||UIT_ABSA_HOTEL|Sentiment|Open|2021|datasets/UIT_ABSA_HOTEL||SE_Vietnamese-UBS|Sentiment|Open|2020|datasets/SE_Vietnamese-UBS||CP_Vietnamese-UNC|Plaintext|Open|2020|datasets/CP_Vietnamese-UNC||DI_Vietnamese-UVD|Dictionary|Open|2020|datasets/DI_Vietnamese-UVD||UTS2017-BANK|Categorized|Open|2017|datasets/UTS2017-BANK||VNTQ_SMALL|Plaintext|Open|2012|datasets/LTA||VNTQ_BIG|Plaintext|Open|2012|datasets/LTA||VNESES|Plaintext|Open|2012|datasets/LTA||VNTC|Categorized|Open|2007|datasets/VNTC|$underthesealist-data--allDownload resources$undertheseadownload-dataCP_Vietnamese_VLC_v2_2022
ResourceCP_Vietnamese_VLC_v2_2022isdownloadedin~/.underthesea/datasets/CP_Vietnamese_VLC_v2_2022folderUp Coming FeaturesAutomatic Speech RecognitionMachine TranslationChatbot (Chat & Speak)ContributingDo you want to contribute with underthesea development? Great! Please read more details atCONTRIBUTING.rst💝 Support UsIf you found this project helpful and would like to support our work, you can just buy us a coffee ☕.Your support is our biggest encouragement 🎁!