Spaces:
Running
Running
| import re | |
| from zemberek import ( | |
| TurkishSpellChecker, | |
| TurkishSentenceNormalizer, | |
| TurkishSentenceExtractor, | |
| TurkishMorphology, | |
| TurkishTokenizer | |
| ) | |
| morphology = TurkishMorphology.create_with_defaults() | |
| normalizer = TurkishSentenceNormalizer(morphology) | |
| stop_words_list = ['acaba', 'ama', 'ancak', 'arada', 'aslında', 'ayrıca', 'bana', 'bazı', 'belki', 'ben', 'benden', | |
| 'beni', | |
| 'benim', 'beri', 'bile', 'birçok', 'biri', 'birkaç', 'birkez', 'birşey', 'birşeyi', 'biz', 'bize', | |
| 'bizden', | |
| 'bizi', 'bizim', 'böyle', 'böylece', 'bu', 'buna', 'bunda', 'bundan', 'bunlar', 'bunları', | |
| 'bunların', | |
| 'bunu', 'bunun', 'burada', 'çok', 'çünkü', 'da', 'daha', 'dahi', 'de', 'defa', 'değil', 'diğer', | |
| 'diye', 'dolayı', | |
| 'dolayısıyla', 'eğer', 'en', 'gibi', 'göre', 'halen', 'hangi', 'hatta', 'hem', 'henüz', 'hep', | |
| 'hepsi', 'her', 'herhangi', | |
| 'herkesin', 'hiç', 'hiçbir', 'için', 'ile', 'ilgili', 'ise', 'işte', 'itibaren', 'itibariyle', | |
| 'kadar', 'karşın', 'kendi', | |
| 'kendilerine', 'kendini', 'kendisi', 'kendisine', 'kendisini', 'kez', 'ki', 'kim', 'kimden', 'kime', | |
| 'kimi', 'kimse', 'mu', | |
| 'mü', 'mı', 'nasıl', 'ne', 'neden', 'nedenle', 'nerde', 'nerede', 'nereye', 'niye', 'niçin', 'o', | |
| 'ona', 'ondan', 'onlar', | |
| 'onlardan', 'onları', 'onların', 'onu', 'onun', 'oysa', 'öyle', 'pek', 'rağmen', 'sadece', 'sanki', | |
| 'sen', 'senden', 'seni', | |
| 'senin', 'siz', 'sizden', 'sizi', 'sizin', 'şey', 'şeyden', 'şeyi', 'şeyler', 'şöyle', 'şu', 'şuna', | |
| 'şunda', 'şundan', | |
| 'şunları', 'şunu', 'tarafından', 'tüm', 'üzere', 've', 'veya', 'ya', 'yani', 'yerine', 'yine', | |
| 'yoksa', 'zaten', 'mi', | |
| 'onlari', 'acep', 'adeta', 'artık', 'aynen', 'az', 'bari', 'bazen', 'başka', 'biraz', 'bütün', | |
| 'dahil', 'daima', 'dair', | |
| 'dayanarak', 'fakat', 'halbuki', 'hani', 'hele', 'herkes', 'iken', 'ila', 'ilk', 'illa', 'iyi', | |
| 'iyice', 'kanımca', 'kere', | |
| 'keşke', 'kısaca', 'lakin', 'madem', 'meğer', 'nitekim', 'sonra', 'veyahut', 'yahut', 'şayet', | |
| 'şimdi', 'gerek', 'hakeza', | |
| 'hoş', 'kah', 'keza', 'mademki', 'mamafih', 'meğerki', 'meğerse', 'netekim', 'neyse', 'oysaki', | |
| 'velev', 'velhasıl', | |
| 'velhasılıkelam', 'yalnız', 'yok', 'zira', 'adamakıllı', 'bilcümle', 'binaen', 'binaenaleyh', | |
| 'birazdan', 'birden', | |
| 'birdenbire', 'birlikte', 'bitevi', 'biteviye', 'bittabi', 'bizatihi', 'bizce', 'bizcileyin', | |
| 'bizzat', 'buracıkta', | |
| 'buradan', 'büsbütün', 'çoğu', 'çoğun', 'çoğunca', 'çoğunlukla', 'çokça', 'çoklukla', 'dahilen', | |
| 'demin', 'demincek', | |
| 'deminden', 'derhal', 'derken', 'elbet', 'elbette', 'enikonu', 'epey', 'epeyce', 'epeyi', 'esasen', | |
| 'esnasında', 'etraflı', | |
| 'gibilerden', 'gibisinden', 'halihazırda', 'haliyle', 'hasılı', 'hulasaten', 'illaki', 'itibarıyla', | |
| 'iyicene', 'kala', | |
| 'külliyen', 'nazaran', 'nedeniyle', 'nedense', 'nerden', 'nerdeyse', 'nereden', 'neredeyse', 'neye', | |
| 'neyi', 'nice', 'nihayet', | |
| 'nihayetinde', 'onca', 'önce', 'önceden', 'önceleri', 'öncelikle', 'oracık', 'oracıkta', 'orada', | |
| 'oradan', 'oranca', | |
| 'oranla', 'oraya', 'peyderpey', 'sahiden', 'sonradan', 'sonraları', 'sonunda', 'şuncacık', | |
| 'şuracıkta', 'tabii', | |
| 'tam', 'tamam', 'tamamen', 'tamamıyla', 'tek', 'vasıtasıyla', 'doğru', 'gelgelelim', 'gırla', | |
| 'hasebiyle', 'zarfında', | |
| 'öbür', 'başkası', 'beriki', 'birbiri', 'birçoğu', 'birileri', 'birisi', 'birkaçı', 'bizimki', | |
| 'burası', 'diğeri', | |
| 'filanca', 'hangisi', 'hiçbiri', 'kaçı', 'kaynak', 'kimisi', 'kimsecik', 'kimsecikler', 'neresi', | |
| 'öbürkü', 'öbürü', | |
| 'onda', 'öteki', 'ötekisi', 'sana', 'şunlar', 'şunun', 'şuracık', 'şurası', 'nın', 'nin', 'nun', | |
| 'nün', 'ın', | |
| 'in', 'un', 'ün'] | |
| contractions_convert_dictionary = { | |
| "amk": "amına koyayım", | |
| "aq": "amına koyayım", | |
| "a.q": "amına koyayım", | |
| "a.w": "amına koyayım", | |
| "ak": "amına koyayım", | |
| "a.k": "amına koyayım", | |
| "mq": "amına koyayım", | |
| "mk": "amına koyayım", | |
| "aqqq": "amına koyayım", | |
| "awk": "amına koyayım", | |
| "s.kine": "sikine", | |
| "fuck": "siktir", | |
| "as": "ananı sikim", | |
| "ananskm": "ananı sikim", | |
| "skm": "sikim", | |
| "s.ktigim": "siktiğim", | |
| "s.ktugm": "soktugum", | |
| "b.k": "bok", | |
| "g.t": "göt", | |
| "s..": "siktir", | |
| "ziktir": "siktir", | |
| "b.kunu": "bokunu", | |
| "s...": "siktir", | |
| "s.ksin":"siksin", | |
| "s*çımaya": "sıçmaya", | |
| "amkdjdkd": "amına koyayım", | |
| "lgbtli": "lezbiyen", | |
| "lgbt": "lezbiyen", | |
| "orrosspuu": "orospu", | |
| "yardagıma": "yarrağıma" | |
| } | |
| black_list = {"kopek": "köpek", | |
| "gotlu": "götlü", | |
| "got": "göt", | |
| "kotu": "kötü"} | |
| class CLEANING: | |
| def __init__(self, raw_text, contractions, stopwords, blacklist): | |
| raw_text = raw_text.replace("İ", "i") # Bu kullanım, bozuk i karakterlerine çözüm üretmek adına eklenmiştir. | |
| raw_text = raw_text.replace("Â", "a") | |
| raw_text = raw_text.replace("â", "a") | |
| self.Text = raw_text | |
| self.Contractions = contractions | |
| self.blacklist = blacklist | |
| self.StopWords = stopwords | |
| def convert_character(self, raw_text): | |
| raw_text = raw_text.replace("ş", "s") | |
| raw_text = raw_text.replace("ğ", "g") | |
| raw_text = raw_text.replace("ç", "c") | |
| raw_text = raw_text.replace("ü", "u") | |
| # raw_text = raw_text.replace("ı", "i") | |
| raw_text = raw_text.replace("Ş", "s") | |
| raw_text = raw_text.replace("Ğ", "g") | |
| raw_text = raw_text.replace("Ç", "c") | |
| raw_text = raw_text.replace("Ü", "u") | |
| raw_text = raw_text.replace("ö", "o") | |
| raw_text = raw_text.replace("Ö", "o") | |
| return raw_text | |
| def lowercase(self, text): | |
| return text.lower() | |
| def split(self, text): | |
| return text.split() | |
| def tweet_tag_clean(self, text): | |
| temp_text = re.sub("@[A-Za-z0-9_]+", "", text) | |
| return ' '.join(word for word in temp_text.split() if not word[0] == "#") | |
| def http_clean(self, text): | |
| regex = re.compile(r'<[^>]+>') | |
| temp_text = regex.sub('', text) | |
| return re.sub(r'http\S+', '', temp_text) | |
| def numeric_clean(self, text): | |
| return re.sub("[0-9]", "", text) | |
| def special_character_clean(self, text): | |
| return re.sub(r'[_"\-;%()|+&=*%.”“’,!?:#$@\[\]/<>]', '', text) | |
| def stopwords_clean(self, text): | |
| return ' '.join(word for word in text.split() if word not in stop_words_list) | |
| def single_characters_clean(self, text): | |
| return ' '.join([w for w in text.split() if len(w) > 1]) | |
| def clean(self): | |
| temp_text = self.Text | |
| temp_text = self.lowercase(temp_text) | |
| # temp_text = self.convert_character(temp_text) | |
| temp_text = self.split(temp_text) | |
| if self.Contractions: # Kısaltmaları dönüştür | |
| new_text = [] | |
| for word in temp_text: | |
| if word in contractions_convert_dictionary: | |
| new_text.append(contractions_convert_dictionary[word]) | |
| else: | |
| new_text.append(word) | |
| temp_text = " ".join(new_text) | |
| temp_text = self.tweet_tag_clean(temp_text) # tweet ve tag temizle | |
| temp_text = self.http_clean(temp_text) # http tag temizle | |
| temp_text = self.numeric_clean(temp_text) # numeric değerleri temizle | |
| temp_text = self.special_character_clean(temp_text) # special karakterleri temizle | |
| if self.StopWords: | |
| temp_text = self.stopwords_clean(temp_text) # stopword kelimeleri temizle | |
| temp_text = self.single_characters_clean(temp_text) # special karakterleri ve emojileri temizle | |
| temp_text = temp_text.lstrip().rstrip() # text baş ve sonundaki boşlukları at | |
| if len(temp_text.lstrip().rstrip()) > 0: | |
| try: | |
| temp_text = normalizer.normalize(str(temp_text)) | |
| temp_text = self.convert_character(temp_text) | |
| if self.blacklist: # blacklist | |
| new_text = [] | |
| for word in temp_text.split(' '): | |
| if word in black_list: | |
| new_text.append(black_list[word]) | |
| else: | |
| new_text.append(word) | |
| temp_text = " ".join(new_text) | |
| return temp_text | |
| except Exception as e: | |
| print(temp_text) | |
| return temp_text | |
| return temp_text |