fix the hard and soft signs

examples/zontik_lat.txt

@@ -0,0 +1,85 @@
+Zontik dy Panamka
+
+Ěräś-ašteś Zontik. Lijatnede a javovicä, viškinestě purnavicä. Tüsozo sěneĺ. Ěrämosonzo vesemeś uĺneś vadrä, vejkede baška. Son lisneś uĺcäv ansäk pizeme škane, sekskak arseś, buto perť-peĺksěś sval načko, menelenť tüsozojak valdoks a ěrsi.
+
+«Vaj, kodamo nusmanä ěrämom? – kortaś ěś pačkanzo, kirmicävoź a pokške süvorksoks. – Vaj, kodaška tošnačim!»
+
+– Mezť seke tev stakasto uksnät? – vesť kevkstize Zontikenť syre Šläpaś, konaś ašteś teke žo škapsonť, ansäk sede vere lavcänť langso.
+
+– Mezes, toń kojsě, kecnems? – tago stakasto ukstaś Zontikeś. – Perťpeĺga ansäk pizemeť valyť… Načko…
+
+– Vaj, pajstomne! – sedejmaräś tenzě Šläpaś. – Alkukskak, ton vadrä pogodajak ěziť nekšne! Ušov ějsěť livtniť ansäk pizeme alga. Pajstomo, koda melävtan kisěť!
+
+– Tošna teń! – tago ukstaś Zontikeś.
+
+Šläpaś zäryja ška arseś, mejle meri:
+
+– Varčasa lezdams teť. Kunsolok, meze merän! Nesak se sumkanť? Sy nedläčistě ton, a neemga, keverť ějzěnzě. Čaŕkodik?
+
+– Čaŕkodija, – merś Zontikeś. – Mejle meze?
+
+– Mejle? – mizoldoź merś Šläpaś. – Mejle tonś nesak…
+
+Syre Šläpanť prevsputomazo Zontikenteń ovse ěź čaŕkodeve, ansäk nedläčistě tejś istä, koda tenzě merś Šläpaś. Apak marä, apak nee, son keverś valdo sěń pokš sumkanteń, konań bokaso uĺneś risovaź troks putoź matrosoń kartuzso kenärksov cörabaeń čačo.
+
+Sumkaś vasnä čavoĺ. Mejle ějzěnzě neŕgsť ěŕva mezť, dy kov-buti saiź. Zontikeś pongś sehte alov. Sonzě langs praś kodamo-buti ěčke kniga. Knigaś apak lotkse motordś, bažaś velävtoms dy muems ěstenzě jon tarka, ansäk te teveś tenzě kodajak ěź teeve. Zontikenť vaksso madeź ašteś keĺme limonadto peštäź sulika. Sulikaś kežejstě buĺkaeś dy melezěĺ valoms vese vedenzě lijatneń langs.
+
+Pupicä sursemeś peznavtynze peenzě Zontikenť prä kočoms dy istä meĺsparoso čikordś ějsěst, natoj kavto pejtneń sindinze.
+
+Okojniki kuvaka ki langoś prädovś. Zontikeś čaŕkodize, sumkanť kozoń-buti putyź. Mejle panžiź, meze-buti ějstěnzě sajsť dy pekstyź ods.
+
+Perť-peĺga kaštmolezevś. Zontikenť turtov te uĺneś sedejak beräń. Sumkaś mezde-buti karmaś ěžeme. Zontikenteń a mejsě karmaś leksems. Apak učne sumkaś tago panžovś dy te škane Zontikeś praś ušov. Son ovse ěź čaŕkode, meks langozonzo vese teťkiź seĺmest, prok tamaša langs, teke neiť vasencede? Pejdsť-tejsť, dy panžiź…
+
+Zontikeś divamodonť vajkstaś dy ěĺ ěź pra mastorov. Son istämo valdo či onstonzojak ěź nekšne. Perťpeĺga vesemeś uĺneś pek mazyj!
+
+Valdo-sěń meneĺ, psi čipaj, sěń morä, ožo čuvar dy sädot istät žo zontikt, kodamo son, ansäk sörmavt dy ěŕva kodamo tüsoń.
+
+Tede vesemedenť Zontikenť karmaś čaramo präzo. Čaraś, čaraś, čaraś…
+
+Vana alamodo saś jožos, varštaś tej-tov dy avoĺ pek vasolo, merema, ovse vakssonzo, neś valdo sörmav šläpine. Kodamo-buti lija jonov a molicä, peŕkanzo sülmseź lamo surepulot. Istämo šläpa Zontikeś tede ikele ěź nekšne.
+
+– Ton kijat? – kevkstize Zontikeś šläpinenť.
+
+– Mon? – divazevś šläpineś. – Panamka.
+
+– Pa-nam-ka… – slogoń slog jovtyze Zontikeś, dy ěź soda, mezde kortams sede tov.
+
+– A mon toń sodatan. Ton – Zontik! – merś Panamkaś. – Ansäk a čaŕkodän, nej žo pizeme araś? A toń kondämo zontiktne pläžov a jakiť.
+
+– Mon… Mon… – Zontikeś ěź soda meze merems, sekskak kelezě pongoneś. – Mon syń tonť langs varštamo! – okojniki muś valt Zontikeś.
+
+– Moń langs? – divazevś Panamkaś. – Mezeks te teť ěrävi?
+
+– Veĺť ton mazyjat! – merś Zontikeś.
+
+– Gm, – mizoldozevś Panamkaś dy merś vizdeź.
+
+– Tongak moń meĺs tuiť.
+
+– Žaĺ, – stakasto ukstaś Zontikeś.
+
+– Meześ žaĺ? – kevkstize Panamkaś.
+
+– Kurok čokšne dy savi minenek javovoms.
+
+– Alkukskak, – istä žo ukstaś Panamkaś. – Ton ěšte sat tej?
+
+– A sodan, – merś Zontikeś. – Mon žo avoĺ pläžga jakicän. Pizeme araś.
+
+– Mejle meze?
+
+Te škastonť Zontikenť purnyź dy son tago pongś sodaviks sumkanteń. Ansäk nej sehte vereĺ. Sudozojak tarnoś ušoso, seĺmenzějak nesť meze teevi peŕkanzo.
+
+Jalateke jožozo beräneĺ. Son arseś mazyj šläpinedenť — Panamkadonť. Čumondś ěś pränzo, meks ěź kenere tenzě merems «Vastomazonok!».
+
+Te škastonť Zontikeś varštaś viť jonov dy… Istäška kenärks! Ovse malaso kodaź kepternesě ašteś son – Panamkaś!
+
+– Škaś a menstäma! – arsezevś Zontikeś. Dy ězize menstä. Velävtś, venstize Panamkanteń ěsenzě keme kedenzě dy merś:
+
+– Kundak sede kuroksto!
+
+Panamkaś vasnä tandadś, mejle saś ežos, peleź kundaś Zontikenť keďs dy sornoź, jutaś Zontikenť jonov…
+
+…Se škastonť saeź škapsonť syń kavonest. Nej Zontikeś ovse a tošnakali pevteme pizemetneń ějstě. Son sody, kudoso uči ějsěnzě Panamkaś, konaś pek moli čipaenť jonov. Panamkanť neeź, Zontikenť seske lembelgady jožozo dy kenärdozevi sedeezě.
+
+Vere lavcänť langso syre Šläpaś vany langozost dy kaštmoli, ansäk koj-zärdo kuvakasto ukstni, paräk, ledstni seń, meześ uš umok jutaś.

myv_translit.py

@@ -1,7 +1,27 @@
 import re
 from collections import Counter
 
+
+CYR_CHARS = 'абвгдеёжзийклмнопрстуфхцчшщъыьэюя'
+BASIC_LAT_CHARS = 'abcdefghijklmnopqrtuvwxyz'
+ACCENT_LAT_CHARS = 'ěäüöśźćńŕťďĺ'
+LAT_CHARS = BASIC_LAT_CHARS + ACCENT_LAT_CHARS
+
+CYR_CONSONANTS_LOWER_HARD = 'бвгдзклмнпрстфх'
+CYR_CONSONANTS_UPPER_HARD = 'БВГДЗКЛМНПРСТФХ'
+CYR_CONSONANTS_HARD = CYR_CONSONANTS_LOWER_HARD + CYR_CONSONANTS_UPPER_HARD
+
+
 _cyr2lat = [
+    {'find_what': 'ъё', 'replacer': 'jo', 're': False},
+    {'find_what': 'ъю', 'replacer': 'ju', 're': False},
+    {'find_what': 'ъя', 'replacer': 'ja', 're': False},
+    {'find_what': 'ъе', 'replacer': 'je', 're': False},
+    {'find_what': 'ЪЁ', 'replacer': 'JO', 're': False},
+    {'find_what': 'ЪЮ', 'replacer': 'JU', 're': False},
+    {'find_what': 'ЪЯ', 'replacer': 'JA', 're': False},
+    {'find_what': 'ЪЕ', 'replacer': 'JE', 're': False},
+
     {'find_what': 'А', 'replacer': 'A', 're': False},
     {'find_what': 'а', 'replacer': 'a', 're': False},
     {'find_what': 'О', 'replacer': 'O', 're': False},
@@ -231,6 +251,18 @@ _lat2cyr = [
     {'find_what': 'O', 'replacer': 'О', 're': False},
     {'find_what': 'a', 'replacer': 'а', 're': False},
     {'find_what': 'A', 'replacer': 'А', 're': False},
+    # make the soft sign upper in an uppercase word
+    {'find_what': '([А-ЯЁ]{2,})ь', 'replacer': '\\1Ь', 're': True},
+    {'find_what': '([А-ЯЁ])ь([А-ЯЁ])', 'replacer': '\\1Ь\\2', 're': True},
+    # introduce Ъ when appropriate
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])Й[Аа]', 'replacer': '\\1ЪЯ', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])й[Аа]', 'replacer': '\\1ъя', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])Й[Оо]', 'replacer': '\\1ЪЁ', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])й[Оо]', 'replacer': '\\1ъё', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])Й[Уу]', 'replacer': '\\1ЪЮ', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])й[Уу]', 'replacer': '\\1ъю', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])Й[Ee]', 'replacer': '\\1ЪЕ', 're': True},
+    {'find_what': f'([{CYR_CONSONANTS_HARD}])й[Ee]', 'replacer': '\\1ъе', 're': True},
     # ya, yo, yu
     {'find_what': 'Й[Аа]', 'replacer': 'Я', 're': True},
     {'find_what': 'й[Аа]', 'replacer': 'я', 're': True},
@@ -238,7 +270,11 @@ _lat2cyr = [
     {'find_what': 'й[Оо]', 'replacer': 'ё', 're': True},
     {'find_what': 'Й[Уу]', 'replacer': 'Ю', 're': True},
     {'find_what': 'й[Уу]', 'replacer': 'ю', 're': True},
-    # todo: introduce Ъ when appropriate
+]
+
+_lat2cyr_special_cases = [
+    {'find_what': 'раён', 'replacer': 'район'},
+    {'find_what': 'РАЁН', 'replacer': 'РАЙОН'},
 ]
 
 
@@ -264,13 +300,9 @@ def cyr2lat(text, joint_acute=True, first_e_with_hacek=True, soft_l_after_vowels
 
 def lat2cyr(text, joint_acute=True, first_e_with_hacek=True, soft_l_after_vowels=True):
     # todo: support all the optional settings
-    return transliterate_with_rules(text, _lat2cyr)
-
-
-CYR_CHARS = 'абвгдеёжзиклмнопрстуфхцчшщъыьэюя'
-BASIC_LAT_CHARS = 'abcdefghijklmnopqrtuvwxyz'
-ACCENT_LAT_CHARS = 'ěäüöśźćńŕťďĺ'
-LAT_CHARS = BASIC_LAT_CHARS + ACCENT_LAT_CHARS
+    text = transliterate_with_rules(text, _lat2cyr)
+    text = transliterate_with_rules(text, _lat2cyr_special_cases)
+    return text
 
 
 def detect_script(text: str, min_prevalence: float = 2.0, min_detectable: float = 0.1) -> str:

test_translit.py

@@ -27,8 +27,20 @@ def test_detection():
     assert detect_script('ěrzä эрзянь') == 'mix'
 
 
-def test_lat2cyr_edge_cases():
-    assert lat2cyr('bažaś velävtoms dy muems ěstenzě jon tarka') == 'бажась велявтомс ды муемс эстензэ ён тарка'
+DEFAULT_TEST_SET = [
+    ("съёмка", "sjomka"),  # ъё
+    ('бажась велявтомс ды муемс эстензэ ён тарка', 'bažaś velävtoms dy muems ěstenzě jon tarka'),
+    ('УЖОСТО УЖОС ИДЕМЕВСТЬ ПАНСЯН!', 'UŽOSTO UŽOS IDEMEVSŤ PANSÄN!'),  # upper Ь
+    ('ПЬЯНСТВО', 'ṔJANSTVO'),  # also upper Ь
+    ('райононть', 'rajononť'),  # special case
+    # TODO: FIXME ('XVIII пингень', 'XVIII pingeń'),  # consistency
+]
+
+
+def test_edge_cases():
+    for cyr, lat in DEFAULT_TEST_SET:
+        assert cyr2lat(cyr) == lat
+        assert lat2cyr(lat) == cyr
 
 
 def test_consistency():
@@ -41,3 +53,32 @@ def test_consistency():
         line_cyr2 = lat2cyr(line_lat)
         assert line_cyr == line_cyr2
 
+
+def test_zontik():
+    with open('examples/zontik_cyr.txt', 'r') as f:
+        lines_cyr = [line.strip() for line in f.readlines()]
+    lines_cyr = [line for line in lines_cyr if line]
+    with open('examples/zontik_lat.txt', 'r') as f:
+        lines_lat = [line.strip() for line in f.readlines()]
+    lines_lat = [line for line in lines_lat if line]
+    assert len(lines_cyr) == len(lines_lat)
+    for line_cyr, line_lat in zip(lines_cyr, lines_lat):
+        assert line_lat == cyr2lat(line_cyr)
+        assert line_cyr == lat2cyr(line_lat)
+
+
+def get_inconsistent_pairs():
+    try:
+        from datasets import load_dataset
+    except ImportError:
+        return
+    dev = load_dataset('slone/myv_ru_2022', split='validation')
+    with open('examples/mismatches.txt', 'w') as f:
+        for line_cyr in dev['myv']:
+            line_lat = cyr2lat(line_cyr)
+            line_cyr2 = lat2cyr(line_lat)
+            if line_cyr != line_cyr2:
+                print(line_cyr, file=f)
+                print(line_cyr2, file=f)
+                print(line_lat, file=f)
+                print(file=f)