BERTislav / normalize.py
npedrazzini's picture
Create normalize.py
6a2e237 verified
import re
from tqdm import tqdm
from glob import glob
allfiles = glob('path/to/folder/with/texts/*.txt')
allfiles = sorted(allfiles)
#run : python ./normalize.py
orig = ["а", "б", "в", "г", "д", "е", "е", "з", "и", "к", "л", "м", "н", "о", "п", "р", "с", "т", "у", "ф", "х", "ц", "ч", "ч", "ш", "щ", "ъ", "ы", "ь", "ю", "я", "а", "б", "в", "г", "д", "е", "ж", "з", "и", "и", "к", "л", "м", "н", "о", "п", "р", "с", "т", "оу", "ф", "х", "ц", "ч", "ч", "ш", "щ", "ъ", "ы", "ь", "е", "ю", "я", "о", "о", "е", "ѥ", "ѧ", "ѫ","ѩ","ѭ","кс","пс", "ф", "и", "о", "оу", "и", "и", "оу", "от", "о", "ѥ", "ѧ","ѫ","ѩ","ѭ","кс", "пс", "ф", "и", "и", "ѣ", "з", "ѕ", "ѕ", "и", "оу", "о", "ы", "о", "о", "о", "з", "ѕ", "ѕ", "и", "оу", "о", "ы", "я", "о", "о", "о"]
acc1 = ["А́","Б́","В́","Ѓ","Д́","Е́","Є́","З́","И́","Ќ","Л́","М́","Н́","О́","П́","Р́","С́","Т́","У́","Ф́","Х́","Ц́","Ч́","́","Ш́","Щ́","Ъ́","Ы́","Ь́","Ю́","Я́","а́","б́","в́","ѓ","д́","е́","ж́","з́","и́","́","ќ","л́","м́","н́","о́","п́","р́","с́","т́","у́","ф́","х́","ц́","ч́","́","ш́","щ́","ъ́","ы́","ь́","э́","ю́","я́","ѻ́","ѡ́","є́","Ѥ́","Ѧ́","Ѫ́","Ѩ́","Ѭ́","Ѯ́","Ѱ́","Ѳ́","Ѵ́","Ѡ́","Ѹ́","ї́","і́","ѹ́","ѿ́","ѡ́","ѥ́","ѧ́","ѫ́","ѩ́","ѭ́","ѯ́","ѱ́","ѳ́","ѵ́","ӏ́","ѣ́","Ꙁ́","Ꙃ́","Ꙅ́","Ꙇ́","Ꙋ́","Ꙍ́","Ꙑ́","Ꙩ́","Ꙫ́","Ꙭ́","ꙁ́","ꙃ́","ꙅ́","ꙇ́","ꙋ́","ꙍ́","ꙑ́","ꙗ́","ꙩ́","ꙫ́","ꙭ́"]
acc2 = ["А̀","Б̀","В̀","Г̀","Д̀","Ѐ","Є̀","З̀","Ѝ","К̀","Л̀","М̀","Н̀","О̀","П̀","Р̀","С̀","Т̀","У̀","Ф̀","Х̀","Ц̀","Ч̀","̀","Ш̀","Щ̀","Ъ̀","Ы̀","Ь̀","Ю̀","Я̀","а̀","б̀","в̀","г̀","д̀","ѐ","ж̀","з̀","ѝ","̀","к̀","л̀","м̀","н̀","о̀","п̀","р̀","с̀","т̀","у̀","ф̀","х̀","ц̀","ч̀","̀","ш̀","щ̀","ъ̀","ы̀","ь̀","э̀","ю̀","я̀","ѻ̀","ѡ̀","є̀","Ѥ̀","Ѧ̀","Ѫ̀","Ѩ̀","Ѭ̀","Ѯ̀","Ѱ̀","Ѳ̀","Ѵ̀","Ѡ̀","Ѹ̀","ї̀","і̀","ѹ̀","ѿ̀","ѡ̀","ѥ̀","ѧ̀","ѫ̀","ѩ̀","ѭ̀","ѯ̀","ѱ̀","ѳ̀","ѵ̀","ӏ̀","ѣ̀","Ꙁ̀","Ꙃ̀","Ꙅ̀","Ꙇ̀","Ꙋ̀","Ꙍ̀","Ꙑ̀","Ꙩ̀","Ꙫ̀","Ꙭ̀","ꙁ̀","ꙃ̀","ꙅ̀","ꙇ̀","ꙋ̀","ꙍ̀","ꙑ̀","ꙗ̀","ꙩ̀","ꙫ̀","ꙭ̀"]
acc3 = ["А̏","Б̏","В̏","Г̏","Д̏","Е̏","Є̏","З̏","И̏","К̏","Л̏","М̏","Н̏","О̏","П̏","Р̏","С̏","Т̏","У̏","Ф̏","Х̏","Ц̏","Ч̏","̏","Ш̏","Щ̏","Ъ̏","Ы̏","Ь̏","Ю̏","Я̏","а̏","б̏","в̏","г̏","д̏","е̏","ж̏","з̏","и̏","̏","к̏","л̏","м̏","н̏","о̏","п̏","р̏","с̏","т̏","у̏","ф̏","х̏","ц̏","ч̏","̏","ш̏","щ̏","ъ̏","ы̏","ь̏","э̏","ю̏","я̏","ѻ̏","ѡ̏","є̏","Ѥ̏","Ѧ̏","Ѫ̏","Ѩ̏","Ѭ̏","Ѯ̏","Ѱ̏","Ѳ̏","Ѷ","Ѡ̏","Ѹ̏","ї̏","і̏","ѹ̏","ѿ̏","ѡ̏","ѥ̏","ѧ̏","ѫ̏","ѩ̏","ѭ̏","ѯ̏","ѱ̏","ѳ̏","ѷ","ӏ̏","ѣ̏","Ꙁ̏","Ꙃ̏","Ꙅ̏","Ꙇ̏","Ꙋ̏","Ꙍ̏","Ꙑ̏","Ꙩ̏","Ꙫ̏","Ꙭ̏","ꙁ̏","ꙃ̏","ꙅ̏","ꙇ̏","ꙋ̏","ꙍ̏","ꙑ̏","ꙗ̏","ꙩ̏","ꙫ̏","ꙭ̏"]
acc4 = ["А̑","Б̑","В̑","Г̑","Д̑","Е̑","Є̑","З̑","И̑","К̑","Л̑","М̑","Н̑","О̑","П̑","Р̑","С̑","Т̑","У̑","Ф̑","Х̑","Ц̑","Ч̑","̑","Ш̑","Щ̑","Ъ̑","Ы̑","Ь̑","Ю̑","Я̑","а̑","б̑","в̑","г̑","д̑","е̑","ж̑","з̑","и̑","̑","к̑","л̑","м̑","н̑","о̑","п̑","р̑","с̑","т̑","у̑","ф̑","х̑","ц̑","ч̑","̑","ш̑","щ̑","ъ̑","ы̑","ь̑","э̑","ю̑","я̑","ѻ̑","ѡ̑","є̑","Ѥ̑","Ѧ̑","Ѫ̑","Ѩ̑","Ѭ̑","Ѯ̑","Ѱ̑","Ѳ̑","Ѵ̑","Ѡ̑","Ѹ̑","ї̑","і̑","ѹ̑","ѿ̑","ѡ̑","ѥ̑","ѧ̑","ѫ̑","ѩ̑","ѭ̑","ѯ̑","ѱ̑","ѳ̑","ѵ̑","ӏ̑","ѣ̑","Ꙁ̑","Ꙃ̑","Ꙅ̑","Ꙇ̑","Ꙋ̑","Ꙍ̑","Ꙑ̑","Ꙩ̑","Ꙫ̑","Ꙭ̑","ꙁ̑","ꙃ̑","ꙅ̑","ꙇ̑","ꙋ̑","ꙍ̑","ꙑ̑","ꙗ̑","ꙩ̑","ꙫ̑","ꙭ̑"]
acc5 = ["Ӑ","Б̆","В̆","Г̆","Д̆","Ӗ","Є̆","З̆","Й","К̆","Л̆","М̆","Н̆","О̆","П̆","Р̆","С̆","Т̆","Ў","Ф̆","Х̆","Ц̆","Ч̆","̆","Ш̆","Щ̆","Ъ̆","Ы̆","Ь̆","Ю̆","Я̆","ӑ","б̆","в̆","г̆","д̆","ӗ","ӂ","з̆","й","̆","к̆","л̆","м̆","н̆","о̆","п̆","р̆","с̆","т̆","ў","ф̆","х̆","ц̆","ч̆","̆","ш̆","щ̆","ъ̆","ы̆","ь̆","э̆","ю̆","я̆","ѻ̆","ѡ̆","є̆","Ѥ̆","Ѧ̆","Ѫ̆","Ѩ̆","Ѭ̆","Ѯ̆","Ѱ̆","Ѳ̆","Ѵ̆","Ѡ̆","Ѹ̆","ї̆","і̆","ѹ̆","ѿ̆","ѡ̆","ѥ̆","ѧ̆","ѫ̆","ѩ̆","ѭ̆","ѯ̆","ѱ̆","ѳ̆","ѵ̆","ӏ̆","ѣ̆","Ꙁ̆","Ꙃ̆","Ꙅ̆","Ꙇ̆","Ꙋ̆","Ꙍ̆","Ꙑ̆","Ꙩ̆","Ꙫ̆","Ꙭ̆","ꙁ̆","ꙃ̆","ꙅ̆","ꙇ̆","ꙋ̆","ꙍ̆","ꙑ̆","ꙗ̆","ꙩ̆","ꙫ̆","ꙭ̆"]
acc6 = ["Ӓ","Б̈","В̈","Г̈","Д̈","Ё","Є̈","Ӟ","Ӥ","К̈","Л̈","М̈","Н̈","Ӧ","П̈","Р̈","С̈","Т̈","Ӱ","Ф̈","Х̈","Ц̈","Ӵ","̈","Ш̈","Щ̈","Ъ̈","Ӹ","Ь̈","Ю̈","Я̈","ӓ","б̈","в̈","г̈","д̈","ё","ӝ","ӟ","ӥ","̈","к̈","л̈","м̈","н̈","ӧ","п̈","р̈","с̈","т̈","ӱ","ф̈","х̈","ц̈","ӵ","̈","ш̈","щ̈","ъ̈","ӹ","ь̈","ӭ","ю̈","я̈","ѻ̈","ѡ̈","є̈","Ѥ̈","Ѧ̈","Ѫ̈","Ѩ̈","Ѭ̈","Ѯ̈","Ѱ̈","Ѳ̈","Ѵ̈","Ѡ̈","Ѹ̈","ї̈","ї","ѹ̈","ѿ̈","ѡ̈","ѥ̈","ѧ̈","ѫ̈","ѩ̈","ѭ̈","ѯ̈","ѱ̈","ѳ̈","ѵ̈","ӏ̈","ѣ̈","Ꙁ̈","Ꙃ̈","Ꙅ̈","Ꙇ̈","Ꙋ̈","Ꙍ̈","Ꙑ̈","Ꙩ̈","Ꙫ̈","Ꙭ̈","ꙁ̈","ꙃ̈","ꙅ̈","ꙇ̈","ꙋ̈","ꙍ̈","ꙑ̈","ꙗ̈","ꙩ̈","ꙫ̈","ꙭ̈"]
acc7 = ["А̋","Б̋","В̋","Г̋","Д̋","Е̋","Є̋","З̋","И̋","К̋","Л̋","М̋","Н̋","О̋","П̋","Р̋","С̋","Т̋","Ӳ","Ф̋","Х̋","Ц̋","Ч̋","̋","Ш̋","Щ̋","Ъ̋","Ы̋","Ь̋","Ю̋","Я̋","а̋","б̋","в̋","г̋","д̋","е̋","ж̋","з̋","и̋","̋","к̋","л̋","м̋","н̋","о̋","п̋","р̋","с̋","т̋","ӳ","ф̋","х̋","ц̋","ч̋","̋","ш̋","щ̋","ъ̋","ы̋","ь̋","э̋","ю̋","я̋","ѻ̋","ѡ̋","є̋","Ѥ̋","Ѧ̋","Ѫ̋","Ѩ̋","Ѭ̋","Ѯ̋","Ѱ̋","Ѳ̋","Ѵ̋","Ѡ̋","Ѹ̋","ї̋","і̋","ѹ̋","ѿ̋","ѡ̋","ѥ̋","ѧ̋","ѫ̋","ѩ̋","ѭ̋","ѯ̋","ѱ̋","ѳ̋","ѵ̋","ӏ̋","ѣ̋","Ꙁ̋","Ꙃ̋","Ꙅ̋","Ꙇ̋","Ꙋ̋","Ꙍ̋","Ꙑ̋","Ꙩ̋","Ꙫ̋","Ꙭ̋","ꙁ̋","ꙃ̋","ꙅ̋","ꙇ̋","ꙋ̋","ꙍ̋","ꙑ̋","ꙗ̋","ꙩ̋","ꙫ̋","ꙭ̋"]
acc8 = ["А̂","Б̂","В̂","Г̂","Д̂","Е̂","Є̂","З̂","И̂","К̂","Л̂","М̂","Н̂","О̂","П̂","Р̂","С̂","Т̂","У̂","Ф̂","Х̂","Ц̂","Ч̂","̂","Ш̂","Щ̂","Ъ̂","Ы̂","Ь̂","Ю̂","Я̂","а̂","б̂","в̂","г̂","д̂","е̂","ж̂","з̂","и̂","̂","к̂","л̂","м̂","н̂","о̂","п̂","р̂","с̂","т̂","у̂","ф̂","х̂","ц̂","ч̂","̂","ш̂","щ̂","ъ̂","ы̂","ь̂","э̂","ю̂","я̂","ѻ̂","ѡ̂","є̂","Ѥ̂","Ѧ̂","Ѫ̂","Ѩ̂","Ѭ̂","Ѯ̂","Ѱ̂","Ѳ̂","Ѵ̂","Ѡ̂","Ѹ̂","ї̂","і̂","ѹ̂","ѿ̂","ѡ̂","ѥ̂","ѧ̂","ѫ̂","ѩ̂","ѭ̂","ѯ̂","ѱ̂","ѳ̂","ѵ̂","ӏ̂","ѣ̂","Ꙁ̂","Ꙃ̂","Ꙅ̂","Ꙇ̂","Ꙋ̂","Ꙍ̂","Ꙑ̂","Ꙩ̂","Ꙫ̂","Ꙭ̂","ꙁ̂","ꙃ̂","ꙅ̂","ꙇ̂","ꙋ̂","ꙍ̂","ꙑ̂","ꙗ̂","ꙩ̂","ꙫ̂","ꙭ̂"]
doubletilde = ["А͠","Б͠","В͠","Г͠","Д͠","Е͠","Є͠","З͠","И͠","К͠","Л͠","М͠","Н͠","О͠","П͠","Р͠","С͠","Т͠","У͠","Ф͠","Х͠","Ц͠","Ч͠","͠","Ш͠","Щ͠","Ъ͠","Ы͠","Ь͠","Ю͠","Я͠","а͠","б͠","в͠","г͠","д͠","е͠","ж͠","з͠","и͠","͠","к͠","л͠","м͠","н͠","о͠","п͠","р͠","с͠","т͠","у͠","ф͠","х͠","ц͠","ч͠","͠","ш͠","щ͠","ъ͠","ы͠","ь͠","э͠","ю͠","я͠","ѻ͠","ѡ͠","є͠","Ѥ͠","Ѧ͠","Ѫ͠","Ѩ͠","Ѭ͠","Ѯ͠","Ѱ͠","Ѳ͠","Ѵ͠","Ѡ͠","Ѹ͠","ї͠","і͠","ѹ͠","ѿ͠","ѡ͠","ѥ͠","ѧ͠","ѫ͠","ѩ͠","ѭ͠","ѯ͠","ѱ͠","ѳ͠","ѵ͠","ӏ͠","ѣ͠","Ꙁ͠","Ꙃ͠","Ꙅ͠","Ꙇ͠","Ꙋ͠","Ꙍ͠","Ꙑ͠","Ꙩ͠","Ꙫ͠","Ꙭ͠","ꙁ͠","ꙃ͠","ꙅ͠","ꙇ͠","ꙋ͠","ꙍ͠","ꙑ͠","ꙗ͠","ꙩ͠","ꙫ͠","ꙭ͠"]
halfring = ["А͑","Б͑","В͑","Г͑","Д͑","Е͑","Є͑","З͑","И͑","К͑","Л͑","М͑","Н͑","О͑","П͑","Р͑","С͑","Т͑","У͑","Ф͑","Х͑","Ц͑","Ч͑","͑","Ш͑","Щ͑","Ъ͑","Ы͑","Ь͑","Ю͑","Я͑","а͑","б͑","в͑","г͑","д͑","е͑","ж͑","з͑","и͑","͑","к͑","л͑","м͑","н͑","о͑","п͑","р͑","с͑","т͑","у͑","ф͑","х͑","ц͑","ч͑","͑","ш͑","щ͑","ъ͑","ы͑","ь͑","э͑","ю͑","я͑","ѻ͑","ѡ͑","є͑","Ѥ͑","Ѧ͑","Ѫ͑","Ѩ͑","Ѭ͑","Ѯ͑","Ѱ͑","Ѳ͑","Ѵ͑","Ѡ͑","Ѹ͑","ї͑","і͑","ѹ͑","ѿ͑","ѡ͑","ѥ͑","ѧ͑","ѫ͑","ѩ͑","ѭ͑","ѯ͑","ѱ͑","ѳ͑","ѵ͑","ӏ͑","ѣ͑","Ꙁ͑","Ꙃ͑","Ꙅ͑","Ꙇ͑","Ꙋ͑","Ꙍ͑","Ꙑ͑","Ꙩ͑","Ꙫ͑","Ꙭ͑","ꙁ͑","ꙃ͑","ꙅ͑","ꙇ͑","ꙋ͑","ꙍ͑","ꙑ͑","ꙗ͑","ꙩ͑","ꙫ͑","ꙭ͑"]
kavyka = ["А꙼","Б꙼","В꙼","Г꙼","Д꙼","Е꙼","Є꙼","З꙼","И꙼","К꙼","Л꙼","М꙼","Н꙼","О꙼","П꙼","Р꙼","С꙼","Т꙼","У꙼","Ф꙼","Х꙼","Ц꙼","Ч꙼","꙼","Ш꙼","Щ꙼","Ъ꙼","Ы꙼","Ь꙼","Ю꙼","Я꙼","а꙼","б꙼","в꙼","г꙼","д꙼","е꙼","ж꙼","з꙼","и꙼","꙼","к꙼","л꙼","м꙼","н꙼","о꙼","п꙼","р꙼","с꙼","т꙼","у꙼","ф꙼","х꙼","ц꙼","ч꙼","꙼","ш꙼","щ꙼","ъ꙼","ы꙼","ь꙼","э꙼","ю꙼","я꙼","ѻ꙼","ѡ꙼","є꙼","Ѥ꙼","Ѧ꙼","Ѫ꙼","Ѩ꙼","Ѭ꙼","Ѯ꙼","Ѱ꙼","Ѳ꙼","Ѵ꙼","Ѡ꙼","Ѹ꙼","ї꙼","і꙼","ѹ꙼","ѿ꙼","ѡ꙼","ѥ꙼","ѧ꙼","ѫ꙼","ѩ꙼","ѭ꙼","ѯ꙼","ѱ꙼","ѳ꙼","ѵ꙼","ӏ꙼","ѣ꙼","Ꙁ꙼","Ꙃ꙼","Ꙅ꙼","Ꙇ꙼","Ꙋ꙼","Ꙍ꙼","Ꙑ꙼","Ꙩ꙼","Ꙫ꙼","Ꙭ꙼","ꙁ꙼","ꙃ꙼","ꙅ꙼","ꙇ꙼","ꙋ꙼","ꙍ꙼","ꙑ꙼","ꙗ꙼","ꙩ꙼","ꙫ꙼","ꙭ꙼"]
dotabove = ["А̇","Б̇","В̇","Г̇","Д̇","Е̇","Є̇","З̇","И̇","К̇","Л̇","М̇","Н̇","О̇","П̇","Р̇","С̇","Т̇","У̇","Ф̇","Х̇","Ц̇","Ч̇","̇","Ш̇","Щ̇","Ъ̇","Ы̇","Ь̇","Ю̇","Я̇","а̇","б̇","в̇","г̇","д̇","е̇","ж̇","з̇","и̇","̇","к̇","л̇","м̇","н̇","о̇","п̇","р̇","с̇","т̇","у̇","ф̇","х̇","ц̇","ч̇","̇","ш̇","щ̇","ъ̇","ы̇","ь̇","э̇","ю̇","я̇","ѻ̇","ѡ̇","є̇","Ѥ̇","Ѧ̇","Ѫ̇","Ѩ̇","Ѭ̇","Ѯ̇","Ѱ̇","Ѳ̇","Ѵ̇","Ѡ̇","Ѹ̇","ї̇","і̇","ѹ̇","ѿ̇","ѡ̇","ѥ̇","ѧ̇","ѫ̇","ѩ̇","ѭ̇","ѯ̇","ѱ̇","ѳ̇","ѵ̇","ӏ̇","ѣ̇","Ꙁ̇","Ꙃ̇","Ꙅ̇","Ꙇ̇","Ꙋ̇","Ꙍ̇","Ꙑ̇","Ꙩ̇","Ꙫ̇","Ꙭ̇","ꙁ̇","ꙃ̇","ꙅ̇","ꙇ̇","ꙋ̇","ꙍ̇","ꙑ̇","ꙗ̇","ꙩ̇","ꙫ̇","ꙭ̇"]
pokrytie = ["А҇","Б҇","В҇","Г҇","Д҇","Е҇","Є҇","З҇","И҇","К҇","Л҇","М҇","Н҇","О҇","П҇","Р҇","С҇","Т҇","У҇","Ф҇","Х҇","Ц҇","Ч҇","҇","Ш҇","Щ҇","Ъ҇","Ы҇","Ь҇","Ю҇","Я҇","а҇","б҇","в҇","г҇","д҇","е҇","ж҇","з҇","и҇","҇","к҇","л҇","м҇","н҇","о҇","п҇","р҇","с҇","т҇","у҇","ф҇","х҇","ц҇","ч҇","҇","ш҇","щ҇","ъ҇","ы҇","ь҇","э҇","ю҇","я҇","ѻ҇","ѡ҇","є҇","Ѥ҇","Ѧ҇","Ѫ҇","Ѩ҇","Ѭ҇","Ѯ҇","Ѱ҇","Ѳ҇","Ѵ҇","Ѡ҇","Ѹ҇","ї҇","і҇","ѹ҇","ѿ҇","ѡ҇","ѥ҇","ѧ҇","ѫ҇","ѩ҇","ѭ҇","ѯ҇","ѱ҇","ѳ҇","ѵ҇","ӏ҇","ѣ҇","Ꙁ҇","Ꙃ҇","Ꙅ҇","Ꙇ҇","Ꙋ҇","Ꙍ҇","Ꙑ҇","Ꙩ҇","Ꙫ҇","Ꙭ҇","ꙁ҇","ꙃ҇","ꙅ҇","ꙇ҇","ꙋ҇","ꙍ҇","ꙑ҇","ꙗ҇","ꙩ҇","ꙫ҇","ꙭ҇"]
vzmet = ["А꙯","Б꙯","В꙯","Г꙯","Д꙯","Е꙯","Є꙯","З꙯","И꙯","К꙯","Л꙯","М꙯","Н꙯","О꙯","П꙯","Р꙯","С꙯","Т꙯","У꙯","Ф꙯","Х꙯","Ц꙯","Ч꙯","꙯","Ш꙯","Щ꙯","Ъ꙯","Ы꙯","Ь꙯","Ю꙯","Я꙯","а꙯","б꙯","в꙯","г꙯","д꙯","е꙯","ж꙯","з꙯","и꙯","꙯","к꙯","л꙯","м꙯","н꙯","о꙯","п꙯","р꙯","с꙯","т꙯","у꙯","ф꙯","х꙯","ц꙯","ч꙯","꙯","ш꙯","щ꙯","ъ꙯","ы꙯","ь꙯","э꙯","ю꙯","я꙯","ѻ꙯","ѡ꙯","є꙯","Ѥ꙯","Ѧ꙯","Ѫ꙯","Ѩ꙯","Ѭ꙯","Ѯ꙯","Ѱ꙯","Ѳ꙯","Ѵ꙯","Ѡ꙯","Ѹ꙯","ї꙯","і꙯","ѹ꙯","ѿ꙯","ѡ꙯","ѥ꙯","ѧ꙯","ѫ꙯","ѩ꙯","ѭ꙯","ѯ꙯","ѱ꙯","ѳ꙯","ѵ꙯","ӏ꙯","ѣ꙯","Ꙁ꙯","Ꙃ꙯","Ꙅ꙯","Ꙇ꙯","Ꙋ꙯","Ꙍ꙯","Ꙑ꙯","Ꙩ꙯","Ꙫ꙯","Ꙭ꙯","ꙁ꙯","ꙃ꙯","ꙅ꙯","ꙇ꙯","ꙋ꙯","ꙍ꙯","ꙑ꙯","ꙗ꙯","ꙩ꙯","ꙫ꙯","ꙭ꙯"]
palat = ["А҄","Б҄","В҄","Г҄","Д҄","Е҄","Є҄","З҄","И҄","К҄","Л҄","М҄","Н҄","О҄","П҄","Р҄","С҄","Т҄","У҄","Ф҄","Х҄","Ц҄","Ч҄","҄","Ш҄","Щ҄","Ъ҄","Ы҄","Ь҄","Ю҄","Я҄","а҄","б҄","в҄","г҄","д҄","е҄","ж҄","з҄","и҄","҄","к҄","л҄","м҄","н҄","о҄","п҄","р҄","с҄","т҄","у҄","ф҄","х҄","ц҄","ч҄","҄","ш҄","щ҄","ъ҄","ы҄","ь҄","э҄","ю҄","я҄","ѻ҄","ѡ҄","є҄","Ѥ҄","Ѧ҄","Ѫ҄","Ѩ҄","Ѭ҄","Ѯ҄","Ѱ҄","Ѳ҄","Ѵ҄","Ѡ҄","Ѹ҄","ї҄","і҄","ѹ҄","ѿ҄","ѡ҄","ѥ҄","ѧ҄","ѫ҄","ѩ҄","ѭ҄","ѯ҄","ѱ҄","ѳ҄","ѵ҄","ӏ҄","ѣ҄","Ꙁ҄","Ꙃ҄","Ꙅ҄","Ꙇ҄","Ꙋ҄","Ꙍ҄","Ꙑ҄","Ꙩ҄","Ꙫ҄","Ꙭ҄","ꙁ҄","ꙃ҄","ꙅ҄","ꙇ҄","ꙋ҄","ꙍ҄","ꙑ҄","ꙗ҄","ꙩ҄","ꙫ҄","ꙭ҄"]
poyerok = ["А꙽","Б꙽","В꙽","Г꙽","Д꙽","Е꙽","Є꙽","З꙽","И꙽","К꙽","Л꙽","М꙽","Н꙽","О꙽","П꙽","Р꙽","С꙽","Т꙽","У꙽","Ф꙽","Х꙽","Ц꙽","Ч꙽","꙽","Ш꙽","Щ꙽","Ъ꙽","Ы꙽","Ь꙽","Ю꙽","Я꙽","а꙽","б꙽","в꙽","г꙽","д꙽","е꙽","ж꙽","з꙽","и꙽","꙽","к꙽","л꙽","м꙽","н꙽","о꙽","п꙽","р꙽","с꙽","т꙽","у꙽","ф꙽","х꙽","ц꙽","ч꙽","꙽","ш꙽","щ꙽","ъ꙽","ы꙽","ь꙽","э꙽","ю꙽","я꙽","ѻ꙽","ѡ꙽","є꙽","Ѥ꙽","Ѧ꙽","Ѫ꙽","Ѩ꙽","Ѭ꙽","Ѯ꙽","Ѱ꙽","Ѳ꙽","Ѵ꙽","Ѡ꙽","Ѹ꙽","ї꙽","і꙽","ѹ꙽","ѿ꙽","ѡ꙽","ѥ꙽","ѧ꙽","ѫ꙽","ѩ꙽","ѭ꙽","ѯ꙽","ѱ꙽","ѳ꙽","ѵ꙽","ӏ꙽","ѣ꙽","Ꙁ꙽","Ꙃ꙽","Ꙅ꙽","Ꙇ꙽","Ꙋ꙽","Ꙍ꙽","Ꙑ꙽","Ꙩ꙽","Ꙫ꙽","Ꙭ꙽","ꙁ꙽","ꙃ꙽","ꙅ꙽","ꙇ꙽","ꙋ꙽","ꙍ꙽","ꙑ꙽","ꙗ꙽","ꙩ꙽","ꙫ꙽","ꙭ꙽"]
pneuma1 = ["А҅","Б҅","В҅","Г҅","Д҅","Е҅","Є҅","З҅","И҅","К҅","Л҅","М҅","Н҅","О҅","П҅","Р҅","С҅","Т҅","У҅","Ф҅","Х҅","Ц҅","Ч҅","҅","Ш҅","Щ҅","Ъ҅","Ы҅","Ь҅","Ю҅","Я҅","а҅","б҅","в҅","г҅","д҅","е҅","ж҅","з҅","и҅","҅","к҅","л҅","м҅","н҅","о҅","п҅","р҅","с҅","т҅","у҅","ф҅","х҅","ц҅","ч҅","҅","ш҅","щ҅","ъ҅","ы҅","ь҅","э҅","ю҅","я҅","ѻ҅","ѡ҅","є҅","Ѥ҅","Ѧ҅","Ѫ҅","Ѩ҅","Ѭ҅","Ѯ҅","Ѱ҅","Ѳ҅","Ѵ҅","Ѡ҅","Ѹ҅","ї҅","і҅","ѹ҅","ѿ҅","ѡ҅","ѥ҅","ѧ҅","ѫ҅","ѩ҅","ѭ҅","ѯ҅","ѱ҅","ѳ҅","ѵ҅","ӏ҅","ѣ҅","Ꙁ҅","Ꙃ҅","Ꙅ҅","Ꙇ҅","Ꙋ҅","Ꙍ҅","Ꙑ҅","Ꙩ҅","Ꙫ҅","Ꙭ҅","ꙁ҅","ꙃ҅","ꙅ҅","ꙇ҅","ꙋ҅","ꙍ҅","ꙑ҅","ꙗ҅","ꙩ҅","ꙫ҅","ꙭ҅"]
pneuma2 = ["А҆","Б҆","В҆","Г҆","Д҆","Е҆","Є҆","З҆","И҆","К҆","Л҆","М҆","Н҆","О҆","П҆","Р҆","С҆","Т҆","У҆","Ф҆","Х҆","Ц҆","Ч҆","҆","Ш҆","Щ҆","Ъ҆","Ы҆","Ь҆","Ю҆","Я҆","а҆","б҆","в҆","г҆","д҆","е҆","ж҆","з҆","и҆","҆","к҆","л҆","м҆","н҆","о҆","п҆","р҆","с҆","т҆","у҆","ф҆","х҆","ц҆","ч҆","҆","ш҆","щ҆","ъ҆","ы҆","ь҆","э҆","ю҆","я҆","ѻ҆","ѡ҆","є҆","Ѥ҆","Ѧ҆","Ѫ҆","Ѩ҆","Ѭ҆","Ѯ҆","Ѱ҆","Ѳ҆","Ѵ҆","Ѡ҆","Ѹ҆","ї҆","і҆","ѹ҆","ѿ҆","ѡ҆","ѥ҆","ѧ҆","ѫ҆","ѩ҆","ѭ҆","ѯ҆","ѱ҆","ѳ҆","ѵ҆","ӏ҆","ѣ҆","Ꙁ҆","Ꙃ҆","Ꙅ҆","Ꙇ҆","Ꙋ҆","Ꙍ҆","Ꙑ҆","Ꙩ҆","Ꙫ҆","Ꙭ҆","ꙁ҆","ꙃ҆","ꙅ҆","ꙇ҆","ꙋ҆","ꙍ҆","ꙑ҆","ꙗ҆","ꙩ҆","ꙫ҆","ꙭ҆"]
supb = ["Аⷠ","Бⷠ","Вⷠ","Гⷠ","Дⷠ","Еⷠ","Єⷠ","Зⷠ","Иⷠ","Кⷠ","Лⷠ","Мⷠ","Нⷠ","Оⷠ","Пⷠ","Рⷠ","Сⷠ","Тⷠ","Уⷠ","Фⷠ","Хⷠ","Цⷠ","Чⷠ","ⷠ","Шⷠ","Щⷠ","Ъⷠ","Ыⷠ","Ьⷠ","Юⷠ","Яⷠ","аⷠ","бⷠ","вⷠ","гⷠ","дⷠ","еⷠ","жⷠ","зⷠ","иⷠ","ⷠ","кⷠ","лⷠ","мⷠ","нⷠ","оⷠ","пⷠ","рⷠ","сⷠ","тⷠ","уⷠ","фⷠ","хⷠ","цⷠ","чⷠ","ⷠ","шⷠ","щⷠ","ъⷠ","ыⷠ","ьⷠ","эⷠ","юⷠ","яⷠ","ѻⷠ","ѡⷠ","єⷠ","Ѥⷠ","Ѧⷠ","Ѫⷠ","Ѩⷠ","Ѭⷠ","Ѯⷠ","Ѱⷠ","Ѳⷠ","Ѵⷠ","Ѡⷠ","Ѹⷠ","їⷠ","іⷠ","ѹⷠ","ѿⷠ","ѡⷠ","ѥⷠ","ѧⷠ","ѫⷠ","ѩⷠ","ѭⷠ","ѯⷠ","ѱⷠ","ѳⷠ","ѵⷠ","ӏⷠ","ѣⷠ","Ꙁⷠ","Ꙃⷠ","Ꙅⷠ","Ꙇⷠ","Ꙋⷠ","Ꙍⷠ","Ꙑⷠ","Ꙩⷠ","Ꙫⷠ","Ꙭⷠ","ꙁⷠ","ꙃⷠ","ꙅⷠ","ꙇⷠ","ꙋⷠ","ꙍⷠ","ꙑⷠ","ꙗⷠ","ꙩⷠ","ꙫⷠ","ꙭⷠ"]
supv = ["Аⷡ","Бⷡ","Вⷡ","Гⷡ","Дⷡ","Еⷡ","Єⷡ","Зⷡ","Иⷡ","Кⷡ","Лⷡ","Мⷡ","Нⷡ","Оⷡ","Пⷡ","Рⷡ","Сⷡ","Тⷡ","Уⷡ","Фⷡ","Хⷡ","Цⷡ","Чⷡ","ⷡ","Шⷡ","Щⷡ","Ъⷡ","Ыⷡ","Ьⷡ","Юⷡ","Яⷡ","аⷡ","бⷡ","вⷡ","гⷡ","дⷡ","еⷡ","жⷡ","зⷡ","иⷡ","ⷡ","кⷡ","лⷡ","мⷡ","нⷡ","оⷡ","пⷡ","рⷡ","сⷡ","тⷡ","уⷡ","фⷡ","хⷡ","цⷡ","чⷡ","ⷡ","шⷡ","щⷡ","ъⷡ","ыⷡ","ьⷡ","эⷡ","юⷡ","яⷡ","ѻⷡ","ѡⷡ","єⷡ","Ѥⷡ","Ѧⷡ","Ѫⷡ","Ѩⷡ","Ѭⷡ","Ѯⷡ","Ѱⷡ","Ѳⷡ","Ѵⷡ","Ѡⷡ","Ѹⷡ","їⷡ","іⷡ","ѹⷡ","ѿⷡ","ѡⷡ","ѥⷡ","ѧⷡ","ѫⷡ","ѩⷡ","ѭⷡ","ѯⷡ","ѱⷡ","ѳⷡ","ѵⷡ","ӏⷡ","ѣⷡ","Ꙁⷡ","Ꙃⷡ","Ꙅⷡ","Ꙇⷡ","Ꙋⷡ","Ꙍⷡ","Ꙑⷡ","Ꙩⷡ","Ꙫⷡ","Ꙭⷡ","ꙁⷡ","ꙃⷡ","ꙅⷡ","ꙇⷡ","ꙋⷡ","ꙍⷡ","ꙑⷡ","ꙗⷡ","ꙩⷡ","ꙫⷡ","ꙭⷡ"]
supd = ["Аⷣ","Бⷣ","Вⷣ","Гⷣ","Дⷣ","Еⷣ","Єⷣ","Зⷣ","Иⷣ","Кⷣ","Лⷣ","Мⷣ","Нⷣ","Оⷣ","Пⷣ","Рⷣ","Сⷣ","Тⷣ","Уⷣ","Фⷣ","Хⷣ","Цⷣ","Чⷣ","ⷣ","Шⷣ","Щⷣ","Ъⷣ","Ыⷣ","Ьⷣ","Юⷣ","Яⷣ","аⷣ","бⷣ","вⷣ","гⷣ","дⷣ","еⷣ","жⷣ","зⷣ","иⷣ","ⷣ","кⷣ","лⷣ","мⷣ","нⷣ","оⷣ","пⷣ","рⷣ","сⷣ","тⷣ","уⷣ","фⷣ","хⷣ","цⷣ","чⷣ","ⷣ","шⷣ","щⷣ","ъⷣ","ыⷣ","ьⷣ","эⷣ","юⷣ","яⷣ","ѻⷣ","ѡⷣ","єⷣ","Ѥⷣ","Ѧⷣ","Ѫⷣ","Ѩⷣ","Ѭⷣ","Ѯⷣ","Ѱⷣ","Ѳⷣ","Ѵⷣ","Ѡⷣ","Ѹⷣ","їⷣ","іⷣ","ѹⷣ","ѿⷣ","ѡⷣ","ѥⷣ","ѧⷣ","ѫⷣ","ѩⷣ","ѭⷣ","ѯⷣ","ѱⷣ","ѳⷣ","ѵⷣ","ӏⷣ","ѣⷣ","Ꙁⷣ","Ꙃⷣ","Ꙅⷣ","Ꙇⷣ","Ꙋⷣ","Ꙍⷣ","Ꙑⷣ","Ꙩⷣ","Ꙫⷣ","Ꙭⷣ","ꙁⷣ","ꙃⷣ","ꙅⷣ","ꙇⷣ","ꙋⷣ","ꙍⷣ","ꙑⷣ","ꙗⷣ","ꙩⷣ","ꙫⷣ","ꙭⷣ"]
supt = ["Аⷮ","Бⷮ","Вⷮ","Гⷮ","Дⷮ","Еⷮ","Єⷮ","Зⷮ","Иⷮ","Кⷮ","Лⷮ","Мⷮ","Нⷮ","Оⷮ","Пⷮ","Рⷮ","Сⷮ","Тⷮ","Уⷮ","Фⷮ","Хⷮ","Цⷮ","Чⷮ","ⷮ","Шⷮ","Щⷮ","Ъⷮ","Ыⷮ","Ьⷮ","Юⷮ","Яⷮ","аⷮ","бⷮ","вⷮ","гⷮ","дⷮ","еⷮ","жⷮ","зⷮ","иⷮ","ⷮ","кⷮ","лⷮ","мⷮ","нⷮ","оⷮ","пⷮ","рⷮ","сⷮ","тⷮ","уⷮ","фⷮ","хⷮ","цⷮ","чⷮ","ⷮ","шⷮ","щⷮ","ъⷮ","ыⷮ","ьⷮ","эⷮ","юⷮ","яⷮ","ѻⷮ","ѡⷮ","єⷮ","Ѥⷮ","Ѧⷮ","Ѫⷮ","Ѩⷮ","Ѭⷮ","Ѯⷮ","Ѱⷮ","Ѳⷮ","Ѵⷮ","Ѡⷮ","Ѹⷮ","їⷮ","іⷮ","ѹⷮ","ѿⷮ","ѡⷮ","ѥⷮ","ѧⷮ","ѫⷮ","ѩⷮ","ѭⷮ","ѯⷮ","ѱⷮ","ѳⷮ","ѵⷮ","ӏⷮ","ѣⷮ","Ꙁⷮ","Ꙃⷮ","Ꙅⷮ","Ꙇⷮ","Ꙋⷮ","Ꙍⷮ","Ꙑⷮ","Ꙩⷮ","Ꙫⷮ","Ꙭⷮ","ꙁⷮ","ꙃⷮ","ꙅⷮ","ꙇⷮ","ꙋⷮ","ꙍⷮ","ꙑⷮ","ꙗⷮ","ꙩⷮ","ꙫⷮ","ꙭⷮ"]
supx = ["Аⷯ","Бⷯ","Вⷯ","Гⷯ","Дⷯ","Еⷯ","Єⷯ","Зⷯ","Иⷯ","Кⷯ","Лⷯ","Мⷯ","Нⷯ","Оⷯ","Пⷯ","Рⷯ","Сⷯ","Тⷯ","Уⷯ","Фⷯ","Хⷯ","Цⷯ","Чⷯ","ⷯ","Шⷯ","Щⷯ","Ъⷯ","Ыⷯ","Ьⷯ","Юⷯ","Яⷯ","аⷯ","бⷯ","вⷯ","гⷯ","дⷯ","еⷯ","жⷯ","зⷯ","иⷯ","ⷯ","кⷯ","лⷯ","мⷯ","нⷯ","оⷯ","пⷯ","рⷯ","сⷯ","тⷯ","уⷯ","фⷯ","хⷯ","цⷯ","чⷯ","ⷯ","шⷯ","щⷯ","ъⷯ","ыⷯ","ьⷯ","эⷯ","юⷯ","яⷯ","ѻⷯ","ѡⷯ","єⷯ","Ѥⷯ","Ѧⷯ","Ѫⷯ","Ѩⷯ","Ѭⷯ","Ѯⷯ","Ѱⷯ","Ѳⷯ","Ѵⷯ","Ѡⷯ","Ѹⷯ","їⷯ","іⷯ","ѹⷯ","ѿⷯ","ѡⷯ","ѥⷯ","ѧⷯ","ѫⷯ","ѩⷯ","ѭⷯ","ѯⷯ","ѱⷯ","ѳⷯ","ѵⷯ","ӏⷯ","ѣⷯ","Ꙁⷯ","Ꙃⷯ","Ꙅⷯ","Ꙇⷯ","Ꙋⷯ","Ꙍⷯ","Ꙑⷯ","Ꙩⷯ","Ꙫⷯ","Ꙭⷯ","ꙁⷯ","ꙃⷯ","ꙅⷯ","ꙇⷯ","ꙋⷯ","ꙍⷯ","ꙑⷯ","ꙗⷯ","ꙩⷯ","ꙫⷯ","ꙭⷯ"]
supm = ["Аⷨ","Бⷨ","Вⷨ","Гⷨ","Дⷨ","Еⷨ","Єⷨ","Зⷨ","Иⷨ","Кⷨ","Лⷨ","Мⷨ","Нⷨ","Оⷨ","Пⷨ","Рⷨ","Сⷨ","Тⷨ","Уⷨ","Фⷨ","Хⷨ","Цⷨ","Чⷨ","ⷨ","Шⷨ","Щⷨ","Ъⷨ","Ыⷨ","Ьⷨ","Юⷨ","Яⷨ","аⷨ","бⷨ","вⷨ","гⷨ","дⷨ","еⷨ","жⷨ","зⷨ","иⷨ","ⷨ","кⷨ","лⷨ","мⷨ","нⷨ","оⷨ","пⷨ","рⷨ","сⷨ","тⷨ","уⷨ","фⷨ","хⷨ","цⷨ","чⷨ","ⷨ","шⷨ","щⷨ","ъⷨ","ыⷨ","ьⷨ","эⷨ","юⷨ","яⷨ","ѻⷨ","ѡⷨ","єⷨ","Ѥⷨ","Ѧⷨ","Ѫⷨ","Ѩⷨ","Ѭⷨ","Ѯⷨ","Ѱⷨ","Ѳⷨ","Ѵⷨ","Ѡⷨ","Ѹⷨ","їⷨ","іⷨ","ѹⷨ","ѿⷨ","ѡⷨ","ѥⷨ","ѧⷨ","ѫⷨ","ѩⷨ","ѭⷨ","ѯⷨ","ѱⷨ","ѳⷨ","ѵⷨ","ӏⷨ","ѣⷨ","Ꙁⷨ","Ꙃⷨ","Ꙅⷨ","Ꙇⷨ","Ꙋⷨ","Ꙍⷨ","Ꙑⷨ","Ꙩⷨ","Ꙫⷨ","Ꙭⷨ","ꙁⷨ","ꙃⷨ","ꙅⷨ","ꙇⷨ","ꙋⷨ","ꙍⷨ","ꙑⷨ","ꙗⷨ","ꙩⷨ","ꙫⷨ","ꙭⷨ"]
supo = ["Аⷪ","Бⷪ","Вⷪ","Гⷪ","Дⷪ","Еⷪ","Єⷪ","Зⷪ","Иⷪ","Кⷪ","Лⷪ","Мⷪ","Нⷪ","Оⷪ","Пⷪ","Рⷪ","Сⷪ","Тⷪ","Уⷪ","Фⷪ","Хⷪ","Цⷪ","Чⷪ","ⷪ","Шⷪ","Щⷪ","Ъⷪ","Ыⷪ","Ьⷪ","Юⷪ","Яⷪ","аⷪ","бⷪ","вⷪ","гⷪ","дⷪ","еⷪ","жⷪ","зⷪ","иⷪ","ⷪ","кⷪ","лⷪ","мⷪ","нⷪ","оⷪ","пⷪ","рⷪ","сⷪ","тⷪ","уⷪ","фⷪ","хⷪ","цⷪ","чⷪ","ⷪ","шⷪ","щⷪ","ъⷪ","ыⷪ","ьⷪ","эⷪ","юⷪ","яⷪ","ѻⷪ","ѡⷪ","єⷪ","Ѥⷪ","Ѧⷪ","Ѫⷪ","Ѩⷪ","Ѭⷪ","Ѯⷪ","Ѱⷪ","Ѳⷪ","Ѵⷪ","Ѡⷪ","Ѹⷪ","їⷪ","іⷪ","ѹⷪ","ѿⷪ","ѡⷪ","ѥⷪ","ѧⷪ","ѫⷪ","ѩⷪ","ѭⷪ","ѯⷪ","ѱⷪ","ѳⷪ","ѵⷪ","ӏⷪ","ѣⷪ","Ꙁⷪ","Ꙃⷪ","Ꙅⷪ","Ꙇⷪ","Ꙋⷪ","Ꙍⷪ","Ꙑⷪ","Ꙩⷪ","Ꙫⷪ","Ꙭⷪ","ꙁⷪ","ꙃⷪ","ꙅⷪ","ꙇⷪ","ꙋⷪ","ꙍⷪ","ꙑⷪ","ꙗⷪ","ꙩⷪ","ꙫⷪ","ꙭⷪ"]
supa = ["Аⷶ","Бⷶ","Вⷶ","Гⷶ","Дⷶ","Еⷶ","Єⷶ","Зⷶ","Иⷶ","Кⷶ","Лⷶ","Мⷶ","Нⷶ","Оⷶ","Пⷶ","Рⷶ","Сⷶ","Тⷶ","Уⷶ","Фⷶ","Хⷶ","Цⷶ","Чⷶ","ⷶ","Шⷶ","Щⷶ","Ъⷶ","Ыⷶ","Ьⷶ","Юⷶ","Яⷶ","аⷶ","бⷶ","вⷶ","гⷶ","дⷶ","еⷶ","жⷶ","зⷶ","иⷶ","ⷶ","кⷶ","лⷶ","мⷶ","нⷶ","оⷶ","пⷶ","рⷶ","сⷶ","тⷶ","уⷶ","фⷶ","хⷶ","цⷶ","чⷶ","ⷶ","шⷶ","щⷶ","ъⷶ","ыⷶ","ьⷶ","эⷶ","юⷶ","яⷶ","ѻⷶ","ѡⷶ","єⷶ","Ѥⷶ","Ѧⷶ","Ѫⷶ","Ѩⷶ","Ѭⷶ","Ѯⷶ","Ѱⷶ","Ѳⷶ","Ѵⷶ","Ѡⷶ","Ѹⷶ","їⷶ","іⷶ","ѹⷶ","ѿⷶ","ѡⷶ","ѥⷶ","ѧⷶ","ѫⷶ","ѩⷶ","ѭⷶ","ѯⷶ","ѱⷶ","ѳⷶ","ѵⷶ","ӏⷶ","ѣⷶ","Ꙁⷶ","Ꙃⷶ","Ꙅⷶ","Ꙇⷶ","Ꙋⷶ","Ꙍⷶ","Ꙑⷶ","Ꙩⷶ","Ꙫⷶ","Ꙭⷶ","ꙁⷶ","ꙃⷶ","ꙅⷶ","ꙇⷶ","ꙋⷶ","ꙍⷶ","ꙑⷶ","ꙗⷶ","ꙩⷶ","ꙫⷶ","ꙭⷶ"]
supch = ["Аⷱ","Бⷱ","Вⷱ","Гⷱ","Дⷱ","Еⷱ","Єⷱ","Зⷱ","Иⷱ","Кⷱ","Лⷱ","Мⷱ","Нⷱ","Оⷱ","Пⷱ","Рⷱ","Сⷱ","Тⷱ","Уⷱ","Фⷱ","Хⷱ","Цⷱ","Чⷱ","ⷱ","Шⷱ","Щⷱ","Ъⷱ","Ыⷱ","Ьⷱ","Юⷱ","Яⷱ","аⷱ","бⷱ","вⷱ","гⷱ","дⷱ","еⷱ","жⷱ","зⷱ","иⷱ","ⷱ","кⷱ","лⷱ","мⷱ","нⷱ","оⷱ","пⷱ","рⷱ","сⷱ","тⷱ","уⷱ","фⷱ","хⷱ","цⷱ","чⷱ","ⷱ","шⷱ","щⷱ","ъⷱ","ыⷱ","ьⷱ","эⷱ","юⷱ","яⷱ","ѻⷱ","ѡⷱ","єⷱ","Ѥⷱ","Ѧⷱ","Ѫⷱ","Ѩⷱ","Ѭⷱ","Ѯⷱ","Ѱⷱ","Ѳⷱ","Ѵⷱ","Ѡⷱ","Ѹⷱ","їⷱ","іⷱ","ѹⷱ","ѿⷱ","ѡⷱ","ѥⷱ","ѧⷱ","ѫⷱ","ѩⷱ","ѭⷱ","ѯⷱ","ѱⷱ","ѳⷱ","ѵⷱ","ӏⷱ","ѣⷱ","Ꙁⷱ","Ꙃⷱ","Ꙅⷱ","Ꙇⷱ","Ꙋⷱ","Ꙍⷱ","Ꙑⷱ","Ꙩⷱ","Ꙫⷱ","Ꙭⷱ","ꙁⷱ","ꙃⷱ","ꙅⷱ","ꙇⷱ","ꙋⷱ","ꙍⷱ","ꙑⷱ","ꙗⷱ","ꙩⷱ","ꙫⷱ","ꙭⷱ"]
supou = ["Аⷹ","Бⷹ","Вⷹ","Гⷹ","Дⷹ","Еⷹ","Єⷹ","Зⷹ","Иⷹ","Кⷹ","Лⷹ","Мⷹ","Нⷹ","Оⷹ","Пⷹ","Рⷹ","Сⷹ","Тⷹ","Уⷹ","Фⷹ","Хⷹ","Цⷹ","Чⷹ","ⷹ","Шⷹ","Щⷹ","Ъⷹ","Ыⷹ","Ьⷹ","Юⷹ","Яⷹ","аⷹ","бⷹ","вⷹ","гⷹ","дⷹ","еⷹ","жⷹ","зⷹ","иⷹ","ⷹ","кⷹ","лⷹ","мⷹ","нⷹ","оⷹ","пⷹ","рⷹ","сⷹ","тⷹ","уⷹ","фⷹ","хⷹ","цⷹ","чⷹ","ⷹ","шⷹ","щⷹ","ъⷹ","ыⷹ","ьⷹ","эⷹ","юⷹ","яⷹ","ѻⷹ","ѡⷹ","єⷹ","Ѥⷹ","Ѧⷹ","Ѫⷹ","Ѩⷹ","Ѭⷹ","Ѯⷹ","Ѱⷹ","Ѳⷹ","Ѵⷹ","Ѡⷹ","Ѹⷹ","їⷹ","іⷹ","ѹⷹ","ѿⷹ","ѡⷹ","ѥⷹ","ѧⷹ","ѫⷹ","ѩⷹ","ѭⷹ","ѯⷹ","ѱⷹ","ѳⷹ","ѵⷹ","ӏⷹ","ѣⷹ","Ꙁⷹ","Ꙃⷹ","Ꙅⷹ","Ꙇⷹ","Ꙋⷹ","Ꙍⷹ","Ꙑⷹ","Ꙩⷹ","Ꙫⷹ","Ꙭⷹ","ꙁⷹ","ꙃⷹ","ꙅⷹ","ꙇⷹ","ꙋⷹ","ꙍⷹ","ꙑⷹ","ꙗⷹ","ꙩⷹ","ꙫⷹ","ꙭⷹ"]
supzh = ["Аⷤ","Бⷤ","Вⷤ","Гⷤ","Дⷤ","Еⷤ","Єⷤ","Зⷤ","Иⷤ","Кⷤ","Лⷤ","Мⷤ","Нⷤ","Оⷤ","Пⷤ","Рⷤ","Сⷤ","Тⷤ","Уⷤ","Фⷤ","Хⷤ","Цⷤ","Чⷤ","ⷤ","Шⷤ","Щⷤ","Ъⷤ","Ыⷤ","Ьⷤ","Юⷤ","Яⷤ","аⷤ","бⷤ","вⷤ","гⷤ","дⷤ","еⷤ","жⷤ","зⷤ","иⷤ","ⷤ","кⷤ","лⷤ","мⷤ","нⷤ","оⷤ","пⷤ","рⷤ","сⷤ","тⷤ","уⷤ","фⷤ","хⷤ","цⷤ","чⷤ","ⷤ","шⷤ","щⷤ","ъⷤ","ыⷤ","ьⷤ","эⷤ","юⷤ","яⷤ","ѻⷤ","ѡⷤ","єⷤ","Ѥⷤ","Ѧⷤ","Ѫⷤ","Ѩⷤ","Ѭⷤ","Ѯⷤ","Ѱⷤ","Ѳⷤ","Ѵⷤ","Ѡⷤ","Ѹⷤ","їⷤ","іⷤ","ѹⷤ","ѿⷤ","ѡⷤ","ѥⷤ","ѧⷤ","ѫⷤ","ѩⷤ","ѭⷤ","ѯⷤ","ѱⷤ","ѳⷤ","ѵⷤ","ӏⷤ","ѣⷤ","Ꙁⷤ","Ꙃⷤ","Ꙅⷤ","Ꙇⷤ","Ꙋⷤ","Ꙍⷤ","Ꙑⷤ","Ꙩⷤ","Ꙫⷤ","Ꙭⷤ","ꙁⷤ","ꙃⷤ","ꙅⷤ","ꙇⷤ","ꙋⷤ","ꙍⷤ","ꙑⷤ","ꙗⷤ","ꙩⷤ","ꙫⷤ","ꙭⷤ"]
supn = ["Аⷩ","Бⷩ","Вⷩ","Гⷩ","Дⷩ","Еⷩ","Єⷩ","Зⷩ","Иⷩ","Кⷩ","Лⷩ","Мⷩ","Нⷩ","Оⷩ","Пⷩ","Рⷩ","Сⷩ","Тⷩ","Уⷩ","Фⷩ","Хⷩ","Цⷩ","Чⷩ","ⷩ","Шⷩ","Щⷩ","Ъⷩ","Ыⷩ","Ьⷩ","Юⷩ","Яⷩ","аⷩ","бⷩ","вⷩ","гⷩ","дⷩ","еⷩ","жⷩ","зⷩ","иⷩ","ⷩ","кⷩ","лⷩ","мⷩ","нⷩ","оⷩ","пⷩ","рⷩ","сⷩ","тⷩ","уⷩ","фⷩ","хⷩ","цⷩ","чⷩ","ⷩ","шⷩ","щⷩ","ъⷩ","ыⷩ","ьⷩ","эⷩ","юⷩ","яⷩ","ѻⷩ","ѡⷩ","єⷩ","Ѥⷩ","Ѧⷩ","Ѫⷩ","Ѩⷩ","Ѭⷩ","Ѯⷩ","Ѱⷩ","Ѳⷩ","Ѵⷩ","Ѡⷩ","Ѹⷩ","їⷩ","іⷩ","ѹⷩ","ѿⷩ","ѡⷩ","ѥⷩ","ѧⷩ","ѫⷩ","ѩⷩ","ѭⷩ","ѯⷩ","ѱⷩ","ѳⷩ","ѵⷩ","ӏⷩ","ѣⷩ","Ꙁⷩ","Ꙃⷩ","Ꙅⷩ","Ꙇⷩ","Ꙋⷩ","Ꙍⷩ","Ꙑⷩ","Ꙩⷩ","Ꙫⷩ","Ꙭⷩ","ꙁⷩ","ꙃⷩ","ꙅⷩ","ꙇⷩ","ꙋⷩ","ꙍⷩ","ꙑⷩ","ꙗⷩ","ꙩⷩ","ꙫⷩ","ꙭⷩ"]
supon = ["Аⷾ","Бⷾ","Вⷾ","Гⷾ","Дⷾ","Еⷾ","Єⷾ","Зⷾ","Иⷾ","Кⷾ","Лⷾ","Мⷾ","Нⷾ","Оⷾ","Пⷾ","Рⷾ","Сⷾ","Тⷾ","Уⷾ","Фⷾ","Хⷾ","Цⷾ","Чⷾ","ⷾ","Шⷾ","Щⷾ","Ъⷾ","Ыⷾ","Ьⷾ","Юⷾ","Яⷾ","аⷾ","бⷾ","вⷾ","гⷾ","дⷾ","еⷾ","жⷾ","зⷾ","иⷾ","ⷾ","кⷾ","лⷾ","мⷾ","нⷾ","оⷾ","пⷾ","рⷾ","сⷾ","тⷾ","уⷾ","фⷾ","хⷾ","цⷾ","чⷾ","ⷾ","шⷾ","щⷾ","ъⷾ","ыⷾ","ьⷾ","эⷾ","юⷾ","яⷾ","ѻⷾ","ѡⷾ","єⷾ","Ѥⷾ","Ѧⷾ","Ѫⷾ","Ѩⷾ","Ѭⷾ","Ѯⷾ","Ѱⷾ","Ѳⷾ","Ѵⷾ","Ѡⷾ","Ѹⷾ","їⷾ","іⷾ","ѹⷾ","ѿⷾ","ѡⷾ","ѥⷾ","ѧⷾ","ѫⷾ","ѩⷾ","ѭⷾ","ѯⷾ","ѱⷾ","ѳⷾ","ѵⷾ","ӏⷾ","ѣⷾ","Ꙁⷾ","Ꙃⷾ","Ꙅⷾ","Ꙇⷾ","Ꙋⷾ","Ꙍⷾ","Ꙑⷾ","Ꙩⷾ","Ꙫⷾ","Ꙭⷾ","ꙁⷾ","ꙃⷾ","ꙅⷾ","ꙇⷾ","ꙋⷾ","ꙍⷾ","ꙑⷾ","ꙗⷾ","ꙩⷾ","ꙫⷾ","ꙭⷾ"]
supen = ["Аⷽ","Бⷽ","Вⷽ","Гⷽ","Дⷽ","Еⷽ","Єⷽ","Зⷽ","Иⷽ","Кⷽ","Лⷽ","Мⷽ","Нⷽ","Оⷽ","Пⷽ","Рⷽ","Сⷽ","Тⷽ","Уⷽ","Фⷽ","Хⷽ","Цⷽ","Чⷽ","ⷽ","Шⷽ","Щⷽ","Ъⷽ","Ыⷽ","Ьⷽ","Юⷽ","Яⷽ","аⷽ","бⷽ","вⷽ","гⷽ","дⷽ","еⷽ","жⷽ","зⷽ","иⷽ","ⷽ","кⷽ","лⷽ","мⷽ","нⷽ","оⷽ","пⷽ","рⷽ","сⷽ","тⷽ","уⷽ","фⷽ","хⷽ","цⷽ","чⷽ","ⷽ","шⷽ","щⷽ","ъⷽ","ыⷽ","ьⷽ","эⷽ","юⷽ","яⷽ","ѻⷽ","ѡⷽ","єⷽ","Ѥⷽ","Ѧⷽ","Ѫⷽ","Ѩⷽ","Ѭⷽ","Ѯⷽ","Ѱⷽ","Ѳⷽ","Ѵⷽ","Ѡⷽ","Ѹⷽ","їⷽ","іⷽ","ѹⷽ","ѿⷽ","ѡⷽ","ѥⷽ","ѧⷽ","ѫⷽ","ѩⷽ","ѭⷽ","ѯⷽ","ѱⷽ","ѳⷽ","ѵⷽ","ӏⷽ","ѣⷽ","Ꙁⷽ","Ꙃⷽ","Ꙅⷽ","Ꙇⷽ","Ꙋⷽ","Ꙍⷽ","Ꙑⷽ","Ꙩⷽ","Ꙫⷽ","Ꙭⷽ","ꙁⷽ","ꙃⷽ","ꙅⷽ","ꙇⷽ","ꙋⷽ","ꙍⷽ","ꙑⷽ","ꙗⷽ","ꙩⷽ","ꙫⷽ","ꙭⷽ"]
supg = ["Аⷢ","Бⷢ","Вⷢ","Гⷢ","Дⷢ","Еⷢ","Єⷢ","Зⷢ","Иⷢ","Кⷢ","Лⷢ","Мⷢ","Нⷢ","Оⷢ","Пⷢ","Рⷢ","Сⷢ","Тⷢ","Уⷢ","Фⷢ","Хⷢ","Цⷢ","Чⷢ","ⷢ","Шⷢ","Щⷢ","Ъⷢ","Ыⷢ","Ьⷢ","Юⷢ","Яⷢ","аⷢ","бⷢ","вⷢ","гⷢ","дⷢ","еⷢ","жⷢ","зⷢ","иⷢ","ⷢ","кⷢ","лⷢ","мⷢ","нⷢ","оⷢ","пⷢ","рⷢ","сⷢ","тⷢ","уⷢ","фⷢ","хⷢ","цⷢ","чⷢ","ⷢ","шⷢ","щⷢ","ъⷢ","ыⷢ","ьⷢ","эⷢ","юⷢ","яⷢ","ѻⷢ","ѡⷢ","єⷢ","Ѥⷢ","Ѧⷢ","Ѫⷢ","Ѩⷢ","Ѭⷢ","Ѯⷢ","Ѱⷢ","Ѳⷢ","Ѵⷢ","Ѡⷢ","Ѹⷢ","їⷢ","іⷢ","ѹⷢ","ѿⷢ","ѡⷢ","ѥⷢ","ѧⷢ","ѫⷢ","ѩⷢ","ѭⷢ","ѯⷢ","ѱⷢ","ѳⷢ","ѵⷢ","ӏⷢ","ѣⷢ","Ꙁⷢ","Ꙃⷢ","Ꙅⷢ","Ꙇⷢ","Ꙋⷢ","Ꙍⷢ","Ꙑⷢ","Ꙩⷢ","Ꙫⷢ","Ꙭⷢ","ꙁⷢ","ꙃⷢ","ꙅⷢ","ꙇⷢ","ꙋⷢ","ꙍⷢ","ꙑⷢ","ꙗⷢ","ꙩⷢ","ꙫⷢ","ꙭⷢ"]
supr = ["Аⷬ","Бⷬ","Вⷬ","Гⷬ","Дⷬ","Еⷬ","Єⷬ","Зⷬ","Иⷬ","Кⷬ","Лⷬ","Мⷬ","Нⷬ","Оⷬ","Пⷬ","Рⷬ","Сⷬ","Тⷬ","Уⷬ","Фⷬ","Хⷬ","Цⷬ","Чⷬ","ⷬ","Шⷬ","Щⷬ","Ъⷬ","Ыⷬ","Ьⷬ","Юⷬ","Яⷬ","аⷬ","бⷬ","вⷬ","гⷬ","дⷬ","еⷬ","жⷬ","зⷬ","иⷬ","ⷬ","кⷬ","лⷬ","мⷬ","нⷬ","оⷬ","пⷬ","рⷬ","сⷬ","тⷬ","уⷬ","фⷬ","хⷬ","цⷬ","чⷬ","ⷬ","шⷬ","щⷬ","ъⷬ","ыⷬ","ьⷬ","эⷬ","юⷬ","яⷬ","ѻⷬ","ѡⷬ","єⷬ","Ѥⷬ","Ѧⷬ","Ѫⷬ","Ѩⷬ","Ѭⷬ","Ѯⷬ","Ѱⷬ","Ѳⷬ","Ѵⷬ","Ѡⷬ","Ѹⷬ","їⷬ","іⷬ","ѹⷬ","ѿⷬ","ѡⷬ","ѥⷬ","ѧⷬ","ѫⷬ","ѩⷬ","ѭⷬ","ѯⷬ","ѱⷬ","ѳⷬ","ѵⷬ","ӏⷬ","ѣⷬ","Ꙁⷬ","Ꙃⷬ","Ꙅⷬ","Ꙇⷬ","Ꙋⷬ","Ꙍⷬ","Ꙑⷬ","Ꙩⷬ","Ꙫⷬ","Ꙭⷬ","ꙁⷬ","ꙃⷬ","ꙅⷬ","ꙇⷬ","ꙋⷬ","ꙍⷬ","ꙑⷬ","ꙗⷬ","ꙩⷬ","ꙫⷬ","ꙭⷬ"]
supjeru = ["Аꙸ","Бꙸ","Вꙸ","Гꙸ","Дꙸ","Еꙸ","Єꙸ","Зꙸ","Иꙸ","Кꙸ","Лꙸ","Мꙸ","Нꙸ","Оꙸ","Пꙸ","Рꙸ","Сꙸ","Тꙸ","Уꙸ","Фꙸ","Хꙸ","Цꙸ","Чꙸ","ꙸ","Шꙸ","Щꙸ","Ъꙸ","Ыꙸ","Ьꙸ","Юꙸ","Яꙸ","аꙸ","бꙸ","вꙸ","гꙸ","дꙸ","еꙸ","жꙸ","зꙸ","иꙸ","ꙸ","кꙸ","лꙸ","мꙸ","нꙸ","оꙸ","пꙸ","рꙸ","сꙸ","тꙸ","уꙸ","фꙸ","хꙸ","цꙸ","чꙸ","ꙸ","шꙸ","щꙸ","ъꙸ","ыꙸ","ьꙸ","эꙸ","юꙸ","яꙸ","ѻꙸ","ѡꙸ","єꙸ","Ѥꙸ","Ѧꙸ","Ѫꙸ","Ѩꙸ","Ѭꙸ","Ѯꙸ","Ѱꙸ","Ѳꙸ","Ѵꙸ","Ѡꙸ","Ѹꙸ","їꙸ","іꙸ","ѹꙸ","ѿꙸ","ѡꙸ","ѥꙸ","ѧꙸ","ѫꙸ","ѩꙸ","ѭꙸ","ѯꙸ","ѱꙸ","ѳꙸ","ѵꙸ","ӏꙸ","ѣꙸ","Ꙁꙸ","Ꙃꙸ","Ꙅꙸ","Ꙇꙸ","Ꙋꙸ","Ꙍꙸ","Ꙑꙸ","Ꙩꙸ","Ꙫꙸ","Ꙭꙸ","ꙁꙸ","ꙃꙸ","ꙅꙸ","ꙇꙸ","ꙋꙸ","ꙍꙸ","ꙑꙸ","ꙗꙸ","ꙩꙸ","ꙫꙸ","ꙭꙸ"]
supl = ["Аⷧ","Бⷧ","Вⷧ","Гⷧ","Дⷧ","Еⷧ","Єⷧ","Зⷧ","Иⷧ","Кⷧ","Лⷧ","Мⷧ","Нⷧ","Оⷧ","Пⷧ","Рⷧ","Сⷧ","Тⷧ","Уⷧ","Фⷧ","Хⷧ","Цⷧ","Чⷧ","ⷧ","Шⷧ","Щⷧ","Ъⷧ","Ыⷧ","Ьⷧ","Юⷧ","Яⷧ","аⷧ","бⷧ","вⷧ","гⷧ","дⷧ","еⷧ","жⷧ","зⷧ","иⷧ","ⷧ","кⷧ","лⷧ","мⷧ","нⷧ","оⷧ","пⷧ","рⷧ","сⷧ","тⷧ","уⷧ","фⷧ","хⷧ","цⷧ","чⷧ","ⷧ","шⷧ","щⷧ","ъⷧ","ыⷧ","ьⷧ","эⷧ","юⷧ","яⷧ","ѻⷧ","ѡⷧ","єⷧ","Ѥⷧ","Ѧⷧ","Ѫⷧ","Ѩⷧ","Ѭⷧ","Ѯⷧ","Ѱⷧ","Ѳⷧ","Ѵⷧ","Ѡⷧ","Ѹⷧ","їⷧ","іⷧ","ѹⷧ","ѿⷧ","ѡⷧ","ѥⷧ","ѧⷧ","ѫⷧ","ѩⷧ","ѭⷧ","ѯⷧ","ѱⷧ","ѳⷧ","ѵⷧ","ӏⷧ","ѣⷧ","Ꙁⷧ","Ꙃⷧ","Ꙅⷧ","Ꙇⷧ","Ꙋⷧ","Ꙍⷧ","Ꙑⷧ","Ꙩⷧ","Ꙫⷧ","Ꙭⷧ","ꙁⷧ","ꙃⷧ","ꙅⷧ","ꙇⷧ","ꙋⷧ","ꙍⷧ","ꙑⷧ","ꙗⷧ","ꙩⷧ","ꙫⷧ","ꙭⷧ"]
supe = ["Аⷷ","Бⷷ","Вⷷ","Гⷷ","Дⷷ","Еⷷ","Єⷷ","Зⷷ","Иⷷ","Кⷷ","Лⷷ","Мⷷ","Нⷷ","Оⷷ","Пⷷ","Рⷷ","Сⷷ","Тⷷ","Уⷷ","Фⷷ","Хⷷ","Цⷷ","Чⷷ","ⷷ","Шⷷ","Щⷷ","Ъⷷ","Ыⷷ","Ьⷷ","Юⷷ","Яⷷ","аⷷ","бⷷ","вⷷ","гⷷ","дⷷ","еⷷ","жⷷ","зⷷ","иⷷ","ⷷ","кⷷ","лⷷ","мⷷ","нⷷ","оⷷ","пⷷ","рⷷ","сⷷ","тⷷ","уⷷ","фⷷ","хⷷ","цⷷ","чⷷ","ⷷ","шⷷ","щⷷ","ъⷷ","ыⷷ","ьⷷ","эⷷ","юⷷ","яⷷ","ѻⷷ","ѡⷷ","єⷷ","Ѥⷷ","Ѧⷷ","Ѫⷷ","Ѩⷷ","Ѭⷷ","Ѯⷷ","Ѱⷷ","Ѳⷷ","Ѵⷷ","Ѡⷷ","Ѹⷷ","їⷷ","іⷷ","ѹⷷ","ѿⷷ","ѡⷷ","ѥⷷ","ѧⷷ","ѫⷷ","ѩⷷ","ѭⷷ","ѯⷷ","ѱⷷ","ѳⷷ","ѵⷷ","ӏⷷ","ѣⷷ","Ꙁⷷ","Ꙃⷷ","Ꙅⷷ","Ꙇⷷ","Ꙋⷷ","Ꙍⷷ","Ꙑⷷ","Ꙩⷷ","Ꙫⷷ","Ꙭⷷ","ꙁⷷ","ꙃⷷ","ꙅⷷ","ꙇⷷ","ꙋⷷ","ꙍⷷ","ꙑⷷ","ꙗⷷ","ꙩⷷ","ꙫⷷ","ꙭⷷ"]
supi = ["Аꙵ","Бꙵ","Вꙵ","Гꙵ","Дꙵ","Еꙵ","Єꙵ","Зꙵ","Иꙵ","Кꙵ","Лꙵ","Мꙵ","Нꙵ","Оꙵ","Пꙵ","Рꙵ","Сꙵ","Тꙵ","Уꙵ","Фꙵ","Хꙵ","Цꙵ","Чꙵ","ꙵ","Шꙵ","Щꙵ","Ъꙵ","Ыꙵ","Ьꙵ","Юꙵ","Яꙵ","аꙵ","бꙵ","вꙵ","гꙵ","дꙵ","еꙵ","жꙵ","зꙵ","иꙵ","ꙵ","кꙵ","лꙵ","мꙵ","нꙵ","оꙵ","пꙵ","рꙵ","сꙵ","тꙵ","уꙵ","фꙵ","хꙵ","цꙵ","чꙵ","ꙵ","шꙵ","щꙵ","ъꙵ","ыꙵ","ьꙵ","эꙵ","юꙵ","яꙵ","ѻꙵ","ѡꙵ","єꙵ","Ѥꙵ","Ѧꙵ","Ѫꙵ","Ѩꙵ","Ѭꙵ","Ѯꙵ","Ѱꙵ","Ѳꙵ","Ѵꙵ","Ѡꙵ","Ѹꙵ","їꙵ","іꙵ","ѹꙵ","ѿꙵ","ѡꙵ","ѥꙵ","ѧꙵ","ѫꙵ","ѩꙵ","ѭꙵ","ѯꙵ","ѱꙵ","ѳꙵ","ѵꙵ","ӏꙵ","ѣꙵ","Ꙁꙵ","Ꙃꙵ","Ꙅꙵ","Ꙇꙵ","Ꙋꙵ","Ꙍꙵ","Ꙑꙵ","Ꙩꙵ","Ꙫꙵ","Ꙭꙵ","ꙁꙵ","ꙃꙵ","ꙅꙵ","ꙇꙵ","ꙋꙵ","ꙍꙵ","ꙑꙵ","ꙗꙵ","ꙩꙵ","ꙫꙵ","ꙭꙵ"]
for filename in allfiles:
print(f'Now processing {filename}')
basename = filename.split('/')[-1].split('.htm')[0]
with open(filename, 'r') as f, open(f'{basename}-norm.txt','w') as outtxt:
for line in tqdm(f.readlines()):
data = line.lower()
# data = re.sub(r' \d+[а-яА-Я] ', '', data) #doc2
# data = re.sub(r' \d+[a-zA-Z] ', '', data) #doc2
# data = re.sub(r'[a-zA-Z]', '', data) #doc2
# data = re.sub('\d+', ' ',data)
data = re.sub(' ', ' ',data)
data = re.sub('-\n', '-',data)
data = re.sub('-\s+', '-',data)
data = re.sub('–\s+', '–',data)
data = re.sub('\s+–', '–',data)
data = re.sub('\s+-', '-',data)
data = re.sub('–', '',data)
data = re.sub('-', '',data)
data = re.sub(':', ': ',data)
# data = re.sub('\n', ' ',data)
# data = re.sub('\...\.', ' XX ',data) # replace numbers with XX
# data = re.sub('⸱', '\n', data)
data = re.sub('\|', '',data)
data = re.sub('\/', '',data)
data = re.sub('[0-9]+v', ' ',data)
data = re.sub('[0-9]+r', ' ',data)
# data = re.sub(r'[0-9]+[a-z]', '',data) # only Cyrillomet
# data = re.sub(r'[0-9]+[а-я] ', ' ',data) # only Cyrillomet
# data = re.sub(r'[0-9]+', '',data) # only Cyrillomet
# data = re.sub('[0-9]+r', ' ',data)
# data = re.sub(r'[0-9]+\.', '', data)
# data = re.sub(r'[0-9]+а', '', data)
# data = re.sub(r'[0-9]+б', '', data)
# data = re.sub('[0-9]', ' ',data)
data = re.sub('¬', '',data)
data = re.sub('”', '',data)
data = re.sub('\(', '',data)
data = re.sub('\)', '',data)
data = re.sub('\[', '',data)
data = re.sub('\]', '',data)
data = re.sub('<', '',data)
data = re.sub('>', '',data)
data = re.sub('\'', '',data)
data = re.sub(' +', ' ',data)
data = re.sub(r'\.{2,}', '', data) #lacune
data = re.sub('', '',data) # pokrytie
data = re.sub('', '',data) #
data = re.sub('', '',data) # double weird accent
data = re.sub('', 'ч', data)
data = re.sub('', 'Ч', data)
data = re.sub('', 'и', data)
data = re.sub('ѧⷮⷮ', 'ѧт', data)
data = re.sub('ѱ', 'пс',data)
data = re.sub('', 'ч',data)
data = re.sub('͗', '',data)
data = re.sub('́', '',data)
data = re.sub('̀', '',data)
data = re.sub('', '.',data)
data = re.sub('', '',data) #big titlo
data = re.sub('', '',data) #another titlo
data = re.sub('', '',data) #another titlo
data = re.sub('', '',data) #another titlo
data = re.sub('', '',data) #another titlo
data = re.sub('҃', '',data) #normal titlo
data = re.sub('', '',data) #combination acute + inverted breve
data = re.sub('', 'оу',data)
data = re.sub('оꙷ', 'оу',data)
data = re.sub('ꙋ', 'оу',data)
data = re.sub('', 'о',data)
data = re.sub('', 'о',data)
data = re.sub('', 'оу',data)
data = re.sub('', 'е',data)
data = re.sub('', 'е',data)
data = re.sub('ⷣ', 'д',data)
data = re.sub('ꙁ', 'з',data)
data = re.sub('ꙃ', 'ѕ',data)
data = re.sub('', '',data) # punctuation
data = re.sub('ⷭ', 'с',data)
data = re.sub('͗', '',data)
data = re.sub('ꙗ', 'я',data)
data = re.sub('ꙙ', 'ѧ',data)
data = re.sub('', 'я',data)
data = re.sub('ꙿ', '',data)
data = re.sub('ⷯ', 'х',data)
data = re.sub('ⷺ', 'ѣ',data)
data = re.sub('', '',data) # accents
data = re.sub('', 'и', data)
data = re.sub('ьꙇ', 'ы',data)
data = re.sub('', 'ы',data)
data = re.sub('ьі', 'ы',data)
data = re.sub('ⷲ', 'ш',data)
data = re.sub('ꙑ', 'ы',data)
data = re.sub('ⷦ', 'к',data) #
data = re.sub('Ꙗ', 'я',data) #
data = re.sub('⁘', '',data)
data = re.sub('͞', '',data)
data = re.sub('', '',data) # punctuation
data = re.sub('ʹ̇', '',data) # 'prime'
data = re.sub('ѵ', 'и',data) #
data = re.sub('і', 'и',data) #
data = re.sub('Ꙍ', 'о',data) #
data = re.sub(r'\bєс\b', 'естъ',data) #
data = re.sub(r'\bѥс\b', 'ѥстъ',data) #
data = re.sub('є', 'е',data) #
data = re.sub('Є', 'е',data) #лл
data = re.sub('ѿ\b', 'отъ',data) #
data = re.sub('ѿ', 'от',data) #
data = re.sub('ω', 'о',data) #
data = re.sub('ѡ', 'о',data) #
data = re.sub(' ⷶ', 'а',data) #
data = re.sub(' ⷪ', 'о',data) #
data = re.sub('', '',data) #weird titlo
data = re.sub('҇', '',data) # pokrytie
data = re.sub('ҁ', 'с',data)
data = re.sub('', 'с',data)# wide s
data = re.sub('ꙉ', 'г',data)
data = re.sub('Ꙉ', 'г',data)
data = re.sub('ⱕ', 'ѧ',data)
data = re.sub('ⰹ', 'и',data)
data = re.sub('ћ', 'г',data)
data = re.sub('ι', 'и',data)
data = re.sub('ȣ', 'оу',data)
data = re.sub('ѷ', 'оу',data)
data = re.sub('ᴤ', 'ѕ',data)
data = re.sub('i', 'и',data)
data = re.sub('', '',data) #numeral
data = re.sub('ӑ', 'а',data)
data = re.sub('\*', '',data)
data = re.sub('„', '',data)
data = re.sub('', '',data)
data = re.sub('', 'и',data)
data = re.sub('й', 'и',data)
data = re.sub('', 'оу',data)
data = re.sub('', 'ф',data)
data = re.sub(':÷', '.',data)
data = re.sub('÷', '.',data)
data = re.sub('ⸯ', '',data)
data = re.sub('†', '',data)
data = re.sub('ꙫ', 'о',data)
data = re.sub('ꙇ', 'и',data)
#substitute combination with index i with the plain character from orig with the same index
for i in range(len(orig)):
data = re.sub(pneuma1[i], orig[i], data)
data = re.sub(pneuma2[i], orig[i], data)
data = re.sub(doubletilde[i], orig[i], data)
data = re.sub(halfring[i], orig[i], data)
data = re.sub(kavyka[i], orig[i], data)
data = re.sub(dotabove[i], orig[i], data)
data = re.sub(supb[i], orig[i] + "б", data)
data = re.sub(supv[i], orig[i] + "в", data)
data = re.sub(supd[i], orig[i] + "д", data)
data = re.sub(supt[i], orig[i] + "т", data)
data = re.sub(supx[i], orig[i] + "х", data)
data = re.sub(supm[i], orig[i] + "м", data)
data = re.sub(supo[i], orig[i] + "о", data)
data = re.sub(supa[i], orig[i] + "а", data)
data = re.sub(supch[i], orig[i] + "ч", data)
data = re.sub(supou[i], orig[i] + "оу", data)
data = re.sub(supzh[i], orig[i] + "ж", data)
data = re.sub(supn[i], orig[i] + "н", data)
data = re.sub(supon[i], orig[i] + "ѫ", data)
data = re.sub(supen[i], orig[i] + "ѧ", data)
data = re.sub(supg[i], orig[i] + "г", data)
data = re.sub(supr[i], orig[i] + "р", data)
data = re.sub(supjeru[i], orig[i] + "ъ", data)
data = re.sub(supl[i], orig[i] + "л", data)
data = re.sub(supe[i], orig[i] + "е", data)
data = re.sub(supi[i], orig[i] + "и", data)
data = re.sub(acc1[i], orig[i], data)
data = re.sub(acc2[i], orig[i], data)
data = re.sub(acc3[i], orig[i], data)
data = re.sub(acc4[i], orig[i], data)
data = re.sub(acc5[i], orig[i], data)
data = re.sub(acc6[i], orig[i], data)
data = re.sub(acc7[i], orig[i], data)
data = re.sub(acc8[i], orig[i], data)
data = re.sub(pokrytie[i], orig[i], data)
data = re.sub(vzmet[i], orig[i], data)
data = re.sub(palat[i], orig[i], data)
data = re.sub('\(', '', data)
data = re.sub('\)', '', data)
data = re.sub('\[', '', data)
data = re.sub('\]', '', data)
data = re.sub('/', '', data)
# data = re.sub(r'[0-9]+\.', '', data)
# data = re.sub(r'[0-9]+а', '', data)
# data = re.sub(r'[0-9]+б', '', data)
# data = re.sub(r'ст\. [0-9]+', '', data)
data = re.sub('\t+', '\t', data)
data = re.sub(' +', ' ', data)
data = re.sub('\n+', '\n', data)
data = re.sub(r'\s\.', '.', data)
data = re.sub(r'\s\,', ',', data)
data = re.sub(r'\s·', '·', data)
data = re.sub(r'\s•', '•', data)
# data = re.sub(r'·', '', data)
# data = re.sub(r'⸱', '', data)
data = re.sub(r'\+', '', data)
# data = re.sub('оу', 'у', data)
# data = re.sub('\.', '\n', data)
data = re.sub('ѻ', 'о', data)
data = re.sub('ї', 'и', data)
data = re.sub('ï', 'и', data)
data = re.sub('ѹ', 'оу', data)
data = re.sub(r'\bоц', 'отц', data)
data = re.sub('꙽','',data)
data = re.sub('\n+', '\n', data)
# data = re.sub('-\n', '', data)
# data = re.sub('\n ', '\n', data)
data = re.sub('-', '', data)
data = re.sub('', '', data)
data = re.sub('', '', data) # squiggle
data = re.sub('', '', data) # squiggle 2
# data = re.sub('•', '', data)
# data = re.sub(',', ' ', data)
data = re.sub('!', '', data)
# data = re.sub(':', '', data)
# data = re.sub(';', '', data)
data = re.sub('ν', 'н', data)
# data = re.sub('⁖', '\n', data)
data = re.sub('“', '\n', data)
data = re.sub('«', '', data)
data = re.sub('»', '', data)
# data = re.sub('', '\n', data)
data = re.sub(' +', ' ', data)
data = re.sub('\n+', '\n', data)
# run the substitution again
for i in range(len(orig)):
data = re.sub(pneuma1[i], orig[i], data)
data = re.sub(pneuma2[i], orig[i], data)
data = re.sub(doubletilde[i], orig[i], data)
data = re.sub(halfring[i], orig[i], data)
data = re.sub(kavyka[i], orig[i], data)
data = re.sub(dotabove[i], orig[i], data)
data = re.sub(supb[i], orig[i] + "б", data)
data = re.sub(supv[i], orig[i] + "в", data)
data = re.sub(supd[i], orig[i] + "д", data)
data = re.sub(supt[i], orig[i] + "т", data)
data = re.sub(supx[i], orig[i] + "х", data)
data = re.sub(supm[i], orig[i] + "м", data)
data = re.sub(supo[i], orig[i] + "о", data)
data = re.sub(supa[i], orig[i] + "а", data)
data = re.sub(supch[i], orig[i] + "ч", data)
data = re.sub(supou[i], orig[i] + "оу", data)
data = re.sub(supzh[i], orig[i] + "ж", data)
data = re.sub(supn[i], orig[i] + "н", data)
data = re.sub(supon[i], orig[i] + "ѫ", data)
data = re.sub(supen[i], orig[i] + "ѧ", data)
data = re.sub(supg[i], orig[i] + "г", data)
data = re.sub(supr[i], orig[i] + "р", data)
data = re.sub(supjeru[i], orig[i] + "ъ", data)
data = re.sub(supl[i], orig[i] + "л", data)
data = re.sub(supe[i], orig[i] + "е", data)
data = re.sub(supi[i], orig[i] + "и", data)
data = re.sub(acc1[i], orig[i], data)
data = re.sub(acc2[i], orig[i], data)
data = re.sub(acc3[i], orig[i], data)
data = re.sub(acc4[i], orig[i], data)
data = re.sub(acc5[i], orig[i], data)
data = re.sub(acc6[i], orig[i], data)
data = re.sub(acc7[i], orig[i], data)
data = re.sub(acc8[i], orig[i], data)
data = re.sub(pokrytie[i], orig[i], data)
data = re.sub(vzmet[i], orig[i], data)
data = re.sub(palat[i], orig[i], data)
if not data.isspace():
outtxt.write(data)