I den andre halvdelen av 1700-tallet kom de første tekstene i Moksja og Erzja; dette var hovedsakelig oversettelser av korte offisielle essay som ble foretatt av studenter og lærere i Kazan og Nizjnij Novgorod. Tekstene er skrevet med kyrillisk, og benytter ulike grafiske teknikker for å fremstille fonemer. I 1804 ble det utgitt en katekisme oversatt fra kirkeslavisk til Erzja. Flere andre liturgiske bøker fulgte. I 1821-1827 ble det utgitt en oversettelse av det Nye Testamente til Erzja.