I 1871 arbeidet han ved seminaret i Kaunas og begynte å undervise i det litauiske språk. Han skrev en grammatikkbok på litauisk. Etter at Baranauskas reiste til Sejny, fikk han et betydelig ry fordi han var i stand til å forkynne både på polsk og litauisk. Han beskrev seg selv som (født litauisk, polsk etter nasjonalitet).