Han ble presteviet 31. desember 1898. Han ble så sjelesørger i fra 1899–1901 i Treenighetskirken ved Morgengryets port. Etter at St. Nikolaskirken ble tilbakeført til den katolske kirke var Kukta sogneprest der fra 1901 til 1906. var hennes pastor. Det ble hær gjemt et litauisk trykkeri. Her begynte han å holde gudstjenester på litauisk språk og dannet et kirkekor med litauiske sangere. Kirken ble sentrum for den litauiske nasjonale bevegelse i Vilnius.