Beltė ble født i Kaunas, Litauen. I en alder av fire utviklet han en interesse for musikk og begynte å gå på musikkskole. Etter endt utdanning fortsatte han studiene ved Juozas Gruodis Conservatory i Kaunas.