Antanas Baltakis kom fra en bondefamilie i Litauen, an var den andre av elleve barn. Han studerte ved gymnasiene i Kretinga og Anykščiai til han ble arrestert i Šeduva av nazistiske agenter i 1944, og sendt som tvangsarbeidskraft til Finland og så til Norge. Etter frigjøringen fra arbeidsleir ved andre verdenskrigs avslutning, begynte han å studere ved det katolske universitet i Leuven i Belgia i 1945.