Bulaitis var av litauisk opprinnelse. Han studerte fra 1944 til 1952 ved St. Ignatius College, en jesuitthøyskole i Stanford Hill i London, og fra 1952 til 1958 filosofi og teologi ved Det pavelige gregorianske universitet i Roma.