Bulaitis bodde i Roma fra 2008. Den 26. juli 2008 innvilget pave Benedikt XVI hans anmodning til aldersbetinget avskjed. Som pensjonist påtok han seg rollen som postulator for saligkåringprosessen for av msgr Teofilius Matulionis, en litauisk geistlig som var blitt bispeviet i det skjulte og tilbrakte de fleste av sine år som biskop i fengsel. Hans død skyldtes sannsynligvis forgiftning foretatt av sovjetiske tjenestemenn.