Xavier-Marie Baronnet, som ble døpt den 1. mai 1927, vokste opp i Pontivy i departementet Morbihan i Bretagne. Etter militærtjenesten sluttet han seg til jesuittordenen den 16. oktober 1950 i Laval, hvor han fullførte sitt novisiat fra 1950 til 1952. Fra 1953 til 1956 studerte han filosofi i Chantilly og fullførte en undervisningspraksis ved .