Da han skiftet tro, mistet han sin ungdoms venner, og ble plaget av protestantiske motstandere som svermet rundt ham «som veps», sa han, og forfulgte ham med satirer og karikaturer. Samtidig tok mange katolikker avstand fra ham, frastøtt av hans misjonerende væremåte. Heldigvis fikk han senere i livet en god venn som støttet ham i hans siste år, da han slet med alvorlig sykdom.