También fue criticado por su abierta amistad con clérigos protestantes, llegando incluso a pronunciar un sermón en la iglesia protestante de Henry Ward Beecher.