Al contrario que muchos de sus contemporáneos, como Oscar Wilde o Alfred Douglas, que odiaban el reformismo inglés, y a pesar de lo mucho que apreciaba el mundo medieval y su ritual católico, nunca estuvo alejado de la Iglesia de Inglaterra, aunque a su vez detestaba el anglo-catolicismo victoriano puritano y rígido.