Herbert hadde doktorgrad i teologi. Etter å ha trukket seg tilbake fra sin stilling som biskop av Norwich, ble han sogneprest ved St. Mary Magdalene's Church i Sandringham. I denne kirken døpte han Diana Spencer i 1961.