Al tiempo, la naturaleza religiosa de Crabbe se dejó notar, y se ordenó sacerdote siendo capellán del Duque de Rutland en el Belvoir Castle de Leicestershire.