Han gikk på Eton College og Trinity College ved University of Cambridge. Som følge av farens tidlige død arvet han tittelen som jarl av Derby fra sin farfar, Edward Stanley, 11. jarl av Derby, ved dennes død i 1776.