Wykształcenie odebrał w Eton College oraz w Balliol College na Uniwersytecie Oksfordzkim. W 1843 r. został prywatnym sekretarzem przewodniczącego Zarządu Handlu Williama Ewarta Gladstone’a. Następnie był doradcą prawnym Zarządu. Był jednym z sekretarzy przy Wielkiej Wystawie Światowej 1851 r. W tym samym roku zmarł jego dziadek i Stafford odziedziczył tytuł 8. baroneta.