Entre 1874 y 1886, Mitford es secretario de la Oficina Real de Obras, haciendo de curador de la restauración de la Torre de Londres y de las zones paisajísticas del Hyde Park de Londres.