Rutherford nació en el suburbio londinense de Balham, siendo la hija única de William Rutherford Benn y su esposa.