En 1924, a pesar de haber apoyado hasta entonces al Partido Conservador, Chelmsford fue convencido para unirse al gobierno laborista de Ramsay MacDonald como Primer Lord del Almirantazgo, aunque era un puesto técnico y nunca se unió al partido.