Mitford pasó gran parte de los principios de la década de 1950 trabajando como secretaria ejecutiva en la sede local del Congreso de Derechos Civiles.