Tras la derrota de este y el cambio de administración, Brown abandonó el departamento de defensa el 20 de enero de 1981.