Als Rustin und Randolph 1963 den „Marsch auf Washington für Arbeit und Freiheit“ vorbereiteten, beschimpfte Senator Strom Thurmond Rustin als „Kommunisten, Drückeberger und Homosexuellen“ und zeigte ein FBI-Foto von Rustin, auf dem er mit Dr. King spricht, als dieser gerade badet. Damit wollte er eine homosexuelle Beziehung zwischen beiden andeuten, was beide Männer abstritten. Trotz Kings Unterstützung erlaubte der NAACP-Vorsitzende Roy Wilkins keine öffentliche Anerkennung für Rustins Leistung bei der Organisation des Marsches.