Während der Bürgerrechtsbewegung entschied er sich, nach Atlanta, Georgia, zu ziehen. Auch dort kämpfte er für die Einführung des Wahlrechts für Afroamerikaner. 1964 wurde er Exekutivdirektor für die Southern Christian Leadership Conference, mit der er viele gewaltfreie Proteste organisierte. Andrew Young wurde ein enger Freund und Mitarbeiter von Martin Luther King und war mit ihm in Memphis, Tennessee, als King 1968 erschossen wurde.