Urodził się 11 marca 1926 roku w Linden, jako syn farmera. W czasie II wojny światowej służył w armii. W 1948 roku został ordynowany jako pastor baptystyczny, a dwa lata później ukończył Alabama State University, uzyskując stopień Bachelor of Science. Następnie studiował na Atlanta University, gdzie uzyskał Master of Arts. Po zakończeniu nauki, został pastorem w First Baptist Church w Montgomery. W 1952 roku poślubił Juanitę Odessę Jones, z którą doczekał się czworga dzieci. Dwa lata po ślubie został pastorem w Dexter Avenue Baptist Church, gdzie poznał Martina Luthera Kinga. Wraz z nim zorganizował miejski bojkot transportu publicznego, dzięki czemu wymusił proces desegregacji rasowej w 1956 roku. Rok później obaj założyli Konferencję Przywódców Chrześcijańskich Południa, gdzie Abernathy objął funkcje sekretarza i skarbnika. W 1961 roku przeniósł się ze swoją działalnością duszpasterksą i społeczną do Atlanty, gdzie został wiceprzewodniczącym SCLC. Dwa lata później obaj zostali aresztowani w Birmingham. Po zamachu i śmierci Kinga, zsukcedował stanowisko przewodniczącego Konferencji i pozostał nim aż do rezygnacji w 1977 roku, kiedy to postanowił wystartować w wyborach do Izby Reprezentantów, lecz nie uzyskał mandatu. Wówczas powrócił do działalności pastorskiej, a w 1989 roku wydał autobiografię, zatytułowaną „And the Walls Came Tumbling Down”. Zmarł 17 kwietnia 1990 roku w Atlancie