Rusk nació en el condado de Cherokee, Georgia, y fue educado en Atlanta, dejando la escuela en 1925 para trabajar durante dos años para un abogado.