Nacido en Atlanta, Georgia, Scarborough graduó de Pensacola Preparatoria Católica en Pensacola, Florida (aunque no es católico).