એબી ડી વિલિયર્સના પિતા એક ડોક્ટર હતા પરંતુ તે પોતાની યુવા વસ્થા સમયમાં આફ્રિકાની રગ્બીની ટીમમાં રમતા હતા.