જ્યારે હેપ્બર્ન છ વર્ષની હતી, ત્યારે તેના પિતા, જોસેફ વિક્ટર એન્થની હેપ્બર્ન-રસ્ટન, ભારે મદ્યપાન કરનાર, કુટુંબ છોડી દીધું હતું.