Ben Roberts-Smith er fra Perth i delstaten Vest-Australia. Han er sønn av generalmajor Len Roberts-Smith, som har vært høyesterettsdommer i delstaten og leder av Vest-Australias Corruption and Crime Commission. Broren Sam Roberts-Smith er operasanger.