Herlevas bakgrunn og omstendighetene rundt Vilhelms fødsel utenfor ekteskap, noe som ga ham navnet «Vilhelm Bastarden», har vært uklart. De skriftlige kildene er datert en generasjon eller mer senere, og er heller ikke samstemmige. Den mest aksepterte versjonen forteller at hun var datteren av en garver ved navn Fulbert fra den lille normanniske byen Falaise familien levde i. Oversettelsen er noe usikker og Fulbert kan like gjerne ha vært en pelsbereder, drevet med balsamering, apoteker, eller en som la ut likene for begravelse.