Herschel var født i Hannover og hennes foreldre var Isaak Herschel og Anna Ilse Moritzen. Faren var av jødisk opprinnelse. Hun hadde en bror med navn William Herschel.