תאריך לידתו של ספנסר אינו ידוע עקב השרפה הגדולה שפרצה בלונדון בשנת 1666, וכילתה מסמכים רשמיים של קהילתו. הוא נולד לג'ון ואליזבת ספנסר, משפחה שהייתה דלת אמצעים, על אף שהייתה מסונפת למשפחת אצילים ידועה. ספנסר התחנך בבית ספר יסודי לאיגוד החייטים במעמד של תלמיד נתמך, ולמד שם לטינית, מעט עברית, יוונית ומוזיקה.