Hans far kan ha vært en John Spenser, en omreisende tekstilmaker bosatt i East Smithfield i London, men sikkert er dette ikke. Han synes å hatt flere brødre, og minst én søster, Sarah. Som ung gutt ble Spenser muligens utdannet på , ettersom et navn tilsvarende hans finnes i skolens regnskap, under den framskrittsvennlige pedagogen og humanisten Richard Mulcaster. Spenser var en av skolens første elever, sammen med blant andre Thomas Kyd, Lancelot Andrewes og Thomas Lodge. Derimot er det kjent at den kommende poeten ble matrikulert som (stipendiat, student med fri kost) ved Pembroke College ved University of Cambridge.