Apie ankstyvąją jaunystę žinoma tik iš jo paties pasakojimų. Nebuvo rasta jo gimimo ar krikšto įrašų. Šachmatų istorikas H.J.R. Murėjus (H.J.R. Murray) surinkęs iš įvairių šaltinių duomenis rašė, kad jis gimė 1810 m. ir, daugelio nuomone, buvęs Frederiko Hovardo, 5-ojo Karlislės grafo, nesantuokinis sūnus. Oficialiai jo tėvas buvo Viljamas Stauntonas.