Stanley ble født som John Rowlands i den walisiske byen Denbigh som den eldste av de fem barna Betsy Parry satte til verden utenfor ekteskap. Spedbarnet ble etterlatt hos sin morfar som døde da gutten var fem år. Morens to brødre overlot ham til St Asaph arbeidsanstalt, der direktøren var kjent for å være en alkoholiker som tok seg «uanstendige friheter» overfor kvinnelige ansatte. Sin mor traff Stanley én gang, da hun dukket opp på arbeidsanstalten med to yngre barn som hun også etterlot der. En inspeksjon i 1847 avdekket at de voksne mennene på anstalten dyrket «enhver tenkelig last», og at barna delte seng to og to, et eldre barn og et yngre, noe som ble sterkt kritisert. Resten av livet viste Stanley tydelig frykt for enhver form for seksuell kontakt.