Som barn var han sykelig og svak og tilbrakte store deler av ungdommen i ensomhet. Hans mor, en viljesterk kvinne som inspirerte mer ærefrykt enn omsorg, tok ham ut av skolen i Bath etter tre år. Hun mente at han begynte å bli innbilsk, og sendte ham til en dårligere skole i Winkfield i Wiltshire. I 18-årsalderen hoppet han av den forberedende undervisningen for universitetet, og planla å kontakte poeten William Wordsworth, da dennes utgivelse (1798) hadde berørt ham dypt. Han var dog for fryktsom av seg. En eldre slektning ga ham litt penger, slik at han kunne reise rundt i Wales, men pengene tok slutt, og han måtte låne penger for å komme seg til London. Der måtte han låne mer penger, for å holde seg unna familie og venner. Han ble funnet ved en tilfeldighet i 1803, og ble innskrevet ved Worcester College ved University of Oxford. Der ble han betraktet som en underlig skrue, fant ingen venner, og ved denne tiden begynte han å ta opium. I 1807 sluttet han uten eksamen, men han hadde stiftet bekjentskap med Samuel Taylor Coleridge og William Wordsworth, noe som ble avgjørende for hans framtidige liv. Grunnet Wordsworth flyttet han til Grasmere i Lake District i 1809, og bodde på Dove Cottage, som Wordsworth hadde kjøpt. I 1816 giftet han seg, og forsøkte å forsørge seg som forfatter.