Wordsworth ble født som det andre av fem barn i Cockermouth i Cumberland – en del av den pittoreske regionen i nordvestlige England som blir kalt for Lake District. Da hans mor døde i 1778 sendte hans far ham til den private kostskolen Hawkshead. Selv om han stort sett hadde en positiv barndom dvelte han senere på ensomme og melankolske stunder. Det tok ham også mange år og mye skriving å komme over at foreldre døde og at han blir skilt fra søsknene. Hans søster var poeten og dagbokskriveren Dorothy Wordsworth.