Mens områdene utafor City of London ennå ikke var bymessig bebygd, rant Tyburn ut i våtmarkene langs Themsen sør for dagens Green Park. Her delte den seg i to løp; et som rant ut nord for dagens Whitehall og et sør for der parlamentet ligger i dag. Mellom disse to løpene hadde det danna seg en grusrygg – Thorney – som Westminster Abbey ble anlagt på.