Tyburn hadde betydning allerede i oldtiden og var markert av et førromersk monument som var kjent som «Oswulfs stein». Den ga igjen sitt navn til Ossulstone hundred (herred) i Middlesex. Steinen ble gravd ned i 1819, men gravd opp igjen tre år senere grunnet dens historiske betydning. Senere på 1800-tallet ble den lagt opp mot Marble Arch, men i 1869, kort tid etter publiseringen av en arkeologisk artikkel om steinen, forsvant den. Den er ikke blitt gjenfunnet siden.