La idea de Bourne va ser tot un èxit. No obstant, a partir del 1850 el tren va començar a prendre importància a les carreteres, fent que la fortuna de la família Bourne minvés. El 1821 la població de la ciutat era de 133, mentre que el 1841 havia crescut fins als 411 habitants. Desgraciadament, la Gran Fam va arribar al seu apogeu entre 1845 i 1851, fent baixar les xifres demogràfiques d'Ashbourne. Frederick Bourne va deixar les seves terres a Killegland, així com la ciutat, al seu fill Richard, el 1844. Aquest va viure a Ashbourne, essent la seva primera residència a l'Ashbourne House Hotel de Frederick Street. Posteriorment es faria construir una casa a Castle Street, prop dels darrers vestigis del castell de les famílies Wafre i Segrave. Richard es va casar amb la filla d'una família local adinerada, amb qui va tenir diversos fills. El més gran, Thomas, va heretar les terres del seu pare, convertint-se en el darrer senyor d'Ashbourne. Finalment va abandonar Irlanda, assentant-se a Northfleet, Kent (Anglaterra), el 1899. Les terres van ser venudes als inquilins locals.