Im 15. Jahrhundert wurde England durch die Rosenkriege zerrissen: Die Luttrells unterstützten das Haus Lancaster. 1461 starb Sir "James Luttrell" nach einer Niederlage der Lancastrianer in der zweiten Schlacht von St Albans, und seine Familie verlor ihre Ländereien an den Yorkisten König Eduard IV. Die Burg gab der König 1465 an William Herbert, aber die Luttrells erhielten sie 1485 zurück, als der Lancastrianer Heinrich VII. auf den englischen Thron kam. Dunster Castle wurde an James Luttrells Sohn, Sir "Hugh Luttrell" zurückgegeben. Hugh Luttrell ließ die Kapelle reparieren und Anfang des 16. Jahrhunderts ließ sein Sohn, Sir "Andrew Luttrell", eine neue Mauer an der Ostseite der Burg errichten. Andrew Luttrells Sohn "John Luttrell", der die Burg erbte, war ein bekannter Soldat, Diplomat und Höfling unter den Königen Heinrich VIII. und Eduard VI. und diente in Frankreich und Schottland in den Konflikten des Rough Wooing. 1542 berichtete der Geschichtswissenschaftler John Leland, dass der Donjon und die Gebäude der Burg mit Ausnahme der Kapelle ziemlich verfallen seien, und nach dem Tod von Sir John Luttrell wurde die Burg einige Jahre lang verpachtet, erst durch seine Tochter "Mary" und dann durch seinen Bruder "Thomas".