В марте 1461 года герцог Сомерсет был одним из командиров ланкастерской армии, разбитой йоркистами в битве при Таутоне, после чего вместе с королевой Маргаритой Анжуйской был вынужден бежать в Шотландию. Его титулы и владения были конфискованы по приказу нового короля, Эдуарда IV Йорка.