В ходе Войны Роз муж Анны, будучи правнуком Джона Гонта, 1-го герцога Ланкастера, выступил на стороне своей родни, таким образом, оказавшись противником собственной жены и её семьи. Эксетер был одним из командиров ланкастерской армии в победных битве при Уэйкфилде и Второй битве при Сент-Олбансе. Он также участвовал в битве при Таутоне, в которой Ланкастеры проиграли Йоркам, и был вынужден бежать в Шотландию, а затем во Францию, где присоединился к ланкастерской королеве Маргарите Анжуйской, жене свергнутого Генриха VI. 4 марта 1461 года младший брат Анны, Эдуард, герцог Йоркский, был провозглашён в Лондоне королём. Эксетер был лишён титулов и владений, которые были переданы Анне, с правом наследования их дочерью, Анной Холланд. Анна и Генри Холланд разошлись в 1464 году, развод последовал в 1472 году. В ходе возвращения на трон Генриха VI в 1470/1471 годах Анна оставалась верна Йоркам и, судя по всему, именно благодаря её политическим стараниям в лоно семьи удалось вернуть другого её брата, герцога Кларенса, перешедшего на сторону Ланкастеров под влиянием знаменитого тестя; таким образом, Анна сыграла свою роль и в возвращении на трон брата Эдуарда.