В конце 1440-х годов де Вер распространил свое влияние на Норфолк. Он регулярно назначался там мировым судьей, а в 1450 году постарался использовать в своих интересах падение Уильяма де ла Поля, 1-го герцога Саффолка, одного из крупнейших землевладельцев в этом регионе. Граф наткнулся на сопротивление Томаса Скейлза, 7-го барона Скейлза, и вдовствующей герцогини Саффолк. В борьбе между Ричардом Йоркским и семьёй Бофортов сэр Джон долго не занимал чью-либо сторону, хотя был членом регентского совета во время протектората Йорка в 1453—1454 годах. Когда дело дошло до гражданской войны, известной как Война Алой и Белой розы, он продолжал сохранять нейтралитет; известно, что граф на день опоздал к первой битве при Сент-Олбансе, в которой герцог Йоркский захватил в плен короля. В 1459 году де Вер всё-таки примкнул к Маргарите Анжуйской, жене Генриха VI, фактически возглавлявшей ланкастерскую партию. В декабре 1459 года и апреле 1460 он руководил судебными комиссиями в Эссексе, в которых рассматривались дела йоркистов.