В год своего возвращения в Англию Хангерфорд унаследовал от отца его титул и земельные владения в Уилтшире и Корнуолле. Начиная с 1460 года он участвовал в Войнах Алой и Белой розы на стороне Ланкастеров. В июне 1460 года, когда йоркист граф Уорик занял Лондон, Хангерфорд вместе с бароном Скейлз занял оборону в Тауэре; после поражения Ланкастеров при Нортгемптоне лорды сдали крепость в обмен на право удалиться. Весной 1461 года, после очередной победы йоркистов при Таутоне, Хангерфорд сопровождал короля Генриха VI в его бегстве в Йорк, а потом в Шотландию. Йоркистский парламент 4 ноября того же года особым актом конфисковал его владения и титул. Роберт уехал во Францию искать помощи, и там был на время арестован местными властями. Сохранилось его письмо королеве Маргарите Анжуйской, отправленное из Дьеппа, с советом не падать духом. В том же году Хангерфорд вернулся на север Англии, где продолжил борьбу с йоркистами; он руководил обороной замка Алник в Нортумберленде, был вынужден сдаться, но получил от Эдуарда IV пощаду исвободу (начало января 1463 года). Даже после этого барон продолжил борьбу. Он сражался 25 апреля 1464 года при Хегли-Мур, где сторонники Ланкастеров понесли очередное поражение. Наконец, 15 мая 1464 года в сражении при Хексеме Хангерфорд попал в плен и через три дня был обезглавлен в Ньюкасле.