В конце 1450-х годов Хамфри предположительно состоял на службе у своего дальнего родственника Джона Стаффорда, графа Уилтшира; на это может указывать его связь с Джоном Туше, 6-м бароном Одли, который точно служил графу. Если эта гипотеза верна, Стаффорд некоторое время был на стороне Ланкастеров в Войнах Алой и Белой розы. В 1460 году Стаффорд и Одли отправились с воинским отрядом в Гин, чтобы сменить там английский гарнизон, но из-за непогоды укрылись в гавани Кале, и там были завербованы йоркистом Ричардом Невиллом, 16-м графом Уорик. Хамфри принял участие в битве при Мортимерс-Кросс 2 февраля 1461 года, где йоркисты во главе с Эдуардом Марчским одержали победу. 29 марта того же года он сражался при Таутоне и был посвящен Эдуардом Марчским (к тому времени — королём Эдуардом IV) в рыцари.