Nel 1356 Hugh combatté nella Battaglia di Poitiers insieme a Edoardo il Principe Nero giocandovi tuttavia un ruolo marginale dal momento che ormai si avvicinava ai sessant'anni, tant'è che poco dopo si ritirò a vita privata con una pensione garantitagli dal re. Nel 1373 fu nominato Custode Capo della Foresta Reale del Devon, attività i cui introiti vennero tassati dal parlamento per 1.500 £. Benché fosse considerato un uomo ricco v'erano altri nobili ben più provvisti di lui, tuttavia Hugh ebbe sempre un seguito composto da 40 cavalieri, scudieri ed avvocati ed aveva anche alcune proprietà, benché sottoposte a limitazioni, nel Somersetshire, in Cornovaglia, nell'Hampshire, nel Dorset e nel Buckinghamshire.