Han var eldste sønn av Richard Woodville, 1. jarl Rivers og Jacquette av Luxembourg. Som sin far var han under rosekrigene først lancastrianer, og kjempet for Lancaster i slaget ved Towton, men senere ble han yorkist.