Han var sønn av George Manners, 12. baron de Ros og hans hustru Anne St. Leger. Morens foreldre var Thomas St. Leger og Anne av York, hertuginne av Exeter, andre barn og eldste overlevende datter av Richard Plantagenet, 3. hertug av York og Cecily Neville. Hun var dermed eldre søster av Edvard IV av England, Edmund, jarl av Rutland, Elizabeth av York, hertuginne av Suffolk, Margaret av York, George Plantagenet, 1. hertug av Clarence og Rikard III av England.