Hans første kone, Isabella, var datter av Peter I av Castilla. De hadde to sønner: Edward av Norwich, 2. hertug av York som falt i slaget ved Agincourt, og Richard av Conisburgh, 3. jarl av Cambridge som ble henrettet for høyforræderi av Henrik V. De hadde også en datter, Constance, som ble en av dronning Anne Nevilles forfedre.