Irving, junto a su hermano gemelo ―Nicholas― son los menores de cuatro hijos de una ilustradora y de John James Cawdell Irving, oficial de la Marina británica que abandonó a su familia durante la segunda guerra mundial.