I 1264 døde hans første kone Isabella de Clare fra Gloucester og Hertford. Den siste nedtegnelse av henne er at hun mottok en gave med hjort fra kong Henrik i Essex i 1271. I tiden 1271–1272 ble hans sønn Robert IV gift med Marjorie av Carrick, den unge enkearvingen til Niall av Carrick, jarl av Carrick, for sin sønn, også kalt Robert de Brus.