Robert døde i 1232, og ble overlevd av sin kone Isabella som døde i 1252. Han ble gravlagt i familiemausoleet ved Gisborough Priory. Deres sønn, den femte Robert, fikk da inntekter fra landområder i både Skottland og England og ble en av de mektigste og innflytelsesrike menn i begge land.