Det ødeleggende året 1072 sørget også for at Cospatric mistet sitt jarldømme og han ble erstattet av Siwards sønn Waltheof. Cospatric måtte igjen gå i eksil i Skottland hvor han ble gitt store eiendommer rundt Dunbar og i Merse av kong Máel Coluim (Malcolm II av Skottland). Hans jarldømme eller mormaerdom som betegnelsen av i Skottland ble senere jarldømmet Dunbar eller March.