Habiendo contraído matrimonio con Lady Margaret Gordon, la hija del cuarto conde de Aboyne, el 5 de mayo de 1783, tuvo que exiliarse e hizo un largo viaje por el extranjero, en el transcurso del cual, estando en Suiza, su mujer murió al dar a luz.