Roku 1783 se oženil se s lady Margaret Gordonovou, se kterou měl dvě dcery, a žil s ní až do její předčasné smrti při porodu roku 1786 ve Švýcarsku. Několik dalších let strávil ve Španělsku, Portugalsku a ve Francii (zde údajně v době dobytí Bastily a později také v době popravy krále Ludvíka XVI.)