1839 var han gift med lady Elisabeth Hay , Öfverhofmästarinna hos drottning Victoria.