Grefwe Alfred af Ryeburn hade gift sig tidigt.