1890年、ハーマイオニーと息子の第4代準男爵ロバート・グラハムは、サマセット・ハウスをスミス・エルダー・アンド・カンパニー社の社長ジョージ・マレー・スミスに売却した。