Отец Элизабет, Уильям Патерсон (1752—1835), родился в Ирландии и приехал в Северную Америку до Войны за независимость (1775—1783). Он стал самым богатым человеком в Мэриленде после Чарльза Кэрролла, последнего живущего человека, подписавшего Декларацию независимости США. Брат Элизабет, Роберт, женился на внучке Кэрролла, Марианне Катон.