Apja, William Patterson korábban részt vett az amerikai függetlenségi háborúban, majd sikeres kereskedőként hatalmas vagyont szerzett. Megalapította a "Baltimore and Ohio Railroad" vasúttársaságot. Az 1800-as évek elejére ő lett Maryland állam második leggazdagabb embere, a listán csak Charles Carroll of Carrollton szenátor, a Függetlenségi Nyilatkozat utolsó, ekkor még élő aláírója előzte meg.