En 1827, regresó a Baltimore, donde se estableció junto con su abuela, su tía Maria Clemm, y sus dos primos Henry y Virginia.