Poe flyttet sammen med familien Allan tilbake til Richmond i USA i 1820. I 1824 fungerte Poe som løytnant i ungdommens æresgarde i Richmond da byen feiret besøket til marquis de La Fayette, en fransk general som hadde deltatt på amerikansk side i frigjøringskrigen mot britene. I mars 1825 døde John Allans onkel og forretningspartner, William Galt, etter sigende en av de rikeste i Richmond, og han etterlot Allan mange mål med eiendommer. Arven ble beregnet til 750 000 dollar. Sommeren 1825 feiret Allan sin store rikdom ved å kjøpe et stort mursteinshus i to etasjer ved navn «Moldavia».