I de tidligste årene i Baltimore forelsket han seg i den 17 år gamle Mary Starr. Poe skal ha fridd til henne, men Marys bror satte seg imot det fordi Poe ikke kunne forsørge seg selv og langt mindre en ektefelle. Poe var angivelig svært sjalu, og de to kranglet ofte. En kveld skal Poe ha kommet hjem til Starr-familien i beruset tilstand (alkoholismen hans begynte rundt denne perioden). Etter denne episoden fikk ikke han lenger lov til å møte Mary.