lin gıybetinden") ifadesi, gerçek olaylara göndermedir. 1845'te Poe 34 yaşındaki evli şair Frances Sargent Osgood ile flört etmeye başladı. Virginia bu arkadaşlıktan haberdardı; hatta arkadaşlıklarını teşvik etmiş dahi olabilir. Yaşça daha büyük kadınların Poe üzerinde "dizginleyici" etkisi olduğunu düşünerek Osgood'u sık sık evlerine davet etti. "İçkiyi bırakmaya söz vermiş olan" Poe, Osgood'un huzurunda asla içkili olarak bulunmazdı.

Aynı sıralarda, başka bir şair, Elizabeth F. Ellet, Poe'ya aşık oldu ve Osgood'u kıskandı. Poe Sarah Helen Whitman'a yazdığı bir mektupta onun kendisine olan sevgisine ilişkin "nahoş" sözcüğünü kullanmasına ve "bunu küçümseyerek reddetmekten başka bir şey yapamazdım" cümlesini sarfetmesine karşın, editörü olduğu "Broadway Journal"da onun kendisine yazdığı şiirleri yayımlattı. Ellet her işe burnunu sokma eğilimi olan, kindar biri olarak biliniyordu ve 1846 yılı Ocak ayının sonlarında Poe'nun evini ziyareti sırasında Osgood'un Poe'ya yazdığı kişisel mektuplardan birini gördü. Ellet'a göre Virginia, Osgood'un mektubundaki "korku veren paragraflar"a dikkat çekti. Ellet Osgood'la temasa geçti, düşüncesizliklerinden kaçınması gerektiğini söyledi ve ya kıskançlıkla ya da bir skandala yol açma arzusuyla Poe'dan onun kendisine yazdığı mektupları geri göndermesini istedi. Sonrasında Osgood Margaret Fuller ile Anne Lynch Botta'yı kendi adına Poe'dan mektupları geri vermesini istemeleri için yolladı. Bu kişilerin müdahalelerine sinirlenen ve onlara "işgüzârlar" adını takan Poe,düşüncesizliğini ima ederek, Ellet'ın ""kendi" mektuplarıyla ilgilense" daha iyi olacağını söyledi. Daha sonra bu mektupları Ellet'tan toplayıp bir araya getirerek, onun evinde bıraktı.

Bu mektuplar kendisine geri verilmiş olmasına karşın Ellet erkek kardeşinden, mektupları talep etmesini istedi. Kardeşi Albay William Lummis, Poe'nun mektupları zaten geri vermiş olduğuna inanmadı ve onu öldürmekle tehdit etti. Poe kendisini savunmak için, Thomas Dunn English'ten bir tabanca istedi. Kendisinden daha önemsiz bir yazar ve aynı zamanda eğitimli bir doktor ve avukat olan arkadaşı English de Poe'nun mektupları geri verdiğine inanmadı ve hatta bunların varlığını sorguladı. Bu çıkmazdan kurtulmanın en kolay yolunun "asılsız suçlamaların geri alınması" olduğunu söyledi. Yalancı olarak anılmaya sinirlenen Poe, English'i yumruk yumruğa bir kavgaya zorladı. Poe sonrasında kavgayı kazandığını iddia etti, oysa English'in iddiası aksi yöndeydi ve Poe'nun yüzü English'in yüzüklerinden biri tarafından kötü şekilde kesilmişti. Poe'nun versiyonuna göre Poe, "E.'ye öleceği güne dek hatırlayacağı bir dayak" atmıştı. Hangisi doğru olursa olsun, kavga Poe'nun Osgood'la ilişkisi hakkındaki dedikodunun daha da yayılmasına yol açtı.

Osgood'un kocası devreye girerek Ellet'ı, sarfettiği sözler için özür dilemediği takdirde dava etmekle tehdit etti. Ellet Osgood'a "Bayan Poe tarafından bana gösterilen, Poe'nun kendisinin düzenlediği sahte bir mektup olmalı" ifadelerini içeren bir mektup yazarak sözlerini geri aldı. Suçu tamamen Poe'ya atan Ellet, olayın Poe "taşkın ve deliliğe meyilli" biri olduğu için yaşandığını öne sürdü. Ellet Poe'nun deliliğine ilişkin dedikoduyu yaydı, bu dedikodu, Poe'nun düşmanları tarafından da devam ettirildi ve gazetelerde yer aldı. St. Louis "Reveille" şöyle yazdı: "New York'ta şair ve yazar Bay Edgar A. Poe'nun akıl hastası olduğu ve arkadaşları tarafından Dr. Brigham kontrolünde Utica'daki Akıl Hastanesi'ne yatırılacağına ilişkin bir dedikodu dolaşmaktadır." Skandal ancak Osgood kocasıyla yeniden bir araya geldiği zaman yatıştı. Öte yandan Virginia, kocasının yaşadığı bu ilişkiden çok etkilenmişti. Henüz Temmuz 1945'te aldığı ve kocasının düşüncesizliklerine ilişkin iddiaların yer aldığı imzasız mektupların Ellet ile ilgisinin olduğu tahmin edilir. Bunlardan öyle rahatsız olmuştu ki, Virginia ölüm döşeğinde, "Bayan Ellet'ın onun katili olduğunu" söyledi.

Bu dönemde Virginia vereme yakalandı. Hastalığının ilk belirtileri 1842 yılı Ocak ayı ortalarında görüldü. Virginia piyano çalıp şarkı söylerken ağzından kan geldi, Poe ise yalnızca damarının çatladığını söyledi. Sağlığı giderek kötüledi ve Virginia yatalak hale geldi. Bu durum, özellikle de ara sıra düzelme belirtileri göstermesi, Poe'yu derin bir depresyona sürükledi. Arkadaşı John Ingram'a yazdığı bir mektupta Poe, bunların yol açtığı ruh halini şöyle tarif etti: "Her seferinde ölümünün tüm ızdıraplarını çekiyorum ve rahatsızlığı her arttığında onu daha da çok seviyor ve yaşamına daha umutsuz bir inatla bağlanıyorum. Ama ben doğuştan çok olağandışı derecede hassas ve gerginim. Deliriyorum, uzun aralıklı ve berbat aklı başında dönemler geçirerek."

Poe ailesini taşınmak konusunda Virginia'nın durumu harekete geçirmiş ve aile onun için daha sağlıklı bir çevre arayışına girmiş olabilir. 1840'ların başında Philadelphia içinde defalarca taşındılar. Bu şehirde yaşadıkları son ev şu anda Spring Garden'da Edgar Allan Poe National Historic Site olarak korunmaktadır. Bu evde Virginia çiçek bahçesiyle ilgilenecek kadar iyiydi ve arp ya da piyano çalarak ve şarkı söyleyerek konukları eğlendiriyordu. Aile ardından 1844 yılının Nisan ayı başlarında, tren ve buharlı gemiyle yolculuk ederek New York'a taşındı. Kocası Greenwich Sokak'ta bir pansiyon ayarlarken, Virginia gemide bekledi. 1846'nın başlarında aile dostu Elizabeth Oakes Smith, Virginia'nın, "Biliyorum yakında öleceğim, biliyorum iyileşemeyeceğim; ama mümkün olduğunca mutlu olmak ve Edgar'ı mutlu etmek istiyorum." diyerek durumunu kabullendiğini söyledi. Virginia kocasına, ölümünden sonra, onun koruyucu meleği olacağına söz verdi.

Mayıs 1846'da Poe, Virginia ve annesi Maria'dan oluşan aile, Fordham'da, şehrin 22,5 km. kadar dışında, hâlen ayakta olan küçük bir kır evine taşındı. Poe'nun Virginia'ya yazdığı günümüze kalan tek mektup olan 12 Haziran 1846 tarihli mektupta Poe, eşini iyimser olmaya teşvik ediyordu: "Tüm bu umutsuzluğun içinde kalbini ayakta tut ve birazcık daha güven." Sahip olduğu tek dergi olan "Broadway Journal"'ı yakın zamanda kaybetmiş olması üzerine Poe, "Cesaretimi kaybetmiş olmalıydım, ama senin için—benim sevgili minik karım, sen benim bu sevimsiz, yetersiz ve nankör hayatla savaşımda "muazzam" ve "tek" canlandırıcımsın." sözlerini sarfetti. Ancak o yılın Kasım ayında, Virginia'nın durumu artık umutsuzdu. Düzensiz iştah, kızarmış yanaklar, değişken nabız, gece terlemeleri, yüksek ateş, ani titreme, nefes darlığı, göğüs ağrıları ile kan öksürme ve tükürme gibi belirtiler gösteriyordu.

Poe'nun arkadaşı ve etkili bir editör olan Nathaniel Parker Willis, 30 Aralık 1846'da bir duyuru yayımlayarak aile için yardım istedi. Öte yandan gerekçeleri tamamen doğru değildi:
Poe ile iki yıldır haberleşmemiş ve bu arada eşini kaybetmiş olan Willis, bu dönemde onun en büyük destekçilerindendi. Poe ve eşine, ilham verici bir Noel kitabı olan "The Marriage Ring; or How to Make a Home Happy"'yi (“Evlilik Yüzüğü ya da Bir Yuvayı Nasıl Mutlu Yaparsınız?”) yolladı.

Duyuru, Poe'nun annesi Eliza Poe için verem hastalığının son evrelerinde yapılan duyuruya benziyordu. Diğer gazeteler de hikâyeden haberdar oldu: "Yüce Tanrım!", diyordu biri, "Birliğin edebiyatla ilgilenen topluluğunun, zavallı Poe'nun New York'ta açlık ve yoksulluktan can vermesine izin vermesi mümkün müdür? Poe ile eşinin ızdırap, ölüm ve hastalık yatağında beş parasız olduğuna ilişkin gazetelerde sıklıkta yer alan ilanlara bakılırsa öyle." "The Saturday Evening Post" Virginia'nın umutsuz hâlde olduğunu ve Poe'nun yalnız kaldığını iddia etti: "Edgar A. Poe'nun beyin hummasından yatmakta olduğu ve eşinin veremin son evrelerinde olduğu belirtiliyor-parasız ve arkadaşsızlar." Poe'nun daha önce kendisine dava açtığı editör Hiram Fuller dahi "New York Mirror"da Poe ve eşi için yardım toplama girişiminde bulundu ve "Onun tartıştığı bizler buna öncülük edeceğiz." diye yazdı.

Virginia koyu renk saçlı, menekşe gözlü ve "görünüşünü bozacak kötü bir karışıma" yol açan "katıksız beyaz" denilebilecek kadar solgun bir tene sahip biri olarak tarif edilir. Poe ailesinin ziyaretçilerinden biri, muhtemelen hastalığının bir belirtisi olan "yanaklarının üzerindeki hafif pembe rengin çok parlak olduğundan" söz eder. Fordham'daki bir başka ziyaretçi, "Bayan Poe çok genç görünüyordu; iri siyah gözleri ve incimsi beyazlıkta bir cildi vardı ki bu kusursuz bir solgunluktu. Solgun yüzü, parlak gözleri ve kuzgun saçları ona, bu dünyadan değilmiş gibi bir görünüm veriyordu." diye yazdı. Bu esrarengiz görüntüden, bunun Virginia'nın insan değilmiş gibi görünmesine yol açtığını belirten başkaları da söz eder. Bir dönem aileyle aynı evde pansiyoner olarak kalan William Gowans, Virginia'yı "benzersiz bir güzellik ve hoşluğa sahip bir kadın, gözleri bir hurininkine eş, yüzü Canova'nın dehasına meydan okuyacak kadar taklit edilemez nitelikte" biri olarak tarif eder. Virginia biraz balıketi olabilir. Pek çok çağdaş anlatımın yanında modern biyografi yazarları da, yaşamının son yıllarında dahi belli olan çocuksu görüntüsüne dikkat çeker.

Virginia ölürken annesine, "Canım... zavallı Eddymi teselli eder ve ona bakar mısın—onu "asla asla" terk etmez misin?" diye sordu. Annesi Poe'nun 1849'daki ölümüne dek Poe ile beraber kaldı. Virginia ölmekteyken, aileyi aralarında Virginia'nın eski arkadaşı Mary Starr'ın da bulunduğu pek çok kişi ziyaret etti. Bir ara Virginia, Starr'ın elini Poe'nun elinin içine koyarak arkadaşından "Eddy'nin arkadaşı olmasını ve onu asla bırakmamasını" istedi. Virginia'nın bakımını 25 yaşındaki Marie Louise Shew üstlendi. Hemşire olarak görev yapan Shew tıbbi bakımı, ikisi de doktor olan babası ve eşi dolayısıyla öğrenmişti. Shew, Poe'nun eski askerî pelerini dışında üzerine örtecek bir şeyi olmayan Virginia'ya bir yorgan getirdi. Ayrıca Virginia'nın "yutmakta zorlanırken bile gülümseyerek" içtiği birkaç şişe şarabı temin etti. Virginia ayrıca Poe'ya Poe'yu çocukken yanına alarak bakımını üstlenen babası John Allan'ın ikinci eşi Louisa Patterson'ın yazdığı ve kend