Едгар Алън По, чието поезия е включена в антологията на Грисуолд, публикува критичен отговор за избора на поети. Това дава начало на съперничество, което нараства, когато Руфъс заема мястото на По като редактор на "„Грахамс Мегазин“" и получава по-голяма заплата. По-късно двамата се борят за вниманието на поетесата Франсис Сарджент Осгуд. По и Грисуолд никога не успяват да изгладят различията помежду си и след мистериозната смърт на По през 1849 г. Грисуолд пише коравосърдечен некролог за своя враг, подписан от "„Лудвиг“". Руфъс твърди, че е избраният литературен палач на По и започва кампания за унищожение на репутацията на По, която продължава до самата му кончина 8 години по-късно.