Durante ese tiempo Ellet participó en un notorio escándalo que involucraba a Edgar Allan Poe y a Frances Sargent Osgood, ambos casados con otras personas.