También escribió dos obras creativas: "Epistles on Women, Exemplifying their Character and Condition in Various Ages and Nations, with Miscellaneous Poems" (1810), y su única obra de ficción "Lorimer, a Tale" (1814).