Dos años después publicó "Sweet Revenge" (1973), que contiene algunas de las canciones preferidas por los seguidores del cantautor, como "Dear Abby", "Grandpa Was a Carpenter", y "Christmas In Prison".