Hans første soloalbum var i 1973, hans andre kom først i 1994, , og inneholdt låter som «You Left the Water Running». Penn fortsatte å jobbe jevnt og trutt i løpet av de neste to tiårene, vanligvis som en kapasitet bak i kulissene som produsent eller låtskriver, men han spilte også konserter med Spooner Oldham. Etter en lang pause ga han ut albumet i 2020.