Penn vokste opp i Vernon, Alabama, hans første innspilling, «Crazy Over You" kom i 1960, og han skrev sin første hit, «Is a Bluebird Blue?», som ble spilt inn av Conway Twitty samme år. Han fikk suksess med en annen pophit «I'm Your Puppet» med James & Bobby Purify i 1966 og det overbeviste ham om at låtskriving var en lukrativ karriere. Han var medforfatter av mange soulhits på 1960-tallet, inkludert «The Dark End of the Street» og «Do Right Woman, Do Right Man» med Chips Moman og «Cry Like a Baby» med Spooner Oldham. Penn produserte også mange hits, inkludert «The Letter», av The Box Tops. Han skrev også «A Woman Left Lonely» som Janis Joplin ga ut på albumet . Han har blitt beskrevet som en hvit soul og blåøyd soulsanger. Penn har gitt ut relativt få egne plater, han foretrekker den relative anonymiteten som låtskriving og produsent.