Kjeldsen har utgitt flere bøker om retorikk. Blant annet (2006) hvor han trekker frem eksempler fra norsk offentlighet og populærkultur, og presenterer sentrale retoriske perspektiver på kommunikasjon og språklige virkemidler. I (2014) forsøker han redegjøre for hva retorikk er, og hvorfor retorisk innsikt og evne ikke bare er et vesenstrekk ved mennesket, men også en forutsetning for det gode samfunnet.