Neben der Lyrik widmet sich Kirsten der Prosa. Zahlreiche Essays und Fachtexte entstanden im Rahmen seiner Tätigkeit als Lektor und Herausgeber, andere als Laudationes, Dankesreden oder poetologische Texte. Die essayistische Prosa – die wichtigsten Texte sind im Band "Textur" (1998) gesammelt – wirft Schlaglichter auf den breiten literaturgeschichtlichen Bildungshintergrund Kirstens und setzt sich unter anderem auch mit literarischen Quellen und Vorbildern auseinander, von denen er als Autor profitierte. Neben der Essayistik steht eine Reihe von Prosatexten, die man als „semifiktional“ bezeichnen könnte. Sie entziehen sich einer eindeutigen Gattungszuweisung und werden vom Autor selbst mit "Kleinstadtbild", "Bericht" oder "Dorfkindheit" untertitelt. "Die Schlacht bei Kesselsdorf" (1984) befasst sich mit der finalen Schlacht, die am 15. Dezember 1745 den Zweiten Schlesischen Krieg zugunsten der Preußen entschied. "Kleewunsch" (1984) zeichnet halb ironisch, halb liebevoll das Bild eines sächsischen Provinzstädtchens in der Zeit der Restauration und Revolution (Anfang bis Mitte des 19. Jahrhunderts). Für beide Texte wertete Kirsten zahlreiche historische Quellen aus. Das im Jahre 2000 erschienene Buch "Die Prinzessinnen im Krautgarten" ist dagegen selbst ein Stück erlebte Kriegs- und Nachkriegsgeschichte. Es enthält elf autobiographische Texte, die in loser Chronologie Episoden aus Kirstens Kindheitsjahren aufgreifen.