Flere av Kleibergs verker har en litterær tilknytning. I 1981 skrev han en sangsyklus med Haugtussa-sanger, med utgangspunkt i Garborgs verk. Komposisjonen for 12 instrumenter og resitatør, er dels inspirert av Gabriel Kiellands kunstverk i Nidarosdomen, dels av Stein Mehrens dikt til samme. Han har også skrevet korverk for blandet kor til Wergelands dikt Efter tidens leilighed og Til min Gyldenlak.