Kleiberg er utdannet filolog fra Universitetet i Oslo, med musikk, allmenn litteratur og nordisk i fagkretsen. I tillegg har han diplomeksamen i komposisjon fra Norges musikkhøgskole og komposisjonsstudier i England.