Kleist er utdannet lærer, og sluttet som rektor på Sulisartut Højskoliat i 1990 for å begynne i Hjemmestyret. Han begynte da som direktør for Departementet for Kultur, Undervisning og Arbeidsmarked, men har hatt flere direktørjobber der gjennom årene.