Kleven var også en god spellemann. Som ung hadde han lært å spille av Gudbrand Skjellerud. Han var i mange år fast spellemann for Den Nationale Forening, og holdt også konserter.