Rafto var sterkt engasjert i kampen for menneskerettigheter. I 1989 organiserte han hjelpesendinger til barnehjem i Romania, og han hadde verv i mange humanitære organisasjoner, blant annet i Raftostiftelsen. Rafto jobbet også med kultur. Han var formann i Statens Filmproduksjonsutvalg, Teaterforeningen i Bergen, og skrev musikk- og filmanmeldelser i . Han satt også i Kringkastingsrådet (1986–1990).