Kjell Holler kom ikke tilbake til norsk politikk etter sin periode som statsråd. Etter nok en periode i Landsorganisasjonen (1962–66) var han engasjert hos Samvirke Forsikring (1966–80), for Televerket som styreformann (1974–80) og sist som Televerkets generaldirektør (1980–91).