Også etter han forlot Stortinget, var Gustavsen aktiv både i og utenfor politikken. Han skrev flere bøker, to av dem bestselgere: memoarene fra 1968 og fra 1979. Han var også en tid redaktør i og fast spaltist i .