Fosse arbeidet periodevis som journalist i fra 1979 til 1983. I 1985 var han redaktør for . Han underviste ved Skrivekunst-akademiet i Hordaland i perioden 1987–1993 der han hadde Karl Ove Knausgård som student. Fosse skal ha vært nådeløs i vurderingen av 19 år gamle Knausgårds forsøk på å skrive dikt til et bilde av Nikolai Astrup. Knausgård omtaler Fosse i , der Fosse beskrives som en som utstråler nervøs uro, men med trygghet i budskapet.