Gustavsen var født i Larvik og vokste opp i Siljan. Han arbeidet i ulike stillinger i Postverket mellom 1970 og 1987. Fra 1981 til 1987 hadde han verv som sekretær, nestleder og leder i Oslo-avdelingen av Den norske Postorganisasjon. Fra 1987 til 1990 var han kartellsekretær i Statstjenestemannskartellet og mellom 1990 og 1999 leder av LO Stat (tidligere Statstjenestemannskartellet). Han satt i Arbeiderpartiets sentralstyre 1992-1999.