Brunborg fikk første tillitsverv i Jernbaneforbundet i 1981. Han startet som nestleder i den lokale foreningen i Bergen.