Brustad var bokseinstruktør og trener for flere av 1920-tallets store boksere, blant annet Pete Sanstol, Otto von Porat, Edgar Norman Christensen, Haakon Hansen, Sverre Sørsdal, Aage Steen, Johannes Røhme med flere. Han var lagleder og trener for bokserne i OL i 1920 og OL i 1924.