Brustad var også bokser, bokseinstruktør og boksedommer. Han vant gull i mellomvekt i NM 1916 og i tungvekt i NM 1917 og NM 1918. Han bokset i alt 22 kamper som profesjonell.