Som ungdom spilte Brustad for Ullevål IL, mens han hele seniorkarrieren spilte for Fotballklubben Lyn. Mye av klubbkarrieren ble ødelagt av Idrettsstreiken under andre verdenskrig, men han ble Norgesmester med Lyn to ganger, i 1945 og 1946.