Som kansler av erkebispedømmet Milwaukee i 1964 motsatte msgr. Brust opposed seg fremstøt fra Milwaukees svarte om å integrere skolesystemet men å håndhevbe en ordrte om å holde de katolske menigheter og skoler fra å delta i en skoleboikott. Senere forbød han prestene fader James Groppi og fader William Whelan å delta i boikotten.