Brown tilbrakte hele sitt prestelige virke i Maryknoll-misjonene i Bolivia. Han gjorde pastoralt arbeid i Cochabamba før han ble utnevnt til nasjonal kallsdirektør av de bolivianske biskoper i 1953. Høsten samme år ble han pastor for St. Peters menighet i La Paz. Brown innehadde også i Maryknoll lederstillinger i Sør-Amerika.