Biskop Brown fortsatte å bo i Santa Cruz, men fordi helsen hans forverret seg, var han bare i stand til begrenset tjeneste. Han dro til Roma i 1996 pår invitasjon fra pave Johannes Paul II for å feire en spesiell gulljubileumsmesse ved St. Peters basilika for alle prester som i likhet med paven ble ordinert i 1946. Brown var ikke i stand til å delta i masse da han ble sykemeldt. Hans behov for medisinsk behandling ble mer presserende da han kom tilbake til Santa Cruz, og han returnerte til New York. Han ble behandlet ved før han flyttet til i Maryknoll. Han tilbrakte noen dager der før han ble innlagt igjen, og døde 14. mai 1997 på i Tarrytown i New York.