Comenzó dirigiendo al club que sirvió como jugador, el Boys' Town FC. Sin embargo prácticamente toda su carrera estuvo vinculada a la selección de que condujo en un primer tiempo entre 1983 a 1986. Volvió a tomar las riendas del equipo nacional en 1990 abriendo un ciclo exitoso que le llevó a ganar la Copa del Caribe de 1991. También alcanzó el subcampeonato en las ediciones de 1992 y 1993 y el tercer lugar en la Copa de Oro de la Concacaf 1993. Al año siguiente, Brown se convirtió en el asistente de Renê Simões cuando los "Reggae Boyz" accedieron a su única Copa Mundial de la FIFA, la de 1998.