Vuonna 1739 kommodori Brown osallistui Portobellon taisteluun, jossa hän toimi vara-amiraali Edward Vernonin kuuden linjalaivan osaston varakomentajana. Taistelussa hänen lippulaivansa oli "HMS Hampton Court", jonka kapteenina toimi Digby Dent. Hän johti hyökkäyksiä Portobellon linnakkeita vastaan. Operaatio päättyi voittoon ja tarinan mukaan Portobellon kuvernööri Don Francisco Javier Martines de la Vega y Retes kieltäytyi antamasta miekkaansa antautumisen merkiksi Vernonille, vaan hän antoi sen Brownille. Espanjalaisen mukaan Vernon ei olisi voittanut taistelua ilman Brownia.