Hans fader, Petter Wessel Brown, var en søstersøn af Peter Wessel Tordenskiold. Han blev sekondløjtnant 1776 og avancerede efterhånden til kontreadmiral 1826. 6 år senere fik han ved sin afgang viceadmirals rang. I sine yngre år færdedes han meget på søen. Som tredjekommanderende deltog han 1781 i fregatten "Bornholms" møjsommelige togt under kaptajn Matthias Bille. 1789 var han chef for stykprammen "Lindormen", 1796 for briggen "Glommen" ved Norge, 1798-99 for fregatten "Freia" i Vestindien og 1801 for fregatten "Iris", der dog ikke kom til at deltage i slaget 2. april. Straks efter fredsslutningen udsendtes han på ny til Vestindien, hvor han forblev til midten af 1802, og hvor hans officerer havde flere ærefulde småtræfninger med engelske kapere. I krigen 1807-14 tog Wessel-Brown ingen aktiv del, da han på den tid var for gammel til at føre de småfartøjer, hvoraf flåden væsentligst bestod. Som menneske var Wessel-Brown af en ualmindelig elskværdig og hæderlig karakter.