Zum Auftakt in die &lt;a href="Skisprung-Weltcup%201983/84"&gt;Weltcup-Saison 1983/84&lt;/a&gt; machte der Weltcup-Zirkus erneut in Thunder Bay halt. Während Brown beim Wettkampf von der Normalschanze noch abgeschlagen 41. wurde, sprang er am zweiten Wettkampftag von der Großschanze auf den zwölften Platz. Gemäß dem damaligen FIS-Punktesystem gewann er damit seine ersten vier Weltcup-Punkte. Bei der kurz darauf stattfindenden &lt;a href="Vierschanzentournee%201983/84"&gt;Vierschanzentournee 1983/84&lt;/a&gt; sprang er jedoch nur auf hintere Plätze. Bei den Olympischen Winterspielen 1984 in Sarajevo sprang Brown von der Normalschanze auf den 51. und von der Großschanze auf den 47. Platz. Da es bei den Olympischen Spielen keinen Teamwettbewerb gab, wurde dieser im Rahmen der Nordischen Skiweltmeisterschaften 1984 in Engelberg ausgetragen. Gemeinsam mit Horst Bulau, Steve Collins und Ron Richards belegte er den zwölften Platz. Nach weiteren erfolglosen Starts im Weltcup schloss Brown die Saison auf dem 67. Platz der Gesamtwertung ab.