Kentucky Colonels
1972-73シーズン以降、ジョージ・マクギニスの台頭もあってブラウンの個人成績は減少していった。そして1974年、ブラウンは計7シーズンを過ごしたペイサーズを離れた。1974-75シーズンはメンフィス・サウンズ、ユタ・スターズを渡り歩き、再びペイサーズに復帰した。この年ペイサーズはファイナルに進出したがケンタッキー・カーネルズに敗れた。シーズン終了後、ブラウンは現役引退を表明した。当時NBAからの追放処分は既に解かれていたが、1976年にABAとNBAが合併した後もブラウンがNBAのコートに立つことはなかった。