L'anno successivo, i Browns raggiunsero ancora la finale ma persero coi Green Bay Packers. All'inizio del 1966 Jim Brown, che aveva iniziato la carriera da attore due anni prima, stava recitando nel suo secondo film a Londra, "Quella sporca dozzina". Ritardi nella produzione dovuti alle cattive condizioni atmosferiche gli fecero perdere la prima parte del training camp nel campus dell'Hiram College, cosa che infastidì Modell, che minacciò di multare Brown di 1.500 dollari per ogni settimana del camp persa. Brown, che in precedenza aveva annunciato che quella del 1966 sarebbe stata la sua ultima stagione, annunciò invece il proprio ritiro. Al termine di nove anni di carriera, Brown concluse con i record per yard corse in una partita, in una stagione e in carriera. Inoltre era padrone dei primati per yard totali guadagnate e per la miglior media di yard per corsa tentata, 5,22, che ancora resiste.