Seriegullet ble innkassert både i 1962 og 1963. I 1964 forlot nøkkelspillere som blant andre «Kniksen» klubben, og det endte med nedrykk. Klubben var ikke oppe igjen i den øverste divisjon før i 1968. I 1963-sesongen samlet Brann et gjennomsnittlig tilskuertall på hele 15 486, en rekord som sto fram til Rosenborg passerte den i 2003.