Como Small Heath, disputó la Football Alliance antes de ser miembro fundador y el primer campeón de la Football League Second Division. El mayor período de éxito en su historia fue en los años 1950 e inicios de los años 1960. Alcanzó su posición más alta en la First Division en la (6º puesto) y llegó a la Final de la FA Cup de 1956, logrando también el subcampeonato en la Copa de Ferias en 1960 y 1961, y ganó su primer trofeo oficial, la Copa de la Liga, en 1963, derrotando 3-1 a Aston Villa. Ganó la mencionada competición por segunda ocasión en 2011. Disputó la mayor parte de su historia en la máxima categoría. Su mayor período fuera de ella, entre 1986 y 2002, incluye dos breves pasos por la tercera categoría del fútbol inglés, período e el cual obtuvo la Football League Trophy en dos ocasiones.