Mit den heutigen Hall-of-Famern Lou Groza (Offensive Tackle), Otto Graham (Quarterback), Bill Willis (Guard), Marion Motley (Fullback) und Dante Lavelli (Wide Receiver) gewannen die Browns alle vier AAFC-Titel von 1946 bis 1949, bis die Liga von der NFL übernommen wurde. Bemerkenswert war auch, dass die Browns regelmäßig die Afroamerikaner Willis und Motley einsetzten, als in den Vereinigten Staaten noch die Segregation existierte. Auch in der NFL waren die Browns erfolgreich und gewannen sowohl das NFL Championship Game 1950, das NFL Championship Game 1954 als auch das NFL Championship Game 1955. 1957 wurde ein neuer Superstar verpflichtet, Runningback Jim Brown. Mit dem kraftvollen Läufer Brown, der 12.312 Yards Raumgewinn erlief und bis heute unerreichte 5,2 Yards pro Laufversuch erzielte, blieben die Browns ein Topteam, obwohl zwischen dem autoritären Paul Brown und dem Team eine immer größere Kluft aufkam. 1961 kaufte der Geschäftsmann Art Modell die Browns und tauschte Brown für seinen langjährigen Assistenten Blanton Collier aus. Er führte das Team 1964 mit dem Sieg im NFL Championship Game 1964 zum vierten NFL-Titel.