Laget ble stiftet i 1945 av forretningsmannen Arthur B. McBride og hovedtrener Paul Brown som et oppstartslag i All-America Football Conference (AAFC). Browns dominerte ligaen og hadde en karrierestilling på 47–4–3 i ligaens fire sesonger, hvor de vant mesterskapstittelen hvert år. Da AAFC ble oppløst etter 1949-sesongen ble Browns med i National Football League sammen med San Francisco 49ers og Baltimore Colts. Browns vant mesterskapet i den første sesongen, og igjen i , og og nådde mesterskapskampen hver sesong i lagets ti første år. Fra 1965 til 1995 nådde de sluttspillet 14 ganger, men de vant aldri en mesterskapstittel eller nådde et Super Bowl i den perioden.