Rivaliseringen mellom Browns og Ravens oppstod som et resultat av flyttekontroversen, og er heller en feide mellom Art Modell og Ravens enn mellom lagene. Rivaliseringen er mer bitter for Cleveland ettersom at lagets draft picks mellom 1995 og 1998 resulterte i at Ravens vant Super Bowl XXXV. Dersom Browns ikke hadde flyttet kunne det samme laget (draftet av general manager Ozzie Newsome) gitt Browns sin første tittel på 35 år. Ravens leder sammenlagt 34–12. Lagene har aldri møttes i sluttspillet.