Det skulle vise seg at Rochester var mer interessert i gatefotball enn i profesjonell amerikansk fotball. Jerffersons hadde forsøkt å rekruttere noen av de beste spillerne fra college, men tilskuerne var mer interesserte i å se lokale spillere. Innen 1922 hadde Jeffersons et godt nok lag til å knuse de andre lokale lagene (som førte til færre tilskuere da ingen var interessert i ensidede kampeer), men etter tidlig suksess var de ikke gode nok til å konkurrere med resten av lagene i NFL (folk var heller ikke interessert i å se kamper Jeffersons var så godt som garantert til å tape). Tilskuertallene dalte og lokale semi-profesjonelle lag hadde ofte mer interesse enn Jeffersons. Ettersom de ikke klarte å trekke tilskuere fikk laget problemer med økonomien, som i tur førte til problemer med prestasjoner på banen da de ikke lenger klarte å tiltrekke seg stjernespillere. De siste fire sesongene i ligaen sikret ikke laget en eneste seier mot ligamotstandere. Jeffersons gikk ikke uten noen seiere i perioden; i 1924 slo de Anthracite League-laget Pottsville Maroons; Maroons, det beste laget i den ligaen, gikk over til NFL i 1925 hvor de var en av hovedkonkurrentene for ligatittelen.) John Barsha spilte på laget i 1920, og fra 1921 til 1924 spilte All-Pro Doc Alexander for Jeffersons. Etter et mislykket forsøk på å hente Red Grange til Rochester (han endte opp med å signere med Chicago Bears) ble laget deaktivert etter -sesongen; laget hadde da tapt penger (Lyons’ var også nødt til å bruke omtrent alt han eide for å holde laget i live) og vært et reisende lag i to sesonger i 1924 og 1925. Teknisk sett eksisterte fremdeles laget i 1926 og 1927, før det ble totalt oppløst i 1928. Lyons holdt seg i NFL etter at laget ble oppløst som en uoffisiell historiker.