Noll ble født i Cleveland, Ohio som den yngste av tre søsken til William Noll (en slakter som ofte var ufør på grunn av Parkinson's) og Katherine Steigerwald Noll (som jobbet i blomsterbutikk). Familien bodde i Katherines barndomshjem, hvor hun vokste opp med hennes 12 søsken, nær East 74th Street, i et nabolag med en høy andel afroamerikanske, noe som senere skulle føre til at Noll kjempet for fargedes muligheter i NFL (både spillere fra tradisjonelt mørkhudete colleger og senere som trenere). På et lokalt amerikansk fotballag spilte Noll med Harold Owens, nevø av olympieren Jesse Owens.