Kemp ledet Buffalo til AFLs sluttspill fire år på rad (1963–66), divisjonstittelen i Eastern Division tre ganger (1964–66) og to AFL Championships på rad (1964–65). Han ledet ligaen i pasningsforsøk, fullførte pasninger og pasningsyards i en spillers karriere. Han spilte i fem av ligaens 10 tittelkamper, og holder karriererekorder i de samme kategoriene (pasningsforsøk, fullførte pasninger, og pasningsyards) i tittelkampen. Han er også nummer to i flere andre kategorier i tittelkampen, inkludert passer rating i en karriere og i én kamp. Han er rangert som nummer tre i touchdowns på løp av en quarterback i AFL eller NFL med 40, bak Steve Youngs 52 og Otto Grahams 44. Han var inkludert i All-League Team som quarterback i 1960 og 1965, og var AFL MVP i 1965. Han var den eneste quarterbacken i AFL som spilte som starter i alle ligaens ti år, og en av kun 20 spillere som spilte i ligaen i alle ti årene. Spillernummeret hans, #15, ble pensjonert av Bills i 1984. I 2012 ble Kemp inkludert i Professional Football Researchers Associations PRFA Hall of Very Good Class of 2012.