Kemp ble kalt for en "clubhosue lawyer" for Bills fordi han ofte spilte en rolle som megler i konflikter. I 1964 måtte han holde styr på personer som Gilchrist, som gikk av banen når han ikke fikk spilletid, og Saban, som han overtalte til å beholde Gilchrist uken etter. Han måtte også holde styr på den pågående kampen for starterrollen som quarterback med Lamonica, som styrte laget på fire touchdown drives i Bills' syv første kamper. Kemp var den første og eneste spilleren til å kaste tre touchdownpasninger i første kvarter av en sesongåpningskamp, noe han gjorde mot Kansas City Chiefs i 1964, frem til rekorden ble tangert, men ikke slått, 47 år senere i 2011 av Aaron Rodgers. Laget vant i 1964 sine ni første kamper og avsluttet sesongen 12–2, og vant divisjonstittelen med en seier over Patriots i Fenway Park. Kemp ledet ligaen i yards per forsøk og var en touchdown på løp fra å lege lidaen, bak Gilchrist og Sid Blanks. I AFL Championship-kampen i 1964 scoret han den siste touchdownen i kampen med ni minutter spilletid igjen, da Bills vant 20–7.