Ifølge Lamonica hadde laget et nytt fokus i 1965: "In '64 we had depended a lot on Gilchrist and our running attack to carry us. . .But that all changed in '65. The Bills had traded Gilchrist in the off season to the Denver Broncos. So we went to a pass-oriented game more that season than we ever had before. We not only went to our receivers, but we threw a lot to our running backs. And I really think it brought out the best in Jack that year." I 1965 avsluttet Bills sesongen 10–3–1. Kemp var nummer to i ligaen i fullførte pasninger. I AFL Championship-kampen i 1964 slo Buffalo Chargers 23–0; seieren var ekstra spesiell for Kemp, som spilte mot sitt gamle lag. Kemps rolle i låede Bills to flere mesterskap uten Gilchrist og mens receiver Elbert Dubenion kun spilte i tre kamper tjente han en del av AFL MVP-prisen, som han delte med tidligere lagkamerat på Chargers, Paul Lowe. Kemp vant også Associated Press-prisen og ble utpekt til Championship Game Most Valuable Player.