Ifølge Billy Shaw var Kemp løsningen på Bills' quarterbackproblem, men han var ikke personlig glad for å være i Buffalo. Ifølge Van Miller, "Jack's a skier, and he wanted to go to Denver and play for the Broncos. He hated the thought of coming to Buffalo." I Buffalo ble han kjent for å være glad i lese forskjellige bøker, inkludert verk av Henry Thoreau, som førte til kjeft fra Saban.