2年連続優勝の成績をあげた後、セイバンヘッドコーチがメリーランド大学のヘッドコーチに就任するために辞任し、ディフェンスコーディネーターのジョン・コリエルが後任となった。1966年、9勝4敗1分で3年連続イースタンディビジョンチャンピオンとなったビルズはその試合に勝てばNFLとのチャンピオンシップゲーム（第1回スーパーボウル）に出場するところだったがカンザスシティ・チーフスに7-31で敗れた。ケンプはこの年で6年連続AFLオールスターに選ばれた。1967年にチームは4勝10敗と低迷し彼もオールスターの選出から初めて漏れた。1968年、彼は右ひざの負傷でシーズンを棒に振るった。ケンプの不在となったビルズはこの年1勝12敗1分に終わり、翌1969年にケンプが復帰し、O・J・シンプソンが加入したもののジョン・ラウチヘッドコーチの下4勝10敗の成績にとどまった。7回目のオールスター出場を果たした彼はその年で現役を引退した。