En 1985 reunió los votos suficientes entre sus colegas de la Cámara de Representantes para torpedear el presupuesto para el año fiscal 1986, lo cual supuso un importante éxito personal para Kemp y sus seguidores en la Cámara, y un duro golpe para el liderazgo republicano en el Senado.