Впрочем, дальнейшие три сезона в команде Роба Уокера (—, с Гран-при Бельгии 1966 года — на Cooper T81) подиумов Зифферту не принесли. В 1966 году он набрал очки лишь однажды (за 4 место в Гран-при США).