포트로더데일
1964년 시리즈 후에 후크는 형식적이 아니게 베라를 해고시켰고, 양키스에 월드 시리즈 승리로 카디널스를 감독한 조니 킨과 그를 대체하였다. 1965년의 봄 훈련에서 보이어는 남성 모델 제롬 모젤루스키와 포트로더데일 술집에서 싸움에 연루되었다. 시즌 동안 그는 경력 동점을 매긴 18개의 홈런과 함께 .251 점을 타구하였으나 양키스는 40년의 세월에 자신들의 최저 등급인 6위로 떨어졌다. 1966년 영키스는 시즌으로 들어가는 2주에 킨을 해고시켰고, 후크가 감독으로 복귀하였다. 하지만 후크의 두번째 감독 재직은 그의 첫번째보다 더욱 적게 성공적이었다. 그들의 재능과 제2군 리그 합동 운영제가 둘다 비워지면서 양키스는 1912년 이래 그렇게 된 이래 죽음의 마지막 등급에 왔다. 그가 14개의 홈런과 함께 .240 점을 타구한 시즌 후에 총지배인으로서 후크를 대체한 리 맥페일은 그해 "올해의 마이너 리그 선수" 빌 로빈슨을 위하여 보이어를 애틀랜타 브레이브스로 이적시켰다.