조광조
그러나 왕의 신임을 얻고 있는 조광조(趙光祖) 등 신진 사류로부터 남곤 등과 함께 배척을 받았다. 당시 위훈삭제로 논란이 일었지만 그는 공신이 아니었으므로 해당사항이 없었다. 자신이 조광조 등으로부터 배척당한다는 것을 알게 되고, 예조참의에 임명되었으나 곧 중추부첨지사로 좌천당하자 사직서를 제출하고, 충청도 면천으로 내려갔다. 1518년(중종 13) 병조참의에 임명되었고, 호조참의에도 임명되었으나 모두 사양하고 부임하지 않았다.