1514年），登进士。吏部尚书陆完听闻其名，命其子弟跟从学习。后授工部主事，在荆州榷木，期间减少开支，不贪污一钱。正德十四年（1519年），武宗以进香东岳为由，意欲南巡。何遵抗议道：“淫祠无福。万一宗藩中借口奉迎，潜怀不轨，则福未降而祸已随。”意指朱宸濠有谋反之意。诸位权倖看到此疏后扣下不上报。当时，黄巩已经得罪，何遵再与同僚林大辂、蒋山卿上疏请求罢南巡，并称江彬怙权倡乱，请求黄巩无罪宽恕。明武宗大怒，下何遵入诏狱，廷杖四十。因创口甚大，肢体俱裂，两天后就去世，时年三十四岁。兵部员外郎陆震、兵部主事刘校