意捐款修筑，他却说：「浪费万民膏血，一定不会完成，我又何必可惜这个官职！」罢官的文书来到，他还和诸生讲书，阅读后放在一边继续讲学，讲学完毕才说：「这是我的罢官文书。」离任当天士民送到河滨，哭声震天，后世县人仍思念他的功劳。回到黄陂县后，任惟贤经常和耿定向谈论性命理学，某天秀水的刑部官员来县处理案件，县内有两件冤狱由他来辩白，人们拿来金钱致谢，他坚持拒绝，并说：「不要让僮仆知道，恐怕有人来索取。」着有《五经註释》流传，死后乡人私谥廉毅先生，万历二十四年（1596年）入祀乡贤祠；长子任时、次子任晛、孙子任三