致仕回乡，宪宗不允。成化五年，吏部尚书李秉被罢免。商辂欲用姚夔，彭时欲用王概，当时朝廷中纷纷传言彭时实质是排挤李秉，彭时于是称病不出。翰林院侍读尹直则称彭时、王概是同乡，请求以崔恭取代李秉。不久，崔恭母丧，服除后，任南京吏部尚书，任期内罢免诸多不称职者。成化十一年，致仕。居家不事生产，惟训子读书。足迹不入城市。两年后去世。赠太子少保，谥庄敏。