帝任用不当，嘉靖帝震怒，当即逮捕杨名入狱，杨名被拷打将近昏死，但只供说奏章草案曾让程文德过目。程文德因此受牵连，一併下诏狱。在被嘉靖帝命人拷问后，程自称是幕后主使者，后被贬为信宜县典史。他在途径梧州时，被两广总督陶谐留下，聘任为岭表书院主讲。次年，奔赴信宜县，被邀至高明书院主讲。嘉靖十四年，汪鋐被罢免致仕，程文德升任江西安福县知县，任内建造复古书院，并治理民政有方。不久父丧离职，丁忧除服后，起用为南京兵部员外郎。嘉靖二十年，转为南京兵部郎中。后升爲广东提学副使，未赴任，改南京国子监祭酒，再升至礼部右侍郎