一年，进士杨名弹劾吏部尚书汪鋐、武定侯郭勋、太常陈道瀛、金赟仁等，严厉指责嘉靖帝任用不当，嘉靖帝震怒，当即逮捕杨名入狱，杨名被拷打将近昏死，但只供说奏章草案曾让程文德过目。程文德因此受牵连，一併下诏狱。在被嘉靖帝命人拷问后，程自称是幕后主使者，后被贬为信宜县典史。他在途径梧州时，被两广总督陶谐留下，聘任为岭表书院主讲。次年，奔赴信宜县，被邀至高明书院主讲。嘉靖十四年，汪鋐被罢免致仕，程文德升任江西安福县知县，任内建造复古书院，并治理民政有方。不久父丧离职，丁忧除服后，起用为南京兵部员外郎。嘉靖二十年，转