祠和天章阁、灵阿之阁，这些祠、阁后来成为广东四大名园之一的清晖园。清兵入关后，士俊薙发易服，归顺满人。清顺治六年（南明永历三年，1649年己丑）黄士俊往肇庆觐奉南明永历帝，惜朝纲腐败，遂辞官，回乡隐居。
记载.清计六奇撰《明季南略》：卷十二，永历三年己丑，「举朝醉梦」『...时崇祯朝旧相何吾驺、黄士俊，正月二十八日自行入直以来，论草不上盈箧，并皆告归。...』卷十三，永历四年庚寅，「黄士俊薙发」『先朝旧辅黄士俊、何吾驺及乡绅杨邦翰、李贞、吴以连等,俱投诚恐后。当时打油腔