祯三年（1630年）他担任广东乡试主考官，遭议论罢官，到十六年（1643年）复任松江推官，弘光年间与徐葆初、朱日爃、贾必选、陈文显、蔡宸恩、文伯达、吴宪汤、姜绍书、包壮行、史延昙、胡其枝、汪挺、余长弘、沈璇卿、周必强、郑侠如、徐弘道在工部共事，迁任营缮司主事；南京失陷后隐居在菁山，建立菩提精舍修佛学。他在广东时搜罗百多块端砚，隐居后悉数勒在精舍墙壁，号称「砚室」，之后因战乱被毁坏，端砚全部损毁，有着作流传；弟弟颜俊豪擅长诗歌，也出家为僧。