堂芝在汉顺帝时担任尚书令。汉顺帝永建二年（127年）二月癸未，白天看见太白星三十九日。闰二月乙酉，白天看见太白星东南维四十一日。八月乙巳，荧惑（火星）入舆鬼。白天看见太白星，为强臣。荧惑为凶，舆鬼为死丧。质星为诛戮。当时，权贵一起诬陷中常侍高梵、张防、将作大匠翟酺、尚书令高堂芝、仆射张敦、尚书尹就、郎姜述、杨凤等，和兖州刺史鲍就、使匈奴中郎将张国、金城郡太守张笃、敦煌郡太守张郎互相勾结，事情泄漏，尹就、姜述弃市，高梵、张防、翟酺、高堂芝、张敦、杨凤、鲍就、张国都抵罪，减死归家。