王堂跟掾史说：「古人殷勤求贤请来辅佐自己，不需事事自己处理，所以安然自德。我想将部属的管理和考核人才方面，交给功曹陈蕃处理。而处理政务、制定政策、拾遗补阙这类的事情，就交给主簿应嗣处理。」自此之后王堂推诚相待，虚心求教，不再妄有辞教，郡内教化大行。大将军梁商和尚书令袁汤，向王堂请求归属他们一党而被拒绝，于是怀恨在心。庐江贼兵入侵弋阳界，王堂派兵征讨，贼兵立即奔散，梁商、袁汤怀恨王堂，所以上奏说王堂在任内没有警惕才导致贼兵入侵，王堂因此被免官返家。八十六岁时去世。王堂遗令要求从简、用土烧制的棺木埋葬。