僧虔为人宽大忠厚，而且擅长隶书，二十岁时宋文帝在看过他写在扇上的字后就说他不但书法比王献之优胜，连品格也超过献之。僧虔先后担任秘书郎、太子舍人、义阳王文学、太子洗马及司徒左西属。任官期间他少去交接他人，就与袁淑和谢庄交好。元嘉三十年（453年），僧虔兄王僧绰因被揭发曾参与文帝意图改立太子的事而遭弒父篡位的刘劭杀害，其时亲友都劝僧虔出逃避难，但僧虔却认为兄长不但对国家忠贞，亦代替早亡的父亲慈爱地抚育自己，若果最终遭牵连同死反是好事。最终僧虔没有被波及，而刘劭亦遭以武陵王刘骏为首的起义军推翻，刘骏随后即位为宋孝