及供养年老母亲而担任庐陵国侍郎。及后母亲去世，王素离职为母守丧，但丧期过后王素没有再度出仕，反而走到东阳隐居，并在那里务农维生，平日醉心于文章义理，不恼俗事。宋孝武帝即位后曾征召他和朱百年担任太子中舍人；后来太宰江夏王刘义恭开府时亦召王素为自己的仓曹属；泰始六年（470年），宋明帝又召他为太子中舍人。但这三次王素都没有应命，屡辞征召的行为令他获得很高声誉。泰始七年（471年），王素去世，得年五十四岁。据说王素所居山中有一种叫蚿虫的生物发出清脆而悠长的叫声，听多了也不会感烦厌，可是蚿虫自身却长得很难看，王