迁司徒主簿、始兴王刘濬后军功曹、记室参军，太子中舍人、始兴王友。后王孺去世，王微离职守丧，过后又获除南平王刘铄的右军谘议参军，不过王微其实一直都不爱做官，这次就称病不去了。后又获除授中书侍郎，又有打算以他任南琅邪太守和义兴太守，王微都一一推辞。后吏部尚书江湛打算举王微为吏部郎，王微写书婉拒，如此十多年都没有再做官，闲居屋中玩古物，看书籍，宋文帝知他会卜筮，又赐他蓍草。元嘉三十年（453年），王微为弟弟太子舍人王僧谦治病，但僧谦没有依时依量吃药，病死了，王微于是怨恨自己，病了也不肯医了，一直为僧谦之死而伤心。