王准之出身于东晋高门琅琊王氏，高祖父王彬及曾祖父王彪之皆是晋朝重臣，其中王彪之熟悉朝仪，并且流传给后代，故此由彪之到准之四代都通晓江左旧事；由于他们都将记录置于青箱之内，故当时人称王准之家这门知识为「王氏青箱学」。除了通晓这项家传知识外，王准之亦通晓《周礼》等古典礼书，文辞亦丰。王准之初任琅邪国右常侍，后转桓玄的大将军行参军。桓玄篡位称帝后，王准之任桓楚朝廷的尚书祠部郎。刘裕起兵击败桓玄，恢复东晋统治后，王准之于义熙初年任尚书中兵郎，后历任参车骑中军军事、丹阳丞、中军太尉主簿、山阴令等职。后因参讨平卢