哀伤，解下所乘马给他，不告姓名而去，于是名震一时。他不肯拜访权贵，唐太宗派宰相听其言论。尚书外郎独孤悊以儒学显名，给事中许敬宗推崇独孤悊确论，王义方引用百家理论，接连驳倒独孤悊，直出其上。左右为独孤悊不平，于是罢会。不久补授晋王李治府参军，直弘文馆。特进魏征很礼待他，只嫌他为人太直。魏征将要把侄女嫁给他。王义方谢绝，但在魏征死后还是娶了他的侄女。人们问他为什么如此，他说：“昔日不附宰相之势，现在是感知己之言的缘故。”转太子校书。不久，因与刑部尚书张亮交通而获罪，贬为儋州吉安丞。行至海南，船上的人将用酒脯