魏州。年轻时丧父且贫穷，事母甚谨，博通《五经》，骄傲独行，自视很高。初举明经，因而去京师，中途遇到徒步者，自称父亲是颍上令，闻知父亲病笃，想倍道而往，徒步不前，无计可施。王义方感到哀伤，解下所乘马给他，不告姓名而去，于是名震一时。他不肯拜访权贵，唐太宗派宰相听其言论。尚书外郎独孤悊以儒学显名，给事中许敬宗推崇独孤悊确论，王义方引用百家理论，接连驳倒独孤悊，直出其上。左右为独孤悊不平，于是罢会。不久补授晋王李治府参军，直弘文馆。特进魏征很礼待他，只嫌他为人太直。魏征将要把侄女嫁给他。王义方谢绝，但在魏征死后还