独孤悊不平，于是罢会。不久补授晋王李治府参军，直弘文馆。特进魏征很礼待他，只嫌他为人太直。魏征将要把侄女嫁给他。王义方谢绝，但在魏征死后还是娶了他的侄女。人们问他为什么如此，他说：“昔日不附宰相之势，现在是感知己之言的缘故。”转太子校书。不久，因与刑部尚书张亮交通而获罪，贬为儋州吉安丞。行至海南，船上的人将用酒脯致祭。王义方说：“黍稷非馨，义在明德。”于是酌水而祭，作文曰：“思帝乡而北顾，望海浦而南浮。必也行愆诸己，义负前修。长鲸击水，天吴覆舟。因忠获戾，以孝见尤。四维雾廓，千里安流。灵应如响，无作神羞