读完奏章，其中提到李义府最初因容貌为刘洎、马周所幸，奏章的言辞也不敬。高宗正安于李义府的狡佞并私下对李义府心存感激，认为王义方毁辱宰相，言词不逊，贬莱州司户参军。李义府说：“王御史妄相弹奏，无愧吗？”王义方对答：“仲尼做鲁国司寇才七日，就在两观之下诛杀少正卯；义方任御史十六日，却不能去奸邪于双阙之前，实以为愧。”年末没有调任，任满，安家于昌乐，聚徒教授。母亲去世后，隐居不出，不复仕官。总章二年（669年）卒。撰《笔海》十卷、文集十卷。何彦先、员余庆都拜王义方为师，员余庆因超逸秀拔被王义方欣赏，王义方说：