，穿着法官的衣帽，叱李义府下来，李义府顾望不退。王义方三次叱责，高宗没说话，李义府才小跑而出，王义方才跪着读完奏章，其中提到李义府最初因容貌为刘洎、马周所幸，奏章的言辞也不敬。高宗正安于李义府的狡佞并私下对李义府心存感激，认为王义方毁辱宰相，言词不逊，贬莱州司户参军。李义府说：“王御史妄相弹奏，无愧吗？”王义方对答：“仲尼做鲁国司寇才七日，就在两观之下诛杀少正卯；义方任御史十六日，却不能去奸邪于双阙之前，实以为愧。”年末没有调任，任满，安家于昌乐，聚徒教授。母亲去世后，隐居不出，不复仕官。总章二年（669年