府开始利用权势大肆敛财，收受贿赂甚至公然买卖官职，使得朝野不满，遭右金吾仓曹参军杨行颖告发其“窥觇灾眚，阴怀异图”，司刑太常伯（即刑部尚书）刘祥道等人负责审理，由于李义府权势过大，司空李勣负责监审。审后以渎职、洩密等罪名，于同年底将李义府全家长流巂州（今四川西昌）。李义府被流放后，有人做《河间道行军元帅刘祥道破铜山大贼李义府露布》四处张贴（露布：捷报）。高宗干封元年（666年），大赦天下，独限长流人不许还，李义府忧愤而死。李义府着有文集三十卷以及《宦游记》二十卷，多已佚失，仅于清代钦定全唐文、御定全唐诗