义琰答：“不是这样的。很难把所有的事情都做到完美，好运也不会再来。我现在是荣耀的官员，如果扩建府邸，除非我的品德已经完美了，否则便会自招灾祸。我不是不想要一间新卧室，是怕带来灾祸啊。”最后他一直没建新卧室，一次雨后，这些木材都腐烂了，李义琰将其丢弃。永淳年间，李义琰为中书侍郎。弘道元年（683年）三月，李义琰改葬父母，让舅舅迁旧墓。唐高宗闻讯，大怒：“李义琰只因荣耀了，就欺凌舅舅，这种人不能用来秉政！”李义琰闻知，感到不安，自称有足疾，请求退隐，高宗批准了，并授以银青光禄大夫荣衔致仕。李义琰即将在东都洛