（680年）八月，李贤得罪武后，被控谋反并被废黜，他的同党宰相张大安也被贬官，但高宗赦免了其余的太子属官，改让他们辅佐新太子李哲。宰相薛元超等都为此手舞足蹈，但李义琰却不以为然，反而自责失职导致李贤倒台并哭泣，人们因此赞扬他。李义琰家没有中卧室，弟弟岐州司功参军李义琎得知后就买了木材给他。后来李义琎来到京城，发现哥哥并未用他送的木头造卧室，于是向哥哥问究竟。李义琰说：“我自认为做宰相不够资格，如果我再造一间华美的卧室，会带来灾祸的，这哪里是爱我呢？”李义琎说：“当了县丞廷尉级小官的人尚且想建新房，哥哥你