年7月9日），征为左仆射、同中书门下平章事；顺宗即位，贞元21年3月19日（805年4月21日）加检校司空，守左仆射、知政事如故，时王叔文用事，耽移疾请退，不允。宪宗永贞元年10月2日（805年10月27日），薨于长安光福里邸第，享寿76岁。废朝4日，赠太傅，谥曰元靖，葬长安高阳原。耽居相位前后13年，虽无安危大计建白，然恭行温厚，时人称为淳德君子焉。
地理学.耽好地理学，凡外国使者与出使各国而还者，无不从容询问土地山川事宜，于是周知天下风土险要。自安史之乱以来，吐番陷陇右，旧