郁郁不快。不久，邕管黄家贼叛，李象古奉诏征讨，他命杨湛清领兵三千前往，杨湛清与其子杨志烈及所亲杜士交半路回军，夜袭安南，元和十四年八月十九日（819年9月12日）攻陷安南城池，李象古与妻韦氏和三男二女一起被杀，并沉尸于江中，尸骨无存。唐朝命唐州刺史桂仲武为继任都护，并招安杨湛清为琼州刺史。杨湛清不从，城破被杀。杨志烈、杜士交外逃，后投降。李象古被杀后，弟金吾将军李道古以子李缜虔出继象古为后，以长庆元年（821年）十一月九日，在洛阳嗣曹王李皋墓右立衣冠冢。