下将领又私自撤退，显忠无奈退守城中，金兵发起勐攻，战况激烈，显忠亲自上城防御，终于击退金兵，但是军械钱粮遭到很大损失，原本反攻金国的机会也失去了。战后，显忠责授清远军节度副使（散官，第一阶，从八品）、筠州安置，后再贬果州团练副使(散官，第四阶，从八品)，潭州安置。后朝廷知其故，九月移抚州，岁余移信州。
晚年.干道元年（1165年）十二月，朝廷重新起用李显忠，许任便居住，乃还会稽，复容州防御使(阶官，正任官，第四阶，从五品)，未几孝宗遣中使刘庆祖赐白金三万两。三年（1167年）八月，