于唐僖宗干符二年（875年），毁于宋南渡之末，复建于元世祖时,明天启三年（1623年）修葺，至清干隆四十三年（1778年）重建。2004年整修。
古纤道.桥下有20多米的古纤道，低水位时可露出水面。桥洞壁上还留有深浅不一的纤痕，为纤夫行舟背纤长期摩擦所留。
轶事.文天祥曾赴皋亭山元营谈判，在谈判过程中，文天祥据理力争，怒骂伯颜，即皋亭抗辩。据传曾经衣锦桥过河。现于衣锦桥北侧，立有一座四五米高的文天祥人物雕塑。