知兵自许”，欺负两江总督李宗羲不懂军事，忠厚和平，对他傲慢蔑视。不久李宗羲称疾离任，由刘坤一继任两江总督。赵继元更胆大妄为，随意克扣工程款项，他所负责修建的沿江炮台，多不可用，甚至坍毁。光绪七年（1881年），遭彭玉麟弹劾。不久革职。晚年定居江宁棉鞋营。光绪二十二年（1897年）卒。冯煦评价其作品：“诗质而不野，丽而不纤，出入于眉山、剑南间，而能自摅。”着有《静观堂遗集》二卷。妻王梦兰着有《三十六鸳鸯舫存稿》，今不存。有子赵曾重、赵曾裕。赵曾裕是赵朴初的祖父。