Năm Hàm Phong thứ nhất (1851), được chính thức bổ làm Tri huyện Kiến Bình (tỉnh An Huy). Từ năm thứ 3 (1853), quân Thái Bình tấn công An Huy, Mã Tân Di thường lãnh binh tiễu trừ, đánh bại cả quân Thái Bình lẫn quân Niệp, tái thu phục lại Lư Châu, lập nhiều công trạng. Năm thứ 5 (1855), kiêm nhậm thêm Tri huyện Hợp Phì. Năm thứ 6 (1856), thăng Tri phủ An Khánh, vẫn kiêm Tri huyện Kiến Bình, Hợp Phì. Năm thứ 7 (1857), do có công phá tan quân liên hợp giữa quân Niệp và quân Thái Bình, Mã Tân Di được thăng làm Tri phủ Lư Châu, được ban hoa linh (đuôi công đeo trên mũ). Năm thứ 8 (1858), được thay quyền Án sát sứ, nhưng không lâu bị cách chức, nhưng vẫn lưu nhậm Tri phủ Lư Châu. Năm thứ 9 (1859), một lần nữa thay quyền Án sát sứ. Năm thứ 10 (1860), được triều đình đặt dưới quyền sai khiển của Khâm sai Đại thần Viên Giáp Tam.