Ban đầu Diễm được bái làm Trước tác lang, rồi chuyển làm Bí thư thừa, ít lâu sau được thăng làm Tán kỵ thường thị, Thị trung. Năm Thái Nguyên thứ 8 (383), Tiền Tần đế Phù Kiên cử đại quân nam xâm, Tạ An cho rằng ông có tài quân sự, dùng làm Phụ quốc tướng quân, nắm 8000 quân tinh nhuệ, cùng anh họ Tạ Huyền đại phá quân Tần trong trận Phì Thủy.