Diễm là con thứ của danh thần Tạ An, sau khi trưởng thành được tiếng là trung trinh tài năng, lại có phong độ và nghi biểu đẹp đẽ. Tuy ông và anh họ là Hộ quân Tạ Đạm gần nhà, nhưng không đi lại, cũng chỉ gặp gỡ vài người tài giỏi trong họ hàng.