Tempelets moderne navn, Banteay Srei – kvinnenes citadell eller skjønnhetens citadell – er trolig relatert til de mange forseggjorte relieffene funnet på veggene og de små dimensjonene på bygningene. Noen har spekulert rundt at navnet kan relateres til de mange devataene skåret ut i veggene i bygningene.