Die tempel is op 22 April 967 ingewy en was die eerste tempel in Angkor wat nie deur ’n koning laat bou is nie. Die howelinge Vishnukumara en Yajnavaraha word as die bouers erken.:367 Laasgenoemde was die kleinseun van koning Harsavarman I,:117 ’n geleerde en filantroop wat mense gehelp het wat gebuk gegaan het onder siektes, onregverdigheid of armoede. Die tempel was hoofsaaklik gewy aan die Hindoegod Shiva. Dit lyk egter of die geboue suid van die sentrale oos-wes-as aan Shiva gewy was en dié noord van die as aan Vishnu.
Die tempel se moderne naam, Banteay Srei – vesting van die vroue of vesting van skoonheid – verwys moontlik na die opgesmuktheid van die basreliëfgraveerwerk aan die mure en die klein dimensies van die geboue self.