Da Banteay Srei ble innviet i 967 e.Kr var det det eneste store tempelet på Angkor som ikke var bygd av en monark; konstruksjonen er kreditert en adelsmann ved navn Yajnavaraha (khmer: ), som fungerte som en rådgiver for kong Rajendravarman (khmer: ). Stelen forteller at Yajnavaraha var en lærd og en filantrop som hjalp dem som led av sykdom, urettferdighet og fattigdom. Opprinnelig var templet omringet av en by som het Isvarapura.