Haremet var under administrasjon av evnukkene, som igjen var delt i to kategorier, svarte og hvite evnukker. Svarte evnukker var slaver tatt i Afrika som serverte og tjente harem-kvinnene og embetsmennene i haremet som sammen med vanlige tjenestepiker var av lav rang. Hvite evnukker var europeere fra Balkan. De tjenestegjorde som rekrutter til Palasskolen og mistet adgang til haremet fra 1582. En viktig person i det osmanske hoffet var sjefen for de svarte evnukkene ( eller ). Han hadde kontroll over haremet og hadde et nettverk av spioner over hele palasset, blant de svarte evnukkene. Han var involvert i de fleste intriger og kunne dermed oppnå en viss makt over sultanen, vesirer og andre embetsmenn av hoffet.