Después de la muerte de Beshir Agha, a finales del siglo XVIII, los grandes visires empezaron a restringir el poder del kizlar agha, pero no será hasta las reformas del sultan Mahmut II (r. 1808–1839) en la década de 1830 que el poder político del kizlar agha finalmente terminó, y sus titulares se limitaron a su palacio y función ceremonial, lo cual continuó hasta la abolición del cargo tras la Revolución de los Jóvenes Turcos en 1908.