Carlos III compró para los frailes del antiguo convento de San Gil, situados entonces al lado del Palacio Real, un área para construir el convento de Gilitos, al que deberían trasladarse.