En el actual solar del convento, ocupado por la iglesia parroquial de San Esteban, levantaron el primitivo convento, luego destruido para construir el actual, en 1524 por iniciativa del cardenal fray Juan Álvarez de Toledo.