En 1552, Fadrique Osorio de Toledo y su esposa Inés de Pimentel, marqueses de Villafranca, compraron para el convento el palacio de Alonso de Argüello (secretario de Su Majestad), las casas del licenciado Galarza (del Consejo de Su Majestad) y las del licenciado Ortiz (catedrático de la Universidad).