El edificio fue construido en 1524 en un estilo gótico-renacentista a iniciativa del licenciado Hortuño (o Fortunio) Ibáñez de Aguirre, miembro del Consejo Real de Castilla y de la Inquisición, y su esposa María de Esquível y Arratia, con el objeto de albergar una comunidad de monjas Dominicas.