En un inicio, sirvió como residencia de Hernán Cortés y su esposa Juana Zúñiga.