Con las leyes de Reforma de Benito Juárez en 1867 fue desamortizado y otorgado al gobierno quien lo hizo cuartel, caballería y hospital militares, y a finales del siglo XIX el expresidente Manuel del Refugio González Flores se lo dio como forma de pago al arquitecto Antonio Rivas Mercado quien lo regaló a sus hijas en 1927, a Alicia y Antonieta Rivas Mercado, esta última construyó en él un teatro llamado "Ulises" y un salón de baile nocturno llamado "El Pirata" que se convirtió en el "Symirna Dancing Club".