En 1835 pasaron a ser, por título de familia, de María Eulalia Osorio de Moscoso y Carvajal, librándose así de las inicuas leyes desamortizadoras y convirtiéndose en bellísimo Palacio, donde se admiran el retablo de mármol de Carrara y las estatuas orantes de los Marqueses de Ayamonte, transportados desde la Iglesia del convento de San Francisco de Sevilla (convertido en Palacio municipal) por sus propietarios los Duques de Medina de las Torres.