El palacio se edificó en los solares de tres casas contiguas a la Casa de Comedias de la plaza del Fontán, y que la duquesa del Parque había heredado vinculadas al mayorazgo de Trelles.