Las obras del palacio se iniciaron en 1576 en el solar de las casas principales ya citadas.