La primera transformación del edificio se produce después de 1604 cuando se efectúa la venta de la Villa de Anna en tiempos de Felipe III .El 3 de mayo de 1604 el Rey erige en condado la Villa de Anna y serán precisamente D.