Desconociéndose en la actualidad la traza original del edificio, la dirección de obras se encarga en un principio al arquitecto segoviano Lorenzo Vázquez que, por desavenencias con el marqués del Cenete, se traslada al genovés Michele Carlone.