El palacio fue encargado por el empresario vinatero de origen francés Julián Pemartín y Laborde (1861-1868), abuelo de José María Pemán, por lo que el escudo de su familia corona la reja de la puerta de entrada.