Fue construido entre 1750 y 1760 en estilos barroco y rococó para Vicente Fernández de Córdoba y Valderrama, Conde de Penalva, quizá por Felipe Rubio o por José Herrero, aunque más tarde pasaría a los marqueses de Huarte.