Fue construido en 1637 para servir de residencia a los . La estructura original solo ocupaba un solar o casona pero luego el cabildo comenzó a adquirir otras casonas próximas para expandir el palacio. La estructura ha sufrido varias modificaciones debido a los terremotos ocurridos en Caracas entre 1641 y 1812 pero se ha conservado el diseño original. Entre 1876 y 1877 es remodelado por orden del presidente Antonio Guzmán Blanco. El 27 de julio de 1978 es declarado .