Fue construido en 1637 para servir de residencia a los obispos de Caracas, la estructura original solo ocupaba un solar o casona pero luego el cabildo comenzó a adquirir otras casonas próximas para expandir el palacio, la estructura ha sufrido varias modificaciones debido a los terremotos ocurridos en Caracas entre 1641 y 1812 pero se ha conservado el diseño original.