Fue realizado entre 1846 y 1847 por el arquitecto Aníbal Álvarez Bouquel para el banquero y bolsista Manuel Gaviria y Douza, Marqués de Gaviria y Conde de Buena Esperanza, siendo uno de los palacios más lujosos de su época, siguiendo modelos romanos e influencias neoclásicas, al estilo de los palacios renacentistas italianos.