No local do prédio atual, existia no século XIX, uma casa nobre, residência do rico comerciante José Cerqueira Lima, vendida em 1858, ao Prof. Francisco P. D'Almeida Sebrão, instalando-se aí o Colégio São José. Em 1879, o governo da província da Bahia adquiriu o imóvel para torná-lo, após ampla restauração, residência oficial dos presidentes da província, o que continuou, após a República, neste caso, como palácio dos governadores.