Sua origem remonta ao antigo Hospital de Caridade da Santa Casa da Misericórdia, fundado junto com a cidade de Salvador em 1549 e que funcionava à rua da Misericórdia, onde está o Museu da Santa Casa. Em 1814 já se discutia a necessidade de aumentar as instalações, porém foi somente após a Guerra da Independência que a Irmandade adquiriu uma nova propriedade, as terras que pertenciam à Antônio Alves de Carvalho.