Tussen 1890 en 1898 bevond zich op de eerste verdieping het centrale bestuur van de Congostaat (geleid door Edmond van Eetvelde en Charles Liebrechts). Voordien huisde dit in de Brederodestraat. Na de koloniale tentoonstelling van Antwerpen werden de etnografische objecten uit Congo in de stallen opgeslagen. Vanaf 1911 werden de stallen gebruikt als garage voor het koninklijk wagenpark. In 1962 liet Koning Boudewijn toe dat de Bibliotheek van de Academie onderdak kreeg in de Stallen. Vanaf 1966 kreeg ze dan de beschikking over het hele gebouw. Sedert 2001 is de zetel van The Royal Academies for Science and the Arts of Belgium er gevestigd.