Op deze site aan het einde van de Tervurenlaan werd door Leopold II het Koloniënpaleis gebouwd, waar tijdens de Wereldtentoonstelling van 1897 het koloniale gedeelte werd tentoongesteld. In dit gebouw was ook eerst het museum gevestigd. Toen dit echter te klein werd, gaf koning Leopold II in 1904 opdracht het huidige museum te bouwen. Het werd voltooid in 1910.