Het oorspronkelijke gebouw is uit 1879 en werd ontworpen door architect Ernest Van Humbeeck in neomoorse stijl. Dit Oosters Paviljoen was bedoeld voor de Nationale Tentoonstelling van 1880 en werd opnieuw gebruikt voor de Wereldtentoonstelling van 1897, met name voor het Oriëntaalse deel over Egypte. Het moest onderdak bieden aan het panoramisch schilderij van Émile Wauters, "Caïro en de oevers van de Nijl". Dit werk uit 1880-1881 was teruggekeerd uit de afgebrande "Neue Panorama" te Wenen en opgeborgen in een Molenbeekse loods. Graaf Louis Cavens kocht het in 1895 aan en schonk het na restauratie aan de Belgische Staat. Na de wereldtentoonstelling werd het gebouw weldra gesloten voor het publiek. Het raakte in verval en het panorama had te lijden onder vochtinfiltratie. Na een nieuwe restauratie van het panorama in 1923 ging het paviljoen weer open. Daarmee was het gebouw niet van de vochtproblemen verlost en bovendien stelde de overheid geen bewaker aan, zodat een nieuwe periode van verwaarlozing intrad.