W lipcu 1804 niedaleko Zeist utworzony został francuski obóz wojskowy z 18 000 żołnierzy pod dowództwem generała Auguste’a Marmonta. Jesienią tego samego roku, aby zająć czymś żołnierzy, generał Marmont, zainspirowany najprawdopodobniej piramidami w Gizie (uczestniczył on w wyprawie Napoleona do Egiptu), postanowił wybudować piramidę na najwyższym z pobliskich wzniesień. Budowa trwała zaledwie 27 dni, dodatkowe 5 dni zajęły jeszcze prace wykończeniowe i stawianie 13-metrowego, drewnianego obelisku na szczycie. Uroczystości w związku z ukończeniem budowy przeprowadzono 21 października 1804. Wojska Marmonta stacjonowały pod Zeist do lipca 1805, po czym wyruszyły na wojnę z III koalicją antyfrancuską, pozostawiając po sobie pomnik w postaci piramidy. Piramidę nazywano początkowo Marmontberg (Góra Marmonta), lecz po dwóch latach nazwę tę zmieniono, by uczcić zwycięstwo Francuzów w bitwie pod Austerlitz (nazwę Austerlitz otrzymała również pobliska wioska powstała w miejscu opuszczonego obozu wojskowego).