Op deze centrale plek in Nederland had de Franse generaal Auguste de Marmont in 1804 een legerkamp opgericht (Camp d'Utrecht) waar hij in een paar maanden tijd verschillende bataljons wist samen te smeden tot een groot, goed getraind leger, dat de Britse vijand zou kunnen verslaan bij een eventuele herhaling van de inval van 1799. Tevreden over de militaire kracht van het nieuwe leger, en tegen verveling bij zijn soldaten, liet De Marmont hen in de herfst van 1804 dit monument bouwen, geïnspireerd op de piramide van Gizeh die De Marmont in 1798 zelf had gezien tijdens de Egyptische veldtocht van Napoleon. Zelfs het door erosie blootgelegde trapvormige oppervlak van de Egyptische piramides liet hij imiteren. Het monument bestond uit een zandheuvel, aan de buitenkant bekleed met plaggen, als bescherming tegen winderosie. De bouw duurde 27 dagen. De totale hoogte was 36 meter, inclusief de 13 meter hoge houten obelisk. Het geheel kreeg de naam "Mont Marmont" ofwel "Marmontberg". De Marmont had het plan om de Pyramide nog te verbeteren door de trappen van plaggen te vervangen door trappen van baksteen, en door bovenop een groot beeld van Napoleon neer te zetten in plaats van de obelisk, maar zover is het niet gekomen.