À l'été 1805, l'armée de Marmont devient le 2 corps de la Grande Armée et quitte la République batave à la fin du mois d'août pour prendre part à la campagne d'Allemagne qui se terminera le par la victoire française sur les Russes et Autrichiens à Austerlitz. Les commerçants installés en bordure du camp de Zeist s'établissent dans les campements, qui deviennent alors un vrai village. Pour prévenir la destruction de sa construction, Marmont fait l'acquisition des terres sur lesquelles la pyramide et établie, et en confie la garde à trois soldats retraités pour lesquels il construit trois fermes.