Van Walbeeck beordret byggingen av et fort ved munningen av Sint Annabaai. Nederlandske soldater og slaver fra Angola bygget fortet, som ble hovedkvarteret til Det nederlandske vestindiske kompani fra begynnelsen av. Forholdene i fortet var fattigslig, på grunn av mangel på drikkevann og mat. Soldatene begynte nesten et mytteri som en høyning i lønn og bedre rasjoner kvalte. I 1635 eller 1636 var byggingen av fortet ferdig. Mesteparten av befolkningen begynte å bo i fortet, mens byen Willemstad til slutt vokste opp utenfor det.