Het pand werd in 1617 gebouwd als vleeshal (op de begane grond) en wachtruimte voor de schutterij (op de bovenetage). In 1623 werd het pand gehuurd door de twee jaar eerder opgerichte WIC, en tot 1647 gebruikt voor de vergaderingen van de Heren XIX, de bestuurders van de WIC. Het gebouw werd tijdens deze periode uitgebreid met twee vleugels rond een binnenplaats, zodat het drie keer zo groot werd. De buit van de door Piet Hein in 1628 veroverde Zilvervloot werd bij terugkeer in Nederland in de kelders van het West-Indisch Huis opgeslagen. Het gebouw werd vervolgens bestormd door bemanningsleden die betaling eisten. In 1647 raakte de WIC door het verlies van Nederlands Brazilië in financiële problemen en werd besloten om te verhuizen naar het West-Indisch Pakhuis op Rapenburg, waar de Oudeschans het IJ instroomt. Dit West-Indisch Pakhuis stond daarna bekend als het West-Indisch Huis. In 1674 verhuisde de WIC nogmaals en kreeg het nieuwe hoofdkwartier, de Voetboogdoelen, de benaming West-Indisch Huis (ook wel West-Indisch Binnenhuis).