Het Hanzehuis kreeg dezelfde stijl als het Antwerpse stadhuis. Het werd een indrukwekkend bouwwerk van vijf verdiepingen hoog en 80 bij 62 meter. De Duitse handelaars van de Hanze gebruikten de gigantische kelder en de begane grond als opslagplaats, de verdiepingen richtten ze in als kantoren en woonruimtes. Door de Beeldenstorm in 1566 en de daaropvolgende twisten was het Hanzehuis echter geen lang leven beschoren. Zeker na de Val van Antwerpen in 1585 verlieten veel Duitse handelaars Antwerpen. Het Hanzehuis verloor zijn functie als handelspand en deed dienst als legerkazerne, militair ziekenhuis en zelfs als protestantse kerk.