I samtiden og i århundrene som fulgte ble Smeerenburgs størrelse sterkt overdrevet, og historiene og maleriene av stedet ble mer fantasifulle. William Scoresby uttalte i 1820 at 200-300 skip med 12 - 18.000 sjøfolk kunne legge til i fangstsesongen , mens Fridtjof Nansen hundre år senere i 1920 hevdet at hundrevis av skip med tusener av fangstmenn kunne ha sitt tilhold på stedet i løpet av en sesong, med atspredelse i butikker, gater og hus, spillebuler, kirker og bordeller. Det er ikke funnet rester av kirker, forsamlingshus eller butikker.