I 1704 ble huset kjøpt av Johan Lohes enke, Anna Blome. Johan Lohe var en formuende adelsmann og bruksherre, som blant annet eide det Loheska huset i Ulysses-kvartalet. I huset i Lilla Nygatan bosatte hun seg sammen med sine ugifte barn; Adolf (1683-1759) og Johanna (1690-1759). Fram til sin død i 1731 forvaltet hun familiens enorme formue. Sannsynligvis gjemte barna en del av formuen etter Anna Blomes død.