Hopsø bygget noen av husene etter modell fra øyregionen, og om andre hus diktet han fargerike historier om beboerne inspirert av stort og smått som hadde hendt i distriktet. Etterhvert som hobbyprosjektet ble kjent, fikk det som da begynte å bli kalt «Dolmen by» stadig oftere besøk av skuelystne. Ettersom Hopsø og hans hustru bodde avsides, måtte besøkende hentes med båt av byens grunnlegger personlig. Johan Hopsø var i mange år en inspirert guide ved byvandringer i Dolmen by, og hans historiefortelling var nok for mange en like stor attraksjon som lilleputthusene hans. Byen stod ute om sommeren, men ble satt under tak i vinterhalvåret for å beskytte bygningene.