I 1584 hadde Tórshavn 101 innbyggere. Innbyggerne var delt i tre like store, sosiale grupper av henholdsvis bønder med deres familier og hjelpere, handels- og administrasjonsfolk, samt folk som eide hverken land eller andre goder. De sistnevnte inkluderte landløse arbeidsfolk fra andre bygder, som i denne perioden kom til Tórshavn for å søke arbeid. Disse ble dessuten pålagt ulønnet vakthold på Skansin, og det de hadde av klær og mat var avhengig av landeierne. Grunnet dette ble fattige mennesker i Tórshavn ofte omtalt i nedlatende ordelag som tiggere. Fiskeriet ble til slutt deres levebrød.