De fleste mener at det helt opp til nyere tid var bare noen få bebodde hus. Det er restaurert tre steinhus fra 1500- og 1800-tallet. I 1801 var det i 95 innbyggere fordelt på 16 hus i bygda. Det nåværende Porkeri består hovedsakelig av hus som er bygd fra 1890 og frem til i dag. Man kan fortsatt se de maleriske kapteinsboligene oppført mellom 1900 og 1935, som ligger i en lang rekke fra havnen og opp mot bygdens sentrum.