Handlingen er lagt til et øysamfunn i Vesterålen på 1950-tallet. Hovedpersonen er en pike på vei inn i puberteten. Hun bor sammen med mora og stefaren til leie i «fattighuset» , som er huset i romanens tittel. Av andre personer i romanen er den viktigste Toras moster og hennes mann .