Mesteparten av bebyggelsen på øya ligger på den vestlige halvparten, mens den østlige delen er skogkledt. Her ligger også øyas høyeste punkt på 41 moh. Midt på øya ligger «Grendahuset», som opprinnelig var en skole. Strendene på Tørla er preget av steinvører som er lagt opp for tørking av klippfisk.