Det høyeste punktet på Lastovo er Hum med en høyde på 417 meter over havet. Det er tre andre topper som er høyere enn 400 meter, Pleševo Brdo, Gumanca og Mali Hum, og ytterligere tretten som er høyere enn 200 meter. Bergartene på øya består av kalkstein og dolomitt, og det finnes flere grotter på øya. Kystlinja er bratt, og sjøen rundt øya er dyp. På sørkysten ligger det en vid bukt ved Skrivena Luka, som gir ly mot den iskalde boravinden og vestavinden.