Øya er avlang; den strekker seg 18–19 km fra nordøst til sørvest, og den er 1–2 km bred. Flateinnholdet er 30,62 km². Rundt Kalsoy ligger det 15–20 holmer og skjær, nesten alle i nord.