En av de mest kjente fjelltoppene ved Svolvær er Svolværgeita, som er Svolværs kjennemerke og første gang ble besteget i 1910. Et annet fjell er Vågakallen, som ligger mellom Kabelvåg og Henningsvær, som med sine 942 moh. skuer ut over sitt rike, Lofoten og Lofothavet. Ifølge gamle sagn er Vågakallen den tidligere kongen i Lofoten, som ble til stein i møte med sola.