Litt utenfor byen ligger ruinen av Hvalsey kirke, en av regionens viktigste ruiner. Denne ligger innerst i fjorden, ved Qaqortukulooq (Hvalsey), og fra Qaqortoq tar det ca. 20 minutter med båt, eller 8 timer til fots. Qaqortoq kommune arbeider også med å få denne kirkeruinen inn på UNESCOs liste over verdens kultur- og naturarvsteder som det eldste bevis på møtet mellom inuittene fra nordvest og nordboerne fra sørøst.