Navnet Qaqortoq betyr «Det Hvite». Det danske navnet er Julianehåb. Grunnen til det grønlandske navnet vites ikke, men kan ha med alle fuglene som holdt til der boplassen opprinnelig lå, ved at fuglene lettet når man ankom stedet med båt, og etterlot seg hvit avføring på steinene. En annen mulig kilde til navnet er at Hvalsey kirke, som er fra 1300-tallet, opprinnelig var hvitkalket, og var i sin tid en dominerende bygning i byen.