Arkeologiske funn viser at stedet har vært bebodd siden 1000-tallet. Den eldste skriftlige kilden som nevner Kaldbak, er jordeboken i 1584, da Tummas Símunarson forpaktet et gårdsbruk her.