Gården har navn etter åsen som i dag heter Kråkbergfjellet, med høyeste punkt 134 meter over havet. Ifølge forfatter Johan Borgos i bokverket ble Kråkberget sannsynligvis bosatt rundt 1600 etter å ha ligget øde, men gården kan også ha hatt bosetning tidligere. Fra 1624 til 1774 lå gården øde igjen, men tidvis i denne perioden ble gresset likevel høstet og beitet, og området kan ha vært brukt av samer. Etter en ny periode med bosetning lå gården til dels øde igjen noen år fra rundt 1800. Siden 1813 har Kråkberget vært kontinuerlig bebodd. I motsetning til nabogårdene hadde Kråkberget relativt gode havneforhold, og minst to jektestyrmenn bodde der etter 1865.