En tradisjonen hevdet at Inverness Castle ble bygget av Malcolm III, etter at han hadde jevnet festningen til Mac Bethad, som sto på en høyde rundt 1 km mot nordøst, til grunnen. Motivasjonen var ifølge en senere tradisjon at Mac Bethad hadde myrdet Malcolms far Duncan der. Den strategiske lokaliseringen til Inverness har ført til mange konflikter i området. Det sies at det var et slag tidlig på 1000-tallet mellom kong Malcolm III og Torfinn Sigurdsson Rike fra Orknøyene ved Blar Nam Feinne, sørvest for byen.