Byggverket har blitt omtalt under varierende betegnelser: Henrik Mathiesen, Fredrik B. Wallem, Fritz C. Skaar, Dag Johnson og Wilhelm Swensen har kalt det et «slott», Jon Leirfall har kalt det en «borg», mens Guthorm Kavli har kalt det en «festning». Sæbjørg Walaker Nordeide har drøftet denne problemstillingen, men har også vist til at begrepsbruken kan være delvis kronologisk betinget. Den mest utbredte navneformen er «Steinvikholm slott». Ved en sidestilling av byggverkets funksjoner som befestning og residens kan man benytte det kombinerende begrepet «slottsfestning».