Navnet på Kabbussteinen kommer trolig av ordet «kabuss», som er ei slags hette. Det finnes også en lignende bemerkelsesverdig stein i Andøy kommune, Kabbusa.