Trollsteinen har blitt flyttet to ganger i forbindelse med veiarbeid. I 1925 ville Vegvesenet sprenge steinen for å rette opp veien, men motstand fra kulturinteresserte og andre innbyggere i Kabelvåg førte til at steinen ble fredet. Av steiner i verden med kors hugd inn, er de to antatte gravminnene «Sigmundarsteinur» på Skúvoy i Færøyene og en korsstein på Birsay i Orknøyene de som er mest like Trollsteinen. Begge er hugd inn på flyttbare steiner, men mangler «bulen».