Scottish Natural Heritage (SNH) sade att sten grävdes bort från klippor nära Bearreraig Bay i ett uppenbart organiserat sökande efter värdefulla exemplar.
Byrån sa att Skye var känd som Skottlands "Dinosaur Isle" på grund av dess viktiga fossila poster.
SNH har vädjat om att vittnen ska kontakta polisen.
Skye är en viktig dinosaurie fossil plats i Skottland.
Bearreraig Bay, norr om Portree, ligger inom en plats av särskilt vetenskapligt intresse (SSSI). En kofot misstänks ha använts för att ta bort en del av stenen.
Dinosaurie fotspår kan också ha tagits bort från Valtos på Skye, SNH sade.
Bevis som samlats i Valtos har använts av paleontologer för att förklara vad som har kallats Dino Stampede i Australien, en händelse där en grupp dinosaurier förföljdes av ett rovdjur.
SNH sade Bearreraig Bay gräva hade gjorts utan markägarens tillstånd eller samtycke av SNH, som förvaltar SSSI.
Dr Colin MacFadyen, SNH:s geolog, sade också att åtgärderna gick emot riktlinjerna i den skotska Fossilkoden.
Koderna gör det möjligt att använda mekaniska grävare, stensågar och till och med sprängämnen för utvinning av fossiler, men bara när det var till fördel för paleontologisk forskning.
Doktor MacFadyen sade: " Fossilinsamling är viktig för vetenskapliga och pedagogiska syften och är en populär hobby.
"Det är bättre för fossil som faller från klippor att hittas, samlas och avnjutas i stället för att eroderas och tvättas bort av tidvattnet.
"Det är dock oansvarigt och olagligt att påskynda processen genom att i stor skala avlägsna berg, och det kan också vara farligt för människor när klippornas ansikten undergrävs och destabiliseras."
Dr MacFadyen sade tillstånd att ta bort material från SSSI skulle ha behövts från SNH, men det hade inte sökts.
Han sa att fossilrik sten hade skadats vid Bearreraig Bay.
Doktor Neil Clark, vid University of Glasgows Hunterian Museum and Art Gallery, har beskrivit Skye som en av världens viktigaste paleontologiska platser.
Dess ställning understryks av antalet fynd från medeljurassiska, för omkring 170 miljoner år sedan.
Doktor Clark sade till BBC News Scotland: " Detta är en stor chock. Det är inte något som jag har hört hända förut.
"Utan att veta exakt var skadan är kan jag inte säga vad de var ute efter. Det kan ha varit plesiosaurier."
Han tillade: "Det som har tagits är nu förlorat för vetenskapen."
Hittar på Skye har inkluderat de tidigaste sköldpaddor som man vet har levt i vatten.
De 164 miljoner år gamla reptilfossilen hittades inbäddade i ett stenblock vid viken Cladach a'Ghlinne, på Strathaird halvön.
Den nya arten utgjorde en felande länk mellan forntida landsköldpaddor och deras nutida, akvatiska ättlingar.
Upptäckten av Eileanchelys waldmani, som översätts som "sköldpaddan från ön", rapporterades i Royal Societys tidskrifter 2008.
Toner av sten har störts på en Jurassic plats på Skye i vad som har beskrivits som en av Skottlands mest vårdslösa handlingar av fossil insamling.