Den stora röda kranen störtade in i en del av Grand Mosque då den var fylld av tillbedjare, mindre än två veckor före den årliga pilgrimsfärden i Hajj.
Tjänstemän säger starka vindar och kraftiga regn fick kranen att falla.
Korrespondenter säger att det tidigare har funnits farhågor om säkerheten på saudiska byggarbetsplatser.
Grand Mosque, känd som Masjid al-Haram, är världens största moské och omger Islams heligaste plats, Kaaba.
Minst 230 personer skadades i händelsen. Det är oklart hur många människor som skadades av kollapsen eller den panik som följde på den.
De som dödas rapporteras omfatta indonesiska, indiska, iranska och egyptiska medborgare.
Händelsen inträffade klockan 17:23 lokal tid (14:23 GMT) på fredag.
Videor som publicerats på nätet visade i samma ögonblick som strukturen kollapsade, med en högljudd krasch följt av panik och skrik. Kroppar och blod kunde ses på golvet i moskén.
Chefen för Saudiarabiens civilförsvarsbyrå, Lt Sulayman Bin-Abdullah al-Amr, sade att en utredning höll på att genomföras för att bedöma skadorna och "utvidgningen av säkerheten på dessa platser".
Essam al-Ghalib, en Jeddah-baserad journalist, sade att kranen föll genom den yttre ringen av Grand Moskén och punkterade genom taket skickar ner tonvis av cement och skräp på människor antingen ber eller går igenom.
Upp till två miljoner människor förväntas anlända till Mecka för Hajj från hela världen senare denna månad.
De saudiska myndigheterna säger att krankatastrofen inte kommer att hindra Hajj från att gå vidare.
Irfan Al-Alawi, från Islamic Heritage Research Foundation, berättade för BBC att Grand Mosque för närvarande är omgiven av 15 stora kranar mitt i stora ombyggnadsarbete.
"Hela området är som en bärgningsgård", sa Al-Alawi.
"Saudiarabien måste tänka om sin arbetsmiljöstrategi", sade han, "eftersom det fanns 800.000 människor i moskéområdet vid tidpunkten för olyckan."
De ursprungliga delarna av Grand Mosque går tillbaka 1.400 år. Byggnaden består av ett stort torg omgivet av täckta böneområden och har sedan dess moderniserats i stor utsträckning, särskilt från mitten av 20-talet.
De saudiska myndigheterna inledde förra året en omfattande utvidgning av området för att öka moskéns yta med 400 000 kvadratmeter, så att den kunde rymma upp till 2,2 miljoner människor på en gång.
Saudiarabien har påbörjat en undersökning av varför en kran kollapsade i den muslimska heliga staden Mecka och dödade minst 107 personer.