Nykyisen Ramallahin alue asutettiin todennäköisesti samoihin aikoihin kuin läheinen Jeriko, eli noin 5 000–6 000 vuotta sitten. Tell-an-Nasbehista hieman kaupungin eteläpuolella on löytynyt kanaanilaisen kaupungin jäänteitä 5 000 vuoden takaa. Kanaanilaiset kutsuivat mahdollisesti paikkaa nimillä "Ram" (korkea paikka) tai "Beit El" (alttari jumala). Nykyinen nimi on yhdistelmä vanhasta nimestä "Ram" ja arabian kielen sanasta "Allah" eli Jumala. Alue on historiallisesti ollut pohjois-etelä suuntaisen liikenteen solmukohta, jonka kautta kulkivat kanaanilaiset, babylonialaiset, egyptiläiset, aramealaiset ja assyrialaiset. Arkeologisissa kaivauksissa on löydetty merkkejä rakennelmista Rooman ja Bysantin valtakunnan kausilta, mikä viitannee paikalla olleen kaupunkimaista asutusta jo tuolloin. Muslimit valtasivat alueen vuonna 636 ja sittemmin paikan läpi kulkivat niin kristityt kuin islaminuskoisetkin pyhiinvaeltajat. Ristiretkeläiset valtasivat alueen heidän voitettuaan Jerusalemin piirityksen vuonna 1099 ja heidän mainitaan perustaneen alueelle asutuksia.