Die terrein was oorspronklik langs Mohammed se huis; hy het hom daar gevestig ná sy emigrasie na Medina in 622 n.C. Hy het help bou aan die moskee, wat aanvanklik ’n opeluggebou was. Dit het gedien as ’n gemeenskapsentrum, hof en godsdiensskool. Daar was ’n platform vir mense wat die Koran aan ander geleer het. Islamitiese heersers het dit sedertdien grootliks uitgebrei en versier. In 1909 was dit die eerste plek op die Arabiese Skiereiland wat van elektriese ligte voorsien is.
Die moskee is geleë in wat tradisioneel die middel van Medina was, met baie hotelle en markte daarnaby. Dit is ’n groot pelgrimsterrein. Baie pelgrims wat die hadj voltooi het, besoek daarna die moskee vanweë sy verbintenis met Mohammed se lewe.
Een van die merkwaardigste eienskappe van die terrein is die Groen Koepel in die suidoostelike hoek van die moskee. Dit was oorspronklik die huis van Aisja, een van Mohammed se vroue, en is waar die profeet se graf is. In 1279 is ’n houtkoepel oor die graf gebou; dit is later verskeie kere herbou en gerestoureer. Die huidige koepel is in 1818 deur die Ottomaanse sultan Mahmoed II laat bou. Dit was eers groen geverf, vandaar die naam "Groen Koepel".