居所的旁边建造了先知寺，以便随时可以进入寺内处理教俗事务。最早的先知寺是露天建筑，是全世界清真寺建筑的雏形。先知寺也起到交流中心、宗教法庭和宗教学校的作用。1909年，这里成为阿拉伯半岛第一个通电的地方。先知寺历代的管理权都归两圣地监护人（现为沙特阿拉伯国王沙尔曼·宾·阿卜杜勒-阿齐兹·阿绍德）所有。先知寺中最神圣的地方之一是绿色穹顶，或先知穹顶，它所在的地点原是穆罕默德之妻阿伊莎的房间，穆罕默德即在此归真并安葬。后来，哈里发阿布·伯克尔和欧麦尔先后安葬在穆罕默德陵墓的两旁，而穹顶是后世加建的。