עם כיבוש ירושלים בידי הפרסים ב-614 נהרסה הכנסייה כמעט כליל, ונשארו ממנה רק שרידים דלים. הפרסים שהו בירושלים שנים ספורות, ועם שוב הביזנטים לירושלים ב-628 בראשותו של הקיסר הרקליוס עברה הכנסייה סדרת שיפוצים שלא הושלמו, שכן ב-638 כבשו המוסלמים את הארץ ופעולות הביזנטים בירושלים הוגבלו. עם זאת, המוסלמים לא נגעו לרעה בכנסייה, כחלק ממדיניות הסובלנות הכללית בה נהגו כלפי בני דתות אחרות שכבשו, במיוחד כלפי עמי הספר. מסופר אף כי כובש הארץ המוסלמי עומר בן אל-ח'טאב, סר לכנסייה לאחר כיבושה והתפלל בכבוד רב מול פתחה - ולא בתוכה, כדי שהכנסייה לא תהפוך לקדושה למוסלמים וייווצרו מריבות על שטחה. לפי סיפור זה, במקום בו התפלל עומר נבנה מסגד עומר, השוכן עד היום ליד כנסיית הקבר. סובלנות דומה לא אפיינה שליטים מוסלמים אחרים, ובשנת 1009 ציווה הח'ליפה הקנאי אל-חאכם באמר אללה להרוס את הכנסייה.