אבן הפינה לכנסייה הונחה בטקס חגיגי ב-7 באוקטובר 1900. תכנון המבנה ובנייתו הופקדו בידי היינריך רנרד (Heinrich Renard), אדריכל בעל שם מארכידוכסות קלן, שתכנן כבר בניינים בחבל הריין. בתכנון הוא נעזר באדריכל הטמפלרי, תושב ירושלים, תיאודור זנדל. במהלך עבודות הבניה נתגלו באתר שרידים של כנסייה ביזנטית שזוהתה ככנסיית 'ציון הקדושה' (Hagia Sion). כנסייה זו נהרסה ב-1099 במהלך המצור הצלבני על ירושלים.