חשיבותה של יפו לעולם הנוצרי הייתה בהיות נמלה השער הראשי לעולי הרגל אשר עשו את דרכם לירושלים. במקום בו ניצבת הכנסייה שכנה כנסייה ביזנטית שנהרסה במאה ה-7 על ידי הערבים. על חורבותיה הקים פרידריך השני, קיסר האימפריה הרומית הקדושה, מבנה מבוצר צלבני אשר כונה "המצודה", ואשר שוחזר בעת מסע הצלב השביעי, במחצית השנייה של המאה ה-13, על ידי לואי התשיעי, מלך צרפת. המצודה נהרסה על ידי הממלוכים בשנת 1264, אך אחד ממגדליה העגולים שרד והוא שולב בפינתו הצפון-מערבית של מבנה הנוכחי. ב-1654 בנו נזירים פרנציסקנים כנסייה חדשה ואכסניה לצליינים (Casa Nova) אשר שימשה כמלון דרכים בדרך לירושלים. נפוליאון שהה בכנסייה זו בעת מסעו לארץ ישראל בשנת 1799. כנסייה זו נהרסה ונבנתה, ושוב נהרסה; ובין השנים 1888–1894 הוקם המבנה הנוכחי בסגנון הבארוק בחסות בית המלוכה הספרדי. הכנסייה הורחבה בשנת 1903 ושימשה ככנסייה הקתולית הראשית של העיר, עד שנבנתה כנסיית אנטוניוס הקדוש ברחוב יפת בשנת 1932.