בתקופה הפרסית הייתה יפו, ככל ערי יהודה, תחת שלטון ממלכת פרס, שמסרה אותה לפיניקים. על פי כתובת אשמונעזר, אשמונעזר השני מלך צידון קיבל אותה לשליטתו מידי הפרסים, והפך את חבל יפו ל"אסם התבואה" של ממלכתו. בספר עזרא מוזכר כי דרך נמל יפו הובאו גם הארזים לבניין בית המקדש השני: "ויתנו-כסף לחצבים ולחרשים ומאכל ומשתה ושמן לצדנים ולצרים להביא עצי ארזים מן-הלבנון אל-ים יפוא כרשיון כורש מלך-פרס עליהם".
בשנת 301 לפנה"ס נכבשה יפו בידי שליט מצרים תלמי הראשון, שהפך את העיר לנמל חשוב בממלכתו. בית סלאוקוס סיפח את העיר אל הממלכה הסלאוקית אולם איפשר לתושביה עצמאות בענייני פנים.
בימי מרד החשמונאים התנכלו תושבי העיר ההלניסטים ליהודים והטביעו כמה מאות מהם בים. כתגובה פשט יהודה המכבי על יפו והשמיד את הנמל והספינות בו. אחיו יהונתן כבש שוב את העיר מידי אפולוניוס, שר הצבא של סוריה.
השלטון בעיר התחלף מספר פעמים,
ב-143 לפנה"ס כבש שמעון התרסי את העיר. היא הייתה לנמל חשוב לממלכת החשמונאים, ושימשה את אלכסנדר ינאי ואשתו שלומציון המלכה.
בשנת 63 לפנה"ס עברה ארץ ישראל לשלטונה של רומא, והמצביא פומפיוס החליט להוציא את יפו מהשלטון היהודי של הורקנוס השני. בשנת 47 לפנה"ס הוחזרה יפו לידי היהודים, בתוקף החלטת יוליוס קיסר בנוגע להורקנוס השני.
יוסף בן מתתיהו מספר כי יפו יושבה בימי המרד הגדול על ידי יהודים שגורשו מערים אחרות. אספסיאנוס, שר הצבא הרומאי בארץ ישראל, החליט להילחם ביהודי יפו, שנהגו לפשוט על יישובים ולשדוד אוניות. כששמעו על בואו, ברחו היהודים אל אוניותיהם, אך אלו טבעו בסערה, ומי ששרדו אותה הומתו על ידי הרומאים. לפי בן מתתיהו נפלטו מהים 4,200 גופות. הרומאים בנו מחדש את העיר שנחרבה בקרב, וקראו את שמה "פלאביה יופיי", על שם משפחת פלאביוס, שושלת הקיסרים מבית אספסיאנוס. בעיר הייתה אז אוכלוסייה יהודית, והיא מוזכרת במספר מקומות במשנה ובתלמוד.
ב-1871 ביקר באבו כביר הארכאולוג והמדינאי הצרפתי שארל קלרמון-גנו. הוא חפר באזור המנזר הרוסי שהוקם אז וחשף בגבעה ממזרח ליפו נקרופוליס - עיר קבורה יהודית, ובה 34 מצבות שיש ועוד עשרות מצבות אחרות, שעליהן חרותים אותיות בעברית וביוונית וסמלים יהודיים כגון: לולב, מנורה והמילה "שלום". קלרמון-גנו קבע כי הן מהמאה ה-1 עד המאה ה-3 וכי היו חלק מבית קברות של קהילת יהודי יפו. בין השאר נמצאו בבית הקברות מצבות מחדיאב, מקפדוקיה, מאלכסנדריה, מיוון ומלוב. לפי מקצועות הנפטרים שנרשמו על המצבות ניתן להסיק כי הקהילה היהודית ביפו הייתה מבוססת ועשירה. מצבות רבות נמצאות במוזיאון באוסלו אשר העביר שבע מהמצבות הללו לתצוגה במוזיאון יפו העתיקה.
בחפירות שנערכו על ידי יעקב קפלן נמצאה אבן להכנת משקולות מדידה מתקופת טראיאנוס, וכן מטמון שהמטבע המאוחר בו הוא מזמנו של טראיאנוס, הממצאים נמצאו בחדרים שחרבו בשריפה עזה. בחפירות נמצאה טביעה אחת של הלגיון העשירי פרטנסיס על גבי רעף. טביעה זו היא מהמאה השלישית ויכול להיות שהיא ממצא אקראי.
התקופה הביזנטית, המוסלמית המוקדמת והצלבנית.
אך מעט ידוע על יפו בימי הביזנטים. הכיבוש המוסלמי של הארץ בשנת 638 הביא לירידת חשיבותה של יפו, ואוכלוסייתה התמעטה מאוד, בד בבד עם התחזקות שכנתה רמלה, שהפכה לבירת ג'ונד פלסטין.
עם זאת, אליעקובי ציין שיפו היא הנמל של ג'ונד פלסטין.
לפני הגעת מסע הצלב הראשון ליפו הרסו המוסלמים את העיר ואת הנמל והתושבים נטשו את העיר. הצלבנים, בראשות גוטפריד מבויון, שיקמו אותה. הם הכירו בחשיבות הנמל, שדרכו נשמר הקשר עם אירופה והגיעה אספקה ותגבורת צבאית. כמו כן היה נמל יפו לשער לעולי הרגל. שימוש מיידי היה לנמל כאשר הגיעו אליו אוניות עם הציוד הדרוש להקמת מגדלי המצור שהיו דרושים לכיבוש ירושלים. חשיבותו של נמל יפו נשמרה עד לכיבוש נמלי עכו וצור.
בשנת 1101 הגיע לנמל יפו צי של 32 אוניות מהנמל האיטלקי בג'נובה שסייע לצלבנים בכיבוש. הוא הביא עמו סוחרים ותושבים מהעיר והוענק להם רובע עצמאי.
בשנת 1191 הגיע ליפו מסע הצלב השלישי בראשות ריצ'רד הראשון, מלך אנגליה, וניצח את צבאו של צלאח א-דין. העיר נשארה בשלטון הצלבנים עד שפשטו עליה הממלוכים ב-1268.
בשנת 1227 במסע הצלב השישי, הגיע לעיר פרידריך השני, קיסר האימפריה הרומית הקדושה, והחל בביצור חומותיה. הוא הפסיק את הבנייה כאשר הוברר לו כי יהיה זה מכשול לכריתת ברית שלום עם המוסלמים. ב-1252 הגיע ליפו לואי התשיעי, מלך צרפת במסע הצלב השביעי והורה לשקם את החומות, לבנות 24 מגדלים ולהקים את המנזר והכנסייה הפרנציסקנים הצרפתיים ביפו, ואז חזר לצרפת.
במחצית השנייה של המאה ה-12 שגשגה יפו הודות לסוחרי פיזה. ב-1173 ביקר ביפו בנימין מטודלה ומצא בה יהודי אחד, המתפרנס מצביעה. היישוב היהודי גדל, בעלי המלאכה נזכרים כבעלי מונופול בייצור כלי זכוכית וחרס מצופה, שתפסו מקום חשוב בייצוא לאירופה.
ב-1268 כבש את העיר ביברס, הסולטאן הממלוכי של מצרים וסוריה. הוא הגלה את התושבים והרס את העיר.
התקופה העות'מאנית.
העיר עמדה חרבה עד המאה ה-17, אז התיישבו בה נזירים פרנציסקנים נוספים והקימו בה אכסניה, במקום שבו נמצאת כיום כנסיית פטרוס הקדוש. העיר איבדה מחשיבותה במהלך התקופה העות'מאנית בארץ ישראל. מלחמות הפחות הביאו לחורבנה ולהרג תושבים רבים.
בשנת 1776 כבשו את העיר צבאות "מוחמד בֶּךּ אבו דהב" הממלוכי, וטבחו בתושביה. לאחר מכן השתקמה העיר, עד שצר עליה נפוליאון ב-1799, במהלך מסעו בארץ ישראל. לאחר כיבוש העיר הורה נפוליאון לטבוח בחיילים הטורקים, שנכנעו ורוכזו על חוף יפו. 2,440 שבויים, בהם מושל העיר, אגא עבדאללה, הוצאו להורג. מגיפות שפרצו בשל אי-קבורת הגופות הפילו חללים רבים בקרב תושבי העיר הנותרים ובקרב חיילי נפוליאון, ונפוליאון הורה להמית כל חייל שנדבק במגפה כדי למנוע את התפשטותה.
ב-1806 כבש את העיר סולימאן פאשה בעזרת מוחמד אבו נבוט, ובתמורה לכך מינה אותו סולימאן פאשה ב-1807 למושל יפו. אבו נבוט פעל רבות לפיתוח העיר. ב-15 שנות שלטונו שוקמה העיר, נבנתה והורחבה. נבנתה חומה לכיוון הים, שופצה חומת היבשה, נבנה שער ראשי במזרח העיר בשם: "שער ירושלים" ממנו יצאה הדרך הראשית אל ירושלים (כיום רחוב עולי ציון ואחריו דרך בן-צבי). מאחורי השער הוקמה: "מצודה". לצדו של השער הוצבו מספר תותחים. המצודה נבנתה מחדש ושתי מצודות נוספות הוקמו ליד הנמל, בגבעת יפו של היום. מסגד מחמודיה נבנה מחדש ברחבה המכונה היום כיכר השעון. מעמד העיר שוקם, והצרפתים והאנגלים שיכנו בה קונסוליות. ב-1818 הודח אבו נבוט, ובמקומו מונה בן אחיו של סולימאן פחה, צאלח מוצטפה בק, כשליט מחוז יפו. מסביב לחומה המערבית הוקם: "חפיר" (כיום כיכר השעון ורחוב יפת).
ב-1824 ביקר ביפו הנוסע היהודי דוד דבית הלל ותיאר את העיר ואת יושביה: "יפו היא עיר על שפת הים התיכון ובה קונסול אנגלי וקונסול צרפתי. היא עיר גדולה ויפה מאד ומוקפת חומה, ובה מים טובים מאד ופירות משובחים. אני בעצמי לא הייתי בה, אבל ראיתי את פירותיה, והם תפוחי זהב ולימונים שכל אחד מהם גדול מאגרופו של אדם. הם בזיל הזול. והאבטיחים גדולים מאוד וביניהם אבטיחים שאין איש אחד יכול לשאתם. הם אדומים ומתוקים כמיני מתיקה. אין יהודים יושבים ביפו. כמעט מחצית התושבים נוצרים הם. כל יהודי או נוצרי הבא לשם בפעם הראשונה בדרכו ירושלימה חייב לשלם חמישים גרוש לסוכן עדתו שבירושלים, מלבד אירופי או שיש בידו פקודה מהשלטון או הפחה… מושל יפו הוא בדרגת מתסלם הכפוף לפקודת הפחה מעכו".
ב-1831 השתלט השליט המצרי אברהים פחה על העיר ללא קרב. יפו שימשה לקשר עם מצרים, מרכז לחילותיו, ובה נגבו מיסים. פחה ביקש להפוך את ארץ ישראל לאזור התיישבות מצרי ובבוסתנים שסביב יפו קמו שכונות ערביות מוסלמיות של מהגרים ממצרים. כך התיישבו באזור המרזבה כ-12,000 מהגרים מצרים שהגיעו עם הצבא המצרי. המהגרים התפזרו גם למחוזות עזה וחיפה. הם הקימו שכונות או כפרים קטנים בשם "סכנאת" וכך נבנו בסביבת יפו סכנת דנייטה (בין רחוב הרצל וסלמה), סכנת אל דרוויש (גבעת התמרים), סכנת אבו כביר, סכנת אל מוצרייה (מנשייה), סכנת שיח' אברהים (עג'מי) וסכנת חמד (דרום רחוב הרצל). יחסו של פחה לנוצרים היה סובלני, כדי להשיג את תמיכת מעצמות אירופה בשלטונו. הוא התיר למעצמות זרות להקים בעיר מוסדות דת וחינוך. האוכלוסייה המוסלמית התנגדה לגישתו ומרדה בשלטון המצרי, והשלטון חזר לממשל העות'מאני.
משנת 1840, לאחר עזיבת המצרים, שלט בעיר "קאימקאם" (ממלא מקום), מושל מטעם הפחה של ירושלים.
ב-1854 ירד בה שלג.
לדברי ויליאם פרנסיס לינץ', בשנת 1848 אוכלוסיית יפו מנתה כ-13,000 נפש: 8,000 מוסלמים, 2,000 יוונים, 2,000 ארמנים, 700 מארונים וכ-300 יהודים. אולם אוכלוסיית העיר בשנת 1860 נאמדת בכ-6,250 נפש: 4,475 מוסלמים, 1,375 נוצרים ו-400 יהודים.
באמצע המאה ה-19 עדיין היה ליפו שער אחד בלבד.
בשנת 1869 נפרץ פתח חדש בחומה והושלם לאחר שנתיים בחומה המזרחית, הפתח החדש נקרא בשם:"השער החדש". ב-1868, ובשנים שאחריה, פורקו, וגם נהרסו, חומות העיר. בתוואי החומה, והחפיר, הוקמו בתים רבים וחנויות, תוך שימוש משני באבני החומה. המצודה הצפונית נהרסה חלקית ועל ההריסות נבנה בית החולים הצרפתי של האחיות סנט ג'וזף. העיר התפשטה דרומה וצפונה (ממזרח לה היו בוסתנים). בדרום החלו להיבנות שכונת עג'מי וג'באליה (כיום גבעת עלייה) ובצפון הוקמה שכונת מנשייה.