עקב הפלישה העות'מאנית, תבוסת ההונגרים בקרב מוהאץ' ו"המלחמה הארוכה" במאה ה-16, נעצר שגשוגה של העיר. רוב בתי העיר ומבני הטירה שנבנו בימי הביניים, נהרסו. אסטרגום הפכה לעיר עות'מאנית, מרכז סנג'ק השולט על מספר מחוזות, וטירה משמעותית בגבולה הצפון מערבי של האימפריה העות'מאנית. לאחר תקופה קצרה של כיבוש הונגרי כבשו שוב העות'מאנים את העיר ב-1605. במהלך שלטונם בנו העות'מאנים בעיר מסגדים, מינרטים ומרחצאות. רובם נהרסו עם כיבושה מחדש של העיר על ידי ההונגרים בשנת 1683.