דוריה נכשל פעמיים: פעם אחת בקרב פרווזה (Prevesa, במערב יוון) ב-1538, שבו הובס צי של "הליגה הקדושה", קואליציה גדולה שכללה ציים של ספרד, ונציה, ועוד מדינות - בהנהגתו, בידי ח'יר א-דין, ובאלג'יר ב-1541, שם הכשילה סערה גדולה בים את המסע. למרות זאת, המשיך לשרת את קרל גם בשנים הבאות, אף שהגיע לגיל 80. במהלך זה העביר דוריה את השליטה בים התיכון לידי ספרד, אף שבחלק מהתקופה, בעיקר בשנים שאחרי קרב פרוזה, שוב שלטו העות'מאנים שליטה חלקית בים התיכון, עד שהובסו סופית בקרב לפנטו ב-1571, בידי יוהאן מאוסטריה.