קארגוס שיחק כנער במועדון וורמטיה וורמס, ובהמשך עבר להמבורג. בשנת 1971 החל לשחק בקבוצה הבוגרת של המבורג. תחילה שימש קארגוס כשוער המשנה של הקבוצה, כשהשוער הבכיר היה הטורקי אוזקאן ארקוץ', והחל משנת 1973 שימש קארגוס שוער ראשי. בעונת 1973/74 עמד קארגוס בשערה של המבורג שהגיעה לגמר הגביע הגרמני, בו הפסידה 3-1 לאיינטרכט פרנקפורט. בעונת 1975/76 סיימו קארגוס והמבורג במקום השני בבונדסליגה, וזכו בגביע הגרמני, לאחר ניצחון 2-0 בגמר על קייזרסלאוטרן. בזכות זכייה זו בגביע השתתפו קארגוס והמבורג בגביע אירופה למחזיקות גביע לשנת 1977, וזכו במפעל לאחר ניצחון 2-0 בגמר על אנדרלכט. בעונת 1978/79 זכה קארגוס עם המבורג באליפות הראשונה שלו עם הקבוצה. בזכות אליפות זו השתתפו המבורג וקארגוס בגביע אירופה לאלופות לשנת 1980. המבורג וקארגוס הגיעו עד לגמר גביע אירופה לאלופות 1980, והפסידו בו 1-0 לנוטינגהאם פורסט. גם בבונדסליגה סיימו המבורג וקארגוס במקום השני. הייתה זו העונה האחרונה של קארגוס בהמבורג. בתום עונה זו, עזב קארגוס את המבורג, בה ערך 254 הופעות ליגה, וחתם בנירנברג.