A Wormatia Worms csapatában kezdte a labdarúgást, majd 1970-ben a Hamburger SV korosztályos csapatához került. 1971-ben mutatkozott be az élvonalban. 1976-ban nyugatnémet kupát nyert a csapattal és indulhatott a kupagyőztesek Európa-kupája sorozatban, amelyet meg is nyertek 1977-ben. Az 1978–79-es idényben bajnoki címet nyert az együttessel és következő szezonban a BEK-ben indult a csapattal, ahol a döntőben szenvedett vereséget a Nottingham Foresttel szemben. 1980 és 1984 között az 1. FC Nürnberg, 1984 és 1986 között a Karlsruher SC kapusa volt. Az 1986–87-es idényben a Fortuna Düsseldorf labdarúgója. 1987 és 1990 között az 1. FC Köln szerződtetett játékosa, de pályára nem lépett hanem Bodo Illgner cserekapusa volt Itt vonult vissza az aktív labdarúgástól. Kargus 408 Bundesliga mérkőzésen szerepelt pályafutása során.