W reprezentacji RFN Kargus zadebiutował 20 grudnia 1975 roku w wygranym 5:0 w towarzyskim meczu z Turcją. W 1976 roku został powołany przez selekcjonera Helmuta Schöna na Euro 76, jednak był tam rezerwowym dla Seppa Maiera. Podobnie było na Mistrzostwach Świata w Argentynie, gdzie także pełnił rolę dublera dla Maiera. Swoje ostatnie spotkanie w kadrze narodowej rozegrał 30 kwietnia 1977 roku z Jugosławią (2:1). Łącznie zagrał w niej 3 razy.