Свой первый профессиональный матч Мемеринг сыграл 28 августа 1971 года против «Шальке 04». Уже с середины своего первого сезона в команде Мемеринг прочно занял место в основном составе «Гамбурга». Он был причастен к успехам команды в 1970-х и начале 1980-х: дважды становился чемпионом Германии, обладателем Кубка Германии и Кубка немецкой лиги. Мемеринг принимал участие в трёх еврокубковых финалах «Гамбурга» — в 1977 году вместе с командой выиграл Кубок обладателей кубков УЕФА, но в 1980 году «Гамбург» проиграл финал Кубка европейских чемпионов английскому «Ноттингем Форест», а в 1982 году — финал Кубка УЕФА шведскому «Гётеборгу». Одним из наиболее памятных моментов этих еврокубковых кампаний для Каспара стал забитый им гол в ворота мадридского «Реала» в полуфинале Кубка европейских чемпионов.