רולף החל את קריירת הבוגרים שלו בברמרהאבן ואחר כך בפורטונה קלן, שתיהן שיחקו אז בליגת הבונדסליגה השנייה. בקיץ 1982 חתם רולף בהמבורג, שם שיתף פעולה עם תומאס פון היסן, הורסט רובש ופליקס מגאת. כבר בעונתו הראשונה בקבוצה, זכה רולף עם המבורג באליפות הבונדסליגה ובגביע אירופה לאלופות לאחר ניצחון 1-0 במשחק הגמר על יובנטוס. לאחר הזכייה בשני התארים, רולף השתתף עם המבורג בגמר הסופר קאפ האירופי, בו הפסידה המבורג במפגש כפול לאברדין הסקוטית, ובגמר הגביע הביניבשתי, בו הפסידה הקבוצה 2-1 לגרמיו הברזילאית. בעונת 1983/84 רולף סיים עם המבורג במקום השני בבונדסליגה, רק בגלל הפרש שערים נחות משל האלופה שטוטגרט. בעונה זו הבקיע רולף 11 שערים ומיצב את עצמו כבורג חשוב בקישור של הקבוצה. שתי העונות הבאות של רולף בהמבורג היו מעט סולידיות יותר, כאשר רולף הבקיע בשתיהן יחד תשעה שערים, והקבוצה סיימה בחצי העליון של הטבלה. בתום עונת 1985/86 עזב רולף את המבורג לאחר שצבר 129 הופעות בהן הבקיע 24 שערים, וחתם בבאייר לברקוזן.